Un web crawler, noto anche come spider, è un programma che visita automaticamente i siti Web e raccoglie informazioni sui contenuti che vi si trovano. Passa attraverso il contenuto di una pagina, seguendo collegamenti ad altre pagine, al fine di raccogliere informazioni su una varietà di argomenti. I dati raccolti vengono quindi utilizzati dai motori di ricerca, dai fornitori di contenuti e da altre applicazioni.
Descrivi cos'è un web crawler