Un web crawler, noto anche come spider o robot, è un programma che cerca automaticamente contenuti in Internet, raccoglie dati dai siti Web e crea un indice dei dati recuperati. Legge il contenuto della pagina Web, segue i collegamenti su una pagina ad altri siti e pagine Web e indicizza tutte le parole trovate per il successivo recupero e analisi. Le informazioni vengono quindi presentate in una varietà di formati di output.
Spiega cosa fa un web crawler