Explicați
Un crawler web, cunoscut și sub numele de Spider, este un bot de internet care navighează sistematic pe World Wide Web, operat de obicei de motoarele de căutare în scopul indexării web. Practic, funcția sa principală este de a scana site -urile
Mai jos este o instrucțiune care descrie o sarcină. Scrieți un răspuns care completează în mod corespunzător cererea.

### Instrucțiune:
Explicați ce face un crawler web

### Răspuns:
Un crawler web, cunoscut și sub numele de Spider, este un bot de internet care navighează sistematic