Bir web gezgininin ne yaptığını açıklayın
Örümcek veya robot olarak da bilinen bir web tarayıcısı, internette otomatik olarak içerik arayan, web sitelerinden veri toplayan ve alınan verilerin bir dizinini oluşturan bir programdır. Web sayfası içeriğini okur, bir sayfadaki diğer sitelere ve web sayfalarına bağlantılar ve bulunan tüm kelimeleri daha sonra almak ve analiz etmek için indeksler. Bilgi daha sonra çeşitli çıktı formatlarında sunulur.