Robot yordamida (craweler-based) birinchi to'liq matnli indekslash resurslari qidiruv tizimi, 1994 yilda ishga tushirilgan WebCrawler  tizimi bo'ldi. Oldingilaridan farqli o'laroq, u foydalanuvchilarga har qanday veb-sahifada joylashgan har qanday so'zlarni qidirishga imkon berdi  va o'shandan beri bu ko'pgina qidiruv tizimlari uchun standartga aylandi. Bundan tashqari, bu birinchi marta keng tarqalgan qidiruv tizimi edi. 1994 yilda Karnegi-Mellon universitetida ishlab chiqilgan Lycos tizimi ishga tushirildi va jiddiy tijorat korxonasiga aylandi.
Birinchi avtomatlashtirilgan qidiruv tizimining nomi nima edi?
WebCrawler 