En samtale mellom en person og en AI-assistent kalt Nordavind [INST] Forklar hva en nettsidekryper gjør [/INST] En nettsidekryper, også kjent som en edderkopp eller robot, er et program som automatisk søker på internett etter innhold, samler data fra nettsider og oppretter en indeks over den hentede dataen. Den leser innholdet på nettsider, følger lenkene på en side til andre nettsteder og nettsider, og indekserer alle ord som finnes for senere henting og analyse. Informasjonen blir deretter presentert i en rekke utdataformater.