b'\n_START_ARTICLE_\nS\xc3\xb8kerobot\n_START_SECTION_\nHistorie\n_START_PARAGRAPH_\nS\xc3\xb8keroboter er nesten like gamle som veven selv. Under v\xc3\xa5ren i 1993 implementerte Matthew Gray \xc2\xabThe World Wide Web Wanderer\xc2\xbb. Denne var skrevet i programmeringsspr\xc3\xa5ket Perl og kj\xc3\xb8rte p\xc3\xa5 en enkelt maskin. Den var brukt frem til 1996 for \xc3\xa5 innhente statistikk om evolusjonen av veven. Vevsidene som \xc2\xabThe World Wide Web Wanderer\xc2\xbb innhentet ble puttet i en indeks som senere ble kompilert inn til s\xc3\xb8kemotoren \xc2\xabThe Wandex\xc2\xbb.\n_START_SECTION_\nUtvalgspolicy\n_START_PARAGRAPH_\nVerdensveven er ekstremt stor og selv store s\xc3\xb8kemotorer indekserer kun en andel av vevsidene som er tilgjengelig.  En studie gjennomf\xc3\xb8rt i 2005 viser at Google indekserte ca 70% av alle vevsidene p\xc3\xa5 verdensveven. Ettersom ikke alle vevsider indekseres, er det viktig for s\xc3\xb8keroboten \xc3\xa5 velge og prioritere sidene som er mest relevante og ikke tilfeldige._NEWLINE_S\xc3\xb8kerobotene bruker ulike algoritmer for \xc3\xa5 fastsl\xc3\xa5 om vevsider er relvante eller ikke. Eksempler p\xc3\xa5 algoritmer er Breadth First Search, Page Rank og BackLink.\n_START_SECTION_\nURL-normalisering\n_START_PARAGRAPH_\nFor at s\xc3\xb8keroboten ikke skal bes\xc3\xb8ke de samme vevsidene, blir det gjort en form for URL-formalisering. Eksempler p\xc3\xa5 dette kan v\xc3\xa6re at IP-adressen til vevsiden blir normalisert til domeneadressen. Eksempler kan v\xc3\xa6re \xc3\xa5 normalisere http://111.111.111 til http://domenet.no.\n_START_SECTION_\nGjenbes\xc3\xb8kspolicy\n_START_PARAGRAPH_\nEttersom verdensveven er s\xc3\xa5 stor kan en s\xc3\xb8kerobot bruke uker eller m\xc3\xa5neder p\xc3\xa5 \xc3\xa5 g\xc3\xa5 igjennom en liten andel. P\xc3\xa5 denne tiden vil mange vevsider allerede v\xc3\xa6re oppdatert og den lagrede kopien v\xc3\xa6re utdatert. Av den grunn er det viktig \xc3\xa5 ha en policy for hvor ofte vevsider skal bes\xc3\xb8kes p\xc3\xa5 nytt, og denne policyen m\xc3\xa5 vurderes for hver enkelte vevside.  Hvis alle vevsider oppdateres like ofte, vil dette kreve veldig mye maskinvare og b\xc3\xa5ndbredde.\n_START_SECTION_\nFerskhet\n_START_PARAGRAPH_\nEttersom en s\xc3\xb8kemotor sin lokale indekserte vevside fort kan bli utdatert, er det viktig \xc3\xa5 ha en viss ferskhet p\xc3\xa5 den lokale kopien.\n_START_SECTION_\nAlder\n_START_PARAGRAPH_\nAlderen p\xc3\xa5 vevsiden kan hjelpe til \xc3\xa5 regne ut hvor utdatert en lokal kopi er.\n_START_SECTION_\nEnsartet policy\n_START_PARAGRAPH_\nVed \xc3\xa5 bruke en ensartet policy, vil alle vevsidene gjenbes\xc3\xb8kes i samme frekvens.\n_START_SECTION_\nProporsjonal policy\n_START_PARAGRAPH_\nEn proporsjonal policy inneb\xc3\xa6rer \xc3\xa5 gjenbes\xc3\xb8ke vevsider som oppdateres oftere med en h\xc3\xb8yere frekvens enn vevsidene som oppdateres sjelden. En proporsjonal tiln\xc3\xa6rming \xc3\xb8ker ferskheten av den lokale kopien, men ved hjelp av mye mindre b\xc3\xa5ndbredde og maskinvare enn en ensartet tiln\xc3\xa6rming._NEWLINE_En s\xc3\xb8kerobot har mulighet for \xc3\xa5 sjekke om en vevside har oppdatert seg siden siste bes\xc3\xb8k, men den har ikke mulighet for \xc3\xa5 sjekke hvor mange ganger. Av den grunn er det viktig for s\xc3\xb8keroboten og estimere hvor ofte en vevside oppdateres. Det er ogs\xc3\xa5 viktig at s\xc3\xb8keroboten ikke prioriterer vevsider som oppdaterer seg for ofte og av den grunn straffes sidene og de f\xc3\xa5r redusert hvor ofte de skal oppdateres.  Eksempler p\xc3\xa5 slike sider kan v\xc3\xa6re nyhetsbaserte vevsider.\n_START_SECTION_\nH\xc3\xb8flighetspolicy\n_START_PARAGRAPH_\nEttersom s\xc3\xb8keroboter er mye raskere enn menneskelige bes\xc3\xb8kere kan de v\xc3\xa6re en belastning for servere. Det er viktig at s\xc3\xb8keroboten ikke reduserer serveren sin ytelse og at roboten er h\xc3\xb8flig mot serveren._NEWLINE_D\xc3\xa5rlig programmerte s\xc3\xb8keroboter kan medf\xc3\xb8re store serverbelastninger og til og med bruke s\xc3\xa5 mye b\xc3\xa5ndbredde at b\xc3\xa5de rutere og servere kr\xc3\xa6sjer.  Det settes opp et tidspunkt for hvor lenge s\xc3\xb8keroboten skal avvente f\xc3\xb8r den laster ned neste side av serveren.\n_START_SECTION_\nParallellpolicy\n_START_PARAGRAPH_\nDet brukes ofte flere s\xc3\xb8keroboter p\xc3\xa5 likt for \xc3\xa5 effektivisere prosessen. Da er det viktig at s\xc3\xb8kerobotene ikke bes\xc3\xb8ker den samme vevsiden, og da settes det opp en policy for hvordan dette skal forhindres.'