Wie kann eine Suchmaschine das gesamte Internet in wenigen Sekunden durchsuchen?
Macht sie ja nicht. Bots bzw. Crawler indizieren das Internet permanent und bereiten den Content so auf, dass Suchanfragen effizient bearbeitet werden können.
Wenn ich beispielsweise einen neuen Blogartikel veröffentliche (vgl. meinen Blog: For Digital Movers: Digitale Transformation, Softwareentwicklung, IT Offshore
), dann dauert es ca. 2 Tage, bis dieser BLOG in den Suchergebnissen von Google auftaucht. Der "Bot" kommt auf meinem Blog ca. alle 2 Tage vorbei.
Bei Webseiten mit höherer Aktualisierungsgeschwindigkeit (Spiegel, DIE ZEIT, Welt, etc.) kommt der Bot sehr oft vorbei, wahrscheinlich stündlich …