Kann man das gesamte Internet runterladen?
Nein, kann man nicht. Der Großteil der zum Internet gehörenden Daten befindet sich in zugangsbeschränkten Datenbanken, d. h. dass diese Daten nur für bestimmte Personen(-Gruppen) lesbar und/oder schreibbar sind und das ist auch gut so:
Datenbanken von Krankenkassen, Krankenhäusern, staatlichen Einrichtungen, Universitäten, der Polizei oder dem Militär und natürlich von allen privaten Unternehmen, Organisationen, NGOs und Vereinen müssen gut gesichert sein, da sie eben nicht von jedem heruntergeladen werden können sollen. Auch Privatpersonen können sich Datenbanken anlegen, die mit dem Internet verbunden sind, weshalb diese auch einen gewissen Datenschutz haben. Du möchtest ja wahrscheinlich auch nicht, dass jemand deine Familienfotos vom letzten Urlaub herunterladen und verwenden kann.
Natürlich sind all diese Systeme vollkommen unterschiedlich stark gesichert und die Spannweite reicht von öffentlich zugänglich, da überhaupt kein Datenschutz gegeben ist, bis hin zu hoch gesichert und nur als sehr sehr erfahrener bzw. talentierter Hacker zugänglich. Um also an die Datenbanken des Pentagons zu gelangen, muss du schon ein absoluter Ausnahmefall sein, so wie dieser 17-jährige Junge hier:
Hacking the Pentagon | United States Digital Service
Lediglich staatliche Organisationen wie die NSA sind wahrscheinlich in der Lage in sämtliche gesicherte Systeme einzudringen, aber selbst die würden wahrscheinlich an so einem Projekt scheitern, da sie möglicherweise nicht die Kapazitäten an Personal haben, um wirklich alles zu erfassen und abzuarbeiten geschweige denn die Kapazitäten, um all die Data Center zu errichten und zu betreuen.
Dennoch ist es aber möglich riesige Datenmengen aus dem Internet zu laden und so einen ordentlichen Teil des sichtbaren Internets (frei zugänglich) offline verfügbar zu haben. Was du dafür brauchst, ist sehr viel Land, den du musst das Gebäude für deine Serverfarm höchst wahrscheinlich selbst bauen, um einen geeigneten Standort wählen zu können (Länder, in denen es eher kalt ist, sind geeignet, da du so sehr viel Strom sparen kannst, was die Kühlung deiner Serverfarm angeht, die unglaubliche Mengen an Abwärme produzieren wird). Idealerweise sollte deine Serverfarm in der gleichen Liga spielen wie zumindest eines der Google Data Centers, denn du möchtest ja möglichst viele Daten sammeln können und das braucht massig Speicherkapazitäten:
Facts and Stats of World’s largest data centers
Zu guter Letzt brauchst du noch eine Glasfaseranbindung, die irgendwo im Bereich 50 - 100 GBit/s liegen sollte, denn du möchtest mit deinem Projekt ja auch fertig werden.
Nein, also im Ernst: Für die allermeisten Privatpersonen ist es nicht einmal möglich 0,1% der im sichtbaren Internet liegenden Daten herunterzuladen, aber ich verstehe deine Motivation. Wenn du einfach nur ein paar Webseiten offline verfügbar haben möchtest, um sie ohne Internetverbindung lesen zu können, dann empfehle ich dir, mal ein wenig nach Webcrawlern zu suchen. Es gibt auch ein paar ganz gute kostenlose Programme, mit denen man schon relativ bequem Webseiten durchsuchen und herunterladen kann.
Danke fürs Lesen!