Was ist der einfachste Weg um mir selbst einen Webcrawler zu bauen der Informationen im Internet sammelt?
Das kommt darauf an wieviel von Dir programmier-mässig selbst geleistet werden kann.
Es gibt fertige Crawl Tools die mit einer Liste von Seed Urls gefüttert werden und dann alle über Links auf Seiten rekursiv bis zu einer definierten Tiefe herunterladen und archivieren. Dieser sollte die Robots.txt respektieren. Im Sinne des Datenschutzes, der Urheberrechts und der Datensparsamkeit wäre es sinnvoll bestimmte Dateitypen von der Speicherung auszuschliessen.
Danach wäre der nächste Schritt diese gewonnenen Daten zu Filtern nach den gewünschten Inhalten.
Wenn programmierkenntnisse vorhanden sind empfehle ich Crawler oder Web-Spider Baukästen für deine bevorzugte Sprache bei github zu verwenden. Damit die Vielzahl an notwenigen Features nicht das erreichen des eigentlichen Ziels behindert. Thema Multithreading, Datenbanken und Analyse können viel Zeit beanspruchen.
Aber aus der Frage ging die vordergründige Intention nicht eindeutig hervor.