Cartoons wie Die Simpsons, Spongebob und Rick and Morty haben eine große Fan-Gemeinde. Allerdings bekommen die Fans die Cartoons bislang nur als 2D-Version geboten. Mit einem Tool namens Toon3D soll sich das ändern. Denn die Verantwortlichen dahinter haben sich vorgenommen, ein einfaches Programm zu erschaffen, mit dem 3D-Umgebungen aus 2D-Cartoon-Bildern entstehen.
Wie funktioniert Toon3D?
Um eine 3D-Ansicht – beispielsweise vom Haus der Simpsons – zu erstellen, füttern die Entwickler:innen das Tool mit mehreren Bildern. Im genannten Beispiel ist das etwa eine Frontansicht des Hauses sowie eine Seiten- und Rückansicht. Nun können in den Bildern wiederkehrende Punkte festgelegt werden. Daran erkennt die Software etwa, dass die Tür auf der Frontansicht dieselbe Tür ist wie auf einer der Seitenansichten, nur eben aus einer anderen Perspektive.
Anhand dieser zahlreichen Eckpunkte entsteht zunächst eine grobe virtuelle 3D-Ansicht, die aus diesen einzelnen Punkten besteht. Mithilfe von „Gaussian Splatting“, also der 3D-Rekonstruktion von Bildern aus mehreren Perspektiven, kann nun ein echtes 3D-Modell erschaffen werden. Dabei lässt sich die Ansicht jederzeit verändern, um Perspektiven zu erzeugen, die es bei den zugrundeliegenden Bildern noch nicht gab.
Die Ergebnisse sind bereits beeindruckend, aber noch nicht fehlerfrei. Es kommt häufiger zu Verzerrungen und Artefakten im 3D-Modell. Sollte das System allerdings weiter ausgebaut werden, könnten dadurch innerhalb kürzester Zeit echte 3D-Welten aus Cartoons entstehen.
Wie soll das Projekt künftig eingesetzt werden?
Neben Cartoons sehen die Verantwortlichen weitere Anwendungsmöglichkeiten für Toon3D. Eine Anzeige für eine Mietwohnung zeigt bislang häufig nur Bilder der einzelnen Zimmer. Mit Toon3D können diese anhand der wiedererkennbaren Eckpunkte miteinander verknüpft werden, um ein 3D-Modell der Wohnung zu erstellen.
Auch die Rekonstruierung von Bauwerken anhand von Gemälden und Zeichnungen könnte mit Toon3D künftig möglich sein. Für ein antikes Gebäude, das schon längst verfallen ist, kann die Software eine 3D-Darstellung anhand mehrerer Bilder erstellen. Dadurch könnte Geschichte noch anschaulicher gezeigt werden.
Das Tool könnt ihr schon jetzt auf der Website der Verantwortlichen ausprobieren. Doch dazu solltet ihr euch die Anleitung ganz genau zu Gemüte führen. Denn auch wenn das Tool als „nutzerfreundlich“ bezeichnet wird, müsst ihr den Schritten genau folgen und vor allem hochauflösende Bilder nutzen, um ein vorzeigbares Ergebnis zu erzielen.