Künstliche Intelligenz erzeugt 3D-Modelle aus 2D-Bildern

Ein neues Verfahren namens SurfNet setzt auf maschinelles und tiefes Lernen, um 3D-Formen aus 2D-Bildern wie Fotografien zu gewinnen. Es kann damit sogar völlig neuartige, nie zuvor gesehene Formen erschaffen. Noch in der Entwicklung, könnte SurfNet in Zukunft die 3D-Suche im Internet vereinfachen, aber auch Robotern und autonomen Fahrzeugen helfen, ihre 3D-Umgebung basierend auf 2D-Bildern besser zu verstehen und zu interpretieren.

Karthik Ramani, Professor of Mechanical Engineering an der Purdue University, sagt, dass die „magische“ Fähigkeit der Deep-Learning-Algorithmen darin bestehe, auf abstrakte Weise zu lernen. Wenn man ihnen hunderttausende Formen, beispielsweise eines Autos vorsetze und ihnen dann ein 2D-Bild eines Autos zeige, dann können sie das Modell in 3D rekonstruieren. Das Verfahren kann sogar zwei 2D-Bilder hernehmen und daraus ein 3D-Modell machen.

Video: Machine Learning „Hallucinates“ 3D Objects From 2D Images. Quelle: Purdue University

Ist die Methode namens SurfNet erst einmal voll entwickelt, könnte sie wichtige Anwendungen im Bereich der 3D-Suche im Internet mit sich bringen, aber auch Robotern und autonomen Fahrzeugen helfen, ihre Umgebung besser zu begreifen. Doch am spannendsten ist sicher die Möglichkeit, 3D-Inhalte für Virtual und Augmented Reality einfach aus 2D-Fotos zu generieren.

„Stellen Sie sich eine Filmkamera vor, die Bilder in 2D aufnimmt, aber in der VR-Welt erscheint alles wie von Zauberhand in 3D“, sagt Ramani. Schritt für Schritt komme man dorthin, und in den nächsten Jahren werde derartiges passieren, ist sich Ramani sicher. Schon bald werde man nicht mehr zwischen Realität und Virtueller Realität unterscheiden können.

Das Rechnersystem erfasst die 3D- und 2D-Bilder paarweise und kann dann andere, ähnliche 3D-Formen aus nur einem 2D-Bild vorhersagen. Ramani vergleicht das mit der Funktionsweise eines Scanners, die auf den drei Farben Rot, Grün und Blau beruht, um daraus ein farbiges Bild zu schaffen, nur dass man hier die XYZ-Koordinaten verwende. Das Verfahren erzielt eine größere Genauigkeit als bestehende 3D-Deep-Learning-Verfahren, die eher mit volumetrischen Pixeln (Voxeln) arbeiten.

„Wir verwenden vielmehr die Oberflächen, denn sie definieren die Form vollständig. Das ist eine Art interessanter Nebeneffekt dieser Methode. Weil wir im 2D-Bereich arbeiten, um 3D-Strukturen zu rekonstruieren, können wir anstelle von 1‘000 Datenpunkten wie mit anderen neueren Verfahren 10‘000 Datenpunkte berechnen. Wir sind effizienter und kompakter“, erklärt Ramani.

Ein wichtiges Ergebnis der Forschungsarbeit könnte sich in der Robotik, der Objekterkennung und sogar bei automatisierten Fahrzeugen auszahlten: Man müsste sie lediglich mit Standard-2D-Kameras ausstatten und doch könnten sie ihre 3D-Umgebung verstehen.

Ramani gibt zu bedenken, dass die Entwicklung weiter gehen müsse und vertiefende Forschung im Bereich der AI erforderlich sei.

Bild: Rechner, die mit der neuen, an der Purdue University entwickelten AI-Methode arbeiten, können 3D-Formen aus 2D-Bildern generieren. Hier bilden Fotos von Flugzeugen die Grundlage. Das Verfahrene könnte sich in VR/AR-Anwendungen und der Robotik als nützlich erweisen. Bild: Purdue University