KI ist eines der größten Schlagwörter in der Technologiewelt – und der Bereich der 3D-Modellierung bildet keine Ausnahme. Da große Sprachmodelle (LLMs) wie ChatGPT, Perplexity und Gemini weiterhin durchstarten, fragen sich viele Menschen: „Kann KI 3D-Modelle erstellen?“
Tatsächlich kann sie das! Von 3D-Modellierern für Einsteiger wie Alpha3D und Hyper3D bis hin zu 3D Foundry Labs für industrielle Anwendungen gibt es inzwischen zahlreiche KI-3D-Modellgeneratoren auf dem Markt.
Allerdings besteht auch weitgehend Einigkeit darüber, dass diese frühen Text-zu-Modell-Plattformen noch etwas Feinschliff benötigen. Welche KI ist also die beste für die 3D-Modellierung? Und wie komplex kann ein erzeugtes Modell überhaupt sein? Um das herauszufinden, sprach 3D Mag mit Innovatoren der aufstrebenden Branche, die jeweils überraschend unterschiedliche Einschätzungen dazu lieferten, wohin sich die Technologie in naher Zukunft entwickeln wird.
KI für die 3D-Modellierung: Wie funktioniert sie?
Ein 3D-Modell auf Grundlage eines Text-Prompts zu erzeugen, ist äußerst kompliziert. Dabei arbeiten mehrere KI-Modelle zusammen, um Eingaben zu interpretieren und 3D-Darstellungen zu generieren.
Im Wesentlichen bedeutet das, Natural Language Processing (NLP) einzusetzen, um Form, Textur und räumliche Beziehungen eines gewünschten Modells zu verstehen. Manche Plattformen erstellen dann auf Grundlage dieses Prompts ein 2D-Bild mit beliebten Tools wie DALL-E von OpenAI.
Mithilfe zahlreicher KI-gestützter Methoden, darunter Generative Adversarial Networks (GANs), Diffusionsmodelle und Gaussian Splatting, werden diese Eingaben verwendet, um eine grobe 3D-Form vorherzusagen. Wenn durch den Prozess Meshes erzeugt werden, können diese später verfeinert, texturiert und für die reale Anwendung optimiert werden – automatisch und ohne direktes Eingreifen des Nutzers.
Die potenziellen Vorteile der Automatisierung von 3D-Modellierung liegen auf der Hand. Selbst das Generieren eines Meshes zur weiteren Bearbeitung kann Designern Stunden an Arbeit ersparen. Je nach Einsatzgebiet kann dies bedeuten, 3D-Assets schneller auf den Bildschirm zu bringen oder den Entwurf eines physischen Produkts zügig fertigzustellen.
Wo werden KI-generierte 3D-Modelle eingesetzt?
Während Schwergewichte wie Google und NVIDIA ihre eigene Text-zu-Modell-Software entwickeln – DreamFusion und GET3D –, wollten wir herausfinden, wie solche Plattformen eingesetzt werden, indem wir mit Akteuren sprachen, die bereits auf dem Markt sind.
Alpha3D etwa wirbt damit, dass seine Plattform bereits die Generierung von Modellen für AR/VR, E-Commerce, CGI, Videospiele, 3D-Druck und mehr ermöglicht. Hyper3D erhebt ähnliche Ansprüche für seinen Rodin-Algorithmus, und seine Website ist voll von KI-3D-Modellen, die dies belegen.
Jacob Si, Growth Manager der Plattform, räumt jedoch ein, dass es bestimmte Bereiche gibt, die für ihre 3D-Assets noch nicht zugänglich sind.
Es gibt ziemlich viele interessante Möglichkeiten, diese Modelle zu verwenden. Nehmen wir an, Sie sind ein E-Commerce-Verkäufer. Sie könnten eine AR-Initiative einführen, bei der Käufer über eine Kamera „Möbel in ihren Wohnungen platzieren“. Aber wenn es darum geht, ein bestimmtes Bauteil mit feinen Details für die Fertigung herzustellen, glaube ich nicht, dass generative KI dort glänzen wird.
Jacob Si
Diese Ansicht wird auch von 3D Foundry Labs vertreten, dem Nachfolgeunternehmen von Eliran Dahan und Tal Kenig für den beliebten KI-3D-Modellgenerator 3DFY.ai. Während ihre ursprüngliche Plattform die Fantasie von Makern und Designern beflügelte, haben sie nun den Kurs geändert und ein Dienstleistungsangebot für die Anforderungen industriellerer Kunden eingeführt, das alle relevanten Technologien nutzt.
„Eine der häufigsten Rückmeldungen von [3DFY]-Kunden war: ‚Es ist nett, aber ich kann es in meinem konkreten Anwendungsfall nicht wirklich nutzen.‘ Wir kamen zu dem Schluss, dass die Technologie nicht ausgereift genug ist“, sagte Dahan. „Wir haben jetzt ein multidisziplinäres Team, das bestehende Technologien bewertet, um eine Lösung zu entwickeln. Das unterscheidet sich völlig von dem, was wir zuvor gemacht haben; wir müssen ständig an der Spitze bleiben und bei allen verwandten Produkten und Forschungsarbeiten auf dem Laufenden sein.“
„Wir haben erkannt, dass eine Einheitsgröße nicht für alle passt. Tatsächlich passt eine Einheitsgröße fast für niemanden.“
Eliran Dahan
Der neue Ansatz von 3D Foundry Labs hat den Horizont des Unternehmens erweitert – es arbeitet nun mit Kunden zusammen, um alles von Rendering-Pipelines für Grafiken bis zur E-Commerce-Modellierung zu beschleunigen. Einer seiner Kunden in der Schmuckbranche erstellte beispielsweise zuvor 3D-Modelle von Hand, damit Kunden Bestellungen vorab ansehen konnten. Dieser stundenlange Prozess dauert mit KI Minuten.
Wie detailliert sind von KI generierte 3D-Modelle?
Die bereits online verfügbaren KI-generierten Modelle sprechen für sich. Aktuelle Technologien ermöglichen die schnelle, automatische Generierung einiger ziemlich realistisch wirkender KI-3D-Modelle. Natürlich sind viele von realen Gegenständen inspiriert (und das Urheberrecht ist vielleicht eine andere Diskussion), doch KI scheint bei der authentischen Rekonstruktion von Form und Textur überhaupt keine Probleme zu haben.
Bei der Erfassung geometrisch präziser Daten scheinen die Ergebnisse Defizite zu haben, aber Rait-Eino Laarman, COO und Mitgründer von Alpha3D, sagt, sie böten eine solide Grundlage für die Modellierung.
Für 3D-Druck oder Reverse Engineering bieten unsere Modelle einen soliden Ausgangspunkt, der mit spezialisierter Software manuell verfeinert werden kann, um präzise Anforderungen zu erfüllen. Sie bieten zwar gute Grundlagen, doch zusätzliche manuelle Bearbeitungen sind in der Regel notwendig, um die detaillierte Genauigkeit zu gewährleisten, die für die physische Fertigung oder technische Zwecke erforderlich ist.
Rait-Eino Laarman
Im Gegensatz dazu räumt Si ein, dass Genauigkeit ein Problem sein kann, insbesondere im Vergleich zu Photogrammetrie oder auf 3D-Scans basierenden Modellen, bei denen Nutzer „den Luxus haben, aus 360 Grad zu erfassen“. Da seine Plattform „dies der Vorstellungskraft der KI überlässt“, beeinträchtigt dies gelegentlich die Rekonstruktion. Bei der Geometrieerfassung übertrifft professionelles 3D-Scannen sowohl KI als auch Photogrammetrie, aber darauf gehen wir später ein.
Was die Detailerfassung betrifft, gehen Dahan & Kenig in ihrer Kritik an KI-generierten Modellen noch weiter und bezeichnen sie als „nicht besonders detailliert“ und als Modelle mit „sehr wenigen realen Anwendungsfällen“.
„Zunächst einmal sind sie nicht wirklich eine genaue Darstellung“, behauptete Kenig. „Sie sind nicht sehr detailliert, und dasselbe gilt für Texturen; nur wenige Modelle können realistische PBR-Texturen erzielen. Wenn ein Technical Artist ein 3D-Modell erstellt, unterteilt er es auch in Teile. Heutzutage sind KI-Modelle einteilige Meshes, von denen einige zerlegt werden können, aber nicht in sinnvolle Teile.“
Wie sieht die Zukunft der KI-gestützten 3D-Modellgenerierung aus?
Interessanterweise hatte jeder unserer Interviewpartner eine etwas andere Einschätzung dazu, wo KI als Nächstes in der 3D-Modellierung eingesetzt wird. Natürlich nutzen professionelle 3D-Scanner wie Artec Leo & Eva bereits KI, um feine Oberflächendetails hochauflösend zu erfassen, doch sie sagen, dass es Raum für Weiterentwicklungen gibt.
Während Laarmann seine Plattform zu einem „KI-gestützten Hub für 3D-Erstellung“ weiterentwickeln sieht, der auf Bereiche wie die Fertigung ausgeweitet werden könnte, sagt Si, Hyper3D ziele auf den 3D-Druck und arbeite mit Bambu Lab zusammen, um zugängliche KI-3D-Modelle auf Maker World zu erstellen.
Kenig hingegen glaubt, dass bestehende LLMs eines Tages eingesetzt werden, um Funktionen zu beschleunigen, die gewöhnlich von Fachkräften während des Designs ausgeführt werden, darunter Skizzieren und Texturieren.
Es gibt Plugins für Blender und vielleicht Unity, bei denen man LLMs anweisen kann, etwa 100 verschiedene Kugeln zu erstellen, solche Dinge. Vielleicht wird die nächste Generation erleben, dass jemand dies wirklich fein abstimmt – möglicherweise indem er eine Bibliothek von Python-Skripten für Blender nutzt (das über eine großartige API verfügt). Aber ich denke, Fortschritt wird daraus entstehen, dass KI lernt, diese Tools auf fortgeschrittene Weise zu bedienen.
Tal Kenig
Ob diese Prognosen eintreffen oder nicht, wird nur die Zeit zeigen. Derzeit scheinen von KI generierte 3D-Modelle in ihrem Umfang relativ begrenzt zu sein, insbesondere beim Reverse Engineering. Im Allgemeinen liefert Photogrammetrie mehr visuelle Details, und 3D-Scannen ist beiden bei der präzisen Datenerfassung deutlich überlegen – mit Genauigkeiten von nur wenigen Mikrometern.
Mit Spitzentechnologien wie KI-Photogrammetrie ist KI auch bei anderen 3D-Modellierungstechniken nicht völlig abwesend. Dennoch wird es spannend sein zu sehen, wie sich Text-zu-Modell-Plattformen in naher Zukunft weiterentwickeln, während der Hype um KI weiterhin in alle Richtungen wirbelt.
