Wenn Sie sich für 3D-Scanning oder Photogrammetrie interessieren und noch nichts von 3D Gaussian Splatting (3DGS) gehört haben: Wo waren Sie denn! Seit Forschungsergebnisse zur Technologie auf der SIGGRAPH-Konferenz für Computergrafik des vergangenen Jahres vorgestellt wurden, ist sie zu einem der heißesten Themen der Branche geworden.
Ohne zu sehr ins technische Detail zu gehen: 3DGS stellt einen neuartigen Weg dar, ganze Szenen in lebensechte 3D-Modelle zu verwandeln. Anders als 3D-Scanning und Photogrammetrie, die Objekte oder Bereiche so, wie sie sind (zu einem festen Zeitpunkt), mittels Lasererfassung oder Fotoausrichtung in dichte 3D-Meshes umwandeln, liefert 3DGS dynamische, schlanke und meshfreie Modelle.
Wie gelingt dies der Technologie? Ähnlich wie die Structure-from-Motion-Photogrammetrie sammelt sie Datenpunkte aus Bildern oder Videos, nutzt diese jedoch nicht zur Umwandlung in Meshes durch Merkmalsextraktion, Rekonstruktion und Filterung, sondern zur Initialisierung wolkenartiger Ansammlungen von 3D-„Gaußfunktionen“.
3D Gaussian Splatting – eine neue Methode zur Erstellung lebensechter Digitalisierungen aus extrahierten Foto- oder Videodaten – ermöglicht eine schnelle, meshfreie 3D-Modellierung
Spezielle Algorithmen optimieren und rasterisieren anschließend Gauß-Punkte in Echtzeit, um ultrarealistische Visualisierungen zu erzeugen. Das Echtzeit-Rendering neuronaler Strahlungsfelder (NeRF) leistet Ähnliches, doch die Entwickler von 3DGS sagen, ihr Ansatz unterscheide sich, da er weder auf neuronalen Netzwerken beruhe noch leeren Raum rendere. Das mache ihn weniger GPU-intensiv, während dynamische Szenen dennoch schnell erlernt würden.
Der Grund ist, dass NeRF-Methoden auf einer impliziten Farb- und Dichtedarstellung beruhen, während 3DGS endliche Wolken von 3D-Gaußfunktionen nutzt. Der Wechsel zu einem Format der „expliziten Darstellung“ beschleunigt im Wesentlichen Training und Rendering und hebt zugleich die Begrenzung der Szenengröße auf – wobei detailliertere Szenen eine größere Anzahl an Gaußfunktionen – und Rechenleistung erfordern.
Verglichen mit bestehenden NeRF-basierten Ansätzen hat sich 3DGS bereits als deutlich schneller erwiesen: In einem Fall lernte es eine Szene, für die Google mip-NeRF 360 48 Stunden benötigte, in 14 Minuten und erzielte dabei eine Qualität, die über jener von Nvidia InstantNGT lag.
3D Obwohl die Technologie weiterhin Gegenstand intensiver F&E ist, beginnt sie bereits, im Mainstream anzukommen.
Da Apps wie Polycam und KIRI Engine 3DGS-Funktionen einführen und Programme wie Volinga Pipelines für die 3D-Modellierung durch die Integration von Unreal Engine schaffen, scheint sicher, dass sich die Technologie eine Nische in der Modellierung für TV, Filme und Videospiele erschließen wird.
Doch welches wahre Potenzial hat 3DGS? Um das herauszufinden, sprachen wir mit Innovatoren aus diesem aufstrebenden Bereich – nicht nur mit frühen Anwendern, sondern auch mit einem Mitglied des Forschungsteams, das die Technologie tatsächlich erfunden hat.
Warum brauchen wir 3D Gaussian Splatting?
Die Technologie mag durch FUNGRAPH verfeinert worden sein, ein mit €2.5 Millionen an Fördermitteln des European Research Council unterstütztes Projekt, doch 3DGS ist das Ergebnis von 20 Jahren Forschung zum bildbasierten Rendering.
In der Welt der 3D-Modellierung bedeutet „image-based rendering“ schlicht den Prozess, Modelle aus Aufnahmen einer bestimmten Szene zu erzeugen. Da die Photogrammetrie hierzu schon seit einiger Zeit fähig ist, fragen Sie sich vielleicht: „Warum brauchen wir diese Technologie?“ Nun, Photogrammetrie hat ihre Probleme – insbesondere bei Skalierung (sie liefert nur statische Momentaufnahmen), Genauigkeit und Dateigröße.
Strukturiertes Licht beim 3D-Scanning bietet zwar eine schnellere und genauere Alternative und liefert hochdetaillierte Mesh-Daten, die ideal für Reverse Engineering und Inspektion auf Industrieniveau sind. Da jedoch nicht alle Anwendungen derart detaillierte Daten erfordern, fließen erhebliche Forschungsanstrengungen in die Suche nach einer weniger rechenintensiven Modellierungsmethode.
3D Gaussian Splatting verwandelt reale Umgebungen in dynamische, fotorealistische virtuelle „Szenen“.
NeRF vs. 3D Gaussian Splatting
Vor 3DGS war NeRF das Aushängeschild dieser Bewegung. Mittels maschinellen Lernens kann die Technologie ein Strahlungsfeld eines Objekts im 3D-Raum erzeugen, das Form, Textur und feine Oberflächendetails realistisch erfasst. Doch FUNGRAPH-Forscher George Drettakis zufolge führt 3DGS diese Idee weiter und liefert Daten, die sich „viel leichter bearbeiten“ lassen.
„NeRFs sind implizit. Sie liefern eine kontinuierliche Dichte, daher lassen sie sich gut optimieren. Aber sie sind auch verschwenderisch. Im größten Teil des 3D-Modellraums befindet sich nichts“, sagte Drettakis.
„Man weiß auch nicht, wo sich etwas befindet, deshalb muss man ,Ray-Casting‘ einsetzen“, fügte er hinzu. „3D Gaussian Splatting basiert auf expliziter Darstellung, daher werden Primitive exakt an der richtigen Position im 3D-Raum platziert, wodurch sie leichter zu interpretieren sind. Das ist einer der Gründe, weshalb die Technologie äußerst populär geworden ist.“
Da viele App-Entwickler die Technologie übernehmen, stimmt die Branche dem offensichtlich zu. KIRI-Engine-Mitgründer Jack Wang sagt, ihre Fähigkeit, in Echtzeit mit minimalen Artefakten zu rendern, bedeute, die Technologie „hat alles Coole an NeRFs, ohne die schlechten Seiten“.
Doly-Entwickler und aniML-Mitgründer Pierre Pontevia geht noch weiter und ergänzt, sie liefere ein derart „hohes Maß an Qualität und Leistung, dass Fachleute aus Medien, Unterhaltung und Film sie lieben“. Doch diese Branchen sind nicht einmal Dolys Hauptzielmarkt – und unsere anderen Interviewpartner stimmen zu: Geschwindigkeit, Auflösung und Meshfreiheit der Technologie machen sie auch breiter attraktiv.
3D Gaussian Splats werden immer beliebter, da sie keine Bearbeitung wie 3D-Meshes erfordern und schneller als NeRF-Modelle rendern
Pioniere des 3D Gaussian Splatting
Wang stimmt beispielsweise zu, dass 3DGS Potenzial in CGI hat, doch er glaubt, dass die Technologie auch für alltägliche App-Nutzer ein Wendepunkt sein kann. KIRI-Daten zeigen etwa, dass die Mehrheit hochwertiger Modelle von nur 20% der Nutzer erstellt wird. Wang führt dies auf die steile Lernkurve der Photogrammetrie zurück und erwartet, dass die großzügigeren Toleranzen von 3DGS die 3D-Datenerfassung demokratisieren.
Seit der Übernahme der Technologie im vergangenen Jahr sei die App seines Unternehmens in „völlig neuen Anwendungen“ eingesetzt worden, ergänzt er, und deutet an, dass 3DGS-Mapping und Videospielmodellierung möglicherweise nicht mehr weit entfernt sind.
Um im Bereich der PC-Modellierung für Aufsehen zu sorgen, hat Volinga ebenfalls eine Desktop-Plattform für 3D Gaussian Splatting entwickelt, die direkt in Unreal Engine und Pixoto exportiert. Diese Integrationen erfreuen sich unter CGI-Entwicklern wachsender Beliebtheit und sind potenziell ein echter Coup, da sie eine der ersten klaren Pipelines für professionelle Endanwender darstellen.
Volinga, Doly und KIRI Engine bringen die Technologie nun für Anwendungen in CGI, E-Commerce und mehr auf den Markt
Die Plattform als cloudbasierte Lösung anzubieten, ist ebenfalls eine interessante Designentscheidung. Das bedeutet, 3DGS für alle Nutzer zu öffnen, einschließlich jener mit weniger leistungsstarken PCs. Volinga-CEO Fernando Rivas-Manzaneque betont jedoch, dass die Offline-Version der Software seines Unternehmens als „Blackbox“ für sensible Daten fungiere, und scherzt, dass „Produzenten nicht wollen, dass der Drehort der nächsten Game-of-Thrones-Folge über unsere öffentliche Cloud läuft.“
Andernorts, abseits der Welten von CGI und gängiger Smartphone-Erfassung, richtet sich Doly an einen ganz bestimmten Kundentyp: Händler und Social-Media-Stars. Mit dem Aufstieg von Secondhand-Shopping und Personal Branding auf Plattformen wie TikTok sagt CEO Remi Rousseau, 3DGS könne dies nutzen, indem es Inhalte für Kunden erstellt, die sich die Unterstützung einer Agentur nicht leisten können.
„Wir sehen immer mehr Produkte, die eingeführt werden, um die eigene Online-Präsenz zu monetarisieren“, sagte Rousseau. „Wir glauben auch wirklich an Secondhand. Künftig werden Sie solche Produkte vor dem Kauf in 3D untersuchen können. Das ist die Art von Situation, in der man das Produkt unbedingt prüfen muss – also ein sehr interessanter Anwendungsfall für uns!“
Hebt eine steigende Flut alle Boote?
Jeder unserer Interviewpartner sieht die Entwicklung von 3DGS etwas anders, doch in einem wesentlichen Punkt sind sich alle einig: Die Technologie wurde nicht entwickelt, um die geometrisch genauere meshbasierte Modellierung herauszufordern.
Im Gegenteil: Sie glauben weitgehend, dass 3DGS-Modelle bei richtigem Entwicklungspfad eines Tages neben jenen eingesetzt werden können, die mit professionellem 3D-Scanning erfasst wurden. Selbst wenn andere Entwickler dieselbe Technologie nutzen, um konkurrierende Produkte auf den Markt zu bringen, herrscht die Haltung vor, dass „eine steigende Flut alle Boote hebt“ – wie ein gewisser JFK einst sagte.
Die Technologieriesen Google und Nvidia entwickeln weiterhin NeRF-Renderingmethoden als Alternativen zu 3D Gaussian Splatting
Das bedeutet nicht, dass das Feld nicht umkämpft wäre. Nehmen wir Nvidia und Google, die unbeirrt weiterhin NeRF-basierte Methoden entwickeln. Auf Anfrage für einen Kommentar nahm sich Google Senior Staff Research Scientist Jon Barron sogar die Zeit darauf hinzuweisen, dass 3DGS zwar hinsichtlich der Geschwindigkeit „ein vielversprechender Fortschritt“ sei, jedoch „die Gesamtqualität gerenderter Bilder verringere“.
Hervorzuheben ist, dass es inzwischen schnellere NeRF-Ansätze als Google mip-NeRF 360 gibt, die hochwertige Ergebnisse liefern, und dass FUNGRAPH-Forscher Georgios Kopanas ebenfalls Google Research Scientist ist. Doch da Google selbst zugibt, „diese neue Forschungsrichtung zu untersuchen“, wird deutlich, welch hohen Stellenwert 3DGS in der Branche genießt.
Mit dem Fortschritt der Technologie räumt Drettakis ein, dass noch viel Arbeit nötig ist, um 3D Gaussian Splats für die Endnutzung in CGI zu optimieren. Da 3DGS jedoch zum Liebling der Start-up-Welt für 3D-Scanning wird, glaubt er, dass genug kluge Köpfe daran arbeiten, um die Ergebnisse erheblich zu verbessern und vielleicht eines Tages vorsichtig in ein anderes Feld vorzudringen: „Generatives 3D“.
„Technisch ist 3D direkt in die [Text-zu-Video-Plattform] Sora integriert“, schloss er. „Sie dazu zu bringen, genau das zu tun, was Sie wollen, kann etwas mehr Feinabstimmung erfordern. Doch sie hat das Potenzial, viele der schwierigen Probleme in generativer 3D-KI zu lösen. Generatives Video wird die Tür zu generativem 3D auf eine Weise öffnen, die zuvor nicht vorstellbar war. Und das könnte relativ schnell geschehen!“
