Bis vor Kurzem habe ich in meiner Beratung zur 3D-Erfassung der Realität zwischen zwei Technologien unterschieden:
- Aktive 3D-Erfassung, also 3D-Scanning, verwendet ein spezielles Gerät, das mit sichtbarem oder unsichtbarem Licht beziehungsweise mit Lasern ein Muster auf das Motiv projiziert. Ein oder mehrere Sensoren erfassen dieses Muster, um die Tiefe zu berechnen.
- Passive 3D-Erfassung, also Fotogrammetrie, nutzt eine Reihe von 2D-Bildern und Computeralgorithmen, um Kamerapositionen zu schätzen und daraus Tiefeninformationen zu berechnen.
Letztere gewinnt stark an Bedeutung, weil sie als Softwarelösung keine Anschaffung spezieller Hardware erfordert und sich inzwischen auch auf Smartphone-Hardware praktikabel ausführen lässt.
Da das Motiv bei diesem Ansatz während der Aufnahme jedoch vollständig stillhalten muss, ist die Erfassung von Menschen schwierig. Eine neue Generation von Technologien zur 3D-Erfassung verlässt sich deshalb nicht auf die herkömmlichen Prinzipien der Fotogrammetrie. Stattdessen nutzt sie künstliche Intelligenz (KI) und maschinelles Lernen, um die Tiefe zu schätzen und lebensechte 3D-Modelle zu erzeugen, und das wesentlich benutzerfreundlicher.
Im vergangenen Jahr habe ich das Avatar SDK von itSeez3D getestet. Seitdem ist daraus eine vollständige kommerzielle Plattform geworden, die lokal und in der Cloud arbeiten kann. Sie erstellt aus einem einzigen 2D-Selfie einen 3D-Avatar eines menschlichen Kopfes. Natürlich handelt es sich um eine Schätzung, und die Ergebnisse unterscheiden sich je nach Person oder Versuch. Doch Algorithmen für maschinelles Lernen werden mit der Zeit besser. Der gegenüber herkömmlichen Verfahren so deutlich geringere Zeit- und Arbeitsaufwand kann zudem bei vielen Anwendungen wichtiger sein als höchste Genauigkeit.
Neben der einfachen Bedienung besitzen solche generierten 3D-Modelle eine sehr effiziente geometrische Topologie. Das Avatar SDK bietet sogar verschiedene Detailstufen, sogenannte LODs. Solche Modelle lassen sich unmittelbar in Echtzeitanwendungen nutzen und animieren. Dagegen enthalten erfasste 3D-Modelle meist ein völlig unregelmäßiges und bei Weitem nicht optimales Polygonnetz. Digitale Ersatzfrisuren können zwar lächerlich aussehen, wenn man die falsche auswählt, haben gegenüber tatsächlich erfasstem Haar aber große Vorteile: Sie können sich in Echtzeitumgebungen dynamisch bewegen.
Ein neues Konzept, das kürzlich auf sciencemag.org veröffentlicht wurde, führt die KI-gestützte Realitätserfassung noch weiter. Aus einem gewöhnlichen Video einer Person, die sich auf der Stelle dreht, kann es ein effizientes 3D-Ganzkörpermodell erstellen, das bereits mit einem Rig für die Animation versehen ist. Das folgende Video erklärt es besser, als ich es schriftlich könnte:
Diese Technologie ist sehr interessant, weil jeder mit einer Kamera damit unkompliziert lebensechte 3D-Avatare erstellen kann, ohne völlig stillstehen zu müssen. Die versprochene „durchschnittliche Genauigkeit von 5 mm“ könnte sie außerdem für Körpervermessungen geeignet machen, die keine extrem präzisen Maße erfordern.
Ich hoffe, dass die Technologie bald veröffentlicht wird, damit ich sie selbst testen und mit herkömmlicheren Lösungen zum Körperscanning wie Fotogrammetrie, Tiefensensoren und professionellen Handscannern vergleichen kann.
Was halten Sie davon? Kennen Sie weitere Beispiele für KI-gestützte 3D-Erfassung? Schreiben Sie es mir in die Kommentare!
