Diese Woche findet in Barcelona der Mobile World Congress statt. Interessanterweise wird eine Mobilfunkmesse wie der MWC für einen 3D-Scan-Experten inzwischen genauso wertvoll wie Industriemessen à la Formnext, die sich an Hersteller industrieller 3D-Druck- und 3D-Scan-Hardware richten. Das gilt besonders für mich, weil ich Lösungen zur 3D-Erfassung sowohl für professionelle Anwender als auch für Verbraucher behandle.
Obwohl auch der MWC vor allem als Bühne für neue Hardware wahrgenommen wird, finden sich immer mehr der eigentlichen Innovationen in der Software. Am deutlichsten zeigt sich das wohl bei mobiler Augmented Reality (AR), die nach einigen Jahren mobiler Virtual Reality (VR) zur neuen Trendtechnologie geworden zu sein scheint.
Reine Softwarelösungen werden sinnvoll
Eine Zeit lang ging man davon aus, dass ein Telefon für zuverlässiges Tracking in AR spezielle Hardware benötigt. Deshalb entwickelte Google Project Tango, bei dem ein kleiner Tiefensensor neben der normalen Smartphone-Kamera saß. Ab dem 1. März wird Project Tango jedoch nicht mehr unterstützt. Das überrascht nicht: Seit der Einführung von Apples ARkit für iOS und Googles eigenem ARcore für Android hat das Konzept, AR allein mit Software umzusetzen, die Idee eingebauter Tiefensensoren für diesen Zweck überholt.
Tango wurde zwar als AR-Technologie vermarktet, doch viele Menschen, mich eingeschlossen, interessierten sich auch für die Möglichkeit, mit dem Tiefensensor 3D-Scans zu erstellen. Das bleibt offensichtlich eine Nische. Ähnlich verhält es sich mit eigenständigen Tiefensensoren wie dem Structure Sensor und Intel RealSense, die hauptsächlich zum Tracking eingesetzt werden, aber ebenfalls 3D-Scans ermöglichen.
Die Idee, für AR Tiefensensoren in Smartphones einzubauen, wurde vom Konzept einer reinen Softwarelösung überholt.
Spezielle Sensoren kosten allerdings Geld. Außerdem machen sowohl aufgesteckte als auch eingebaute Varianten Mobiltelefone deutlich unhandlicher — für eine Funktion, die viele Besitzer nur selten nutzen werden. Deshalb sind in den letzten Jahren Apps populär geworden, die 3D-Erfassung mit gewöhnlichen 2D-Fotos und intelligenter Software versprechen. Diese Technik nennt sich mobile Photogrammetrie .
Die Achillesferse der mobilen Photogrammetrie
Mobile Photogrammetrie hat allerdings einen Haken. Gemeint ist nicht 123D Catch, denn diese beliebte App wurde eingestellt: Mich erreichen viele Fragen von Menschen, die sich eine nahezu kostenlose Photogrammetrie-Softwareheruntergeladen, eine Reihe von Fotos aufgenommen und anschließend nicht das erhoffte Ergebnis erhalten haben — oder überhaupt keines. Andererseits habe ich ein iPad mit Structure Sensor und der itSeez3D-App Kindern in die Hand gegeben , die damit innerhalb weniger Minuten ihre allerersten 3D-Scans erstellt haben.
In eine Welt, in der Erlebnisse unmittelbar danach oder sogar in Echtzeit in sozialen Netzwerken geteilt werden, passt die 3D-Erfassung bisher noch nicht richtig hinein.
In meiner Beratungstätigkeit und bei Vorträgen erkläre ich deshalb oft: Photogrammetrie ist großartig, aber auch anspruchsvoll und mit einer steilen Lernkurve verbunden. Man muss unbedingt verstehen, wie sie funktioniert, um genügend Fotos aus den richtigen Winkeln und mit den passenden Kameraeinstellungen aufzunehmen. Und selbst als Photogrammetrie-Jedi-Meister können die langen Verarbeitungszeiten noch zur Nervenprobe werden.
Das kenne ich aus eigener Erfahrung. In meinem Studio arbeite ich viel mit 3D-Scans und Photogrammetrie, unterwegs oder allgemein im Freien erfasse ich dagegen fast nie etwas in 3D. Wenn ich doch Fotos oder, häufiger, 4K-Videos aufnehme, die sich hervorragend für Photogrammetrie eignen , erledige ich vor Ort immer nur die Aufnahme und verarbeite das Material erst später. Deshalb teile ich meine Aufnahmen fast nie in sozialen Netzwerken: Der passende Moment ist dann längst vorbei. In eine Welt, in der Erlebnisse unmittelbar danach oder sogar in Echtzeit geteilt werden, passt die 3D-Erfassung bisher also noch nicht richtig hinein.
Das dürfte sich bald ändern. Entwickler nutzen die hervorragenden Kameras und schnellen Mobilprozessoren, die zunehmend auf Grafikleistung optimiert werden, inzwischen auch zur 3D-Erfassung statt nur für perfekte Fotos und AR-Anwendungen.
Erstmals funktioniert mobile Photogrammetrie mehr oder weniger in Echtzeit und mit Oberflächen, die gut genug gestaltet sind, um 3D-Erfassung auch für Einsteiger verständlich zu machen.
Sony bringt 3D-Erfassung in Echtzeit auf Android
Das beste Beispiel dafür ist die App 3D Creator von Sony . Sie wurde im vergangenen Jahr zusammen mit dem Xperia XZ1 vorgestellt. Damit rückte eine Smartphone-Marke die 3D-Erfassung erstmals in den Mittelpunkt ihrer Werbung. Das neue Xperia XZ2, das diese Woche auf dem MWC vorgestellt wurde , kann nun auch mit seiner Frontkamera 3D-Aufnahmen erstellen und ermöglicht so 3D-Selfies.
AR eignet sich hervorragend dazu, Verbraucher zu guten 3D-Aufnahmen anzuleiten.
Ergänzung nach dem MWC:
Am Sony-Stand auf dem MWC habe ich mich nun selbst scannen lassen. Unten sehen Sie ein Video eines Gesichtsscans, der vom Start bis zum fertigen Ergebnis weniger als eine Minute dauert:
Und hier können Sie das Ergebnis auf Sketchfab betrachten, wohin die App direkt exportieren kann. Es handelt sich um die Ausgabe der App in voller Qualität.
https://sketchfab.com/models/4947debd0ff74e96953238ec0a0c9db6
Bei genauerem Hinsehen ist die App 3D Creator mehr als nur eine unterhaltsame Zusatzfunktion. Sony betreibt einen eigenen YouTube-Kanal für 3D Creator mit Videoanleitungen, die zeigen, wie verschiedene Motive am besten aufgenommen werden. Das belegt zwar, dass man sich bei der 3D-Erfassung weiterhin mit Themen wie idealen Lichtverhältnissen vertraut machen muss. Der visuell geführte Aufnahmeprozess ist in puncto Benutzerfreundlichkeit dennoch ein großer Fortschritt. Er verdeutlicht auch, wie gut AR Verbraucher zu brauchbaren 3D-Aufnahmen anleiten kann. Das ist mir bereits bei meinem Test des All-in-One-PCs HP Sprout G2 aufgefallen.
Für viele ist es natürlich bedauerlich, dass 3D Creator nur auf Sonys Flaggschiff-Smartphones läuft. Diese Entscheidung zeigt aber auch, dass reine Softwarelösungen für 3D-Erfassung derzeit eine bestimmte Kombination aus Hard- und Software benötigen, um annähernd in Echtzeit zu funktionieren. Auf der fragmentierten Android-Plattform ist das besonders schwierig.
Kleine Objekte mit Qlone erfassen — sofern ein Drucker vorhanden ist
iPhone-Nutzer können bereits seit einiger Zeit mit Trnio mobile Photogrammetrie betreiben. Die App bietet während der Aufnahme zwar eine einfache Tracking-Hilfe, verarbeitet die Daten aber in der Cloud. Wer sie schon ausprobiert hat, kennt die frustrierenden Wartezeiten bei den mehrfachen Dateiübertragungen.
Qlone war die erste App, die 3D-Erfassung in Echtzeit ohne spezielle Hardware ermöglichte. Sie ist bereits seit einiger Zeit für iOS verfügbar ; eine Vorabversion gibt es nun auch für Android.
Schon das Tracking allein beansprucht selbst aktuelle Flaggschiff-Smartphones stark — ganz zu schweigen davon, gleichzeitig Photogrammetrie-Algorithmen auszuführen.
Damit diese Technik funktioniert, ist die App allerdings auf ein ausgedrucktes Raster angewiesen. Diese sogenannte AR Mat schränkt nicht nur spontane 3D-Aufnahmen ein, sondern begrenzt die Motive auch auf kleine Objekte. Schließlich besitzen die meisten Menschen keinen Großformatdrucker — falls sie überhaupt noch einen Drucker haben.
Ergänzung nach dem MWC:
Letzte Woche habe ich den Qlone-Stand auf dem MWC besucht, um die App auf einem iPhone X in Aktion zu sehen. Hier ist ein Video des Ablaufs:
Und hier ist das fertige Ergebnis genau dieses Scanvorgangs:
https://sketchfab.com/models/e7031b7374aa408cb25a0b3b6edfaead
Es ist leicht vorstellbar, dass das ausgedruckte Muster künftig überflüssig wird, denn ARkit und ARcore ermöglichen markerloses Tracking in Echtzeit. Allerdings beansprucht bereits dieses Tracking selbst aktuelle Flaggschiff-Smartphones stark — ganz zu schweigen davon, zugleich noch Photogrammetrie-Algorithmen auszuführen.
Gegenwart und Zukunft der 3D-Erfassung und des Teilens in sozialen Netzwerken
Die ersten Schritte einer rein softwarebasierten 3D-Erfassung in Echtzeit werden auf Smartphones offenbar praktikabel. Die detaillierte Geometrie spezieller 3D-Scanner ist damit zwar nicht erreichbar, doch die Kombination aus einem 3D-Netz mit wenigen Polygonen und einer hochauflösenden Fototextur reicht für viele Zwecke aus.
Für Verbraucher ist es wahrscheinlich sogar besser, wenn 3D-Aufnahmen auf wenige Polygone beschränkt bleiben. So lassen sie sich in VR und AR betrachten und in sozialen Netzwerken teilen. Facebook hat beispielsweise letzte Woche 3D Posts eingeführt. Damit können 3D-Modelle direkt im News Feed geteilt werden. Die bereits erwähnte App Sony 3D Creator gehört tatsächlich zu den ersten Apps, die diese Funktion zum direkten Teilen unterstützen.
Ergänzung nach dem MWC: Der eingebettete Facebook-Beitrag entstand unmittelbar nach dem Scan am Sony-Stand auf dem MWC mit der neuen Funktion zum direkten Export nach Facebook:
Interessanterweise ist die Dateigröße von Facebooks 3D-Post-Format derzeit auf gerade einmal 3MB begrenzt — einschließlich des Texturbilds! Bei einfachen 3D-Modellen aus Minecraft oder Google Blocks mag das kein großes Problem sein, doch selbst sehr einfache 3D-Aufnahmen müssten dafür erheblich optimiert werden. Laut diesem Testbericht zum Xperia XZ2 muss sogar Sony die Ausgabe von 3D Creator vereinfachen, um sie direkt auf Facebook veröffentlichen zu können. Dabei lassen sich auf Twitter sogar GIFs mit 15MB teilen — und das schon seit 2016!
Noch interessanter ist das Thema Dateiformate. Facebook unterstützt ausschließlich das neue 3D-Dateiformat glTF, das derzeit nur sehr wenige 3D-Scan- und Bearbeitungsprogramme exportieren können. Und selbst innerhalb dieses Formats gibt es eine Liste von Einschränkungen , etwa für die Texturauflösung. Mir ist völlig klar, dass glTF zum ersten wirklich standardisierten 3D-Dateiformat werden soll. Derzeit ist es das allerdings noch nicht. Zum Glück lassen sich OBJ-Dateien leicht in glTF umwandeln.
3D Posts hat also viel Zukunftspotenzial. Für professionelle Anwender ist es momentan aber bequemer, 3D-Scans auf Sketchfab hochzuladen und von dort in sozialen Netzwerken zu teilen: Der Dienst unterstützt mehr als 50 3D-Dateiformate , und selbst im kostenlosen Tarif sind Uploads bis 50 MB möglich. Außerdem lässt sich der Viewer direkt in die Timelines von Facebook und Twitter einbetten.
Ehrlich gesagt musste ich gerade an den aufregenden Moment zurückdenken, als Tumblr die Unterstützung für 1MB große GIFs ankündigte — im Jahr 2012. Für Verbraucher könnte 3D durchaus das neue GIF werden. Kürzlich hatte ich auf meinem Pixel 2 viel Spaß mit Googles neuen AR Stickers . Dabei wurde mir klar, dass unterhaltsame AR-Videos ein idealer Einsatzbereich für nutzergenerierte 3D-Inhalte sind.
Fazit
Mobile Photogrammetrie ist großartig, weil sie allen Smartphone-Besitzern Zugang zur 3D-Erfassung verschafft. Wenn man bedenkt, welche Wirkung das seinerzeit auf die Digitalfotografie hatte, fällt es schwer, sich nicht dafür zu begeistern. Smartphones werden enorm leistungsfähig und besitzen spezielle Chipsätze, die für anspruchsvolle visuelle Berechnungen optimiert sind. Dadurch wird es möglich, Photogrammetrie annähernd in Echtzeit auszuführen und brauchbare 3D-Modelle zu erzeugen.
Wenn sogar ein großer Smartphone-Hersteller wie Sony auf diesen Zug aufspringt, hat die 3D-Erfassung vielleicht tatsächlich eine Chance, in naher Zukunft Verbraucher zu erreichen. Ich hoffe sehr, dass Sony die App weiterentwickelt, denn auch Microsoft hatte ehrgeizige Pläne für mobile 3D-Erfassung , hat seit deren Vorstellung aber nichts mehr davon hören lassen.
Mobile Fotografie wäre allerdings nicht so erfolgreich geworden, wenn sich Fotos nicht so einfach online und direkt in sozialen Netzwerken teilen ließen. Entscheidend sind standardisierte Dateiformate wie JPG für 2D-Bilder und MP4 für Videos — und natürlich GIF. Zum Glück ist glTF auf einem guten Weg, sich als 3D-Standardformat zu etablieren, und es ist erfreulich, dass Facebook darauf für sein neues 3D-Post-Format setzt. Eine Funktion auf ein einziges Format zu beschränken, das viele Lösungen zur 3D-Erstellung noch gar nicht unterstützen, und die Größe auf 3MB zu begrenzen, was schon ein einzelnes 2D-Foto der meisten Smartphones überschreitet, lässt allerdings wenig Spielraum zum Experimentieren.
Am Mittwoch werde ich in Barcelona den MWC besuchen und mit Menschen aus der Mobilfunkbranche über die Zukunft der mobilen 3D-Erfassung sprechen.
Folgen Sie mir in Ihrem bevorzugten sozialen Netzwerk für Neuigkeiten vom MWC 2018. Vielleicht teile ich sogar ein paar Dinge in 3D!
