Mein Interesse an der 3D-Erfassung begann vor zwei Jahren mit einem Forschungs- und Entwicklungsprojekt für mein Animationsstudio. Tatsächlich gründete ich 3D Scan Expert, weil ich keine guten Informationen über die Möglichkeiten der 3D-Erfassung für kreative Projekte finden konnte!
Mit 3D-Scanning und Fotogrammetrie werden natürlich statische Objekte und Menschen erfasst, die sich alle Mühe geben, für einen Moment stillzuhalten. Für die statischen Ergebnisse gibt es viele Einsatzmöglichkeiten. Scans von Menschen können darüber hinaus digital animiert werden. So entstehen Figuren für Videospiele oder digitale Darsteller für visuelle Filmeffekte.
Animierte 3D-Scans ersetzen kein 2D-Video.
Eine Person zu scannen und das Ergebnis anschließend zu animieren, ist eigentlich gar nicht so schwierig und auch mit sehr kleinem Budget möglich. Unten sehen Sie einen Scan meines Geschäftspartners Patrick, der übrigens auch großartige Photoshop-Plug-ins entwickelt. Er wurde mit einem iPad, einem Structure-Sensor-3D-Scanner für $379 und der itSeez3D-App aufgenommen. Die Scandaten habe ich in Adobes kostenloses Onlinewerkzeug Mixamo zur Figurenanimation geladen. So entstand innerhalb weniger Minuten dieses Ergebnis, das über Sketchfab in Echtzeit beleuchtet und gerendert wird.
https://sketchfab.com/models/7c84e03f079d4505ad0e2e3926d1d5a0
Beachten Sie, dass der oben eingebettete Inhalt kein Video ist. Sie können ihn zwar wie eines abspielen, aber auch mit Maus oder Finger um die Figur herumdrehen und sie von allen Seiten betrachten. Das ist schon ziemlich beeindruckend. Trotzdem wirkt sie noch wie eine Spielfigur, obwohl Mixamos Animationsvorlagen auf echten Motion-Capture-Aufnahmen von Menschen beruhen.
Kurz gesagt: Animierte 3D-Scans ersetzen kein 2D-Video. Natürlich lässt sich digitale Animation viel weiter treiben. Digitale Figuren in den neuesten Playstation-Spielen oder digitale Darsteller in den jüngsten Star-Wars-Filmen sehen fantastisch aus. Doch es bleibt Animation und kein aufgezeichnetes Video.
Einen Schritt näher kommt man vielleicht, wenn man etwas zu unterschiedlichen Zeitpunkten in 3D erfasst. Das habe ich kürzlich gemacht, indem ich mit Fotogrammetrie fünf Stadien eines Apfels aufnahm, der nach und nach aufgegessen wurde. Soweit ich weiß, ist dies eines der ersten Beispiele einer volumetrischen 3D-Stop-Motion-Animation:
https://sketchfab.com/models/d8c30f7f5a624267a776d1dd1003e53b
Trotzdem nenne ich es nicht ohne Grund Animation. Es ist inszeniert und entstand über einen längeren Zeitraum, statt wie ein Video in Echtzeit aufgezeichnet und mit derselben Geschwindigkeit abgespielt zu werden.
Mit der wachsenden Verbreitung von Virtual Reality (VR) und Augmented Reality (AR), sowohl in Headsets als auch auf Smartphones, beschleunigen sich nun plötzlich die Entwicklungen rund um das „nächste Videoformat“. Denn diese neuen Technologien, besonders AR, verlangen nach Echtzeit-3D-Inhalten. Und weil wir bereits im Videozeitalter leben, reichen statische Inhalte nicht mehr aus. Wir wollen Bewegung und noch mehr Emotionen.
In der einfachsten Form ließe sich das erreichen, indem mehrere Einzelbilder in Echtzeit fotogrammetrisch erfasst und genauso gerendert werden wie mein Stop-Motion-Apfel. Das Ergebnis sähe ungefähr so aus; dieses Beispiel stammt nicht von mir:
https://sketchfab.com/models/1862e5f23e294d5ab713647770afab3b
Das zeigt nur die Spitze des Eisbergs der Möglichkeiten volumetrischer Videos. Emotionen werden wie in einem 2D-Video klar erfasst, doch der Betrachter kann zusätzlich den Blickwinkel verändern. Das nennt sich auch Free Viewpoint Volumetric Video. Dieses Beispiel wurde mit einer Anordnung von GoPro-Kameras aufgenommen, die ausschließlich auf das Gesicht der Person gerichtet waren. Anschließend wurden die Einzelbilder mit Fotogrammetriesoftware verarbeitet. Derselbe Effekt lässt sich mit mehreren Tiefensensoren und Software wie MimeSys erzielen. Das kann dann so aussehen:
https://sketchfab.com/models/d4216d72e179456c9e35bad9af091188
Wie Sie sehen, handelt es sich in beiden Fällen um Teilerfassungen. Für vollständige Ganzkörperaufnahmen in 360 Grad ist deutlich mehr Technik nötig.
Für diese neue Art von volumetrischem Video entwickeln verschiedene Unternehmen neue Aufnahmestudios
Um ein solches „echtes“ volumetrisches Video aufzunehmen – also audiovisuelle Darbietungen, die sich aus jedem Blickwinkel betrachten lassen –, entwickeln verschiedene Unternehmen völlig neue Aufnahmestudios. Gestern veröffentlichte The Verge dazu eine großartige Kurzdokumentation mit dem Titel „Are Holograms the Future of How We Record Memories?“ beziehungsweise „Sind Hologramme die Zukunft unserer Erinnerungsaufzeichnung?“; das Video finden Sie unten. Es behandelt Unternehmen wie Microsoft, die bei der Entwicklung dessen vorangehen, was manche als Hologramme bezeichnen. Das Unternehmen, das früher nur Windows und Word entwickelte, baut heute Geräte wie HoloLens und eröffnet sogar spezielle Mixed Reality Capture Studios in London und San Francisco.
Wenn Sie sich für 3D, Video, Kommunikation, darstellende Kunst oder die Zukunft im Allgemeinen interessieren, sollten Sie sich das folgende Video unbedingt ansehen.
Wie bei jemandem mit einem Hintergrund in Motion Design, Animation und visuellen Effekten zu erwarten, interessieren mich diese Entwicklungen sehr. Sie können deshalb sicher sein, künftig mehr darüber auf 3Dmag.com zu lesen!
Ich werde dazu auch weitere Inhalte in sozialen Netzwerken teilen. Folgen Sie mir in Ihrem bevorzugten Netzwerk, wenn Sie nichts verpassen möchten!
Dieser Beitrag wurde nach der Veröffentlichung um die Stop-Motion- und volumetrischen Videobeispiele von Sketchfab ergänzt, dank eines Hinweises des CEOs ebenjener Onlineplattform zum Teilen von 3D/4D/VR/AR und was künftig noch alles dazukommen mag!
