Wenn Sie einen sich bewegenden Darsteller in 3D aufzeichnen müssen, klären Sie vier Fragen, bevor Sie Systeme vergleichen. Wie bewegt sich das Motiv und wie interagiert es? Wie viel Bodenfläche und Höhe benötigt die Darbietung? Wie viel vom Motiv wird vor den Kameras verborgen sein? Wo muss das Ergebnis wiedergegeben oder bearbeitet werden? Dieser Leitfaden nennt kein insgesamt bestes System, da die richtige Wahl von der Aufnahme abhängt.
Volumetrisches Video rekonstruiert ein Motiv über die Zeit, anstatt einen statischen Zustand aufzuzeichnen.
Die Function4D-Forschungsarbeit von 2021 beschreibt einen dynamischen Sliding-Fusion-Schritt, der benachbarte Tiefenbeobachtungen mit Topologiekonsistenz fusioniert, um eine zeitlich kontinuierliche Rekonstruktion zu erreichen (Function4D, arXiv, 2021).
Dasselbe Abstract von 2021 fasst den zentralen Zielkonflikt zusammen. Anspruchsvolle Offline-Systeme können hochwertige Ergebnisse erzielen, während die Echtzeiterfassung komplexer Szenarien mit schlanken Setups weiterhin eine Herausforderung darstellt (Function4D-Abstract). Dies ist die Sicht der Autoren auf das Forschungsfeld im Mai 2021 und keine Aussage über ein aktuelles Produkt.
Volumetrisches Video gegenüber einem statischen 3D-Scan
Ein statischer Scan erfasst einen Zustand eines Objekts. Photogrammetrie oder LiDAR sind hier nur relevant, wenn der Workflow Bewegung verarbeitet: Die Arme eines Darstellers kreuzen den Körper, Kleidung verändert ihre Form und Requisiten wechseln zwischen den Händen.
Die Function4D-Autoren stellen fest, dass volumetrische Fusion stark von langfristigem nichtstarrem Tracking abhängt. Sie beschreiben dies als besonders herausfordernd bei starken Topologieänderungen und großen Verdeckungen (Function4D-Arbeit, 2021).
Kamera-Arrays und Synchronisierung
In ihrem Literaturüberblick von 2021 beschreiben die Function4D-Autoren hochmoderne Mehransichtssysteme mit bis zu 100 Kameras, von denen einige auch speziell entwickelte Gradientenbeleuchtung verwenden (Function4D-Arbeit, 2021).
Function4D selbst wird als volumetrisches Erfassungssystem mit sehr wenigen RGBD-Verbrauchersensoren beschrieben, schon ab 3. Seine Pipeline beginnt mit einer Gruppe synchronisierter RGBD-Eingaben aus mehreren Ansichten. Die Autoren berichten für ihr System über eine Rekonstruktion mit 25 fps, wobei die Stufe der tiefen impliziten Oberflächenrekonstruktion mit 3 Blickwinkeln gemessen wurde. Die Laufzeit-Pipeline ist vollständig auf GPU implementiert, wobei für die Stufe der tiefen impliziten Oberflächenrekonstruktion TensorRT mit gemischter Präzision verwendet wird (Function4D-Arbeit, 2021). Dies sind Forschungswerte von 2021, keine Produktspezifikationen.
Auf seiner HOLOSYS-Produktseite gibt 4Dviews das Erfassungsvolumen mit bis zu D5m x H2.4m, bis zu 48 Kameras und eine Bildrate von bis zu 60 FPS an (4Dviews-HOLOSYS-Spezifikationen). Jede Angabe wird als Maximum veröffentlicht; die Seite sagt nicht, ob alle drei gleichzeitig gelten oder wie die Kameras synchronisiert oder kalibriert werden.
Verdeckung, Bewegung, Beleuchtung und Textur
Die Function4D-Autoren erklären, dass die Erzeugung präziser, detaillierter Oberflächen und Texturen für vollständig verdeckte Bereiche weiterhin herausfordernd ist (Function4D-Einschränkungen, 2021). Ein Darsteller, der sich von den Kameras wegdreht, oder eine vor die Brust gehaltene Requisite ist daher ein sinnvoller Belastungsfall, den Sie in jedem Workflow prüfen sollten.
Die Autoren erklären außerdem, dass bestimmte Materialien wie schwarzes Haar dazu führen können, dass Tiefensensoren keine Beobachtungen erfassen, was ihr System stark beeinträchtigt (Function4D-Einschränkungen, 2021). Dies gilt für die RGBD-Verbrauchersensoren in ihrem Forschungsaufbau.
4Dviews führt spezialisierte Studiobeleuchtung und Kalibrierwerkzeuge unter der Hardware des Komplettpakets HOLOSYS auf, jedoch ohne Beleuchtungsspezifikationen (4Dviews-HOLOSYS-Paket). Diese Forschungseinschränkungen sind keine gemessenen Grenzen von HOLOSYS oder anderen Produkten.
Datenverarbeitung und Ausgabeformate
4Dviews beschreibt 4DS als optimiertes Format für Wiedergabe und Integration, das von mehreren 4Dviews-Tools und Game-Engines unterstützt wird. Außerdem wird angegeben, dass die HOLOSYS-Alembic-Exportoption (.ABC) den nativen Import volumetrischer Videos in Cinema4D, Autodesk Maya, Houdini und Blender ermöglicht (4Dviews-HOLOSYS-Ausgabeformate). Es werden keine Anwendungs- oder Engine-Versionen aufgeführt, und 3D Mag hat diese Exporte nicht getestet.
4Dviews gibt an, dass seine 4Dfx-Software Kompressionsraten von bis zu 1 MB/s erreicht, um volumetrisches Video für WebXR-, VFX- und XR-Pipelines anzupassen (4Dviews-4Dfx-Seite). Die Seite nennt weder die Inhalte noch die Qualitätseinstellungen oder die Softwareversion, auf denen diese Angabe basiert. Behandeln Sie die Softwarelizenzierung getrennt von der Frage, welche Formate Ihr Ergebnis benötigt.
Entscheidungstabelle: Workflow an die Aufgabe anpassen
| Entscheidungsfaktor | Was die ausgewählten Quellen dokumentieren | Was zu bestätigen ist |
|---|---|---|
| Bewegung und Interaktionen des Motivs | Forschung von 2021: Starke Topologieänderungen und große Verdeckungen machen nichtstarres Tracking besonders herausfordernd (Function4D) | Testmaterial Ihrer schnellsten Bewegungen und Übergaben |
| Erforderliches Erfassungsvolumen | HOLOSYS: bis zu D5m x H2.4m, wie von 4Dviews veröffentlicht (4Dviews) | Welche Konfiguration dem Maximum zugrunde liegt |
| Toleranz für Verdeckungsartefakte | Forschung von 2021: Vollständig verdeckte Bereiche bleiben herausfordernd (Function4D) | Wie der Anbieter verborgene Oberflächen auffüllt |
| Beleuchtungssteuerung | Das HOLOSYS-Paket führt spezialisierte Studiobeleuchtung auf; keine Beleuchtungsspezifikationen angegeben (4Dviews) | Beleuchtungsanforderungen an Ihrem Set |
| Echtzeit gegenüber Offline | Forschung von 2021: 25 fps berichtet, wobei die Oberflächenrekonstruktionsstufe mit 3 Blickwinkeln auf einer GPU-Forschungspipeline gemessen wurde (Function4D) | Verarbeitungszeit für Ihre Clip-Länge |
| Ausgabeziel | 4DS für Engines; Alembic für Cinema4D, Maya, Houdini und Blender; 4Dfx-Kompression bis zu 1 MB/s für WebXR, VFX und XR (HOLOSYS, 4Dfx) | Import und Wiedergabe in Ihrer eigenen Pipeline |
| Geometrische Genauigkeit kommerzieller Ausgabe | In den ausgewählten Quellen nicht dokumentiert | Nach der Messmethode fragen |
Ein Verifizierungs-Workflow für die Vorproduktion (vorgeschlagen, nicht durchgeführt)
Diese Schritte sind als Orientierung vorgeschlagen. 3D Mag hat sie nicht durchgeführt.
- Beschreiben Sie die Aufnahme schriftlich: Darsteller, Requisiten, schnellste Bewegungen, Kostümwechsel sowie Haar- oder Materialtypen.
- Markieren Sie den Darbietungsbereich und vergleichen Sie ihn mit dem vom Anbieter veröffentlichten Erfassungsvolumen. Fragen Sie, von welchen Bedingungen eine Angabe „bis zu“ ausgeht.
- Fragen Sie den Anbieter schriftlich, wie Kameras synchronisiert und kalibriert werden und welche Kamerazahl und Bildrate bei Ihrem Volumen gelten.
- Fordern Sie einen kurzen Testclip des schwierigsten Moments an oder nehmen Sie ihn auf. Prüfen Sie verdeckte Bereiche, Hände, Requisiten, Haare, dunkle Materialien und Texturnähte.
- Exportieren Sie den Clip in jedes Zielformat und bestätigen Sie, dass er in Ihren eigenen Tools importiert wird und wiedergegeben wird, bevor die Produktion beginnt.
- Dokumentieren Sie Softwareversion, Lizenzbedingungen und Kosten pro Arbeitsplatz getrennt von den Ausgabeformaten.
FAQ
Ist volumetrisches Video dasselbe wie ein 3D-Scan? Nein. Ein Scan erfasst einen Zustand eines Objekts; volumetrische Erfassung rekonstruiert ein bewegtes Motiv über die Zeit. Die Function4D-Forschung von 2021 nennt die zeitlich kontinuierliche Rekonstruktion als Ziel ihres dynamischen Sliding-Fusion-Schritts (Function4D).
Wie viele Kameras benötige ich? Die ausgewählten Quellen geben keine einheitliche Antwort. Forschung von 2021 dokumentiert Setups von RGBD-Anordnungen mit sehr wenigen Sensoren bis zu dichten Studio-Rigs (Function4D), und 4Dviews veröffentlicht eine maximale Kamerazahl für HOLOSYS (4Dviews). Richten Sie die Anzahl nach Ihrem Volumen und Testmaterial aus.
Kann ich volumetrisches Video in Maya oder Blender bearbeiten? 4Dviews gibt an, dass Sie mit dem HOLOSYS-Alembic-Export (.ABC) volumetrische Videos nativ in Cinema4D, Autodesk Maya, Houdini und Blender importieren können (4Dviews). Das Bearbeitungsverhalten in diesen Tools ist in den ausgewählten Quellen nicht dokumentiert, und 3D Mag hat es nicht getestet.
Quellen
Dieser Leitfaden basiert auf zitierten veröffentlichten Quellen; 3D Mag hat keine praktischen Tests durchgeführt. Sponsoring des Herausgebers.
