Si vous devez enregistrer un interprète en mouvement en 3D, répondez à quatre questions avant de comparer les systèmes. Comment le sujet bouge-t-il et interagit-il ? Quelle surface au sol et quelle hauteur la performance nécessite-t-elle ? Quelle partie du sujet sera cachée aux caméras ? Où le résultat devra-t-il être lu ou monté ? Cet explicatif ne désigne aucun système comme étant globalement le meilleur, car le bon choix dépend du plan.
La vidéo volumétrique reconstruit un sujet au fil du temps plutôt que d’enregistrer un état statique unique.
L’article de recherche de 2021 sur Function4D décrit une étape dynamique de fusion glissante qui fusionne des observations de profondeur voisines avec une cohérence topologique afin d’obtenir une reconstruction temporellement continue (Function4D, arXiv, 2021).
Le même résumé de 2021 synthétise le principal compromis. Des systèmes hors ligne sophistiqués peuvent produire des résultats de haute qualité, tandis que la capture en temps réel de scénarios complexes avec des configurations légères reste difficile (résumé de Function4D). Il s’agit du point de vue des auteurs sur le domaine de recherche en mai 2021, et non d’une affirmation concernant un produit actuel.
Vidéo volumétrique ou numérisation 3D statique
Une numérisation statique enregistre un état d’un objet. La photogrammétrie ou le LiDAR ne sont pertinents ici que si le workflow gère le mouvement : les bras d’un interprète croisent le corps, les vêtements changent de forme et les accessoires passent d’une main à l’autre.
Les auteurs de Function4D observent que la fusion volumétrique dépend fortement du suivi non rigide à long terme. Ils décrivent cela comme particulièrement difficile en cas de changements topologiques sévères et d’occlusions importantes (article Function4D, 2021).
Réseaux de capture et synchronisation
Dans leur revue de la littérature de 2021, les auteurs de Function4D décrivent des systèmes multi-vues de pointe construits avec jusqu’à 100 caméras, certains utilisant également un éclairage à gradient conçu sur mesure (article Function4D, 2021).
Function4D lui-même est décrit comme un système de capture volumétrique utilisant des capteurs RGBD grand public très peu nombreux, seulement 3. Son pipeline part d’un groupe d’entrées RGBD multi-vues synchronisées. Les auteurs rapportent une reconstruction à 25 fps pour leur système, l’étape de reconstruction de surface implicite profonde étant chronométrée avec 3 points de vue. Le pipeline d’exécution est entièrement implémenté sur GPU, avec la précision mixte TensorRT utilisée pour l’étape de reconstruction de surface implicite profonde (article Function4D, 2021). Il s’agit de chiffres de recherche de 2021, et non de spécifications produit.
Sur sa page produit HOLOSYS, 4Dviews indique un volume de capture jusqu’à D5m x H2.4m, jusqu’à 48 caméras et une fréquence d’images jusqu’à 60 FPS (spécifications HOLOSYS de 4Dviews). Chaque chiffre est publié comme un maximum ; la page n’indique pas si les trois s’appliquent simultanément, ni comment les caméras sont synchronisées ou calibrées.
Occlusion, mouvement, éclairage et texture
Les auteurs de Function4D indiquent que générer des surfaces et textures précises et détaillées pour des régions entièrement occultées reste difficile (limitations de Function4D, 2021). Un interprète qui se détourne des caméras, ou un accessoire maintenu contre la poitrine, constitue donc un cas de contrainte utile à vérifier dans tout workflow.
Les auteurs indiquent également que certains matériaux, comme les cheveux noirs, peuvent empêcher les capteurs de profondeur d’obtenir des observations, ce qui dégrade fortement leur système (limitations de Function4D, 2021). Cela s’applique aux capteurs RGBD grand public de leur configuration de recherche.
4Dviews cite l’éclairage de studio spécialisé et les outils de calibration parmi le matériel du pack HOLOSYS tout compris, sans spécifications d’éclairage (pack HOLOSYS de 4Dviews). Ces limitations de recherche ne constituent pas des limites mesurées de HOLOSYS ou d’autres produits.
Traitement des données et formats de livraison
4Dviews décrit 4DS comme un format optimisé pour la lecture et l’intégration, pris en charge par plusieurs outils 4Dviews et moteurs de jeu. L’entreprise indique également que l’option d’export HOLOSYS Alembic (.ABC) permet l’importation native de vidéos volumétriques dans Cinema4D, Autodesk Maya, Houdini et Blender (formats de sortie HOLOSYS de 4Dviews). Aucune version d’application ou de moteur n’est indiquée, et 3D Mag n’a pas testé ces exports.
4Dviews indique que son logiciel 4Dfx atteint des taux de compression allant jusqu’à 1 MB/s pour adapter la vidéo volumétrique aux pipelines WebXR, VFX et XR (page 4Dfx de 4Dviews). La page n’indique ni le contenu, ni les réglages de qualité, ni la version du logiciel correspondant à ce chiffre. Considérez les licences logicielles comme une question distincte des formats requis par votre livrable.
Tableau de décision : adapter le workflow au projet
| Facteur de décision | Ce que documentent les sources sélectionnées | À confirmer |
|---|---|---|
| Mouvement et interactions du sujet | Recherche de 2021 : les changements topologiques sévères et les occlusions importantes rendent le suivi non rigide particulièrement difficile (Function4D) | Des séquences de test de vos mouvements et passages d’objets les plus rapides |
| Volume de capture requis | HOLOSYS : jusqu’à D5m x H2.4m, tel que publié par 4Dviews (4Dviews) | La configuration sur laquelle repose le maximum |
| Tolérance aux artefacts d’occlusion | Recherche de 2021 : les régions entièrement occultées restent difficiles (Function4D) | Comment le fournisseur comble les surfaces cachées |
| Contrôle de l’éclairage | Le pack HOLOSYS mentionne un éclairage de studio spécialisé ; aucune spécification d’éclairage fournie (4Dviews) | Les exigences d’éclairage sur votre plateau |
| Temps réel ou hors ligne | Recherche de 2021 : 25 fps rapportés, l’étape de reconstruction de surface étant chronométrée avec 3 points de vue sur un pipeline de recherche GPU (Function4D) | Le temps de traitement pour la durée de votre clip |
| Cible de livraison | 4DS pour les moteurs ; Alembic pour Cinema4D, Maya, Houdini et Blender ; compression 4Dfx jusqu’à 1 MB/s pour WebXR, VFX et XR (HOLOSYS, 4Dfx) | Importation et lecture dans votre propre pipeline |
| Précision géométrique de la sortie commerciale | Non documentée dans les sources sélectionnées | Demander la méthode de mesure |
Un workflow de vérification en préproduction (proposé, non réalisé)
Ces étapes sont des recommandations suggérées. 3D Mag ne les a pas réalisées.
- Décrivez le plan par écrit : interprètes, accessoires, mouvements les plus rapides, changements de costume, et types de cheveux ou de matériaux.
- Délimitez la zone de performance et comparez-la au volume de capture publié par le fournisseur. Demandez quelles conditions suppose un chiffre « jusqu’à ».
- Demandez au fournisseur, par écrit, comment les caméras sont synchronisées et calibrées, et quel nombre de caméras et quelle fréquence d’images s’appliquent à votre volume.
- Demandez ou filmez un court clip de test du moment le plus difficile. Examinez les zones occultées, les mains, les accessoires, les cheveux, les matériaux foncés et les coutures de texture.
- Exportez le clip dans chaque format cible et confirmez qu’il s’importe et se lit dans vos propres outils avant le début de la production.
- Consignez séparément la version du logiciel, les conditions de licence et les coûts par poste, indépendamment des formats de livraison.
FAQ
La vidéo volumétrique est-elle la même chose qu’une numérisation 3D ? Non. Une numérisation capture un état d’un objet ; la capture volumétrique reconstruit un sujet en mouvement au fil du temps. La recherche de 2021 sur Function4D désigne la reconstruction temporellement continue comme objectif de son étape dynamique de fusion glissante (Function4D).
De combien de caméras ai-je besoin ? Les sources sélectionnées ne donnent pas de réponse unique. La recherche de 2021 documente des configurations allant de rigs RGBD très peu denses à des rigs de studio denses (Function4D), et 4Dviews publie un nombre maximal de caméras pour HOLOSYS (4Dviews). Basez ce nombre sur votre volume et vos séquences de test.
Puis-je monter une vidéo volumétrique dans Maya ou Blender ? 4Dviews indique que l’export HOLOSYS Alembic (.ABC) permet d’importer nativement des vidéos volumétriques dans Cinema4D, Autodesk Maya, Houdini et Blender (4Dviews). Le comportement du montage dans ces outils n’est pas documenté dans les sources sélectionnées, et 3D Mag ne l’a pas testé.
Sources
Cet explicatif s’appuie sur des sources publiées citées ; 3D Mag n’a pas effectué de tests pratiques. Sponsoring de l’éditeur.
