Mon intérêt pour la capture 3D a commencé il y a deux ans, dans le cadre d’un projet de R&D pour mon studio d’animation. En fait, j’ai créé 3D Scan Expert parce que je ne trouvais pas de bonnes informations sur les possibilités de la capture 3D pour les projets créatifs !
Bien sûr, la numérisation 3D et la photogrammétrie servent à capturer des objets statiques et des personnes qui font de leur mieux pour rester immobiles un instant. Les résultats statiques ont de nombreux usages, mais les scans de personnes peuvent également être animés numériquement. Cela permet de créer des personnages pour les jeux vidéo ou des acteurs numériques intégrés aux effets visuels de films.
Les scans 3D animés ne remplacent pas la vidéo 2D.
Numériser une personne puis animer le résultat n’est en réalité pas si difficile et peut être réalisé avec un budget très limité. Vous trouverez ci-dessous un scan de mon associé Patrick (qui crée également d’excellents plug-ins Photoshop, soit dit en passant), numérisé avec un iPad, un scanner à $379, le Structure Sensor 3D et l’application itSeez3D. J’ai chargé les données du scan dans l’outil gratuit en ligne d’Adobe, Mixamo, outil d’animation de personnages, afin d’obtenir ce résultat en quelques minutes, éclairé et rendu en temps réel avec Sketchfab.
https://sketchfab.com/models/7c84e03f079d4505ad0e2e3926d1d5a0
Notez que le contenu intégré ci-dessus n’est pas une vidéo — vous pouvez le lire comme tel, mais aussi utiliser votre souris ou votre doigt pour tourner autour du personnage et le voir sous tous les angles. Comme vous pouvez le constater, c’est déjà plutôt impressionnant, mais cela ressemble encore à un personnage de jeu, même si les modèles d’animation de Mixamo proviennent de véritables performances de capture de mouvement humain.
En bref : les scans 3D animés ne remplacent pas la vidéo 2D. Bien sûr, vous pouvez pousser l’animation numérique beaucoup plus loin, et les derniers jeux Playstation avec des personnages numériques ou les acteurs numériques des derniers films Star Wars sont superbes. Mais cela reste de l’animation — pas de la vidéo enregistrée.
Une étape peut-être plus proche consiste à capturer quelque chose en 3D à différentes étapes au fil du temps. Je l’ai récemment fait en utilisant la photogrammétrie pour capturer cinq étapes d’une pomme en train d’être mangée. À ma connaissance, il s’agit de l’un des premiers exemples d’animation stop-motion 3D volumétrique :
https://sketchfab.com/models/d8c30f7f5a624267a776d1dd1003e53b
Pourtant, ce n’est pas sans raison que je l’appelle animation. Elle est mise en scène et réalisée sur une période plus longue, au lieu d’être capturée en temps réel et lue à la même vitesse, comme une vidéo.
Aujourd’hui, avec la popularité croissante de technologies d’affichage telles que la réalité virtuelle (VR) et la réalité augmentée (AR) (dans les casques comme sur les smartphones), les développements autour du « prochain format vidéo » s’accélèrent soudainement. Cela s’explique par le fait que ces nouvelles technologies, et en particulier la AR, exigent du contenu 3D en temps réel. Et puisque nous vivons déjà à l’ère de la vidéo, le contenu statique ne suffit plus. Nous voulons du mouvement — et plus encore de l’émotion.
Dans sa forme la plus simple, cela pourrait être réalisé en capturant plusieurs images en temps réel par photogrammétrie et en les rendant de la même façon que je l’ai fait avec ma pomme en stop-motion. Cela donnerait quelque chose comme ceci (ce n’est pas mon travail) :
https://sketchfab.com/models/1862e5f23e294d5ab713647770afab3b
Cela ne montre que la partie émergée de l’iceberg des possibilités de la vidéo volumétrique, capturant clairement l’émotion comme dans une vidéo 2D, avec en plus la possibilité pour l’utilisateur de changer de point de vue (aussi appelée Free Viewpoint Volumetric Video). Cet exemple a été capturé à l’aide d’un ensemble de caméras GoPro orientées uniquement vers le visage de la personne, puis en traitant les images avec un logiciel de photogrammétrie. Le même effet peut être obtenu avec plusieurs capteurs de profondeur (et des logiciels comme MimeSys) pour parvenir à quelque chose comme ceci :
https://sketchfab.com/models/d4216d72e179456c9e35bad9af091188
Comme vous pouvez le constater, il s’agit dans les deux cas de captures partielles. Pour capturer des performances complètes du corps entier à 360-degrés, il faut beaucoup plus de technologie.
Pour capturer ce nouveau type de vidéo volumétrique , diverses entreprises développent de nouveaux studios d’enregistrement
Afin de pouvoir capturer ce type de vidéo volumétrique « véritable » — contenant des performances audiovisuelles pouvant être observées sous n’importe quel angle — diverses entreprises développent des studios d’enregistrement entièrement nouveaux. Hier, The Verge a publié un excellent mini-documentaire à ce sujet intitulé « Are Holograms the Future of How We Record Memories? » (voir la vidéo ci-dessous). Il présente des entreprises comme Microsoft, qui sont à l’avant-garde de la création de ce que certains appellent des hologrammes. L’entreprise qui se contentait autrefois de créer Windows et Word conçoit désormais des appareils tels que HoloLens et ouvre même des studios spécialisés de capture en réalité mixte à Londres et San Francisco.
Si vous vous intéressez à la 3D, à la vidéo, à la communication, à la performance ou au futur en général, ne manquez pas de regarder la vidéo ci-dessous.
Comme vous pouvez l’attendre de quelqu’un issu du motion design, de l’animation et des effets visuels, ces nouveaux développements m’intéressent beaucoup. Vous pouvez donc être sûr d’en lire davantage sur 3Dmag.com à l’avenir !
Je partagerai également davantage de contenu à ce sujet sur les réseaux sociaux, alors suivez-moi sur votre réseau préféré si vous ne voulez rien manquer !
Cet article a été modifié après sa publication afin d’inclure également les exemples de vidéo stop-motion et volumétrique de Sketchfab, grâce à un conseil du PDG de ce site web de partage en ligne 3D/4D/VR/AR (et de tout ce qui viendra à l’avenir) !
