Jusqu’à récemment, dans mon travail de conseil autour de la capture de réalité 3D, je distinguais deux technologies :
- Capture 3D active, ou numérisation 3D, qui utilise un dispositif dédié projetant un motif sur le sujet avec de la lumière visible ou invisible, ou des lasers, et un ou plusieurs capteurs pour capturer ce motif afin de calculer la profondeur.
- Capture 3D passive, ou photogrammétrie, qui utilise une série d’images 2D et des algorithmes informatiques pour estimer les positions de la caméra et calculer la profondeur à partir de ces informations.
Cette dernière suscite beaucoup d’intérêt, car il s’agit d’une solution logicielle qui ne nécessite pas l’achat de matériel spécial et qu’il est devenu réaliste d’exécuter sur le matériel d’un smartphone.
Mais comme cette approche exige toujours que le sujet reste parfaitement immobile pendant la numérisation, il est difficile de l’utiliser pour capturer des personnes. C’est pourquoi, au lieu de s’appuyer sur les principes traditionnels de la photogrammétrie, une nouvelle vague de technologies de capture 3D utilise l’intelligence artificielle (IA) et l’apprentissage automatique pour estimer la profondeur et générer des modèles 3D réalistes. Et cela d’une manière beaucoup plus conviviale.
L’année dernière, j’ai testé l’Avatar SDK d’itSeez3D, qui est depuis devenu une plateforme commerciale complète pouvant fonctionner localement et dans le cloud. Il peut créer un avatar 3D d’une tête humaine à partir d’une seule photo selfie 2D. Certes, il s’agit d’une estimation et les résultats varient selon la personne ou l’essai, mais les algorithmes d’apprentissage automatique s’améliorent avec le temps. Et le peu de temps et d’efforts nécessaires par rapport aux méthodes traditionnelles est si important qu’il peut facilement l’emporter sur la précision pour de nombreux cas d’usage.
Outre leur simplicité d’utilisation, ce type de modèles générés en 3D comporte une topologie géométrique très efficace (l’Avatar SDK propose même différents niveaux de détail, ou LOD) pouvant être directement utilisée et animée dans des applications en temps réel, tandis que les modèles capturés en 3D contiennent généralement un maillage polygonal totalement aléatoire et loin d’être optimal. Et si les remplacements numériques de cheveux peuvent sembler ridicules lorsque vous choisissez le mauvais, ils présentent de grands avantages par rapport aux cheveux réellement capturés, car ils peuvent se déplacer dynamiquement dans des environnements en temps réel.
Un nouveau concept qui a été récemment publié sur sciencemag.org pousse encore plus loin le concept de capture de réalité basée sur l’IA. Il peut transformer une vidéo ordinaire d’une personne tournant sur elle-même en un modèle 3D complet efficace, directement doté d’un rig pour être animé. La vidéo ci-dessous l’explique mieux que je ne pourrais le faire par écrit :
Cette technologie est très intéressante, car elle permet à toute personne disposant d’une caméra de créer facilement des avatars 3D réalistes sans devoir rester totalement immobile. De plus, la « précision moyenne de 5 mm » annoncée peut aussi potentiellement rendre cette technologie viable pour des cas d’usage de mensuration corporelle qui ne nécessitent pas des mesures extrêmement précises.
J’espère que cette technologie sera bientôt publiée afin que je puisse la tester moi-même et la comparer à des solutions de numérisation corporelle plus traditionnelles telles que la photogrammétrie, les capteurs de profondeur et les scanners portables professionnels.
Qu’en pensez-vous ? Et connaissez-vous d’autres exemples de capture 3D basée sur l’IA ? Faites-le-moi savoir dans les commentaires !
