C’est le Mobile World Congress à Barcelone cette semaine. Fait intéressant, pour un expert de la numérisation 3D, un événement consacré aux technologies mobiles comme le MWC devient aussi précieux que des salons industriels comme Formnext, qui se concentrent sur les fabricants de matériel d’impression 3D et de numérisation 3D industriels. D’autant plus que je couvre les solutions de capture 3D destinées aussi bien aux professionnels qu’aux consommateurs.
Mais si le MWC est lui aussi largement perçu comme un salon de lancements matériels, une part croissante des véritables innovations se trouve dans les logiciels. Cela est sans doute particulièrement visible dans la réalité augmentée (AR) mobile, qui semble être devenue la nouvelle technologie à la mode après quelques années de réalité virtuelle (VR) mobile.
Le tout logiciel commence à devenir pertinent
Pendant un court moment, l’idée était que, pour un suivi fiable en AR, un téléphone avait besoin d’un matériel spécial. C’est pourquoi Google a développé Project Tango, qui plaçait un minuscule capteur de profondeur à côté de l’appareil photo classique du smartphone. Mais à partir du 1 mars, Project Tango ne sera plus pris en charge. Ce n’est pas une surprise, car l’idée d’intégrer des capteurs de profondeur dans les smartphones pour l’AR a été dépassée par le concept consistant à le faire uniquement avec des logiciels, avec l’introduction d’ARkit d’Apple pour iOS et d’ARcore de Google pour Android.
Mais si Tango était commercialisé comme une technologie AR, de nombreuses personnes, moi y compris, s’intéressaient également à la possibilité de réaliser des scans 3D avec le capteur de profondeur. Il s’agit évidemment encore d’une niche, et cela n’est pas sans rappeler les capteurs de profondeur autonomes comme Structure Sensor et Intel RealSense, utilisés principalement à des fins de suivi, mais qui peuvent aussi servir à la numérisation 3D.
L’idée d’intégrer des capteurs de profondeur dans les smartphones pour l’AR a été dépassée par le concept consistant à le faire uniquement avec des logiciels.
Mais les capteurs dédiés coûtent de l’argent. Et les versions ajoutées comme intégrées rendent les téléphones mobiles nettement moins portables, pour une fonctionnalité que beaucoup de propriétaires utiliseront peu. C’est pourquoi les applications qui promettent de réaliser une capture 3D avec des photos 2D ordinaires associées à un logiciel intelligent — une technologie appelée photogrammétrie mobile — sont devenues populaires ces dernières années.
Le talon d’Achille de la photogrammétrie mobile
Mais la photogrammétrie mobile a un piège (et ce n’est pas 123D Catch, car cette application populaire a été abandonnée) : je reçois beaucoup de questions de personnes ayant téléchargé un logiciel de photogrammétrie gratuit (ou presque), pris une série de photos et n’ayant pas obtenu les résultats qu’elles espéraient — voire aucun résultat. À l’inverse, j’ai confié un iPad équipé de Structure Sensor et de l’application itSeez3D à des enfants, et ils ont réalisé leurs tout premiers scans 3D en quelques minutes.
Dans un monde où le partage social intervient soit juste après le moment vécu, soit même en temps réel, la capture 3D ne s’y intègre pas vraiment — pas encore.
Ainsi, dans mon travail de conseil et lors de mes conférences, j’explique souvent que si la photogrammétrie est formidable, elle est aussi difficile et présente une courbe d’apprentissage raide. Il est essentiel de comprendre son fonctionnement afin de prendre le bon nombre de photographies, depuis les bons angles et avec les bons réglages d’appareil photo. Et même si vous êtes devenu un maître Jedi de la photogrammétrie, les longs temps de traitement rendent l’expérience éprouvante.
Même dans mes propres expériences, je réalise beaucoup de numérisation 3D et de photogrammétrie dans mon studio, mais je ne capture presque jamais d’objets en 3D en voyage ou, plus généralement, lorsque je suis à l’extérieur. Et lorsque je prends des photos — ou, plus souvent, des vidéos 4K idéales pour la photogrammétrie — je me contente toujours de la capture sur le moment et effectue le traitement plus tard. Cela signifie que je ne partage presque jamais mes captures sur les réseaux sociaux, car le moment est passé. Ainsi, dans un monde où le partage social intervient soit juste après le moment vécu, soit même en temps réel, la capture 3D ne s’y intègre pas vraiment — pas encore.
Cela est sur le point de changer, car les développeurs commencent à utiliser les excellents appareils photo et les processeurs mobiles rapides (qui sont de plus en plus optimisés pour les performances graphiques) pour la capture 3D, au lieu de prendre des photos parfaites et d’alimenter l’AR.
Pour la première fois, la photogrammétrie mobile fonctionne plus ou moins en temps réel et au moyen d’interfaces utilisateur suffisamment bien conçues pour rendre la capture 3D compréhensible pour les débutants.
Sony apporte la capture 3D en temps réel à Android
Le meilleur exemple est l’application 3D Creator de Sony. Elle a été présentée avec le Xperia XZ1 l’année dernière et a marqué la première fois qu’une marque de smartphones mettait en avant la capture 3D dans sa communication principale. Le nouveau Xperia XZ2 lancé au MWC cette semaine peut désormais aussi capturer en 3D avec sa caméra frontale, permettant la création de selfies 3D.
L’AR est excellente pour guider les consommateurs afin qu’ils réalisent de bonnes captures 3D.
Mise à jour après le MWC :
J’ai officiellement été numérisé sur le stand Sony au MWC. Vous trouverez ci-dessous une vidéo d’un scan de visage, qui prend moins d’une minute du début au résultat final :
Et voici le résultat sur Sketchfab (vers lequel l’application peut exporter directement) pour votre plaisir visuel. Il s’agit de la sortie en pleine qualité de l’application.
https://sketchfab.com/models/4947debd0ff74e96953238ec0a0c9db6
En creusant un peu, l’application 3D Creator est plus qu’une simple fonctionnalité amusante. Sony dispose d’une chaîne YouTube 3D Creator dédiée, avec des tutoriels vidéo expliquant comment réaliser les meilleures captures de différents sujets. Si cela prouve que la capture 3D présente toujours une courbe d’apprentissage pour des éléments tels que les conditions d’éclairage idéales, le processus de capture guidé visuellement constitue un progrès majeur en matière de facilité d’utilisation. Cela montre également clairement que l’AR est excellente pour guider les consommateurs afin qu’ils réalisent de bonnes captures 3D, ce que j’ai aussi découvert en testant le PC tout-en-un Sprout G2 de HP.
Bien sûr, il est regrettable pour beaucoup que 3D Creator ne fonctionne que sur les téléphones haut de gamme de Sony. Mais ce choix montre clairement que la capture 3D tout logiciel nécessite actuellement une combinaison spécifique de matériel et de logiciel pour fonctionner en temps (presque) réel, ce qui est encore plus difficile sur la plateforme Android fragmentée.
Capturez de petits objets avec Qlone, si vous avez une imprimante
Les utilisateurs d’iPhone peuvent réaliser de la photogrammétrie mobile avec Trnio depuis un certain temps. Mais si cette application offre un guidage de suivi basique pour l’étape de capture, le traitement est effectué dans le cloud. Et si vous l’avez déjà essayé, vous savez que les multiples temps d’attente liés aux transferts de fichiers peuvent être frustrants.
Qlone a été la première application à proposer une capture 3D en temps réel sans matériel spécial. Elle est disponible sur iOS depuis quelque temps, et une version préliminaire est désormais également disponible pour Android.
Le suivi seul est déjà très exigeant, même pour les derniers téléphones haut de gamme, sans parler de l’exécution simultanée d’algorithmes de photogrammétrie.
Mais pour faire fonctionner cette technologie, l’application s’appuie sur une grille que vous devez imprimer. Cette AR Mat, comme elle est appelée, limite non seulement les possibilités de réaliser des captures 3D spontanées, mais limite aussi les sujets aux petits objets, puisque la plupart des gens ne disposent pas d’une imprimante grand format — s’ils possèdent encore une imprimante tout court.
Mise à jour après le MWC :
Je suis passé au stand Qlone lors du MWC la semaine dernière pour voir l’application en action sur un iPhone X. Voici une vidéo du processus :
Et voici le résultat final de cette même session de scan :
https://sketchfab.com/models/e7031b7374aa408cb25a0b3b6edfaead
Il n’est pas difficile d’imaginer que la nécessité d’un motif imprimé deviendra obsolète à l’avenir, maintenant qu’ARkit et ARcore peuvent effectuer un suivi sans marqueur en temps réel. Mais cette seule méthode de suivi est déjà très exigeante pour les derniers téléphones haut de gamme, sans parler de l’exécution simultanée d’algorithmes de photogrammétrie.
Le présent et l’avenir de la capture 3D et du partage social
Il est clair que les premières étapes de la capture 3D en temps réel, tout logiciel, deviennent désormais une tâche réaliste pour les smartphones. Bien que cela ne fournisse pas la géométrie détaillée obtenue avec des scanners 3D dédiés, la combinaison d’un maillage 3D low-poly et d’une texture photographique haute résolution est suffisante pour de nombreux usages.
En fait, pour les consommateurs, il est probablement préférable que les captures 3D soient obligatoirement low-poly, car cela les rend compatibles avec la visualisation en VR et AR ainsi qu’avec le partage sur les réseaux sociaux. Par exemple, Facebook a introduit les 3D Posts la semaine dernière, qui permettent de partager directement des modèles 3D dans le fil d’actualité. L’application 3D Creator de Sony que j’ai mentionnée précédemment est en réalité l’une des premières applications à prendre en charge cette fonctionnalité de partage direct.
Mise à jour après le MWC : La publication Facebook intégrée a été réalisée juste après le scan sur le stand Sony au MWC, à l’aide de la nouvelle fonction d’exportation directe vers Facebook :
Fait intéressant, le format 3D Post de Facebook est actuellement limité à seulement 3MB de taille de fichier — image de texture comprise ! Cela ne constitue peut-être pas un problème majeur pour de simples modèles 3D créés avec Minecraft ou Google Blocks, mais cela nécessiterait énormément d’optimisation, même pour les captures 3D les plus élémentaires. D’après ce test du Xperia XZ2, même Sony doit décimer la sortie de 3D Creator pour publier directement sur Facebook. Bon sang, vous pouvez même partager des GIF de 15MB sur Twitter — depuis 2016 !
Un sujet encore plus intéressant concerne les formats de fichier. Facebook prend strictement en charge le nouveau format de fichier 3D glTF, que très peu de programmes de numérisation 3D et d’édition peuvent actuellement exporter. Et même au sein de ce format de fichier, il existe une liste de restrictions, comme la résolution des textures. Je sais bien que glTF devrait devenir le premier véritable format de fichier 3D standardisé, mais ce n’est pas encore le cas. Heureusement, il est facile de convertir OBJ en glTF.
Ainsi, si les 3D Posts présentent un grand potentiel pour l’avenir, il est actuellement plus pratique pour les professionnels de téléverser leurs scans 3D sur Sketchfab et de les partager sur les réseaux sociaux depuis cette plateforme, car ce service prend en charge plus de 50 formats de fichiers 3D et même l’offre gratuite permet des téléversements allant jusqu’à 50 MB. Et leur visionneuse s’intègre nativement dans les fils d’actualité de Facebook comme de Twitter.
À vrai dire, cela m’a rappelé ce moment enthousiasmant où Tumblr a annoncé la prise en charge des GIF de 1MB en 2012. Pour les consommateurs, la 3D pourrait tout à fait devenir le nouveau GIF. Je me suis récemment beaucoup amusé avec les nouveaux AR Stickers de Google sur mon Pixel 2, et cela m’a fait comprendre que créer des vidéos amusantes avec l’AR est un terrain idéal pour le contenu 3D généré par les utilisateurs.
Conclusion
La photogrammétrie mobile est formidable, car elle met la technologie de capture 3D entre les mains de tous ceux qui possèdent un smartphone. Si vous pensez à ce que cela a apporté à la photographie numérique par le passé, il est difficile de ne pas être enthousiaste. Et alors que les smartphones deviennent incroyablement puissants et disposent de chipsets dédiés optimisés pour le traitement de tâches visuelles complexes, il devient désormais possible d’effectuer de la photogrammétrie en temps (presque) réel et de produire des modèles 3D utilisables.
Et lorsqu’un grand fabricant de smartphones comme Sony monte lui aussi dans le train, la capture 3D pourrait avoir une chance d’atteindre les consommateurs dans un avenir proche. J’espère vraiment qu’ils continueront à développer cette application, car Microsoft avait également des projets ambitieux pour la capture 3D mobile, mais est resté silencieux à ce sujet depuis leur révélation.
Mais la photographie mobile ne serait pas devenue populaire si le partage de photos en ligne et directement sur les réseaux sociaux n’avait pas été si facile. Tout cela repose sur la puissance de formats de fichiers standardisés comme JPG pour les images fixes 2D et MP4 pour la vidéo (sans oublier GIF). Heureusement, glTF est bien parti pour devenir le format standard pour la 3D, et il est appréciable que Facebook l’ait adopté pour son nouveau format 3D Post. Mais limiter une fonctionnalité à un seul format (qui n’est pas encore pris en charge par de nombreuses solutions de création 3D) et à une taille limite de 3MB (que même une seule photo 2D de la plupart des smartphones dépasse) n’offre pas beaucoup de flexibilité pour l’expérimentation.
Je serai à Barcelone mercredi pour visiter le MWC et discuter avec des personnes de l’industrie du téléphone mobile de l’avenir de la capture 3D mobile.
Suivez-moi sur votre réseau social préféré pour des mises à jour du MWC 2018. Peut-être partagerai-je même quelques contenus en 3D !
