Numérisation 3D gratuite depuis une vidéo avec un smartphone

La question qui m’est le plus fréquemment posée est :

Comment puis-je facilement réaliser des captures 3D sur un smartphone — gratuitement ?

Pendant un certain temps, beaucoup de personnes ont utilisé Autodesk 123D Catch pour faire de la photogrammétrie. Depuis son arrêt, des alternatives sont apparues, comme mon flux de travail ReCap 360 Android, mais il nécessite toujours de prendre des photos séparées. Beaucoup de personnes trouvent ce processus trop chronophage. TRNIO pour iOS résout ce problème grâce à une fonction de prise de photos continue basée sur le suivi, mais ses résultats peuvent être aléatoires et l’application n’est pas disponible pour Android.

Microsoft semble travailler sur une application multiplateforme, mais personne ne sait quand cette application 3D Capture sera publiée. Il y a aussi Google Tango, qui peut également être utilisé pour la numérisation 3D avec des applications dédiées. Mais cela nécessite un téléphone Tango spécial dont je suppose que très peu de consommateurs posséderont un jour.

En considérant mes préférences personnelles pour la capture 3D mobile en déplacement, je suis arrivé à la conclusion que je n’ai pas réellement besoin des résultats immédiatement — je veux simplement réaliser la capture le plus vite possible. Cela ne me dérange pas de les traiter plus tard, comme je le fais avec mes photos après des vacances.

Après avoir testé le logiciel de photogrammétrie 3DF Zephyr, j’ai découvert que sa fonction de conversion vidéo vers 3D a commencé à changer ma manière d’aborder la « capture 3D occasionnelle ». Laissez-moi définir cela ! Comme en photographie, je souhaite parfois capturer des choses avec la meilleure qualité possible, mais d’autres fois je veux seulement capturer quelque chose en 3D aussi rapidement que possible, avec un résultat acceptable que je peux partager sur Sketchfab. Pour moi, acceptable signifie un modèle 3D avec un niveau de détail géométrique comparable à celui d’un capteur de profondeur et une bonne texture.

Je pense que le flux de travail que je vais décrire ici répond à cela. Et la bonne nouvelle, c’est qu’il est entièrement GRATUIT !

Mais si vous avez besoin de plus de 40 secondes de vidéo ?

Après avoir publié cet article il y a quelque temps, j’ai reçu beaucoup d’e-mails de personnes qui atteignaient la limite de 50 photos de 3DF Zephyr Free, ce qui, d’après mon expérience, correspond approximativement à 30-40 secondes de vidéo. Cela m’est arrivé lorsque j’ai voulu créer la carte de Noël 3D de cette année :

https://sketchfab.com/models/0954e78ad846484696bb2e1d5b1d026c

J’ai dû consacrer un effort supplémentaire aux zones autour des lunettes et du chapeau, ce qui a donné une vidéo 4K d’environ deux minutes. Trop longue pour Zephyr Free, mais parfaitement adaptée à Zephyr Lite, qui a une limite de 500 photos. Cette version n’est pas gratuite, mais vous trouverez ci-dessous une offre spéciale à prix réduit de 3D Flow :

Obtenez une réduction de fin d’année sur 3DF Zephyr Lite

Si vous utilisez le bouton ci-dessous, vous pouvez commander la version Lite avec une réduction de $10/€10 !

Mais si vous avez besoin de plus de 40 secondes de vidéo ?

Après avoir publié cet article il y a quelque temps, j’ai reçu beaucoup d’e-mails de personnes qui atteignaient la limite de 50 photos de 3DF Zephyr Free, ce qui, d’après mon expérience, correspond approximativement à 30-40 secondes de vidéo. Cela m’est arrivé lorsque j’ai voulu créer la carte de Noël 3D de cette année :

https://sketchfab.com/models/0954e78ad846484696bb2e1d5b1d026c

J’ai dû consacrer un effort supplémentaire aux zones autour des lunettes et du chapeau, ce qui a donné une vidéo 4K d’environ deux minutes. Trop longue pour Zephyr Free, mais parfaitement adaptée à Zephyr Lite, qui a une limite de 500 photos. Cette version n’est pas gratuite, mais vous trouverez ci-dessous une offre spéciale à prix réduit de 3D Flow :

Obtenez une réduction de fin d’année sur 3DF Zephyr Lite

Si vous utilisez le bouton ci-dessous, vous pouvez commander la version Lite avec une réduction de $10/€10 !


Ce dont vous avez besoin

  • Un appareil photo ou un smartphone capable de filmer des vidéos, de préférence en qualité 4K, mais le 1080p HD fonctionne également si vous êtes moins exigeant sur la qualité.
  • Un ordinateur Windows doté d’un processeur graphique relativement récent. Plus précisément, un processeur compatible DirectX 9c, ce qui est le cas de nombreuses solutions graphiques intégrées de ces dernières années. Un processeur plus rapide, davantage de RAM et un processeur graphique (dédié) plus rapide, en particulier Nvidia, accéléreront le traitement.
  • Une copie de 3DF Zephyr Free que vous pouvez également utiliser à des fins personnelles avec des photos classiques (max 50).


Tutoriel

  1. Filmer la vidéo
    • C’est la partie la plus difficile et vous devrez vous entraîner à cette technique pour vous améliorer. Il est préférable de le faire dans un environnement très éclairé. Cela peut être en extérieur ou en intérieur. Dans ce dernier cas, vous pouvez envisager d’utiliser un kit d’éclairage de studio économique comme moi, mais l’éclairage de votre pièce ou bureau est peut-être suffisant. Dans tous les cas, des conditions de faible luminosité introduiront trop de bruit et de flou de mouvement pour que cette technique fonctionne. Cela dépend aussi beaucoup des capacités de votre téléphone ou appareil photo.
    • Choisissez un objet ou une personne et demandez à cette dernière de rester totalement immobile pendant que vous vous occupez de la capture. Installer une personne sur une chaise stable peut faire des merveilles. Assurez-vous que rien ne bouge en arrière-plan. Les voitures ou cyclistes qui passent peuvent tout gâcher ! Les objets ou vêtements avec très peu de détails, ou les éléments très sombres, brillants ou transparents, ne seront pas bien capturés. Si possible, utilisez une surface de sol riche en détails, comme un journal ou un livre, comme je le fais.
    • Vous pouvez filmer en orientation portrait ou paysage. Pour les objets et personnes plus hauts, le portrait est le meilleur choix, car il remplira mieux le cadre. Vérifiez les réglages de votre appareil photo (application) et définissez la qualité de capture vidéo la plus élevée. La 4K UHD est idéale si elle est disponible.
    • Enfin, il est absolument nécessaire de verrouiller l’exposition automatique et la mise au point automatique. Sur les iPhone et la plupart des téléphones Android, cela peut se faire en cadrant votre sujet, puis en touchant et en maintenant l’écran pendant quelques secondes. Un message tel que « AE/AF Lock » apparaîtra à l’écran.
    • Commencez la capture. Surtout avec des personnes, il est recommandé de commencer légèrement hors centre et de vous déplacer (lentement !) d’une oreille à l’autre, puis du haut vers le bas (n’oubliez pas de regarder sous le menton). Faites ensuite lentement le tour du sujet, en vous déplaçant vers le haut et vers le bas si nécessaire. N’oubliez pas non plus de filmer quelques secondes depuis le dessus. C’est fait !
    • Pour que cela fonctionne dans la version Free de 3DF Zephyr, gardez votre vidéo sous les 50 secondes. C’est suffisant pour la plupart des objets et personnes. Les objets et environnements plus grands nécessitent davantage d’angles, donc plus de temps de capture. Si cela vous intéresse, vous pourriez envisager d’acheter Zephyr Lite pour $149. Il propose un essai gratuit de 14 jours et les résultats obtenus peuvent également être utilisés commercialement.
  2. Copiez la vidéo sur votre PC
    Vous pouvez le faire via un service cloud tel que Dropbox, Google Drive ou iCloud, mais l’utilisation d’un câble USB est beaucoup plus rapide, car même une minute de vidéo 4K peut représenter quelques centaines de mégaoctets.
  3. Lancez 3DF Zephyr Free et démarrez un nouveau projet
  4. Décochez la case Camera Calibration et cliquez sur Next


Si vous avez confiance en vos compétences vidéo, vous pouvez prendre un raccourci en sélectionnant les deux premières Additional Options dans la colonne de gauche. Dans ce cas, vous pouvez passer les étapes 10 – 18. Mais je vous conseille vivement de suivre tout le processus manuellement la première fois afin de savoir ce qui se passe.

  • Sélectionnez Import Pictures from Video
  • Trouvez votre vidéo
    Les réglages par défaut conviennent dans la plupart des cas. Si vous avez le temps, vous pouvez régler le filtrage Blurriness sur Normal. Pour une vidéo de 50 secondes, le réglage par défaut Frames Per Second (FPS) à 1.00 convient. Pour une vidéo plus courte, vous pouvez le régler plus haut — 2.00 pour une vidéo de 25-secondes, etc.
  • Vérifiez le nombre d’images
    Si Zephyr a extrait plus de 50 images et que vous souhaitez utiliser la version Free, sélectionnez stratégiquement quelques photos dans toute la séquence, comme ci-dessous, puis supprimez-les avec le bouton moins jusqu’à en avoir exactement 50.
  • Choisissez le bon préréglage
    Faites preuve de bon sens pour choisir la bonne catégorie. Laissez le second préréglage sur Default. Si l’orientation de la caméra semble échouer après cette étape, vous pouvez toujours la recommencer avec un autre préréglage, plus long à traiter.
  • Buvez un café
    Cette phase peut durer de quelques minutes à de nombreuses minutes selon votre système. Selon la quantité de RAM de votre PC, vous pouvez aussi travailler pendant que ce processus s’exécute en arrière-plan. Dans Windows 10, l’icône Zephyr dans la barre des tâches sert également d’indicateur de progression.
  • Vérifiez les erreurs
    Dans l’idéal, toutes les images devraient avoir été intégrées avec succès. Si plus de quelques-unes produisent des erreurs, répétez l’étape 8 avec le préréglage Deep et buvez davantage de café. Les deux peuvent faire des merveilles.
  • Réorientez le résultat
    Vérifiez d’abord si le résultat semble correct et si les indicateurs de caméra bleus sont aux bons endroits. Sinon, répétez l’étape 8 avec un préréglage plus agressif. Si tout semble correct, il est recommandé de faire pivoter et déplacer votre objet afin qu’il soit bien à plat sur la grille. Les vidéos filmées en orientation portrait nécessiteront généralement une rotation de 90 degrés. Vous pouvez le faire en cliquant sur l’icône indiquée ci-dessous et en utilisant les gizmos interactifs, ou en modifiant les nombres. Cliquez ensuite sur OK.
  • Réinitialisez la boîte englobante
    Rendez la boîte englobante visible en cliquant sur la première icône visible dans la capture d’écran ci-dessous. Réinitialisez-la en cliquant sur la cinquième icône. 
  • Modifiez la boîte englobante si nécessaire
    Si la boîte englobante a été définie incorrectement ou si vous souhaitez recadrer des éléments du modèle 3D, utilisez les outils Translate, Rotate et Scale à cette fin. Vous trouverez ci-dessous un exemple de recadrage du livre (que j’ai finalement choisi de ne pas faire car j’aime le livre).
  • Générez le nuage de points dense
    Le préréglage de qualité Default est probablement suffisant dans la plupart des cas, car nous n’utilisons pas d’images extrêmement grandes. Vous pouvez essayer High si vous avez plus de temps. Cette étape dépasse souvent la durée d’une pause café, mais selon votre système et le temps disponible, vous pouvez aller déjeuner. Ou simplement continuer à travailler si votre système le permet. Le traitement de texte léger et les e-mails fonctionnent généralement, mais ce n’est pas le moment de modifier des photos ou des vidéos.
  • Supprimez les parasites
    Une fois le Dense Cloud terminé, recherchez les points isolés et flottants qui ne font pas partie du modèle. Vous pouvez les supprimer en cliquant sur la quatrième ou la cinquième icône dans la barre de menus ci-dessous et en suivant les instructions à l’écran.
  • Créez un maillage
    Default convient, High est mieux, le café est formidable.
  • Vérifiez le bruit
    Selon la qualité de votre appareil photo et les conditions lumineuses, la vidéo contiendra toujours du bruit. Le résultat sera visible sur le modèle. Pour l’évaluer, cliquez sur l’icône de lampe, puis sur la première icône avec des triangles pour désactiver la couleur.
  • Lissez-le
    Allez dans Tools > Mesh filters > Bilateral Smoothing. Vous pouvez expérimenter avec le réglage Iterations. J’ai fini par le régler à 10 (davantage entraînerait une perte de détails trop importante à mon goût). Vous pouvez choisir de créer une copie du résultat afin de conserver l’original.


  • Retopologisez
    Comme vous pouvez le voir dans l’image ci-dessus, la surface est désormais plus lisse, mais elle comporte quelques polygones étranges ici et là. Si nécessaire, vous pouvez réorganiser les polygones (c.-à-d. la topologie) du modèle 3D dans Zephyr en lançant Tools > Mesh filters > Retopology.


    Le texte dans le panneau explique le rôle du réglage Factor. Si vous visez un objet vraiment low-poly pour un jeu, vous voudrez peut-être choisir une valeur plus élevée. Là encore, vous pouvez créer des clones avec différents réglages. Vous pouvez rendre les polygones visibles en sélectionnant la troisième icône avec les triangles dans la barre de menus. J’ai choisi 1.00 et le résultat est un maillage beaucoup plus propre. Vous pouvez toujours vérifier le nombre de polygones (Triangles) en double-cliquant sur le maillage dans le menu de gauche. 384k me convient et est très similaire à ce qu’un capteur de profondeur produirait avec un objet de cette taille. La retopologie peut prendre un certain temps.

  • Texturez
    Tout d’abord, activez la couleur avec la première icône Triangle dans la barre de menus. Désactivez également l’éclairage, car il donne une représentation fausse des couleurs. Les couleurs sont désormais rendues par sommet. Si vous voulez une couleur de meilleure qualité indépendante du nombre de polygones, créez une texture lors de cette étape finale.
    À mon avis, une texture 4K (soit 4096 x 4096 pixels) suffit pour la plupart des usages, en particulier les applications temps réel comme Sketchfab ou les moteurs de jeu. Réglez Resolution et le nombre maximal de sommets au maximum pour obtenir la meilleure qualité de texture.
  • Enregistrez & exportez
    Il est toujours judicieux d’enregistrer l’ensemble du projet (File > Save) afin de pouvoir facilement exporter des modèles avec différents réglages ultérieurement. Depuis le menu Export, vous pouvez enregistrer le maillage texturé en tant que fichier (la version gratuite ne propose que les formats OBJ et PLY) ou l’exporter directement vers Sketchfab.
    (Vous trouverez votre clé API Sketchfab lorsque vous vous connectez au site web Sketchfab, dans Settings)
  • Visualisez & partagez
    Si vous choisissez de le téléverser sur Sketchfab, vous pourrez le partager par e-mail et sur les réseaux sociaux depuis cette plateforme. Ou l’intégrer dans un site web, comme je l’ai fait ci-dessous. Vous pouvez également le visualiser en VR si vous disposez d’un casque compatible ou d’une visionneuse Cardboard VR.
  • https://sketchfab.com/models/1d7bc2655c3a414eaa37d9428843e9ee

    Et pour prouver qu’avec de la pratique et de la patience, vous pouvez réellement aussi capturer des personnes de cette manière :

    https://sketchfab.com/models/7dd4f6426c8d4fb883bb49c0a6049193

     

    Voilà ! Cela peut sembler beaucoup, mais c’est parce que j’ai détaillé chaque étape ici. Et si vous ne voulez pas parcourir toutes les étapes séparées une par une, sachez que dès la première fenêtre New Project, vous pouvez cocher Additional Options afin que Zephyr exécute toutes les étapes (Camera Orientation, Dense Cloud, Meshing et Texturing) en une seule fois.


    J’espère que ce tutoriel vous a plu ! Si vous avez des questions ou des remarques, laissez-les dans les commentaires. Si vous avez besoin d’une aide personnalisée par e-mail, par téléphone ou en personne, veuillez envisager mon service de conseil.

    Si vous pensez qu’il peut être utile à vos amis et abonnés, je vous serais reconnaissant de le partager sur votre réseau social préféré ! Des boutons sont prévus à cet effet en haut à gauche (ordinateur) ou sous cet article (mobile).

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

    → Sommaire