Alors que la capture 3D sur smartphone devient de plus en plus populaire, une nouvelle génération d’applications utilise de nouveaux concepts qui diffèrent de ceux de la première génération d’applications reposant principalement sur la photogrammétrie passive. Les développeurs utilisent désormais une combinaison de technologie AR et d’algorithmes capables de convertir des images 2D en modèles 3D presque en temps réel.
Il y a quelque temps, j’ai écrit à propos de Qlone après ma visite au MWC 2018 et j’ai maintenant testé moi-même la dernière version de l’application. Voyons ce qui rend Qlone unique et si elle fonctionne.
Logiciel et tarification
Qlone est actuellement disponible pour iOS et Android, mais ce dernier ne dispose actuellement pas des fonctions d’édition ni de certaines options d’exportation présentes sur le premier.
Il est important de savoir que les résultats dépendent grandement du smartphone utilisé. Techniquement, l’application fonctionne à partir d’un iPhone 5S, mais un iPhone 6S ou équivalent est vivement recommandé pour obtenir de bons résultats. J’utilise un iPhone SE pour ce test, qui possède les mêmes composants internes que le 6S en matière d’appareil photo et de puissance de traitement. Il prend également en charge la technologie ARkit d’Apple, sur laquelle je reviendrai plus tard.
Sur Android, comme toujours, il est moins clair de définir quels téléphones fonctionnent le mieux. Au départ, l’application ne fonctionnait que sur les appareils compatibles ARcore, mais cette compatibilité a été étendue dans les versions ultérieures. Elle fonctionne très bien sur mon Pixel 2, que j’ai également utilisé pour cet article.
Comme l’application est essentiellement gratuite, vous pouvez simplement la télécharger et l’essayer pour voir si elle fonctionne bien sur votre appareil. Je dis essentiellement, car l’exportation de fichiers de modèles 3D (OBJ, STL, X3D, PLY) exige soit d’acheter des crédits, soit de souscrire un abonnement.
Comme vous pouvez le voir, les prix sont raisonnables et vous pouvez également choisir des exportations illimitées. Mais il y a aussi suffisamment de fonctions gratuites. Nous y reviendrons plus tard.
Numérisation
Avant de pouvoir faire quoi que ce soit avec Qlone, vous devrez imprimer ce que l’on appelle l’AR Mat. Ce motif en damier noir et blanc sert de marqueur de suivi pour le logiciel. Vous pouvez l’imprimer avec n’importe quelle imprimante, mais il est vivement recommandé de l’imprimer sur du papier épais afin d’éviter que le motif ne se déforme.
Les objets doivent tenir dans le carré central du motif, ce qui limite essentiellement leur encombrement maximal à 15 x 15 cm. Vous pouvez placer en diagonale des objets légèrement plus longs, comme la suspension Bouddha ci-dessus. Cependant, la plus grande limitation concerne la hauteur des objets. Cela est lié au dôme AR que le logiciel va projeter.
Le pot de beurre de cacahuète ci-dessus fait 10 centimètres de haut et, comme vous pouvez le voir, il dépasse du dôme et ne peut pas être capturé entièrement. La solution est simple si vous avez accès à une imprimante grand format. J’ai par chance une imprimante au format A3 au bureau, mais je doute que beaucoup de gens en aient une chez eux.
Outre l’impression du motif sur du papier au format A3 pour pouvoir capturer des objets plus grands comme ce buste de Yoda, je l’ai également fixé sur un plateau tournant IKEA. Ainsi, je pouvais faire tourner le tapis de manière fluide plutôt que de devoir tourner autour. Les deux méthodes fonctionnent bien, mais faire tourner l’objet offre une expérience utilisateur plus agréable. Un éclairage vif et diffus est essentiel pour de bons résultats. J’ai utilisé un kit d’éclairage de studio, mais ce n’est pas nécessaire. Cela fonctionne aussi en extérieur tant qu’il n’y a pas de soleil direct ni de vent qui fait bouger le papier s’il n’est pas fixé à une surface solide.
Le dôme AR projeté sur l’objet est l’indicateur de progression du processus de capture. Il est constitué de 4 couches et de nombreux segments. Pour terminer la numérisation, vous devez tous les effacer. La dernière version de l’application a apporté de nombreuses améliorations en matière de vitesse. Je pouvais faire tourner le plateau fluidement tout en effaçant les segments anneau par anneau.
L’application affichera un aperçu original de ce qu’elle effectue dans le coin inférieur droit. Ce n’est pas vraiment nécessaire, mais il est intéressant de voir comment les données capturées sont traitées et forment lentement la forme de l’objet. Selon la puissance de traitement de votre appareil, vous verrez les données brutes non texturées tourner pendant quelques secondes, après quoi le résultat s’affiche.
Parfois, le résultat initial est excellent. Mais d’autres fois, il est terrible.
J’ai remarqué que de nombreux objets testés qui se tiennent droits ont des sommets effilés. Cela est probablement lié à la forme du dôme et aux angles sous lesquels les images sont capturées, mais ce n’est pas satisfaisant. Heureusement, Qlone permet d’effectuer une seconde capture avec l’objet dans une autre position. Comme l’indique la seconde icône à droite, cela signifie plus ou moins que vous devez le faire pivoter. C’est donc ce que j’ai fait.
Après cela, l’application essaiera d’aligner les deux modèles (cela fonctionne mieux avec les objets présentant des caractéristiques distinctes) et effectuera les corrections nécessaires. Ce processus prend un peu plus de temps que le rendu de la numérisation initiale. Dans le cas de Yoda, environ une minute sur mon Pixel 2. Après cela, la forme de la tête de Yoda a été corrigée. Malheureusement, son visage paraissait étrange au début. Mais vous pouvez refaire la texture en le tournant avec le côté le plus important, en l’occurrence son visage, face à vous, puis en appuyant dessus et en maintenant la pression.
Cette fonction est cruciale, et c’est pourquoi il est dommage qu’elle soit presque cachée. Elle est expliquée lors de la prise en main, mais si vous êtes du genre à passer ces étapes (comme moi), vous la manquerez à coup sûr. Je préférerais vraiment un bouton dédié à cet effet dans la barre latérale.
Une fonction clairement indiquée est « Flatten top », qui peut corriger les sommets effilés des objets ayant un dessus plat dans le monde réel.
Édition
Cette partie n’est actuellement disponible que dans la version iOS, mais elle arrivera probablement bientôt aussi sur Android. Qlone offre un ensemble très complet d’outils d’édition et de retouche. Je ne suis toutefois pas un grand fan de l’interface utilisateur. Il m’a fallu un certain temps pour découvrir que le mot « Texture » en haut à droite est en réalité un bouton qui fait apparaître davantage de fonctions d’édition, telles que Sculpt, Clean et Resize.
Je dois admettre que je n’ai pas pu bien tester les fonctions nécessitant une saisie tactile, car mon appareil de test iPhone SE ne possède qu’un écran de 4.5 pouces. Il est tout simplement trop difficile d’effectuer une édition précise sur un écran aussi petit. En dehors de cela, j’ai trouvé la navigation assez déroutante. Elle exige une saisie à un doigt pour l’édition et une saisie à deux doigts pour la navigation. J’ai pu faire tourner le modèle avec deux doigts et zoomer avec un geste de pincement, mais je n’ai pas trouvé comment déplacer le modèle. Je pensais que cela fonctionnerait avec trois doigts, mais ce n’est pas le cas.
Je testerai les fonctions sur mon Pixel 2 plus grand lorsque le mode d’édition deviendra disponible sur Android, mais comme vous pouvez le voir, vous pouvez utiliser un sélecteur de couleur et peindre directement sur le modèle avec cette couleur. Vous pouvez également flouter certains détails de texture. Il existe aussi un outil de sculpture basique pour modifier la géométrie, et vous pouvez utiliser des sélections de zone et au lasso pour n’effectuer des modifications que sur une zone sélectionnée.
Vous pouvez également redimensionner le modèle ou le décimer dans l’application, ce qui est idéal si vous voulez l’utiliser respectivement pour l’impression 3D ou des applications 3D temps réel.
En parlant de taille, lorsque vous imprimez l’AR Mat à l’échelle 100% sur du papier A4, les modèles sont également à la bonne échelle. Donc, si vous utilisez une impression plus grande, vous devez vous souvenir du facteur d’échelle et l’appliquer au modèle. Malheureusement, la fonction de redimensionnement n’est qu’un curseur et ne vous permet pas de saisir un pourcentage.
Il existe également des effets artistiques intéressants.
Exportation
L’exportation vers des formats de fichiers 3D que vous pouvez importer dans un logiciel externe nécessite l’achat de crédits. Mais après avoir déverrouillé un modèle pour 1 crédit, vous pouvez l’exporter aussi souvent que vous le souhaitez et dans autant de formats que vous le souhaitez.
J’apprécie vraiment que l’exportation vers Sketchfab soit gratuite. Cela vous permet de partager le véritable modèle 3D dans un navigateur et d’une manière adaptée à la VR/AR. Ou de l’intégrer à votre site web, comme je le fais sur le mien. Cela désactive les fonctions de téléchargement de Sketchfab. Si vous souhaitez vendre vos numérisations sur le Sketchfab Store, vous devrez donc l’exporter au format OBJ et le téléverser manuellement.
Vous pouvez également exporter le modèle 3D vers les services d’impression 3D iMaterialize et Shapeways ou vers CGTrader (pas encore dans la version Android). Il est possible de partager gratuitement des modèles sur les réseaux sociaux, mais malheureusement l’exportation Facebook est une publication vidéo au lieu du format de publication 3D récemment introduit. Vous pouvez aussi simplement exporter une vidéo d’animation sur plateau tournant ou un GIF.
Enfin, vous pouvez reprojeter votre capture 3D dans le monde réel grâce à la technologie AR. Si vous possédez un téléphone plus ancien, cela nécessite l’AR Mat, mais si vous avez un iPhone compatible ARkit ou un téléphone Android compatible ARcore, vous n’avez pas besoin du tapis.
Il est amusant de placer un modèle capturé à côté de l’objet réel. Et comme les solutions AR d’Apple comme de Google sont plutôt douées pour estimer l’échelle, la version 3D est presque de la même taille que l’objet réel si vous l’avez capturé sur le tapis de taille A4 ou si vous l’avez mis à l’échelle en conséquence par la suite.
Résultats
Je m’attendais à ce que les résultats de mon Pixel 2 soient meilleurs que ceux de l’iPhone SE, puisqu’il est plus récent et possède un meilleur appareil photo, mais les modèles étaient étonnamment semblables. Cela dit, la similarité est très difficile à tester avec Qlone, car différentes numérisations d’un même objet avec le même téléphone peuvent donner des résultats différents. Cela peut poser un problème pour les cas d’usage où la répétabilité est importante.
La qualité diminue légèrement lorsque la taille du tapis augmente, ce qui est prévisible car cela impose une plus grande distance par rapport à l’objet. Vous devez donc vraiment choisir une taille de tapis adaptée efficacement à votre objet pour obtenir les meilleurs résultats.
Ci-dessous, une capture d’un croissant sur un tapis de taille A4 (21x21cm) et sur un tapis A3 plus grand (30x30cm), respectivement :
https://sketchfab.com/models/9add5f8245574e0a8d22da03e90e903f
https://sketchfab.com/models/0c78c047be0c4932bcc890a6f95e0628
Le premier présente de meilleurs détails à la fois dans la géométrie (appuyez sur 3 sur votre clavier pour désactiver la texture et sur 1 pour la réactiver) et dans la texture, bien que cette différence puisse être importante pour des cas d’usage plus occasionnels. En général, j’ai préféré travailler avec le tapis plus grand, car il pouvait simplement accueillir davantage des objets que je souhaitais tester.
Ci-dessous se trouve une basket pour tout-petit qui tenait en diagonale sur le plus petit tapis.
https://sketchfab.com/models/845c379864bd4491830b1cb48a0e7510
Si vous regardez la géométrie, vous pouvez voir que de nombreux détails de la chaussure sont présents. Il y a toutefois du bruit sur la surface, et le dessus ouvert a apparemment été difficile à résoudre pour l’algorithme, car il contient beaucoup de géométrie aléatoire et isolée.
Au niveau de la texture, elle semble assez nette, mais la carte de texture aurait pu être beaucoup plus efficace. Comme vous pouvez le voir ci-dessous, la texture est simplement un ensemble d’images qui occupent moins d’un tiers de l’image, laquelle a une résolution de 2K. Ce que vous voyez ci-dessous ne représente que les 722 premiers pixels verticaux sur les 2048 (cliquez pour agrandir).
Ensuite, j’ai voulu comparer une capture de Qlone à l’une des toutes premières captures 3D sur smartphone que j’ai réalisées il y a plus de 2 ans avec 123D Catch, aujourd’hui abandonné. Je voulais numériser le même appareil photo vintage. Qlone n’a pas réussi à comprendre comment fusionner deux poses (et j’ai essayé de nombreuses poses différentes) pour cet objet. Je devais donc soit conserver un sommet effilé, soit utiliser l’option d’aplatissement du sommet. J’ai choisi cette dernière, car elle paraît moins étrange.
https://sketchfab.com/models/8caaaee489554d389d16c530c4c2237f
Inutile de dire que je ne suis pas du tout satisfait de ce résultat, surtout en le comparant à celui de l’approche d’application 3D de génération précédente du défunt 123D Catch, réalisée sur un téléphone Android Nexus 5 avec une version de l’application datant de 2015.
https://sketchfab.com/models/78ce5d7509af4a4ab7f032e533edf4fb
Cette application nécessitait de prendre environ 20 photos en cercle et 6 autres depuis un angle supérieur (vous pouvez toujours lire mon test original ici), ce qui prenait à peu près autant de temps que l’approche Qlone. La grande différence est que 123D Catch ne nécessitait rien à imprimer et utilisait un traitement dans le cloud, ce qui imposait le téléversement, l’attente (parfois jusqu’à une heure) et le téléchargement. Qlone traite localement et presque instantanément. Mais cette approche présente clairement des limites en matière de qualité et de précision.
Dans ce tout premier test d’expert en numérisation 3D, j’ai également testé mon célèbre ours en peluche, j’ai donc dû le tester avec cette nouvelle application aussi. Comme Teddy mesure 30 cm de haut, j’ai dû imprimer l’AR Mat sur deux feuilles A3 pour créer un tapis de 42 x 42 cm que j’ai scotché sur une pièce de bois.
Comme il pouvait toujours se tenir debout, j’espérais que Qlone pourrait fusionner une numérisation orientée vers le haut avec une numérisation orientée vers le bas. C’est ce qu’il a fait, mais il a décidé de laisser à l’extérieur les deux parties qui faisaient face à l’AR Mat. Voici donc le résultat d’une seule numérisation.
https://sketchfab.com/models/815f2d73c71943fdabb67a0d901f025f
À ce stade, il est devenu très évident que Qlone est réellement utilisable uniquement pour de très petits objets. La distance de la caméra n’a pas aidé la géométrie, puisque celle-ci est très générique. Et Teddy présente clairement le problème du sommet effilé. Voici le même objet numérisé avec TRNIO (Test), une application de capture 3D iOS qui, contrairement à 123D Catch, est disponible au téléchargement. Elle coûte $0.99, mais propose des exportations gratuites.
https://sketchfab.com/models/5bc43b285c5a4060a282d1461018501a
Oui, j’ai utilisé un livre pour améliorer le suivi, mais cela pourrait être n’importe quelle surface détaillée — un plateau de table texturé fonctionne tout aussi bien. Mais j’ai pu capturer cet ours tricoté — que j’utilise car c’est un objet idéal pour la photogrammétrie — debout. Bien que TRNIO ait aussi ses problèmes (principalement liés à sa file de traitement dans le cloud et à ses fonctions d’édition), il ne nécessite pas de tapis imprimé, ce qui le rend plus flexible pour numériser des objets de toutes tailles.
Concentrons-nous maintenant sur les petits objets, comme cette figurine de chien miniature qui tenait sur le tapis de 21×21.
https://sketchfab.com/models/d1b8ec432fdb487e83b26ca6312ae425
C’est un bon résultat. La partie qui dépasse aurait peut-être pu être corrigée en le tournant pour une numérisation en seconde position, mais cet objet ne restait pas en place ainsi. Elle peut aussi être facilement supprimée. C’est donc une capture unique. La géométrie n’est pas extrêmement détaillée, mais elle est suffisante pour de nombreux usages. Et la texture est nette.
J’ai découvert que Qlone est exceptionnellement bon pour capturer des objets de faible profondeur comme cette suspension Bouddha sculptée dans le bois. Elle tenait en diagonale sur le petit tapis et ne fait que quelques cm de haut.
https://sketchfab.com/models/59b66d1add2042139d0d7e54a20abde1
C’est un très beau modèle, et je suis particulièrement impressionné par le fait que la suspension métallique en haut soit préservée avec beaucoup de détails.
Et voici Yoda, qui est un buste imprimé en 3D d’environ 10 cm de haut.
https://sketchfab.com/models/b8aca830018641aba48585475aead59c
Fait intéressant, aucun de ses détails faciaux n’est transféré vers la géométrie, l’illusion provient donc de la texture. Ici, le remappage de texture dont j’ai parlé plus tôt a vraiment aidé à concentrer la texture sur le visage.
Il est bon de savoir que des problèmes comme les taches blanches dans la texture peuvent être corrigés facilement avec les outils d’édition intégrés de Qlone. Des outils qui ne sont pas présents dans les autres applications que j’ai mentionnées ci-dessus.
Enfin, il est à noter que si Qlone est plutôt bon pour capturer les objets réfléchissants qui peuvent donner du fil à retordre aux algorithmes de photogrammétrie traditionnels, le motif en damier sera présent dans la texture.
https://sketchfab.com/models/6a30aa690e944a5495a0f420887068f4
Verdict
L’utilisation d’un tapis imprimé est un concept intéressant, car elle fournit à l’utilisateur un excellent retour visuel sur le processus de numérisation sous la forme d’un dôme segmenté. Elle permet également aux algorithmes de résoudre plus rapidement la position de la caméra, de sorte que les résultats peuvent s’afficher presque directement après la capture. Cette expérience presque en temps réel et hors ligne est un grand avantage par rapport aux applications de capture 3D qui reposent sur le traitement dans le cloud et font attendre à l’utilisateur des minutes ou une heure pour obtenir le résultat.
Mais le tapis imprimable est aussi le talon d’Achille de Qlone. Il oblige les utilisateurs à avoir accès à une imprimante et à du papier épais. Et vous devrez l’avoir avec vous si vous voulez numériser quelque chose. Mais pour moi, le principal problème est que le tapis limite grandement la taille des objets que vous pouvez numériser. Même des objets que je considère encore comme petits, comme un pot de beurre de cacahuète, sont trop hauts pour tenir dans le dôme de l’impression standard de 21×21. Et les imprimantes grand format sont encore moins courantes, surtout dans un environnement domestique. La qualité de numérisation diminue également avec des tapis plus grands.
Dans l’ensemble, le processus de capture lui-même est très fluide et le calcul presque instantané est impressionnant. Mais pour moi, la résolution géométrique de la plupart des modèles est trop faible pour de nombreux objets. Cela fonctionne bien pour des objets aux formes très organiques comme les pâtisseries et les chaussures, mais cela ne capture pas bien les détails nets à la surface des objets. Un autre problème est que, par défaut, de nombreuses numérisations présentent des sommets effilés. Cela peut parfois être résolu en numérisant l’objet dans une pose différente et en fusionnant les deux résultats, mais le plus souvent, cela n’est pas physiquement possible ou les algorithmes ne parviennent pas à déterminer comment les deux pièces s’assemblent.
[well type=””]
Besoin de conseils sur mesure en capture 3D ?
Si vous souhaitez utiliser la capture 3D dans votre produit, votre activité ou votre flux de travail, ou si vous avez besoin de retours de qualité pour développer votre matériel ou logiciel de capture 3D, veuillez envisager mon service de conseil.
Je travaille aussi bien pour des artistes individuels, de petites startups, des établissements d’enseignement que de grandes entreprises internationales.
[tw-button size=”medium” background=”” color=”” target=”_self” link=”/contact”]Contactez-moi pour obtenir un devis de conseil gratuit[/tw-button]
[/well]
Qlone propose un ensemble très complet d’outils d’édition (actuellement uniquement sur iOS), mais je n’ai pas trouvé l’interface utilisateur très intuitive. L’écran de 4.5 pouces de mon iPhone SE est certainement trop petit pour l’édition, donc je pourrais mettre à jour mes conclusions lorsque les outils d’édition seront disponibles pour Android.
Bien que l’exportation de modèles 3D exige l’achat de crédits, l’application elle-même et la numérisation sont totalement gratuites. Vous pouvez également exporter gratuitement des modèles vers Sketchfab, des services d’impression 3D et des réseaux sociaux. Cela signifie que vous pouvez tester entièrement Qlone vous-même et voir si elle fonctionne pour vos objets et sur votre smartphone.
Si vous avez un cas d’usage qui exige de numériser de petits objets organiques (comme de petites sculptures ou des pâtisseries) et que ceux-ci soient à l’échelle, Qlone vaut certainement la peine d’être expérimenté. Si vous prévoyez de le faire souvent, vous pouvez créer une belle installation fixe avec des éclairages de studio et le tapis monté sur une surface rigide (le plateau tournant IKEA est vivement recommandé). Mais si vous recherchez de la flexibilité tant dans le choix du sujet que du lieu, je pense que vous pourriez trouver cette application trop limitante dans sa forme actuelle.
