L’IA est l’un des mots à la mode les plus répandus dans le monde de la technologie – et le domaine de la modélisation 3D ne fait pas exception. Alors que les grands modèles de langage (LLM) tels que ChatGPT, Perplexity et Gemini continuent de décoller, beaucoup se demandent : « l’IA peut-elle créer des modèles 3D ? »
En fait, c’est possible ! Des modeleurs 3D d’entrée de gamme comme Alpha3D et Hyper3D à l’industriel 3D Foundry Labs, il existe désormais de nombreux générateurs de modèles 3D par IA sur le marché.
Toutefois, il est également généralement admis que ces premières plateformes de conversion de texte en modèle nécessitent encore quelques améliorations. Alors, quelle est la meilleure IA pour la modélisation 3D ? Et à quel point peut-on générer un modèle complexe ? Pour le savoir, 3D Mag s’est entretenu avec les innovateurs de ce secteur émergent, qui ont chacun proposé des points de vue étonnamment différents sur l’évolution de cette technologie dans un avenir proche.
IA pour la modélisation 3D : comment cela fonctionne-t-il ?
Générer un modèle 3D à partir d’une invite textuelle est extrêmement complexe. Cela implique que plusieurs modèles d’IA travaillent ensemble pour interpréter les entrées et générer des représentations 3D.
Concrètement, cela signifie utiliser le traitement automatique du langage naturel (NLP) afin de comprendre la forme, la texture et les relations spatiales d’un modèle souhaité. Certaines plateformes créent ensuite une image 2D à partir de cette invite au moyen d’outils populaires tels que DALL-E d’OpenAI.
Grâce à de nombreuses méthodes alimentées par l’IA, notamment les réseaux antagonistes génératifs (GAN), les modèles de diffusion et le gaussian splatting, ces entrées servent à prédire une forme 3D approximative. Lorsque le processus génère des maillages, ceux-ci peuvent ensuite être affinés, texturés et optimisés pour un usage réel, automatiquement et sans intervention directe de l’utilisateur.
Les avantages potentiels de l’automatisation de la modélisation 3D sont évidents. Même la génération d’un maillage destiné à de futures itérations peut faire gagner aux concepteurs des heures de travail. Selon leur domaine, cela peut signifier mettre plus rapidement des ressources 3D à l’écran ou finaliser à un rythme soutenu la conception d’un produit physique.
Où les modèles 3D générés par IA sont-ils utilisés ?
Alors que des poids lourds tels que Google et NVIDIA développent leurs propres logiciels de conversion de texte en modèle – DreamFusion et GET3D –, nous avons choisi de découvrir comment ces plateformes sont utilisées en échangeant avec ceux qui les ont déjà commercialisées.
Alpha3D, par exemple, affirme que sa plateforme permet déjà de générer des modèles pour l’AR/VR, l’e-commerce, les CGI, les jeux vidéo, l’impression 3D et bien plus encore. Hyper3D avance des affirmations similaires au sujet de son algorithme Rodin, et son site web regorge de modèles 3D créés par IA pour les étayer.
Toutefois, Jacob Si, responsable de la croissance de la plateforme, reconnaît que certains domaines ne sont pas encore accessibles à ses ressources 3D.
Il existe un grand nombre de façons intéressantes d’utiliser ces modèles. Imaginons que vous soyez vendeur dans l’e-commerce. Vous pourriez déployer une initiative d’AR permettant aux acheteurs de « placer des meubles dans leur logement » à l’aide d’une caméra. Mais si l’on parle de fabriquer un composant spécifique présentant des détails fins pour la production, je ne pense pas que ce soit là que l’IA générative excellera.
Jacob Si
Ce point de vue est partagé chez 3D Foundry Labs, l’entreprise succédant au populaire générateur de modèles 3D par IA 3DFY.ai de Eliran Dahan et Tal Kenig. Alors que leur plateforme initiale avait captivé les makers et les concepteurs, ils ont désormais changé de cap en lançant une offre de services visant à répondre aux besoins d’une clientèle plus industrielle, en utilisant toutes les technologies pertinentes.
« L’une des réponses les plus fréquentes des clients de [3DFY] était : “c’est bien, mais je ne peux pas vraiment l’utiliser dans mon cas d’usage spécifique.” Nous sommes arrivés à la conclusion que la technologie n’est pas suffisamment mature », a déclaré Dahan. « Nous disposons désormais d’une équipe pluridisciplinaire qui évalue les technologies existantes pour élaborer une solution. C’est totalement différent de ce que nous faisions auparavant ; nous devons constamment rester à la pointe, en nous tenant informés de tous les produits et articles de recherche connexes. »
« Nous avons réalisé qu’une solution unique ne convient pas à tous. En fait, une solution unique ne convient presque à personne. »
Eliran Dahan
La nouvelle approche de 3D Foundry Labs a élargi ses horizons : l’entreprise travaille désormais avec des clients pour accélérer tout ce qui va des pipelines de rendu graphique à la modélisation pour l’e-commerce. Par exemple, l’un de ses clients de l’industrie de la joaillerie générait auparavant manuellement des modèles 3D afin que les clients puissent prévisualiser leurs commandes. Ce processus de plusieurs heures ne prend que quelques minutes avec l’IA.
Quel est le niveau de détail des modèles 3D générés par IA ?
Les modèles générés par IA déjà disponibles en ligne parlent d’eux-mêmes. Les technologies actuelles permettent de générer rapidement et automatiquement des modèles 3D par IA à l’aspect plutôt réaliste. Bien sûr, beaucoup s’inspirent d’objets du monde réel (et le droit d’auteur est peut-être un autre débat), mais l’IA ne semble avoir aucun problème avec la reconstruction fidèle des formes et des textures.
Les résultats semblent insuffisants en matière de capture de données géométriquement précises, mais Rait-Eino Laarman, COO et cofondateur d’Alpha3D, affirme qu’ils fournissent une base solide pour la modélisation.
Pour l’impression 3D ou la rétro-ingénierie, nos modèles fournissent un solide point de départ qui peut être affiné manuellement à l’aide de logiciels spécialisés afin de répondre à des exigences précises. Bien qu’ils offrent de bonnes bases, des modifications manuelles supplémentaires sont généralement nécessaires pour garantir la précision détaillée requise à des fins de fabrication physique ou d’ingénierie.
Rait-Eino Laarman
À l’inverse, Si reconnaît que la précision peut poser problème, en particulier par rapport à la photogrammétrie ou aux modèles fondés sur la numérisation 3D, où les utilisateurs « ont le luxe de capturer à 360 degrés ». Comme sa plateforme « laisse cela à l’imagination de l’IA », cela affecte occasionnellement la reconstruction. Pour la capture de géométrie, la numérisation 3D professionnelle surpasse à la fois l’IA et la photogrammétrie, mais nous y reviendrons plus tard.
En ce qui concerne la capture de détails, Dahan & Kenig vont encore plus loin dans leur critique des modèles générés par IA, les décrivant comme « peu détaillés » et présentant « très peu de cas d’usage réels ».
« Tout d’abord, ils ne constituent pas vraiment une représentation fidèle », a affirmé Kenig. « Ils ne sont pas très détaillés et il en va de même pour les textures ; seuls quelques modèles peuvent produire des textures PBR réalistes. Si un artiste technique crée un modèle 3D, il le divise aussi en parties. Aujourd’hui, les modèles d’IA sont des maillages monoblocs, dont certains peuvent être décomposés, mais pas en parties significatives. »
Quel est l’avenir de la génération de modèles 3D alimentée par IA ?
Fait intéressant, chacune des personnes que nous avons interrogées avait un avis légèrement différent sur les prochaines utilisations de l’IA dans la modélisation 3D. Bien sûr, des scanners 3D professionnels tels que Artec Leo & Eva exploitent déjà l’IA pour capturer les fins détails de surface en haute définition, mais ils estiment qu’il reste une marge de développement.
Tandis que Laarmann voit sa plateforme évoluer vers un « hub de création 3D alimenté par IA » susceptible de s’étendre à des domaines comme la fabrication, Si indique que Hyper3D cible l’impression 3D et travaille avec Bambu Lab afin de créer des modèles 3D par IA accessibles sur Maker World.
Kenig, quant à lui, pense que les LLM existants seront un jour déployés pour accélérer les fonctions habituellement réalisées par les techniciens pendant la conception, notamment l’esquisse et la texturation.
Il existe des plugins pour Blender et peut-être Unity, avec lesquels vous pouvez demander aux LLM de créer environ 100 sphères différentes, ce genre de choses. Peut-être que la prochaine génération verra quelqu’un réellement affiner cela – en apportant peut-être une bibliothèque de scripts Python dans Blender (qui dispose d’une excellente API). Mais je pense que les progrès viendront de l’apprentissage par l’IA de l’utilisation avancée de ces outils.
Tal Kenig
Seul le temps dira si ces prévisions se réaliseront ou non. Pour l’instant, il semble que les modèles 3D générés par IA aient une portée relativement limitée, en particulier en matière de rétro-ingénierie. En général, la photogrammétrie offre davantage de détails visuels et la numérisation 3D surpasse largement les deux pour la capture précise de données, atteignant des niveaux de seulement quelques microns.
Avec des technologies de pointe telles que la photogrammétrie par IA, l’IA n’est pas non plus totalement absente des autres techniques de modélisation 3D. Il sera néanmoins passionnant de voir comment les plateformes de conversion de texte en modèle progresseront dans un avenir proche, alors que l’engouement autour de l’IA continue de se propager dans toutes les directions.
