Si vous vous intéressez à la numérisation 3D ou à la photogrammétrie et n’avez jamais entendu parler du procédé 3D Gaussian Splatting (3DGS), où étiez-vous donc ! Depuis que des recherches sur cette technologie ont été présentées lors du sommet d’infographie SIGGRAPH de l’année dernière, elle est devenue l’un des sujets les plus brûlants du secteur.
Sans entrer dans trop de détails techniques, le 3DGS représente une nouvelle façon de transformer des scènes entières en modèles 3D réalistes. Contrairement à la numérisation 3D et à la photogrammétrie, qui transforment des objets ou des zones tels qu’ils sont (à un instant donné) en maillages 3D denses au moyen d’une capture laser ou d’un alignement photographique, le 3DGS produit des modèles dynamiques, légers et sans maillage.
Comment cette technologie y parvient-elle ? À l’instar de la photogrammétrie par structure-from-motion, elle collecte des points de données à partir d’images ou de vidéos, mais plutôt que de les convertir en maillages par extraction de caractéristiques, reconstruction et filtrage, elle les utilise pour initialiser des nuages en forme de blobs de « gaussiennes » 3D.
Le Gaussian Splatting 3D – une méthode émergente permettant de créer des numérisations réalistes à partir de données photo ou vidéo extraites – autorise une modélisation 3D rapide et sans maillage
Des algorithmes spécialisés optimisent ensuite et rastérisent les points gaussiens en temps réel afin de former des visualisations ultraréalistes. Le rendu en temps réel par champ de radiance neuronal (NeRF) fait quelque chose de similaire, mais les créateurs du 3DGS affirment que leur approche est différente, car elle ne repose pas sur des réseaux neuronaux et ne restitue pas l’espace vide, ce qui la rend moins exigeante pour le GPU, tout en apprenant rapidement les scènes dynamiques.
Cela s’explique par le fait que les méthodes NeRF reposent sur une représentation implicite de la couleur et de la densité, tandis que le 3DGS utilise des nuages finis de gaussiennes 3D. Le passage à un format de « représentation explicite » accélère essentiellement l’entraînement et le rendu, tout en levant la limite de taille des scènes – même si les scènes plus détaillées nécessitent davantage de gaussiennes et de puissance de calcul.
Comparé aux approches existantes fondées sur NeRF, le 3DGS s’est déjà révélé beaucoup plus rapide, apprenant dans un cas une scène qui avait demandé à Google mip-NeRF 360 48 heures, en 14 minutes, tout en offrant une qualité supérieure à celle de Nvidia InstantNGT.
3D Bien qu’elle fasse toujours l’objet d’une R&D intensive, la technologie commence déjà à se démocratiser.
Alors que des applications comme Polycam et KIRI Engine déploient des fonctionnalités 3DGS, et que des programmes tels que Volinga établissent des pipelines de modélisation 3D via l’intégration à Unreal Engine, il semble certain que la technologie se taillera une place dans la modélisation pour la télévision, le cinéma et les jeux vidéo.
Mais quel est le véritable potentiel du 3DGS ? Pour le découvrir, nous avons échangé avec des innovateurs de cet espace émergent, non seulement avec des adoptants précoces, mais aussi avec un membre de l’équipe de recherche qui l’a réellement inventé.
Pourquoi avons-nous besoin du Gaussian Splatting 3D
Bien qu’il ait été perfectionné dans le cadre de FUNGRAPH, un projet soutenu par €2.5 millions de financement du European Research Council, le 3DGS est le résultat de 20 ans de recherche sur le rendu fondé sur les images.
Dans le monde de la modélisation 3D, le « rendu fondé sur les images » désigne simplement le processus de génération de modèles à partir d’images prises d’une scène donnée. Étant donné que la photogrammétrie est capable de le faire depuis quelque temps, vous pourriez bien vous demander : « Pourquoi avons-nous besoin de cette technologie ? » La photogrammétrie présente toutefois des problèmes, notamment en matière d’échelle (elle ne produit que des instantanés statiques), de précision et de taille de fichier.
La numérisation 3D par lumière structurée offre une alternative plus rapide et plus précise, générant des données de maillage très détaillées, idéales pour la rétro-ingénierie et l’inspection de niveau industriel. Toutefois, toutes les applications n’exigeant pas des données aussi détaillées, d’importantes recherches sont consacrées à l’identification d’une méthode de modélisation moins gourmande en calcul.
Le Gaussian Splatting 3D transforme des environnements réels en « scènes » virtuelles dynamiques et photoréalistes.
NeRF contre Gaussian Splatting 3D
Avant le 3DGS, NeRF était le porte-étendard de ce mouvement. Grâce à l’apprentissage automatique, cette technologie est capable de générer un champ de radiance d’un objet dans l’espace 3D qui restitue de manière réaliste la forme, la texture et les détails fins de surface. Mais le chercheur de FUNGRAPH George Drettakis affirme que le 3DGS pousse cette idée plus loin, en produisant des données « beaucoup plus faciles à manipuler ».
« Les NeRF sont implicites. Ils vous donnent une densité continue, donc ils s’optimisent bien. Mais ils sont également inefficaces. Dans la majeure partie de l’espace d’un modèle 3D, vous n’avez rien », a déclaré Drettakis.
« Vous ne savez pas non plus où se trouvent les éléments, vous devez donc effectuer du “ray-casting” », a-t-il ajouté. « Le Gaussian Splatting 3D repose sur une représentation explicite, de sorte que les primitives sont placées exactement à la bonne position dans l’espace 3D, ce qui les rend plus faciles à interpréter. C’est l’une des raisons pour lesquelles cette technologie est devenue extrêmement populaire. »
De nombreux développeurs d’applications adoptant cette technologie, le secteur est clairement du même avis. Jack Wang, cofondateur de KIRI Engine, affirme que sa capacité de rendu en temps réel avec un minimum d’artefacts signifie que la technologie « possède tous les atouts des NeRF, sans aucun de leurs défauts ».
Doly est développé par aniML, dont le cofondateur Pierre Pontevia va plus loin, ajoutant qu’elle offre un « niveau de qualité et de performances si élevé que les professionnels des médias, du divertissement et de la production cinématographique l’adorent ». Mais ces secteurs ne constituent même pas le principal marché cible de Doly – et nos autres interlocuteurs sont d’accord – la vitesse, la résolution et la nature sans maillage de la technologie lui confèrent également un attrait plus large.
Les splats gaussiens 3D gagnent en popularité car ils ne nécessitent pas de retouche comme les maillages 3D et offrent un rendu plus rapide que les modèles NeRF
Les pionniers du Gaussian Splatting 3D
Wang, par exemple, convient que le 3DGS a du potentiel en CGI, mais il estime également qu’il peut changer la donne pour les utilisateurs quotidiens d’applications. Par exemple, les données de KIRI montrent que la majorité des modèles de haute qualité sont créés par seulement 20% des utilisateurs. Wang attribue cela à la courbe d’apprentissage élevée de la photogrammétrie et estime que les tolérances plus souples du 3DGS démocratiseront la capture de données 3D.
Depuis l’adoption de cette technologie l’année dernière, ajoute-t-il, l’application de son entreprise a été utilisée dans des « applications entièrement nouvelles », et il suggère que la cartographie 3DGS et la modélisation de jeux vidéo pourraient ne pas être si lointaines.
Souhaitant faire sensation dans l’espace de la modélisation sur PC, Volinga a également développé une plateforme de Gaussian Splatting 3D de bureau, qui exporte directement vers Unreal Engine et Pixoto. Gagnant en popularité auprès des développeurs CGI, ces intégrations constituent potentiellement un véritable coup, puisqu’elles représentent l’un des premiers pipelines clairement établis pour les utilisateurs finaux professionnels.
Volinga, Doly et KIRI Engine commercialisent désormais cette technologie pour des applications en CGI, e-commerce et plus encore
Proposer la plateforme sous forme de solution cloud constitue également un choix de conception intéressant. Cela permet d’ouvrir le 3DGS à tous les utilisateurs (y compris ceux dotés de PC moins puissants). Toutefois, Fernando Rivas-Manzaneque, PDG de Volinga, tient à préciser que la version hors ligne du logiciel de son entreprise sert de « boîte noire » pour les données sensibles, plaisantant que « les producteurs ne veulent pas que le lieu de tournage du prochain épisode de Game of Thrones transite par notre cloud public ».
Ailleurs, loin des univers de la CGI et de la capture grand public sur smartphone, Doly cible un type de client très précis : les commerçants et les stars des réseaux sociaux. Avec l’essor de la seconde main et de l’image de marque personnelle sur des plateformes comme TikTok, son PDG Remi Rousseau affirme que le 3DGS peut en tirer parti, en créant du contenu pour des clients qui n’ont pas les moyens de recourir à une agence.
« Nous voyons apparaître de plus en plus de produits destinés à aider à monétiser votre présence en ligne », a déclaré Rousseau. « Nous croyons aussi vraiment au marché de la seconde main. À l’avenir, vous pourrez examiner de tels produits en 3D avant de les acheter. C’est le genre de situation où vous devez absolument inspecter le produit, c’est donc un cas d’usage très intéressant pour nous ! »
Une marée montante soulève-t-elle tous les bateaux
Chacun de nos interlocuteurs envisage la progression du 3DGS de manière légèrement différente, mais tous s’accordent sur un point majeur : il n’est pas conçu pour concurrencer la modélisation à base de maillages, plus précise sur le plan géométrique.
Au contraire, ils estiment globalement qu’avec une trajectoire de développement adaptée, les modèles 3DGS pourront un jour être utilisés aux côtés de ceux capturés par numérisation 3D professionnelle. Même lorsqu’il s’agit d’autres développeurs utilisant la même technologie pour commercialiser des produits concurrents, l’attitude dominante est celle d’« une marée montante soulève tous les bateaux » – comme l’a dit un certain JFK.
Les géants de la tech Google et Nvidia continuent de développer des méthodes de rendu NeRF comme alternatives au Gaussian Splatting 3D
Cela ne signifie pas que le domaine n’est pas concurrentiel. Prenons Nvidia et Google, qui continuent sans se laisser décourager à développer des méthodes fondées sur NeRF. Sollicité pour un commentaire, Jon Barron, Senior Staff Research Scientist chez Google, a même pris soin de souligner que si le « 3DGS constitue un pas en avant prometteur » en termes de vitesse, il « réduit la qualité globale des images rendues ».
Il convient de souligner qu’il existe désormais des approches NeRF plus rapides que Google mip-NeRF 360, qui offrent des résultats de haute qualité, et que le chercheur de FUNGRAPH Georgios Kopanas est lui aussi Google Research Scientist. Mais Google reconnaissant lui-même « étudier cette nouvelle orientation de recherche », il est clair à quel point le 3DGS est estimé dans le secteur.
À mesure que la technologie progresse, Drettakis admet qu’il reste beaucoup de travail à accomplir pour optimiser les splats gaussiens 3D pour une utilisation finale en CGI. Mais alors que le 3DGS devient le chouchou du monde des start-up de numérisation 3D, il estime qu’un nombre suffisant d’esprits brillants y travaillent pour améliorer considérablement les résultats et peut-être, un jour, s’aventurer dans un autre domaine : la « 3D générative ».
« Techniquement, la 3D est directement intégrée à [la plateforme de conversion de texte en vidéo] Sora », a-t-il conclu. « Lui faire réaliser exactement ce que vous souhaitez pourrait demander un peu plus d’ajustements fins. Mais elle a le potentiel de résoudre nombre des problèmes difficiles de l’IA générative 3D. La vidéo générative va ouvrir la porte à la 3D générative d’une manière auparavant inimaginable. Et cela pourrait arriver relativement vite ! »
