Les dents manquantes des modèles de visage paramétriques : GNM Head les ajoute

Pendant des années, les modèles paramétriques de tête utilisés en animation, réalité virtuelle et imagerie médicale ont traité le visage comme une coquille. Ils modélisent la géométrie externe, la peau, le nez, les lèvres, mais ignorent les structures qui font fonctionner un visage : les dents qui façonnent la parole, la langue qui articule, les globes oculaires qui suivent le regard.

Cela change avec GNM Head, introduit dans un preprint par un groupe de recherche qui ne crédite pas d'institution spécifique dans le résumé. Le Generative aNthropometric Model, abrégé GNM et nommé comme un homophone de « génome », couvre la tête, le visage, le cou, les globes oculaires, les dents et la langue. Il est construit à partir d'une grande base de données de scans 3D haute résolution associés à des échantillons anatomiques créés par des artistes, selon l'article.

Le modèle est conçu comme un modèle paramétrique, une représentation mathématique qui peut être ajustée en modifiant un ensemble de paramètres. Cela le rend utile pour s'adapter à de nouveaux scans, générer des variations ou conditionner des modèles de vision génératifs. Les auteurs revendiquent des performances de pointe pour l'adaptation à des scans 3D de visages cibles, bien que les chiffres précis des benchmarks ne soient pas détaillés dans le résumé.

Cette publication est remarquable car aucun modèle paramétrique public comparable ne couvre l'ensemble de la tête avec ses structures internes. Les modèles populaires existants comme FLAME se limitent au visage externe. GNM vise à combler cette lacune, avec des applications potentielles dans la modélisation dentaire, l'animation de la parole et la création d'avatars réalistes.

Pour l'infographie, l'inclusion de la géométrie intra-orale ouvre de nouvelles possibilités pour des animations faciales réalistes incluant l'intérieur de la bouche, un domaine notoirement difficile. Dans un contexte médical, un modèle paramétrique de la tête entière pourrait aider à la planification chirurgicale, à la conception de prothèses ou à la compréhension des variations de l'anatomie humaine. Les structures oculaires, les globes oculaires, sont également modélisées, ce qui est crucial pour un regard et des expressions réalistes.

La construction du modèle à partir de scans haute résolution combinés à une anatomie créée par des artistes garantit à la fois la fidélité et l'exhaustivité. Les auteurs notent que les ensembles de données existants souffraient d'entrées de faible fidélité, mais la provenance des données de GNM vise à éviter cet écueil.

L'article s'inscrit dans une tendance plus large des modèles vision-langage et multimodaux récemment discutés sur Hugging Face, où la recherche sur la compréhension spatiale converge avec les modèles génératifs. La représentation paramétrique de GNM pourrait servir de signal de conditionnement pour de tels modèles, permettant un contrôle précis des images de tête générées, ce que les auteurs mentionnent explicitement.

L'ensemble du framework GNM est rendu public pour favoriser l'innovation de la communauté, écrivent les auteurs. Les chercheurs et développeurs peuvent accéder au code et aux données via la page de l'article sur Hugging Face, bien que les conditions de licence ne soient pas spécifiées dans le résumé.

Le modèle est disponible maintenant. Pour ceux qui travaillent sur les humains numériques ou l'anatomie computationnelle, GNM Head fournit un outil auquel il manquait une dentition et une paire d'yeux. Son adoption dépendra de sa facilité d'utilisation et du soutien de la communauté, mais sa publication reconnaît au moins un angle mort dans la modélisation paramétrique que peu ont abordé.