Les trois problèmes qu’aucun moteur de jeu IA n’avait résolus jusqu’à présent : cohérence, navigabilité et évaluation

La navigation multi-scènes, qui consiste à franchir un portail pour passer d’une pièce à l’autre après avoir atteint un objectif, est la colonne vertébrale des jeux de donjon, des escape rooms et des RPG. Mais la création manuelle de ces espaces connectés est l’une des parties les plus laborieuses de la production de jeux 3D. Les points d’entrée et de sortie des portails doivent correspondre des deux côtés, les meubles ne doivent pas bloquer les passages, et chaque script de transition doit faire référence à la scène de destination correcte parmi des dizaines de fichiers.

Les trois pièces manquantes

Les récents systèmes basés sur des LLM, tels que Holodeck et Scenethesis, ont considérablement réduit le coût de la génération d’intérieurs uniques, mais ils produisent une scène à la fois. Leur répétition naïve pour plusieurs scènes révèle trois obstacles qu’aucune méthode antérieure n’a résolus.

Cohérence. Une transition est un objet conjoint : un portail n’est valide que s’il existe des deux côtés avec un type et un effet correspondants. Avec une invite statique par scène, un LLM a tendance à omettre ou à halluciner des références inter-scènes à mesure que le contexte s’allonge.

Navigabilité. Même si les portails sont correctement nommés des deux côtés, un canapé ou une table peut bloquer le passage une fois le mobilier placé. Aucune métrique mono-scène n’a jamais vérifié cela.

Évaluation. Les métriques texte-à-3D existantes mesurent la fidélité visuelle ou l’alignement avec l’invite pour un seul intérieur. Elles n’exécutent jamais de transition, de sorte qu’un portail mal lié ou un script cassé leur est invisible.

Comment fonctionne MAGIC

Le système, dont le nom signifie Multi‑scene Automated Game worlds generator with Intelligent Connectivity, est un pipeline en quatre étapes. L’étape de planification utilise un LLM pour analyser une seule invite en descriptions par scène et une représentation intermédiaire partagée sensible aux transitions, un graphe où les scènes sont des nœuds et les portails des arêtes étiquetées avec des effets tels que FadeInOut ou IrisWipe. Une boucle de vérification garantit que chaque portail requis apparaît dans les descriptions.

L’étape de spécification des scènes enrichit chaque scène avec des placements d’objets, puis exécute un algorithme de flood-fill sur une grille d’occupation 2D pour rejeter les agencements où un portail est physiquement bloqué. Si un meuble bloque un passage, le module de placement régénère jusqu’à ce que le score de connectivité atteigne 1.0 ou que le nombre maximal de tentatives soit atteint.

Dans l’étape de génération des scènes, les maillages sont assemblés et les scripts de transition LevelLoader sont liés aux collisionneurs des portails. L’étape de combinaison assemble les projets Unity par scène en un seul fichier exécutable où les scènes se référencent mutuellement via les scripts émis.

Un benchmark qui va au-delà du visuel

Comme aucune métrique existante ne vérifie les transitions multi-scènes, l’équipe a construit un benchmark de 100 cas de test issus des ensembles de données MIT Indoor 67 et MMIS, couvrant des graphes de scènes de une à cinq scènes, des motifs en boucle et en branchement, et des types de portails mixtes incluant portes, fenêtres et panneaux d’affichage. Chaque cas fournit des portails de référence, un état d’accessibilité et des effets de transition cibles.

Ils ont également construit un agent d’évaluation spécialisé dans les transitions qui opère directement sur le projet Unity empaqueté. L’agent extrait les candidats portails, exécute chaque transition en jeu, navigue vers chaque portail depuis le point de départ, et utilise un juge MLLM pour évaluer l’apparence du portail par rapport à la référence. Lors des tests par rapport à un jugement humain, l’agent a obtenu une différence absolue moyenne de seulement 0,03, ce qui signifie que ses scores de précision, rappel, F1, taux d’approche et taux de correspondance des portails étaient à moins de 3 % de ce qu’un évaluateur humain aurait rapporté.

En chiffres

Étape par étape, MAGIC a récupéré 96,72 % des exigences de scène de référence (contre 92,39 % pour un LLM de base simple) et 97,11 % des arêtes du graphe de transition (contre 90,89 %). Dans la spécification des scènes, son rappel, la fraction des portails requis réellement générés, a atteint 94,87 %, bien supérieur aux 60,26 % de Holodeck. La connectivité, mesure de l’accessibilité de chaque portail depuis toute cellule praticable, s’élève à 0,9952 contre 0,8545 pour Holodeck, tandis que l’occupation (un proxy de la densité des scènes) était équilibrée à 28 %, ni trop clairsemée ni trop encombrée.

De bout en bout, le pipeline a produit des projets Unity exécutables pour les 100 cas de test. Tous les projets générés par le LLM de base ont échoué à l’exécution. La précision de MAGIC pour l’identification des transitions était de 0,987, le rappel de 0,948 et le F1 de 0,964. Le taux d’approche, la fraction des portails réellement accessibles depuis la position de départ du joueur, était de 94,86 %. Le taux de correspondance des portails, plus faible à 78,85 %, reflète la rigueur du juge MLLM : un simple panneau a été généré comme le maillage le plus proche pour un « panneau d’affichage », mais le juge exigeait des preuves visuelles de la fonction d’affichage.

Ce que cela signifie pour le développement de jeux

Les résultats suggèrent que des représentations intermédiaires structurées combinées à une validation sensible à la physique peuvent compenser les angles morts spatiaux inhérents aux LLM. Le raisonnement abstrait et la planification mathématique, l’algorithme de flood-fill, la grille d’occupation, les boucles de vérification, sont la couche d’ingénierie qui transforme la compréhension floue d’un modèle de langage en un projet de jeu fonctionnel.

MAGIC cible actuellement les scènes intérieures et le moteur Unity, ne prend en charge que deux effets de transition, et accepte exclusivement des invites textuelles en anglais. L’ensemble de données de maillages limite l’apparence des portails : lorsque le maillage le plus proche manque du signal sémantique qu’un nom de portail implique, la correspondance visuelle échoue même si la transition fonctionne correctement. Les chercheurs notent que les performances ne se sont pas dégradées sur la plage testée de une à cinq scènes, mais s’abstiennent de revendiquer une évolutivité au-delà.

Le code complet est disponible sur GitHub. Pour les concepteurs de jeux, l’implication est claire : le pipeline IA qui peut prendre une seule phrase et produire un monde jouable multi-pièces a franchi la ligne entre curiosité académique et outil utilisable. Les lacunes restantes, bibliothèques de maillages plus riches, plus de types de transitions, support des espaces extérieurs, sont du temps d’ingénierie, pas des percées de recherche.