SceneActBench : Pourquoi même les meilleurs VLM échouent dans l'action 3D

Les modèles vision-langage peuvent décrire une pièce avec des détails saisissants, l'étagère, la lampe, la tasse sur la table, mais demandez-leur de réellement placer cette tasse sur l'étagère, et la performance s'effondre. Cet écart entre décrire et agir est exactement ce qu'un nouveau benchmark d'une équipe académique vise à mesurer.

La dimension manquante : pourquoi l'action 3D est importante

Les benchmarks 3D existants ont tendance à faire une de deux choses : ils évaluent des réponses textuelles sur une scène, ou ils testent des opérations sur un seul objet comme ramasser un cube. Aucun ne capture la réalité complexe d'un agent qui doit raisonner sur un espace multi-objets complet, planifier une séquence d'actions et les exécuter via une interface outil.

Cet écart est important car de plus en plus de laboratoires de recherche construisent des agents VLM destinés à agir dans des environnements 3D, robots d'entrepôt, assistants domestiques, outils de conception basés sur la simulation. Le GauntletBench de l'Université d'Oxford, publié plus tôt cette année, a déjà signalé que les agents peinent avec les tâches de raisonnement 3D dans des applications professionnelles comme la modélisation 3D. SceneActBench creuse cette même faiblesse d'un point de vue purement recherche.

À l'intérieur de SceneActBench : conception, tâches et boucle d'agent

Le benchmark couvre cinq tâches 3D construites à partir de 210 instances sources, produisant 520 cas de tâches incluant des conditions d'entrée appariées. Chaque tâche nécessite que l'agent agisse sur un environnement 3D en utilisant des images PNG ou des trames vidéo échantillonnées comme entrée, et dans certains cas des actifs 3D fournis. Le choix clé de conception : chaque tâche s'exécute à travers une boucle d'agent fixe, maintenant la comparaison équitable entre les configurations. La sortie finale est évaluée par rapport à une vérité terrain cachée en utilisant des métriques géométriques spécifiques à la tâche.

Cette boucle unifiée est importante. De nombreux benchmarks antérieurs laissaient les chercheurs modifier le pipeline d'évaluation par modèle, rendant les scores difficiles à comparer. SceneActBench adopte la même approche que le GauntletBench d'Oxford, un pipeline modulaire mais standardisé qui essaie d'arrêter de cacher comment les agents échouent réellement.

Les chiffres qui racontent l'histoire : scores de 38,6 à 50,2

L'équipe a testé onze configurations propriétaires de VLM. Les scores globaux allaient de 38,6 à 50,2, ce qui signifie que même le meilleur modèle dépasse à peine le point médian. Et aucune configuration n'a été performante de manière constante sur les cinq tâches. Cela fait écho à un schéma observé dans d'autres benchmarks rigoureux : le modèle à 3 milliards de paramètres qui a récemment battu un modèle à 137 milliards sur des benchmarks de codage a également montré que des architectures plus petites et ciblées peuvent rivaliser avec des plus grandes lorsque l'évaluation est serrée. Ici, l'écart est étroit, suggérant que les VLM actuels partagent un plafond similaire sur l'action 3D.

Le résumé ne détaille pas les scores par tâche, mais les chercheurs rapportent avoir analysé où et comment les échecs se manifestent. Les premiers indices pointent vers la permanence des objets, le suivi d'objets qui disparaissent derrière d'autres, et l'ordonnancement des événements, comme scanner puis placer, comme des points problématiques courants.

Ce que ces échecs signifient pour la recherche VLM

Ces résultats s'alignent avec d'autres découvertes récentes. Une équipe dirigée par Sakana AI qui a remplacé des utilisateurs humains par des VLM sur la plateforme Picbreeder a constaté que les archives synthétiques manquaient d'audace et de diversité par rapport à celles créées par des humains, les modèles stagnaient dans l'exploration ouverte. Dans la même veine, des travaux sur l'atténuation des hallucinations visuelles ont montré que des modules entraînés légers peuvent améliorer les benchmarks sensibles à l'ancrage de plusieurs points, mais l'écart reste important.

Ce que SceneActBench rend clair, c'est que le domaine des VLM a besoin de benchmarks qui testent l'action, pas seulement la perception. Un modèle qui obtient de bons scores sur le sous-titrage d'images ou même la manipulation d'un seul objet peut encore échouer lorsqu'on lui demande de coordonner la vision, le raisonnement spatial et les actions séquentielles dans une scène complète. Cet angle mort ne va pas se corriger tout seul en augmentant simplement la taille des modèles. Il faut des suites d'évaluation qui poussent exactement sur les dimensions que les suites actuelles manquent : l'ordre temporel, le raisonnement multi-objets et l'exécution spatiale précise.