Quatre agents valent mieux qu'un : ARCANA résout ARC-AGI-2 en se parlant à elle-même

Le benchmark ARC-AGI-2 a humilié bien des systèmes d'IA. Conçu pour tester le raisonnement visuel abstrait avec un minimum d'exemples, il exige le type d'intelligence flexible que les modèles transformer, même les plus grands, peinent encore à atteindre. Voici ARCANA, un nouveau cadre collaboratif multi-agent qui traite le problème non pas comme un défi de modèle unique, mais comme un sport d'équipe.

Ce qu'ARCANA apporte à la table

ARCANA, acronyme de Reflective Multi-Agent Program Synthesis, réorganise le pipeline de résolution de casse-tête en quatre agents spécialisés. Un agent de perception perceptuelle construit d'abord des graphes de scène centrés sur les objets à partir des grilles de pixels brutes. Une politique de programme latent propose ensuite divers programmes DSL (langage spécifique au domaine) capables de mapper les grilles d'entrée aux grilles de sortie. Un exécuteur symbolique vérifie chaque candidat par rapport aux démonstrations fournies. Enfin, un agent réfléchissant analyse les échecs d'exécution et compose un retour pour guider l'itération suivante.

Les agents ne sont pas cloisonnés : ils communiquent via un tableau partagé différenciable, et un méta-contrôleur appris décide quel agent s'exécute quand. Cette architecture permet à ARCANA de combiner la recherche de programme structurée avec une correction adaptative multi-tours, une approche hybride que les auteurs de l'article soutiennent être plus économe en échantillons que les méthodes neuronales de bout en bout.

Pourquoi ARC-AGI-2 est une bête différente

Le benchmark ARC-AGI-2, créé par François Chollet, est explicitement conçu pour mesurer la capacité d'un système à généraliser à partir de peu d'exemples. Chaque casse-tête présente une poignée de grilles entrée-sortie illustrant une transformation abstraite, remplissages de couleur, rotations d'objets, opérations miroir, et le modèle doit inférer la règle et l'appliquer à une nouvelle grille. C'est essentiellement un test d'intelligence fluide, pas de rappel de connaissances.

La plupart des grands modèles de langage et des transformateurs de vision performent encore mal sur ARC-AGI-2, échouant souvent à retrouver la règle sous-jacente à partir des données éparses. En revanche, la décomposition explicite d'ARCANA en perception, hypothèse, exécution et réflexion reflète la manière dont un humain résolvant un casse-tête pourrait aborder le test : regarder, deviner, vérifier et réviser.

La boucle de rétroaction réfléchissante est peut-être le composant le plus novateur. Lorsque l'exécuteur symbolique rejette un candidat, l'agent réfléchissant ne le jette pas simplement. Au lieu de cela, il synthétise une explication en langage naturel de la raison pour laquelle le programme a échoué, que l'agent d'hypothèse utilise pour proposer un programme révisé au tour suivant. Ce raffinement cyclique rappelle le raisonnement en chaîne de pensée, mais appliqué à la synthèse de programme plutôt qu'à la génération de texte.

Résultats et questions ouvertes

L'article rapporte une efficacité de raisonnement améliorée et une meilleure qualité de solution sur des tâches de transformation abstraites difficiles, bien que les résultats numériques précis ne soient pas reproduits dans cet article. L'évaluation complète sera disponible lorsque la prépublication sera publiée. Les auteurs citent également des contraintes strictes de temps de test et de matériel comme facteurs de conception, suggérant qu'ARCANA est soucieuse des ressources par rapport à une recherche par force brute sur un espace de programme exponentiellement grand.

Néanmoins, plusieurs questions subsistent. L'architecture de communication par tableau partagé repose sur un méta-contrôleur appris, dont la procédure d'entraînement et les exigences de données ne sont pas détaillées dans le résumé. Il n'est pas non plus clair si les performances du cadre se transfèrent à d'autres benchmarks lourds en raisonnement ou si les gains sont spécifiques à la structure des casse-têtes d'ARC-AGI-2. Et bien que l'article mentionne des "programmes DSL diversifiés", la taille et la richesse du DSL lui-même influenceront fortement le plafond de la complexité des problèmes.

L'approche s'aligne sur une tendance industrielle plus large : de nombreux laboratoires frontaliers construisent désormais des systèmes d'IA composés qui acheminent les sous-problèmes vers des modules spécialisés plutôt que de tasser tout le raisonnement dans un seul modèle. Google DeepMind a expérimenté avec des agents modulaires pour la génération de code ; le projet Q* d'OpenAI décomposerait les problèmes mathématiques en sous-objectifs. ARCANA fait partie de ce mouvement, mais va plus loin en fermant la boucle de rétroaction de l'exécution à la formulation d'hypothèses.

Pour les praticiens, le cadre offre un modèle potentiel pour construire des systèmes d'IA transparents et déboguables. Si un agent ARCANA échoue à une tâche, le résumé d'échec de l'agent réfléchissant, rédigé dans un langage proche du naturel, donne à un opérateur humain un point d'intervention concret. Cette traçabilité est rare dans les modèles neuronaux monolithiques.

Mais le véritable test sera l'échelle et la variété. ARC-AGI-2 est un concours organisé ; le monde réel propose des abstractions plus désordonnées. Il reste à voir si la danse à quatre agents d'ARCANA peut gérer, par exemple, un pipeline de diagnostic médical ou la boucle de perception d'un robot physique.