957 253 enregistrements ne peuvent cacher l'écart : les agents IA explosent en codage mais stagnent là où les entreprises en ont besoin

Depuis des années, quiconque tente de comparer les agents IA entre benchmarks était confronté à un fouillis de tâches incompatibles, de scaffolds sur mesure, de vérificateurs ponctuels et de règles de notation conçues isolément. Un agent pouvait réussir un classement et échouer sur un autre sans qu'on puisse déterminer si la différence était réelle ou due à la conception de l'évaluation. Cette fragmentation rendait presque impossible de répondre à la seule question qui compte : où les agents s'améliorent-ils réellement ?

Le corpus Messier, publié sur arXiv le 28 juillet 2026, tente de répondre à cette question à grande échelle. Il consolide 957 253 enregistrements couvrant 30 benchmarks, 714 agents, 11 891 tâches et 74 205 vérificateurs. Chaque enregistrement est standardisé par modèle, scaffold, environnement, tâche, vérificateur et règle d'agrégation, et annoté avec des codes professionnels et sectoriels. Le résultat est le premier aperçu haute résolution et multi-benchmark des capacités et limites des agents IA, et le tableau n'est pas uniformément brillant.

Le problème de la fragmentation

Le paysage actuel de l'évaluation est notoirement balkanisé. Différents groupes de recherche créent des environnements sur mesure, définissent leurs propres critères de succès et exécutent les agents sur des scaffolds incompatibles. Même lorsque deux benchmarks testent des compétences similaires, les résultats sont rarement comparables car le harnais, le vérificateur ou la règle d'agrégation modifient le score d'une manière qui n'a rien à voir avec l'agent lui-même. Un benchmark récent, OpenRTAG, a organisé les problèmes de qualité dans les données de graphes en une taxonomie 3×3 et a constaté que différentes familles de modèles (GNN traditionnels vs GNN améliorés par LLM vs modèles de base de graphes) présentent des schémas de sensibilité différents. Cela rappelle que les choix de conception des benchmarks colorent profondément les résultats. Pendant ce temps, le propre audit de Mistral sur son OCR 4 a révélé que les benchmarks standard peuvent pénaliser une sortie factuellement correcte mais formatée en dehors du schéma attendu, créant un bruit qui masque les gains réels. Et l'étude MosaicLeaks a montré que les agents de recherche approfondie peuvent fuir des données privées via des requêtes web, même si aucune requête individuelle n'est incriminante, une préoccupation de capacité qu'aucun benchmark standard ne mesure actuellement.

Frontière inégale

Le corpus Messier confirme que les progrès du domaine sont dramatiquement inégaux selon les catégories de benchmarks. L'article identifie trois zones distinctes :

• Appel de fonctions, saturé. Les performances des agents sur les benchmarks d'appel de fonctions ont atteint un plateau, suggérant que les modèles actuels ont appris les mécanismes d'invocation d'outils aussi bien que les tests existants peuvent le mesurer.
• Programmation, en plein essor. Les benchmarks de codage connaissent l'amélioration la plus rapide, portée par les progrès en génération de code et édition au niveau du dépôt. Cela correspond à une étude distincte de juillet 2024 par l'équipe HSCodeComp d'Alibaba, qui a constaté que les meilleurs agents atteignent seulement 49,4 % de précision sur la classification tarifaire contre 95 % pour les experts humains, mais ce plafond est structurel et ne se résume pas à une question de calcul. Les tâches de programmation nécessitant un raisonnement sur des règles du monde réel restent difficiles.
• Workflows d'entreprise, à la traîne. Les catégories de benchmarks qui simulent des processus métier multi-étapes, des chaînes d'approbation et l'utilisation d'outils spécifiques au domaine restent les plus difficiles. Cette conclusion correspond à la stratégie plus large d'Alibaba, qui se concentre sur le verrouillage des entreprises dans une pile IA intégrée plutôt que sur la victoire dans des benchmarks de modèles individuels, et à l'évaluation de Gartner selon laquelle les agents IA de codage d'entreprise comme Cursor sont en tête pour la complétude de la vision, mais que le chiffre d'adoption de 70 % du Fortune 500 laisse encore de côté combien de ces déploiements sont des pilotes à échelle limitée.

Le piège du tout-ou-rien

La découverte la plus importante de l'article Messier est peut-être méthodologique. Lorsqu'une tâche implique plusieurs vérificateurs, par exemple vérifier que l'agent a récupéré le bon document, extrait le champ correct et l'a formaté selon un schéma, de nombreux benchmarks utilisent une règle d'agrégation stricte tout-ou-rien : l'agent n'obtient de crédit que s'il réussit chaque vérificateur. L'équipe Messier a effectué des exercices de renotation contrefactuels et a constaté que cette règle tout-ou-rien sous-estime systématiquement les progrès, en particulier sur les tâches multi-vérificateurs plus difficiles, et peut modifier artificiellement les classements des agents. Un agent qui réussit neuf vérifications sur dix semble identique à un agent qui en réussit zéro. Cela fait écho aux résultats de l'étude PawBench antérieure, qui a montré que la conception du harnais peut faire varier les scores de plus de 11 points pour les petits modèles, exposant un angle mort dans la façon dont le domaine évalue les pipelines d'agents.

Échelles de capacité qui tiennent

Si les scores des différents benchmarks ne peuvent pas être directement comparés, peut-on au moins en dériver une échelle de capacité générale ? L'équipe Messier l'a fait exactement. À partir des enregistrements standardisés, ils ont calculé des échelles de capacité et les ont validées par rapport à l'Evaluation Capability Index d'Epoch. L'alignement est fort : une corrélation de rang de Spearman de 0,81. Cela suggère que le corpus capture quelque chose de réel sur la capacité relative des agents, même dans des contextes d'évaluation divers. Les échelles peuvent également être spécialisées par domaine, profession, espace d'action ou type de vérificateur, ce qui les rend utiles pour des audits ciblés, par exemple pour savoir si les agents sont meilleurs en génie logiciel qu'en raisonnement juridique, ou si les petits modèles réduisent l'écart dans certaines catégories d'utilisation d'outils.

Ce que Messier signifie pour la prochaine génération de benchmarks

Le corpus Messier n'est pas lui-même un benchmark. C'est une infrastructure de méta-évaluation, un moyen d'auditer les benchmarks existants pour détecter les biais, les angles morts et les artefacts de notation. L'article le présente comme « une infrastructure fondamentale et réutilisable pour la mise à l'échelle des capacités des agents, l'audit des benchmarks et l'analyse fine des échecs d'évaluation ». Sa sortie intervient parallèlement à une reconnaissance croissante du besoin de normes partagées dans le domaine. Le récent article Do Agent Benchmarks Measure Capability? soutenait que la validité du protocole, c'est-à-dire si le protocole d'évaluation teste réellement la capacité visée, nécessite des preuves explicites, et que sans cela, les scores risquent d'être dénués de sens. Messier fournit exactement la base de preuves inter-benchmarks nécessaire pour rendre possibles ces vérifications de validité de protocole. Pour les acheteurs en entreprise qui tentent de décider quel agent déployer, ou pour les chercheurs qui tentent de décider où investir, Messier offre quelque chose qui manquait au domaine : une carte unique et standardisée des capacités des agents IA, avec leurs défauts et tout.