Le goulot d'étranglement qui freine les agents d'IA n'est pas l'exploration, mais l'évaluation

Les agents d'IA peuvent déjà explorer. Ils envoient du code à un navigateur, essaient une commande shell, échouent, réessayent. Cette partie fonctionne. Ce qu'ils ne peuvent pas faire, de manière fiable, c'est dire s'ils ont réussi. Et sans ce signal, l'apprentissage par renforcement stagne. Deux articles publiés sur Hugging Face récemment abordent cela sous des angles opposés, et ensemble, ils dessinent une carte de la direction que prend l'évaluation des agents. Le harnais open-source CUGA d'IBM évite la plomberie et…

Le premier, AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation (arXiv 2604.18240), mesure à quel point un agent juge peut vérifier un comportement en interagissant activement avec le monde : exécuter des requêtes, cliquer sur des boutons, faire défiler les résultats, avant de décider si une étape était correcte. Le second, HeavySkill: Heavy Thinking as the Inner Skill in Agentic Harness (arXiv 2605.02396), soutient le contraire : le juge le plus fiable réside à l'intérieur des paramètres du modèle, non sur Internet.

Le fossé de la vérification

La pratique actuelle repose sur deux béquilles. Les vérificateurs basés sur des règles vérifient un ensemble restreint de conditions et ratent tout le reste. Les modèles LLM-as-a-Judge produisent des verdicts qualitatifs sans jamais toucher à l'environnement. Les deux se brisent lorsque les agents passent de benchmarks soigneusement sélectionnés à des tâches ouvertes nécessitant des réponses factuelles et ancrées. IFBench : le nouveau benchmark testant le respect des…

AJ-Bench a été conçu pour mesurer l'ampleur réelle de cet écart. Ses auteurs, de l'Université du Zhejiang et des collaborateurs, ont créé 155 tâches couvrant les domaines de la recherche, des données et des interfaces graphiques, avec 516 trajectoires annotées. Le benchmark teste trois capacités : acquisition d'informations (le juge peut-il trouver le bon contexte ?), vérification d'état (évalue-t-il correctement l'état de l'environnement ?) et vérification de processus (peut-il vérifier chaque étape ?).

Les résultats ont montré que les juges basés sur des agents, ceux capables d'exécuter des requêtes et d'interagir avec l'environnement, surpassent systématiquement les LLM de base statiques. Mais même les meilleurs juges agents achoppaient encore sur la vérification de processus, en particulier dans les tâches graphiques multi-étapes où les états intermédiaires doivent être confirmés.

« Un goulot d'étranglement clé pour le passage à l'échelle de l'apprentissage par renforcement pour les agents d'IA n'est pas seulement l'exploration, mais l'évaluation », écrivent les auteurs dans une note de la communauté. « Alors que les agents opèrent dans des environnements plus vastes et plus ouverts, nous avons besoin de juges agents capables d'utiliser des outils, de vérifier les états de l'environnement et de produire des signaux de rétroaction ancrés. »

Le même goulot d'étranglement apparaît dans d'autres travaux récents. Par exemple, les agents d'IA chargés de la migration Java en entreprise échouent non pas parce qu'ils ne peuvent pas écrire de code, mais parce qu'ils ne peuvent pas juger si la migration est terminée sans qu'un serveur de build ne le leur dise. Les agents IA ne peuvent pas terminer une migration…

Le raisonnement comme compétence interne

HeavySkill adopte une approche différente. Au lieu d'apprendre à l'agent à utiliser des outils externes, il propose que l'évaluation la plus évolutive soit une compétence de raisonnement en deux étapes intégrée directement dans le modèle : raisonnement parallèle suivi d'une synthèse.

Dans ce cadre, un agent confronté à une tâche complexe génère d'abord K trajectoires de raisonnement indépendantes en parallèle, puis les synthétise en une réponse finale par une analyse critique. L'ensemble du processus est une compétence unique et apprenable, qui peut être améliorée par apprentissage par renforcement plutôt que par orchestration d'outils externes. L'idée centrale de l'article est que de nombreux systèmes agentiques existants obscurcissent ce qui détermine réellement les performances. « Le mécanisme sous-jacent qui détermine réellement les performances reste caché derrière des conceptions de système complexes », affirment les auteurs.

HeavySkill surpasse systématiquement les stratégies traditionnelles de type Best-of-N, les LLM plus puissants s'approchant des performances de Pass@N. Cela fait écho aux conclusions d'autres recherches : la distillation de compétences sur politique, où les modèles apprennent à partir de leurs propres trajectoires terminées, peut améliorer la formation des agents sans recourir à des mémoires externes. OPID offre aux agents linguistiques un signal de…

Là où les deux chemins convergent

Malgré leurs différences philosophiques, les deux articles convergent sur le même point : de meilleurs juges sont la clé du passage à l'échelle. Que le juge interagisse avec l'environnement ou avec son propre raisonnement interne, le besoin fondamental d'une vérification ancrée et consciente du processus est le même. Les auteurs de HeavySkill voient une voie claire : « La profondeur et la largeur de la pensée profonde, en tant que compétence apprenable, peuvent être encore développées via l'apprentissage par renforcement. » Les contributeurs d'AJ-Bench sont tout aussi directs : « De meilleurs juges élargissent l'éventail des comportements qui peuvent être évalués de manière fiable. »

La tension entre la vérification externe et le raisonnement internalisé pourrait éventuellement se résoudre en un hybride. Le pipeline de HeavySkill pourrait être enrichi par une interaction avec l'environnement au stade de la synthèse. Ou le benchmark d'AJ-Bench pourrait évaluer les juges de style HeavySkill dans des contextes dynamiques, pour tester si le raisonnement internalisé tient bon lorsque l'environnement réagit.

Cela reflète un schéma plus large dans la recherche sur les agents. Des cadres comme SkillCoach essaient déjà d'apprendre aux agents à évaluer leur propre sélection et utilisation de compétences, et le cadre CUGA d'IBM gère l'orchestration pour que les agents puissent se concentrer sur le jugement. Votre agent IA a réussi le test par hasard. Maintenant,…

Ce qui vient ensuite

Les deux articles sont à un stade précoce. Aucun n'a encore été cité par d'autres modèles sur Hugging Face. La communauté commence seulement à reconnaître le goulot d'étranglement de la vérification. Mais la direction est claire. À mesure que la formation par apprentissage par renforcement pour les agents passe à l'échelle, le facteur limitant ne sera pas la puissance de calcul pour l'exploration. Ce sera la qualité du signal d'évaluation. La course pour construire de meilleurs juges a commencé.

Les données et le code d'AJ-Bench sont disponibles sur le site web du projet. Les auteurs de HeavySkill n'ont pas encore publié leur code, mais le cadre de l'article est décrit en suffisamment de détails pour être reproduit.