Les agents IA produisent des statistiques sans faille et tirent pourtant de mauvaises conclusions

Les agents LLM sont désormais orientés vers l'une des tâches les plus cruciales de la science : le test d'hypothèses. Ils inspectent des ensembles de données, génèrent du code et produisent des analyses de bout en bout. Un preprint publié sur arXiv le 7 août 2026 avertit que cette automatisation présente un angle mort. Les agents tirent fréquemment des conclusions incorrectes, même lorsque l'analyse elle-même s'exécute correctement. Les erreurs sont inférentielles, pas mécaniques : une méthode statistique que les données ne soutiennent pas, une valeur p qui ne tient pas sous les hypothèses des données. La plupart des benchmarks existants ne voient jamais ces défaillances, car ils notent les sorties et non la validité de l'inférence sous-jacente.

Le diagnostic est facile à énoncer : les suites d'évaluation actuelles demandent rarement si une valeur p rapportée est statistiquement valide sous les hypothèses des données. Cet écart compte parce que les agents LLM sont de plus en plus utilisés pour automatiser les tests d'hypothèses, et qu'une exécution propre peut ressembler à un résultat fiable. Ce schéma fait écho à des constats faits ailleurs dans la recherche sur les agents. Des travaux antérieurs sur les agents de codage ont documenté la même inversion, où vérifier de manière fiable une solution générée est devenu plus difficile que d'en produire une. Le nouvel article transpose cette leçon aux statistiques.

Le mode de défaillance que les benchmarks ne voient pas

Pour mesurer cet écart, l'équipe a construit P-Bench, un benchmark de 425 tâches ouvertes de test d'hypothèses couvrant l'économie, la biologie et la médecine. Chaque tâche ne donne à l'agent qu'une hypothèse scientifique et un ensemble de données. L'agent doit sélectionner une méthode statistique, calculer une valeur p et tirer une conclusion. La notation fait ensuite ce que l'article affirme que les évaluations existantes ne font pas : elle vérifie si la valeur p rapportée est statistiquement valide compte tenu des hypothèses sous-jacentes aux données.

Ce que l'apprentissage par renforcement a apporté

La solution proposée est Fisher-R1, un agent LLM open-weight entraîné pour un test d'hypothèses rigoureux à l'aide de tâches synthétiques et d'apprentissage par renforcement. Le choix de conception qui compte est la récompense : la vérification statistique plutôt que l'accord avec une réponse de référence. Sur P-Bench, Fisher-R1-14B s'améliore considérablement par rapport à son modèle de base et surpasse de solides références propriétaires et open-source, notamment GPT-5.4 et DeepSeek-V4-Pro. Le chiffre clé est une amélioration relative moyenne de 21 % du taux de réussite en un seul essai par rapport à DeepSeek-V4-Pro, qui atteint 26 % sur les tâches les plus difficiles.

Les auteurs sont sans détour sur le constat : « les agents LLM actuels manquent d'un raisonnement statistique fiable pour le test d'hypothèses ». En bref, ils affirment que le RL sur des tâches dotées d'une récompense statistique vérifiée améliore considérablement la fiabilité.

Les réserves derrière un écart de 21 %

Le résultat mérite les réserves habituelles d'un preprint. Il n'a pas été évalué par les pairs, et P-Bench est une construction des auteurs eux-mêmes : les modèles de référence ont donc été évalués sur un benchmark conçu par ses créateurs, une raison de lire ces marges avec prudence. Le taux de réussite en un seul essai n'est qu'une métrique. Un agent autorisé à vérifier son travail pourrait réduire ou creuser l'écart ; l'article ne le dit pas.

Ce qui est plus difficile à écarter, c'est le diagnostic, qui arrive dans un domaine déjà aux prises avec la fiabilité de l'évaluation. Le corpus Messier, un effort de juillet 2026 visant à unifier l'évaluation des agents, a recensé 957 253 enregistrements sur 30 benchmarks et 714 agents, et a fait valoir que l'essentiel de ce corpus empirique est incomparable. P-Bench est une réponse plus étroite au même problème : un benchmark conçu pour mesurer un mode de défaillance spécifique plutôt qu'un score agrégé de plus.

Pour les équipes qui confient les tests d'hypothèses à des agents, la leçon pratique est facile à énoncer et coûteuse à apprendre. Une exécution propre n'est pas une inférence valide, et la valeur p ne vaut que ce que valent les hypothèses que personne n'a vérifiées.