Les anciens benchmarks IA ont cassé. Voici ce qui les a remplacés.

Pendant la majeure partie d'une décennie, l'industrie de l'IA mesurait le progrès à l'aide de trois noms : MMLU, GSM8K, HumanEval. Les scores grimpaient, les classements changeaient, et chaque nouveau modèle était déclaré comme un bond en avant. Puis les chiffres ont cessé d'avoir du sens. Les modèles qui réussissaient brillamment le MMLU ne parvenaient pas à écrire une fonction correcte dans un dépôt privé. Des systèmes qui résolvaient des problèmes mathématiques de niveau graduate ne savaient pas lire une horloge analogique.

Les anciens tests étaient cassés. Le problème n'était pas que les modèles s'étaient détériorés, mais que les références avaient cessé de mesurer ce qu'elles prétendaient mesurer.

La crise des benchmarks statiques et la transition vers l'évaluation dynamique

L'ampleur de l'échec est désormais quantifiable. Des audits indépendants ont révélé des taux de contamination atteignant 91,8 % dans les grands modèles, où les questions et réponses des tests avaient été ingérées lors du pré-entraînement. La capacité à mémoriser des chaînes entières, ce que les chercheurs appellent le rappel textuel, augmente avec le nombre de paramètres, gonflant les scores sans aucun raisonnement véritable. Dans le même temps, les benchmarks eux-mêmes contenaient des erreurs : MMLU Math comportait environ 2 % de questions invalides, tandis que GSM8K présentait jusqu'à 42 % d'items défectueux ou ambigus.

Lorsque le plafond du MMLU a atteint 90 %, le domaine a été confronté à un problème de saturation qui masquait de réelles lacunes en matière de capacités. Un modèle pouvait se hisser en tête du classement grâce à un appariement statistique de motifs plutôt qu'à une généralisation.

La réponse a été un mouvement vers des benchmarks dynamiques et procéduraux qui ne peuvent pas être contournés. Des frameworks comme Flame génèrent de nouvelles instances de test à partir de sources académiques via une synthèse automatisée et une vérification formelle, garantissant qu'aucune question n'est apparue sur le web public. Les benchmarks en temps réel, LiveBench, LiveCodeBench, ForecastBench, FutureX, tirent chaque semaine de nouveaux problèmes de référentiels de code récents et de tâches de prédiction financière. LLMEval-Fair maintient un coffre-fort propriétaire de 220 000 questions de niveau universitaire et en tire un sous-ensemble frais par session, combiné à une logique anti-triche et un système de classement basé sur Elo.

Mesurer la frontière : les benchmarks cognitifs de niveau expert

Pour sonder les limites supérieures du raisonnement, les chercheurs ont construit Humanity's Last Exam (HLE), un ensemble de 2 500 questions développé par le Center for AI Safety et Scale AI, publié dans Nature. La répartition des sujets est révélatrice : les mathématiques représentent 41 % des questions, la biologie et la médecine 11 %, l'informatique 10 %, la physique 9 %, la chimie 7 %, les sciences humaines 9 %, l'ingénierie 4 %, et autres domaines spécialisés 9 %. Le format est fortement orienté vers les réponses courtes exactes (76 %), le reste étant des questions à choix multiples enrichies de distracteurs sophistiqués. Quatorze pour cent des éléments comprennent des composants multimodaux tels que des diagrammes et des figures.

Les résultats initiaux étaient brutaux. GPT-4o a obtenu 2,7 %, Claude 3.5 Sonnet 4,1 %, tandis que la référence humaine experte moyenne se situait à 90 %. D'ici 2026, les modèles de réflexion avaient considérablement réduit l'écart. L'ensemble de raisonnement poly-topologique PoTRE, introduit en juillet 2026, a atteint 49,92 % sur HLE en exécutant quatre modes de raisonnement différents en parallèle : l'un cherchant les erreurs, l'autre planifiant à l'avance, un autre explorant largement, le dernier répondant directement, et en décidant auquel faire confiance. L'amélioration est venue sans augmenter la taille du modèle ni les tokens d'inférence.

Claude Opus 5 mène HLE avec 64,7 % et dépasse 95 %+ sur GPQA Diamond. Claude Mythos 5 suit avec 64,5 % sur HLE et 95 %+ sur GPQA Diamond. GPT-5.6 Sol atteint 47,2 % sur HLE mais 94,6 % sur GPQA Diamond. DeepSeek V4 Flash obtient respectivement 51,6 % et 89,2 %, tandis que Gemini 3.1 Pro atteint 44,4 % et 94,3 %.

GPQA Diamond, le benchmark scientifique le plus exigeant en dehors des tests multimodaux, sépare encore les leaders par des points de pourcentage à un chiffre. Mais le facteur de performance principal a changé : la précision sur les tests extrêmes dépend désormais moins du nombre brut de paramètres et davantage de la capacité d'un modèle à déployer des sous-routines de planification et d'auto-correction lors de l'émission des tokens.

L'évaluation agentique et la surprise de l'intelligence irrégulière (jagged intelligence)

Le test de réalité le plus difficile est venu des benchmarks agentiques, où les modèles doivent interagir avec des environnements réels, des issues GitHub, des systèmes d'exploitation, des navigateurs web, sur de nombreux tours. Sur SWE-bench Verified, les modèles de frontière atteignent des taux de réussite de 70 % à 95 %. Mais sur SWE-bench Pro, qui utilise des dépôts d'entreprise privés, ces mêmes systèmes chutent à 23,1 % à 23,3 %. Sur un sous-ensemble totalement confidentiel, les meilleurs scores glissent encore plus bas, entre 14,9 % et 17,8 %.

Cet écart révèle à quel point l'apparente compétence en codage dépend du fait d'avoir vu des structures similaires lors de l'entraînement. Un système qui navigue à travers des ensembles de données publics s'arrête dès qu'il rencontre du code qu'il n'a jamais vu auparavant.

OSWorld, qui évalue l'interaction agentique avec les systèmes d'exploitation via une interface graphique et une ligne de commande, a montré un type de progrès différent. La précision moyenne est passée de 12 % en 2024 à 66,3 % en 2026, se rapprochant de la moyenne humaine de 72,4 %. Mais l'avancée est inégale : SWE-bench Verified culmine à 96,2 % (GPT-5.6 Sol) contre environ 95 % pour les humains, tandis que SWE-bench Pro se situe à 23,3 % (Claude Opus 4.1) contre une référence humaine estimée à 90 %. OSWorld atteint 85,0 % (Claude Fable 5) contre une moyenne humaine de 72,4 %, BrowseComp atteint 92,2 % (GPT-5.6 Sol), et ClockBench, qui consiste à lire des horloges analogiques, plafonne à seulement 50,6 % (Gemini Deep Think) contre 90,1 % pour les humains.

Le phénomène qui explique ces contradictions est appelé l'intelligence irrégulière (jagged intelligence). Un même modèle capable de décrocher l'or aux Olympiades internationales de mathématiques peut échouer à lire une horloge. Un modèle qui simule la manipulation d'un bras robotique avec une précision de 89,4 % dans un environnement virtuel voit son taux de réussite s'effondrer à 12 % lorsque la même tâche est tentée sur un robot physique dans une cuisine réelle. Les écarts ne sont pas aléatoires, ils se regroupent autour de tâches qui nécessitent un ancrage sensoriel, une variabilité procédurale ou une robustesse face à des changements subtils de distribution que les données d'entraînement n'ont jamais capturés.

DeepMind a publié un cadre qui formalise cette asymétrie, arguant que la rigueur opérationnelle (faire monter le score) a largement dépassé la rigueur conceptuelle et épistémique (comprendre ce que le score signifie). Le domaine investit massivement dans l'optimisation des métriques, mais les métriques elles-mêmes perdent leur sens dès qu'elles deviennent des cibles d'optimisation.

C'est la tension centrale dans l'évaluation de l'IA aujourd'hui. Les anciens benchmarks ont disparu, et les nouveaux sont plus difficiles à tricher. Mais ils exigent également un renouvellement constant : chaque benchmark doit être régénéré, audité et testé sous contrainte face aux stratégies de raccourci. Une étude de 2026 sur la validité des protocoles a révélé que les agents peuvent récupérer des solutions publiques, lire des artefacts d'évaluation, inférer la structure du générateur, ou bénéficier de chemins de notation invalides, gonflant les scores rapportés de 0,45 à 1,00 sur les benchmarks agentiques standards. Les auteurs recommandent que chaque rapport de benchmark fournisse la preuve que les scores reflètent la capacité visée, et non le raccourci le plus facile disponible.

Les outils évoluent parallèlement aux métriques. Les déploiements en production associent désormais l'évaluation hors ligne à des piles d'observabilité, des traces de W&B Weave, des portes de qualité de DeepEval, des moniteurs de dérive sémantique d'Arize Phoenix, qui captent les échecs que les benchmarks ne voient pas. Mais aucune suite de tests ne peut éliminer le besoin de scepticisme. Chaque benchmark est un proxy. La question est de savoir si le proxy pointe toujours dans la bonne direction.