MMLU a dominé l'évaluation de l'IA pendant des années. Puis les modèles ont commencé à réussir le corrigé

Le benchmark MMLU (Massive Multitask Language Understanding) a dominé le début des années 2020 comme l'étalon de référence pour la qualité des modèles de langage. Cinquante-sept sujets, format à choix multiples, de l'algèbre abstraite à la politique étrangère américaine. Facile à exécuter, facile à comparer, facile à insérer dans un communiqué de presse.

Cette commodité est précisément ce qui l'a brisé. Dès que les questions d'un benchmark sont publiques, elles finissent par se retrouver dans un corpus d'entraînement. Des audits indépendants d'ensembles de tests multilingues ont révélé des taux de contamination atteignant 91,8 % dans les grands modèles, et la tendance est constante : plus le modèle est gros, plus il semble avoir mémorisé le test plutôt que d'avoir raisonné. Un modèle qui a déjà vu une question et sa réponse lors du préentraînement n'a pas besoin de résoudre quoi que ce soit. Il lui suffit de se souvenir.

La contamination n'est que la moitié du problème. Le test lui-même comporte des lacunes. Des audits du sous-ensemble mathématique de MMLU ont révélé qu'environ 2 % des questions étaient tout simplement erronées : réponses mal étiquetées, formulations ambiguës ou calculs incorrects. Deux pour cent, cela semble peu, jusqu'à ce que l'on réalise que le score de chaque modèle est comparé à un plafond qui inclut des questions défectueuses auxquelles personne ne peut répondre correctement.

Ce que la saturation cache réellement

Au milieu des années 2020, les modèles de pointe atteignaient 88 % à 90 % sur MMLU. Cela ressemble à un triomphe. C'est en réalité plus proche d'un plancher de mesure. Lorsque la plupart des modèles se regroupent près du sommet d'un test, celui-ci cesse de vous renseigner sur qui est réellement meilleur. Un écart de deux points entre deux modèles sur un benchmark saturé peut refléter une véritable capacité, ou bien le fait que l'un des modèles a eu plus de chance avec les 2 % défectueux.

C'est l'argument central que les chercheurs avancent désormais pour retirer MMLU de l'évaluation sérieuse : il ne peut plus distinguer le raisonnement authentique du rappel statistique. Un modèle peut obtenir un bon score en ayant absorbé l'internet, y compris les parties de l'internet qui se trouvent être MMLU.

Ce qui l'a remplacé

La réponse n'a pas été de corriger MMLU. Il s'agissait de construire des tests qui ne peuvent pas être mémorisés de la même manière. Humanity's Last Exam a été conçu explicitement comme un successeur de MMLU, avec des questions vérifiées pour résister à la fois à la recherche web et au rappel par préentraînement. GPQA Diamond fait de même pour la science de niveau graduate. Les benchmarks dynamiques qui régénèrent leurs pools de questions de manière continue, plutôt que de livrer un ensemble fixe une fois et de le réutiliser pendant des années, deviennent la norme précisément parce qu'une grille de réponses statique a une durée de vie limitée.

Tout cela ne signifie pas que MMLU est inutile. Il reste un test de cohérence raisonnable : un modèle qui obtient de mauvais résultats sur MMLU a probablement de réels problèmes. Mais en tant que métrique de classement, un nombre qu'un laboratoire utilise pour revendiquer l'état de l'art, son utilité s'est épuisée à peu près au moment où tout le monde a cessé d'échouer.