LiveBench refuse de rester figé. C'est tout l'intérêt

Le problème que LiveBench a été conçu pour résoudre est structurel, pas un scandale ponctuel. Tout benchmark publié comme un jeu de données fixe sera, tôt ou tard, récupéré dans un corpus de pré-entraînement, que ce soit délibérément ou comme dommage collatéral du crawl du web ouvert. Une fois cela arrivé, le score d'un modèle cesse de mesurer le raisonnement et commence à mesurer la mémorisation, ce qui est exactement ce qui est arrivé à MMLU et GSM8K. La solution de LiveBench n'est pas un meilleur jeu de données. C'est un jeu de données mouvant.

Au lieu de livrer un test fixe une fois pour toutes, LiveBench ingère en continu de nouveaux problèmes, des défis de codage récents, des dépôts de code fraîchement ouverts, des questions de raisonnement sur l'actualité, sur une base hebdomadaire glissante. Une question publiée cette semaine ne peut pas avoir contaminé un modèle entraîné des mois plus tôt, par définition. Ce seul choix de conception contourne tout le débat sur la contamination qui a consommé le reste du domaine.

Partie d'une famille plus large

LiveBench ne travaille pas seul. LiveCodeBench applique la même logique de rafraîchissement en direct spécifiquement aux problèmes de programmation tirés de plateformes de codage compétitif actives. ForecastBench et FutureX poussent l'idée plus loin dans un territoire véritablement non résolu, demandant aux modèles de prédire les résultats d'événements financiers et géopolitiques réels qui ne se sont pas encore produits, des questions où il n'y a, par construction, aucune réponse historique dans un ensemble d'entraînement nulle part.

Apparentée mais distincte est l'approche adoptée par LLMEval-Fair, qui conserve un coffre-fort propriétaire de 220 000 questions de niveau universitaire et tire un sous-ensemble frais et non publié pour chaque session d'évaluation, combiné à une détection anti-triche et un classement relatif plutôt que des seuils fixes. Et Flame, un framework de génération procédurale, va encore plus loin : plutôt que de stocker des questions pré-écrites, il en synthétise de nouvelles à la demande à partir de matériel source académique, vérifie leur logique interne avec des agents vérificateurs, et supprime les indices de cadrage qui pourraient révéler à un modèle ce qui est testé.

Ce que cela coûte

Rien de tout cela n'est gratuit. Un benchmark qui change chaque semaine est plus difficile à reproduire, un score de mars et un score de juin ne sont pas strictement le même test, ce qui complique le genre de comparaison nette de classement que tout le monde souhaite. Cela transfère également la confiance à celui qui maintient le pipeline : si l'organisation qui gère LiveBench commence à puiser dans un pool de nouvelles questions biaisé ou de moindre qualité, il n'y a pas de corrigé fixe pour que les auditeurs externes vérifient, contrairement à ce qu'il y avait, finalement, pour GSM8K.

Ce compromis semble valoir la peine, du moins pour l'instant. L'ère des benchmarks statiques a produit une série de découvertes embarrassantes a posteriori, des taux de contamination proches de 92 % dans certains ensembles de test multilingues, des taux d'erreur allant jusqu'à 42 % dans des problèmes mathématiques soi-disant de référence, une saturation qui a rendu les classements sans signification. LiveBench et ses pairs à rafraîchissement en direct existent parce que le domaine a conclu que la véritable date d'expiration d'un benchmark arrive au moment où il devient assez célèbre pour mériter d'être mémorisé.