5 millions de votes, 25 points Elo : Dans les coulisses du classement Chatbot Arena que personne ne peut ébranler

Chatbot Arena, exploitée sur lmarena.ai, pose une simple question encore et encore : face à deux réponses anonymes de modèles à la même requête, laquelle préférez-vous ? Pas de score, pas de grille, juste un vote. Ces votes alimentent un système de classement Elo, les mêmes mathématiques utilisées pour classer les joueurs d'échecs, où battre un adversaire fort rapporte plus que battre un faible et chaque résultat ajuste les classements des deux modèles.

L'intérêt de cette configuration est qu'elle mesure quelque chose que les examens à livre fermé ne font pas : si les gens aiment vraiment utiliser le modèle. Un système peut exceller au GPQA Diamond et pourtant écrire des réponses que les utilisateurs réels trouvent rigides, évasives ou mal formatées. Arena capture la préférence directement, à grande échelle, en aveugle, ce qui est difficile à truquer et coûteux à reproduire autrement.

Un classement avec presque pas d'écart en haut

Avec près de cinq millions de votes enregistrés, les classements actuels par laboratoire sont remarquablement serrés : Anthropic à 1 503 Elo, xAI à 1 495, Google à 1 494, OpenAI à 1 481, Alibaba à 1 449 et DeepSeek à 1 424. L'ensemble du haut de tableau se situe dans une bande de 25 points, un écart suffisamment faible pour qu'un changement modeste dans l'échantillonnage des votes puisse le réorganiser. Deux tendances plus larges se dégagent sous ce regroupement : les modèles fermés et propriétaires détiennent environ 3,3 % d'avance sur les modèles à poids ouverts, et l'écart moyen entre les laboratoires américains et chinois les plus forts s'est réduit à environ 2,7 %. Aucun de ces écarts n'est le genre d'avance que l'on devrait s'attendre à conserver longtemps.

Le juge derrière le juge

Le vote humain ne passe pas à l'échelle pour chaque variation de requête qu'un laboratoire souhaite tester, donc la plupart des pipelines d'évaluation en production s'appuient sur une seconde méthode : LLM-en-tant-que-Juge, où un modèle de pointe note les sorties d'autres modèles par rapport à une grille structurée au lieu d'une personne. C'est rapide et peu coûteux, l'évaluation par juge coûte 500 à 5 000 fois moins cher que de payer des évaluateurs humains, et elle correspond au jugement humain 80 % à 90 % du temps. Pour la plupart des travaux d'évaluation quotidiens, c'est suffisant pour remplacer complètement un panel humain.

Les 10 % à 20 % où il y a désaccord ne sont cependant pas un bruit aléatoire. Ils se regroupent autour de biais spécifiques et documentés. Les modèles juges récompensent systématiquement les réponses plus longues et plus élaborées, que la longueur supplémentaire apporte ou non de l'information, un modèle que les chercheurs appellent le biais de verbosité. Ils ont aussi tendance à favoriser la réponse présentée en premier dans une comparaison, et à noter plus favorablement toute réponse qui flatte le cadre de la propre requête du juge, un mélange de biais de position et de sycophanie difficile à éliminer complètement par l'entraînement.

Ce que cela signifie pour lire un classement

Les classements Elo d'Arena et les scores basés sur les juges sont véritablement utiles, et ils mesurent quelque chose que les benchmarks à livre fermé et à réponse unique ne peuvent structurellement pas mesurer : comment un modèle se comporte dans les échanges désordonnés et ouverts que les gens ont réellement avec lui. Mais un écart de 20 points Elo entre deux laboratoires, ou une victoire étroite lors d'une évaluation par LLM-juge, est plus proche d'un pile ou face avec une légère tendance que d'un classement définitif. Traitez le haut du classement Chatbot Arena comme vous traiteriez une photo finish : intéressant, informatif, et pas un enjeu sur lequel miser pour la permanence.