Benchmarks d'IA
23 published articles
Agents de codage autonomes · préprint arXiv
Harness-of-Harness revendique un gain de 52,25 % en exécutant d'autres agents de codage
HoH enveloppe les harnais d'agents de codage existants dans des boucles répétées planification-codage-test et rapporte un gain relatif moyen de 52,25 % sur trois suites de benchmarks. Le résumé laisse indéfinis la métrique sous-jacente, le coût en ressources et la ventilation par modèle.
2026-09-25
MiniCPM5-2B d'OpenBMB : 2,52 Md de paramètres, des ambitions de 4 Md
Un modèle de 2,52 Md de paramètres devance ses rivaux de 4 Md, sur un benchmark organisé par son propre créateur
Un modèle Apache-2.0 de 2,52 Md de paramètres qui bat des bases ouvertes plus grandes en codage, en utilisation d'outils et en contexte long, avec un tableau de benchmarks dont OpenBMB indique qu'il mêle exécutions internes et exécutions tierces.
2026-09-22
L'IA native pour les machines et les benchmarks qui la sous-tendent
TypeSafe AI affirme être 193 fois plus rapide que les LLM. Sa propre preuve en montre 75 fois.
TypeSafe AI présente Jev comme le premier System One Model : un système conçu pour renvoyer des décisions typées aux logiciels, entraîné avec un algorithme qu'elle nomme RLCD. La page de lancement revendique zéro hallucination et un avantage de prix de 238 fois sur une seule référence nommée, Claude Fable 5.1.
2026-09-21
Recherche en IA : contrôle des risques de contenu industriel
Le gain de 15,1 points de SIRF réside dans les poids, pas dans le prompt
SIRF déplace les règles de modération d'une plateforme hors du prompt et dans les poids du modèle via un préentraînement continu sur des données de politique synthétiques. Le véritable atout de l'article est son contrôle : une variable modifiée, 15,1 points gagnés.
2026-09-19
IA open source
Qwen 3.8-Max : le modèle le plus puissant d'Alibaba est désormais téléchargeable gratuitement
Alibaba met en open source Qwen 3.8-Max, son modèle le plus performant jamais conçu : un MoE de 2.4 billions de paramètres qui bat GPT-5.6 Sol sur SWE-bench Pro, PaperBench et IFBench. Nous décortiquons les réserves sur les benchmarks et ce qu'un modèle vedette ouvert à 95B actifs signifie pour les développeurs.
2026-08-16
IA open source
Qwen3.8-Max a battu 458 équipes humaines en 24 heures, en travaillant seul
Qwen3.8-Max a battu 458 des 526 équipes humaines lors d'un concours de 24 heures en travaillant seul, et Alibaba mettra ses poids en open source la semaine prochaine. Chaque chiffre est pour l'instant auto-déclaré, ce qui explique précisément pourquoi les affirmations d'autonomie méritent d'être examinées de près.
2026-08-03
Rapport spécial : Évaluation de l'IA
L'état du benchmarking IA en 2026 : l'effondrement des tests statiques et les systèmes conçus pour les remplacer
Un tour d'horizon complet du paysage du benchmarking IA en 2026 : pourquoi MMLU, GSM8K et HumanEval ont cassé, comment les benchmarks dynamiques et les examens d'experts comme HLE et GPQA Diamond les ont remplacés, ce que révèlent les tests agentiques et d'intelligence irrégulière, et comment les préférences humaines, les juges LLM et l'observabilité en production complètent désormais la pile d'évaluation complète.
2026-08-03
Analyse de benchmark
LiveBench refuse de rester figé. C'est tout l'intérêt
LiveBench remplace un corrigé fixe par un pool continuellement actualisé de problèmes de codage, de dépôts et de questions de prédiction, contournant la contamination qui a miné MMLU et GSM8K. Cela fait partie d'un virage plus large vers l'évaluation dynamique, aux côtés de LiveCodeBench, ForecastBench et LLMEval-Fair.
2026-08-03
Analyse de benchmark
5 millions de votes, 25 points Elo : Dans les coulisses du classement Chatbot Arena que personne ne peut ébranler
LMSYS Chatbot Arena classe les modèles selon les préférences humaines en aveugle sur une échelle Elo, avec près de cinq millions de votes qui resserrent désormais les meilleurs laboratoires dans une bande de 25 points. Les méthodes LLM-en-tant-que-Juge qui permettent de passer à l'échelle cette évaluation comportent leurs propres biais documentés en faveur de la verbosité et de la position.
2026-08-02
Analyse de benchmark
Sur SWE-bench Verified, les meilleurs modèles atteignent 96 %. Sur du code d'entreprise privé, ils dépassent à peine 23 %
SWE-bench Verified donne l'impression que les modèles de pointe sont proches de résoudre le génie logiciel réel, avec des scores supérieurs à 95 %. SWE-bench Pro, exécuté sur des dépôts d'entreprise privés, fait chuter ces mêmes modèles à 23 % ou moins, révélant à quel point le score Verified dépendait de l'exposition aux données publiques.
2026-08-02
Analyse de benchmark
GPQA Diamond a été conçu pour être à l'épreuve de Google. Les modèles frontaliers dépassent désormais 95% malgré tout
GPQA Diamond a été conçu pour que des humains équipés de moteurs de recherche ne puissent pas répondre de manière fiable à ses questions scientifiques de niveau expert. Les modèles frontaliers franchissent désormais 89% à 96%, poussant le benchmark vers la même saturation qui a retiré MMLU.
2026-08-01
Analyse de benchmark
L'Examen Final de l'Humanité a débuté avec un score de 2,7 %. Les meilleurs modèles ne parviennent toujours pas à dépasser les 65 %
L'Examen Final de l'Humanité a été construit par CAIS et Scale AI pour succéder à MMLU en tant que benchmark général LLM le plus difficile. Deux ans plus tard, même le score de tête de 64,7 % de Claude Opus 5 reste bien en dessous de la référence humaine experte de 90 %.
2026-07-31