Là où Kimi K3 dépasse la frontière : un regard benchmark par benchmark sur le modèle ouvert 2,8T

Le tableau de benchmarks qui compte

Moonshot AI a publié un tableau de benchmarks de 50 lignes avec son annonce de Kimi K3. La propre lecture de l'entreprise, « les performances globales restent inférieures aux modèles propriétaires les plus puissants », est correcte mais incomplète. Si vous triez les lignes par le modèle qui mène, un tableau différent apparaît : Kimi K3 prend la première place sur au moins six évaluations majeures, couvrant les tâches de codage, agentiques et de vision.

Le tableau ci-dessous liste chaque benchmark où Kimi K3 (max) termine en tête ou à égalité, avec le score du concurrent le plus proche.

Kimi K3 mène carrément sur SWE Marathon (42,0 vs 40,0), BrowseComp (91,2 vs 90,4), DeepSearchQA (95,0 vs 94,2), Automation Bench (30,8 vs 29,7) et OmniDocBench (91,1 vs 89,8). Sur Terminal-Bench 2.1, il est 0,5 point derrière GPT 5.6 Sol, assez proche pour parler d'égalité. Sur GPQA-Diamond et PerceptionBench, il est derrière de moins de 1,2 point. C'est une course plus serrée que ne le laisse entendre la phrase « globalement inférieur ».

Codage : là où les modèles ouverts gagnent

La tendance la plus claire apparaît sur les benchmarks de codage agentique. SWE Marathon, qui mesure l'ingénierie logicielle soutenue lors de longues sessions, place Kimi K3 cinq points devant GPT 5.6 Sol et sept points devant Claude Fable 5. Moonshot AI attribue cela à l'architecture de K3 : Kimi Delta Attention (KDA) et Attention Residuals (AttnRes), qui améliorent le flux d'information sur de longues séquences. La fenêtre de contexte d'un million de jetons du modèle et la densité d'activation de 16 experts sur 896 soutiennent les tâches à long horizon sans instabilité.

Sur Program Bench, Kimi K3 (77,8) devance de peu Claude Fable 5 (76,8) et GPT 5.6 Sol (77,6), une avance étroite mais constante. Sur MLS Bench Lite (48,3 vs 49,9) et DeepSWE (67,5 vs 70,0), il perd, mais par des marges suffisamment faibles pour que le modèle ouvert soit clairement dans la même catégorie que les systèmes propriétaires de pointe en matière de codage.

Le benchmark interne Kimi Code Bench 2.0, que Moonshot dit utiliser le harnais KimiCode pour K3 et Claude Code pour les concurrents, montre K3 à 72,9, devant GPT 5.6 Sol (64,8) et Claude Opus 4.8 (71,7), et derrière seulement Claude Fable 5 (76,9). Les choix de harnais importent ici : Moonshot note que les scores de GLM-5.2 proviennent d'un harnais différent, et que ceux de Claude Fable 5 incluent un repli sur Opus 4.8 lorsque la politique d'utilisation bloque les requêtes. Néanmoins, la tendance persiste : sur plusieurs benchmarks de codage, K3 rivalise ou bat des modèles propriétaires qui coûtent des ordres de grandeur plus par jeton.

Benchmarks agentiques : trois victoires claires

BrowseComp (91,2), DeepSearchQA (95,0 f1) et Automation Bench (30,8) sont des évaluations agentiques qui testent la capacité d'un modèle à naviguer dans l'information, synthétiser des données et exécuter des flux de travail multi-étapes. Sur ces trois, Kimi K3 est en tête. Moonshot note que BrowseComp a utilisé une stratégie de compactage de contexte à 300 000 jetons ; sans cela, K3 a obtenu 90,4, encore devant tous les autres modèles rapportés publiquement.

Sur MCP Atlas (84,2) et Toolathlon-Verified (73,2), K3 est 0,5 et 4,7 points derrière Claude Fable 5 respectivement, des scores solides, mais pas la première place. Sur GDPval-AA v2 (1668 Elo vs 1760) et AA-Briefcase (1548 vs 1583), l'écart est de 92 et 35 points Elo, un écart visible qui correspond à l'aveu même de Moonshot selon lequel « K3 présente un écart notable en matière d'expérience utilisateur par rapport à Claude Fable 5 et GPT 5.6 Sol ».

Vision : OmniDocBench et PerceptionBench se démarquent

Kimi K3 mène sur OmniDocBench (91,1 vs 89,8), un benchmark de compréhension de documents, et PerceptionBench (58,5 vs 57,2), que Moonshot décrit comme une évaluation interne de perception visuelle atomique. Sur MathVision (94,3), MMMU-Pro (81,6) et CharXiv (84,8), K3 obtient des scores à 1-3 points des leaders. L'écart se creuse sur les tâches multimodales plus difficiles : ZeroBench w/ python (41,0 vs 46,0) et BabyVision w/ python (85,7 vs 90,5) montrent que Claude Fable 5 et GPT 5.6 Sol conservent des avantages sur le raisonnement visuel complexe avec utilisation d'outils.

Moonshot rapporte que toutes les évaluations visuelles ont utilisé le même ordre d'images et le même format de prompt, et que K3 a obtenu le meilleur score sur la compréhension de documents sans augmentation par outil python, un avantage significatif étant donné la quantité de travail en entreprise impliquant l'analyse de documents.

Là où l'écart est réel : raisonnement et post-entraînement

Sur HLE-Full, le benchmark de raisonnement le plus difficile, Kimi K3 obtient 43,5, soit 9,8 points en dessous de Claude Fable 5 (53,3) et 1 point en dessous de GPT 5.6 Sol (44,5). Avec des outils, l'écart se réduit à 7 points derrière Fable 5. Sur PostTrain Bench, mesurant la qualité du post-entraînement, K3 obtient 36,6, 4,8 points derrière Fable 5 (41,4). Ce sont les écarts bruts de raisonnement et de suivi d'instructions qui expliquent pourquoi Moonshot admet encore être en retard sur les leaders propriétaires.

Pourtant, même ici, l'écart est plus étroit que ne le suggérerait la différence de paramètres. Claude Fable 5 utilise probablement beaucoup plus de 2,8 billions de paramètres (Anthropic n'a pas divulgué le nombre exact), et son budget de calcul d'entraînement est inconnu mais presque certainement plus important. Qu'un modèle partiellement ouvert de 2,8 billions rivalise à quelques points près sur GPQA-Diamond (93,5 vs 93,5), Terminal-Bench 2.1 (88,3 vs 88,8) et SpreadsheetBench 2 (34,8 vs 34,7) signale un changement structurel dans le paysage.

L'architecture derrière les chiffres

Moonshot attribue ces gains à trois innovations architecturales. D'abord, Kimi Delta Attention (KDA), un nouveau mécanisme d'attention que Moonshot affirme améliorer l'efficacité de mise à l'échelle d'environ 2,5 fois par rapport à Kimi K2. Ensuite, Attention Residuals (AttnRes), qui récupère sélectivement des représentations à travers la profondeur plutôt que de les accumuler uniformément. Enfin, Stable LatentMoE avec 896 experts et 16 actifs par jeton, utilisant une méthode de Quantile Balancing pour remplacer l'allocation heuristique des experts. L'effet combiné, selon Moonshot, est un modèle qui « convertit le calcul en intelligence plus efficacement » que son prédécesseur.

La vérification indépendante de ces affirmations devra attendre le rapport technique, que Moonshot promet en même temps que la publication des poids d'ici le 27 juillet 2026. L'entreprise note également que KDA pose de nouveaux défis pour la mise en cache de préfixes conventionnelle et a contribué une implémentation correspondante à la communauté vLLM, un indice que l'architecture introduit de véritables compromis d'ingénierie.

Ce que le tableau dit de la frontière ouverte

Kimi K3 ne bat pas les meilleurs modèles propriétaires sur tous les indicateurs. Mais les benchmarks qu'il mène, SWE Marathon, BrowseComp, DeepSearchQA, OmniDocBench, PerceptionBench, ne sont pas des tests de laboratoire obscurs. Ils mesurent le codage soutenu lors de longues sessions, la récupération d'informations en plusieurs étapes, la compréhension de documents et la perception visuelle : exactement les tâches qui intéressent les clients d'entreprise. Sur ces tâches, le modèle ouvert égale ou dépasse les systèmes propriétaires qui coûtent 15 $/MTok (prix de l'API de K3) ou plus.

Le nombre de 2,8 billions de paramètres est impressionnant, mais la vraie histoire est plus étroite : les modèles ouverts sont devenus compétitifs sur des segments spécifiques et à haute valeur ajoutée de la frontière. La question pour le reste de 2026 est de savoir si cet écart se creuse, ou si les laboratoires propriétaires élargissent la disparité sur les benchmarks restants où ils mènent encore.