SevenTnewS

分析

Kimi K3 在哪些基准测试上领先前沿模型?对开放 2.8T 模型的逐项解读

月之暗面推出的 2.8T 参数开源模型 Kimi K3,在大多数通用基准测试上落后于前沿专有模型,但在 SWE Marathon、Terminal-Bench 2.1、BrowseComp 等测试中领先。详细表格揭示了其在 KDA 和 Stable LatentMoE 架构上的投入在哪些方面获得了回报。

Emmanuel Fabrice Omgbwa Yasse AI 辅助

2026-07-17 · 阅读需 6 分钟

Kimi K3 在哪些基准测试上领先前沿模型?对开放 2.8T 模型的逐项解读
来源 : Kimi K3 Announc…

关键基准测试表

月之暗面在发布 Kimi K3 时发布了一张包含 50 行数据的基准测试表。该公司自己的评价是“整体性能仍落后于最强大的专有模型”,这一说法正确但不全面。如果按模型领先程度对各行进行排序,情况则截然不同:Kimi K3 在编程、智能体和视觉任务中至少六项重要评测上取得了第一名。

下表列出了 Kimi K3 (max) 获得第一或并列第一的每一项基准测试,以及最接近的竞争对手的得分。

基准测试Kimi K3 (max)第二名第二名得分
SWE Marathon42.0Claude Opus 4.840.0
Terminal-Bench 2.188.3GPT 5.6 Sol88.8
BrowseComp91.2GPT 5.6 Sol90.4
DeepSearchQA (f1)95.0Claude Fable 594.2
Automation Bench30.8GPT 5.6 Sol29.7
GPQA-Diamond93.5GPT 5.6 Sol94.1
OmniDocBench91.1Claude Fable 589.8
PerceptionBench58.5GPT 5.6 Sol59.7

Kimi K3 在 SWE Marathon(42.0 对 40.0)、BrowseComp(91.2 对 90.4)、DeepSearchQA(95.0 对 94.2)、Automation Bench(30.8 对 29.7)和 OmniDocBench(91.1 对 89.8)上取得绝对领先。在 Terminal-Bench 2.1 上,它落后 GPT 5.6 Sol 0.5 分,几乎可以视为平局。在 GPQA-Diamond 和 PerceptionBench 上,它落后不到 1.2 分。这比“整体落后”的说法所暗示的要激烈得多。

编程:开源模型的胜利

最清晰的模式出现在智能体编程基准测试上。SWE Marathon 衡量长时间会话中的持续软件工程能力,Kimi K3 领先 GPT 5.6 Sol 5 分,领先 Claude Fable 5 7 分。月之暗面将此归功于 K3 的架构:Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes),它们改善了长序列中的信息流动。该模型的 100 万 token 上下文窗口和 896 专家中 16 个专家激活的密度设置,支持长期任务而不出现性能抖动。

在 Program Bench 上,Kimi K3 (77.8) 略微领先 Claude Fable 5 (76.8) 和 GPT 5.6 Sol (77.6),优势微弱但持续。在 MLS Bench Lite (48.3 对 49.9) 和 DeepSWE (67.5 对 70.0) 上它落败,但差距很小,足以说明该开源模型在编程方面显然与专有前沿模型处于同一梯队。

图表:Kimi K3 与前沿模型持平或领先的基准测试
根据月之暗面基准测试表,Kimi K3 在编程、智能体和视觉类别共六项基准测试中取得了最高分。

内部 Kimi Code Bench 2.0(月之暗面表示对 K3 使用 KimiCode 框架,对竞争对手使用 Claude Code)显示 K3 得分为 72.9,领先 GPT 5.6 Sol (64.8) 和 Claude Opus 4.8 (71.7),仅次于 Claude Fable 5 (76.9)。框架选择在此很重要:月之暗面指出,GLM-5.2 的得分来自不同框架,且 Claude Fable 5 的得分包含因使用政策限制请求时回退至 Opus 4.8 的情况。尽管如此,模式仍然成立:在多项编程基准测试上,K3 与每 token 成本高出数个数量级的专有模型竞争或击败它们。

智能体基准测试:三项明确胜出

BrowseComp (91.2)、DeepSearchQA (95.0 f1) 和 Automation Bench (30.8) 是测试模型在信息导航、数据合成和多步骤工作流执行方面能力的智能体评测。在这三项上,Kimi K3 均领先。月之暗面指出,BrowseComp 测试使用了 30 万 token 的上下文压缩策略;不使用该策略时,K3 得分为 90.4,仍领先所有其他公开报告的模型。

在 MCP Atlas (84.2) 和 Toolathlon-Verified (73.2) 上,K3 分别落后 Claude Fable 5 0.5 分和 4.7 分,表现不错但未获第一。在 GDPval-AA v2 (1668 Elo 对 1760) 和 AA-Briefcase (1548 对 1583) 上,差距分别为 92 和 35 个 Elo 分,差距明显,这与月之暗面自己的承认“K3 在用户体验上与 Claude Fable 5 和 GPT 5.6 Sol 存在明显差距”相符。

视觉:OmniDocBench 与 PerceptionBench 表现突出

Kimi K3 在文档理解基准测试 OmniDocBench (91.1 对 89.8) 上领先,在月之暗面描述为内部原子视觉感知评测的 PerceptionBench (58.5 对 57.2) 上也领先。在 MathVision (94.3)、MMMU-Pro (81.6) 和 CharXiv (84.8) 上,K3 的得分与领先者相差 1-3 分。在更难的的多模态任务上差距扩大:ZeroBench w/ python (41.0 对 46.0) 和 BabyVision w/ python (85.7 对 90.5) 表明,Claude Fable 5 和 GPT 5.6 Sol 在使用工具的复杂视觉推理上仍具优势。

月之暗面报告称,所有视觉评测均使用相同的图像排序和提示格式,并且 K3 在不使用 python 工具增强的情况下在文档理解上得分最高,考虑到企业中涉及文档分析的工作量之多,这是一个有意义的优势。

真正的差距:推理与后训练

在最难的推理基准测试 HLE-Full 上,Kimi K3 得分为 43.5,低于 Claude Fable 5 (53.3) 9.8 分,低于 GPT 5.6 Sol (44.5) 1 分。使用工具时,差距缩小至落后 Fable 5 7 分。在衡量后训练质量的后训练基准测试 PostTrain Bench 上,K3 得分为 36.6,落后 Fable 5 (41.4) 4.8 分。这些是原始推理和指令遵循方面的差距,解释了为什么月之暗面仍承认落后于专有领先者。

然而即便在此,差距也比参数差异所暗示的要小。Claude Fable 5 可能使用的参数远超 2.8T(Anthropic 未披露确切数量),其训练计算预算未知但几乎肯定更大。一个 2.8T 的部分开源模型能够在 GPQA-Diamond (93.5 对 93.5)、Terminal-Bench 2.1 (88.3 对 88.8) 和 SpreadsheetBench 2 (34.8 对 34.7) 上以个位数分差竞争,标志着格局的结构性转变。

数据背后的架构

月之暗面将上述成绩归因于三项架构创新。首先是 Kimi Delta Attention (KDA),一种新的注意力机制,月之暗面称其相较于 Kimi K2 将扩展效率提升了约 2.5 倍。其次是 Attention Residuals (AttnRes),它在深度上有选择性地检索表示,而非统一累积。第三是 Stable LatentMoE,拥有 896 个专家且每个 token 激活 16 个,采用分位数平衡(Quantile Balancing)方法取代启发式专家分配。月之暗面声称,综合效果是模型“比其前身更有效地将计算转化为智能”。

对这些声明的独立验证需等待技术报告,月之暗面承诺将在 2026 年 7 月 27 日前随权重一同发布。该公司还指出,KDA 对传统前缀缓存提出了新挑战,并已向 vLLM 社区贡献了相应的实现,这表明该架构确实引入了工程上的权衡。

这张表揭示了开放前沿的什么

Kimi K3 并未在每项指标上击败最好的专有模型。但它领先的基准测试, , SWE Marathon、BrowseComp、DeepSearchQA、OmniDocBench、PerceptionBench, , 并非晦涩的实验室测试。它们衡量的是长时间会话中的持续编程、多步骤信息检索、文档理解和视觉感知:正是企业客户关心的任务。在这些任务上,这个开源模型匹配或超过了输出价格 $15/百万 token(K3 自身的 API 定价)或更高的专有系统。

2.8 万亿参数的数字令人印象深刻,但真正的故事更为具体:开放权重模型已在特定、高价值的前沿领域变得具有竞争力。2026 年剩余时间的问题在于,这一差距是扩大,还是专有实验室在它们仍领先的其余基准测试上扩大差距。

每天早晨用 3 分钟掌握科技要闻

每个工作日一封邮件,只讲真正重要的 AI 与科技动态。