AI基准测试
23 published articles
自主编码智能体 · arXiv 预印本
Harness-of-Harness 声称通过运行其他编码智能体实现 52.25% 的提升
HoH 将现有编码智能体 harness 包裹在重复的规划, 编码, 测试循环中，并报告在三个基准套件上平均取得 52.25% 的相对增益。摘要没有明确底层指标、资源成本以及按模型划分的结果。
2026-09-25
OpenBMB 的 MiniCPM5-2B：2.52B 参数，4B 的野心
一款 2.52B 模型在其自家厂商运行的基准测试集上跑赢了 4B 对手
一款 2.52B、采用 Apache-2.0 许可的模型，在编码、工具调用和长上下文方面击败了更大的开源基线，其基准测试表格据 OpenBMB 称混合了内部运行与第三方运行结果。
2026-09-22
机器原生 AI 及其背后的基准测试
TypeSafe AI 称其速度比 LLM 快 193 倍，但它自己的「证据」只显示 75 倍
TypeSafe AI 称 Jev 是首个 System One Model：一个旨在向软件返回类型化决策的系统，并使用其命名为 RLCD 的算法训练。发布页面声称其零幻觉，并且相较单一指定基线 Claude Fable 5.1 具有 238 倍的价格优势。
2026-09-21
AI 研究：工业级内容风控
SIRF 的 15.1 个百分点增益来自权重，而非提示词
SIRF 通过基于合成政策数据的持续预训练，将平台的审核规则从提示词中移出、植入模型权重。这篇论文真正的卖点在于其控制变量：只改变一个变量，换来 15.1 个百分点的提升。
2026-09-19
开源AI：阿里巴巴开放Max层级
Qwen 3.8-Max：阿里巴巴最强大模型现已开放免费下载
阿里巴巴正在开源其有史以来最强大的模型Qwen 3.8-Max：一款2.4T参数的MoE模型，在SWE-bench Pro、PaperBench和IFBench上超越GPT-5.6 Sol。我们解析了基准测试的注意事项，以及95B活跃参数的开源旗舰对开发者意味着什么。
2026-08-16
开源AI
Qwen3.8-Max 在24小时内独自击败458支人类团队
Qwen3.8-Max在24小时竞赛中独自击败了526支人类团队中的458支，阿里巴巴将于下周开源其权重。到目前为止，每一个数字都是自我报告的，这正是自主性主张值得审视的原因。
2026-08-03
特别报道：AI评估
2026年AI基准测试现状：静态测试的崩溃与替代系统的构建
2026年AI基准测试全景深度巡览：MMLU、GSM8K和HumanEval为何失效，动态基准测试和专家级考试（如HLE和GPQA Diamond）如何取代它们，代理式测试和锯齿形智能测试揭示了什么，以及人类偏好、LLM评判和生成式可观测性如何完善整个评估堆栈。
2026-08-03
基准分析
LiveBench拒绝一成不变, , 这正是关键
LiveBench用不断更新的编程问题、代码库和预测问题池取代了固定的答案集，避开了削弱MMLU和GSM8K的数据污染问题。它是向动态评估更广泛转变的一部分，同行还包括LiveCodeBench、ForecastBench和LLMEval-Fair。
2026-08-03
基准分析
500万次投票，25个Elo分：深入解读无人能撼动的Chatbot Arena排行榜
LMSYS Chatbot Arena通过盲评人类偏好，以Elo量表对模型进行排名，目前近500万张选票将顶级实验室压缩在一个25分区间内。LLM-as-a-Judge方法虽然能扩展此类评估的规模，但其自身存在已记录在案的对冗长和顺序的偏见。
2026-08-02
基准测试分析
在SWE-bench Verified上，顶尖模型达到96%。在企业私有代码上，它们仅勉强超过23%
SWE-bench Verified让前沿模型看起来接近于解决真实世界的软件工程问题，最高得分超过95%。而在私有企业仓库上运行的SWE-bench Pro，将同样的模型得分降至23%或更低，揭示了Verified得分在多大程度上依赖于公共数据暴露。
2026-08-02
基准分析
GPQA Diamond 旨在抵御谷歌搜索，前沿模型如今仍突破 95%
GPQA Diamond 的设计旨在让配备搜索工具的人类也无法可靠回答其专家级科学问题。前沿模型如今已达到 89% 至 96% 的正确率，将该基准推向与已退役的 MMLU 相同的饱和状态。
2026-08-01
基准分析
人类最后的考试以2.7%的得分开场。最佳模型仍无法突破65%
人类最后的考试由CAIS和Scale AI构建，旨在接替MMLU成为最难的通用LLM基准。两年过去了，即使Claude Opus 5领先的64.7%得分也远低于90%的人类专家基线。
2026-07-31