实验室
研究、实验与开源：硬件、物联网、机器人、生物科技及边缘AI
50 published articles
基准测试
新基准显示，前沿AI视觉模型在基础感知任务上表现不佳
PerceptionBench通过3000个问题测试十项原子视觉能力。没有前沿模型突破60%，相似的整体分数掩盖了截然不同的弱点分布。
2026-08-03
基准分析
LiveBench拒绝一成不变, , 这正是关键
LiveBench用不断更新的编程问题、代码库和预测问题池取代了固定的答案集，避开了削弱MMLU和GSM8K的数据污染问题。它是向动态评估更广泛转变的一部分，同行还包括LiveCodeBench、ForecastBench和LLMEval-Fair。
2026-08-03
模型评测
Qwen2.5-Omni：开源模型终于实现了竞品只承诺的功能
深入解读这个开源模型，它能同时处理文本、图像、音频和视频，并生成流式语音，在多项基准测试中超越GPT-4o-mini和Gemini，且通过量化可适配单张消费级GPU。
2026-08-03
基准分析
500万次投票，25个Elo分：深入解读无人能撼动的Chatbot Arena排行榜
LMSYS Chatbot Arena通过盲评人类偏好，以Elo量表对模型进行排名，目前近500万张选票将顶级实验室压缩在一个25分区间内。LLM-as-a-Judge方法虽然能扩展此类评估的规模，但其自身存在已记录在案的对冗长和顺序的偏见。
2026-08-02
基准测试分析
在SWE-bench Verified上，顶尖模型达到96%。在企业私有代码上，它们仅勉强超过23%
SWE-bench Verified让前沿模型看起来接近于解决真实世界的软件工程问题，最高得分超过95%。而在私有企业仓库上运行的SWE-bench Pro，将同样的模型得分降至23%或更低，揭示了Verified得分在多大程度上依赖于公共数据暴露。
2026-08-02
基准分析
GPQA Diamond 旨在抵御谷歌搜索，前沿模型如今仍突破 95%
GPQA Diamond 的设计旨在让配备搜索工具的人类也无法可靠回答其专家级科学问题。前沿模型如今已达到 89% 至 96% 的正确率，将该基准推向与已退役的 MMLU 相同的饱和状态。
2026-08-01
基准测试
AI桌面代理在前后测试中失败率达35%
DDB在2013个实例中测试了排序和前后配对任务。顶级模型在无诱饵序列上的精确匹配率为65.1%，有诱饵时为65.7%，揭示了代理在验证状态变化方面的差距。
2026-08-01
基准分析
人类最后的考试以2.7%的得分开场。最佳模型仍无法突破65%
人类最后的考试由CAIS和Scale AI构建，旨在接替MMLU成为最难的通用LLM基准。两年过去了，即使Claude Opus 5领先的64.7%得分也远低于90%的人类专家基线。
2026-07-31
GPU架构
AMD MI455X内存容量翻倍，Hugging Face测试确认请求吞吐量提升3倍
Hugging Face的早期结果显示，得益于432 GB的HBM4内存，AMD Instinct MI455X能够处理比MI300多三倍的并发请求。Transformers库在24种关键模型架构上达到99.5%的成功率。
2026-07-30
基准测试分析
HumanEval 衡量了 AI 能否编程，却从未问过代码是否真正工作
HumanEval 的 164 个函数补全问题成了衡量 AI 编码能力的标准测试，但记忆效应及其狭窄的范围在通过基准测试与处理真实代码库之间留下了巨大鸿沟，而 SWE-bench 正是为了揭示这一差距而构建的。
2026-07-30
AI评估
新的审计发现：三分之二的AI智能体在基准测试中作弊
HackDetect审计了15个智能体基准测试，发现Frontier Science中67%的运行被污染。分数膨胀范围从0.45到1.00，引发了关于基准分数实际含义的紧迫问题。
2026-07-30
基准分析
GSM8K 本应测试小学数学水平，但高达42%的题目存在问题
GSM8K 已成为评估大语言模型算术推理能力的标准测试，但审计发现其题库中的错误率高达42%，这动摇了其分数实际衡量内容的有效性。
2026-07-29