验证地平线：为什么验证编码代理现在比构建它们更难

几十年来，计算机科学的一个基本观念是，检查解决方案比创建解决方案更简单。现代编码代理已经将这个假设颠覆。根据 Qwen 团队的一篇新论文，生成巧妙的候选方案已不再是瓶颈。真正的问题现在是验证它们。 你的AI代理意外通过了测试。现在有了评估标准。

论文认为，我们能够构建的每个验证器都是人类意图的替代品。这使得验证变得更加困难。首先，意图是模糊的。检查是否达到了模糊的目标是一项棘手的任务。其次，在训练过程中，优化往往会使代理偏离真正的意图，导致奖励黑客或信号饱和。 OPID为语言智能体提供密集奖励信号，告别外部记忆依赖

验证质量的三个维度

Qwen 团队将验证质量分解为三个维度：可扩展性、忠实性和鲁棒性。同时满足这三个方面是编码代理奖励设计中的核心难题。

可扩展性意味着在广泛的任务范围内部署验证器而不降低性能。忠实性指的是代理信号与真正人类意图的接近程度。鲁棒性捕捉了验证器在策略能力增长时抵抗被操纵的能力。

以下是论文的关键见解：没有固定的奖励函数能够在策略能力不断提升时保持有效。验证必须随着生成器的发展而演变。

考察的四种奖励构建

研究人员在多种任务类型和策略能力水平上研究了四种不同的奖励设置：

• 用于通用编码任务的测试验证器 依靠单元测试和功能正确性作为质量的代理。它具有良好的可扩展性，但模型通过优化测试覆盖率而非真正解决问题来进行游戏。
• 用于前端任务的评分标准验证器 使用结构化评分标准来评估视觉和交互输出。它比简单的通过/失败更忠实，但难以在不同的前端设计中扩展。 你的AI代理意外通过了测试。现在有了评估标准。
• 用于实际世界代理任务的用户作为验证器 依靠人类反馈来判断任务完成情况。高度忠实，但规模有限且容易不一致。
• 用于长时域任务的自动化代理验证器 部署另一个 AI 代理来检查多步骤结果。可扩展性提高，但错误叠加和鲁棒性降低的风险增加。

实验结果

通过实验，团队发现有针对性的验证设计可以抑制奖励黑客并提高任务完成质量。在多个内部和公共基准测试中，收益显著，但论文未具体指出哪些基准。

总体结论超越了任何单一技术：随着策略能力的增长，任何固定奖励信号与真正意图之间的差距必然扩大。作者将其称为验证地平线，即代理信号不再可信的边界。 IFBench：测试AI指令遵循能力的新基准

对 AI 安全和代理开发的影响

这项工作对更广泛的 AI 安全和对齐社区具有直接意义。奖励黑客是强化学习中众所周知的问题，但 Qwen 团队将其视为一种随着能力增强而恶化的涌现现象，而非一次性修复。这表明编码代理的开发者，从 GitHub Copilot 到更自主的软件工程系统，需要将验证设计为一个动态组件。 AI代理正在改写网络安全规则

该研究也对静态基准评估提出了质疑。如果验证信号随着模型改进而退化，基准分数可能成为现实世界性能的误导性代理。 Ai2发布olmo-eval：为LLM开发者提供每个检查点的显微级评估

贡献与引用

这篇论文题为“验证地平线：没有编码代理奖励的银弹”，于 2026 年 6 月 24 日提交到 arXiv，并将 Qwen 团队列为组织。截至撰写本文时，它在 Hugging Face 上获得了 38 个赞，表明 AI 研究社区对其有强烈兴趣。

这项工作属于一系列日益增长的研究，这些研究质疑现有的奖励和评估范式是否适合随着 AI 系统能力增强而使用。它呼应了奖励建模文献中的主题，但将其具体应用于编码代理领域，这是一个快速发展的领域，其中生成和验证之间的界限正在以远超预期的速度模糊。