制约AI智能体的瓶颈不是探索，而是评估

AI智能体已经能够进行探索。它们向浏览器抛出代码、尝试一条Shell命令、失败、重试。这部分没有问题。但它们无法可靠地判断自己是否做对了。而缺少这一信号，强化学习就会停滞不前。最近在Hugging Face上发表的两篇论文从相反的角度直面这一问题，共同描绘出智能体评估的发展方向。 IBM 开源 CUGA 智能体框架：跳过基础设施搭建，直接写提示词

第一篇论文，AJ-Bench: 面向环境感知评估的智能体即评判者基准测试（arXiv 2604.18240），衡量的是评判智能体通过主动与外界交互（运行查询、点击按钮、滚动结果）来验证行为的能力，然后再判断某一步骤是否正确。第二篇论文，HeavySkill: 作为智能体框架中内在技能的深度思考（arXiv 2605.02396），则持相反观点：最可靠的评判者存在于模型自身的参数中，而不是在互联网上。

验证鸿沟

当前的做法依赖于两个支撑。基于规则的验证器只能检查少数条件，会遗漏所有其他情况。作为评判者的大语言模型则会在不接触环境的情况下产生定性判断。当智能体从精挑细选的基准测试转向需要基于事实的、开放式的任务时，这两种方法都会失效。 IFBench：测试AI指令遵循能力的新基准

AJ-Bench旨在衡量这一鸿沟的实际宽度。其作者来自浙江大学及其他合作机构，创建了横跨搜索、数据和图形用户界面领域的155个任务，并提供了516条标注轨迹。该基准测试评估三种能力：信息获取（评判者能否找到正确的上下文？）、状态验证（它能否正确评估环境状态？）以及过程验证（它能否检查每一步？）。

结果显示，基于智能体的评判者（即可运行查询并与环境交互的评判者）始终优于静态的大语言模型基线。但即使是最优秀的智能体评判者，在过程验证方面仍然会出错，尤其是在需要确认中间状态的多步骤图形用户界面任务中。

作者在一条社区笔记中写道：“扩展AI智能体的强化学习时，关键瓶颈不仅在于探索，更在于评估。随着智能体在更广泛、更开放的环境中运行，我们需要能够使用工具、验证环境状态并提供基于事实的反馈信号的评判智能体。”

同样的瓶颈也出现在其他近期研究中。例如，负责企业Java迁移任务的AI智能体失败的原因并非它们不能编写代码，而是如果没有构建服务器的确认，它们就无法判断迁移是否完成。 AI 代理无法在没有构建服务器干预的情况下完成 Java 迁移

作为内在技能的推理

HeavySkill采用了不同的方法。它并非教智能体去使用外部工具，而是提出最具可扩展性的评估是一种直接嵌入模型的两阶段推理技能：并行推理后接总结归纳。

在此框架下，面对复杂任务的智能体首先并行生成K条独立的推理轨迹，然后通过批判性分析将其综合成一个最终答案。整个过程是一项单一的、可学习的技能，可以通过强化学习来改进，而无需编排外部工具。该论文的核心见解是，许多现有的智能体框架掩盖了真正驱动性能的因素。作者认为：“真正驱动性能的底层机制仍然被复杂的系统设计所掩盖。”

HeavySkill始终优于传统的Best-of-N策略，更强的LLM甚至接近Pass@N性能。这与其它研究结果相呼应：在策略层面上进行技能提取（即模型从自己完成的轨迹中学习），可以在不依赖外部记忆的情况下提升智能体训练。 OPID为语言智能体提供密集奖励信号，告别外部记忆依赖

两条路径的汇合点

尽管哲学上有分歧，两篇论文都汇聚于同一点：更好的评判者是扩展的关键。无论评判者是与环境交互，还是与其自身的内部推理交互，对于基于事实的、过程感知的验证的基本需求是相同的。HeavySkill的作者看到了清晰的路径：“深度思考的深度和广度，作为一种可学习的技能，可以通过强化学习进一步扩展。” AJ-Bench的贡献者同样直截了当：“更好的评判者扩展了可以可靠评估的行为范围。”

外部验证与内化推理之间的张力最终可能会融合为一种混合模式。HeavySkill的流程可以在总结归纳阶段增加与环境交互。或者，AJ-Bench的基准测试可以在动态环境中评估HeavySkill风格的评判者，检验内化推理在面对环境干扰时是否依然有效。

这反映了智能体研究中更广泛的模式。像SkillCoach这样的框架已经试图教智能体评估自身的技能选择和运用，而IBM的CUGA框架则负责处理编排工作，让智能体专注于判断。 你的AI代理意外通过了测试。现在有了评估标准。

接下来会怎样

这两篇论文都处于早期阶段。目前还没有其他模型在Hugging Face上引用过它们。社区才刚刚开始认识到验证瓶颈。但方向是明确的。随着针对智能体的强化学习训练规模扩大，限制因素将不再是用于探索的计算资源，而是评估信号的质量。构建更好评判者的竞赛已经开始。

AJ-Bench的数据和代码可在项目网站获取。HeavySkill的作者尚未发布代码，但论文中描述的框架足够详细，可以复现。