SevenTnewS

AI路由

对于代理型AI,逐次调用路由是盲点。TRACE-Router提供解决方案。

一种新的路由框架TRACE-Router解决了代理型AI中逐次调用LLM路由与任务级成功指标之间的不匹配,实现了高达8个准确率点的提升和36%的延迟降低。

Emmanuel Fabrice Omgbwa Yasse AI 辅助

2026-08-01 · 阅读需 2 分钟

对于代理型AI,逐次调用路由是盲点。TRACE-Router提供解决方案。

企业AI部署依赖在LLM之间进行选择的路由,以平衡成本和质量。标准方法是:评估每个传入请求,并将其发送到可能处理它的最便宜模型。这对简单、孤立的查询有效。但代理型工作流则不同。

当AI代理执行多步骤任务时,结果取决于调用序列,而不是单个调用。过程中早期的错误模型选择可能破坏整个任务,但逐次调用路由没有办法知道,直到任务结束并收到奖励。每次中间调用时,路由都在黑暗中操作。

这种脱节正是TRACE-Router要解决的问题,该新框架在2026年7月的arXiv预印本中描述。TRACE-Router不是独立路由每个LLM调用,而是在任务入库时使用上下文带强制(contextual bandit)将任务分配给一个模型,然后将后续每次调用都固定到同一后端。它仅在任务结束且终端奖励可用时更新其策略,同时考虑准确率和延迟。

作者将此描述为将路由与监督单元对齐。由于策略从延迟的任务级反馈中学习,它能够适应工作负载,无需显式估计任务复杂度。

在三个代理型基准测试上的结果显示出持续的增益。在tau2-Bench上,TRACE-Router比个体模型之间的延迟匹配插值高出7到8个准确率点。在Terminal-Bench上,它比最强的单模型基线高出7.1个准确率点,同时降低36%的延迟。论文报告说,TRACE-Router在所有三个基准测试上实现了准确率与延迟的帕累托前沿上的非支配点。

这种方法并非没有权衡。通过为整个任务承诺一个模型,TRACE-Router牺牲了在任务中切换的灵活性,如果更便宜的模型足以处理子任务的话。作者认为,正确归因反馈的能力超出了这种损失,尤其是在对准确率敏感的企业应用中。

TRACE-Router为不断增长的研究领域增添了新内容,该领域将路由视为任务级规划问题,而非逐次调用优化。对于运行大规模代理型管道的公司来说,这一转变可能意味着在猜测每一步的路由与从整个过程中学习的路由之间做出选择。

每天早晨用 3 分钟掌握科技要闻

每个工作日一封邮件,只讲真正重要的 AI 与科技动态。