为什么模型路由是系统问题，而非分类问题

模型路由是那种在白板上看起来很干净的想法。把简单查询路由到更便宜、更快的模型，把困难任务留给重型模型。但数据中心的现场不是白板。在生产环境中，路由变成了一个持续进行的杂耍游戏，支配成本和延迟的变量几乎从来不是工程师在对比表中列出的那些。

本文通过使用CodeAct代理在AppWorld测试挑战中执行417个任务，介绍使路由对我们来说异常困难三个维度。每个数字都来自真实部署，而非模拟。

成本不止是模型定价

最初的假设很简单：GPT-4.1应该比Claude Sonnet 4.6更便宜。GPT-4.1每token定价在输入和输出上都更低，而Sonnet完成相同智能体任务需要大约三倍的推理步骤。仅凭标价，GPT-4.1胜出。

实际数字却说了另一个故事。在同一代理执行的417个任务中，Sonnet总成本为79美元（每任务0.19美元），而GPT-4.1总成本为155美元（每任务0.37美元），几乎是两倍。

解释在于缓存, , 这是大多数路由架构完全忽略的因素。代理工作负载在连续步骤中重用大量上下文。当缓存命中率高时，有效输入成本会大幅下降。Sonnet较低的缓存读取定价意味着它从此模式中受益不成比例，足以弥补其较高的基础定价和更长的轨迹。只看定价表的路由器是在针对错误的数字进行优化。

复杂度不止是任务难度

一种常见的路由策略是衡量任务难度，将更困难的工作发送给更强模型。这听起来直观，但在生产环境中会在两个方面失效。

首先，难度在路由时往往是不可见的。像“总结这份合同”这样的请求看起来简单，但可能触发检索、合规检查、工具使用和多次完善迭代才能完成。与此同时，一个高度技术性的提示可能被更小的专用模型高效处理。你常常只有在执行揭示其内部结构后才知道任务的难度。

其次，即使你能完美估计难度，它也只是众多信号之一。企业路由器需要同时平衡成本、延迟、模型专业化和可靠性。监管限制也会叠加：数据驻留规则、已批准模型列表、合规要求。一个理想情况下应该发给某个模型的任务，可能因为治理原因需要发往别处，路由器必须优雅地处理这种情况，而不是失败。

路由器不是在解决单一问题。它们必须在成本、质量、延迟、合规性和可靠性之间持续进行权衡。

延迟不止是模型速度

传统观点将延迟纯粹看作模型大小的函数：更大的模型更慢，更小的更快。但用户实际体验到的延迟远不止于此。

路由本身会增加开销。基础设施因素, , 模型运行在哪种硬件上、缓存是否预热、端点有多繁忙, , 往往主导端到端响应时间。如果服务条件不匹配，一个理论上更快的模型也可能产生更慢的用户端体验。

然后是路由粒度。每个任务路由一次增加的开销较小。但每一步都路由，虽然提供更大的灵活性以适应执行过程中的变化，意味着每个额外的决策点都会引入延迟和操作复杂性。忽略服务系统的路由器是在打一场错误的战斗。

一种基于优化的方法

这些教训带来根本性的转变：我们不再把路由视为分类问题，而是开始将其作为优化问题来处理。算法不询问“这个任务哪个模型最好？”，而是同时优化成本、质量和延迟，同时保持足够轻量以避免自身成为瓶颈。

在AppWorld测试挑战中，基于优化的路由器描绘了一条清晰的成本-准确率前沿。配置1（延迟优化）以93美元和83秒达到84%准确率。与单独使用Opus相比，成本降低21%，延迟降低9%，而准确率仅下降4%。一个标准的基于难度的路由器落在相似的准确率范围但成本更高；它没有探索完整的权衡空间。优化本身每个任务大约需要6毫秒和2KB内存。

关键要点：路由不在于选择模型，而在于优化系统。模型是一个变量, , 重要的一个, , 但只是缓存行为、基础设施状态、合规约束和工作负载模式中的一个。

如果您正在为自己的智能体系统构建路由，作者欢迎了解您遇到的权衡。