DSpark 揭示：快速 AI 推理是调度问题，而非模型技巧

推测解码已成为加速大型语言模型推理的标准工具。但 DeepSeek 的一篇新论文表明，这种方法存在隐藏成本。当许多用户共享单个 GPU 集群时，用于验证可能被拒绝的 token 的批处理容量会侵蚀吞吐量，而这恰恰发生在交互性最为关键的时刻。DSpark 在 arXiv 上的一篇预印本中详细描述，它将验证长度变为每个请求的动态确定量，而非固定超参数。 DeepSeek的DSpark修复了制约快速AI推理的两大问题

核心见解并非新的模型架构，而是从系统层面重新思考推测解码如何与批处理交互。传统的推测解耦对单个序列效果良好：廉价草案模型提出 token，目标模型并行验证它们。然而，当多个序列竞争同一 GPU 时，验证一个用户的长 token 块可能会挤占另一个用户已接受 token 本可占用的槽位。结果是，无论草案模型多么巧妙，都无法突破吞吐量上限。 你的AI模型说它能读取100万token，它在撒谎。这是真实的数学。

DSpark 的设计者（其从属机构包括正在构建大规模 AI 服务基础设施的 DeepSeek）观察到，在草案块的初始几个 token 之后，接受概率急剧下降，尤其是当草案模型缺乏 token 间依赖建模时。并行草案模型同时生成所有建议的 token，这会导致论文所称的“后缀衰减”：后面的 token 位置更可能被拒绝，因为它们没有基于早期可能已被校正的 token 进行条件化。

为了应对这一问题，DSpark 将并行主干与轻量级顺序模块结合。顺序组件增加了少量每个 token 的延迟，但引入了块内依赖，提高了预期的接受长度，同时不抵消并行路径的速度优势。在涵盖新闻、代码和数学领域的离线基准测试中，该方法在每次拒绝前平均接受的 token 数量上大幅优于自回归草案模型和纯并行草案模型。

更重要的贡献是置信度调度的验证机制。该系统为每个请求估计草案的给定前缀能够通过验证的概率（论文中称为前缀存活概率），一旦该概率降至针对当前引擎吞吐量特征校准的阈值以下，便截断验证块。结果是，具有易预测延续的请求仍能享受长推测，而具有不可预测 token 的请求则不会在几乎肯定被拒绝的任务上浪费批处理槽位。 你的AI代理意外通过了测试。现在有了评估标准。

实证评估在 DeepSeek-V4 服务系统内、在真实用户流量下进行，这种设置将方法暴露于真实世界的争用模式中。与使用统一 token 预测方法的生产基线相比，在匹配的吞吐量水平下，DSpark 使得每位用户的生成速度提升了 60% 到 85%。论文还报告，DSpark 实现了此前在严格交互性约束下无法达到的性能级别，有效地推动了服务系统的帕累托前沿。 Ai2发布olmo-eval：为LLM开发者提供每个检查点的显微级评估

DSpark 解决的问题随着多租户 GPU 部署的普及而变得更加严重。云提供商和 AI 实验室从共享基础设施服务成千上万的并发用户，任何以牺牲批处理利用率为代价来改进每个 token 延迟的优化都可能适得其反。DSpark 的方法是近期多篇将推理加速视为调度和资源分配问题（而非纯粹算法问题）的论文之一。 验证地平线：为什么验证编码代理现在比构建它们更难

该方法需要工具来估计前缀存活概率，以及一个校准步骤来将这些概率映射到给定 GPU 的最佳验证长度。论文并未提供完全通用的解决方案，而是提供了一种可集成到现有服务栈中的架构。作者表示，该技术与其他优化（如前缀缓存和量化）互补，并且其收益随请求量的增加而增长。

DSpark 的贡献既是技术，也是警示故事。它揭示了推测解码在高并发下出现的隐藏低效问题，并表明解决这一问题需要的不是更好的草案模型，而是更智能的调度器。 AI 代理无法在没有构建服务器干预的情况下完成 Java 迁移