1 published article
大语言模型与推理
投机解码通过使用廉价的草稿机制提出候选token,并在单个目标模型前向传播中验证它们,从而加速自回归生成,且不改变输出。本文分析了其数学原理、主要方法(草稿模型、EAGLE-3、DFLASH、多token预测、n-gram)以及接受率对实际延迟的真正影响。
2026-07-21