Gemma 4 在 Ollama 0.31 中通过多令牌预测实现近 90% 的性能提升

Ollama 0.31 为 Apple Silicon 上的 Gemma 4 带来了显著的性能提升。在编码代理基准测试中，令牌生成速度最高可提升 90%。关键在于多令牌预测（MTP）。一个小型草稿模型一次提出多个令牌，主模型在单次传递中验证整个批次的令牌。无需任何配置，开箱即用。

这对编码代理尤为重要，因为模型在读取文件、运行工具和解决问题时需要反复调用。更快的生成速度让这些代理感觉明显更加流畅。基准测试数据来自实际条件，而非精心挑选的演示。

多令牌预测在 Ollama 中的工作原理

Gemma 4 附带了一个轻量级的草稿模型，它与主模型并行运行，并提出接下来的多个令牌。然后主模型在单次传递中验证整个提案，保留它认可的任何令牌。草稿模型的尺寸仅为主模型的一小部分，因此其提案的计算成本几乎为零。当提案正确时，模型以单个令牌的成本提交多个令牌。

代码尤其具有可预测性：结束括号、重复标识符、样板代码。草稿模型的提案经常被接受。这就是为什么 MTP 在像 Aider polyglot 基准测试这样的编码基准测试中表现优异，其中真实代理会完成一系列编程任务。

Ollama 在运行时自动调优草稿长度。它会跟踪提案被接受的频率以及每次验证过程所需的时间。然后选择能产生最高每秒令牌数的长度，并根据文本变化进行调整。如果提案不再被接受，引擎会回退到逐令牌解码模式，因此 MTP 永远不会拖慢生成速度。

推测解码与 MLX 内核贡献

每一轮从草稿模型预测一个令牌开始，将其反馈回去预测下一个，并重复直到获得一系列简短的提案（通常为 2 到 8 个令牌）。然后主模型一次性验证整个序列，在每个位置进行采样以决定接受哪些提案。整个过程在 GPU 上作为单次传递完成：起草、采样、验证和最终采样，中间无需返回 CPU。

如果提案被拒绝，引擎会将键值缓存回滚到最后被接受的令牌。这成本很低，因为它只触及最新的条目。系统在每个提案之前记录一个回滚点，因此拒绝永远不会重做之前的工作。

MTP 中成本最高的部分是验证，而非起草。验证会针对整个提案批次一次性运行完整模型，而该批次大小（2 到 8 个令牌）恰好介于典型的解码（单个令牌）和预填充（大批量）大小之间。为了解决这个问题，Ollama 团队向 MLX 贡献了一个自定义内核，该内核一次性读取和解压每个权重块，并在整个批次中重复使用它。没有冗余的内存读取。在配备 nvfp4 量化的 M5 Max 上，它使 Gemma 4 最大的矩阵乘法运算速度提高了 2 到 2.5 倍。计算量相同，内存流量更少。

开始使用

您可以下载 Ollama 0.31 或更高版本（适用于 macOS），并使用单个命令启动一个基于 Gemma 4 的编码代理。如果您已经下载了 Gemma 4，请重新拉取模型以获取支持 MTP 的版本。Ollama launch 也可与 Codex、Droid、OpenCode、Copilot 和其他代理框架配合使用。

Gemma 4 是首个获得此性能改进的模型。Ollama 表示，未来版本中将为更多模型提供 MTP 支持。