Ollama重写Apple芯片引擎：M5时代才是真正的主角

过去一年，在Mac上本地运行大语言模型意味着接受一个权衡：Apple统一内存的便利性与始终落后于NVIDIA驱动设备的性能差距。Ollama于2026年3月30日发布的预览版旨在通过基于Apple机器学习框架MLX重建其Apple芯片后端来缩小这一差距。

结果并非渐进式改进。在搭载512GB统一内存的M5 Ultra Mac Studio上，Ollama 0.19在使用int4量化的Qwen3.5-35B-A3B模型时，实现了每秒1,851个token的预填充速度和每秒134个token的解码速度。这些来自3月29日基准测试的数据，是此前基于llama.cpp的实现在同一硬件上性能的两倍以上。

MLX为何改变游戏规则

MLX在Apple芯片上的关键优势在于，它能够利用统一内存架构, , 这一直是卖点，却是软件瓶颈。此前需要在CPU和GPU内存区域之间穿梭数据的模型，现在可以在单一内存池上以更低延迟运行。在M5、M5 Pro和M5 Max芯片上，Ollama还利用了新的GPU神经加速器，这些专用硅块专为Transformer风格的矩阵运算而设计。

这不仅仅是速度上的提升。MLX后端首次将NVFP4量化引入Ollama。NVFP4是由NVIDIA开发但现已被MLX采用的格式，使用4位浮点表示，比早期Ollama版本中使用的Q4_K_M方案保留了更多模型精度。这对需要本地推理结果与云提供商生产输出相匹配的开发者来说至关重要, , 这正是Ollama团队所指出的用例：“随着更多推理提供商采用NVFP4格式扩展服务，这使Ollama用户能够在本地获得与生产环境相同的结果。”

编码代理加速器

Ollama此预览版的第二大改进是重新设计的缓存系统。在代理工作流中，编码助手通过多次工具调用进行分支，每次调用都带有长系统提示，这曾是本地推理的弱点，因为每个新分支都需要重新处理完整提示。Ollama现在跨对话复用缓存，在提示的特定位置存储智能检查点，并采用更智能的驱逐策略，即使旧分支被丢弃，也能更长时间保留共享前缀。

对于Claude Code、OpenCode或开源OpenClaw等工具，这意味着迭代之间等待提示处理的时间更短。当开发者要求模型重构函数、测试结果，然后尝试不同方法时，如果提示前缀共享，第二次和第三次尝试将几乎以零预填充延迟运行。

NVIDIA与Apple，同栈共存

此版本最出人意料的方面之一是NVIDIA与Ollama在Apple原生栈上的合作。发布说明的致谢部分列出了NVIDIA对NVFP4量化、NVFP4模型优化器、MLX CUDA支持以及Ollama优化和测试的贡献。对于一家GPU在AI工作站市场与Apple芯片直接竞争的公司来说，NVIDIA的参与表明NVFP4正成为一种GPU和Apple芯片工具链都必须支持的标准量化格式。

这也为Ollama在Apple硬件上运行经NVIDIA模型优化器优化的模型打开了大门，该优化器通常仅限于CUDA环境。问题在于这种排他性会持续多久：Ollama团队指出，其他精度将“根据Ollama研究和硬件合作伙伴的设计及使用意图”逐步推出。

对本地LLM生态的影响

Ollama的MLX预览版目前仅限于单一模型：Qwen3.5-35B-A3B，一种35B参数的MoE架构，每次token仅激活3B参数。该模型附带针对编码任务调整的采样参数。拥有M系列Mac和超过32GB统一内存的用户可通过ollama run qwen3.5:35b-a3b-coding-nvfp4立即测试。

但有限的模型支持是暂时的。发布说明指出，Ollama“正积极致力于支持未来模型”，并将引入更简单的自定义微调导入路径。鉴于Ollama此前基于llama.cpp的后端支持数百种架构，MLX分支很可能会快速扩展，尤其是针对已经针对Apple硬件调整的Qwen、DeepSeek和Llama模型家族。

总体而言，Mac上的本地推理不再是一种妥协。对于日常依赖编码代理且愿意投资M5 Ultra机器的开发者来说，此预览版的数据首次表明与消费级NVIDIA硬件持平。未来六个月将决定这种持平是否能扩展到更多模型和更复杂的工作负载。就目前而言，Ollama已划清界限：M5代是Apple芯片最终成为一流推理平台的时刻。