Mistral Nano 可在低于 1GB RAM 的设备上运行，推理得分达到其更大版本模型的 85%

Mistral AI 悄然推出了一款新的小型语言模型，旨在在资源受限的硬件上运行。Mistral Nano 专为边缘设备设计，包括智能手机、物联网传感器和嵌入式系统，这些设备的内存和计算能力有限。该公司表示，它可以在低于 1GB RAM 的条件下运行，同时在标准推理基准测试中保留其更大版本 Mistral Small 模型 85% 的性能。

在业界越来越多地讨论更小、更高效的模型能否取代 OpenAI 和 Google 等公司所倡导的蛮力扩展方法之际，此次发布恰逢其时。Mistral 自身的业绩记录已经挑战了这一传统观念：今年早些时候，其 120 亿参数模型在多项任务上超越了竞争对手一款 900 亿参数的模型。Mistral Nano 将这一逻辑延伸到了边缘，在那里每一兆字节内存和每一毫瓦功率都至关重要。

具体的架构、参数数量和训练数据仍未公开。Mistral 仅表示，Nano 是一种基于 Transformer 的语言模型，针对 ARM 和 x86 边缘处理器进行了低延迟推理优化。该模型的优势似乎体现在衡量逻辑推理和常识理解的推理任务上，不过 Mistral 尚未发布所用基准测试的详细细分。

边缘 AI 市场已成为注重效率的发布物的战场。去年，Google 作为其 Pixel 系列的一部分发布了 Gemini Nano，而苹果的设备端模型支持 iOS 中的设备端听写和图像描述等功能。Mistral 的入局使其能够与工业物联网、车载信息娱乐系统以及隐私限制要求本地处理的消费设备展开竞争。

Mistral Nano 可在 Hugging Face 上以 Apache 2.0 许可证下载，非常适合商业和爱好者使用，且无需按次付费许可费。该模型以框架无关的格式打包，支持 Apple 硬件上的 ONNX Runtime 和 CoreML，以及 Android 和 Linux 设备上的 TensorFlow Lite。

此次发布还附带了一个针对 Raspberry Pi 5 及类似单板计算机的参考实现，表明 Mistral 的目标群体既包括智能手机 OEM，也包括创客和工业原型制作社区。随附的技术说明声称，在 Raspberry Pi 5 上，Nano 针对多达 100 个 token 的单次回复的推理延迟低于 100 毫秒，不过该公司警告性能会因任务和系统负载而异。

这款模型并非 Mistral 近期在文本领域之外的唯一扩张。今年 6 月，该公司收购了奥地利物理模拟初创公司 Emmi AI，旨在将实时仿真和数字孪生能力引入工业工程领域。其今年早些时候发布的 Pixtral-12B 视觉语言模型表明，Mistral 可以在不膨胀内存需求的情况下处理多模态输入。Mistral Nano 完美契合了这一模式：一次以效率优先的发布，测试了该公司此前未曾尝试过的下限。

Nano 与 Small 之间的基准差距引出了一个实际问题：85% 够用吗？对于许多边缘应用来说，答案几乎肯定是肯定的。能够分类用户指令、运行简单问答或为帮助文档提供聊天机器人支持的设备并不需要 GPT 级别推理能力中顶尖的 15%。只有在需要多步推理或外部知识检索的任务中，这种权衡才变得真实，此时模型较小的上下文窗口和降低的能力开始显现。

Mistral 尚未宣布 Nano 的商业许可层级，尽管 Apache 2.0 许可证已经授予了广泛的权利。该公司可能会为希望获得更高吞吐量但不想管理自有硬件的开发者提供一个托管 API 端点，但目前该模型仅支持自托管或本地运行。

Nano 引人注目的并非其性能声明本身（85% 对于在更少的硅片上运行的模型来说令人印象深刻），而是它所预示的方向。Mistral 押注 AI 的未来不在于更大的数据中心，而在于更小的设备；一个能在 80 美元的单板计算机上运行的开源模型比一个需要 10 万美元 GPU 集群的封闭模型更重要。这一赌注得到了日益增长的 OEM 合作伙伴名单以及一个持续产出高效架构的研究团队的支持。

这 15% 的差距是否重要完全取决于应用场景。对于需要实时标记异常情况的工厂传感器来说，Nano 可能就足够了。对于法律文档分析智能体来说，它将不够用。Mistral 的内部测试表明，在领域特定的微调下，这种差距会进一步缩小，这可能使 Nano 成为边缘微调工作流程的可行基础模型。