Mistral 级联蒸馏：在不牺牲推理能力的前提下压缩大语言模型

从纸面上看，Mistral AI 团队的最新发布看起来像是一次常规的模型家族扩展：三种规模（3B、8B 和 14B 参数），每种规模各有三个变体（预训练基础版、指令微调版和推理版），全部采用 Apache 2.0 许可证。但真正的故事不在于新模型的阵容，而在于创建它们的方法。OPID为语言智能体提供密集奖励信号，告别外部记忆依赖

这家法国人工智能实验室详细介绍了所谓的“级联蒸馏”，这是一个迭代过程，将较大的教师模型剪枝成逐渐变小的学生模型，同时在每一步持续进行知识蒸馏。该方法在一篇随模型发布的技术报告中进行了描述，旨在解决一个众所周知的矛盾：较小的模型在单纯剪枝或一次蒸馏后通常会丧失过多能力。级联蒸馏通过将压缩过程本身设计成一个多阶段的课程体系来解决这一问题。

级联蒸馏的工作原理

传统的知识蒸馏涉及训练一个小型学生模型来模仿大型教师模型的输出。级联蒸馏则增加了多个层次：首先将教师模型剪枝到中间大小，然后将该中间模型作为下一轮更小学生模型的教师。这个过程重复进行，直到达到目标规模。在每一阶段，学生模型不仅继承教师模型的预测，还继承来自剪枝步骤的结构先验知识。Mistral 团队认为，这有助于保留长程依赖关系和推理路径，而这些在单步蒸馏中往往容易崩溃。

"级联蒸馏能够保留更广泛的能力，包括多模态理解和多步推理，这些通常是激进压缩的首要牺牲品。"技术报告指出。

3B 和 8B 模型是使用这种方法从 14B 版本衍生而来的。14B 模型本身则从一个更大的、未公开的教师模型初始化。所有三种规模都包含一个能够理解图像的变体，这一功能在 3B 规模下且采用宽松许可证的模型中非常罕见。M3D 与 Real-Guidance 将数据集蒸馏推向高分辨率领域

为何参数规模再次重要

业界围绕参数规模的叙事在过去 18 个月中大幅摇摆。虽然 2023 至 2024 年期间由“越大越好”的竞赛主导，催生了诸如 Llama 3.1 405B 和 DeepSeek-V3 等模型，但一股反潮流运动正在兴起：1B 到 14B 参数之间的模型正被优化用于设备端部署、私有推理和成本敏感型应用。微软的 Phi-4 (14B)、谷歌的 Gemma 2 (2B, 27B) 以及现在的 Ministral 3 都瞄准了这一细分市场。你的AI模型说它能读取100万token，它在撒谎。这是真实的数学。

3B Ministral 3 的推理变体，经过 Mistral 内部测试，在多个数学和逻辑基准测试中与 Mistral Small 3.1 的性能相当或更优，尽管其参数规模仅为后者的五分之一。这种效率增益正是级联蒸馏设计的目标，它为其他实验室提供了一份潜在指南，使其能够压缩最大的模型，而无须从头开始。Kog推出Laneformer 2B：以延迟为核心设计，速度高达3,000 token/s

边缘端的图像理解

此次发布中最令人惊讶的元素或许是，即使是 3B 变体也支持图像输入。Mistral 集成了一种与其密集架构兼容的视觉编码器，支持文档解析、图表阅读和基本的视觉问答任务。对于从事设备端 AI 助手或私有文档处理的开发者而言，这消除了一项主要的硬件障碍：无需云回传即可实现基本的视觉理解。

许可证的选择, , Apache 2.0, , 同样值得注意。虽然 Mistral 之前已经多次在此许可证下发布模型，但小尺寸、视觉能力和宽松许可证的结合，使得 3B 变体成为嵌入式系统、原型开发以及许可证合规性与性能同等重要应用的强有力候选。

竞争定位

Ministral 3 系列进入了一个已经充斥着强大小型模型的市场。微软的 Phi-4 在 14B 规模上提供强大的推理能力，但缺乏 Ministral 3 同规模下的视觉能力。谷歌的 Gemma 2 提供多种尺寸，采用 Apache 2.0 许可证，但本身不包含视觉功能。Meta 的 Llama 3.2 包含 1B 和 3B 变体，但视觉功能仅限于更大的 11B 模型。本地大语言模型中Gemma和Qwen如何驯服大规模开源仓库问题分类

Mistral 的级联蒸馏方法也在方法论上使其脱颖而出。尽管其他实验室也尝试过剪枝（谷歌的稀疏模型、苹果的 coreml 压缩），但很少有实验室发布了可重复的多阶段流水线，并在每个规模层级上带来持续收益。如果该技术能够泛化到 Mistral 自己的架构之外，它可能会影响更广泛的开源社区处理模型压缩的方式。Ai2发布olmo-eval：为LLM开发者提供每个检查点的显微级评估

未解的问题

技术报告未能完全回答的一个问题是，性能在多大程度上归因于级联蒸馏，又在多大程度上归因于初始教师模型的质量。Mistral 没有透露用于初始化 14B 模型的教师模型的规模或架构，这使得外部研究人员很难单独评估该方法的贡献。这种不透明性对于最先进的模型发布来说很常见，但它为独立验证留下了空间，尤其是在小型模型排行榜正成为争夺开发者心智的 AI 实验室的战略资产之际。

显而易见的是，Mistral 在小型模型军备竞赛中发出了新的一击。级联蒸馏提供了一种可复制的配方，许可证也很简单，而最小的变体具备的能力直到最近还需要十倍于其参数的模型。对于在计算和内存限制下构建应用的开发者来说，这可能是本季度最实用的消息。验证地平线：为什么验证编码代理现在比构建它们更难