12B参数模型击败90B：扩展范式遭遇挑战

Mistral AI 悄然重写了多模态模型的效率方程。Pixtral-12B，一个120亿参数的视觉语言模型以 Apache 2.0 许可发布，在多项基准测试中击败了包括 Meta 的900亿参数 Llama-3.2 90B 在内的大规模开源竞争对手，而计算预算仅为其一小部分。 Ai2发布olmo-eval：为LLM开发者提供每个检查点的显微级评估

该模型的架构背离了复用现有视觉骨干的行业趋势。Mistral 从头训练了一个新的视觉编码器。它以其原始分辨率和宽高比摄取图像，而不是调整大小或裁剪以适应固定的输入网格。这种灵活性让用户可控制每张图像的令牌预算，这种设计选择对延迟或成本受限的部署场景至关重要。 Fast-LeWM：并行动作前缀预测大幅降低潜在世界模型规划成本

在标准多模态基准测试中，Pixtral-12B 的得分与更大的开源模型相当，并在多个案例中超越它们。在新贡献的 MM-MT-Bench 基准测试中，该基准测试评估视觉语言模型在真实推理任务（如图表解读和文档分析）上的表现，该模型显示出对 Qwen-2-VL 7B 和 Llama-3.2 11B 的持续优势。

使 Pixtral 区别于当前一批开源多模态模型的是，它不牺牲语言能力来换取视觉性能。许多开源视觉语言模型在纯文本任务上表现下降，因为视觉组件会侵占共享参数。Mistral 声称 Pixtral 在纯文本评估中保持优势。如果独立验证，这一说法将缩小多模态与纯语言开源模型之间的差距。

此次发布还包括 MM-MT-Bench，这是一个经过精选的包含250个多轮问题的基准测试，涵盖五大任务类别：文档问答、图表推理、场景理解、OCR 和创意生成。Mistral 提供了基准测试数据和标准化评估流程，旨在取代困扰开源视觉语言模型研究的碎片化且往往不可复现的评估设置。

Pixtral-12B 的128K令牌上下文窗口支持任意数量的图像，使其适用于需要一次性处理多页 PDF 或演示文稿的长文档工作流程。该模型可在单块消费级 GPU（RTX 4090）上运行，表明许多用例中可负担的本地推理是可行的。

更广泛的意义在于对扩展范式的挑战。如果一个12B模型能在视觉语言任务上胜过90B模型，那么“越大越好”的多模态能力论点就失去了说服力。以效率为中心的架构和高质量的训练数据，而非原始参数数量，可能决定开源模型性能的下一个高原期。

Mistral 选择 Apache 2.0 许可确保了无限制的商业可用性，将 Pixtral 定位为研究和生产系统的潜在骨干。该模型已在 Hugging Face 上可用，基准测试代码也已开源。