Inkling揭示了开源模型市场的新分界线

Thinking Machines本周在Hugging Face上发布了Inkling，没有付费墙公告，也没有华丽的主题演讲。发布页面读起来更像是一份技术简报，而非新闻发布稿：一个仅解码器MoE Transformer，采用相对注意力机制、混合滑动窗口和全局注意力、一个作用于隐藏状态的短1D卷积，以及用于视觉的MLP补丁化器，而非独立的编码器堆栈。它在架构层面就是多模态的，而非事后添加。

Inkling拥有9750亿总参数，每个token活跃参数为410亿，基于涵盖文本、图像、音频和视频的45万亿训练token。它进入了一个自Llama 2这样的开放发布引领市场以来已发生巨大变化的市场。开源AI领域不再仅仅追逐专有模型的分数，现在它自己也在设定一些分数。Inkling的到来强化了一个比它在特定基准测试上的排名更重要的问题：“开放”现在到底意味着什么？

战略框架下的技术奇点

Inkling最值得注意的架构选择是没有单独的按模态编码器。视觉输入通过一个层级MLP将像素合并为补丁嵌入；音频被离散化为梅尔频谱图，并由专用塔嵌入。这与Gemini或Claude等模型形成对比，后者依赖专门的视觉编码器，这些编码器在推理时基本是冻结的。通过将所有内容整合到一个单一的解码器中，并采用Thinking Machines所称的“短卷积”，Inkling迫使注意力机制本身学习跨模态推理，而不是依赖单独训练的对齐头。

相对注意力机制是另一个不同之处。大多数现代LLM使用旋转位置嵌入（RoPE）。Inkling使用一个可学习的相对特征张量R，按头调整距离，直接注入注意力对数中。结果是一个位置理解是端到端训练而非硬编码的模型，这或许可以解释为什么它能处理完整的100万上下文窗口，而基于RoPE的模型在超过12.8万token时常常出现退化。

推测性多token预测层增加了一个草稿器，可同时预测多个未来token。推理时，该草稿器充当推测性解码器，在相同输出下提供2-3倍的吞吐量提升。这种方法类似于Medusa，但作为原生集成而非推理时的附加组件，并且关键在于，草稿器本身以独立的权重文件形式提供，这意味着任何人都可以将其与基础模型一起部署，而无需结构性更改。

数据落在何处，以及它们隐藏了什么

Inkling的基准测试套件对于开放发布来说异常全面：涵盖推理、编码、智能体任务、事实性、视觉、音频和安全的24项不同测试。选定结果包括：

这些标题数据讲述了一个模型的故事：它在推理和智能体编程方面与专有系统的中端层级竞争，但在HLE和SWEBench上落后于顶尖闭源模型10-20个百分点。在AIME 2026上，Inkling（97.1%）几乎与DeepSeek V4 Pro（96.7%）和未命名的GPT 5.6 Sol（99.9%）持平。这种数学推理上的平等在两年前对于任何开放发布似乎都是不可思议的。

音频基准测试是Inkling没有直接可比性的领域。没有可比的开放模型发布Audio MC、MMAU或VoiceBench分数，因为很少有开放模型处理音频输入。Thinking Machines基本上是在这里定义基线。VoiceBench的91.4%很强，但缺乏闭源模型竞争者进行校准。基准测试表的音频部分大多是破折号，这既是对该领域空白的承认，也是一种方便的框架：Inkling不能在一个只有它报告指标的领域失败。

安全数字确实很有趣。FORTRESS对抗性测试的78%高于Kimi K2.6（65.6%）和Nemotron（77.6%），但明显落后于Claude（96.0%）和GPT-5.6（82.4%）。良性FORTRESS分数（95.9%）与所有人竞争，而StrongREJECT的98.6%近乎完美。这表明Inkling已针对标准越狱尝试进行了仔细校准，但可能比顶尖专有实验室更容易受到自适应攻击。对于旨在微调和领域适应的模型，对抗性安全裕度比良性安全裕度更重要。78%在未添加自身护栏的下游部署中留下了被滥用的空间。

硬件现实检验

BF16检查点需要2 TB的VRAM。NVFP4变体在Blackwell GPU上将其降至600 GB。这不是一个能在单一工作站上运行的模型：部署意味着一个由H100或B200组成的集群、一个Slurm脚本，以及管理跨节点张量并行的意愿。来自Unsloth的Llama.cpp GGUF量化将内存降至约30 GB，从而能够在单个高端GPU上进行推理，但精度为1比特，这不可避免地带来了质量权衡，正如74.2%的准确率保留数字所暗示的那样。

Transformers、SGLang和vLLM的第0天支持是真实且记录良好的。代码片段很详细，既有高层管道用法，也有低层AutoModel模式。Hugging Face推理提供者路线, , Thinking Machines承担两小时的推理成本, , 降低了实验门槛。但对大多数开发者而言，实际入口将是量化的Llama.cpp路径，它绕过了集群需求，代价是牺牲模型的完整能力。

这里的“开放”意味着什么

Thinking Machines在提供的源材料中并未在发布页面上公布Inkling的许可证。“开放权重”一词出现，但权重许可证、数据许可证以及对蒸馏微调模型的任何限制均缺失。对于这样一个规模的模型，许可证的选择可能比HLE上的一个百分点更具影响力。在宽松许可证下发布开放权重将真正具有颠覆性；研究专用或非商业许可证将使Inkling成为一个技术产物，而非生态系统参与者。

源材料也未详细说明45万亿训练token的数据集构成，仅列出了模态类型。用于强化学习后训练的ECHO算法被描述但未经外部复制验证。这些差距并不削弱发布的价值。对于处于此阶段的模型来说，这些都是标准情况，但它们意味着社区对Inkling的评估仍在等待社区自己去运行。

市场版图已变

两年前，一款性能达到Inkling水平的开放模型将持续占据一周头条。现在它进入了一个这样的环境：

• Mistral AI已经证明，小型开放模型可以在特定推理任务上与10倍大的闭源模型竞争
• DeepSeek已经表明，在精心策划的合成数据上训练的6000亿+参数开放MoE模型可以在数学和编程上匹配前沿实验室
• Llama 4模糊了开放权重与专有之间的界限，Meta严格控制着下游许可证
• 按模态评估已成为一个独立的竞争轴，而非事后考虑

Inkling处于一个尴尬的中间位置：体积太大，无法在不量化的情况下经济地运行；在推理方面具有竞争力但并非主导；在音频方面独特但未针对闭源替代品进行校准。它最大的价值可能在于作为多模态MoE架构的研究平台：注意力机制、具有256个专家共享专家的架构、短卷积设计，而非一个开箱即用的可部署产品。

这次发布也揭示了开放模型开发的现状：在5000亿至1万亿参数级别，开放与专有之间的差距已缩小到在几个基准测试上仅差一个百分点。这并不意味着开放模型已经赶上。专有实验室在HLE上仍领先15-24%，在对抗性安全性上也有显著优势。但这意味着对话不再围绕开放模型能否竞争展开。而是关于它们选择在哪个轴线上竞争，以及这个轴线是否是市场真正重视的。