英伟达40亿参数边缘模型：小视觉语言模型所不能，它能

英伟达今天在Hugging Face上发布了Cosmos 3 Edge，这是一个为边缘设备（如新发布的Jetson T2000和T3000模块）构建的40亿参数开源世界模型。该模型的目标是为小型、设备端机器人完成大型Cosmos版本为云端物理人工智能所做的工作：帮助机器理解所见内容，预测接下来发生的事情，并且，关键在于，实时生成动作。

参数数量是最引人注目的数字。拥有40亿参数，Cosmos 3 Edge在模型大小光谱中一个相对不起眼的部分竞争，小到可以放在单个RTX GPU或Jetson模块上，但号称在同尺寸同行中拥有同类最佳的吞吐量和准确率。英伟达表示，它在视觉分析方面的VANTAGE-Bench中排名第一，并为机器人策略学习设立了新的技术标杆。这些并非空洞的说法：VANTAGE-Bench是一个公开的视觉分析基准，而机器人策略声明指的是在控制任务中，该模型能在Jetson Thor上以15赫兹的频率每次推理输出32个动作。

两个变压器，一个共享大脑

设计是关键所在。Cosmos 3 Edge堆叠了两个变压器塔：自回归和扩散，它们共享一组共同的多模态注意力层，但保留各自的归一化和MLP层。自回归塔处理视觉和文本标记，用于理解和推理。扩散塔处理视觉、音频和动作标记，用于预测和生成。根据模式的不同，标记的流动方式也不同：语言使用因果注意力（每个标记仅能看到之前的标记），而扩散标记则更广泛地关注可用的上下文。

这种双塔设计很重要，因为它意味着模型可以先推理场景，然后生成输出, , 无论输出是文本说明、预测视频帧还是机器人关节角度。大多数小型视觉语言模型仅限于描述或问答。它们不生成动作序列。Cosmos 3 Edge可以做到，它通过将不同的具身形态（机器人手臂的末端执行器位姿、车辆的自身运动、夹具的抓取状态）映射到翻译、旋转和操作状态向量的共同动作表示中来实现。

策略模式：预测与行动并存

该模型附带一个名为Cosmos 3 Edge Policy (DROID)的后训练变体，该变体在DROID数据集上针对拾取和放置任务进行了微调。在策略模式下，它会预测动作以及动作的预期视觉效果。英伟达表示，开发者可以使用小型H100集群或DGX Station对40亿参数模型进行微调，以适应自己的工作流程，然后部署到边缘硬件上。

开放权重的优势在于你可以拥有部署的所有权。劣势在于你需要负责在Jetson模块上让一个40亿参数的变压器实现实时延迟, , 这很难，但英伟达足够了解自己的硬件，并随模型一起发布了指导说明。该公司还发布了Cosmos 3 Super 4步蒸馏检查点，将扩散步骤从35、50减少到4，为文本到图像和图像到视频任务提供了高达25倍的推理速度。该蒸馏方案是一个独立的640亿参数模型，而不是40亿参数的边缘变体，但它指向了一个模式：英伟达正在构建一系列后训练工具，而不仅仅是发布检查点。

竞争对比

Cosmos 3 Edge并非GPT-4o或Gemini等前沿封闭模型的直接竞争对手，因为它不需要在整个互联网上泛化。它是为更狭窄的领域构建的：工厂车间、仓库、医院走廊，任何摄像头和机器人手臂共存的地方。有趣的竞争是针对其他声称具备机器人能力的紧凑型开源视觉语言模型，特别是Qwen2.5-VL（70亿参数，但可以量化）和Llama 3.2的各种微调版本（110亿参数视觉版本）。英伟达的优势在于架构：具有共享多模态注意力和原生动作输出的双塔设计，并非来自基本的视觉语言模型。大多数基于视觉语言模型构建的机器人策略会在顶部附加一个单独的动作头。而Cosmos 3 Edge从一开始就将动作融入表示中。

权衡在于，你需要英伟达硬件才能良好运行它。该模型明确为RTX、Jetson和DGX设计。如果你的技术栈已经基于英伟达运行，这很方便；如果你正在为不同的边缘芯片优化，则不那么方便。

这对机器人领域意味着什么

机器人研究人员一直需要开放、紧凑的世界模型，这些模型可以在设备端运行并生成动作，而不仅仅是描述。Cosmos 3 Edge回应了这一需求，但它也将劳动力成本转移给了用户：该模型是一个基础，而非开箱即用的解决方案。你仍然需要特定领域的数据、微调计算能力和机器人硬件来形成闭环。英伟达随模型一起发布的开放训练脚本旨在降低这一门槛，但并不能消除它。

仍有一些未解问题。英伟达没有公布Jetson T2000或T3000的延迟数据，公告称该模型在Jetson Thor上实现了15赫兹的实时控制，但大多数边缘部署将在更小的模块上运行。VANTAGE-Bench排名在发布中由英伟达自行报告。虽然双塔架构在纸面上很优雅，但独立基准测试将揭示共享注意力层在两者都活跃时是否实际上成为其中一个塔的瓶颈。这些细节将决定Cosmos 3 Edge是成为默认的边缘世界模型，还是仍然是一个很少有团队完全部署的、有前景的参考设计。