Mistral的80亿参数小模型让办公机器人不再依赖激光雷达

多年来，机器人行业一直押注于一个简单的公式：可靠的室内导航等于激光雷达加深度摄像头，或者至少是一对立体摄像头。Mistral AI刚刚发布了一个反论点，并附上了一个基准测试分数作为支撑。无需重新训练的自主适应机器人？这个新框架可能真的能做到

Robostral Navigate是该公司首个用于具身导航的模型。它是一个80亿参数的transformer，接收来自单个普通摄像头的RGB帧和一条自然语言指令，然后驱动机器人穿越建筑。在R2R-CE（连续环境中的房间到房间）验证未见过的基准测试中，该模型遇到了训练时从未见过的楼层平面图，成功率达到76.6%。这比最佳的单摄像头系统高出9.7个百分点，更值得注意的是，比使用深度传感器或多个摄像头的最佳系统高出4.5个百分点。LeRobot v0.6.0：训练时构想未来，推理时零成本

指向，而非测量

技术上的创新在于从度量位移转向了Mistral所称的指向。模型不是告诉机器人移动特定数量的米数和度数，这在摄像头规格或机器人尺寸变化时会失效，而是预测目标位置在当前机器人摄像头视图中的图像坐标，以及到达时的期望朝向。DiScoFormer找到了KDE和神经网络都错过的AI瓶颈解决方案

这使得策略自然地鲁棒于硬件变化。一个拥有不同镜头、更高机身或不同轮距的机器人无需重新校准，因为指向任务是在视觉框架中表达的，而非物理框架。当目标位于当前视野之外时（例如在拐角处），模型会退回到局部框架的位移命令。

大规模模拟，捷径训练

Mistral完全内部构建了Robostral Navigate，而不是微调现有的开源视觉语言模型。该团队从他们自己专长的视觉语言模型（如指向、计数和对象定位）开始，然后在6000个模拟场景中生成了大约40万条轨迹。

效率窍门是一种基于前缀缓存和树状注意力掩码策略的训练算法。它将整个序列压缩成一个单一序列，因此训练在一次前向传播中处理所有时间步骤，同时防止时间步骤之间的信息泄露。结果是：训练token减少了22倍。原本需要数月的工作现在只需几天。

在监督训练之后，团队应用了在线强化学习，使用了CISPO算法，该算法改编自Mistral在大语言模型后训练方面的工作。仅此一项就将成功率提高了3.2%，因为模型学会了从失败中恢复并发展出探索行为。在实践中，这缓解了纯行为克隆所带来的分布偏移问题。

真正的经济学

对于机器人购买者和构建者来说，直接的含义是成本。用于自主导航的激光雷达单元价格从几百到数万美元不等。深度摄像头增加了处理开销和校准要求。一个普通的RGB摄像头，也就是大多数消费设备和服务机器人上已经配备的那种，成本只是其一个零头。无人问津的AI安全框架，或许正是我们所需要的

该模型可运行在轮式、腿式和飞行机器人上，并能跨摄像头规格泛化而无需重新训练。对于仓库物流、最后一英里配送或酒店机器人，硬件物料清单可以显著降低，同时保持或超过当前的导航精度。

然而，开放性问题在于边缘情况下的可靠性。R2R-CE基准测试在预先映射布局和清晰指令的环境中进行导航测试。真实的办公楼有移动的家具、临时障碍物、会混淆视觉导航的玻璃墙，以及全天变化的照明条件。Mistral自己的演示视频显示该模型在人穿行其间的现场办公室中导航，这令人鼓舞，但生产部署需要处理比任何基准测试所能捕捉的更加广泛的极端情况。验证地平线：为什么验证编码代理现在比构建它们更难

这对行业意味着什么

Robostral Navigate还不是一个产品。它是一个研究发布和能力展示。但方向是明确的。机器人行业已经趋于一致，认为基于多样化数据训练的基础模型可以取代手工打造的感知堆栈。Mistral展示的是，导航（可以说是最通用的机器人技能）可以压缩到一个足够小、能在边缘硬件上运行的模型中，完全在模拟中训练，并且无需传感器套件的军备竞赛即可部署。Mistral 收购进军物理学领域，与 NVIDIA 和 Ansys 展开竞争

该公司表示，他们还没有看到强化学习性能的任何平台期，这表明进一步的训练和实验将把成功率推得更高。如果这一趋势持续下去，激光雷达行业可能面临一场多年来一直被预测但从未真正到来的颠覆。