Mistral AI的8B机器人模型用一个摄像头、无深度传感器创下导航新纪录

新基准，更少的传感器

Mistral AI发布了Robostral Navigate，一个80亿参数的模型，让机器人仅通过单个RGB摄像头就能遵循自然语言指令在未知室内空间中导航，无需深度传感器、激光雷达或多摄像头阵列。在R2R-CE（连续环境中的房间到房间）验证未见过集上，该模型实现了76.6%的成功率。据该公司称，这比最佳单摄像头方法高出9.7个百分点，比最佳多传感器系统高出4.5个百分点。

该模型在验证见过集上还获得了79.4%的分数，该集测试了模型在训练中遇到的环境。但研究人员首先审视的是未见过集数据：它衡量模型泛化到从未见过空间的能力，这是任何在实验室外部署的生产机器人必备的条件。

指向而非建图

Robostral Navigate使用了Mistral称之为“基于指向的导航”技术。给定当前摄像头视图，模型预测机器人下一步应移动的图像坐标，以及到达后的期望朝向。这种方法避免了对精确度量位移的依赖，使策略对不同相机内参和机器人尺度具有自然鲁棒性。

当目标位于机器人视野之外（指向无法处理的情况）时，模型会回退到以机器人坐标帧表示的局部位移命令，例如“向前移动2米，向左1.5米，然后向左转25度”。Mistral表示，这种混合策略使得同一模型无需调整即可在轮式、足式甚至飞行平台上运行。

从零开始在模拟中构建

Mistral没有微调现有的开源VLM，而是从头构建了Robostral Navigate。团队从一个内部视觉-语言模型初始化，该模型专攻基础理解任务（指向、计数、物体定位），并将导航视为空间理解的自然延伸。数据完全通过自定义管道在模拟中生成，在6000个场景中产生了大约40万条轨迹。

效率从一开始就是设计约束。团队开发了一种基于树的注意力掩码策略，将整个导航回合压缩到单个训练序列中，防止时间步之间信息泄露的同时在一次前向传播中运行所有时间步。这种称为前缀缓存的技术，相比将每个时间步作为独立样本处理，将训练令牌减少了22倍。Mistral表示，这原本需要数月的训练运行现在几天就能完成。

采用在线强化学习进行后训练

在监督训练之后，Mistral应用了一种名为CISPO的在线强化学习算法，这是一种内部方法，让模型在部署过程中通过试错学习。强化学习阶段本身将成功率提高了3.2个百分点，该公司指出性能尚未达到饱和，表明通过更多计算资源和数据可以进一步提升。

该模型运行在现有Mistral基础设施上，并通过公司企业平台提供。定价尚未披露。

战略性进入具身AI领域

Robostral Navigate标志着Mistral首次涉足机器人领域，这个领域由Covariant、Hello Robot和Google DeepMind等公司主导。虽然Mistral一直以基于文本的LLM和像Codestral这样的编码模型而闻名，但导航版本的发布表明，它押注基础模型的下一个前沿在于连接语言与物理动作。

团队在公告中写道：“导航是通用机器人技术的基础能力。通过结合大规模模拟、高效训练和强大的基础理解先验，Robostral Navigate证明了最先进的具身导航可以通过一个紧凑的模型和单个RGB摄像头实现。”

该模型尚未开源。Mistral表示正在积极扩充其机器人团队，招聘研究科学家和工程师，以进一步推动工作走向“统一的具身AI”。