El modelo robótico 8B de Mistral AI establece un nuevo récord de navegación con una sola cámara y sin sensores de profundidad

Nuevo benchmark, menos sensores

Mistral AI lanzó Robostral Navigate, un modelo de 8 mil millones de parámetros que permite a los robots seguir instrucciones en lenguaje natural a través de espacios interiores desconocidos usando solo una cámara RGB, sin sensores de profundidad, sin LiDAR, sin conjunto de múltiples cámaras. En el conjunto de validación no visto de R2R-CE (Room-to-Room in Continuous Environments), el modelo alcanza un 76,6 % de tasa de éxito. Esto supera al mejor enfoque con una sola cámara en 9,7 puntos porcentuales y al mejor sistema con múltiples sensores en 4,5 puntos, según la empresa.

El modelo también obtuvo un 79,4 % en la división de validación vista, que prueba entornos que el modelo encontró durante el entrenamiento. Pero es la cifra no vista la que los investigadores de navegación examinan primero: mide qué tan bien un modelo se generaliza a espacios que nunca ha visto, un requisito previo para cualquier robot de producción desplegado fuera de un laboratorio.

Señalar, no mapear

Robostral Navigate utiliza una técnica que Mistral llama navegación basada en señalamiento. Dada su vista actual de la cámara, el modelo predice las coordenadas de imagen de hacia dónde debería moverse el robot a continuación, junto con una orientación deseada al llegar. Este enfoque evita la dependencia de desplazamientos métricos precisos, haciendo que la política sea naturalmente robusta a diferentes intrínsecas de cámara y escalas entre tipos de robots.

Cuando el objetivo está fuera del campo de visión del robot, una situación que el señalamiento no puede manejar, el modelo recurre a comandos de desplazamiento local expresados en el sistema de coordenadas del robot, por ejemplo, "avanza 2 metros, muévete 1,5 metros a la izquierda y gira 25 grados a la izquierda". La estrategia híbrida permite que el mismo modelo funcione en plataformas con ruedas, patas e incluso voladoras sin adaptación, según Mistral.

Construido desde cero en simulación

En lugar de ajustar un VLM de código abierto existente, Mistral construyó Robostral Navigate desde cero. El equipo inicializó el modelo a partir de un modelo interno de lenguaje-visión especializado en tareas de anclaje, señalamiento, localización de objetos, y trató la navegación como una extensión natural de la comprensión espacial. Los datos se generaron completamente en simulación a través de un pipeline personalizado que produjo aproximadamente 400.000 trayectorias en 6.000 escenas.

La eficiencia fue una restricción de diseño desde el principio. El equipo desarrolló una estrategia de enmascaramiento de atención basada en árboles que comprime un episodio completo de navegación en una única secuencia de entrenamiento, evitando fugas de información entre pasos de tiempo mientras se ejecutan todos en una sola pasada hacia adelante. La técnica, llamada prefix-caching, reduce los tokens de entrenamiento en un factor de 22 en comparación con tratar cada paso de tiempo como una muestra separada. Mistral dice que esto convirtió entrenamientos que habrían tomado meses en ejecuciones que se completan en días.

Post-entrenamiento con RL en línea

Después del entrenamiento supervisado, Mistral aplicó un algoritmo de aprendizaje por refuerzo en línea llamado CISPO, un método interno que permite al modelo aprender mediante prueba y error durante el despliegue. La etapa de RL mejoró la tasa de éxito en 3,2 puntos porcentuales por sí sola, y la empresa señala que el rendimiento aún no se ha estabilizado, lo que sugiere que son posibles más ganancias con más cómputo y datos.

El modelo se ejecuta en la infraestructura existente de Mistral y está disponible a través de la plataforma empresarial de la empresa. No se reveló el precio.

Entrada estratégica en IA encarnada

Robostral Navigate marca la primera incursión de Mistral en robótica, un dominio dominado por empresas como Covariant, Hello Robot y Google DeepMind. Si bien Mistral ha construido su reputación en LLM basados en texto y modelos de codificación como Codestral, el lanzamiento de navegación señala una apuesta de que la próxima frontera para los modelos fundacionales radica en cerrar el ciclo entre el lenguaje y la acción física.

"La navegación es una capacidad fundamental para la robótica de propósito general", escribió el equipo en el anuncio. "Al combinar simulación a gran escala, entrenamiento eficiente y fuertes prioridades de anclaje, Robostral Navigate demuestra que la navegación encarnada de última generación se puede lograr con un modelo compacto y una sola cámara RGB".

El modelo aún no es de código abierto. Mistral dice que está expandiendo activamente su equipo de robótica y contratando científicos e ingenieros de investigación para impulsar el trabajo hacia una "IA encarnada unificada".