El modelo de 8B de Mistral acaba de hacer opcional el lidar para robots de oficina

Durante años, la industria robótica ha apostado por una ecuación simple: navegación interior fiable equivale a lidar más cámaras de profundidad, o como mínimo un par estéreo. Mistral AI acaba de publicar un contraargumento, y una puntuación de referencia que lo respalda. ¿Robots que se adaptan sin reentrenamiento? Este nuevo…

Robostral Navigate es el primer modelo de la compañía para navegación embodied. Es un transformador de 8 mil millones de parámetros que toma fotogramas RGB de una única cámara ordinaria más una instrucción en lenguaje natural y mueve un robot a través de un edificio. En el benchmark R2R-CE (Room-to-Room in Continuous Environments) de validación unseen, donde el modelo se encuentra con planos de planta que nunca vio durante el entrenamiento, alcanza una tasa de éxito del 76,6 %. Eso supera al mejor sistema de cámara única en 9,7 puntos porcentuales y, lo que es más notable, al mejor sistema que utiliza sensores de profundidad o múltiples cámaras en 4,5 puntos. LeRobot v0.6.0 imagina el futuro durante el…

Señalar, no medir

La clave técnica es un cambio de desplazamiento métrico a lo que Mistral denomina señalar. En lugar de indicar al robot que se mueva un número específico de metros y grados, lo que falla cuando cambian las especificaciones de la cámara o el tamaño del robot, el modelo predice las coordenadas de imagen de la ubicación objetivo en la vista actual de la cámara del robot, junto con la orientación deseada al llegar. DiScoFormer encuentra la forma de eliminar el cuello de…

Esto hace que la política sea naturalmente robusta a la variación del hardware. Un robot con una lente diferente, un cuerpo más alto o una distancia entre ejes diferente no necesita recalibración porque la tarea de señalar se expresa en el marco visual, no en el marco físico. Cuando el objetivo se encuentra fuera del campo de visión actual, por ejemplo detrás de una esquina, el modelo recurre a comandos de desplazamiento en el marco local.

Simulación a escala, entrenamiento en atajos

Mistral construyó Robostral Navigate íntegramente internamente, en lugar de ajustar un modelo de lenguaje visual de código abierto existente. El equipo partió de su propio VLM especializado en tareas de fundamentación como señalar, contar y localizar objetos, y luego generó aproximadamente 400.000 trayectorias en 6.000 escenas simuladas.

El truco de eficiencia es un algoritmo de entrenamiento basado en prefijo-caché con una estrategia de enmascaramiento de atención basada en árboles. Comprime un episodio completo en una sola secuencia, por lo que el entrenamiento se ejecuta en todos los pasos de tiempo en una sola pasada hacia adelante, evitando la fuga de información entre pasos de tiempo. El resultado: una reducción de 22 veces en los tokens de entrenamiento. Lo que habría llevado meses ahora lleva días.

Después del entrenamiento supervisado, el equipo aplicó aprendizaje por refuerzo en línea utilizando CISPO, un algoritmo adaptado del trabajo de post-entrenamiento de Mistral en modelos de lenguaje grandes. Solo eso mejoró la tasa de éxito en un 3,2 %, ya que el modelo aprendió a recuperarse de fallos y a desarrollar comportamientos exploratorios. En la práctica, esto mitiga el cambio de distribución que afecta a la mera clonación de comportamiento.

La economía real

Para compradores y constructores de robótica, la implicación inmediata es el coste. Las unidades de lidar para navegación autónoma cuestan desde cientos hasta decenas de miles de dólares. Las cámaras de profundidad añaden sobrecarga de procesamiento y requisitos de calibración. Una única cámara RGB, del tipo que ya está en la mayoría de los dispositivos de consumo y robots de servicio, cuesta una fracción de eso. El marco de seguridad de la IA que nadie pidió podría…

El modelo funciona en robots con ruedas, patas y voladores, y se generaliza a través de las especificaciones de la cámara sin necesidad de reentrenamiento. Para la logística de almacenes, la entrega de última milla o los robots de hostelería, la lista de materiales del hardware podría reducirse significativamente, manteniendo o superando la precisión de navegación actual.

Aún así, la pregunta abierta es la fiabilidad en casos extremos. El benchmark R2R-CE prueba la navegación en entornos con diseños premapeados e instrucciones claras. Los edificios de oficinas reales tienen muebles móviles, obstáculos temporales, paredes de cristal que confunden la navegación visual y condiciones de iluminación que cambian a lo largo del día. El propio vídeo de demostración de Mistral muestra el modelo navegando por una oficina en vivo con personas caminando por el fotograma, lo cual es alentador, pero el despliegue en producción deberá manejar una cola más amplia de casos extremos de los que captura cualquier benchmark. El horizonte de verificación: por qué verificar agentes…

Lo que esto significa para la industria

Robostral Navigate no es aún un producto. Es un lanzamiento de investigación y una demostración de capacidad. Pero la dirección es clara. La industria robótica ha estado convergiendo en la idea de que los modelos fundacionales entrenados con datos diversos pueden reemplazar los stacks de percepción hechos a mano. Lo que Mistral muestra es que la navegación, probablemente la habilidad robótica más universal, puede comprimirse en un modelo lo suficientemente pequeño como para ejecutarse en hardware periférico, entrenarse íntegramente en simulación y desplegarse sin carreras armamentísticas de conjuntos de sensores. Mistral se abre camino en la física, en una carrera…

La compañía dice que no está viendo ninguna meseta en el rendimiento del aprendizaje por refuerzo, lo que sugiere que un mayor entrenamiento y experimentos elevarán aún más la tasa de éxito. Si esa trayectoria se mantiene, la industria del lidar podría enfrentarse a una disrupción que se ha predicho durante años pero que nunca llegó a materializarse.