Le modèle 8B de Mistral rend le lidar optionnel pour les robots de bureau

Pendant des années, l'industrie robotique a misé sur une équation simple : une navigation intérieure fiable égale lidar plus caméras de profondeur, ou au minimum une paire stéréo. Mistral AI vient de publier un contre-argument, soutenu par un score de benchmark. Des robots qui s'adaptent sans réentraînement ? Ce…

Robostral Navigate est le premier modèle de l'entreprise pour la navigation incarnée. Il s'agit d'un transformateur de 8 milliards de paramètres qui prend des images RGB provenant d'une seule caméra ordinaire ainsi qu'une instruction en langage naturel et déplace un robot dans un bâtiment. Sur le benchmark R2R-CE (Room-to-Room in Continuous Environments) de validation unseen, où le modèle rencontre des plans d'étage qu'il n'a jamais vus pendant l'entraînement, il atteint un taux de réussite de 76,6 %. Cela bat le meilleur système à caméra unique de 9,7 points de pourcentage et, plus notablement, le meilleur système utilisant des capteurs de profondeur ou plusieurs caméras de 4,5 points. LeRobot v0.6.0 imagine le futur pendant l’entraînement,…

Pointer, sans mesurer

L'innovation technique consiste à passer d'un déplacement métrique à ce que Mistral appelle le pointage. Au lieu de demander au robot de se déplacer d'un nombre spécifique de mètres et de degrés, ce qui échoue lorsque les spécifications de la caméra ou la taille du robot changent, le modèle prédit les coordonnées image de l'emplacement cible dans la vue actuelle de la caméra du robot, ainsi que l'orientation souhaitée à l'arrivée. DiScoFormer a trouvé le moyen de supprimer le goulot…

Cela rend la politique naturellement robuste aux variations matérielles. Un robot avec un objectif différent, un corps plus grand ou un empattement différent n'a pas besoin de recalibrage car la tâche de pointage est exprimée dans le cadre visuel, et non dans le cadre physique. Lorsque la cible se trouve en dehors du champ de vision actuel, par exemple derrière un coin, le modèle revient à des commandes de déplacement dans le cadre local.

Simulation à grande échelle, entraînement par raccourcis

Mistral a construit Robostral Navigate entièrement en interne plutôt que d'affiner un modèle de langage-vision open source existant. L'équipe est partie de son propre VLM spécialisé dans les tâches de grounding comme le pointage, le comptage et la localisation d'objets, puis a généré environ 400 000 trajectoires à travers 6 000 scènes simulées.

L'astuce d'efficacité est un algorithme d'entraînement basé sur le cache de préfixes avec une stratégie de masquage d'attention arborescente. Il compresse un épisode entier en une seule séquence, de sorte que l'entraînement s'effectue sur tous les pas de temps en une seule passe avant tout en empêchant les fuites d'informations entre les pas de temps. Le résultat : une réduction de 22 fois des tokens d'entraînement. Ce qui aurait pris des mois prend désormais des jours.

Après l'entraînement supervisé, l'équipe a appliqué un apprentissage par renforcement en ligne en utilisant CISPO, un algorithme adapté du travail de post-entraînement de Mistral sur les grands modèles de langage. Cela a seul amélioré le taux de réussite de 3,2 %, car le modèle a appris à se remettre des échecs et à développer des comportements exploratoires. En pratique, cela atténue le décalage de distribution qui affecte le simple comportement de clonage.

La véritable économie

Pour les acheteurs et les constructeurs de robots, l'implication immédiate est le coût. Les unités lidar pour la navigation autonome coûtent de centaines à des dizaines de milliers de dollars. Les caméras de profondeur ajoutent une surcharge de traitement et des exigences d'étalonnage. Une seule caméra RGB, du type déjà présent sur la plupart des appareils grand public et des robots de service, coûte une fraction de cela. Le cadre de sécurité de l'IA que personne n'a demandé…

Le modèle fonctionne sur des robots à roues, à pattes et volants et se généralise à travers les spécifications de caméra sans réentraînement. Pour la logistique d'entrepôt, la livraison du dernier kilomètre ou les robots d'hôtellerie, la nomenclature matérielle pourrait diminuer significativement tout en maintenant ou dépassant la précision de navigation actuelle.

Néanmoins, la question ouverte reste la fiabilité dans les cas limites. Le benchmark R2R-CE teste la navigation dans des environnements avec des plans pré-cartographiés et des instructions claires. Les immeubles de bureaux réels ont des meubles mobiles, des obstacles temporaires, des parois en verre qui perturbent la navigation visuelle, et des conditions d'éclairage qui varient au cours de la journée. La propre vidéo de démonstration de Mistral montre le modèle naviguant dans un bureau en direct avec des personnes traversant le cadre, ce qui est encourageant, mais le déploiement en production devra gérer une queue de cas limites plus large que celle capturée par tout benchmark. L'horizon de vérification : pourquoi vérifier les…

Ce que cela signifie pour l'industrie

Robostral Navigate n'est pas encore un produit. C'est une publication de recherche et une démonstration de capacité. Mais la direction est claire. L'industrie robotique converge vers l'idée que les modèles de base entraînés sur des données diverses peuvent remplacer les piles de perception artisanales. Ce que Mistral montre, c'est que la navigation, sans doute la compétence robotique la plus universelle, peut être compressée dans un modèle suffisamment petit pour fonctionner sur du matériel périphérique, entraîné entièrement en simulation, et déployé sans course à l'armement de capteurs. Mistral s'offre une place en physique et une course…

L'entreprise indique ne constater aucun plateau dans les performances de l'apprentissage par renforcement, ce qui suggère que des entraînements et expériences supplémentaires feront grimper le taux de réussite. Si cette trajectoire se maintient, l'industrie du lidar pourrait faire face à une perturbation prédite depuis des années mais jamais vraiment advenue.