Le RoboTTT de NVIDIA montre que la longueur de contexte est le prochain axe de passage à l'échelle pour les modèles de robots

Depuis deux ans, la course à l'amélioration des modèles de fondation robotique a suivi un manuel familier : des modèles plus grands, plus de données, un meilleur transfert sim-vers-réel. Le dernier article de NVIDIA Research, présentant RoboTTT (Test-Time-Training Robot Policies), propose un axe de passage à l'échelle différent, qui se cachait en pleine vue : la longueur de contexte.

Publié en prépublication et posté sur Hugging Face, RoboTTT étend la fenêtre de contexte visuomoteur d'une politique robotique à 8 000 pas de temps, soit environ trois ordres de grandeur au-delà de ce que les politiques à un seul pas ou à horizon court peuvent gérer aujourd'hui, sans augmenter la latence d'inférence. Le résultat est un modèle qui peut regarder un humain effectuer une tâche une fois et l'imiter directement, adapter son comportement en cours d'exécution, et accomplir des tâches multi-étapes qui nécessitaient auparavant des dizaines de démonstrations ou de sous-tâches codées en dur.

"À cette longueur de contexte, nous débloquons de nouvelles capacités robotiques : imitation en contexte en un seul coup à partir de démonstrations vidéo humaines, amélioration de politique à la volée, robustesse aux perturbations, et de meilleures performances sur des tâches multi-étapes à long horizon," écrit l'équipe. "Nous observons également, pour la première fois, des gains stables dans les performances en boucle fermée à mesure que la longueur de contexte de pré-entraînement augmente."

Comment fonctionne RoboTTT : l'entraînement au test comme état récurrent

L'idée architecturale centrale est conceptuellement simple mais computationnellement exigeante : réutiliser l'entraînement au test (test-time training, TTT), une technique initialement développée pour permettre aux modèles de langage de s'adapter à de nouvelles entrées lors de l'inférence, comme état interne d'un modèle séquentiel. Plutôt que de compresser les observations passées dans un vecteur caché de taille fixe (comme le font les transformeurs et les LSTM), RoboTTT met à jour les paramètres du modèle, ses "poids rapides", par descente de gradient à chaque pas de temps, à la fois pendant l'entraînement et pendant l'inférence.

Cela signifie que la mémoire des expériences passées du modèle est littéralement encodée dans ses poids, et non dans un tampon mémoire séparé. L'information est récupérée implicitement lorsque le modèle s'exécute sur l'observation actuelle. "Compresser les historiques dans l'espace des poids et récupérer des informations contextuelles pour le conditionnement à long contexte" est la manière dont l'article le décrit.

Pour entraîner un tel modèle à grande échelle, 8 000 pas de temps de rétropropagation, l'équipe a combiné le forçage d'action séquentiel avec la rétropropagation tronquée dans le temps (TBPTT), une technique standard de l'entraînement des réseaux de neurones récurrents qui divise les longues séquences en morceaux gérables tout en préservant le flux de gradient à travers les morceaux.

Benchmarks : amélioration de 87 % et une tâche qu'aucune base de référence n'accomplit

Sur un ensemble de tâches de manipulation robotique réelles difficiles, incluant le pick-and-place, l'ouverture de tiroirs, et l'assemblage multi-étapes, RoboTTT a atteint une amélioration de 87 % du taux de succès global par rapport à la base de référence à contexte unique. Le résultat le plus frappant : une tâche d'assemblage en dix étapes de cinq minutes nécessitant un séquencement précis des étapes a été entièrement accomplie par RoboTTT. "Aucune base de référence ne le fait jamais," note l'article avec sécheresse.

Tout aussi révélatrice est la courbe de passage à l'échelle interne. RoboTTT entraîné avec un contexte de 8 000 pas de temps a surpassé la même architecture pré-entraînée avec seulement 1 000 pas de temps de 62 %. C'est la première preuve empirique que, pour le contrôle robotique en boucle fermée, des fenêtres de contexte plus longues produisent des performances monotones meilleures, une constatation qui fait écho aux lois de passage à l'échelle observées dans les modèles de langage.

Longueur de contexte : le troisième axe de passage à l'échelle pour la robotique

La communauté robotique a longtemps débattu pour savoir si le passage à l'échelle de la taille du modèle (paramètres) ou du volume de données conduira au prochain bond en manipulation dextre. RoboTTT suggère une troisième dimension : le contexte temporel. Un modèle qui peut "se souvenir" de 8 000 pas de temps de proprioception et d'images de caméra peut déduire l'intention, détecter les modes de défaillance, et se remettre des perturbations d'une manière qu'un modèle avec un contexte d'un seul pas ne peut pas.

Cela a des implications pratiques au-delà du laboratoire. L'imitation en un seul coup à partir d'une vidéo humaine signifie qu'un ouvrier d'usine pourrait démontrer une nouvelle séquence d'assemblage une seule fois, et le robot pourrait la reproduire sans programmation explicite ou des milliers d'exemples étiquetés. L'amélioration de politique à la volée, le modèle ajustant son comportement à mesure qu'il rencontre des situations nouvelles, réduit le besoin de couverture exhaustive des données d'entraînement.

Le compromis, comme toujours, est le calcul. L'entraînement d'un modèle avec un contexte de 8K pas de temps nécessite significativement plus de mémoire et de calcul de gradient que les alternatives à horizon court. Mais l'article soutient que les avantages se cumulent : un contexte plus long réduit le nombre de démonstrations nécessaires lors du déploiement, ce qui diminue à son tour le coût total de la programmation robotique en environnement réel.

Comparaison avec les travaux antérieurs

La plupart des modèles de fondation robotique actuels, y compris RT-2, Octo, et les diverses variantes de transformeurs visuomoteurs open source, fonctionnent avec un contexte d'un seul pas (le modèle ne voit que l'image de caméra actuelle et les angles des articulations) ou des fenêtres courtes de 2 à 10 pas de temps. Ils dépendent de mémoire externe ou de boucles de replanification pour maintenir la cohérence sur de longs horizons. RoboTTT est le premier à étendre directement le champ récepteur temporel du modèle à des milliers.

Le parent technique le plus proche est la famille de modèles séquentiels TTT (Sun et al., 2024), qui a introduit l'idée d'utiliser la descente de gradient comme état interne pour la modélisation du langage. RoboTTT étend cela au domaine visuomoteur, ajoutant une supervision de l'espace d'action et une recette d'entraînement adaptée aux données robotiques : séquences d'images de caméra, positions d'articulations, et commandes d'action s'étendant sur des minutes, et non des secondes.

Prochaines étapes : questions ouvertes

L'article laisse plusieurs questions ouvertes. Jusqu'où la longueur de contexte peut-elle être étendue avant de rencontrer des rendements décroissants ? Les auteurs ont observé des gains réguliers jusqu'à 8K, mais la courbe ne s'est pas encore aplatie, ce qui suggère que 16K ou 32K pas de temps pourraient apporter d'autres améliorations. Quels types de tâches bénéficient le plus ? La tâche d'assemblage en dix étapes en bénéficie clairement, mais les opérations de pick-and-place plus simples ont montré des gains moindres, ce qui implique que le passage à l'échelle du contexte importe surtout pour les travaux nécessitant des dépendances à longue portée.

La robustesse aux perturbations, objets déplacés, lumières changeantes, outils glissants, s'est améliorée avec un contexte plus long, ce qui pourrait faire de RoboTTT un candidat solide pour le déploiement dans des environnements non structurés comme les maisons ou les entrepôts. Cependant, l'équipe a testé dans un environnement de laboratoire contrôlé ; la saleté réelle, la latence et la variabilité matérielle doivent encore être testées sous contrainte.

NVIDIA a publié des vidéos des expériences sur research.nvidia.com/labs/gear/robottt, montrant le modèle accomplissant la tâche d'assemblage et imitant une démonstration humaine en une seule tentative. Le code de l'article et les poids du modèle n'ont pas encore été rendus publics, mais la communauté de recherche discute déjà de la manière de reproduire les résultats sur du matériel open source.

En résumé

RoboTTT ne prétend pas résoudre l'intelligence générale des robots, mais il identifie un axe concret et mesurable le long duquel les modèles actuels sont gravement sous-paramétrés. Si le passage à l'échelle de la longueur de contexte s'avère aussi robuste que le passage à l'échelle des paramètres l'a été pour les modèles de langage, la prochaine génération de modèles de fondation robotique pourrait être très différente de celle d'aujourd'hui.