RoboTTT de NVIDIA muestra que la longitud de contexto es el próximo eje de escalado para modelos robóticos

Durante los últimos dos años, la carrera por mejorar los modelos base robóticos ha seguido un manual familiar: modelos más grandes, más datos, mejor transferencia de simulación a realidad. El último artículo de NVIDIA Research, que presenta RoboTTT (Test-Time-Training Robot Policies), propone un eje de escalado diferente, uno que ha estado oculto a simple vista: la longitud de contexto.

Publicado como preimpresión y subido a Hugging Face, RoboTTT extiende la ventana de contexto visuomotor de una política robótica a 8.000 pasos de tiempo, aproximadamente tres órdenes de magnitud más allá de lo que las políticas de un solo paso o horizonte corto pueden manejar hoy, sin aumentar la latencia de inferencia. El resultado es un modelo que puede observar a un humano realizar una tarea una vez e imitarla directamente, adaptar su comportamiento durante la ejecución y completar tareas de múltiples etapas que antes requerían docenas de demostraciones o subtareas codificadas.

"En esta longitud de contexto, desbloqueamos nuevas capacidades robóticas: imitación directa en contexto a partir de demostraciones en video humano, mejora de política sobre la marcha, robustez a perturbaciones y un rendimiento más fuerte en tareas de múltiples etapas y horizonte largo", escriben los autores. "También observamos, por primera vez, mejoras constantes en el rendimiento de bucle cerrado a medida que se escala la longitud de contexto de preentrenamiento."

Cómo funciona RoboTTT: entrenamiento en tiempo de prueba como estado recurrente

La idea arquitectónica central es conceptualmente simple pero computacionalmente exigente: reutilizar el entrenamiento en tiempo de prueba (TTT), una técnica desarrollada originalmente para permitir que los modelos de lenguaje se adapten a nuevas entradas durante la inferencia, como el estado interno de un modelo secuencial. En lugar de comprimir observaciones pasadas en un vector oculto de tamaño fijo (como hacen los transformadores y las LSTM), RoboTTT actualiza los parámetros del modelo, sus "pesos rápidos", mediante descenso de gradiente en cada paso de tiempo, tanto durante el entrenamiento como durante la inferencia.

Esto significa que la memoria del modelo sobre experiencias pasadas está literalmente codificada en sus pesos, no en un búfer de memoria separado. La información se recupera implícitamente cuando el modelo se ejecuta hacia adelante en la observación actual. "Comprimir historiales en el espacio de pesos y recuperar información contextual para el condicionamiento de contexto largo" es como lo describe el artículo.

Para entrenar un modelo de este tipo a escala, 8.000 pasos de tiempo de retropropagación, el equipo combinó el forzado de acción secuencial con retropropagación truncada a través del tiempo (TBPTT), una técnica estándar del entrenamiento de redes neuronales recurrentes que divide secuencias largas en fragmentos manejables mientras preserva el flujo de gradiente a través de los fragmentos.

Evaluación comparativa: mejora del 87% y una tarea que ninguna línea base completa

En un conjunto de tareas desafiantes de manipulación robótica real, que incluyen recoger y colocar, abrir cajones y ensamblaje de múltiples etapas, RoboTTT logró una mejora del 87% en la tasa de éxito general en comparación con la línea base de contexto de un solo paso. El resultado más dramático: una tarea de ensamblaje de diez etapas y cinco minutos que requería una secuenciación precisa de pasos fue completada completamente por RoboTTT. "Ninguna línea base lo logra nunca", señala el artículo secamente.

Igualmente reveladora es la curva de escalado interno. RoboTTT entrenado con un contexto de 8.000 pasos de tiempo superó a la misma arquitectura preentrenada con solo 1.000 pasos de tiempo en un 62%. Esta es la primera evidencia empírica de que, para el control robótico de bucle cerrado, ventanas de contexto más largas producen un rendimiento monótonamente mejor, un hallazgo que refleja las leyes de escalado observadas en los modelos de lenguaje.

Longitud de contexto: el tercer eje de escalado para la robótica

La comunidad robótica ha debatido durante mucho tiempo si escalar el tamaño del modelo (parámetros) o el volumen de datos impulsará el próximo salto en manipulación diestra. RoboTTT sugiere una tercera dimensión: el contexto temporal. Un modelo que pueda "recordar" 8.000 pasos de tiempo de propiocepción y fotogramas de cámara puede inferir intenciones, detectar modos de fallo y recuperarse de perturbaciones de maneras que un modelo con un contexto de un solo paso no puede.

Esto tiene implicaciones prácticas más allá del laboratorio. La imitación directa a partir de video humano significa que un trabajador de fábrica podría demostrar una nueva secuencia de ensamblaje una vez, y el robot podría replicarla sin programación explícita ni miles de ejemplos etiquetados. La mejora de política sobre la marcha, el modelo ajustando su comportamiento a medida que encuentra situaciones novedosas, reduce la necesidad de una cobertura exhaustiva de datos de entrenamiento.

La compensación, como siempre, es la computación. Entrenar un modelo con contexto de 8K pasos de tiempo requiere significativamente más memoria y cálculo de gradientes que las alternativas de horizonte corto. Pero el artículo argumenta que los beneficios se acumulan: un contexto más largo reduce la cantidad de demostraciones necesarias durante el despliegue, lo que a su vez reduce el costo total de la programación robótica en entornos del mundo real.

Comparación con trabajos anteriores

La mayoría de los modelos base robóticos actuales, incluidos RT-2, Octo y las diversas variantes de transformadores visuomotores de código abierto, operan con contexto de un solo paso (el modelo ve solo el fotograma de cámara actual y los ángulos de las articulaciones) o ventanas cortas de 2 a 10 pasos de tiempo. Dependen de memoria externa o bucles de replanificación para mantener la consistencia en horizontes largos. RoboTTT es el primero en escalar directamente el campo receptivo temporal del modelo a los miles.

El pariente técnico más cercano es la familia de modelos secuenciales TTT (Sun et al., 2024), que introdujo la idea de usar el descenso de gradiente como estado interno para el modelado de lenguaje. RoboTTT extiende esto al dominio visuomotor, agregando supervisión en el espacio de acciones y una receta de entrenamiento adaptada para datos robóticos, secuencias de fotogramas de cámara, posiciones de articulaciones y comandos de acción que abarcan minutos, no segundos.

Qué sigue: preguntas abiertas

El artículo deja varias preguntas abiertas. ¿Hasta dónde se puede escalar la longitud de contexto antes de encontrar rendimientos decrecientes? Los autores observaron mejoras constantes hasta 8K, pero la curva no se ha aplanado aún, lo que sugiere que 16K o 32K pasos de tiempo podrían generar mejoras adicionales. ¿Qué tipos de tareas se benefician más? La tarea de ensamblaje de diez etapas claramente lo hace, pero las operaciones más simples de recoger y colocar mostraron ganancias menores, lo que implica que el escalado de contexto importa más para trabajos que requieren dependencias de largo alcance.

La robustez a perturbaciones, objetos que se golpean, luces que cambian, herramientas que resbalan, mejoró con contexto más largo, lo que podría convertir a RoboTTT en un candidato fuerte para el despliegue en entornos no estructurados como hogares o almacenes. Sin embargo, el equipo probó en un entorno de laboratorio controlado; la suciedad del mundo real, la latencia y la variabilidad del hardware aún deben someterse a pruebas de estrés.

NVIDIA ha publicado videos de los experimentos en research.nvidia.com/labs/gear/robottt, que muestran al modelo completando la tarea de ensamblaje e imitando una demostración humana en un solo intento. El código del artículo y los pesos del modelo aún no se han hecho públicos, pero la comunidad de investigación ya está discutiendo cómo replicar los resultados en hardware de código abierto.

Conclusión

RoboTTT no afirma resolver la inteligencia general robótica, pero identifica un eje concreto y medible a lo largo del cual los modelos actuales están severamente infraparametrizados. Si escalar la longitud de contexto resulta tan robusto como escalar parámetros lo ha sido para los modelos de lenguaje, la próxima generación de modelos base robóticos podría verse muy diferente de la actual.