英伟达 RoboTTT 显示上下文长度是机器人模型的下一缩放轴

过去两年，改进机器人基础模型的竞赛遵循着熟悉的路径：更大的模型、更多的数据、更好的仿真到现实迁移。英伟达研究的最新论文介绍了 RoboTTT（测试时训练机器人策略），提出了一个不同的缩放轴，一个一直隐藏得显而易见的轴：上下文长度。

该论文作为预印本发布并上传至 Hugging Face，RoboTTT 将机器人策略的视觉运动上下文窗口扩展至 8000 个时间步，大约比当今单步或短周期策略所能处理的量级高出三个数量级，且推理延迟并未增加。结果是一个模型能够观看人类执行一次任务后直接模仿，在执行过程中调整其行为，并完成之前需要数十次演示或硬编码子任务的多阶段任务。

“在此上下文长度下，我们解锁了新的机器人能力：从人类视频演示中进行一次性上下文模仿、即时策略改进、对干扰的鲁棒性，以及在多阶段、长期任务上更强的性能，”团队写道。“我们还首次观察到，随着预训练上下文长度的增加，闭环性能稳步提升。”

RoboTTT 如何工作：将测试时训练作为循环状态

核心架构见解在概念上简单但计算要求高：重新利用测试时训练（TTT），一种最初为让语言模型在推理期间适应新输入而开发的技术，作为序列模型的内部状态。RoboTTT 不是将过去的观测值压缩成固定大小的隐藏向量（如 transformer 和 LSTM 所做的那样），而是在每个时间步（训练和推理期间）通过梯度下降更新模型的参数，即其“快速权重”。

这意味着模型对过去经验的记忆实际上编码在其权重中，而不是在单独的记忆缓冲区中。当模型在当前观测值上运行前向传播时，信息被隐式检索。“将历史信息压缩到权重空间中，并为长上下文条件检索上下文信息”是论文中的描述。

为了大规模训练这样一个模型，8000 个时间步的反向传播，团队结合了序列动作强制与截断的时间反向传播（TBPTT），这是一种来自循环神经网络训练的标准技术，将长序列分割成可管理的块，同时保持跨块的梯度流。

基准测试：提升 87%，且有一个任务没有基线能完成

在一系列具有挑战性的真实机器人操作任务中，包括拾取和放置、抽屉开启以及多阶段组装，RoboTTT 的成功率比单步上下文基线整体提升了 87%。最引人注目的结果：一项需要精确步骤排序的十分钟、十阶段组装任务，RoboTTT 完全完成了。“所有基线都从未成功完成。”论文简洁地指出。

同样具有说服力的是内部缩放曲线。使用 8000 个时间步上下文训练的 RoboTTT 比使用仅 1000 个时间步预训练的相同架构性能高出 62%。这是首个经验证据表明，对于闭环机器人控制，更长的上下文窗口会产生单调递增的性能提升，这一发现与语言模型中观察到的缩放规律相呼应。

上下文长度：机器人技术的第三缩放轴

机器人领域长期以来一直在争论缩放模型大小（参数）还是数据量将推动灵活的操纵能力的下一次飞跃。RoboTTT 提出了第三个维度：时间上下文。一个能“记住”8000 个时间步的本体感觉和相机帧的模型，能够以单步上下文模型无法做到的方式推断意图、检测故障模式并从干扰中恢复。

这具有实验室之外的实际意义。从人类视频中进行一次性模仿意味着工厂工人可以演示一次新的装配序列，机器人即可复制它，无需显式编程或数千个标记示例。即时策略改进，即模型在遇到新情况时调整其行为，减少了对详尽训练数据覆盖的需求。

权衡一如既往是计算。训练一个具有 8K 时间步上下文的模型需要显著多于短周期替代方案的内存和梯度计算。但论文认为收益是复合的：更长的上下文减少了部署期间所需的演示次数，从而降低了现实世界中机器人编程的总成本。

与先前工作的比较

目前大多数机器人基础模型，包括 RT-2、Octo 和各种开源视觉运动 transformer 变体，要么使用单步上下文（模型只看到当前相机帧和关节角度），要么使用 2-10 个时间步的短窗口。它们依赖外部记忆或重新规划循环来保持长期一致性。RoboTTT 是第一个将模型的时间感受野直接扩展到数千个的模型。

最近的技术亲戚是 TTT 系列序列模型（Sun 等人，2024），该模型引入了使用梯度下降作为语言模型内部状态的想法。RoboTTT 将其扩展到视觉运动领域，增加了动作空间监督和适用于机器人数据（序列中的相机帧、关节位置和动作命令，跨越分钟而非秒）的训练方法。

下一步：开放性问题

论文留下了几个开放性问题。上下文长度能缩放多远才会遇到收益递减？作者观察到直到 8K 的稳定增益，但曲线尚未趋于平缓，表明 16K 或 32K 时间步可能产生进一步改进。哪种任务类型受益最大？十阶段组装任务显然受益，但更简单的拾取和放置操作显示增益较小，表明上下文缩放对需要长期依赖关系的任务最为重要。

对干扰（如物体被碰动、光线变化、工具滑动）的鲁棒性随着更长的上下文而改善，这可能使 RoboTTT 成为在非结构化环境（如家庭或仓库）中部署的有力候选。然而，团队在受控实验室环境中测试；现实世界的灰尘、延迟和硬件可变性仍需压力测试。

英伟达已在 research.nvidia.com/labs/gear/robottt 发布了实验视频，展示了模型完成组装任务并在一次尝试中模仿人类演示。论文的代码和模型权重尚未公开，但研究社区已在讨论如何在开源硬件上复制结果。

结论

RoboTTT 并未声称解决了机器人通用智能问题，但它确定了一个具体的、可测量的轴，沿着该轴当前模型严重参数不足。如果缩放上下文长度被证明和缩放参数对语言模型一样鲁棒，那么下一代机器人基础模型可能与今天截然不同。