RoboTTT من NVIDIA يظهر أن طول السياق هو المحور القادم لتحجيم نماذج الروبوتات

على مدار العامين الماضيين، اتبع السباق لتحسين نماذج الروبوتات الأساسية خطة عمل مألوفة: نماذج أكبر، بيانات أكثر، نقل أفضل من المحاكاة إلى الواقع. تقدم أحدث ورقة بحثية من أبحاث NVIDIA، التي تقدم RoboTTT (سياسات تدريب الروبوتات في وقت الاختبار)، محور تحجيم مختلفًا، كان مخفيًا في مرأى من الجميع: طول السياق.

نُشرت كمسودة أولية على Hugging Face، يوسع RoboTTT نافذة السياق البصري الحركي لسياسة الروبوت إلى 8,000 خطوة زمنية، أي ما يقرب من ثلاث مرات تقريبًا مما يمكن للسياسات ذات الخطوة الواحدة أو الأفق القصير التعامل معه اليوم، دون زيادة زمن الاستجابة للاستدلال. والنتيجة هي نموذج يمكنه مشاهدة إنسان يؤدي مهمة مرة واحدة وتقليدها مباشرة، وتكييف سلوكه أثناء التنفيذ، وإكمال مهام متعددة المراحل التي كانت تتطلب سابقًا عشرات العروض التوضيحية أو مهامًا فرعية مبرمجة بشكل صارم.

"في هذا الطول السياقي، نفتح قدرات روبوتية جديدة: التقليد لمرة واحدة في السياق من عروض الفيديو البشرية، تحسين السياسة أثناء الطيران، المتانة ضد الاضطرابات، وأداء أقوى في المهام متعددة المراحل طويلة الأمد،" يكتب الفريق. "نلاحظ أيضًا، لأول مرة، مكاسب ثابتة في أداء الحلقة المغلقة كلما تحجيم طول سياق التدريب المسبق."

كيف يعمل RoboTTT: التدريب في وقت الاختبار كحالة متكررة

الرؤية المعمارية الأساسية بسيطة من الناحية المفاهيمية ولكنها مكلفة حسابيًا: إعادة توظيف التدريب في وقت الاختبار (TTT)، وهي تقنية تم تطويرها في الأصل للسماح لنماذج اللغة بالتكيف مع المدخلات الجديدة أثناء الاستدلال، لتعمل كحالة داخلية لنموذج تسلسلي. بدلاً من ضغط الملاحظات السابقة في متجه مخفي ثابت الحجم (كما تفعل المحولات و LSTMs)، يقوم RoboTTT بتحديث معلمات النموذج، "أوزانه السريعة"، عبر الانحدار التدريجي في كل خطوة زمنية، أثناء التدريب وأثناء الاستدلال.

وهذا يعني أن ذاكرة النموذج للتجارب السابقة مشفرة حرفيًا في أوزانه، وليس في مخزن ذاكرة منفصل. يتم استرجاع المعلومات ضمنيًا عندما يعمل النموذج على الملاحظة الحالية. "ضغط التواريخ في مساحة الوزن واسترجاع المعلومات السياقية للتكييف الطويل السياق" هو كيف تصف الورقة ذلك.

لتدريب مثل هذا النموذج على نطاق واسع، 8,000 خطوة زمنية من الانتشار العكسي، جمع الفريق بين فرض العمل التسلسلي والانتشار العكسي المبتور عبر الزمن (TBPTT)، وهي تقنية قياسية من تدريب الشبكات العصبية المتكررة تقسم التسلسلات الطويلة إلى أجزاء يمكن إدارتها مع الحفاظ على تدفق التدرج عبر الأجزاء.

المعايير: تحسين بنسبة 87% ومهمة لا يكملها أي خط أساس

على مجموعة من مهام التلاعب بالروبوت الواقعية الصعبة، بما في ذلك الالتقاط والوضع، وفتح الأدراج، والتجميع متعدد المراحل، حقق RoboTTT تحسنًا بنسبة 87% في معدل النجاح الإجمالي مقارنة بخط الأساس السياقي ذي الخطوة الواحدة. النتيجة الأكثر دراماتيكية: مهمة تجميع من عشر مراحل مدتها خمس دقائق تتطلب تسلسلًا دقيقًا للخطوات تم إكمالها بالكامل بواسطة RoboTTT. "لم يكمل أي خط أساس ذلك أبدًا،" تلاحظ الورقة بجفاف.

وبالمثل، يظهر منحنى التحجيم الداخلي. تفوق RoboTTT المدرب بسياق 8,000 خطوة زمنية على نفس البنية المدربة مسبقًا بـ 1,000 خطوة زمنية فقط بنسبة 62%. هذا هو أول دليل تجريبي على أنه، للتحكم في حلقة مغلقة للروبوت، تنتج النوافذ السياقية الأطول أداءً أحاديًا أفضل، وهي نتيجة تعكس قوانين التحجيم الملاحظة في نماذج اللغة.

طول السياق: محور التحجيم الثالث للروبوتات

لطالما ناقش مجتمع الروبوتات ما إذا كان تحجيم حجم النموذج (المعلمات) أو حجم البيانات سيدفع القفزة التالية في التلاعب الماهر. يشير RoboTTT إلى بُعد ثالث: السياق الزمني. يمكن للنموذج الذي "يتذكر" 8,000 خطوة زمنية من الإحساس الذاتي وإطارات الكاميرا أن يستنتج النية، ويكشف أوضاع الفشل، ويتعافى من الاضطرابات بطرق لا يستطيع نموذج بسياق خطوة واحدة القيام بها.

هذا له آثار عملية خارج المختبر. التقليد لمرة واحدة من الفيديو البشري يعني أن عامل المصنع يمكنه عرض تسلسل تجميع جديد مرة واحدة، ويمكن للروبوت تكراره بدون برمجة صريحة أو آلاف الأمثلة المصنفة. تحسين السياسة أثناء الطيران، النموذج يعدل سلوكه عند مواجهة مواقف جديدة، يقلل الحاجة إلى تغطية بيانات تدريب شاملة.

المفاضلة، كما هو الحال دائمًا، هي الحوسبة. يتطلب تدريب نموذج بسياق 8 آلاف خطوة زمنية ذاكرة وحساب تدرج أكثر بكثير من البدائل ذات الأفق القصير. لكن الورقة تجادل بأن الفوائد تتراكم: السياق الأطول يقلل عدد العروض التوضيحية المطلوبة أثناء النشر، مما يقلل بدوره التكلفة الإجمالية لبرمجة الروبوت في البيئات الواقعية.

المقارنة مع الأعمال السابقة

تعمل معظم نماذج الروبوتات الأساسية الحالية، بما في ذلك RT-2 و Octo ومتغيرات المحولات البصرية الحركية مفتوحة المصدر المختلفة، إما بسياق خطوة واحدة (يرى النموذج فقط إطار الكاميرا الحالي وزوايا المفاصل) أو نوافذ قصيرة من 2-10 خطوات زمنية. تعتمد على ذاكرة خارجية أو حلقات إعادة تخطيط للحفاظ على الاتساق عبر الآفاق الطويلة. RoboTTT هو الأول الذي يوسع المجال الاستقبالي الزمني للنموذج مباشرة إلى الآلاف.

الأقرب تقنيًا هو عائلة نماذج التسلسل TTT (Sun et al.، 2024)، التي قدمت فكرة استخدام الانحدار التدريجي كحالة داخلية لنمذجة اللغة. يوسع RoboTTT هذا إلى المجال البصري الحركي، مضيفًا إشراف فضاء العمل ووصفة تدريب مكيفة لبيانات الروبوتات، تسلسلات من إطارات الكاميرا، أوضاع المفاصل، وأوامر الحركة تمتد لدقائق، وليس ثوانٍ.

ما التالي: أسئلة مفتوحة

تترك الورقة عدة أسئلة مفتوحة. إلى أي مدى يمكن أن يتحجيم طول السياق قبل الوصول إلى عوائد متناقصة؟ لاحظ المؤلفون مكاسب ثابتة حتى 8 آلاف، لكن المنحنى لم يتسطح بعد، مما يشير إلى أن 16 ألف أو 32 ألف خطوة زمنية قد تحقق تحسينات إضافية. ما أنواع المهام التي تستفيد أكثر؟ مهمة التجميع من عشر مراحل تستفيد بوضوح، لكن عمليات الالتقاط والوضع الأبسط أظهرت مكاسب أصغر، مما يشير إلى أن تحجيم السياق مهم أكثر للوظائف التي تتطلب تبعيات بعيدة المدى.

المتانة ضد الاضطرابات، اصطدام الأشياء، تغير الأضواء، انزلاق الأدوات، تحسنت مع السياق الأطول، مما قد يجعل RoboTTT مرشحًا قويًا للنشر في بيئات غير منظمة مثل المنازل أو المستودعات. ومع ذلك، اختبر الفريق في بيئة مختبرية خاضعة للرقابة؛ لا يزال الغبار الواقعي، وزمن الاستجابة، وتغير الأجهزة بحاجة إلى اختبار إجهاد.

أصدرت NVIDIA فيديوهات التجارب على research.nvidia.com/labs/gear/robottt، تظهر النموذج وهو يكمل مهمة التجميع ويقلد عرضًا بشريًا في محاولة واحدة. لم يتم نشر كود الورقة وأوزان النموذج بعد، لكن مجتمع الأبحاث يناقش بالفعل كيفية تكرار النتائج على الأجهزة مفتوحة المصدر.

الخلاصة

لا يدعي RoboTTT أنه يحل الذكاء العام للروبوت، لكنه يحدد محورًا ملموسًا وقابلاً للقياس تكون فيه النماذج الحالية غير محجمة بشكل كبير. إذا أثبت تحجيم طول السياق أنه قوي مثل تحجيم المعلمات لنماذج اللغة، فإن الجيل التالي من نماذج الروبوتات الأساسية قد يبدو مختلفًا جدًا عما نراه اليوم.