نموذج الروبوت 8B من Mistral AI يحطم رقماً قياسياً في الملاحة باستخدام كاميرا واحدة وبدون مستشعرات عمق

معيار جديد، مستشعرات أقل

أصدرت شركة Mistral AI نموذج Robostral Navigate، وهو نموذج بحجم 8 مليارات معلمة يتيح للروبوتات اتباع التعليمات باللغة الطبيعية عبر المساحات الداخلية غير المعروفة باستخدام كاميرا RGB واحدة فقط، دون مستشعرات عمق، أو LIDAR، أو مجموعة كاميرات متعددة. على مجموعة التحقق غير المرئية R2R-CE (من غرفة إلى غرفة في بيئات مستمرة)، يحقق النموذج معدل نجاح بنسبة 76.6%. يتفوق ذلك على أفضل نهج لكاميرا واحدة بـ 9.7 نقطة مئوية وأفضل نظام متعدد المستشعرات بـ 4.5 نقاط، وفقًا للشركة.

كما سجل النموذج 79.4% على مجموعة التحقق المرئية المنقسمة، التي تختبر البيئات التي واجهها النموذج أثناء التدريب. لكن الرقم غير المرئي هو ما يفحصه باحثو الملاحة أولاً: فهو يقيس مدى تعميم النموذج على مساحات لم يرها من قبل، وهو شرط أساسي لأي روبوت إنتاج يتم نشره خارج المختبر.

توجيه، وليس رسم خرائط

يستخدم Robostral Navigate تقنية تسميها Mistral الملاحة القائمة على التوجيه. بالنظر إلى رؤية الكاميرا الحالية، يتنبأ النموذج بإحداثيات الصورة للمكان الذي يجب أن يتحرك إليه الروبوت بعد ذلك، جنبًا إلى جنب مع الاتجاه المطلوب عند الوصول. يتجنب هذا النهج الاعتماد على الإزاحات المترية الدقيقة، مما يجعل السياسة قوية بشكل طبيعي تجاه اختلافات الكاميرا الداخلية والمقاييس عبر أنواع الروبوتات.

عندما يقع الهدف خارج مجال رؤية الروبوت، وهو موقف لا يستطيع التوجيه التعامل معه، يعود النموذج إلى أوامر الإزاحة المحلية المعبر عنها في إطار إحداثيات الروبوت، على سبيل المثال "تحرك للأمام مسافة مترين، 1.5 متر إلى اليسار، واستدر 25 درجة إلى اليسار." تسمح الاستراتيجية الهجينة بتشغيل نفس النموذج على منصات ذات عجلات وأرجل وحتى طائرة دون تكييف، كما تقول Mistral.

بُني من الصفر في المحاكاة

بدلاً من ضبط نموذج VLM مفتوح المصدر موجود، بنت Mistral Robostral Navigate من الصفر. قام الفريق بتهيئة النموذج من نموذج رؤية-لغة داخلي متخصص في مهام التوجيه، والتأشير، والتعريب البصري للأشياء، وعالج الملاحة كامتداد طبيعي للفهم المكاني. تم إنشاء البيانات بالكامل في المحاكاة من خلال خط أنابيب مخصص أنتج حوالي 400,000 مسار عبر 6,000 مشهد.

كانت الكفاءة قيدًا تصميميًا منذ البداية. طور الفريق استراتيجية لإخفاء الانتباه قائمة على الشجرة تضغط حلقة الملاحة بأكملها في تسلسل تدريبي واحد، مما يمنع تسرب المعلومات بين الخطوات الزمنية مع تشغيلها جميعًا في تمريرة واحدة للأمام. التقنية، التي تسمى التخزين المؤقت للبادئة، تقلل رموز التدريب بعامل 22 مقارنة بمعالجة كل خطوة زمنية كعينة منفصلة. تقول Mistral إن هذا حول جلسات التدريب التي كانت ستستغرق شهورًا إلى جلسات تكتمل في أيام.

ما بعد التدريب مع التعلم التعزيزي عبر الإنترنت

بعد التدريب الخاضع للإشراف، طبقت Mistral خوارزمية تعلم تعزيزي عبر الإنترنت تسمى CISPO، وهي طريقة داخلية تتيح للنموذج التعلم من التجربة والخطأ أثناء النشر. حسنت مرحلة RL معدل النجاح بمقدار 3.2 نقطة مئوية بمفردها، وتلاحظ الشركة أن الأداء لم يصل بعد إلى مستوى ثابت، مما يشير إلى إمكانية تحقيق المزيد من المكاسب مع المزيد من القوة الحاسوبية والبيانات.

يعمل النموذج على بنية تحتية Mistral الحالية وهو متاح من خلال منصة الشركة للمؤسسات. لم يتم الكشف عن التسعير.

دخول استراتيجي في الذكاء الاصطناعي المجسد

يمثل Robostral Navigate أول دخول لـ Mistral في مجال الروبوتات، وهو مجال تهيمن عليه شركات مثل Covariant وHello Robot وGoogle DeepMind. بينما بنت Mistral سمعتها على نماذج LLM النصية ونماذج البرمجة مثل Codestral، يشير إطلاق الملاحة إلى رهان على أن الحدود التالية للنماذج الأساسية تكمن في إغلاق الحلقة بين اللغة والفعل المادي.

"الملاحة هي قدرة أساسية للروبوتات ذات الأغراض العامة،" كتب الفريق في الإعلان. "من خلال الجمع بين المحاكاة واسعة النطاق، والتدريب الفعال، والأولويات القوية في التأريض، يوضح Robostral Navigate أن الملاحة المجسدة المتطورة يمكن تحقيقها بنموذج مدمج وكاميرا RGB واحدة."

النموذج ليس مفتوح المصدر بعد. تقول Mistral إنها توسع بنشاط فريق الروبوتات وتوظف علماء بحث ومهندسين لدفع العمل إلى أبعد من ذلك نحو "الذكاء الاصطناعي المجسد الموحد."