SceneActBench: لماذا تفشل حتى أفضل نماذج VLM في الحركة ثلاثية الأبعاد

يمكن لنماذج الرؤية واللغة وصف غرفة بتفاصيل حية، الرفوف، المصباح، الكوب على الطاولة، لكن اطلب منها وضع ذلك الكوب على الرف، وينهار الأداء. تلك الفجوة بين الوصف والفعل هي بالضبط ما يهدف معيار جديد من فريق أكاديمي إلى قياسه.

البعد المفقود: لماذا تهم الحركة ثلاثية الأبعاد

المعايير الثلاثية الأبعاد الحالية تميل إلى فعل أحد شيئين: إما تقييم الردود النصية حول مشهد، أو اختبار عمليات على جسم واحد مثل التقاط مكعب. ولا يلتقط أي منهما الواقع الفوضوي لوكيل يحتاج إلى التفكير في مساحة كاملة متعددة الأجسام، والتخطيط لتسلسل من الإجراءات، وتنفيذها من خلال واجهة أدوات.

تلك الفجوة مهمة لأن المزيد والمزيد من مختبرات الأبحاث تبني وكلاء VLM يعملون في بيئات ثلاثية الأبعاد، روبوتات المستودعات، مساعدين منزليين، أدوات تصميم قائمة على المحاكاة. معيار GauntletBench من جامعة أكسفورد، المنشور في وقت سابق من هذا العام، أشار بالفعل إلى أن الوكلاء يعانون في مهام الاستدلال ثلاثي الأبعاد في التطبيقات المهنية مثل النمذجة ثلاثية الأبعاد. يتعمق SceneActBench في نفس الضعف من زاوية بحثية بحتة.

داخل SceneActBench: التصميم والمهام وحلقة الوكيل

يغطي المعيار خمس مهام ثلاثية الأبعاد مبنية من 210 مصدر للعينات، مما ينتج 520 حالة مهمة بما في ذلك شروط الإدخال المقترنة. تتطلب كل مهمة من الوكيل التصرف في بيئة ثلاثية الأبعاد باستخدام صور PNG أو إطارات فيديو مأخوذة كمدخل، وفي بعض الحالات أصول ثلاثية الأبعاد موفرة. خيار التصميم الرئيسي: تعمل كل مهمة من خلال حلقة وكيل واحدة ثابتة، مما يحافظ على المقارنة عادلة عبر التكوينات. يتم تقييم المخرجات النهائية مقابل الحقيقة المخفية باستخدام مقاييس هندسية خاصة بالمهمة.

هذه الحلقة الموحدة مهمة. العديد من المعايير السابقة تركت الباحثين يعدلون خط التقييم لكل نموذج، مما يجعل النتائج صعبة المقارنة. يتبع SceneActBench نفس النهج كـ GauntletBench من أكسفورد، وهو خط أنابيب معياري وموحد يحاول منع إخفاء كيفية فشل الوكلاء حقًا.

الأرقام التي تروي القصة: نتائج من 38.6 إلى 50.2

اختبر الفريق أحد عشر تكوينًا مملوكًا لـ VLM. تراوحت النتائج الإجمالية من 38.6 إلى 50.2، مما يعني أن أفضل نموذج بالكاد يتجاوز نقطة المنتصف. ولم يؤد أي تكوين بشكل ثابت وجيد عبر جميع المهام الخمس. هذا يكرر نمطًا شوهد في معايير صارمة أخرى: نموذج 3 مليارات معلمة الذي تغلب مؤخرًا على نموذج 137 مليار معلمة في معايير البرمجة أظهر أيضًا أن البنى الأصغر والمركزة يمكنها منافسة البنى الأكبر عندما يكون التقييم محكمًا. هنا، الانتشار ضيق، مما يشير إلى أن نماذج VLM الحالية تشترك في سقف مماثل على الحركة ثلاثية الأبعاد.

الملخص لا يحلل النتائج لكل مهمة، لكن الباحثين يذكرون تحليل أين وكيف تظهر حالات الفشل. تشير المؤشرات المبكرة إلى استمرارية الأجسام، تتبع الأجسام التي تختفي خلف أخرى، وترتيب الأحداث، مثل المسح ثم التنسيب، كنقاط ضعف شائعة.

ماذا تعني هذه الإخفاقات لأبحاث VLM

تتماشى هذه النتائج مع نتائج أخرى حديثة. فريق بقيادة Sakana AI استبدل المستخدمين البشر بـ VLM على منصة Picbreeder ووجد أن الأرشيفات الاصطناعية تفتقر إلى الجرأة والتنوع في الأرشيفات التي أنشأها البشر، توقفت النماذج عند الاستكشاف المفتوح. بطريقة مماثلة، أظهر العمل على تخفيف الهلوسة البصرية أن وحدات التدريب الخفيفة يمكنها تحسين معايير الحساسية الأرضية بعدة نقاط، لكن الفجوة لا تزال كبيرة.

ما يوضحه SceneActBench هو أن مجال VLM يحتاج إلى معايير تختبر الفعل، وليس فقط الإدراك. النموذج الذي يسجل جيدًا في وصف الصور أو حتى التلاعب بجسم واحد يمكن أن يفشل عندما يُطلب منه تنسيق الرؤية والاستدلال المكاني والإجراءات المتسلسلة في مشهد كامل. تلك البقعة العمياء لن تصلح نفسها بمجرد توسيع النماذج. إنها بحاجة إلى مجموعات تقييم تضغط على الأبعاد التي تفتقدها مجموعات اليوم، الترتيب الزمني، الاستدلال متعدد الأجسام، والتنفيذ المكاني الدقيق.