نماذج الرؤية الذكية الرائدة تفشل في الإدراك الأساسي، وفقًا لمعيار جديد

يشير معيار جديد يُدعى PerceptionBench إلى أن الفجوة بين ما تبدو نماذج الذكاء الاصطناعي متعددة الوسائط أنها تفهمه وما تدركه فعليًا أوسع مما يعتقده الكثيرون. في اختبارات عبر ستة عشر نموذجًا رائدًا، لم يحقق أي منها دقة 60% في الأسئلة المصممة لقياس الإدراك البصري الذري: القدرة على رؤية حقيقة بصرية واحدة لا لبس فيها دون الاعتماد على التفكير أو المعرفة الخلفية.

غالبًا ما تخلط المعايير الحالية بين الإدراك والتفكير، مما يجعل من الصعب تحديد ما إذا حدث خطأ لأن النموذج لم يرَ الشيء أو لأنه لم يستطع التفكير فيه. شرع فريق PerceptionBench، الذي نُشر بحثه الأولي المكون من 33 صفحة على arXiv، في عزل مشكلة الإدراك. قاموا بتحليل نقاط الفشل الأولى في استجابات النماذج عبر 42 معيارًا موجودًا وبنوا تصنيفًا للأخطاء. فحص الفريق أين أخطأت النماذج أولاً في مجموعة متنوعة من المهام، مما يضمن أن التصنيف يعكس أخطاء حقيقية. من هذا التصنيف استخلصوا عشر قدرات إدراكية ذرية، كل منها مهارة دنيا ضرورية لتفسير مشهد بصري.

يحتوي المعيار على 3000 سؤال تم التحقق منها، كل منها مصمم لاختبار قدرة واحدة. تأتي الصعوبة من الطلب الإدراكي نفسه، وليس من تعليمات معقدة أو معرفة مجال. الإجابات قصيرة ولا لبس فيها: رقم، أو كلمة لون، أو نعم أو لا. هذا يزيل الغموض في التقييم ويجعل الاختبار قابلاً للتكرار عبر الفرق البحثية.

النتائج مخيبة للآمال. لم يحقق أي نموذج دقة 60٪ بشكل عام. كانت الهلوسة المتعلقة بالإدراك أضعف قدرة على مستوى جميع النماذج. والأكثر دلالة، أن النماذج ذات الدرجات الإجمالية المتشابهة غالبًا ما كان لها ملفات قدرة مختلفة بشدة. قد يتفوق أحد النماذج في اكتشاف الألوان لكنه يفشل في العد. قد يكون آخر قويًا في العلاقات المكانية لكنه ضعيف في الملمس. قد يكون النموذج الذي يعمل بشكل جيد على مجموعات بيانات الإجابة على الأسئلة البصرية غير قادر على عد العناصر في مشهد مزدحم. تخفي الدرجة الإجمالية التوزيع الحقيقي للفشل.

هذه الدقة التشخيصية هي ما يميز PerceptionBench عن المعايير الشاملة السابقة. بدلاً من ترتيب النماذج برقم واحد، يتيح للباحثين رؤية المهارات الإدراكية المفقودة واستهداف التدريب أو تغييرات الهندسة وفقًا لذلك. يلاحظ المؤلفون وجود ارتباط قوي بين دقة الإدراك وتكرار الهلوسة، مما يشير إلى أن إصلاح الإدراك الأساسي يمكن أن يقلل الهلوسة على مستوى جميع النماذج.

يسلط المعيار الضوء أيضًا على قضية أعمق: طرق التدريب الحالية لا تعلم النماذج بشكل صريح الإدراك قبل التفكير. تتعلم هذه النماذج الإدراك كنتيجة ثانوية لأهداف محاذاة اللغة، وتشير النتائج إلى أن هذا النهج غير المباشر يترك فجوات أساسية. قد يكون التدريب المسبق على الإدراك المباشر أو وحدات تشفير الرؤية المتخصصة ضرورية لسد الفجوة.

تفاعل المجتمع البحثي باهتمام حذر. تسلط المناقشات الأولية على قنوات ما قبل النشر الضوء على شمولية المنهجية واتساع نطاق النماذج المختبرة. وصف أحد المعلقين الورقة بأنها قراءة ضرورية لأي شخص يعمل على أنظمة متعددة الوسائط من الجيل التالي، مع الإشارة إلى أن تصميم المعيار يستحق التدقيق الدقيق قبل اعتماده على نطاق أوسع.

لا يدعي PerceptionBench حل أي مشكلة إدراكية. إنه يوفر طريقة لقياسها. للفرق العاملة على النماذج متعددة الوسائط، يقدم المعيار مجموعة أدوات تشخيصية تكشف النقاط العمياء التي تغفل عنها معايير التفكير. المغزى واضح: قبل إصلاح ما لا يستطيع النموذج التفكير فيه، يحتاج الباحثون إلى معرفة ما لا يستطيع رؤيته. مجموعة البيانات الكاملة ورمز التقييم متاحان مع البحث الأولي، مما يسمح للفرق الأخرى بتشغيل نماذجها الخاصة من خلال نفس الاختبارات التفصيلية.