لماذا يفشل التقييم الذاتي لنموذج الذكاء الاصطناعي في الجودة البصرية

عندما يولد نموذج ذكاء اصطناعي صفحة ويب أو عرض شرائح أو شكلًا علميًا، كيف نعرف أنه يبدو صحيحًا؟ الإجابة الافتراضية في هذا المجال هي سؤال نموذج آخر، وهو نموذج اللغة البصري (VLM) الذي يقرأ لقطة شاشة للمخرجات. وتجادل ورقة بحثية جديدة من Pine AI وجامعة واشنطن بأن هذا النهج ليس مجرد تشويش، بل هو أعمى هيكليًا.

القاضي الأعمى

تقدم الورقة البحثية، توسع التفاعل: تحديد المحور الثالث لحساب زمن الاختبار، عرضًا مذهلاً. في اختبار لـ15 نموذجًا كثيفًا لأشكال أكاديمية، صنف قاضي VLM عبر لقطة الشاشة 14 منها على أنها 'مثالية'. عندما تم قياس نفس المنتجات بواسطة أداة هندسة DOM محددة تقرأ الحدود الفعلية لكل عنصر، فقط ثلاثة منها كانت نظيفة بالفعل. البقية كانت تحتوي على عناوين أقسام مطبوعة فوق بعضها البعض، وتسميات تخرج من الصناديق، ومحتوى مقطوعًا خارج الإطار.

'الفشل ميكانيكي'، يكتب المؤلفون. تُلتقط لقطات الشاشة بدقة ثابتة؛ المحتوى الزائد عن الإطار يُقطع خارج الإطار قبل أن تصل الصورة إلى القاضي، وتداخلات صغيرة داخل الإطار تقل عن حدة بصره.

ما وراء الاستدلال وأخذ العينات

المساهمة الأساسية للورقة هي إعادة تعريف التفاعل كمحور ثالث لحساب زمن الاختبار، متميزًا عن الاستدلال (سلاسل أطول من التفكير) وأخذ العينات (اختيار أفضل من N). المتغير الرئيسي هو ما يسميه المؤلفون التمييز: التغذية الراجعة القادمة من أداة تراقب الشكل أو السلوك الفعلي للمنتج، وليس من نموذج يعبر عن رأي فيه.

'لا يمكن لنموذج يعيد قراءة مخرجاته الخاصة أن يتعلم شيئًا لم يكن يعرفه بالفعل'، يشرح المؤلفون. النقد الصادر من نفس الأوزان التي أنتجت المنتج هو معالجة لاحقة، لا يضيف أي معلومات حول الإجابة الصحيحة. التغذية الراجعة المحددة، مثل تعقب خطأ فاشل أو حد مقاس، تستورد ملاحظة حقيقية في كل دورة، مخترقة ما يسمونه 'السقف الداخلي'.

في التجارب الخاضعة للرقابة، عند ميزانية رمزية متطابقة، استقر كل من الاستدلال وحده واختيار أفضل من N باستخدام قاضي افتراضي دون 87% من معدل النجاح في مهام الترميز الصعبة. كل استراتيجية تفاعلية استمرت في الصعود. وصل تسخير المقترح والمراجع إلى معدل نجاح كامل بنسبة 100% مع تباين صفري في البذرة.

التغطية هي ما يهم

يقدم الإطار مبدأ تغطية: قناة التغذية الراجعة تساعد بقدر ما تصل إليه أداة المراقبة. وهذا يفسر لماذا، في نفس مجموعة الكود، لم يشترِ إضافة مدقق (محدد لكنه يراقب الشكل فقط) شيئًا فوق النقد المجرد، بينما تقاربت التغذية الراجعة للتنفيذ تقريبًا 2.5× أرخص وصولاً إلى سقف أعلى.

التحكم الحاسم جاء من تبديل أداة المراجع فقط على الوضعيات البصرية. عندما قرأ نموذج VLM لقطة شاشة، جعلت تعديلاته الهندسة أسوأ، وزادت العيوب في الشرائح، لأنه كان أعمى عن التخطيط الحقيقي. مراجع هندسي محدد، يقيس الحدود الفعلية، قلل العيوب بشكل حاد في كل من الشرائح الكثيفة (73% تخفيض) والأشكال الأكاديمية (74% تخفيض).

'جولة مراجعة واحدة، إشارة معاكسة'، يلاحظ المؤلفون، 'تقرر بالكامل من خلال ما إذا كانت الإشارة تغطي العيب.'

التباين التوزيعي هو ميزانية

تتضمن الورقة أيضًا نتيجة تحذيرية حول التدريب. عندما قام المؤلفون بتقطير جودة التفاعل للتسخير إلى طالب بحجم 8B معلمات عبر الضبط الدقيق الخاضع للإشراف، استعاد الطالب حوالي نصف قدرة المعلم في العينة الواحدة. لكن إضافة الضبط الدقيق التعزيزي، الذي يحسن التناسق لكل دورة، أضر فعليًا بأداء pass@k. السبب: التباين في توزيع المخرجات هو المورد نفسه الذي يحوله أخذ العينات إلى جودة. أنفق RFT من تلك الميزانية.

الآثار المترتبة على المجال

الدرس العملي، كما يجادل المؤلفون، ليس 'أضف المزيد من الحلقات' بل 'حدد الحلقة التي تضيفها'. بالنسبة للمنتجات البصرية، هذا يعني قياس DOM المقدم، وليس لقطة الشاشة أبدًا، على كل من المراجع والمقيّم. للنتيجة آثار فورية على العديد من الأوراق البحثية الحديثة التي تقيس التوليد البصري لتحسين الذات مع قضاة VLM الذين لا يمكنهم رؤية العيوب المعنية.

'التوسع التفاعلي حقيقي، متميز عن الاستدلال وأخذ العينات، ويمكن التنبؤ به من التغطية'، يخلص المؤلفون. 'بمجرد تحديد المقياس، يصبح مرئيًا بوضوح.'

الكود والموقع متاحان على الروابط الموجودة في الورقة البحثية.