سيطر معيار MMLU على تقييم الذكاء الاصطناعي لسنوات. ثم بدأت النماذج في إتقان الإجابات

قضى معيار MMLU (التقييم الشامل لفهم اللغة متعددة المهام) أوائل العقد الأول من القرن الحادي والعشرين باعتباره المقياس الافتراضي لجودة نماذج اللغة. سبعة وخمسون موضوعًا، بتنسيق اختيار من متعدد، بدءًا من الجبر المجرد إلى السياسة الخارجية الأمريكية. كان من السهل تشغيله، ومن السهل المقارنة به، ومن السهل وضعه في بيان صحفي.

هذه السهولة هي بالضبط ما أفسده. بمجرد أن تصبح أسئلة أي معيار نصًا عامًا، فإنها تنتهي في النهاية في مجموعة تدريب شخص ما. وجدت عمليات تدقيق مستقلة لمجموعات اختبار متعددة اللغات معدلات تلوث تصل إلى 91.8% في النماذج الكبيرة، والنمط ثابت: كلما زاد حجم النموذج، زادت كمية الاختبار التي يبدو أنه حفظها بدلاً من فهمها من خلال التفكير المنطقي. النموذج الذي رأى سؤالاً وإجابته أثناء التدريب المسبق لا يحتاج إلى حل أي شيء. إنه يحتاج فقط إلى التذكر.

التلوث هو نصف المشكلة فقط. الاختبار نفسه به ثغرات. وجدت عمليات تدقيق لمجموعة الرياضيات الفرعية في MMLU أن حوالي 2% من الأسئلة كانت ببساطة خاطئة، أو إجابات مصنفة بشكل خاطئ، أو صياغة غامضة، أو رياضيات غير صحيحة. تبدو اثنان بالمائة صغيرة حتى تدرك أن نتيجة كل نموذج تُقارن بسقف يتضمن أسئلة معطلة لا يمكن لأي شخص الإجابة عليها بشكل صحيح.

ما يخفيه التشبع حقًا

بحلول منتصف العقد الأول من القرن الحادي والعشرين، كانت النماذج الحدودية تحقق 88% إلى 90% في اختبار MMLU. يبدو ذلك انتصارًا. إنه أقرب إلى أرضية قياس. عندما تتجمع معظم النماذج بالقرب من قمة الاختبار، يتوقف الاختبار عن إخبارك بأي شيء حول من هو الأفضل حقًا. فجوة بنقطتين بين نموذجين على معيار مشبع قد تعكس قدرة حقيقية، أو قد تعكس أي نموذج كان أكثر حظًا مع نسبة 2% المعيبة.

هذه هي الحجة الأساسية التي يقدمها الباحثون الآن للتخلي عن MMLU في التقييم الجاد: لم يعد بإمكانه التمييز بين التفكير الحقيقي والاستدعاء الإحصائي. يمكن لنموذج أن يسجل درجات عالية بمجرد استيعاب الإنترنت، بما في ذلك الأجزاء من الإنترنت التي تصادف أنها تحتوي على MMLU.

ما الذي حل محله

لم يكن الرد هو إصلاح MMLU. بل كان بناء اختبارات لا يمكن حفظها بنفس الطريقة. Humanity's Last Exam صُمم صراحةً ليكون خليفةً لـ MMLU، مع أسئلة تم فحصها لمقاومة كل من البحث عبر الإنترنت واستدعاء التدريب المسبق. GPQA Diamond يفعل شيئًا مشابهًا للعلوم على مستوى الدراسات العليا. المعايير الديناميكية التي تجدد مجموعات أسئلتها على أساس دوري، بدلاً من إصدار مجموعة ثابتة مرة واحدة وإعادة استخدامها لسنوات، أصبحت هي القاعدة على وجه التحديد لأن مفتاح الإجابة الثابت له عمر افتراضي محدود.

لا يعني أي من هذا أن MMLU عديم القيمة. لا يزال فحصًا منطقيًا معقولاً؛ النموذج الذي يحصل على درجات سيئة في MMLU ربما يعاني من مشاكل حقيقية. لكن كمقياس للوحات المتصدرين، كرقم يستخدمه مختبر للمطالبة بأحدث الإنجازات، فقد انتهى نفعه في نفس الوقت تقريبًا الذي توقف فيه الجميع عن الفشل فيه.