LiveBench يرفض البقاء ثابتًا. هذا هو المغزى كله

المشكلة التي صُمم LiveBench لحلها هي مشكلة هيكلية، وليست فضيحة منفردة. أي معيار يُنشر كمجموعة بيانات ثابتة سينتهي به الأمر، عاجلاً أم آجلاً، إلى الزحف إلى مجموعة بيانات التدريب المسبق، سواءً عن قصد أو كنتيجة ثانوية للتجميع من الويب المفتوح. بمجرد حدوث ذلك، يتوقف تقييم النموذج عن قياس التفكير ويبدأ في قياس الاسترجاع، وهو ما حدث بالضبط مع MMLU وGSM8K. حل LiveBench ليس مجموعة بيانات أفضل. إنها مجموعة بيانات متحركة.

بدلاً من إطلاق اختبار ثابت مرة واحدة، يقوم LiveBench باستيعاب مستمر لمشاكل جديدة، وتحديات برمجية حديثة، ومستودعات كود مفتوحة حديثًا، وأسئلة منطقية حول الأحداث الجارية، على أساس أسبوعي متجدد. السؤال الذي يُطرح هذا الأسبوع لا يمكن أن يكون قد لوث نموذجًا تم تدريبه قبل أشهر، بحكم التعريف. هذا الخيار التصميمي الوحيد يتجاوز النقاش الكامل حول التلوث الذي استهلك بقية المجال.

جزء من عائلة أوسع

LiveBench لا يعمل بمفرده. يطبق LiveCodeBench نفس منطق التحديث المباشر خصيصًا على مشاكل البرمجة المسحوبة من منصات البرمجة التنافسية النشطة. يدفع ForecastBench و FutureX الفكرة أبعد إلى مناطق غير محلولة حقًا، حيث يطلبان من النماذج التنبؤ بنتائج أحداث مالية وجيوسياسية حقيقية لم تحدث بعد، أسئلة لا يوجد لها، بحكم البناء، إجابة تاريخية في أي مجموعة تدريب.

نهج ذو صلة ولكنه متميز هو النهج الذي تتبعه LLMEval-Fair، التي تحتفظ بخزانة خاصة تضم 220,000 سؤال على المستوى الجامعي وتسحب مجموعة فرعية جديدة غير منشورة لكل جلسة تقييم، مقترنة باكتشاف الغش والتصنيف النسبي بدلاً من العتبات الثابتة. و Flame، وهي إطار لتوليد إجرائي، تذهب خطوة أبعد: فبدلاً من تخزين أسئلة مكتوبة مسبقًا، تقوم بتجميع أسئلة جديدة عند الطلب من مواد مصدر أكاديمي، وتتحقق من منطقها الداخلي باستخدام وكلاء مدققين، وتزيل الإشارات السياقية التي قد تمكن النموذج من معرفة ما يتم اختباره.

ثمن ذلك

لا شيء من هذا مجاني. المعيار الذي يتغير كل أسبوع أصعب في إعادة الإنتاج، فالنتيجة من مارس والنتيجة من يونيو ليستا نفس الاختبار بدقة، مما يعقد النوع من المقارنة المرتبة على لوحة المتصدرين التي يريدها الجميع. كما ينقل الثقة إلى من يصون المسار: إذا بدأت المنظمة التي تدير LiveBench في السحب من مجموعة متحيزة أو أقل جودة من الأسئلة الجديدة، فلا يوجد مفتاح إجابة ثابت يمكن للمدققين الخارجيين التحقق منه كما كان الحال في النهاية مع GSM8K.

تبدو هذه المفاضلة جديرة بالاهتمام، على الأقل في الوقت الحالي. أنتج عصر المعايير الثابتة سلسلة من الاكتشافات المحرجة بعد وقوعها، معدلات تلوث قريبة من 92% في بعض مجموعات الاختبار متعددة اللغات، معدلات خطأ تصل إلى 42% في مسائل رياضية يُفترض أنها المعيار الذهبي، تشبع جعل لوحات المتصدرين بلا معنى. يوجد LiveBench ونظراؤه ذوو التحديث المباشر لأن المجال استنتج أن تاريخ انتهاء الصلاحية الحقيقي لأي معيار يأتي في اللحظة التي يصبح فيها مشهورًا بما يكفي ليستحق الحفظ.