تم تصميم GPQA Diamond ليكون 'مقاومًا لجوجل'، لكن النماذج الحدودية تتجاوز الآن 95% على أي حال

GPQA تعني Google-Proof Q&A، والاسم هو قيد تصميمي وليس تسويقًا. كل سؤال في المجموعة كتبه خبير على مستوى الدكتوراه في الفيزياء أو الكيمياء أو الأحياء، ثم اختُبر على بشر غير خبراء منحوا وصولاً كاملاً وغير مقيد إلى محركات البحث. إذا لم يتمكن الإنسان المزوّد بمحرك بحث من العثور على الإجابة بشكل موثوق، تم اعتماد السؤال. مجموعة "Diamond" هي المستوى الأصعب: أسئلة حيث حتى الخبراء في المجال المعني، الذين يعملون دون ضغط زمني، لا يتفقون دائمًا.

هذا بالفعل حاجز صعب لتجاوزه. وهو أيضًا، بشكل متزايد، حاجز تتجاوزه النماذج الرائدة على أي حال. على لوحة المتصدرين الحالية، يسجل Claude Sonnet 5 نسبة 96.2%، وGPT-5.6 Sol 94.6%، وGemini 3.1 Pro 94.3%، وClaude Opus 5 وClaude Mythos 5 كلاهما فوق 95%. حتى النماذج الأقل في القائمة، مثل Kimi K3 بنسبة 91.5%، وGLM 5.2 بنسبة 90.8%، وDeepSeek V4 Flash بنسبة 89.2%، تعمل في نطاق كان لا يمكن تصوره عند إطلاق GPQA.

معيار يأكل خندقه الخاص

هذا هو نفس نمط الإشباع الذي قضى على MMLU، لكنه يصل بشكل أسرع لأن GPQA Diamond اختبار أصغر وأكثر تركيزًا. عندما يتجاوز كل نموذج رائد تقريبًا 89% أو أعلى، يتوقف المعيار عن التمييز بينها بشكل ذي معنى. تبدو نسبة 96.2% و89.2% فجوة كبيرة على الورق، لكن كلا النتيجتين تصفان نماذج تجيب، عمليًا، بشكل صحيح على كل سؤال تقريبًا قد يجيب عليه دكتوراه في المجال. تتركز الأخطاء المتبقية على الحالات الحدية المتنازع عليها حقًا والتي بُني حولها مستوى Diamond، وهي إشارة أضيق وأكثر ضوضاء مما قصده التصميم الأصلي للمعيار.

قارن هذا بـ Humanity's Last Exam، حيث تصل نفس النماذج الرائدة إلى حوالي 65%. المعياران يتجهان في اتجاهين مختلفين: GPQA Diamond ينفد منه المساحة في القمة، بينما لا يزال HLE يمتلك 35 نقطة من الفارق بين أفضل نموذج وأداء الخبير البشري. هذا التباين هو بحد ذاته معلومات مفيدة. يخبرك أن GPQA Diamond أصبح فعليًا اختبار تأكيد، وسيلة للتحقق من أن النموذج يتجاوز حدًا عاليًا من التفكير العلمي على مستوى الدراسات العليا، بدلاً من كونه مميزًا بين النماذج الرائدة الحالية وما سيأتي بعدها.

لماذا لا يزال يُستشهد به باستمرار

على الرغم من الإشباع، لم يُتقاعد GPQA Diamond كما حدث مع MMLU. جزء من ذلك هو الجمود: إنه رخيص التشغيل، ومفهوم جيدًا، وأسئلته المُعتمدة من الخبراء يصعب الجدال فيها مقارنة بمجموعة أسئلة اختيار من متعدد عادية. وجزء منه هو أن فشل نموذج في GPQA Diamond لا يزال علامة حمراء حقيقية، حتى لو لم يعد اجتيازه يفصل بين النماذج. يعامله الباحثون بشكل متزايد كحد أدنى يجب تجاوزه بدلاً من سقف يجب مطاردته، مع HLE ومعايير ديناميكية مقاومة للتلوث تقوم بالعمل الفعلي لترتيب الأنظمة الرائدة ضد بعضها البعض.