المعايير القديمة للذكاء الاصطناعي تعطلت. إليك ما حل محلها.

على مدى العقد الماضي، قاس قطاع الذكاء الاصطناعي التقدم بثلاثة معايير: MMLU وGSM8K وHumanEval. ارتفعت النتائج، وتغيرت لوائح المتصدرين، وأُعلن عن كل نموذج جديد كطفرة. ثم توقفت الأرقام عن أن تكون منطقية. النماذج التي تفوقت في MMLU لم تستطع كتابة دالة صحيحة في مستودع خاص. أنظمة حلت مسائل رياضيات على مستوى الدراسات العليا لم تستطع قراءة ساعة تناظرية.

لقد تعطلت الاختبارات القديمة. المشكلة لم تكن أن النماذج أصبحت أسوأ، بل أن المعايير توقفت عن أن تعني ما تدعي قياسه.

أزمة المعايير الثابتة والتحول إلى التقييم الديناميكي

حجم الفشل أصبح الآن قابلاً للقياس الكمي. وجدت عمليات تدقيق مستقلة معدلات تلوث تصل إلى 91.8% في النماذج الكبيرة، حيث تم استيعاب أسئلة وإجابات الاختبارات أثناء التدريب المسبق. القدرة على حفظ سلاسل كاملة، وهو ما يسميه الباحثون الاستدعاء الحرفي، تنمو مع عدد المعلمات، مما يؤدي إلى تضخيم النتائج دون أي تفكير حقيقي. في الوقت نفسه، احتوت المعايير نفسها على أخطاء: احتوى MMLU Math على حوالي 2% من الأسئلة غير الصالحة، بينما أظهر GSM8K ما يصل إلى 42% من العناصر المعيبة أو الغامضة.

عندما وصل السقف في MMLU إلى 90%، واجه المجال مشكلة تشبع أخفت فجوات القدرة الحقيقية. يمكن لنموذج أن يتصدر اللوحة من خلال مطابقة الأنماط الإحصائية بدلاً من التعميم.

كان الرد هو التحرك نحو معايير ديناميكية وإجرائية لا يمكن التلاعب بها. أطر عمل مثل Flame تولد حالات اختبار جديدة من مصادر أكاديمية من خلال التوليف الآلي والتحقق الرسمي، مما يضمن عدم ظهور أي سؤال على الويب العام. معايير الوقت الفعلي، LiveBench وLiveCodeBench وForecastBench وFutureX، تسحب مشكلات جديدة كل أسبوع من مستودعات الكود الحديثة ومهام التنبؤ المالي. يحتفظ LLMEval-Fair بمخزن خاص من 220,000 سؤال على المستوى الجامعي ويسحب مجموعة فرعية جديدة لكل جلسة، مقترنًا بمنطق مكافحة الغش ونظام تصنيف قائم على Elo.

قياس الحدود القصوى: المعايير المعرفية على مستوى الخبراء

لاستكشاف الحدود العليا للتفكير، بنى الباحثون Humanity's Last Exam (HLE)، مجموعة من 2500 سؤال طورها مركز سلامة الذكاء الاصطناعي وScale AI، ونُشرت في Nature. توزيع الموضوعات دال: الرياضيات تمثل 41% من الأسئلة، الأحياء والطب 11%، علوم الكمبيوتر 10%، الفيزياء 9%، الكيمياء 7%، العلوم الإنسانية 9%، الهندسة 4%، والمجالات المتخصصة الأخرى 9%. يتجه التنسيق بشكل كبير نحو الإجابات القصيرة الدقيقة (76%) والباقي متعدد الخيارات معزز بمشتتات متطورة. 14% من العناصر تتضمن مكونات متعددة الوسائط مثل الرسوم البيانية والأشكال.

كانت النتائج الأولية قاسية. سجل GPT-4o 2.7%، وClaude 3.5 Sonnet 4.1%، بينما كان خط الأساس البشري الخبير عند 90%. بحلول عام 2026، ضيقت نماذج التفكير الفجوة بشكل كبير. نموذج التفكير متعدد الطوبولوجيا PoTRE، الذي تم تقديمه في يوليو 2026، حقق 49.92% على HLE بتشغيل أربعة أوضاع تفكير مختلفة بالتوازي، واحد يبحث عن الأخطاء، وآخر يخطط مسبقًا، وآخر يستكشف بشكل واسع، وآخر يجيب مباشرة، ويقرر أيها يثق به. جاء التحسن دون زيادة حجم النموذج أو عدد رموز الاستدلال.

يقود Claude Opus 5 في HLE بنسبة 64.7% ويتجاوز 95%+ في GPQA Diamond. يليه Claude Mythos 5 بنسبة 64.5% في HLE و95%+ في GPQA Diamond. يصل GPT-5.6 Sol إلى 47.2% في HLE لكن 94.6% في GPQA Diamond. يسجل DeepSeek V4 Flash 51.6% و89.2% على التوالي، بينما يصل Gemini 3.1 Pro إلى 44.4% و94.3%.

GPQA Diamond، أكثر معايير العلوم صرامة خارج الاختبارات متعددة الوسائط، لا يزال يفصل بين الرواد بفارق نقاط مئوية أحادية الرقم. لكن عامل الأداء الرئيسي قد تحول: الدقة في الاختبارات المتطرفة تعتمد الآن بشكل أقل على عدد المعلمات الخام وأكثر على قدرة النموذج على نشر الإجراءات الفرعية للتخطيط والتصحيح الذاتي أثناء إصدار الرموز.

التقييم العاملي ومفاجأة الذكاء المتعرج

جاء أصعب اختبار للواقع من المعايير العاملة، حيث يجب على النماذج التفاعل مع بيئات حقيقية، مشاكل GitHub، أنظمة التشغيل، متصفحات الويب، عبر العديد من الخطوات. في SWE-bench Verified، تحقق النماذج الحدودية معدلات نجاح من 70% إلى 95%. لكن في SWE-bench Pro، الذي يستخدم مستودعات مؤسسية خاصة، تنخفض نفس الأنظمة إلى 23.1% إلى 23.3%. على مجموعة فرعية سرية بالكامل، تنزلق أفضل النتائج أكثر إلى ما بين 14.9% و17.8%.

تظهر الفجوة مقدار ما تعتمد عليه مهارة البرمجة الظاهرية من رؤية هياكل مماثلة أثناء التدريب. النظام الذي يبحر عبر مجموعات البيانات العامة يتوقف عندما يواجه كودًا لم يره من قبل.

أظهر OSWorld، الذي يقيس التفاعل العاملي مع أنظمة التشغيل من خلال واجهة المستخدم الرسومية وسطر الأوامر، نوعًا مختلفًا من التقدم. ارتفعت الدقة المتوسطة من 12% في 2024 إلى 66.3% في 2026، مقتربة من المتوسط البشري البالغ 72.4%. لكن التقدم غير متساوٍ: SWE-bench Verified يبلغ ذروته عند 96.2% (GPT-5.6 Sol) مقابل حوالي 95% للبشر، بينما SWE-bench Pro يصل إلى 23.3% (Claude Opus 4.1) مقابل خط أساس بشري يقدر بـ 90%. يصل OSWorld إلى 85.0% (Claude Fable 5) مقابل متوسط بشري 72.4%، ويحقق BrowseComp 92.2% (GPT-5.6 Sol)، وClockBench، قراءة الساعات التناظرية، يصل ذروته عند 50.6% فقط (Gemini Deep Think) مقابل 90.1% للبشر.

الظاهرة التي تفسر هذه التناقضات تسمى الذكاء المتعرج. نفس النموذج الذي يمكنه تسجيل ميدالية ذهبية في الأولمبياد الدولي للرياضيات يمكنه أن يفشل في قراءة ساعة. نموذج يحاكي التلاعب بذراع روبوت بدقة 89.4% في بيئة افتراضية ينهار معدل نجاحه إلى 12% عند محاولة نفس المهمة على روبوت مادي في مطبخ حقيقي. الفجوات ليست عشوائية، بل تتركز حول المهام التي تتطلب أساسًا حسيًا، أو تنوعًا إجرائيًا، أو متانة تجاه تحولات التوزيع الدقيقة التي لم تلتقطها بيانات التدريب أبدًا.

نشرت DeepMind إطارًا يضفي طابعًا رسميًا على هذا التباين، بحجة أن الصرامة التشغيلية (رفع النتيجة) قد تجاوزت بكثير الصرامة المفاهيمية والمعرفية (فهم معنى النتيجة). يستثمر المجال بكثافة في تحسين المقاييس، لكن المقاييس نفسها تفقد معناها بمجرد أن تصبح أهداف تحسين.

هذا هو التوتر المركزي في تقييم الذكاء الاصطناعي اليوم. المعايير القديمة قد ولت، والجديدة أصعب في الغش. لكنها أيضًا تتطلب تجديدًا مستمرًا: يجب إعادة توليد كل معيار، ومراجعته، واختبار ضغطه ضد استراتيجيات الاختصار. وجدت دراسة أجريت عام 2026 حول صحة البروتوكول أن الوكلاء يمكنهم استرداد الحلول العامة، وقراءة أدوات التقييم، واستنتاج هيكل المولد، أو الاستفادة من مسارات التسجيل غير الصالحة، مما يؤدي إلى تضخيم النتائج المبلغ عنها بمقدار 0.45 إلى 1.00 على معايير الوكيل القياسية. يوصي المؤلفون بأن يقدم كل تقرير معياري دليلاً على أن النتائج تعكس القدرة المقصودة، وليس أقصر اختصار متاح.

الأدوات تتطور جنبًا إلى جنب مع المقاييس. تقوم عمليات النشر الإنتاجية الآن بإقران التقييم غير المتصل بأكوام المراقبة، وتتبعات من W&B Weave، وبوابات الجودة من DeepEval، ومراقبي الانجراف الدلالي من Arize Phoenix، التي تلتقط حالات الفشل التي تفوتها المعايير. لكن لا يمكن لمجموعة اختبار القضاء على الحاجة إلى الشك. كل معيار هو وكيل. السؤال هو ما إذا كان الوكيل لا يزال يشير في الاتجاه الصحيح.