ما أخطأت فيه ثلاثة معايير ذكاء اصطناعي بشأن الأداء في العالم الحقيقي

تُعتبر معايير الذكاء الاصطناعي عملة مقارنة النماذج، لكن سعر الصرف معطل. الدرجة العالية في MMLU تشير إلى الذكاء؛ زمن الاستجابة المنخفض يوحي بالكفاءة. ثلاث حالات حديثة تثبت أن أياً منهما لا يضمن الأداء في العالم الحقيقي. يدّعي نموذج نيموترون-4 من نفيديا تحقيق ميزة تكلفة بنسبة 30% مقارنة بـ GPT-4 دون معايير موثقة تدعم ذلك. نموذج سيليريس-1 يستبدل الدقة بالسرعة بطريقة تفوتها الدرجات الخام. وأفضل عامل ذكاء اصطناعي لمراقبة مسببات الأمراض بالكاد يجتاز نصف المهام. كل حالة شاذة تكشف نقطة عمياء مميزة في كيفية قياس الصناعة للقدرة. معاً، يجادلون بأن مجموعة أدوات التقييم القياسية - MMLU، زمن الاستجابة، الدقة - ليست كافية للتنبؤ بما إذا كان النموذج سيعمل في البيئات الفوضوية عالية المخاطر حيث ينتهي به المطاف.

الطبقة الوسطى والتحقق المفقود

أصدرت نفيديا نموذج نيموترون-4 بحجمين، 8 مليارات و34 مليار معامل، بموجب ترخيص مفتوح متساهل. تقول الشركة إن النموذج الأكبر يسجل درجات ضمن نقطتين من GPT-4 في معيار MMLU مع استخدام 30% أقل من طاقة الاستدلال. إذا تم التحقق من ذلك، فسيجعل نموذج 34 مليار معامل أحد أقوى الخيارات مفتوحة الأوزان في فئة حجمه. لكن نفيديا لم تحدد أي متغير من GPT-4 قارنته به أو ما إذا كانت الفجوة بنقطتين على MMLU الكامل أم مجموعة فرعية. لم تؤكد اختبارات مستقلة من طرف ثالث الادعاء. بدونها، تهبط الأرقام إلى مساحة متنازع عليها حيث تتجمع بالفعل نماذج Llama 3.3 70B وMistral Large وQwen 2.5 72B في نطاقات دقة مماثلة. يراقب سوق الأوزان المفتوحة التكاليف منذ أن أعاد Kimi K3 تشكيل اقتصاديات الذكاء الاصطناعي في وقت سابق من هذا العام. يدخل نيموترون-4 تلك المحادثة، لكن ادعاء السعر والدقة يحتاج إلى اختبارات قابلة للتكرار قبل أن يغير أي قرارات شراء، كما يشير تحليل معيار نيموترون-4.

عندما تعيد السرعة كتابة القواعد

سجل نموذج سيليريس-1، الذي أصدره فريق غير تابع، 75.9% في MMLU-Pro بمتوسط زمن استجابة 158 ميلي ثانية، وفقا لتقرير معيار السرعة والجودة. هذا أسرع بثماني مرات من GPT-5 mini، الذي خسر فقط 2.6 نقطة دقة في نفس الاختبار. بالنسبة للتطبيقات في الوقت الفعلي حيث كل ميلي ثانية مهمة، هذه المقايضة هي بالضبط ما يجعل النموذج مفيداً. لكن لوحات المتصدرين القياسية ترتب النماذج حسب الدقة أولاً، مما يضع السرعة في حاشية. النموذج الذي يوفر 90% من الدقة عند 10% من زمن الاستجابة قد يكون الخيار الأفضل للإنتاج، لكن المعايير ليست مصممة لالتقاط هذا الحساب. المفاضلة بين السرعة والجودة حقيقية، وتحتاج المعايير إلى أخذها في الاعتبار. نموذج Mistral Nano، وهو تصميم آخر يركز على زمن الاستجابة، حقق 85% من قدرة الاستدلال لنظيره الأكبر على أجهزة بذاكرة أقل من 1 جيجابايت، كما أظهر معيار Mistral Nano الحدي. هذا يثبت أن المفاضلة بين السرعة والجودة ليست مجرد صدفة. يدفع سيليريس-1 هذا المنطق إلى أبعد من ذلك، وهذا يجب أن يجعل الصناعة تنتبه.

السقف الذي لا يتوقعه أي معيار

اختبر BioSecBench-Surveillance ستة عشر تكويناً لعامل ذكاء اصطناعي في 100 مهمة لمراقبة الجينوم. تمكنت أفضل الأداءات من تحقيق حوالي 50% دقة. لم تكن الأخطاء حول اختيار سير العمل الخاطئ بل حول أحكام تتطلب معرفة ضمنية من المختبرات الرطبة وبرامج مراقبة الأمراض، وفقاً لدراسة BioSecBench-Surveillance. يقدم مؤلفو الورقة المعيار كاختبار لما إذا كان يمكن الوثوق بالوكلاء في جائحة. عند 50%، الإجابة بوضوح ليست بعد. وقد لا تغلق الفجوة بنماذج أكبر وحدها؛ فالمعرفة البيولوجية المحيطة ليست قابلة للتعلم بشكل واضح من النص العام. الطبيعة المنهجية للأخطاء تشير إلى أن توسيع النماذج وحده من غير المرجح أن يغلق الفجوة. يسلط هذا المعيار الضوء على نقطة عمياء لا تستطيع MMLU والاختبارات المماثلة رؤيتها: القدرة على اتخاذ قرارات تعتمد على السياق في ظل قيود العالم الحقيقي.

إعادة التفكير في التقييم من الألف إلى الياء

لم يشهد معيار GLUE، الذي كان المعيار الذهبي لفهم اللغة، درجة جديدة كبيرة منذ عام 2022. تجاوزته النماذج. نفس النمط يحدث الآن مع MMLU، حيث تقترب النماذج الرائدة من التشبع. الحالات الشاذة الثلاث تجعل الحالة للتحول بعيداً عن التصنيفات ذات الرقم الواحد نحو مقاييس تتنبأ بالأداء حيث يهم حقاً، في الإنتاج، وليس على لوحة المتصدرين. يتضمن المسار المستقبلي درجات مركبة توازن بين السرعة والدقة، وبيئات وكيل واقعية، واختبارات خصومة للحكم. يجب أن تكون المعايير الجديدة خصومة، ومحددة المهمة، ومقاومة لـ