MMLU
2 published articles
الذكاء الاصطناعيFeatured3 min read
تحليل المعايير
ما أخطأت فيه ثلاثة معايير ذكاء اصطناعي بشأن الأداء في العالم الحقيقي
تُعتبر معايير الذكاء الاصطناعي مثل MMLU المعيار لمقارنة النماذج، لكن ثلاث حالات حديثة تُظهر أنها تفتقد أبعادًا حاسمة. يفتقر نموذج Nemotron-4 من Nvidia إلى التحقق المستقل، بينما يقايض Celeris-1 الدقة بالسرعة، وأفضل ذكاء اصطناعي لمراقبة مسببات الأمراض لا يتجاوز نصف المهام. تشير الأدلة إلى الحاجة إلى أطر تقييم تقيس ما يهم في الممارسة العملية.
2026-07-29
معايير واختباراتFeatured2 min read
تحليل المعايير
سيطر معيار MMLU على تقييم الذكاء الاصطناعي لسنوات. ثم بدأت النماذج في إتقان الإجابات
حدد MMLU جيلًا من تقييم الذكاء الاصطناعي، لكن تلوث بيانات التدريب ومفتاح إجابات معيب دفعا المختبرات الحدودية نحو بدائل ديناميكية مثل HLE و GPQA Diamond.
2026-07-28