معايير الذكاء الاصطناعي
23 published articles
وكلاء البرمجة المستقلون · مسودة arXiv البحثية
Harness-of-Harness يزعم تحقيق زيادة بنسبة 52.25% عبر تشغيل وكلاء برمجة آخرين
يلفّ HoH أُطر تشغيل وكلاء البرمجة القائمة في حلقات متكررة من التخطيط والبرمجة والاختبار، ويُبلغ عن متوسط زيادة نسبية قدرها 52.25% عبر ثلاث مجموعات اختبار مرجعية. يترك الملخص المقياس الأساسي وتكلفة الموارد والتوزيع بحسب كل نموذج دون تحديد.
2026-09-25
MiniCPM5-2B من OpenBMB: 2.52 مليار معلمة وطموحات بحجم 4 مليارات
نموذج بحجم 2.52 مليار معلمة يتفوق على منافسين بحجم 4 مليارات، في مجموعة اختبارات أجراها مطوّره بنفسه
نموذج برخصة Apache-2.0 بحجم 2.52 مليار معلمة يتجاوز نماذج مفتوحة أكبر حجمًا في البرمجة واستخدام الأدوات والسياق الطويل، مع جدول اختبارات تقول OpenBMB إنه يمزج بين اختبارات داخلية وأخرى من أطراف ثالثة.
2026-09-22
الذكاء الاصطناعي الأصيل للآلات والمعايير الكامنة خلفه
تقول TypeSafe AI إنها أسرع من نماذج اللغة الكبيرة بـ193 مرة. لكن دليلها الخاص يُظهر 75 مرة.
تسمي TypeSafe AI نموذج Jev أول نموذج System One: نظام مُصمم لإرجاع قرارات مُنمّطة إلى البرمجيات، دُرّب بخوارزمية تسميها RLCD. تدّعي صفحة الإطلاق انعدام الهلوسة وميزة سعرية بـ238 مرة مقارنة بخط أساس واحد مُسمى، Claude Fable 5.1.
2026-09-21
أبحاث الذكاء الاصطناعي: ضبط مخاطر المحتوى الصناعي
مكسب SIRF البالغ 15.1 نقطة يقيم في الأوزان، لا في التوجيه
ينقل SIRF قواعد الإشراف في المنصة من التوجيه إلى أوزان النموذج عبر التدريب المسبق المستمر على بيانات سياسات اصطناعية. نقطة البيع الحقيقية للورقة هي ضبطها: متغير واحد تغيّر، و15.1 نقطة تحققت.
2026-09-19
ذكاء اصطناعي مفتوح المصدر: علي بابا تفتح فئة Max
Qwen 3.8-Max: نموذج علي بابا الأقوى أصبح الآن متاحًا للتحميل مجانًا
تفتح علي بابا المصدر لنموذجها الأقوى على الإطلاق Qwen 3.8-Max: نموذج MoE بمعاملات 2.4T يتفوق على GPT-5.6 Sol في SWE-bench Pro وPaperBench وIFBench. نحلل تحفظات هذه المعايير وما يعنيه نموذج رائد مفتوح بنشاط 95B للمطورين.
2026-08-16
الذكاء الاصطناعي مفتوح المصدر
Qwen3.8-Max يتفوق على 458 فريقًا بشريًا في 24 ساعة، وهو يعمل بمفرده
تفوق Qwen3.8-Max على 458 من أصل 526 فريقًا بشريًا في مسابقة استمرت 24 ساعة بينما كان يعمل بمفرده، وستفتح Alibaba مصدر أوزانه الأسبوع المقبل. كل رقم حتى الآن ورد من الشركة نفسها، وهذا تحديدًا هو السبب الذي يجعل ادعاءات الاستقلالية تستحق التدقيق.
2026-08-03
تقرير خاص: تقييم الذكاء الاصطناعي
حالة قياس أداء الذكاء الاصطناعي في عام 2026: انهيار الاختبارات الثابتة والأنظمة التي حلت محلها
جولة شاملة في مشهد قياس أداء الذكاء الاصطناعي لعام 2026: لماذا انهارت MMLU وGSM8K وHumanEval، وكيف حلت محلها المعايير الديناميكية والامتحانات الخبيرة مثل HLE وGPQA Diamond، وما يكشفه اختبار العوامل والذكاء المتعرج، وكيف تكمل الآن التفضيلات البشرية، ومحكمو نماذج اللغات الكبيرة، والمراقبة الإنتاجية مجموعة التقييم الكاملة.
2026-08-03
تحليل المعايير
LiveBench يرفض البقاء ثابتًا. هذا هو المغزى كله
يستبدل LiveBench مفتاح إجابة ثابت بمجموعة محدثة باستمرار من مشاكل البرمجة والمستودعات وأسئلة التوقع، متجاوزًا التلوث الذي قوض MMLU و GSM8K. إنه جزء من تحول أوسع نحو التقييم الديناميكي إلى جانب LiveCodeBench و ForecastBench و LLMEval-Fair.
2026-08-03
تحليل قياس الأداء
5 ملايين صوت، 25 نقطة إيلو: داخل لوحة متصدرين Chatbot Arena التي لا يمكن لأحد زعزعتها
يُصنف LMSYS Chatbot Arena النماذج حسب التفضيل البشري الأعمى على مقياس إيلو، مع ما يقرب من خمسة ملايين صوت الآن تزحم المختبرات الرائدة في نطاق 25 نقطة. تحمل طرق LLM-as-a-Judge التي توسع نطاق هذا النوع من التقييم تحيزاتها الموثقة تجاه الإسهاب والموضع.
2026-08-02
تحليل المعايير
في SWE-bench Verified، النماذج العليا تحقق 96%. أما على الكود المؤسسي الخاص، فبالكاد تتجاوز 23%
يجعل SWE-bench Verified النماذج الحدودية تبدو قريبة من حل هندسة البرمجيات الواقعية، بأعلى الدرجات فوق 95%. أما SWE-bench Pro، الذي يُجرى على مستودعات مؤسسية خاصة، فيخفض نفس النماذج إلى 23% أو أقل، مما يكشف مدى اعتماد نتيجة Verified على التعرض للبيانات العامة.
2026-08-02
تحليل المعايير
تم تصميم GPQA Diamond ليكون 'مقاومًا لجوجل'، لكن النماذج الحدودية تتجاوز الآن 95% على أي حال
تم تصميم GPQA Diamond بحيث لا يستطيع البشر المجهزون بالبحث الإجابة بشكل موثوق على أسئلته العلمية من مستوى الخبراء. النماذج الحدودية الآن تتجاوز 89% إلى 96%، مما يدفع المعيار نحو نفس التشبع الذي أخرج MMLU من الاستخدام.
2026-08-01
تحليل المعايير
امتحان البشرية الأخير بدأ بنتيجة 2.7%. أفضل النماذج لا تزال عاجزة عن تجاوز 65%
بُني امتحان البشرية الأخير من قبل CAIS وScale AI ليحل محل MMLU كأصعب معيار عام لنماذج اللغة الكبيرة. بعد عامين، حتى النتيجة الرائدة لكلود أوبوس 5 البالغة 64.7% لا تزال أقل بكثير من خط الأساس البشري الخبير البالغ 90%.
2026-07-31