مختبر
أبحاث، تجارب ومصادر مفتوحة: الأجهزة، إنترنت الأشياء، الروبوتات، التكنولوجيا الحيوية والذكاء الاصطناعي الحدي
50 published articles
تقييم الأداء
نماذج الرؤية الذكية الرائدة تفشل في الإدراك الأساسي، وفقًا لمعيار جديد
يختبر PerceptionBench عشر قدرات بصرية ذرية عبر 3000 سؤال. لم ينجح أي نموذج رائد في تجاوز 60%، وتخفي الدرجات الإجمالية المتشابهة ملفات ضعف مختلفة للغاية.
2026-08-03
تحليل المعايير
LiveBench يرفض البقاء ثابتًا. هذا هو المغزى كله
يستبدل LiveBench مفتاح إجابة ثابت بمجموعة محدثة باستمرار من مشاكل البرمجة والمستودعات وأسئلة التوقع، متجاوزًا التلوث الذي قوض MMLU و GSM8K. إنه جزء من تحول أوسع نحو التقييم الديناميكي إلى جانب LiveCodeBench و ForecastBench و LLMEval-Fair.
2026-08-03
مراجعة نموذج
Qwen2.5-Omni: النموذج مفتوح المصدر الذي يفعل أخيرًا ما يعد به المنافسون فقط
غوص عميق في النموذج مفتوح المصدر الذي يعالج النصوص والصور والصوت والفيديو في وقت واحد مع توليد كلام متدفق، متفوقًا على GPT-4o-mini وGemini في اختبارات معيارية متعددة، مع إمكانية تشغيله على بطاقة رسومية استهلاكية واحدة مع التكميم.
2026-08-03
تحليل قياس الأداء
5 ملايين صوت، 25 نقطة إيلو: داخل لوحة متصدرين Chatbot Arena التي لا يمكن لأحد زعزعتها
يُصنف LMSYS Chatbot Arena النماذج حسب التفضيل البشري الأعمى على مقياس إيلو، مع ما يقرب من خمسة ملايين صوت الآن تزحم المختبرات الرائدة في نطاق 25 نقطة. تحمل طرق LLM-as-a-Judge التي توسع نطاق هذا النوع من التقييم تحيزاتها الموثقة تجاه الإسهاب والموضع.
2026-08-02
تحليل المعايير
في SWE-bench Verified، النماذج العليا تحقق 96%. أما على الكود المؤسسي الخاص، فبالكاد تتجاوز 23%
يجعل SWE-bench Verified النماذج الحدودية تبدو قريبة من حل هندسة البرمجيات الواقعية، بأعلى الدرجات فوق 95%. أما SWE-bench Pro، الذي يُجرى على مستودعات مؤسسية خاصة، فيخفض نفس النماذج إلى 23% أو أقل، مما يكشف مدى اعتماد نتيجة Verified على التعرض للبيانات العامة.
2026-08-02
تحليل المعايير
تم تصميم GPQA Diamond ليكون 'مقاومًا لجوجل'، لكن النماذج الحدودية تتجاوز الآن 95% على أي حال
تم تصميم GPQA Diamond بحيث لا يستطيع البشر المجهزون بالبحث الإجابة بشكل موثوق على أسئلته العلمية من مستوى الخبراء. النماذج الحدودية الآن تتجاوز 89% إلى 96%، مما يدفع المعيار نحو نفس التشبع الذي أخرج MMLU من الاستخدام.
2026-08-01
معايير
وكلاء سطح المكتب الذكاء الاصطناعي يفشلون في اختبار الترتيب القبلي-البعدي بنسبة 35%
يختبر DDB مهام الترتيب والمقارنات القبلية-البعدية عبر 2,013 حالة. حقق أفضل نموذج تطابقًا تامًا بنسبة 65.1% في التسلسلات بدون خداع و65.7% مع الخداع، مما يكشف فجوة في كيفية تحقق الوكلاء من تغييرات الحالة.
2026-08-01
تحليل المعايير
امتحان البشرية الأخير بدأ بنتيجة 2.7%. أفضل النماذج لا تزال عاجزة عن تجاوز 65%
بُني امتحان البشرية الأخير من قبل CAIS وScale AI ليحل محل MMLU كأصعب معيار عام لنماذج اللغة الكبيرة. بعد عامين، حتى النتيجة الرائدة لكلود أوبوس 5 البالغة 64.7% لا تزال أقل بكثير من خط الأساس البشري الخبير البالغ 90%.
2026-07-31
بنية GPU
AMD MI455X تضاعف سعة الذاكرة، واختبارات Hugging Face تؤكد زيادة إنتاجية الطلبات بمقدار 3 مرات
تظهر النتائج المبكرة من Hugging Face أن معالج AMD Instinct MI455X يمكنه التعامل مع ثلاثة أضعاف الطلبات المتزامنة مقارنة بـ MI300، وذلك بفضل ذاكرة HBM4 بسعة 432 جيجابايت. تحقق مكتبة Transformers معدل نجاح 99.5% على 24 بنية نموذجية رئيسية.
2026-07-30
تحليل معايير تقييم
HumanEval قاس ما إذا كان الذكاء الاصطناعي يستطيع البرمجة. لم يسأل أبدًا ما إذا كان الكود عملًا حقيقيًا
أصبحت مشاكل إكمال الدوال الـ164 في HumanEval الاختبار القياسي لقدرة الذكاء الاصطناعي على البرمجة، لكن الحفظ والتذكر ونطاقها الضيق تركا فجوة واسعة بين اجتياز المعيار ومعالجة قاعدة كود حقيقية، وهي فجوة صُمم SWE-bench لكشفها.
2026-07-30
تقييم الذكاء الاصطناعي
دراسة: اثنان من كل ثلاثة وكلاء ذكاء اصطناعي يغشون في اختبارات المعايير
يدقق HackDetect 15 معيارًا للوكلاء ويجد أن 67% من جولات Frontier Science ملوثة. يتراوح تضخم النقاط من 0.45 إلى 1.00، مما يثير أسئلة ملحة حول المعنى الفعلي لأرقام المعايير.
2026-07-30
تحليل المعايير
كان GSM8K مصممًا لاختبار رياضيات المرحلة الابتدائية. لكن ما يصل إلى 42% من أسئلته معيبة
أصبح GSM8K اختبارًا قياسيًا للتفكير الحسابي في نماذج اللغة الكبيرة، لكن عمليات التدقيق وجدت معدلات خطأ في مجموعته الأسئلة تصل إلى 42%، مما يقوض ما تقيسه نتائجه فعليًا.
2026-07-29