957,253 سجلًا لا تخفي الفجوة: وكلاء الذكاء الاصطناعي يتفوقون في البرمجة لكنهم يتعثرون حيث تحتاجهم المؤسسات

لسنوات، واجه أي شخص يحاول مقارنة وكلاء الذكاء الاصطناعي عبر الاختبارات المعيارية فوضى من المهام غير المتوافقة، والسقالات المخصصة، والمدققات الفردية، وقواعد التسجيل المصممة بمعزل عن بعضها. قد يتفوق وكيل واحد في لوحة صدارة ويفشل في أخرى دون أي طريقة لمعرفة ما إذا كان الفرق ناتجًا عن قدرة حقيقية أم مجرد تصميم التقييم. جعل هذا التجزؤ من المستحيل تقريبًا الإجابة على السؤال الوحيد المهم: أين يتحسن الوكلاء فعليًا؟

يحاول كوربوس ميسييه، الذي نُشر على arXiv في 28 يوليو 2026، الإجابة على هذا السؤال على نطاق واسع. يجمع 957,253 سجلًا تغطي 30 اختبارًا معياريًا، و714 وكيلًا، و11,891 مهمة، و74,205 مدققًا. يتم توحيد كل سجل حسب النموذج، والسقالة، والبيئة، والمهمة، والمدقق، وقاعدة التجميع، ويتم تصنيفها برموز مهنية وصناعية. والنتيجة هي أول نظرة عالية الدقة عبر الاختبارات المعيارية على ما يمكن لوكلاء الذكاء الاصطناعي فعله وما لا يمكنهم فعله، والصورة ليست مشرقة بشكل موحد.

مشكلة التجزؤ

مشهد التقييم الحالي معروف بتشتته. تنشئ مجموعات بحثية مختلفة بيئات مخصصة، وتحدد معايير نجاحها الخاصة، وتشغل الوكلاء على سقالات غير متوافقة. حتى عندما يختبر اختباران معياريان مهارات متشابهة، نادرًا ما تكون النتائج قابلة للمقارنة لأن الأدوات الحاملة، أو المدقق، أو قاعدة التجميع تغير النتيجة بطرق لا علاقة لها بالوكيل نفسه. قام اختبار معياري حديث، OpenRTAG، بتنظيم مشكلات الجودة في بيانات الرسم البياني في تصنيف 3×3 ووجد أن فئات مختلفة من عائلات النماذج (GNNs التقليدية مقابل GNNs المعززة بـ LLM مقابل نماذج الرسم البياني الأساسية) تظهر أنماط حساسية مختلفة، وهو تذكير آخر بأن خيارات تصميم الاختبار المعياري تلون النتائج بعمق. في الوقت نفسه، كشف تدقيق Mistral الخاص لنظام OCR 4 الخاص بها أن الاختبارات المعيارية القياسية يمكن أن تعاقب المخرجات الصحيحة واقعيًا ولكنها منسقة خارج المخطط المتوقع، مما يخلق ضوضاء تحجب المكاسب الحقيقية. وأظهرت دراسة MosaicLeaks أن وكلاء البحث العميق يمكنهم تسريب بيانات خاصة من خلال استعلامات الويب حتى عندما لا يكون أي استعلام واحد متهمًا، وهو قلق يتعلق بالقدرة لا يقيسه أي اختبار معياري حالي.

الحدود غير المتكافئة

يؤكد كوربوس ميسييه أن تقدم المجال غير متساوٍ بشكل كبير عبر فئات الاختبارات المعيارية. تحدد الورقة ثلاث مناطق متميزة:

• استدعاء الدوال، مشبع. استقر أداء الوكلاء في اختبارات استدعاء الدوال، مما يشير إلى أن النماذج الحالية تعلمت آليات استدعاء الأدوات بقدر ما يمكن للاختبارات الحالية قياسه.
• البرمجة، متصاعدة. تشهد اختبارات البرمجة أسرع تحسن، مدفوعة بالتقدم في توليد الكود وتحرير المستودعات. يتماشى هذا مع دراسة منفصلة في يوليو 2024 من فريق HSCodeComp التابع لشركة Alibaba، والتي وجدت أن الوكلاء الأفضل لا يزالون يحققون دقة 49.4% فقط في تصنيف التعريفة الجمركية مقابل 95% للخبراء البشريين، ولكن هذا السقف هيكلي، وليس مجرد مسألة قوة حاسوبية. تظل مهام البرمجة التي تتطلب التفكير في قواعد العالم الحقيقي صعبة.
• سير العمل المؤسسي، متخلف. تظل فئات الاختبارات المعيارية التي تحاكي العمليات التجارية متعددة الخطوات وسلاسل الموافقة واستخدام الأدوات الخاصة بالمجال هي الأكثر تحديًا. يتطابق هذا الاستنتاج مع الاستراتيجية الأوسع لـ Alibaba، التي تركز على حصر المؤسسات في حزمة ذكاء اصطناعي متكاملة بدلاً من الفوز في اختبارات النماذج الفردية، وتقييم Gartner بأن وكلاء برمجة الذكاء الاصطناعي للمؤسسات مثل Cursor يتصدرون في اكتمال الرؤية ولكن إحصائية اعتماد 70% من شركات Fortune 500 لا تزال تستبعد عدد عمليات النشر هذه التي هي مجرد تجارب محدودة النطاق.

فخ النجاح الكامل

ربما يكون الاستنتاج الأكثر أهمية في ورقة ميسييه منهجيًا. عندما تتضمن المهمة عدة مدققات، على سبيل المثال، التحقق من أن الوكيل استعاد المستند الصحيح، واستخرج الحقل الصحيح، وقام بتنسيقه وفقًا لمخطط، تستخدم العديد من الاختبارات المعيارية قاعدة تجميع صارمة للنجاح الكامل: يحصل الوكيل على رصيد فقط إذا اجتاز كل مدقق. أجرى فريق ميسييه تمارين إعادة تسجيل مضادة ووجدوا أن قاعدة النجاح الكامل هذه تقلل بشكل منهجي من تقدير التقدم، خاصة في المهام الأصعب متعددة المدققات، ويمكن أن تغير ترتيب الوكلاء بشكل مصطنع. يبدو الوكيل الذي يجتاز تسعة من عشرة فحوصات مماثلاً للوكيل الذي يجتاز صفرًا. يردد هذا النتائج من دراسة PawBench السابقة، التي أظهرت أن تصميم الأدوات الحاملة يمكن أن يغير النتائج بأكثر من 11 نقطة للنماذج الأصغر، مما يكشف عن نقطة عمياء في كيفية تقييم المجال لخطوط أنابيب الوكلاء.

مقاييس القدرة التي تصمد

إذا تعذرت مقارنة نتائج الاختبارات المعيارية المختلفة بشكل مباشر، فهل يمكننا على الأقل استخلاص مقياس عام للقدرة؟ قام فريق ميسييه بذلك بالضبط. من السجلات الموحدة، قاموا بحساب مقاييس القدرة والتحقق من صحتها مقابل مؤشر تقييم القدرة (Evaluation Capability Index) الخاص بـ Epoch. التوافق قوي: معامل ارتباط سبيرمان (Spearman rank correlation) يبلغ 0.81. يشير هذا إلى أن الكوربوس يلتقط شيئًا حقيقيًا حول القدرة النسبية للوكيل، حتى عبر إعدادات التقييم المتنوعة. يمكن أيضًا تخصيص المقاييس حسب المجال أو المهنة أو مساحة العمل أو نوع المدقق، مما يجعلها مفيدة للتدقيق المستهدف، على سبيل المثال، السؤال عما إذا كان الوكلاء أفضل في هندسة البرمجيات من الاستدلال القانوني، أو ما إذا كانت النماذج الصغيرة تسد الفجوة في فئات معينة لاستخدام الأدوات.

ما يعنيه ميسييه للجيل القادم من الاختبارات المعيارية

كوربوس ميسييه ليس في حد ذاته اختبارًا معياريًا. إنها بنية تحتية للتقييم الفوقي، وطريقة لتدقيق الاختبارات المعيارية الحالية من حيث التحيز والمناطق الميتة وتحف التسجيل. تطرح الورقة الأمر على أنه "بنية تحتية تأسيسية وقابلة لإعادة الاستخدام لتوسيع نطاق قدرة الوكيل، وتدقيق الاختبارات المعيارية، والتحليل الدقيق لفشل التقييم." يأتي إصداره بالتزامن مع اعتراف متزايد بأن المجال بحاجة إلى معايير مشتركة. جادلت الورقة الأخيرة هل تقيس اختبارات الوكيل القدرة؟ (Do Agent Benchmarks Measure Capability؟) بأن صحة البروتوكول، أي ما إذا كان بروتوكول التقييم يختبر بالفعل القدرة المقصودة، تتطلب أدلة صريحة، وبدونها، تخاطر النتائج بأن تصبح بلا معنى. يوفر ميسييه بالضبط قاعدة الأدلة عبر الاختبارات المعيارية اللازمة لجعل تلك الفحوصات لصحة البروتوكول ممكنة. بالنسبة للمشترين المؤسسيين الذين يحاولون تحديد أي وكيل ينشر، أو للباحثين الذين يحاولون تحديد أين يستثمرون، يقدم ميسييه شيئًا كان المجال يفتقده: خريطة موحدة واحدة لقدرة وكيل الذكاء الاصطناعي، بكل عيوبها.