عامل الذكاء الاصطناعي الخاص بك اجتاز الاختبار بالصدفة. الآن هناك معيار لتقييم ذلك.

مع انتقال وكلاء نماذج اللغة الكبيرة من العروض التوضيحية الأولية إلى سير العمل الإنتاجي الحقيقي، أصبحت الفجوة بين ما يحققونه وكيف يفعلون ذلك تمثل نقطة عمياء خطيرة. تقدم ورقة بحثية جديدة نُشرت على arXiv في يوليو 2026 إطار عمل SkillCoach، الذي ينظر إلى العملية الكامنة وراء استخدام المهارات الوكيلية بدلاً من مجرد الإجابة النهائية. أولمو-إيفال من Ai2 يمنح مطوري LLM ميكروسكوبًا لكل نقطة تفتيش

أي شخص شاهد وكيلاً وهو يتخبط في مستودع من المهارات الموثقة يعرف المشكلة. قد يصل إلى الإجابة الصحيحة عن طريق التجربة والخطأ القسري. قد يلتقط مهارة مشتتة للانتباه تعمل بالصدفة. قد يتخطى الخطوات الوسيطة المطلوبة أو ينسى إجراء التحقق النهائي. المدققات التقليدية، التي تتحقق فقط من المخرجات النهائية، تعتبر كل هذه المسارات ناجحة. لكن من الواضح أن هذه ليست السلوكيات الموثوقة والقابلة للتدقيق التي تريدها في نظام إنتاجي. أفق التحقق: لماذا أصبح التحقق من وكلاء البرمجة أصعب من…

أربعة أبعاد لجودة العملية

يبني SkillCoach معايير عملية قائمة على المهارات من عمليات نشر الوكيل الفعلية ويقيس كل مسار على طول أربعة محاور:

• اختيار المهارة: هل اختار الوكيل المهارة الصحيحة للخطوة؟
• اتباع المهارة: هل نفذ الوكيل المهارة المختارة بشكل صحيح؟
• تركيب المهارات: هل دمج الوكيل المهارات بالتسلسل الصحيح؟
• التفكير القائم على المهارة: هل تحقق الوكيل من مخرجاته الخاصة مقابل النتائج المتوقعة للمهارة؟

من خلال الاحتفاظ بالمدقق الخارجي كإشارة نتيجة منفصلة، يمكن لـ SkillCoach التمييز بين التنفيذ النظيف القابل للتكرار والنجاح العرضي. المعايير ذاتية التطور، مما يعني أنها تتحسن بمرور الوقت مع جمع المزيد من المسارات وتتكيف مع مستودع المهارات المحدد والمجال.

كشف الإخفاقات الخفية

تُظهر تجارب الورقة البحثية أن المعايير المُطوّرة تُحسّن جودة التقييم بشكل كبير، مما يكشف عن إخفاقات قد يفوتها الدقة النهائية وحدها. خذ وكيلاً يختار مهارة مشتتة للانتباه، تلك التي تنتج الإجابة الصحيحة عن طريق مسار مختلف غير مقصود. سيعطيه المدقق النهائي علامة نجاح. سيرسبه SkillCoach في اختيار المهارة.

هذه الدقة تهم أكثر في التدريب. التصفية القائمة على النتائج فقط، والتي تختار فقط المسارات التي انتهت بالنجاح، يمكن أن تعزز عن غير قصد عادات عملية سيئة. يستخدم SkillCoach المعايير المُطوّرة كإشراف عملية بدلاً من ذلك، منتقيًا مسارات تدريب عالية الجودة تُظهر استخدامًا صحيحًا للمهارات في كل خطوة. أفاد المؤلفون أن هذه الإشارة أقوى بكثير لتحسين استخدام المهارات الوكيلية من التصفية القائمة على النتائج فقط. OPID يمنح وكلاء اللغة إشارة مكافأة كثيفة بما يكفي…

الآثار المترتبة على الوكلاء الإنتاجيين

يتزامن توقيت هذا البحث مع توجه صناعي أوسع نحو سير العمل الوكيلي الذي يحتاج إلى أن يكون قابلاً للتدقيق والموثوقية. مع قيام الشركات بنشر وكلاء للتعامل مع إجراءات التشغيل القياسية، وقواعد المجال، وسير عمل الأدوات، وروتينات التحقق، تصبح القدرة على تقييم ليس فقط النتيجة ولكن أيضًا جودة عملية التفكير أمرًا أساسيًا للامتثال والسلامة والثقة. تي سي إس وأنثروبيك تتعاونان لجلب كلود إلى القطاعات…

يشير SkillCoach إلى مستقبل تكون فيه تقييمات الوكيل صارمة مثل مراجعات الكود، حيث يتم فحص كل اختيار مهارة وخطوة تركيب بدلاً من مجرد الإجابة النهائية. البحث متاح حاليًا كمسودة أولية على arXiv، ومن المتوقع أن يتبع الكود والبيانات عبر المستودعات المرتبطة. وكلاء الذكاء الاصطناعي لا يستطيعون إكمال ترحيل Java دون…