العائق الذي يعيق وكلاء الذكاء الاصطناعي ليس الاستكشاف، بل التقييم

يمكن لوكلاء الذكاء الاصطناعي بالفعل الاستكشاف. يرمون الشيفرة على متصفح، ويجربون أمرًا في شل، ويفشلون، ويعيدون المحاولة. هذا الجزء جيد. ما لا يستطيعون فعله، بشكل موثوق، هو تحديد ما إذا كانوا قد أصابوا. وبدون هذه الإشارة، يتوقف التعلم التعزيزي. تواجه ورقتان بحثيتان نُشرتا مؤخرًا على Hugging Face هذا من زوايا متعاكسة، وتشكلان معًا خريطة لاتجاه تقييم الوكلاء. أداة IBM مفتوحة المصدر CUGA تتجاوز التعقيدات وتذهب…

الأولى، AJ-Bench: معيار لوكيل كقاضٍ للتقييم المدرك للبيئة (arXiv 2604.18240)، تقيس مدى قدرة وكيل قاضٍ على التحقق من السلوك من خلال التفاعل بنشاط مع العالم، وتشغيل الاستعلامات، والنقر على الأزرار، وتمرير النتائج، قبل أن يقرر ما إذا كانت الخطوة صحيحة. الثانية، HeavySkill: التفكير العميق كمهارة داخلية في إطار الوكلاء (arXiv 2605.02396)، تجادل بالعكس: القاضي الأكثر موثوقية يقع داخل معلمات النموذج نفسه، وليس على الإنترنت.

فجوة التحقق

تعتمد الممارسة الحالية على دعامتين. تتحقق المدققات القائمة على القواعد من مجموعة ضيقة من الشروط وتفوت كل شيء آخر. تنتج نماذج LLM-كقاضي أحكامًا نوعية دون لمس البيئة أبدًا. تنهار كلتاهما عندما ينتقل الوكلاء من المعايير المنسقة إلى المهام المفتوحة التي تحتاج إلى إجابات قائمة على الحقائق. IFBench: المعيار الجديد لاختبار اتباع الذكاء الاصطناعي…

تم بناء AJ-Bench لقياس مدى اتساع هذه الفجوة. ابتكر مؤلفوها، من جامعة تشجيانغ ومتعاونين، 155 مهمة عبر مجالات البحث والبيانات وواجهات المستخدم الرسومية، مع 516 مسارًا مشروحًا. يختبر المعيار ثلاث قدرات: اكتساب المعلومات (هل يمكن للقاضي العثور على السياق الصحيح؟)، التحقق من الحالة (هل يقيم حالة البيئة بشكل صحيح؟)، و التحقق من العملية (هل يمكنه التحقق من كل خطوة؟).

أظهرت النتائج أن القضاة القائمين على الوكلاء، أولئك الذين يمكنهم تشغيل الاستعلامات والتفاعل مع البيئة، يتفوقون باستمرار على خطوط الأساس الثابتة لـ LLM. لكن حتى أفضل قضاة الوكلاء ما زالوا يتعثرون في التحقق من العملية، خاصة في مهام واجهة المستخدم الرسومية متعددة الخطوات حيث يجب تأكيد الحالات الوسيطة.

"إن العائق الرئيسي في توسيع نطاق التعلم التعزيزي لوكلاء الذكاء الاصطناعي ليس فقط الاستكشاف، بل التقييم،" يكتب المؤلفون في ملاحظة مجتمعية. "بينما يعمل الوكلاء في بيئات أوسع وأكثر انفتاحًا، نحتاج إلى قضاة وكلاء يمكنهم استخدام الأدوات، والتحقق من حالات البيئة، وإنتاج إشارات تغذية راجعة قائمة على الواقع."

يظهر نفس العائق في أعمال أخرى حديثة. وكلاء الذكاء الاصطناعي المكلفون بترحيل جافا للمؤسسات، على سبيل المثال، يفشلون ليس لأنهم لا يستطيعون كتابة الشيفرة، ولكن لأنهم لا يستطيعون الحكم على ما إذا كان الترحيل مكتملاً بدون خادم بناء يخبرهم. وكلاء الذكاء الاصطناعي لا يستطيعون إكمال ترحيل Java دون…

التفكير كمهارة داخلية

تتخذ HeavySkill نهجًا مختلفًا. بدلاً من تعليم الوكيل الوصول إلى أدوات خارجية، تقترح أن التقييم الأكثر قابلية للتوسع هو مهارة تفكير من مرحلتين مضمنة مباشرة في النموذج: التفكير الموازي متبوعًا بـ التلخيص.

تحت هذا الإطار، يقوم الوكيل الذي يواجه مهمة معقدة أولاً بتوليد K من مسارات التفكير المستقلة على التوازي، ثم يقوم بتجميعها في إجابة نهائية من خلال التحليل النقدي. العملية برمتها هي مهارة واحدة قابلة للتعلم، يمكن تحسينها من خلال التعلم التعزيزي بدلاً من تنسيق الأدوات الخارجية. الرؤية المركزية للورقة هي أن العديد من أطر الوكلاء الحالية تحجب ما يدفع الأداء بالفعل. "تبقى الآلية الأساسية التي تدفع الأداء حقًا مخفية وراء تصاميم نظام معقدة،" كما يجادل المؤلفون.

تتفوق HeavySkill باستمرار على استراتيجيات Best-of-N التقليدية، مع نماذج LLM أقوى تقترب من أداء Pass@N. وهذا يردد نتائج أبحاث أخرى: تقطير المهارات على السياسة، حيث تتعلم النماذج من مساراتها المكتملة الخاصة، يمكن أن يعزز تدريب الوكيل دون الاعتماد على ذكريات خارجية. OPID يمنح وكلاء اللغة إشارة مكافأة كثيفة بما يكفي…

حيث يلتقي المساران

على الرغم من اختلافاتهما الفلسفية، تتلاقى الورقتان على نفس النقطة: القضاة الأفضل هم المفتاح للتوسع. سواء كان القاضي يتفاعل مع البيئة أو مع تفكيره الداخلي، فإن الحاجة الأساسية للتحقق القائم على الواقع والمدرك للعملية هي نفسها. يرى مؤلفو HeavySkill مسارًا واضحًا: "يمكن توسيع نطاق عمق وعرض التفكير العميق، كمهارة قابلة للتعلم، بشكل أكبر عبر التعلم التعزيزي." مساهمو AJ-Bench مباشرون بنفس القدر: "القضاة الأفضل يوسعون نطاق السلوكيات التي يمكن تقييمها بشكل موثوق."

قد ينتهي التوتر بين التحقق الخارجي والتفكير الداخلي إلى مزيج. يمكن تعزيز خط أنابيب HeavySkill بالتفاعل مع البيئة في مرحلة التلخيص. أو يمكن لمعيار AJ-Bench تقييم قضاة من نوع HeavySkill في إعدادات ديناميكية، لاختبار ما إذا كان التفكير الداخلي يصمد عندما تقاوم البيئة.

يعكس هذا نمطًا أوسع في أبحاث الوكلاء. تحاول أطر مثل SkillCoach بالفعل تعليم الوكلاء تقييم اختيار واستخدام مهاراتهم الخاصة، ويتولى إطار CUGA من IBM التنسيق حتى يتمكن الوكلاء من التركيز على الحكم. عامل الذكاء الاصطناعي الخاص بك اجتاز الاختبار بالصدفة.…

ماذا بعد

كلتا الورقتين في مرحلة مبكرة. لم يتم الاستشهاد بأي منهما من قبل نماذج أخرى على Hugging Face حتى الآن. المجتمع بدأ للتو في التعرف على عنق الزجاجة في التحقق. لكن الاتجاه واضح. مع توسع نطاق التدريب على التعلم التعزيزي للوكلاء، لن يكون العامل المحدد هو القوة الحاسوبية للاستكشاف. سيكون جودة إشارة التقييم. بدأ السباق لبناء قضاة أفضل.

البيانات والشيفرة لـ AJ-Bench متوفرة على موقع المشروع. لم يطلق مؤلفو HeavySkill شيفرتهم بعد، لكن إطار الورقة موصوف بتفاصيل كافية لإعادة إنتاجه.