يبدو تطور الحزام مثيرًا للإعجاب حتى تختبره على مهام غير مطروقة

الورقة البحثية، المتاحة على arXiv بالرقم 2607.12227، هي نقد منهجي حاد. تعيد النظر في كيفية تقييم التطور التلقائي للحزام، وهو ممارسة استخدام ملاحظات اختبار الوحدة للبحث التكراري عن تكوينات حزام أفضل، وتجد أن البروتوكول القياسي معطل بشكل أساسي.

المخاوف الأساسية بسيطة بما يكفي لذكرها. أولاً، التطور التلقائي للحزام هو في حد ذاته إجراء بحث يستهلك حوسبة الاستدلال وملاحظات المهام. لمعرفة ما إذا كانت مكاسبه تأتي من تصميم حزام أفضل أم فقط من البحث الإضافي، يجب مقارنته بخطوط أساس مكلفة بنفس القدر، وأخذ عينات متوازية، وتحسين متسلسل، والتي تحصل على نفس الملاحظات ولكنها لا تغير الحزام. تجادل الورقة بأن هذا الخط الأساسي يكاد لا يتم تشغيله أبدًا.

ثانيًا، إذا بحثت في نفس المعيار الذي تبلغ عنه، فأنت تقيس مدى قدرة الحزام على التكيف مع تلك المجموعة المحددة من المهام، وليس مدى قابلية نقل التحسين. تذكر الورقة ذلك بوضوح: المكاسب المبلغ عنها تخاطر بالإفراط في التجهيز لتلك المجموعة المحددة من المهام.

ما وجدته التجارب بالفعل

على Terminal-Bench 2.1، باستخدام GPT-5.4 وClaude Opus 4.6، قارن الباحثون التطور التلقائي للحزام بطرق توسيع نطاق وقت الاختبار البسيطة في ظل ميزانيات استدلال متطابقة. النتائج ليست لطيفة مع السرد السائد.

لم يتفوق التطور التلقائي للحزام باستمرار على أخذ العينات المتوازية البسيطة أو التحسين المتسلسل، حتى عندما كانت ملاحظات اختبار الوحدة متاحة. عندما تم فصل مهام البحث والتقييم، حيث تم اختبار الحزام المتطور على مهام غير مطروقة لم يرها أثناء التطور، كانت التحسينات هامشية في أحسن الأحوال.

المؤلفون حريصون على عدم المبالغة. استنتاجهم ليس أن التطور التلقائي للحزام غير فعال، ولكن أن فوائده تحتاج إلى تقييم باستخدام إعدادات عادلة، وخطوط أساس قوية بميزانيات قابلة للمقارنة، ومعايير حساسة حقًا لتصميم الحزام.

هذا يردد العمل ذي الصلة من فريق AgentScope، الذي وجد أن تصميم الحزام يمكن أن يغير النتائج بأكثر من 11 نقطة للنماذج الأصغر، لكن العمل السابق كان حول تقييم الأحزمة، وليس تطويرها. تمدد الورقة الجديدة نفس المبدأ إلى عملية التطور نفسها: إذا كانت الأحزمة مهمة، فإن عزل تأثيرها بشكل صحيح عن أثر البحث مهم أيضًا.

لماذا هذا مهم للمجال

تظهر الورقة في وقت يتخبط فيه نظام وكلاء الذكاء الاصطناعي بحثًا عن تقييم موثوق. قائمة الأوراق ذات الصلة التي وضعتها Semantic Scholar هي بحد ذاتها كاشفة. هناك "هل محسنات الوكلاء تتراكم؟"، "SEAGym"، "MemoHarness"، "تحديث الحزام ليس فائدة الحزام"، "تطوير وكلاء في الظلام"، "الحزام الذاتي"، و"TTHE: تطور الحزام في وقت الاختبار" - يتشكل مجال فرعي كامل حول سؤال كيفية تقييم المقيمين.

النقد يثير أيضًا نقطة أوسع حول خط أنابيب تقييم الوكلاء. كما هو مذكور في تغطيتنا السابقة، يمكن أن يغير تصميم الحزام النتائج بأكثر من 11 نقطة للنماذج الأصغر. إذا أضاف التطور طبقة أخرى من البحث لا يتم فصلها بشكل صحيح عن القياس، فإن المجال يخاطر ببناء بيت من الورق حيث تعكس النتائج المبلغ عنها عمق البحث وألفة المعيار بدلاً من قدرة الوكيل الحقيقية.

الكود متاح على https://github.com/rethinking-harness-evolution لأي شخص يرغب في تكرار التجارب أو توسيعها إلى عائلات نماذج ومجموعات مهام أخرى.