نماذج أصغر تعيد النظر في حلها باستمرار يمكنها التفوق على نماذج أكبر بعشر مرات

نشر فريق من الباحثين ورقة بحثية على arXiv تقدم RefineRL، وهي طريقة تدريب تُعلّم نماذج لغوية صغيرة مواصلة تحسين حلولها البرمجية الخاصة بعد وقت طويل من اجتياز المسودة الأولى للاختبارات المرئية. المفتاح: وكيل متشكك يرفض الوثوق بمخرجاته الخاصة ويواصل البحث عن الأخطاء حتى عندما يبدو كل شيء جيدًا.

يجمع النهج بين نموذج أساسي قياسي Qwen3-4B وابتكارين. أولاً، Skeptical-Agent، حلقة تكرارية تُشغّل كود النموذج مقابل حالات اختبار عامة، ثم ترفض قبول الدرجة الناجحة كدليل على الصحة. ثانيًا، خطوة تعلم تعزيزي تُدرّب النموذج على استخدام تلك الحلقة فعليًا، بدلاً من تجاهلها كما تتعلم العديد من النماذج المضبوطة دقيًا للعب مسارات المكافآت الأقصر.

بعد التدريب، تفوقت النماذج المضغوطة ذات 4 مليارات معامل المزودة بـ Skeptical-Agent على نماذج 32B في معايير البرمجة التنافسية (CP). كما اقتربت من أداء المحاولة الواحدة لنماذج 235B، وهي فئة تشمل نماذج رائدة من مختبرات كبرى. تُبلغ الورقة عن مكاسب على كل من نقاط التفتيش Qwen3-4B و Qwen3-4B-2507.

هذا مهم لأن مجال البرمجة التنافسية أصبح اختبارًا قياسيًا للضغط على التفكير في النماذج اللغوية الكبيرة. يهيمن تقييم المحاولة الواحدة على الأدبيات. تختبر معظم الأوراق ما إذا كان النموذج قادرًا على حل مشكلة في محاولة واحدة. يطرح RefineRL سؤالاً مختلفًا: هل يمكن للنموذج أن يتعلم استخدام الوقت المتاح لديه بالفعل؟

آلية التشكك هي حيث يختلف الأسلوب عن الأعمال السابقة. يكافئ التعلم التعزيزي القياسي لمشاكل البرمجة الحل الذي يجتاز الاختبارات ويتوقف. وهذا يُعلّم النماذج إنتاج مسودات أولية بالكاد تتجاوز الحد الأدنى. لا يتوقف Skeptical-Agent صراحةً بعد النجاح. بل يبحث بنشاط عن أمثلة مضادة، أو حالات حافة، أو افتراضات قد تجعل الحل ينهار تحت إدخال مختلف. تصف الورقة هذا بأنه الحفاظ على موقف متشكك تجاه مخرجاته الخاصة.

يستخدم مكون التعلم التعزيزي بيانات RLVR القياسية، أي أزواج من المشكلات والإجابات القابلة للتحقق دون الحاجة إلى إشارات مكافأة مصممة يدويًا أو تعليقات بشرية على طول الطريق. وهذا يحافظ على خفة خط أنابيب التدريب. يجادل الباحثون بأن هذه ميزة عملية: يمكن لأي مختبر لديه مجموعة بيانات لمشاكل البرمجة إعادة إنتاج الإعداد.

تعكس النتيجة نتائج من أعمال حديثة أخرى في التعلم التعزيزي للبرمجة. NousCoder-14B، المشتق أيضًا من Qwen3-14B، استخدم خط أنابيب تعلم تعزيزي مفتوح بالكامل للوصول إلى معدل حل Codeforces بنسبة 68%. لكن RefineRL يستهدف مقياس تكلفة مختلف. عند 4 مليارات معامل، هو صغير بما يكفي لتشغيله على أجهزة المستهلكين بعد التدريب، وقد يكون التدريب نفسه في متناول المجموعات الأكاديمية الممولة جيدًا.

يبقى السؤال ما إذا كان النهج يعمم إلى ما هو أبعد من البرمجة التنافسية. توفر البرمجة التنافسية تغذية راجعة نظيفة: إما أن يجتاز الحل الاختبارات المخفية أو لا. هذه الإشارة الثنائية هي بالضبط ما يحتاجه التحسين الذاتي المتشكك. بالنسبة للمهام ذات معايير الصحة غير الواضحة أو الذاتية، قد لا تترجم نفس التقنية. لكن الورقة تشير إلى أن المبدأ، التحسين التكراري المدفوع بعدم الثقة المنهجي في مخرجات الفرد، قد يكون قابلًا للتطبيق على نطاق أوسع من مجرد البرمجة.

يضيف العمل أيضًا إلى مجموعة متزايدة من الأدلة على أن حجم النموذج وحده ليس المسار الوحيد لتحسين الاستدلال. تقطير المهارات على السياسة، والتعلم التعزيزي القائم على النتائج، والآن التحسين المتشكك، كلها تظهر أن منهجية التدريب يمكن أحيانًا سد الفجوة بين نموذج 4B ونموذج 32B بشكل أكثر فعالية من توسيع نطاق المعاملات. قوانين التوسع حقيقية، لكنها قد تحتوي على متغير مهمل: مدى دقة إعادة فحص النموذج لمحاولته الأولى.

يتوفر RefineRL على arXiv تحت المعرف 2604.00790.