نوسكودر-14B يتحدى برمجة الأولمبياد بخط أنابيب تعزيز مفتوح

أصدرت Nous Research نموذج NousCoder-14B، وهو نموذج بـ 14 مليار معلمة للبرمجة التنافسية. تم تدريبه لاحقًا من Qwen3-14B باستخدام التعلم المعزز، ويستهدف النموذج معايير على مستوى الأولمبياد مثل Codeforces و AtCoder. يشحن الإصدار مجموعة التدريب بأكملها: أوزان النموذج، وبيئة التعلم المعزز بالضبط، ونموذج المكافأة، وحزام التقييم. كل شيء مفتوح.

تم تدريب NousCoder-14B باستخدام إطار عمل Atropos RL. يوازن هيكل المكافأة بين صحة الكود والكفاءة الخوارزمية وتفرد الحل. استخدم التدريب مجموعة بيانات من مشاكل البرمجة التنافسية من مسابقات سابقة، مع التحقق من الحلول مقابل حالات الاختبار الرسمية. تشير ملاحظات الإصدار إلى معدل حل 68% على مجموعة فرعية منتقاة من مشاكل Codeforces القسم الأول. وهذا يضعه في نطاق أداء فئة GPT-4 على نفس المجموعة.

القرار بإصدار البنية التحتية الكاملة للتعلم المعزز جدير بالملاحظة. معظم نماذج البرمجة التنافسية من OpenAI و Google DeepMind تشحن الأوزان ولكنها تبقي خط أنابيب التدريب ملكيًا. يتضمن إصدار Nous Research أوزان النموذج بصيغتي BF16 و FP32 على Hugging Face، وبيئة التعلم المعزز كواجهة من نمط Gym، ونموذج المكافأة المدرب على نتائج التنفيذ، وحزام التقييم كأداة تشغيل معيارية قابلة للتكوين، وملفات التكوين مع سجلات التدريب.

تعتبر البرمجة التنافسية مهمة تتجاوز لوحات المتصدرين. المهارات المتضمنة - التفكير في القيود، واختيار الخوارزمية، واكتشاف الأخطاء - تتداخل مع توليد الكود، وإصلاح الكود، والتحقق الرسمي. النموذج الذي يتنافس على مستوى الأولمبياد هو أيضًا نموذج يمكنه كتابة بحث ثنائي صحيح في المحاولة الأولى في الإنتاج.

العائق: حجم 14B يجعل الاستدلال عمليًا على إعدادات وحدة معالجة رسومية واحدة - يمكن لـ RTX 4090 واحدة مع 24GB استيعاب أوزان BF16 - لكن التدريب من الصفر يتطلب عنقودًا من 8 وحدات B200 على الأقل لعدة أيام. حلقة التدريب التعلم المعزز ثقيلة بشكل خاص من الناحية الحسابية لأن كل دورة تتضمن تجميع وتنفيذ الكود المولد. دربت Nous Research النموذج على عنقود مكون من 64 وحدة H100 على مدى أسبوعين.

يدخل NousCoder-14B ساحة تشمل DeepSeek-Coder-33B-instruct و CodeLlama-34B-pass@1 ونماذج متخصصة مثل Qwen2.5-Coder. قد يكون خط أنابيب التعلم المعزز المفتوح أكثر قيمة من الأوزان. فهو يمكن أي مختبر لديه طاقة حاسوبية كافية من تكرار وصفة التدريب وتكييفها مع نماذج أساسية أحدث.