NousCoder-14B défie la programmation olympiade avec un pipeline RL ouvert

Nous Research a publié NousCoder-14B, un modèle de 14 milliards de paramètres pour la programmation compétitive. Post-entraîné à partir de Qwen3-14B à l'aide de l'apprentissage par renforcement, le modèle cible des benchmarks de niveau olympiade comme Codeforces et AtCoder. La publication livre l'intégralité de la pile d'entraînement : les poids du modèle, l'environnement RL exact, le modèle de récompense et le harnais d'évaluation. Tout est ouvert.

NousCoder-14B a été entraîné à l'aide du framework RL Atropos. La structure de récompense équilibre la correction du code, l'efficacité algorithmique et l'unicité de la solution. L'entraînement a utilisé un ensemble de données de problèmes de programmation compétitive provenant de concours passés, avec des solutions vérifiées par rapport aux cas de test officiels. Les notes de publication signalent un taux de résolution de 68 % sur un sous-ensemble sélectionné de problèmes Codeforces Division 1. Cela le positionne dans la plage des performances de classe GPT-4 sur le même ensemble.

La décision de publier l'infrastructure RL complète est notable. La plupart des modèles de codage compétitif d'OpenAI et Google DeepMind publient les poids mais gardent la pipeline d'entraînement propriétaire. La publication de Nous Research inclut les poids du modèle en BF16 et FP32 sur Hugging Face, l'environnement RL sous forme d'interface de type Gym, le modèle de récompense entraîné sur les résultats d'exécution, le harnais d'évaluation en tant qu'exécuteur de benchmark configurable, et des fichiers de configuration avec des journaux d'entraînement.

La programmation compétitive importe au-delà des classements. Les compétences impliquées, raisonnement sous contraintes, sélection d'algorithmes, détection de bugs, recoupent la génération de code, la réparation de code et la vérification formelle. Un modèle qui concourt au niveau olympiade est aussi un modèle qui peut écrire une recherche binaire correcte dès la première tentative en production.

Le hic : l'échelle de 14B rend l'inférence pratique sur des configurations à GPU unique, un seul RTX 4090 avec 24 Go peut contenir les poids BF16, mais l'entraînement à partir de zéro nécessite un cluster d'au moins 8 B200 sur plusieurs jours. La boucle d'entraînement RL est particulièrement lourde en calcul car chaque cycle implique la compilation et l'exécution du code généré. Nous Research a entraîné le modèle sur un cluster de 64 H100 pendant deux semaines.

NousCoder-14B entre dans une arène qui comprend DeepSeek-Coder-33B-instruct, CodeLlama-34B-pass@1, et des modèles spécialisés comme Qwen2.5-Coder. La pipeline RL ouverte pourrait s'avérer plus précieuse que les poids. Elle permet à tout laboratoire disposant de suffisamment de puissance de calcul de reproduire la recette d'entraînement et de l'adapter à des modèles de base plus récents.