NousCoder-14B以开源RL流程挑战奥林匹克编程

Nous Research发布了NousCoder-14B，一个140亿参数的竞技编程模型。该模型基于Qwen3-14B通过强化学习进行后训练，目标是Codeforces和AtCoder等奥林匹克级别的基准测试。此次发布提供了完整的训练栈：模型权重、精确的RL环境、奖励模型和评估工具。全部开源。

NousCoder-14B使用Atropos RL框架进行训练。奖励结构平衡了代码正确性、算法效率和解决方案的独特性。训练使用了来自过往比赛的竞技编程问题数据集，解决方案经过了官方测试用例的验证。发布说明报告称，在一个精选的Codeforces Division 1问题子集上，解决率达到68%。这使其在该子集上达到GPT-4级别的性能范围。

发布完整RL基础设施的决策值得注意。来自OpenAI和Google DeepMind的大多数竞技编码模型仅发布权重，但保持训练流程专有。Nous Research的发布包括Hugging Face上的BF16和FP32模型权重、作为Gym风格接口的RL环境、基于执行结果训练的奖励模型、作为可配置基准运行器的评估工具，以及包含训练日志的配置文件。

竞技编程的重要性超越了排行榜。所涉及的技能, , 约束推理、算法选择、漏洞检测, , 与代码生成、代码修复和形式验证有重叠。一个能在奥林匹克级别竞争的模型，也是一个能在生产中首次尝试就写出正确二分查找的模型。

不足之处：14B的规模使得推理在单GPU设置上可行, , 一张24GB的RTX 4090可以容纳BF16权重, , 但从头训练需要一个由至少8块B200组成的集群，耗时数天。RL训练循环尤其计算密集，因为每次rollout都涉及编译和执行生成的代码。Nous Research在一个64块H100的集群上训练了该模型两周。

NousCoder-14B进入了一个包含DeepSeek-Coder-33B-instruct、CodeLlama-34B-pass@1以及Qwen2.5-Coder等专用模型的竞技场。开源RL流程可能比权重本身更有价值。它使任何拥有足够算力的实验室都能复现训练配方，并将其适配到更新的基础模型上。