在策略蒸馏
3 published articles
大语言模型与模型4 min read
LLM蒸馏
上下文一旦静止，LLM蒸馏便告停滞。这篇论文让它演化
上下文可以将任务偏好带入LLM训练，但一旦蒸馏进学生模型，它们便几乎不再提供监督。北京大学的Flux-OPD让上下文随学生一起移动，并用冲突项为教师修正加权。摘要报告称相较现有OPD范式有所提升，但没有给出数字。
2026-07-31
大语言模型与模型Featured4 min read
研究
后见之明填补了智能体强化学习中的监督鸿沟
SEED（自我进化的同策略蒸馏）允许大语言模型分析自身过去的行为轨迹，以事后视角从中提取可重用的自然语言技能，然后在强化学习过程中将这些经验教训蒸馏回其策略中。结果：更密集、同策略的监督提高了样本效率，并泛化到未见过的任务。
2026-07-25
大语言模型与模型Featured5 min read
AI 研究
图像生成的强化学习：Qwen-Image-2.0-RL 获得复合奖励系统
Qwen-Image-2.0-RL 报告详细描述了一条结合 RLHF、同策略蒸馏和复合奖励模型的后训练管道，用于提升文本到图像和图像编辑质量。该方法在审美质量、指令遵循和人脸身份保留方面均可衡量地改进。
2026-07-20