1 published article
AI研究与开发
MiniMax对M2模型无法输出“马嘉祺”这一名字的内部调查发现，预训练词汇表与后训练数据分布之间存在结构性不匹配。根本原因在于：低频率token的lm_head向量在SFT过程中发生漂移，丧失了生成能力，但保留了理解能力。全词汇覆盖修复方案解决了该问题，同时也缓解了日语中的语言混杂现象。
2026-07-04