Muon 更快顿悟模加法，随后其解崩溃

该论文于 2026 年 8 月 7 日发布在 arXiv 上，在一个刻意缩小规模的舞台上展开：一个学习模加法的 Transformer，这是 grokking 研究中的标准试验台之一。Grokking 是一种延迟泛化效应：网络长时间记忆训练集，然后突然跃入一个泛化解。在作者视为标准的分工中，Muon 负责隐层矩阵，AdamW 负责嵌入和输出头。Muon 更快到达泛化状态，然后在全部九种配置中又丢失了它。

核心结果：Muon 更快顿悟，然后崩溃

在 (a+b) mod 113 上的全部九种配置都会先顿悟，随后跌落到泛化阈值以下。这种不稳定性并非单一设置的侥幸。它在两种模数、两种宽度、两种训练比例、减法变体以及不同深度下持续存在。所选的 AdamW 参照也未能幸免：在五个种子中，有四个跌到阈值以下，最低跌至 27.59%。

几个数字勾勒出问题的轮廓。

指标	数值
先顿悟后崩溃的配置	(a+b) mod 113 上 9/9
低于阈值的 AdamW 参照种子	5 个中的 4 个，最低跌至 27.59%
步长弹性	Muon -0.03，AdamW +1.5
Muon 组的每参数移动量	快 8.0 倍
未冻结分支的低于阈值评估	137, 321（冻结：无）
剥离 Muon 机制后的有效共轭对	326 降至 4
仅任务对齐族 vs 完整模型	掩蔽期间 100% vs 45.85%
崩溃过程中的功率分布余弦	0.9899

核心要点是：一次训练运行在解决了训练集、完成泛化之后，仍可能在随后崩溃，而眼前没有任何新数据。这正是论文试图解释的谜题。

失败所在：表示-读出界面

作者将崩溃追溯到学习到的表示与读出层之间的界面。一个技术细节很关键：该界面只能被联合识别，且只能确定到损失函数无法选择的可逆映射。训练损失根本不在乎网络落在该等价类中的哪一个成员上。

训练集被解决后，梯度降至约 1e-6。两位优化器就在这里分道扬镳。Muon 的步长弹性为 -0.03，而 AdamW 为 +1.5，且 Muon 组的每参数移动速度快 8.0 倍。接近零的梯度对 Muon 来说并不是一个安静的地方。它的更新仍有造成破坏的空间。

冻结一组即可消除失败

因果实验是论文中最干净的部分。从比特级相同的起始状态出发，冻结任一组都能防止失败。冻结嵌入和读出层后，在跨越 451,400 步顿悟后训练步数、使用五对配对种子的五次运行中，失败均被消除。未冻结的分支记录到 137 到 321 次低于阈值的评估。冻结的分支则一次也没有。

剥离 Muon 的归一化和正交化并不能修复问题。没有它们，表示会从 326 个有效共轭对坍缩到 4 个，不表现出反复崩溃，而是彻底失败。这种不稳定性与 Muon 自身的更新机制捆绑在一起，而不是模算术中某种普遍存在的东西。

傅里叶分析：电路存活，却被投票压倒

傅里叶滤波区分出两种不同的失败模式。在 43 个检查点、5 个种子和三种阶段中，任务对齐族在单独评估时恰好达到 100% 的准确率。在电路失败中，该族不再能解决任务。在掩蔽中，它保持完美，而完整模型停在 45.85%。对齐电路在每个样本上都保持正间隔，包括那些错误样本。它只是被一个近乎势均力敌的对抗性剩余部分投票压倒。对该族重新缩放可恢复 99.9%。

作者将 grokking 解读为同一种情况在相反方向上的解决。结构细节支持这一点：任务选择该族，在减法下将 (k,k) 换成 (k,-k)，并且在一次突然的崩溃过程中，标准傅里叶支撑集保持不变，功率分布余弦为 0.9899。计算仍然存在。变化的只是读出层让它发挥多大作用。

这对优化器基准测试意味着什么

显而易见的结论是，单独来看，顿悟速度是一个薄弱成功指标。一次最先到达泛化状态的运行，如果无法保持该状态，就不一定更好。止步于顿悟曲线的优化器对比，只衡量了故事的前半段。

先说注意事项。这只是一个任务族, , 模算术, , 且规模很小，论文也是预印本。摘要中没有任何内容声称该效应会延续到大规模训练。它所提供的，是为你下一次运行基准测试时提供一个具体习惯：检查顿悟后的稳定性，而不仅仅是顿悟所需时间。

在这些小任务上，两位优化器的区别不在于谁先学会，而在于当损失归于平静后，谁仍然是正确的。