Laboratoires & Recherche4 min read
Recherche en IA
Muon grokke l'addition modulaire plus vite, puis ses solutions s'effondrent
Les transformeurs entraînés par Muon grokkent l'addition modulaire plus vite que AdamW, puis perdent la solution dans toutes les configurations testées. L'article attribue l'effondrement à l'interface représentation-lecture, où geler l'un ou l'autre groupe de paramètres l'empêche. L'analyse de Fourier montre que le circuit de la tâche survit et se trouve simplement mis en minorité.
2026-08-19