Muon grokke l'addition modulaire plus vite, puis ses solutions s'effondrent

L'article, publié sur arXiv le 7 août 2026, travaille sur une scène délibérément petite : un transformer apprenant l'addition modulaire, l'un des bancs d'essai standards de la recherche sur le grokking. Le grokking est l'effet de généralisation différée où un réseau mémorise son ensemble d'entraînement pendant une longue période, puis bascule soudainement dans une solution généralisante. Dans la séparation que les auteurs traitent comme standard, Muon prend les matrices cachées et AdamW prend les plongements et la tête de sortie. Muon atteint l'état généralisant plus vite. Puis il le perd, dans chacune des neuf configurations testées.

Le résultat principal : Muon grokke plus vite, puis s'effondre

Les neuf configurations sur (a+b) mod 113 grokkent puis tombent ensuite sous le seuil de généralisation. L'instabilité n'est pas un hasard d'un unique montage. Elle persiste à travers deux modules, deux largeurs, deux fractions d'entraînement, la variante par soustraction et différentes profondeurs. La référence AdamW sélectionnée n'est pas immunisée non plus : sur cinq graines, elle tombe sous le seuil dans quatre cas, avec un minimum de 27.59%.

Quelques chiffres donnent la forme du problème.

Le point essentiel est qu'une session d'entraînement qui résout l'ensemble d'entraînement, puis généralise, peut encore s'effondrer ensuite, sans aucune nouvelle donnée en vue. C'est l'énigme que l'article cherche à expliquer.

Où se situe l'échec : l'interface représentation-lecture

Les auteurs attribuent l'effondrement à l'interface entre les représentations apprises et la couche de lecture. Un détail technique compte : cette interface ne peut être identifiée que conjointement, à une transformation inversible près que la perte ne sélectionne pas. La perte d'entraînement n'accorde simplement aucune importance au membre de cette classe d'équivalence sur lequel le réseau atterrit.

Une fois l'ensemble d'entraînement résolu, le gradient tombe à environ 1e-6. C'est là que les deux optimiseurs se séparent. L'élasticité du pas est de -0.03 pour Muon contre +1.5 pour AdamW, et le groupe Muon se déplace 8.0 fois plus vite par paramètre. Un gradient proche de zéro n'est pas un endroit calme pour Muon. Ses mises à jour ont encore de la place pour faire des dégâts.

Geler un groupe supprime l'échec

Les expériences causales sont la partie la plus propre de l'article. À partir d'états initiaux identiques au bit près, geler l'un ou l'autre groupe empêche l'échec. Geler les plongements et la lecture le supprime sur cinq sessions couvrant 451 400 étapes post-grokking et cinq graines appariées. Les bras non gelés enregistrent de 137 à 321 évaluations sous le seuil. Les bras gelés n'en enregistrent aucune.

Retirer la normalisation et l'orthogonalisation de Muon n'est pas une solution. Sans elles, la représentation s'effondre de 326 paires conjuguées effectives à 4, ne montre aucun effondrement récurrent et échoue définitivement. L'instabilité est liée au mécanisme de mise à jour propre à Muon, et non à quelque chose de générique dans l'arithmétique modulaire.

Analyse de Fourier : le circuit survit et se trouve mis en minorité

Le filtrage de Fourier sépare deux modes d'échec distincts. Sur 43 points de contrôle, cinq graines et trois régimes, la famille alignée sur la tâche atteint exactement 100 % de précision lorsqu'elle est évaluée seule. En échec de circuit, cette famille ne résout plus la tâche. En masquage, elle reste parfaite tandis que le modèle complet est à 45.85%. Le circuit aligné conserve une marge positive sur chaque exemple, y compris les erreurs. Il est simplement mis en minorité par un reste adverse quasi égal. Une remise à l'échelle de la famille restaure 99.9%.

Les auteurs lisent le grokking comme la même condition se résolvant dans l'autre direction. Des détails structurels appuient cette lecture : la tâche sélectionne la famille, en remplaçant (k,k) par (k,-k) pour la soustraction, et à travers un effondrement abrupt, le support de Fourier standard est inchangé, avec un cosinus de distribution de puissance à 0.9899. Le calcul est toujours là. Ce qui change, c'est la mesure dans laquelle la lecture le laisse compter.

Ce que cela signifie pour les benchmarks d'optimiseurs

La conclusion évidente est que la vitesse de grokking est une métrique de succès faible en elle-même. Une session qui atteint l'état généralisant en premier n'est pas clairement meilleure si elle ne peut pas maintenir cet état. Les comparaisons d'optimiseurs qui s'arrêtent à la courbe de grokking ne mesurent que la première moitié de l'histoire.

D'abord les réserves. Il s'agit d'une seule famille de tâches, l'arithmétique modulaire, à petite échelle, et l'article est un preprint. Rien dans le résumé ne prétend que l'effet se transpose à l'entraînement à grande échelle. Ce qu'il offre, c'est une habitude concrète pour le prochain benchmark que vous exécuterez : vérifier la stabilité post-grokking, pas seulement le temps jusqu'au grok.

Sur ces petites tâches, la différence entre les deux optimiseurs n'est pas celui qui apprend en premier. C'est celui qui a encore raison une fois la perte devenue silencieuse.