Laboratorios e Investigación4 min read
Investigación en IA
Muon capta la suma modular más rápido y luego sus soluciones colapsan
Los transformadores entrenados con Muon captan la suma modular más rápido que con AdamW y luego pierden la solución en todas las configuraciones probadas. El artículo sitúa el colapso en la interfaz representación-lectura, donde congelar cualquiera de los dos grupos de parámetros lo previene. El análisis de Fourier muestra que el circuito de la tarea sobrevive y simplemente queda en minoría.
2026-08-19