Muon يفهم الجمع المعياري أسرع، ثم تنهار حلوله

الورقة، المنشورة على arXiv في 7 أغسطس 2026، تعمل على مسرح صغير عمدًا: محول يتعلم الجمع المعياري، وهو أحد الاختبارات المعيارية في أبحاث الفهم المتأخر. الفهم المتأخر هو تأثير التعميم المؤجل حيث تحفظ الشبكة مجموعة تدريبها لفترة طويلة، ثم تنطلق فجأة إلى حل يعمم. في التقسيم الذي يعتبره المؤلفون معياريًا، يأخذ Muon المصفوفات المخفية بينما يأخذ AdamW التضمينات وطبقة الإخراج. يصل Muon إلى حالة التعميم أسرع. ثم يفقدها، في كل واحدة من التشكيلات التسعة التي اختبروها.

النتيجة الأساسية: Muon يفهم أسرع، ثم ينهار

جميع التشكيلات التسعة على (a+b) mod 113 تفهم ثم تنخفض لاحقًا تحت عتبة التعميم. عدم الاستقرار ليس مصادفة في إعداد واحد. يستمر عبر معيارين، وعرضين، وكسرين تدريبيين، وصيغة الطرح، وأعماق مختلفة. مرجع AdamW المختار ليس محصنًا أيضًا: عبر خمس بذور ينخفض تحت العتبة في أربعة منها، ويصل إلى 27.59% كحد أدنى.

بعض الأرقام تعطي شكل المشكلة.

العنوان الرئيسي هو أن جولة تدريب تحل مجموعة التدريب، ثم تعمم، يمكن أن تنهار بعد ذلك، دون أي بيانات جديدة في الأفق. هذا هو اللغز الذي تسعى الورقة إلى تفسيره.

أين يقع الفشل: واجهة التمثيل والقراءة

يتتبع المؤلفون الانهيار إلى الواجهة بين التمثيلات المتعلمة وطبقة القراءة. تفصيل تقني واحد مهم: تلك الواجهة يمكن تحديدها فقط بشكل مشترك، حتى خريطة قابلة للعكس لا يختارها الخسارة. خسارة التدريب ببساطة لا تهتم بأي عضو من تلك الفئة التكافؤية تهبط عليه الشبكة.

بعد حل مجموعة التدريب، ينخفض التدرج إلى حوالي 1e-6. هنا يفترق المحسنان. مرونة حجم الخطوة هي -0.03 لـ Muon مقابل +1.5 لـ AdamW، ومجموعة Muon تتحرك أسرع بـ 8.0 مرات لكل معامل. التدرج القريب من الصفر ليس مكانًا هادئًا لـ Muon. تحديثاته لا تزال لديها مجال لإحداث الضرر.

تجميد مجموعة واحدة يزيل الفشل

التجارب السببية هي الجزء الأكثر وضوحًا في الورقة. من حالات بداية متطابقة بالبت، تجميد أي من المجموعتين يمنع الفشل. تجميد التضمينات وطبقة القراءة يزيله عبر خمس جولات تمتد على 451,400 خطوة بعد الفهم وخمس بذور مقترنة. الأذرع غير المجمدة تسجل 137 إلى 321 تقييمًا تحت العتبة. الأذرع المجمدة تسجل لا شيء.

تجريد تطبيع Muon وتعَمُّده ليس حلاً. بدونه، ينهار التمثيل من 326 زوجًا مترافقًا فعالًا إلى 4، ولا يُظهر انهيارًا متكررًا، ويفشل فشلًا نهائيًا. عدم الاستقرار مرتبط بآلية تحديث Muon نفسها، وليس بشيء عام حول الحساب المعياري.

تحليل فورييه: الدائرة تبقى حية وتُهزم بالتصويت

فصل فورييه يفصل بين نمطي فشل متميزين. عبر 43 نقطة فحص، وخمس بذور، وثلاثة أنظمة، تصل العائلة المحاذية للمهمة إلى دقة 100% بالضبط عند تقييمها بمفردها. في فشل الدائرة، لم تعد تلك العائلة تحل المهمة. في الإخفاء، تبقى مثالية بينما النموذج الكامل عند 45.85%. الدائرة المحاذية تحافظ على هامش إيجابي على كل مثال، بما في ذلك الأخطاء. إنها ببساطة تُهزم بالتصويت من بقية عدائية شبه متساوية. إعادة قياس العائلة يستعيد 99.9%.

يقرأ المؤلفون الفهم المتأخر على أنه نفس الشرط يُحل في الاتجاه الآخر. التفاصيل الهيكلية تدعم هذا: المهمة تختار العائلة، مبدلة (k,k) بـ (k,-k) تحت الطرح، وعبر انهيار مفاجئ يبقى دعم فورييه القياسي دون تغيير، مع جيب تمام توزيع القوة عند 0.9899. الحساب لا يزال موجودًا. ما يتغير هو مقدار ما تسمح له طبقة القراءة بأن يُحتسب.

ماذا يعني هذا لمعايير المحسِّنات

الخلاصة الواضحة هي أن سرعة الفهم المتأخر مقياس نجاح ضعيف بمفردها. الجولة التي تصل إلى حالة التعميم أولاً ليست أفضل بوضوح إذا لم تستطع الاحتفاظ بتلك الحالة. مقارنات المحسِّنات التي تتوقف عند منحنى الفهم المتأخر تقيس النصف الأول من القصة.

تحفظات أولاً. هذه عائلة مهام واحدة، وهي الحساب المعياري، على نطاق صغير، والورقة مسودة أولية. لا شيء في الملخص يدعي أن التأثير ينتقل إلى التدريب واسع النطاق. ما تقدمه هو عادة ملموسة لمعيارك التالي: تحقق من استقرار ما بعد الفهم، وليس فقط الوقت حتى الفهم.

في هذه المهام الصغيرة، الفرق بين المحسِّنين ليس من يتعلم أولاً. بل من يظل محقًا بعد أن تهدأ الخسارة.