نماذج اللغات الكبيرة4 min read
البحث والتطوير في الذكاء الاصطناعي
ماجياكي علم مهندسي مينيماكس درسًا قاسيًا حول الرموز المنسية
كشف التحقيق الداخلي لشركة MiniMax حول سبب عدم تمكن نموذج M2 الخاص بها من إخراج اسم 'Ma Jiaqi' عن عدم تطابق هيكلي بين مفردات ما قبل التدريب وتوزيع بيانات ما بعد التدريب. السبب الجذري: انحراف متجهات lm_head للرموز منخفضة التردد أثناء SFT، مما يفقد القدرة على التوليد مع الاحتفاظ بالفهم. أدى إصلاح تغطية المفردات الكاملة إلى حل المشكلة وتخفيف خلط اللغات في اليابانية.
2026-07-04