الأدوات والأطر2 min read
تعمق في البنية التحتية
Nous Research توسع نطاق التوازي الخبير باستخدام DeepEP: ملاحظات ميدانية من التدريب المسبق لنموذج MoE
تنشر Nous Research ملاحظات ميدانية حول توسيع نطاق التوازي الخبير لـ MoE باستخدام DeepEP. تفاصيل الإنتاجية والمقايضات في التهيئة والاختناقات من التدريب المسبق لنموذج MoE بـ 1 تريليون معلمة. رؤى عملية للنشر في التدريب الموزع واسع النطاق.
2026-07-19