تماثل الخبراء

تعمق في البنية التحتية

Nous Research توسع نطاق التوازي الخبير باستخدام DeepEP: ملاحظات ميدانية من التدريب المسبق لنموذج MoE

تنشر Nous Research ملاحظات ميدانية حول توسيع نطاق التوازي الخبير لـ MoE باستخدام DeepEP. تفاصيل الإنتاجية والمقايضات في التهيئة والاختناقات من التدريب المسبق لنموذج MoE بـ 1 تريليون معلمة. رؤى عملية للنشر في التدريب الموزع واسع النطاق.

2026-07-19