Outils & Frameworks2 min read
Analyse approfondie de l'infrastructure
Nous Research passe à l'échelle le parallélisme expert avec DeepEP : notes de terrain du pré-entraînement MoE
Nous Research publie des notes de terrain sur la mise à l'échelle du parallélisme expert MoE avec DeepEP. Détail du débit, des compromis de configuration et des goulots d'étranglement issus du pré-entraînement d'un modèle MoE de 1 billion de paramètres. Informations pratiques pour le déploiement d'un entraînement distribué à grande échelle.
2026-07-19