entraînement distribué
2 published articles
NVIDIA
Nvidia et Hugging Face s'associent pour rendre l'entraînement distribué de diffusion banal
NeMo Automodel de Nvidia s'intègre désormais directement à Diffusers de Hugging Face, permettant un entraînement distribué de qualité production pour des modèles comme FLUX, Wan 2.1 et HunyuanVideo. La bibliothèque sous licence Apache 2.0 gère le parallélisme comme une bascule de configuration et permet aux points de contrôle affinés de se charger directement dans les pipelines d'inférence.
2026-07-19
Analyse approfondie de l'infrastructure
Nous Research passe à l'échelle le parallélisme expert avec DeepEP : notes de terrain du pré-entraînement MoE
Nous Research publie des notes de terrain sur la mise à l'échelle du parallélisme expert MoE avec DeepEP. Détail du débit, des compromis de configuration et des goulots d'étranglement issus du pré-entraînement d'un modèle MoE de 1 billion de paramètres. Informations pratiques pour le déploiement d'un entraînement distribué à grande échelle.
2026-07-19