entrenamiento distribuido
2 published articles
NVIDIA
Nvidia y Hugging Face se unen para hacer aburrido el entrenamiento distribuido de difusión
NeMo Automodel de Nvidia ahora se integra directamente con Diffusers de Hugging Face, lo que permite entrenamiento distribuido de nivel de producción para modelos como FLUX, Wan 2.1 y HunyuanVideo. La biblioteca bajo Apache 2.0 maneja el paralelismo como un conmutador de configuración y permite que los puntos de control ajustados se carguen directamente en los pipelines de inferencia.
2026-07-19
Inmersión profunda en infraestructura
Nous Research escala el paralelismo experto con DeepEP: notas de campo del preentrenamiento MoE
Nous Research publica notas de campo sobre la escalabilidad del paralelismo experto MoE con DeepEP. Detalla el rendimiento, las compensaciones de configuración y los cuellos de botella del preentrenamiento de un modelo MoE de 1T de parámetros. Información práctica de implementación para el entrenamiento distribuido a gran escala.
2026-07-19