MoE
4 published articles
Modèles d'IA
Le Laguna XS 2.1 de Poolside gagne 5 points sur les benchmarks de codage avec le même matériel
Le Laguna XS 2.1 de Poolside améliore le SWE-bench Multilingue de 5,4 points pour atteindre 63,1 % tout en conservant la même architecture MoE de 33B totaux et 3B activés. La version inclut des points de contrôle quantifiés, des modèles d'ébauche pour le décodage spéculatif et une licence OpenMDW-1.1, rendant le codage IA local plus pratique.
2026-07-21
Analyse approfondie de l'infrastructure
Nous Research passe à l'échelle le parallélisme expert avec DeepEP : notes de terrain du pré-entraînement MoE
Nous Research publie des notes de terrain sur la mise à l'échelle du parallélisme expert MoE avec DeepEP. Détail du débit, des compromis de configuration et des goulots d'étranglement issus du pré-entraînement d'un modèle MoE de 1 billion de paramètres. Informations pratiques pour le déploiement d'un entraînement distribué à grande échelle.
2026-07-19
Intelligence Artificielle
Ce qu'Inkling révèle sur la nouvelle ligne de partage du marché des modèles open-source
Inkling est le premier modèle ouvertement disponible de près de 1 000 milliards de paramètres avec entrée native audio, image et texte, aux côtés d'une fenêtre de contexte de 1 million de tokens et d'une variante quantifiée NVFP4. Les scores bruts des benchmarks sont solides, mais l'histoire la plus révélatrice est la manière dont l'écosystème open-source est passé d'un acteur de rattrapage à une concurrence active à la frontière, et où Inkling s'insère dans cette nouvelle carte.
2026-07-15
Google DeepMind
Gemma 4 vient de donner l’impression que tous les autres modèles open-weight sont 10 fois trop gros
La famille open-weight nativement multimodale Gemma 4 de Google DeepMind introduit un mode de réflexion, une architecture sans codeur et des options MoE. Le modèle à 2,3 milliards de paramètres correspond aux performances du Gemma 3 à 27 milliards. Le modèle à 31 milliards domine les classements open-weight.
2026-07-13