LLM & Modèles4 min read
Recherche et développement en IA
Ma Jiaqi a enseigné aux ingénieurs de MiniMax une dure leçon sur les tokens oubliés
L'enquête interne de MiniMax sur l'incapacité de son modèle M2 à produire le nom « Ma Jiaqi » a révélé un décalage structurel entre le vocabulaire de pré-entraînement et la distribution des données de post-entraînement. La cause racine : les vecteurs lm_head des tokens à faible fréquence dérivent pendant le SFT, perdant la capacité de génération tout en conservant la compréhension. Une correction de couverture complète du vocabulaire a résolu le problème et a également atténué le mélange linguistique en japonais.
2026-07-04