LLMs y Modelos4 min read
Investigación y Desarrollo en IA
Ma Jiaqi enseñó a los ingenieros de MiniMax una dura lección sobre tokens olvidados
La investigación interna de MiniMax sobre por qué su modelo M2 no podía generar el nombre 'Ma Jiaqi' reveló un desajuste estructural entre el vocabulario de preentrenamiento y la distribución de datos de postentrenamiento. La causa raíz: los vectores lm_head de tokens de baja frecuencia se desvían durante el SFT, perdiendo la capacidad de generación mientras conservan la comprensión. Una corrección de cobertura completa del vocabulario resolvió el problema y también mitigó la mezcla de idiomas en japonés.
2026-07-04