Laboratorios e Investigación3 min read
Investigación en IA
Memory Decoder: una memoria adicional de 6.9B permite a un modelo de 410M superar a Pythia-12B
Memory Decoder at Scale separa la memoria a largo plazo del razonamiento en los LLM. Una memoria preentrenada de 6.9B elevó a Pythia-410M por encima de Pythia-12B en 17 benchmarks con un 39% menos de parámetros; las memorias de dominio de 1.7B añadieron más de 9 puntos a Qwen3 Base en todas las escalas probadas.
2026-07-31