Laboratoires & Recherche3 min read
Recherche en IA
Memory Decoder : une mémoire greffée de 6,9B fait battre Pythia-12B par un modèle de 410M
Memory Decoder at Scale sépare la mémoire à long terme du raisonnement dans les LLM. Une mémoire pré-entraînée de 6,9B a fait passer Pythia-410M devant Pythia-12B sur 17 benchmarks avec 39 % de paramètres en moins ; des mémoires de domaine de 1,7B ont ajouté plus de 9 points à Qwen3 Base à toutes les échelles testées.
2026-07-31