Architecture LLM
2 published articles
Laboratoires & Recherche3 min read
Recherche en IA
Memory Decoder : une mémoire greffée de 6,9B fait battre Pythia-12B par un modèle de 410M
Memory Decoder at Scale sépare la mémoire à long terme du raisonnement dans les LLM. Une mémoire pré-entraînée de 6,9B a fait passer Pythia-410M devant Pythia-12B sur 17 benchmarks avec 39 % de paramètres en moins ; des mémoires de domaine de 1,7B ont ajouté plus de 9 points à Qwen3 Base à toutes les échelles testées.
2026-07-31
LLM & Modèles2 min read
Architecture sans tokenizer
Aleph Alpha dévoile T-Free : une architecture sans tokenizer pour une IA souveraine
Aleph Alpha dévoile T-Free, une architecture de LLM sans tokenizer qui mappe les mots directement en vecteurs. L'approche offre près de sept caractères par vecteur contre quatre typiquement, réduisant les coûts et la consommation d'énergie tout en améliorant les performances sur les domaines spécialisés et les langues peu dotées.
2026-07-03