arquitectura LLM
2 published articles
Laboratorios e Investigación3 min read
Investigación en IA
Memory Decoder: una memoria adicional de 6.9B permite a un modelo de 410M superar a Pythia-12B
Memory Decoder at Scale separa la memoria a largo plazo del razonamiento en los LLM. Una memoria preentrenada de 6.9B elevó a Pythia-410M por encima de Pythia-12B en 17 benchmarks con un 39% menos de parámetros; las memorias de dominio de 1.7B añadieron más de 9 puntos a Qwen3 Base en todas las escalas probadas.
2026-07-31
LLMs y Modelos2 min read
Arquitectura sin tokenizador
Aleph Alpha presenta T-Free: una arquitectura sin tokenizador para una IA soberana
Aleph Alpha presenta T-Free, una arquitectura LLM sin tokenizador que mapea palabras directamente a vectores. El enfoque ofrece casi siete caracteres por vector frente a los cuatro típicos, reduciendo costos y consumo de energía, mientras mejora el rendimiento en dominios especializados y lenguas de bajos recursos.
2026-07-03