caché KV
2 published articles
IA5 min read
Tecnología profunda
El enrutamiento compartido entre capas acelera la atención dispersa 7 veces sin afectar la calidad
CLSA utiliza un único paso de enrutamiento por secuencia en lugar de uno por capa, reduciendo la sobrecarga de la caché KV mientras mantiene la selectividad a nivel de token. Los benchmarks muestran una mejora de 17,1 veces en el rendimiento con un contexto de 128K.
2026-07-26
DeepSeek4 min read
Investigación en IA de código abierto
Contexto de un millón de tokens con una décima parte de la caché KV: la apuesta de eficiencia de DeepSeek-V4
La vista previa de DeepSeek-V4 combina un modelo Pro de 1,6 billones de parámetros con una variante Flash de 284 mil millones, ambos con un millón de tokens de contexto. El documento afirma que el modelo requiere el 27% de los FLOPs de inferencia y el 10% de la caché KV de V3.2, las cifras que hacen rentable servir el contexto.
2026-06-22