LLMs y Modelos3 min read
LLMs de contexto largo
La atención bifocal de Jet-Long acaba con el compromiso de escalado fijo para LLMs de contexto largo
Jet-Long adapta el reescalado de RoPE dinámicamente por longitud de secuencia, utilizando una ventana local y una ventana de largo alcance fusionadas mediante inclusión-exclusión. En modelos Qwen3 de hasta 128K de contexto, supera las líneas base zero-shot existentes en más de 2 puntos porcentuales en RULER y logra la menor perplejidad en PG-19, todo ello añadiendo menos de un 4% de sobrecarga en generación.
2026-07-12