LLM & Modèles3 min read
LLM à long contexte
L'attention bifocale de Jet-Long tue le compromis de mise à l'échelle fixe pour les LLM à long contexte
Jet-Long adapte la remise à l'échelle de RoPE de manière dynamique en fonction de la longueur de séquence, en utilisant une fenêtre locale et une fenêtre longue fusionnées par inclusion-exclusion. Sur les modèles Qwen3 jusqu'à 128K de contexte, il dépasse les bases zero-shot existantes de plus de 2 points de pourcentage sur RULER et atteint la plus faible perplexité sur PG-19, tout en ajoutant moins de 4% de surcoût de génération.
2026-07-12