contexte long
4 published articles
Intelligence artificielle
Les LFM2.5-Encoders plaident pour les petits modèles : 3,7× plus rapides que ModernBERT sur CPU
Les LFM2.5-Encoders open-weight de Liquid AI plaident pour une NLP de production confiée aux petits modèles. Un encodeur de 230M bat ModernBERT-base sur les benchmarks et analyse des documents complets en environ 28 secondes sur un CPU d'ordinateur portable, soit environ 3,7× plus vite.
2026-08-05
Modèles IA
OpenAI publie une mise à jour mineure de GPT pour la gestion des longs contextes
OpenAI a déployé aujourd'hui une mise à jour mineure de GPT, portant sur la gestion des longs contextes. Ce changement vise à aider le modèle à traiter les entrées étendues plus efficacement.
2026-07-28
Deep Tech
Le routage partagé entre couches accélère l'attention sparse de 7x sans perte de qualité
CLSA utilise un seul passage de routage par séquence au lieu d'un par couche, réduisant les frais généraux du KV-cache tout en conservant la sélectivité au niveau des tokens. Les benchmarks montrent une amélioration du débit de 17,1x à 128K de contexte.
2026-07-26
Recherche en IA open source
Contexte d'un million de tokens avec un dixième du cache KV : le pari d'efficacité de DeepSeek-V4
L'aperçu V4 de DeepSeek associe un modèle Pro de 1,6T de paramètres à une variante Flash de 284B, tous deux avec un contexte d'un million de tokens. Le document revendique 27 % des FLOPs d'inférence et 10 % du cache KV de V3.2, soit les chiffres qui rendent ce contexte rentable à servir.
2026-06-22