décodage spéculatif
4 published articles
LLMs & Inférence
Les mathématiques derrière l'accélération : comment le décodage spéculatif masque la latence sans modifier les sorties
Le décodage spéculatif accélère la génération autoregressive en proposant des jetons candidats avec un mécanisme d'ébauche peu coûteux et en les vérifiant en une seule passe avant du modèle cible, sans modifier la sortie. Cette analyse détaille les mathématiques, les principales méthodes (modèles d'ébauche, EAGLE-3, DFLASH, prédiction multi-jetons, n-grammes), et ce que les taux d'acceptation signifient réellement pour la latence en conditions réelles.
2026-07-21
Optimisation des systèmes
DSpark montre que l’inférence rapide de l’IA est un problème d’ordonnancement, pas un tour de modèle
L’article de DSpark de DeepSeek révèle que le décodage spéculatif naïf dégrade le débit en situation de forte concurrence. Sa solution, la vérification à ordonnancement par confiance, adapte la longueur des blocs par requête et déplace la frontière de Pareto des performances de service.
2026-07-12
Le décodage spéculatif semi-autorégressif entre en production
DSpark de DeepSeek vient de résoudre les deux choses qui freinaient une inférence IA plus rapide
Un nouveau cadre de décodage spéculatif de DeepSeek s'attaque aux deux goulots d'étranglement qui ont limité les rédacteurs parallèles : la dégradation du suffixe et la vérification inutile. DSpark atteint des vitesses de génération 60 à 85 % plus rapides en production en couplant une architecture semi-autorégressive à un planificateur à planification de confiance qui élimine les jetons de faible valeur avant que le modèle cible ne les vérifie.
2026-07-08
Performances
Gemma 4 tourne presque 90 % plus vite dans Ollama 0.31 avec la prédiction multi-tokens
Ollama 0.31 introduit la prédiction multi-tokens pour Gemma 4 sur Apple Silicon, atteignant près de 90 % de génération de tokens plus rapide sur les benchmarks de codage. L'accélération provient d'un modèle de brouillon auto-ajusté et d'un noyau MLX personnalisé qui élimine les lectures redondantes de poids.
2026-06-29