Les mathématiques derrière l'accélération : comment le décodage spéculatif masque la latence sans modifier les sorties

La plupart des grands modèles de langage génèrent du texte un jeton à la fois. Chaque nouveau jeton est prédit à partir de tous ceux qui l'ont précédé, ce qui implique une passe avant par jeton. Sur les GPU modernes, le goulot d'étranglement est rarement le calcul, c'est la bande passante mémoire. Chaque passe avant lit les poids complets du modèle depuis la mémoire, et pour un seul jeton, c'est beaucoup de lecture pour très peu d'écriture. Le décodage spéculatif modifie le rapport : il permet au modèle de deviner plusieurs jetons à l'avance, puis vérifie l'ensemble du lot en une seule passe. Lorsque les suppositions sont correctes, le débit effectif augmente. Lorsqu'elles sont erronées, rien n'est perdu, l'échantillonnage par rejet garantit que la distribution des sorties reste identique à celle du décodage standard.

La technique a été formalisée en 2022, 2023 par des chercheurs de Google DeepMind, et est depuis devenue une fonctionnalité standard dans les moteurs d'inférence locaux. Le compromis principal se situe entre le coût de l'ébauche et le taux d'acceptation. Un ébaucheur bon marché qui fait de mauvaises suppositions peut en fait ralentir les choses. Un ébaucheur coûteux qui devine brillamment peut encore perdre du temps réel si la surcharge dépasse les passes économisées.

La garantie de l'échantillonnage par rejet

L'étape de vérification est ce qui rend le décodage spéculatif mathématiquement sans perte. Après qu'un modèle d'ébauche a produit une séquence de jetons candidats, le modèle cible évalue chacun d'eux par rapport à sa propre distribution conditionnelle. Soit p(x) la probabilité que le modèle cible attribue au jeton x et q(x) la probabilité que l'ébaucheur a attribuée. Le jeton est accepté avec une probabilité min(1, p(x) / q(x)). Lorsque le modèle cible est au moins aussi confiant que l'ébaucheur, le jeton passe toujours. Lorsqu'il est moins confiant, l'acceptation s'adapte à l'accord entre les deux distributions. Au premier rejet, la vérification s'arrête. Ce jeton est rééchantillonné à partir de la distribution résiduelle, et tous les jetons ébauchés suivants sont rejetés car ils ont été conditionnés sur un préfixe qui n'est plus valide.

Résultat : la sortie est statistiquement identique à ce qu'aurait produit le décodage autoregressif standard. Pas approximativement identique, identique, trace par trace. La seule différence est le nombre de passes nécessaires pour y parvenir.

Rendement attendu et formule d'accélération

Si chaque jeton ébauché est accepté avec une probabilité α et que l'ébaucheur propose jusqu'à γ jetons par étape, le nombre attendu de jetons par passe de vérification est (1 − α^(γ+1)) / (1 − α). Pour γ = 4 et α = 0,7, cela équivaut à environ 2,8 jetons par passe, soit une augmentation potentielle de 2,8× du débit par rapport au décodage standard avant de prendre en compte le coût de l'ébauche. À α = 0,9, le rendement attendu se rapproche de γ+1 complet.

L'accélération réalisée en temps réel est plus faible car l'ébauche n'est pas gratuite. Soit c le coût d'une étape d'ébauche par rapport à une passe avant du modèle cible. La formule devient :

accélération = (1 − α^(γ+1)) / ((1 − α) × (γc + 1))

C'est ici que les différentes méthodes de décodage spéculatif divergent. Une simple recherche par n-grammes a un c presque nul mais un α modeste. Un ébaucheur neuronal comme EAGLE-3 a un c plus élevé mais un α plus élevé. Lequel l'emporte dépend de la charge de travail, du matériel et de la longueur de séquence.

Les principales stratégies d'ébauche : cinq approches en pratique

Le paysage se divise en deux grandes familles : les ébaucheurs basés sur des modèles et les méthodes basées sur des motifs. Les ébaucheurs basés sur des modèles utilisent un second réseau neuronal pour approximer les prédictions du modèle cible. La forme la plus simple est un modèle d'ébauche autonome, un modèle de langage beaucoup plus petit entraîné à imiter la distribution du modèle cible. Le coût principal est qu'il doit être chargé aux côtés du modèle cible, doublant les besoins en mémoire pour le seul ébaucheur. EAGLE-3 attache un module de prédiction léger qui opère sur les activations cachées du modèle cible, réduisant considérablement la surcharge. DFLASH va plus loin en utilisant un modèle de diffusion par blocs qui prédit un bloc entier de futurs jetons en une seule passe avant, puis vérifie le bloc comme une unité. La prédiction multi-jetons (MTP) ajoute des têtes de prédiction auxiliaires au modèle cible lui-même pendant l'entraînement, de sorte que l'ébauche provient de la même passe avant que la prédiction principale, sans modèle séparé ni surcharge mémoire. Les méthodes basées sur des motifs, comme les caches de n-grammes et les recherches de n-grammes, exploitent la répétition déjà présente dans le texte généré. Elles ne coûtent presque rien à exécuter car elles recherchent simplement dans le contexte existant des séquences correspondantes. Dans des implémentations comme llama.cpp, le décodeur essaie d'abord l'ébauche basée sur des motifs, et se rabat sur un ébaucheur neuronal uniquement lorsqu'aucune continuation appropriée n'est trouvée.

Ce que les chiffres d'acceptation signifient réellement pour les utilisateurs

Des affirmations comme une amélioration du débit de 30 à 70 % grâce à MTP, ou jusqu'à 6× grâce à DFLASH, dépendent fortement des caractéristiques de la charge de travail. Les continuations prévisibles, l'itération sur du code, les modèles de raisonnement qui répètent une réflexion antérieure, ou le résumé qui fait écho à sa source, produisent de longues séquences acceptées et une accélération effective élevée. Le texte court, très nouveau et libre produit de faibles taux d'acceptation où la surcharge de l'ébauche peut l'emporter sur le bénéfice. Sur Gemma 4, les gains de MTP peuvent atteindre environ 3× dans des charges de travail favorables. Sur Qwen3 27B fonctionnant sur deux GPU RTX 5090, MTP passe de 51 à 117 jetons par seconde, soit une amélioration d'environ 2,3×. DFLASH revendique des pics encore plus élevés, en particulier sur Qwen3.6, Gemma 4 et Kimi K2.5, mais la même dépendance à la structure de bloc demeure : la taille du bloc est fixée par le modèle d'ébauche entraîné, ce qui limite la flexibilité avec laquelle la longueur de l'ébauche peut être ajustée par rapport aux méthodes jeton par jeton.

Le véritable goulot d'étranglement reste la bande passante mémoire, mais la donne change

Le décodage spéculatif ne réduit pas la quantité de calculs effectués par le modèle cible. Il modifie le rapport entre les lectures de poids et les jetons générés. C'est pourquoi il aide surtout dans les charges de travail limitées par la bande passante mémoire, ce qui est le cas de la plupart des inférences locales aujourd'hui. À mesure que le matériel devient plus rapide pour déplacer les poids, ou que les techniques de compression du cache KV progressent, la valeur relative du décodage spéculatif pourrait changer. Mais pour la génération actuelle de GPU grand public et de puces Apple Silicon, c'est l'un des rares déjeuners gratuits dans l'inférence des LLM : latence plus faible, sorties identiques, aucun coût de qualité.