Gemma 4 tourne presque 90 % plus vite dans Ollama 0.31 avec la prédiction multi-tokens

Ollama 0.31 donne à Gemma 4 un sérieux coup de pouce en performances sur Apple Silicon. La génération de tokens peut être jusqu'à 90 % plus rapide sur un benchmark d'agent de codage. L'astuce est la prédiction multi-tokens (MTP). Un petit modèle de brouillon propose plusieurs tokens à la fois, et le modèle principal vérifie l'ensemble du lot en un seul passage. Aucune configuration nécessaire. Cela fonctionne directement.

Cela compte surtout pour les agents de codage, où le modèle est appelé encore et encore pendant qu'il lit des fichiers, exécute des outils et résout des tâches. Une génération plus rapide rend ces agents nettement plus réactifs. Les chiffres des benchmarks proviennent de conditions réalistes, pas de démos triées sur le volet.

Comment fonctionne la prédiction multi-tokens dans Ollama

Gemma 4 est livré avec un modèle de brouillon léger qui fonctionne aux côtés du modèle principal et propose les quelques tokens suivants. Le modèle principal vérifie ensuite l'ensemble de la proposition en un seul passage, en conservant les tokens avec lesquels il est d'accord. Le modèle de brouillon ne représente qu'une fraction de la taille du modèle principal, donc ses propositions ne coûtent presque rien à calculer. Lorsque les propositions sont correctes, le modèle engage plusieurs tokens pour le prix d'un seul.

Le code est particulièrement prévisible : parenthèses fermantes, identifiants répétés, code standard. Les propositions du modèle de brouillon sont souvent acceptées. C'est pourquoi la MTP excelle sur les benchmarks de codage comme le benchmark Aider polyglot, où un agent réel travaille sur une série de tâches de programmation.

Ollama ajuste automatiquement la longueur du brouillon à l'exécution. Il suit la fréquence à laquelle les propositions sont acceptées et le temps que prend chaque passage de vérification. Ensuite, il choisit la longueur qui donne le plus grand nombre de tokens par seconde et l'ajuste à mesure que le texte change. Si les propositions cessent d'être acceptées, le moteur revient à un décodage token par token, donc la MTP ne ralentit jamais la génération.

Décodage spéculatif et contribution du noyau MLX

Chaque cycle commence par le modèle de brouillon prédisant un token, le réinjectant pour prédire le suivant, et répétant jusqu'à ce qu'il ait une courte série de propositions, généralement 2 à 8 tokens. Le modèle principal vérifie alors toute la série à la fois, en échantillonnant à chaque position pour décider quelles propositions sont acceptées. L'ensemble du processus reste sur le GPU en un seul passage : brouillon, échantillonnage, vérification et échantillonnage final, sans retour au CPU entre les deux.

Si une proposition est rejetée, le moteur rembobine le cache clé-valeur jusqu'au dernier token accepté. Cela est peu coûteux car il ne touche qu'aux entrées les plus récentes. Le système enregistre un point de retour avant chaque proposition, donc un rejet ne refait jamais le travail antérieur.

La partie coûteuse de la MTP est la vérification, pas le brouillon. La vérification exécute le modèle complet sur l'ensemble du lot de propositions à la fois, et cette taille de lot (2 à 8 tokens) se situe maladroitement entre les tailles typiques de décodage (un token) et de préremplissage (grand lot). Pour résoudre cela, l'équipe Ollama a fourni un noyau personnalisé à MLX qui lit et décompresse chaque bloc de poids une fois et le réutilise sur l'ensemble du lot. Pas de lectures mémoire redondantes. Sur un M5 Max avec quantification nvfp4, il rend les plus grandes multiplications matricielles de Gemma 4 2 à 2,5 fois plus rapides. Même calcul, moins de trafic mémoire.

Pour commencer

Vous pouvez télécharger Ollama 0.31 ou une version ultérieure pour macOS et lancer un agent de codage avec Gemma 4 en une seule commande. Si vous avez déjà téléchargé Gemma 4, retirez le modèle pour obtenir la version avec MTP activée. Ollama launch fonctionne également avec Codex, Droid, OpenCode, Copilot et d'autres frameworks d'agents.

Gemma 4 est le premier modèle à bénéficier de cette amélioration des performances. Ollama indique que d'autres modèles recevront le support de la MTP dans les prochaines versions.