Ollama 0.30 apporte une inférence GPU plus rapide et une prise en charge native des modèles GGUF

Ollama vient de publier la version 0.30, et elle s'attaque aux deux choses qui agacent le plus les gens lorsqu'ils exécutent des LLM localement : les performances GPU et la compatibilité des modèles. La mise à jour promet des gains de débit allant jusqu'à 20 % sur le matériel NVIDIA et étend l'accélération GPU à davantage d'appareils grâce à la prise en charge par défaut de Vulkan, tout en renforçant les liens avec l'écosystème de modèles GGUF.

Inférence plus rapide, portée plus large

Le grand titre ici cible les utilisateurs NVIDIA. Ollama 0.30 intègre des optimisations des équipes NVIDIA et llama.cpp, et l'équipe a quantifié les résultats en utilisant un modèle Gemma 4 26B en quantification Q4_K_M sur un RTX 5090. Les gains réels varieront selon le modèle, le matériel et la quantification, mais 20 % est une amélioration significative pour les développeurs exécutant des boucles d'inférence locales.

Plus important pour la plupart des gens : l'accélération GPU Vulkan est maintenant activée par défaut. Avant, les utilisateurs sur GPU AMD ou Intel devaient souvent installer des bibliothèques spécifiques au fournisseur ou bricoler la configuration pour obtenir une inférence soutenue par GPU. Maintenant, Ollama gère cette complexité, de sorte que les modèles s'exécutent sur le GPU prêts à l'emploi sur davantage d'appareils.

Expansion de l'écosystème GGUF

Ollama 0.30 élargit la compatibilité des modèles GGUF pour inclure des familles de modèles comme LFM et Prism, ainsi que des modèles affinés d'Unsloth. Cela compte pour deux raisons. Premièrement, les utilisateurs peuvent télécharger des fichiers GGUF directement depuis Hugging Face et les exécuter via un simple flux de travail Modelfile sans étape de conversion. Deuxièmement, cela aligne davantage Ollama avec l'écosystème plus large des LLM open source, où GGUF est devenu le format quantifié par défaut pour le déploiement local.

Le flux de travail est simple : téléchargez un fichier GGUF (ou un répertoire de ceux-ci), créez un Modelfile pointant vers celui-ci, puis exécutez ollama create et ollama run. Si le modèle prend en charge l'appel d'outils, Ollama hérite de cette capacité, permettant l'intégration avec des agents de codage comme Claude Code, Hermes Agent et OpenClaw via une seule commande ollama launch. Les utilisateurs peuvent vérifier la prise en charge des outils avec ollama show my-model.

Positionnement stratégique

Cette version consolide le pari d'Ollama sur l'écosystème GGML, qui sous-tend llama.cpp et le mouvement plus large de l'IA locale. En utilisant Vulkan par défaut et en acceptant les fichiers GGUF nativement, le projet réduit l'écart entre le déploiement de bricolage et le prêt-à-l'emploi. Pour les développeurs construisant des outils d'IA locaux, des assistants personnels, des agents de codage ou des flux de travail personnalisés, Ollama 0.30 abaisse la barrière à l'entrée sans exiger une marque spécifique de GPU.

La mise à jour pointe également discrètement vers une dynamique concurrentielle : alors que les coûts d'inférence basée sur le cloud restent imprévisibles pour une utilisation à volume élevé, les exécuteurs locaux comme Ollama offrent une latence prévisible et des coûts API nuls. Une prise en charge GPU plus rapide et une compatibilité matérielle plus large ne font que renforcer cet argument.

Ollama 0.30 est disponible dès maintenant en téléchargement sur macOS, Linux et Windows.