Unsloth réduit Inkling de 975B à 270 Go avec 74 % de rétention de précision

Inkling de Thinking Machines Lab, un modèle à poids ouverts de 975 milliards de paramètres avec une fenêtre de contexte de 1 million de tokens, est arrivé cette semaine sous licence Apache 2.0. Et il s'est heurté au même obstacle que tout modèle de pointe : les poids complets en BF16 occupent 1,9 To de disque. L'exécuter localement nécessitait un centre de données, ou du moins c'était le cas.

Unsloth, la boîte à outils open-source de quantification et d'entraînement, a une réponse différente. Sa méthode dynamique GGUF réduit Inkling à 270, 285 Go en 1 bit et 317 Go en 2 bit, tout en conservant respectivement 74,2 % et 81 % de la précision top 1 %. Les chiffres phares, 86 % plus petit en 1 bit, 82 % plus petit en 2 bit, semblent indiquer une perte agressive de capacité. Le comportement réel, selon l'analyse publiée par Unsloth, est plus nuancé.

Comment la quantification dynamique préserve les performances

La quantification standard applique une précision uniforme à toutes les couches. La méthode d'Unsloth est sélective : elle identifie les couches où une précision inférieure cause des dégâts disproportionnés (la projection ffn_down, par exemple, génère 10× plus d'erreur si elle est quantifiée) et les conserve dans des formats à bits plus élevés. Il en résulte un mélange de précision 8 bits, 6 bits et 1 bit à l'intérieur du même fichier modèle.

Les benchmarks de divergence KL d'Unsloth montrent que le mélange de quantification 8/6 bits atteint un RMSE de 1e-4 ou moins dans la déquantification, effectivement indiscernable de l'exécution complète BF16 sauf pour les tests statistiques les plus rigoureux. La quantification 1 bit, en revanche, dévie, mais cette déviation se concentre sur la génération créative (poèmes, prose variée) plutôt que sur le rappel factuel. Interrogé sur ce que fait 2+2, Inkling en 1 bit ne répond jamais 5.

"Cela montre que si nous réduisons le modèle de 82 % avec notre méthode Unsloth Dynamic GGUF, cela ne signifie PAS que le modèle devient 82 % 'plus stupide', on observe seulement ~18 % de dégradation.", notes de version d'Unsloth

Configuration matérielle pour l'inférence

La quantification 1 bit tient sur des machines avec au moins 290 Go de mémoire totale, comme un Mac Studio Ultra ou une station de travail multi-GPU avec une RAM système substantielle. Le mélange 6/8 bits, bien que plus précis, nécessite près d'un téraoctet.

Exécuter Inkling localement

Unsloth propose deux voies pour l'inférence locale. La première est Unsloth Studio, une interface web open-source qui gère automatiquement le déchargement GPU, la détection multi-GPU et les téléchargements de modèles. Les utilisateurs sur macOS, Windows et Linux peuvent l'installer via une commande terminal et rechercher "Inkling" dans l'onglet Studio Chat.

La deuxième voie est llama.cpp, en utilisant une PR spécifique du GitHub d'Unsloth. Le workflow prend en charge l'inférence CPU uniquement et Apple Metal, avec téléchargement automatique du modèle via llama-cli ou téléchargement manuel depuis Hugging Face. Unsloth recommande la quantification UD-IQ1_M comme le meilleur équilibre entre accessibilité et précision.

Inkling lui-même prend en charge les modes de non-réflexion et de réflexion, avec un paramètre d'effort de raisonnement de 0,00 (aucun) à 0,99 (maximum). Il gère également les appels d'outils entrelacés et l'analyse audio, même dans la quantification 1 bit, selon les démonstrations d'Unsloth.

Contexte des benchmarks

Les scores bruts d'Inkling en pleine précision le placent parmi les meilleurs modèles à poids ouverts. Sur AIME 2026, il atteint 97,1 %, sur SWE-bench Verified 77,6 % et sur GPQA Diamond 87,2 %. Les chiffres de rétention de précision des versions quantifiées, 74,2 % en 1 bit, 81 % en 2 bits, signifient que même la variante la plus petite surpasse de nombreux modèles plus petits sur des tâches de raisonnement et de codage.

La méthode d'Unsloth n'est pas une spéculation : les fichiers GGUF sont disponibles sur Hugging Face, et le dépôt Inkling-GGUF inclut les scripts de quantification complets et le code des benchmarks. La chaîne d'outils elle-même est open-source sur GitHub.