Open Source3 min read
Quantification de modèle
Unsloth réduit Inkling de 975B à 270 Go avec 74 % de rétention de précision
La quantification dynamique GGUF d'Unsloth réduit Inkling, un modèle ouvert de 975 milliards de paramètres, de 1,9 To à 270 Go en 1 bit avec 74,2 % de rétention de précision. La méthode préserve sélectivement les couches de haute précision, permettant l'inférence locale sur des machines disposant de 290 Go de RAM+VRAM.
2026-07-16