Unsloth
2 published articles
IAFeatured3 min read
Optimisation de l’entraînement
Unsloth prétend accélérer 5 fois l’entraînement des LLM avec de nouveaux noyaux Triton et un auto-packing
La dernière mise à jour d’Unsloth introduit des noyaux QK RoPE Triton fusionnés pour des embeddings rotatifs 2,3 fois plus rapides, un indexage int64 pour les longs contextes et un packing sans padding. Les benchmarks montrent un débit 1,7 à 3 fois supérieur sur Qwen3-32B sans perte de précision.
2026-07-16
Open Source3 min read
Quantification de modèle
Unsloth réduit Inkling de 975B à 270 Go avec 74 % de rétention de précision
La quantification dynamique GGUF d'Unsloth réduit Inkling, un modèle ouvert de 975 milliards de paramètres, de 1,9 To à 270 Go en 1 bit avec 74,2 % de rétention de précision. La méthode préserve sélectivement les couches de haute précision, permettant l'inférence locale sur des machines disposant de 290 Go de RAM+VRAM.
2026-07-16