1 published article
模型量化
Unsloth 的动态 GGUF 量化将 9750 亿参数的开放模型 Inkling 从 1.9 TB 压缩至 1 位下的 270 GB，准确率保留 74.2%。该方法有选择性地保留高精度层，从而实现在配备 290 GB 以上 RAM+VRAM 的机器上进行本地推理。
2026-07-16