Unsloth 将 9750 亿参数 Inkling 模型压缩至 270 GB，准确率保留 74%

Thinking Machines Lab 的 Inkling 是一个拥有 9750 亿参数、100 万 token 上下文窗口的开放权重模型，本周以 Apache 2.0 协议发布。它遇到了每个前沿模型都会遇到的瓶颈：BF16 完整权重占用 1.9 TB 磁盘空间。在本地运行它意味着需要一个数据中心，至少以前是这样。

开源量化与训练工具包 Unsloth 给出了不同的答案。其动态 GGUF 方法将 Inkling 压缩至 1 位下的 270/285 GB 和 2 位下的 317 GB，同时分别保留了 74.2% 和 81% 的 top-1% 准确率。从数据上看，1 位时体积缩小 86%，2 位时缩小 82%，这听起来像是能力的严重损失。但根据 Unsloth 发布的分析，实际情况更为微妙。

动态量化如何保持性能

标准量化对所有层应用统一的精度。Unsloth 的方法是有选择性的：它识别出那些低精度会造成不成比例损伤的层（例如，ffn_down 投影若被量化，误差会增大 10 倍），并将这些层保留在更高位的格式中。结果是在同一个模型文件中混合了 8 位、6 位和 1 位精度。

Unsloth 的 KL 散度基准测试显示，8/6 位量化混合在反量化中实现了 1e-4 或更低的 RMSE，除了最严苛的统计测试外，与完整的 BF16 运行几乎没有区别。相比之下，1 位量化确实存在偏差，但偏差集中在创意生成（诗歌、多样化的散文）上，而非事实性回忆。当被问及 2+2 等于多少时，1 位的 Inkling 从未回答 5。

"这表明，如果我们使用 Unsloth 动态 GGUF 方法将模型缩小 82%，这并不意味着模型变 '笨' 了 82%，只观察到约 18% 的退化。", , Unsloth 发布说明

推理硬件要求

1 位量化可安装在配备至少 290 GB 总内存的机器上，例如 Mac Studio Ultra 或配备大量系统内存的多 GPU 工作站。而精度更高的 6/8 位混合则需要接近 1 TB 的内存。

本地运行 Inkling

Unsloth 提供了两种本地推理路径。第一种是 Unsloth Studio，一个开源 Web UI，可自动处理 GPU 卸载、多 GPU 检测和模型下载。macOS、Windows 和 Linux 用户可通过终端命令安装，并在 Studio Chat 选项卡中搜索 "Inkling"。

第二种路径是 llama.cpp，使用 Unsloth GitHub 上的一个特定 PR。该工作流支持纯 CPU 推理和 Apple Metal，通过 llama-cli 自动下载模型，或从 Hugging Face 手动下载。Unsloth 推荐使用 UD-IQ1_M 量化版本，认为其在可访问性和准确性之间取得了最佳平衡。

Inkling 本身支持非思考模式和思考模式，并带有一个从 0.00（无）到 0.99（最高）的 "reasoning effort" 参数。根据 Unsloth 的演示，即使在 1 位量化下，它也能处理交错工具调用和音频解析。

基准测试背景

在全精度下，Inkling 的原始分数使其跻身顶级开放权重模型之列。在 AIME 2026 上达到 97.1%，在 SWE-bench Verified 上达到 77.6%，在 GPQA Diamond 上达到 87.2%。量化版本的准确率保留数据（1 位 74.2%，2 位 81%）意味着，即使是最小的变体，在推理和编码任务上的表现也优于许多较小的模型。

Unsloth 的方法并非空谈：GGUF 文件已在 Hugging Face 上提供，并且 Inkling-GGUF 仓库 包含了完整的量化脚本和基准测试代码。该工具链本身也是 GitHub 上的开源项目。