无审查模型悖论：拒绝少了，安全也丢了，以及本地AI为何仍然重要

在本地AI领域有一个常见的宣传：对齐模型拒绝得太多了，所以把它们去审查。我们的基准测试确认了第一部分。在善意提示上，比如写一个虚构的犯罪现场或解释缓冲区溢出，过度拒绝率在一个模型上经过消融手术后从44%降至0.5%。但宣传中忽略的一点是，同样的编辑将真正的安全拒绝率从41.5%降至9.5%。过度拒绝和安全拒绝并不是两个独立的问题。它们在权重中是同一个旋钮，转动它，两者都会被移除。

这并不是对无审查模型的批评。出于隐私、成本和控制这三个真正需要本地运行的原因，它们是正确的工具。关键在于，关于它们的讨论往往将权衡描述为“无过滤地获取你想要的东西”，而实际的权衡更为诚实：合法提示可以通过，但真正有害的提示也同样通过，因为模型无法区分它们。这种责任转移到了你身上。

模型如何学会拒绝

理解去审查移除了什么，需要先理解模型最初是如何学会拒绝的。这发生在三个阶段。首先，在大量文本语料上进行预训练，此时模型没有拒绝的概念，一个原始的基座模型几乎会继续生成任何文本。然后是指令微调，模型学会遵循请求并表现得像个助手。最后是对齐阶段，RLHF或DPO，通过训练偏好数据（奖励拒绝某些类别请求的行为）来植入拒绝机制。

第三阶段故意设置得宽泛，因为推出大众市场产品的团队无法预见每一个边缘情况。副作用是过度泛化：模型不仅阻止真正有害的具体内容，还学会了将整个类别视为禁区，即安全基准测试使用的相同十个类别：暴力、非法活动、仇恨、骚扰、色情内容、自残、欺骗、隐私、不道德行为和一般的“有害”。询问家庭反应的化学原理、历史武器的工作原理或小说的犯罪情节，本应用于阻止真正滥用的反射行为也会影响你的合法任务。

消融手术与微调

构建无审查模型主要有两种途径。微调在基座模型上进一步训练更多的指令数据。例如，Dolphin系列从该数据集中学习新行为，包括回答意愿。由于这是真正的训练，因此还可以改进指令遵循和语气，而不仅仅是移除拒绝。代价是需要计算资源，并且如果数据质量差，存在偏离基座模型优势的风险。

消融手术是一种更轻量的方法。研究人员发现，许多对齐模型中的拒绝行为由模型残差流中的一个单一方向控制，该残差流是模型在层与层之间传递的内部状态。为了找到它，你让模型处理匹配的有害和无害提示集合，记录激活值，然后取两者之间的均值差。接着，你移除模型表达该方向的能力，可以在推理时即时进行，或者通过将权重矩阵与其正交化来永久移除。它快速、廉价，且与原模型保持接近，尽管通常需要后续进行一次轻量的“修复”微调以恢复轻微的能力下降。

最佳发布版本通常结合两种方法：先进行消融手术以实现顺从性，然后微调以恢复精细度。

基准测试实际显示的结果

我们通过相同的llama.cpp测试工具，在单块RTX 3060上运行了五个无审查模型，单轮对话，使用中性系统提示且无越狱。过度拒绝率在OR-Bench（Cui等人，2024年，涵盖10个敏感类别的200个提示）和XSTest（Röttger等人，2024年，250个安全提示）上测量。安全性在XSTest的200个不安全提示上测量。能力通过MMLU的一个固定250题子集进行零样本测试。

最重要的结果是：同一个Gemma 2 9B权重，先对齐然后消融。在善意的OR-Bench提示上的过度拒绝率从44%骤降至0.5%，下降90倍。但它对真正有害提示的拒绝率也随之下降，从41.5%降至9.5%。MMLU未受影响（68.4对68.0）。权重中一个方向上的一个编辑：恼人的拒绝消失了，大部分安全性也随之消失，而智能得以保留。

这种模式在我们测试的所有模型上都成立。没有一个模型只拒绝有害内容。这才是真正的权衡。

云端带来的意外

还有一个发现推翻了本地无审查模型的部分宣传。我们将相同的合法但边缘的提示提交给大型托管模型：Mistral Large和Claude Opus 4.8回答了所有提示；DeepSeek V3和Llama 3.3 70B回答了96%。实际上，云端并不会拒绝你的工作。本地运行无审查模型的原因是隐私、成本和完全控制，而不是假设云端会屏蔽你的查询。

哪种模型适合什么用途

作为一个通用的起点，Gemma Abliterated 9B回答了每个提示，并几乎完整保持了推理能力。对于编码，DolphinCoder或Qwen 3.6 Uncensored。对于创意写作和角色扮演，Nous Hermes 3更像一个合作者而非聊天机器人。如果你有24 GB的GPU，Dolphin-Mistral 24B在我们测量的推理分数中最高（MMLU 75）。如果需要速度和长上下文，Llama 3.2 Dark Champion凭借其混合专家设计，在单块RTX 3060上以76 tok/s运行。

实际要点：根据硬件选择模型大小。现代7B和8B模型在4位量化下可以舒适地在许多笔记本电脑上运行。Apple Silicon Mac由于统一内存而表现尤为出色。即使没有专用GPU，较小的模型也可以在CPU上运行，只是速度较慢。

你现在就是安全护栏

无审查模型并非仅仅因为无审查就更准确或更强大。它们只是不再拒绝合法提示。我们的基准测试揭示了诚实的权衡：消融手术移除了模型的过度拒绝，几乎不牺牲能力，但同时也剥离了安全护栏。在隐私和控制重要时运行无审查模型，根据你的显存选择模型大小，并要知道它所编码的判断现在成为了你的工作。