Shieldstral：3B参数分类器，胜过规模七倍于己的模型

长期以来，规模一直是进入内容审核领域的门票。一个很少被公开检验的假设是：安全分类器的规模需要几乎与其所审查输出的模型一样大。7月28日提交至arXiv的一篇论文直接挑战了这一假设。Shieldstral，一款策略自适应、30亿参数（3B）的多模态安全分类器，达到或超越了其近七倍大小的文本安全模型，并声称在多模态安全分类上达到了新的最先进水平（SOTA）。换算一下，对比类别约在200亿参数（20B）量级。

本报告内容

• 3B与20B的差距
• 为什么二元问答会改变审核
• 5410万样本配方内幕
• 评估策略适应性
• 这对审核技术栈意味着什么

3B与20B的差距

差距就是重点，而且它有一个近期的先例。一个0.8B模型在文档解析上击败了所有流水线模型，Pixtral-12B也在多模态基准测试中达到或击败了其七倍大小的模型。当时的扩展挑战是视觉-语言领域的故事；Shieldstral则将同样的论点带入安全分类领域，在这里，赌注不是排行榜名次，而是哪些内容会被标记、哪些内容会漏过。

该论文由十一位作者署名，包括Guillaume Lample、Pierre Stock和Giada Pistilli。名字读起来是Mistral品牌与盾牌的组合词；摘要本身未声明任何隶属机构。它也没有点名任何竞品模型，只提到了一个被描述为接近其七倍大小的对比类别。

Shieldstral概览

为什么二元问答会改变审核

审核存在一个分类体系问题。每个平台和司法管辖区都用自己的术语定义类别，而在一套规则下标注的数据集很难与另一套合并。Shieldstral通过改变问题来回避这一冲突。模型不是将内容归入类别，而是回答一个二元问题：该内容是否违反此政策，是或否。

作者认为，这种简单的表述将多样化的审核任务统一为一个是/否问题。拥有不同分类体系的数据集因此可以在一个训练框架下合并。这就是结构上的回报：模型是策略自适应的，其细粒度评估集正是为了测试当政策发生变化时它适应得如何。

5410万样本配方内幕

模型很小，因此数据承担了重担。论文描述了一种将精选与生成相结合的数据构建配方，达到约5410万个样本，摘要没有说明两者的具体比例。作者强调的是配方本身，而不是参数量。同样的赌注也出现在NanoColibri, , 一个通过租用GPU接力训练、耗资约200美元的2.7B MoE背后。

合成数据是背景。Nvidia的Nemotron Prompt Atlas认为，开放合成数据是构建可靠AI代理所缺失的一层。审核分类器处于这一论点的苛刻一端，因为其训练数据必须在构建时就是干净的；安全流水线在模型对输出进行筛查之前，就先对输入进行筛查。

评估策略适应性

这些头条声称建立在作者自己构建的评估之上：一个细粒度测量集，旨在测试策略适应性，而不仅仅是基准准确率。其逻辑是，安全分类器在政策变化时才能体现价值，而这正是为单一分类体系训练的模型容易出错的地方。论文的结论直截了当：训练配方与这一评估相结合，让一个小型自适应模型能够达到甚至超越大得多的模型。同样的模式也出现在一个监控控制器将量化LLM在MATH-500上的分数提升了4.5个点时。

在任何人围绕3B模型重建审核技术栈之前，基准方法值得审视。我们已经记录了静态基准在真实世界性能上的误区，而且一个我们标记为其尺寸级别中最强的34B级开放权重模型，发布时并未说明它是针对哪个GPT-4变体进行测量的。Shieldstral的摘要也没有点名其竞争对手。这是一个需要指出的差距，而不是否定结果的理由。

这对审核技术栈意味着什么

如果这些声称成立，内容审核的经济格局将改变。提供3B分类器的成本远低于提供20B分类器；这是算术，不是猜测，同样的性价比差距也体现在一个1.40美元模型在物理基准测试中击败其2.82美元同类模型上。周边基础设施并不会变得更简单。我们报道过的Stability AI透明度报告描述了基线：NSFW分类器、来自Thorn的Safer和互联网观察基金会（IWF）的CSAM哈希列表、结构化红队测试。一个只有其七分之一大小的模型，会让这套技术栈在更多地方运行得更便宜。

还有一种商业解读。Mistral的企业技术栈已经将内容审核和政策执行列为其产品类别，而一个小型策略自适应分类器正是适合该目录的工具形态。论文没有建立这种联系；它也不需要这样做。

Pixtral-12B曾问，一个12B模型能否让90B模型难堪。Shieldstral在安全领域提出了同样的问题：在这里，一次失败的基准运行只会损失一篇论文，而一次失败的审核调用则可能让平台失去用户。如果3B的数字能在作者自己的评估集之外被复现，那么“安全分类器必须很大”的旧假设将失去最后的防线。