AI流水线存在三个无声漏洞，每次修复都让其中一个恶化

华盛顿大学的研究人员证明，通过自动评论垃圾邮件毒化预训练数据是一种现实且低成本的威胁。他们的HalfLife分析发现，只有0.13%的注入毒物能够通过完整的数据管道存活到训练模型中，而这已经足以超过针对在Common Crawl上训练的模型的已知攻击阈值。这个数字听起来很小。但事实并非如此：0.13%的存活率意味着从原始网络抓取到训练语料库之间的过滤步骤, , 去重、质量评分、毒性过滤器, , 远不足以阻止一个有动机、低预算的攻击者，他只想在足够多的页面上留下评论。

用于检测AI内容的检测器产生了相反的效果

对于合成和操纵内容的普遍回应是：构建更好的AI检测器。最近的一篇论文直接使这种回应复杂化，认为不完美的LLM检测器扭曲了用户激励，从而增加了AI使用并降低了输出质量，而非减少。这一逻辑虽不直观，但一旦阐述便不难理解：如果一个检测器已知是可被击败的，它的存在教会用户如何规避它，而不是阻止根本行为；如果检测器对真正的人类写作产生误报，它就会推动人们更依赖那些至少能产生可预测、可游戏特征的AI工具。一个不完美的执法机制可以训练它原本要威慑的人群。

即使是旨在捕捉作弊的系统也可能被同样的失败模式所利用

一篇关于图欺诈检测的论文在其自身领域内发现了类似的不安：在测试的三个数据集中的两个上，表现最佳的模型是那个刻意避免使用训练标签衍生证据的模型，这些证据在训练期间看起来具有预测性，因为它们泄露了标签本身的信息，而非反映真实的欺诈信号。简而言之，排行榜上顶尖的「欺诈检测器」部分是在检测自身训练数据的结构，而不是实际欺诈。这与数据毒化和检测器规避问题具有相同的形态：一个针对不完美代理进行训练的系统学会利用代理而不是解决实际任务。

一种失败模式，三个表面

预训练毒化、检测器规避和欺诈检测中的标签泄露看起来像是AI研究中三个不相关的角落。它们是穿着不同外衣的相同失败模式：每当防御或测量系统依赖代理信号, , 无论是内容过滤器、检测分类器还是训练标签, , 对手或无意中的优化压力最终会找到代理与其本应测量的事物之间的差距。修复一个表面并不能修复这种模式。更好的预训练过滤器不能阻止检测器规避。更好的AI检测器不能阻止不相关欺诈模型中的标签泄露。每种修复都是必要的，但没有任何一种足够，因为根本问题不在于任何特定过滤器的弱点，而在于管道中的每一个过滤器一旦承重，就成为目标。

对于构建或依赖这些系统的任何人来说，实际的教训是停止将任何单一防护措施, , 内容过滤、AI检测、欺诈评分, , 视为一个已解决且状态恒定的问题。每个都是一个移动的目标，一旦足够多的人或足够的自动化压力了解到它的形状，它就会退化。审计一个防御措施实际测量的是什么，而不仅仅是其准确率数字看起来不错，是唯一能概括这三个故事的应对措施。