当AI学会边写边画并自我纠错

老师在白板上讲课时，不会先把所有字写完再开始画图。声音塑造着图表，图表又引导着下一句话。人类的认知将产生与理解置于一个连续的循环之中。而人工智能系统大多避开了这个循环，将每种模态视为独立车道。

本周在arXiv上发布的一篇论文旨在弥合这一差距。来自学术界与工业界合作团队的研究人员提出了自纠正耦合马尔可夫跳变过程（SC-CMJP），这是一个数学框架，其中一种模态的转移率成为另一种模态置信度分数的泛函，并由跨模态注意力加权。他们的免训练采样器CO₂Jump运行单次处理。关键之处在于，一旦跨模态证据出现矛盾，它就会立即撤回已做出的承诺。

这不是对已知架构的渐进式改进。而是对联合处理方式的结构性变革。三个新基准测试的结果表明，这一变革至关重要。论文报告称，CO₂Jump在图像理解与编辑以及视觉推理（包括迷宫和非方块谜题求解任务）中均实现了最佳联合性能。其性能随去噪步骤数量的增加而单调提升，这表明跨模态耦合在更长的轨迹中会不断累积，而不仅仅在最后一步体现。

无人解决的耦合问题

掩蔽扩散模型（MDM）理论上非常适合联合多模态生成，因为它们在离散令牌空间中工作，并能同时处理多个令牌序列。但实际上，现有采样器走了两条路。交错解码器在每次时间步切换模态，每次处理一个，这意味着图像在文本完成整个去噪步后才开始。并行分支解码器则在单步内独立更新两种模态，但每个分支只能看到对方截至上一时间步的历史。在时间步t引入的文本令牌中的矛盾，最早也要到时间步t+1才能被发现，甚至可能永远不会被发现。

这两种方法都未解决作者所称的“MDM无法重新掩蔽”的问题。一旦令牌被解除掩蔽并解码为具体令牌，标准框架便将其固化。与图像矛盾的词，或与标题矛盾的像素，会保留在输出中。模型无法撤回。

SC-CMJP通过添加一个重新掩蔽跳变操作来解决这一问题：这是一个随机操作，当跨模态证据低于学习到的阈值时，会将先前解码的令牌恢复到掩蔽状态。关键洞察在于，每个令牌的转移率并非固定时间表，而是另一种模态状态的泛函，并且在每一步都会更新。耦合在同一个去噪步骤内是因果且双向的，而非延迟一步。

CO₂Jump：具备内置撤销功能的免训练采样器

该采样器本身无需训练。它可以在任何预训练的MDM上运行，无需微调。在每一步，它都会对每种模态进行两次前向传播：一次生成新令牌，一次计算跨模态置信度以决定哪些之前已解码的令牌需要被重新掩蔽。重新掩蔽跳变由一个标量参数β控制，该参数决定了模型撤回承诺的激进程度。论文显示，固定的β值0.5在所有测试任务中均有效，而模型对该超参数的鲁棒性表明，这一机制并非是为特定狭窄范围精心挑选的。

为了训练和评估，研究团队创建并即将发布三个大规模的联合多模态生成语料库：JEdit-1M（包含文本指令的图像编辑对）、JMaze-200K（带有解法和文本描述的迷宫）以及JNono-200K（带有约束条件的非方块谜题）。每个语料库都配有匹配的分布内和分布外基准测试。这一点很重要，因为现有联合生成数据集通常规模较小或为合成数据。

基准测试结果：自我纠正优于并行策略

论文将CO₂Jump与两种主流的采样策略, , 交错法和并行分支法, , 在所有三个新基准测试以及已有的多模态生成基准CoMM上进行了比较。在所有测试中，CO₂Jump均胜出，且优势随步骤数增加而扩大。

随着去噪步骤增加而性能单调提升，恐怕是最有说服力的结果。交错法和并行分支法通常在100到200步后性能停滞，无论计算预算如何。CO₂Jump在超过500步后仍持续改进，因为每增加一步，跨模态注意力机制就多一次检测并纠正不匹配的机会。

这对该领域意味着什么

联合多模态生成一直被视为一个工程问题：将两个单模态管线对齐, , 如一个字幕生成模型加一个文生图模型，或一个指令遵循型图像编辑器附加一个单独的解码器。SC-CMJP框架表明，这种架构分离不仅浪费资源，而且有害。当两个模型分别训练、仅在推理时拼接时，文本与图像之间的矛盾不可避免。

论文的方法, , 通过带有随机撤销功能的转移率进行耦合, , 在数学上优雅且计算成本低廉。它为现有MDM增加了零可训练参数。代价是推理延迟略有增加，因为跨模态置信度计算需要在每一步对两种模态进行前向传播。但作者报告称，CO₂Jump达到次优方法相同质量所需的步骤大约少30%，这使得实际时间成本具有竞争力或更优。

对于构建多模态智能体的从业者来说，可以设想一个AI：它截取用户界面截图，编写一个自然语言编辑指令，并在单次循环中执行编辑。SC-CMJP方法消除了通过脆弱的提示工程将独立模型串联起来的需要。重新掩蔽跳变作为一种内置的自我纠正机制，没有任何基于规则的外部验证器能够匹敌。

未解问题：双向耦合能否泛化？

论文测试了文本与图像的耦合，但SC-CMJP框架本身与模态无关。原则上，它可以耦合三种或更多模态，例如文本、图像和音频，只要每种模态的令牌空间符合马尔可夫跳变过程，并且能够计算跨模态注意力权重。但重新掩蔽跳变能否扩展到两个以上的耦合过程，而不陷入纠正信号的组合爆炸？这仍是一个开放问题。作者在本文中并未涉及。

另一个局限性：采样器本身无需训练，但底层的MDM必须已经具备跨模态注意力能力。这将当前的概念验证限制在通过某种多模态预训练训练的模型上。仅基于文本训练的模型无法仅通过SC-CMJP获得图像理解能力。

尽管如此，这篇论文做出了一项罕见的贡献：在不引入新训练数据、新计算需求或新模型架构的情况下，通过框架变革提升了性能。在这个每周都有更大模型诞生的领域，一个能从现有模型中挖掘更多潜力的算法，值得关注。