为什么扩散模型能插值而非简单记忆：创造力的数学理论

扩散模型已成为从高分辨率图像合成到分子发现等多种任务的首选架构。但它们做了一件长期困扰研究者的事：生成的输出明显是新的，而非训练样本的复制品，同时保持连贯和真实。

谷歌研究在ICLR 2026上发表的一项研究首次给出了这一行为的严谨数学解释。论文《论扩散模型中分数平滑的插值效应》认为，我们称之为扩散模型创造力的东西，是神经网络在正则化下学习近似分数函数的直接、可预测结果。

“我们的工作表明，我们所谓的扩散模型‘创造力’，实际上可能是一个可预测的数学结果，”该研究的第一作者、谷歌研究的研究科学家Zhengdao Chen说。

去噪框架与记忆陷阱

理解这一发现需要了解扩散模型的工作原理。训练过程首先将噪声逐步添加到真实数据（如一组猫图片）中，直到图像变成纯噪声。然后模型学习逐步逆转这一破坏过程，这被称为去噪。

如果模型学习了完美的逆向过程，它在部署时将重构出训练图像的精确副本。这就是记忆。在这种情况下，模型变成了检索工具，而非生成引擎。

然而在实践中，扩散模型做得更多。它们生成模型从未见过的图像，结合多个训练样本的特征。问题是：是什么阻止模型仅仅记忆？

分数平滑的作用

Chen及其同事表明，答案在于神经网络如何近似分数函数, , 即在去噪过程中引导噪声粒子返回有意义数据的数学力场。

直接从训练数据推导出的完美分数函数会非常尖锐。它会将数据空间分割成陡峭的悬崖，每个粒子被强力拉向最近的训练点。这会导致记忆。

但神经网络，即使尝试学习这个完美函数，也无法精确重现那些尖锐的悬崖。使用正则化（如权重衰减或基于梯度优化的隐式正则化）的训练，迫使网络学习分数函数的平滑版本。

这种分数平滑有一个具体效果：在训练点之间创建一个死区，粒子在其中缓慢流动，最终停留在已知数据之间的空间。生成过程不是坍缩到训练点，而是落在插值点, , 结合多个训练样本特征的新数据。

数学证明与实证验证

为了演示这一效应，Chen的团队在仅有两个训练数据点+1和-1的一维设置中进行了控制实验。他们训练了两层ReLU网络在不同权重衰减程度下学习分数函数。

结果清晰：更强的正则化产生更平滑的学习分数函数，由此产生的去噪过程生成的点落在-1和+1之间的插值区域，而非任一极值点。团队通过将神经网络正则化的函数空间理论与去噪数学相结合，量化了这种联系。

这一现象扩展到高维数据。在多维设置中，分数平滑变得方向依赖。沿着隐藏数据流形切线的方向，它产生与一维案例中相同的减慢效应。但沿着指向流形的方向，完美分数函数已经是平滑的，因此进一步平滑影响不大。

“分数平滑不会减慢朝向流形的运动，而只是减少了沿切线方向坍缩到训练数据的倾向，”Chen解释道。“通过这种方式，模型在质量和新颖性之间取得了平衡。”

对生成式AI设计的启示

这些发现对扩散模型的开发者具有实际意义。通过将创造力视为可控的数学结果而非神秘属性，研究者可以设计有意调谐插值效应的架构。

论文的框架表明，记忆与新颖性之间的权衡可以通过调整训练期间的正则化程度来管理。使用更强权重衰减训练的模型会更激进地插值，生成更多新颖输出，但如果插值区域过大，则存在模糊风险。使用最小正则化训练的模型将产生更清晰的输出，更接近训练集。

对于药物发现等应用，生成新颖分子构型是目标，该论文为鼓励插值提供了理论基础。在图像生成中，这些发现可指导开发保证产生新颖但连贯输出的模型。

局限性与开放问题

当前工作集中于相对简单的架构和受控环境。同样的机制是否扩展到拥有数十亿参数的最先进扩散模型，仍是一个开放问题。

“我们的工作只是阐明这一机制的初步尝试，当数据分布或神经网络架构变得更加复杂时，情况如何仍有待观察，”Chen指出。

尽管如此，通过为插值效应提供严谨的数学基础，该研究为有目的地构建更好的插值器打开了大门。Chen补充道：“我们可以开始有意构建更好的插值器，以确保它们保持创造力引擎，同时避免盲目记忆的陷阱。”

该论文及相关代码已发布，供研究社区复现和扩展这些发现。