Pourquoi les modèles de diffusion interpolent, et ne se contentent pas de mémoriser : une théorie mathématique de la créativité

Les modèles de diffusion sont devenus une architecture de référence pour tout, de la synthèse d'images haute résolution à la découverte de molécules. Mais ils font quelque chose qui a longtemps intrigué les chercheurs : ils produisent des résultats clairement nouveaux, pas seulement des copies d'exemples d'entraînement, tout en restant cohérents et réalistes.

Une étude de Google Research, présentée à l'ICLR 2026, donne la première explication mathématique rigoureuse de ce comportement. L'article, 'On the Interpolation Effect of Score Smoothing in Diffusion Models', soutient que ce que nous appelons la créativité dans les modèles de diffusion est un résultat direct et prévisible de la manière dont les réseaux de neurones apprennent des fonctions de score approximatives sous régularisation.

'Notre travail suggère que ce que nous appelons la "créativité" des modèles de diffusion pourrait en fait être un résultat mathématique prévisible', a déclaré Zhengdao Chen, auteur principal de l'étude et chercheur chez Google Research.

Le cadre de débruitage et le piège de la mémorisation

Comprendre cette découverte nécessite d'examiner le fonctionnement des modèles de diffusion. Le processus d'entraînement commence par ajouter progressivement du bruit aux données réelles, comme un ensemble de photos de chats, jusqu'à ce que les images deviennent du pur bruit. Le modèle apprend ensuite à inverser cette corruption étape par étape, dans un processus appelé débruitage.

Si le modèle apprenait le processus inverse parfait, il reconstruirait des copies exactes des images d'entraînement lors du déploiement. C'est la mémorisation. Dans ce scénario, le modèle devient un outil de récupération, pas un moteur génératif.

Pourtant, en pratique, les modèles de diffusion font plus. Ils génèrent des images que le modèle n'a jamais vues, combinant des caractéristiques de plusieurs exemples d'entraînement. La question est : qu'est-ce qui empêche le modèle de simplement mémoriser ?

Le rôle du lissage du score

Chen et ses collègues montrent que la réponse réside dans la manière dont les réseaux de neurones approchent la fonction de score, le champ de force mathématique qui guide les particules bruyantes vers des données significatives pendant le processus de débruitage.

La fonction de score parfaite, dérivée directement des données d'entraînement, serait extrêmement abrupte. Elle diviserait l'espace des données en falaises abruptes, chaque particule étant tirée avec force vers le point d'entraînement le plus proche. Cela conduit à la mémorisation.

Mais les réseaux de neurones, même lorsqu'ils tentent d'apprendre cette fonction parfaite, ne peuvent pas reproduire exactement ces falaises abruptes. L'entraînement avec régularisation, comme la décroissance du poids ou la régularisation implicite de l'optimisation basée sur le gradient, oblige le réseau à apprendre des versions plus lisses de la fonction de score.

Ce lissage du score a un effet concret : il crée une zone morte entre les points d'entraînement où les particules se déplacent lentement, finissant par s'installer dans l'espace entre les données connues. Au lieu de s'effondrer sur les points d'entraînement, le processus génératif atterrit sur des points interpolés, de nouvelles données qui combinent les caractéristiques de plusieurs exemples d'entraînement.

Preuve mathématique et validation empirique

Pour démontrer cet effet, l'équipe de Chen a mené des expériences contrôlées dans un cadre unidimensionnel avec seulement deux points de données d'entraînement : +1 et -1. Ils ont entraîné des réseaux ReLU à deux couches pour apprendre la fonction de score sous différents degrés de décroissance du poids.

Les résultats ont été clairs : une régularisation plus forte a produit des fonctions de score apprises plus lisses, et le processus de débruitage résultant a produit des points qui se situaient dans la zone d'interpolation entre -1 et +1, plutôt qu'à l'un ou l'autre pôle. L'équipe a quantifié cette connexion en combinant la théorie de l'espace fonctionnel de la régularisation des réseaux de neurones avec les mathématiques du débruitage.

Le phénomène s'étend aux données haute dimension. Dans les contextes multidimensionnels, le lissage du score devient dépendant de la direction. Le long des directions tangentielles à la variété de données cachée, il crée le même effet de ralentissement observé dans le cas unidimensionnel. Mais le long des directions pointant vers la variété, la fonction de score parfaite est déjà lisse, donc un lissage supplémentaire fait peu de différence.

'Le lissage du score ne ralentit pas le mouvement vers la variété, mais réduit seulement la tendance à s'effondrer vers les données d'entraînement le long des directions tangentielles', a expliqué Chen. 'De cette manière, le modèle atteint un équilibre entre qualité et nouveauté.'

Implications pour la conception de l'IA générative

Les résultats ont des implications pratiques pour les développeurs de modèles de diffusion. En traitant la créativité comme un résultat mathématique contrôlable plutôt qu'une propriété mystérieuse, les chercheurs peuvent concevoir des architectures qui ajustent délibérément l'effet d'interpolation.

Le cadre de l'article suggère que le compromis entre mémorisation et nouveauté peut être géré en ajustant le degré de régularisation pendant l'entraînement. Les modèles entraînés avec une décroissance du poids plus lourde interpoleront de manière plus agressive, générant des résultats plus nouveaux mais risquant un flou si la zone d'interpolation devient trop grande. Les modèles entraînés avec une régularisation minimale produiront des résultats plus nets qui ressemblent davantage à l'ensemble d'entraînement.

Pour des applications comme la découverte de médicaments, où la génération de nouvelles configurations moléculaires est l'objectif, l'article fournit une base théorique pour encourager l'interpolation. Dans la génération d'images, les résultats pourraient guider le développement de modèles dont on est sûr qu'ils produiront des résultats nouveaux mais cohérents.

Limites et questions ouvertes

Les travaux actuels se concentrent sur des architectures relativement simples et des contextes contrôlés. La question de savoir si les mêmes mécanismes s'appliquent aux modèles de diffusion de pointe avec des milliards de paramètres reste ouverte.

'Notre travail ne sert que d'effort initial pour élucider ce mécanisme, et il reste à voir ce qui se passe lorsque la distribution des données ou les architectures des réseaux de neurones deviennent plus complexes', a noté Chen.

Néanmoins, en fournissant une base mathématique rigoureuse pour l'effet d'interpolation, l'étude ouvre la porte à la construction intentionnelle de modèles qui sont de meilleurs interpolateurs. 'Nous pouvons commencer à construire intentionnellement des modèles qui sont de meilleurs interpolateurs pour garantir qu'ils restent des moteurs créatifs tout en évitant les pièges de la mémorisation aveugle', a ajouté Chen.

L'article et le code associé ont été publiés, permettant à la communauté de recherche de reproduire et d'étendre les résultats.