Por qué los modelos de difusión interpolan, no solo memorizan: una teoría matemática de la creatividad

Los modelos de difusión se han convertido en una arquitectura de referencia para todo, desde la síntesis de imágenes de alta resolución hasta el descubrimiento molecular. Pero hacen algo que durante mucho tiempo ha desconcertado a los investigadores: producen resultados que son claramente nuevos, no solo copias de ejemplos de entrenamiento, mientras se mantienen coherentes y realistas.

Un estudio de Google Research, presentado en ICLR 2026, ofrece la primera explicación matemática rigurosa para este comportamiento. El artículo, 'Sobre el efecto de interpolación del suavizado de puntuación en modelos de difusión', sostiene que lo que llamamos creatividad en los modelos de difusión es un resultado directo y predecible de cómo las redes neuronales aprenden funciones de puntuación aproximadas bajo regularización.

'Nuestro trabajo sugiere que lo que llamamos la "creatividad" de los modelos de difusión podría ser en realidad un resultado matemático predecible', dijo Zhengdao Chen, autor principal del estudio e investigador científico en Google Research.

El marco de eliminación de ruido y la trampa de la memorización

Comprender el hallazgo requiere observar cómo funcionan los modelos de difusión. El proceso de entrenamiento comienza añadiendo gradualmente ruido a datos reales, como un conjunto de fotos de gatos, hasta que las imágenes se convierten en ruido puro. El modelo luego aprende a revertir esta corrupción paso a paso, en un proceso llamado eliminación de ruido.

Si el modelo aprendiera el proceso inverso perfecto, reconstruiría copias exactas de las imágenes de entrenamiento durante la implementación. Eso es memorización. En ese escenario, el modelo se convierte en una herramienta de recuperación, no en un motor generativo.

Sin embargo, en la práctica, los modelos de difusión hacen más. Generan imágenes que el modelo nunca ha visto, combinando características de múltiples ejemplos de entrenamiento. La pregunta es: ¿qué impide que el modelo simplemente memorice?

El papel del suavizado de puntuación

Chen y sus colegas muestran que la respuesta está en cómo las redes neuronales aproximan la función de puntuación, el campo de fuerza matemático que guía las partículas ruidosas de vuelta hacia datos significativos durante el proceso de eliminación de ruido.

La función de puntuación perfecta, derivada directamente de los datos de entrenamiento, sería extremadamente aguda. Dividiría el espacio de datos en acantilados empinados, con cada partícula siendo atraída con fuerza hacia el punto de entrenamiento más cercano. Eso lleva a la memorización.

Pero las redes neuronales, incluso cuando intentan aprender esta función perfecta, no pueden reproducir esos acantilados afilados exactamente. El entrenamiento con regularización, como la disminución de peso o la regularización implícita de la optimización basada en gradientes, obliga a la red a aprender versiones más suaves de la función de puntuación.

Este suavizado de puntuación tiene un efecto concreto: crea una zona muerta entre puntos de entrenamiento donde las partículas fluyen lentamente, eventualmente asentándose en el espacio entre datos conocidos. En lugar de colapsar sobre puntos de entrenamiento, el proceso generativo aterriza en puntos interpolados, nuevos datos que combinan características de múltiples ejemplos de entrenamiento.

Prueba matemática y validación empírica

Para demostrar este efecto, el equipo de Chen realizó experimentos controlados en un entorno unidimensional con solo dos puntos de datos de entrenamiento: +1 y -1. Entrenaron redes ReLU de dos capas para aprender la función de puntuación bajo diferentes grados de disminución de peso.

Los resultados fueron claros: una regularización más fuerte produjo funciones de puntuación aprendidas más suaves, y el proceso de eliminación de ruido resultante produjo puntos que caían en la zona de interpolación entre -1 y +1, en lugar de en cualquiera de los polos. El equipo cuantificó esta conexión combinando la teoría de funciones de la regularización de redes neuronales con las matemáticas de la eliminación de ruido.

El fenómeno se extiende a datos de alta dimensión. En entornos multidimensionales, el suavizado de puntuación se vuelve dependiente de la dirección. A lo largo de direcciones tangenciales a la variedad de datos oculta, crea el mismo efecto de ralentización observado en el caso unidimensional. Pero a lo largo de direcciones que apuntan hacia la variedad, la función de puntuación perfecta ya es suave, por lo que un mayor suavizado hace poca diferencia.

'El suavizado de puntuación no ralentiza el movimiento hacia la variedad, sino que solo reduce la tendencia a colapsar hacia los datos de entrenamiento a lo largo de las direcciones tangenciales', explicó Chen. 'De esta manera, el modelo logra un equilibrio entre calidad y novedad'.

Implicaciones para el diseño de IA generativa

Los hallazgos tienen implicaciones prácticas para los desarrolladores de modelos de difusión. Al tratar la creatividad como un resultado matemático controlable en lugar de una propiedad misteriosa, los investigadores pueden diseñar arquitecturas que ajusten deliberadamente el efecto de interpolación.

El marco del artículo sugiere que la compensación entre memorización y novedad se puede gestionar ajustando el grado de regularización durante el entrenamiento. Los modelos entrenados con una disminución de peso más pesada interpolarán de manera más agresiva, generando resultados más novedosos pero con el riesgo de desenfoque si la zona de interpolación se vuelve demasiado grande. Los modelos entrenados con una regularización mínima producirán resultados más nítidos que se asemejan más al conjunto de entrenamiento.

Para aplicaciones como el descubrimiento de fármacos, donde el objetivo es generar configuraciones moleculares novedosas, el artículo proporciona una base teórica para fomentar la interpolación. En la generación de imágenes, los hallazgos podrían guiar el desarrollo de modelos que garanticen la producción de resultados novedosos pero coherentes.

Limitaciones y preguntas abiertas

El trabajo actual se centra en arquitecturas relativamente simples y entornos controlados. Queda por ver si los mismos mecanismos se escalan a modelos de difusión de última generación con miles de millones de parámetros.

'Nuestro trabajo solo sirve como un esfuerzo inicial para dilucidar este mecanismo, y queda por ver qué sucede cuando la distribución de datos o las arquitecturas de redes neuronales se vuelven más complejas', señaló Chen.

No obstante, al proporcionar una base matemática rigurosa para el efecto de interpolación, el estudio abre la puerta a construir modelos que sean mejores interpoladores de manera intencionada. 'Podemos comenzar a construir modelos que sean mejores interpoladores para asegurarnos de que sigan siendo motores creativos mientras evitan los peligros de la memorización ciega', añadió Chen.

El artículo y el código asociado se han publicado, permitiendo a la comunidad investigadora replicar y ampliar los hallazgos.