L'expérience Picbreeder de Sakana AI montre ce que les VLM ignorent de la créativité humaine

L'ouverture est le saint Graal de la créativité artificielle : un système qui génère en continu des artefacts nouveaux et significatifs sans converger vers une solution unique. L'évolution naturelle le fait. La culture humaine le fait. Les systèmes d'IA ne le font généralement pas. Un nouvel article de chercheurs de Sakana AI, NYU et MIT, accepté à GECCO 2026, aborde ce problème directement en reproduisant Picbreeder, la plateforme d'art évolutif pilotée par l'homme, avec des modèles de langage vision (VLM) jouant le rôle des utilisateurs humains.

Les résultats sont instructifs. Les archives générées par VLM sont plus plates, plus répétitives et moins évocatrices que les originales humaines. Mais l'étude, dirigée par Sam Earle (NYU) avec Kai Arulkumaran, Andrew Dai, Akarsh Kumar, Julian Togelius et Sebastian Risi, teste également systématiquement quelles interventions pourraient combler l'écart, ce qui en fait l'une des tentatives les plus rigoureuses à ce jour pour isoler les ingrédients de l'ouverture dans les systèmes machine.

Ce que Picbreeder mesurait

Picbreeder, lancé en 2008, permettait aux utilisateurs de faire évoluer des images de manière collaborative en sélectionnant et mutant des images générées par CPPN, en bifurquant à partir des créations des autres. Au fil des ans, la communauté a construit un riche arbre phylogénétique d'images publiées, visages, voitures, insectes, motifs abstraits, qui sert de référence pour la recherche ouverte pilotée par l'homme. L'ensemble de données compilé par Kumar et al. en 2025, avec 9 758 images publiées et leur ascendance complète, donne à l'équipe de Sakana une base de référence humaine directe à laquelle se mesurer.

L'expérience principale remplace chaque utilisateur humain par un agent VLM (par défaut Gemini 2.5 Pro après avoir testé plusieurs modèles, y compris Gemini 3 Pro, des variantes Qwen3-VL et des modèles flash). L'agent voit une population de 15 images CPPN, sélectionne des parents sur 20 générations et publie une image finale dans l'archive partagée. Les branches commencent à partir d'un échantillon de l'archive existante. Dix agents fonctionnent en parallèle. L'article qualifie cela de reproduction fidèle des conditions de l'expérience originale, et non d'une tentative de reproduire ses résultats.

L'écart entre la sortie humaine et celle des VLM est visible au premier coup d'œil. L'archive humaine offre plus de variété et des images plus nettes et intentionnelles. Les VLM produisent de nombreux quasi-doublons, tendent vers un effondrement de mode (répétition d'un petit nombre de formes) et publient souvent des images grises, abstraites ou à haute fréquence de bruit. L'article tente de quantifier cela avec quatre métriques : Rappel Sémantique (dans quelle mesure l'archive couvre les classes d'objets connues de l'ensemble de données THINGS), Couverture Visuelle et Couverture Sémantique (rayons de couverture dans des espaces d'embedding), et Équilibre de l'Arbre (indice J1 d'équilibre phylogénétique). La base de référence humaine est en tête sur les trois métriques de couverture et est à égalité sur le rappel. La sélection aléatoire est la pire.

Trois interventions, trois leçons

L'équipe a fait varier trois paramètres : le bruit exploratoire (sélection epsilon-greedy), la longueur du contexte (combien d'historique d'interaction antérieur le VLM voit), et le nombre de personnalités d'agents distinctes générées via des traits suscités par LLM.

Exploration vs. qualité

Sans bruit, les archives VLM souffrent d'un effondrement de mode sévère, comme le dit l'article : de nombreuses variations des mêmes formes semblables à des renards ou des arêtes de poisson. L'injection de bruit epsilon-greedy jusqu'à 0,25 améliore la diversité sans sacrifier le rappel, mais des niveaux de bruit plus importants dégradent la qualité des images. Même à epsilon=1, où le VLM ne gère que la bifurcation et l'évaluation, toutes les sélections étant aléatoires, l'archive surpasse encore la base aléatoire sur plusieurs métriques, suggérant que le VLM peut guider de manière significative même avec un contrôle minimal. Mais l'équilibre de l'arbre reste obstinément bas : les VLM bifurquent des mêmes images à plusieurs reprises plutôt que de partir de populations aléatoires.

La mémoire est une arme à double tranchant

Une longueur de contexte nulle (pas d'historique) effondre le rappel alors que les agents publient des doublons. Un contexte de 1, voyant le tour actuel et le précédent, récupère bien la performance. Mais augmenter le contexte à 2, 10, ou la session complète de 20 générations dégrade systématiquement les métriques de rappel et de couverture. Avec un contexte complet, les agents produisent parfois des images de canettes de soda quasi photoréalistes sur plusieurs graines, mais l'archive globale devient plus bruyante. Les auteurs suggèrent une surcharge d'information et des boucles d'auto-sycophantie, le VLM renforçant ses propres préférences déclarées plutôt que d'explorer largement.

De nombreux agents, des résultats étranges

Augmenter le nombre de personnalités distinctes suscitées de 1 à 1 000 améliore considérablement la Couverture Sémantique et l'Équilibre de l'Arbre. La Couverture Sémantique la plus élevée de tous les paramètres provient de la condition avec 1 000 agents. Mais l'archive se remplit également de motifs psychédéliques à haute fréquence et ininterprétables, représentant 10 à 20 % des publications, ce que l'article appelle des images adversaires, massées par plusieurs agents tirant dans des directions différentes. La friction collaborative qui pourrait pousser les agents vers des bonds audacieux les pousse plutôt vers le bruit.

La grille de 1 000 agents est la plus clairement ouverte en termes quantitatifs, et simultanément la plus étrange en termes qualitatifs. Cette tension pourrait être le résultat le plus profond de l'article : les métriques conçues pour capturer la diversité valorisée par les humains ne distinguent pas entre une nouvelle forme raffinée et un glitch adversaire qui se trouve correspondre à de nombreux embeddings de légendes. Les auteurs signalent cela comme une direction pour les travaux futurs, proposant une métrique de variance sémantique, combien la légende d'une image donnée varie à travers des légendes VLM répétées, pour séparer les deux.

L'angle Sakana

L'implication de Sakana AI n'est pas anodine. Le laboratoire basé à Tokyo, co-fondé par David Ha et Llion Jones, a construit son agenda de recherche autour de systèmes ouverts d'inspiration biologique, depuis le mélange de modèles évolutifs jusqu'aux réseaux de neurones auto-réplicants. Cette étude sur Picbreeder s'inscrit parfaitement dans ce programme : elle traite l'ouverture non pas comme une propriété que l'on mesure après coup, mais comme un ensemble de décisions de conception que l'on peut sonder en remplaçant les humains par des modèles.

L'article prend soin de ne pas prétendre que son système est ouvert. Il rapporte ce qui rend le système piloté par VLM moins ouvert que la version humaine, et quels choix de conception le rapprochent. C'est une contribution utile. Les résultats suggèrent qu'aucune solution unique, plus de bruit, plus de mémoire, plus d'agents, ne permet d'obtenir une ouverture humaine ; la combinaison peut être importante, et l'article appelle explicitement à tester les interventions ensemble à plus grande échelle.

Ce que cela signifie pour l'automatisation

L'implication plus large de l'étude concerne tout projet automatisant la découverte créative ou scientifique avec l'IA. Si les VLM, même de pointe, produisent une recherche plus étroite que les humains lorsqu'ils sont placés dans la même structure minimale, alors remplacer le jugement humain dans les pipelines ouverts peut nécessiter un échafaudage minutieux. L'équipe de Sakana montre que l'échafaudage compte : la bonne quantité de mémoire, la bonne injection de bruit, la bonne diversité de perspectives. Mais elle montre aussi que l'échafaudage seul ne reproduit pas encore l'audace humaine, cette qualité que l'article appelle le facteur X, impliquant des sauts sémantiques plus grands et un discernement plus aigu.

Pour les praticiens construisant des systèmes agents pour la génération de contenu, la conception de mondes de jeux ou l'exploration d'hypothèses scientifiques, la leçon est que l'ouverture n'est pas une propriété du modèle, mais une propriété du système. Le VLM lui-même n'est pas le goulot d'étranglement ; la conception de son environnement, de sa mémoire, de ses règles de sélection et de la diversité de sa population est l'endroit où le comportement ouvert vit ou meurt.

Le code de l'équipe de Sakana est disponible sur GitHub. Les données de l'expérience originale de Picbreeder restent l'une des traces comportementales les plus riches de l'évolution guidée par l'humain. Connecter les deux, comme le fait cet article, est un pas vers la compréhension de ce que nous entendons par créativité.