La génération d'idées de recherche s'améliore de 3,89x avec IDEAgent

Les grands modèles de langage ont automatisé de larges pans de la découverte scientifique ces dernières années. Ils peuvent parcourir des articles, suggérer des hypothèses, voire rédiger des expériences. Mais un problème revient sans cesse : les idées qu'ils produisent sont soit des copies les unes des autres, soit trop peu abouties pour être poursuivies. La plupart des systèmes optimisent la qualité ou la diversité, jamais les deux à la fois.

Un nouvel article de chercheurs de l'Université du Texas à Austin et de l'Université de Technologie et de Design de Singapour soutient que traiter l'idéation comme une optimisation à objectif unique est un mauvais cadre. Ils proposent plutôt une recherche Qualité-Diversité (QD) et construisent un cadre multi-agent appelé IDEAgent pour l'exécuter.

IDEAgent ne génère pas d'idées isolément. Il les fait évoluer via des lignées, avec des agents dédiés gérant la réparation et le raffinement basés sur des retours multi-objectifs, ce qui couvre le côté qualité. Pour la diversité, le système garde une mémoire séquentielle légère des idées complétées, de leurs ancêtres, et même des propositions rejetées, et compare chaque nouvelle idée à cet historique. L'idée est de forcer la nouveauté sans sacrifier la solidité.

« Les systèmes existants génèrent et optimisent les idées indépendamment pour la Qualité ou la Diversité », écrivent les auteurs.

Pour mesurer l'efficacité de cette optimisation conjointe, l'équipe a créé une nouvelle métrique appelée Yield : la taille du plus grand ensemble d'idées mutuellement diverses et toutes passant un seuil de qualité prédéfini. Yield donne un nombre unique à un objectif qui devait auparavant être suivi avec des scores de qualité et de diversité séparés.

Les résultats sont frappants. Sur 32 sujets couvrant 8 sous-domaines de l'informatique, IDEAgent a surpassé la meilleure référence d'un facteur 3,89 sur Yield. Plus parlant : il a atteint un Yield non nul sur 8x plus de sujets que tout concurrent, ce qui signifie que de nombreux sujets qui ne retournaient rien de valable produisent désormais un ensemble d'idées utilisables.

Les auteurs attribuent l'amélioration à la boucle de réparation et de raffinement, qui construit la rigueur logique et la clarté tout en gardant les idées non évidentes. Une grande partie du gain de diversité, notent-ils, vient de la comparaison avec les ancêtres historiques et les propositions rejetées, une astuce bon marché qui empêche le système de tourner autour des mêmes idées rebattues.

L'article met en lumière une tension facile à manquer quand on ne fait que lire les chiffres des benchmarks. Un pipeline de génération de haute qualité peut produire des idées qui semblent rigoureuses sur le papier mais qui se regroupent autour du même point de départ. Un pipeline maximisant la diversité peut produire une large dispersion mais la plupart est de la camelote. IDEAgent montre que les deux objectifs ne sont pas en conflit lorsqu'on reformule le processus comme une recherche sur un paysage qualité-diversité plutôt qu'une seule meilleure réponse.

Que cette approche paysagère se transpose à des domaines plus difficiles, biologie, matériel, mathématiques, reste une question ouverte. L'évaluation actuelle ne couvre que l'informatique. Mais l'idée qu'un système LLM devrait garder en mémoire ce à quoi il a déjà pensé, et éviter explicitement les répétitions, est portable.

IDEAgent est open-source sur GitHub à l'adresse github.com/declare-lab/IDEAgent. Les auteurs encouragent d'autres groupes à s'appuyer sur le cadre de recherche QD pour l'idéation, ce qui suggère qu'ils voient cela comme une fondation, pas un produit fini. Compte tenu des chiffres de Yield, c'est une fondation à suivre.