La generación de ideas de investigación mejora 3,89 veces con IDEAgent

Los grandes modelos de lenguaje han automatizado grandes partes del descubrimiento científico en los últimos años. Pueden escanear artículos, sugerir hipótesis, incluso redactar experimentos. Pero un problema sigue apareciendo: las ideas que producen son copias unas de otras o demasiado incompletas para seguir adelante. La mayoría de los sistemas optimizan la calidad o la diversidad, nunca ambas al mismo tiempo.

Un nuevo artículo de investigadores de la Universidad de Texas en Austin y la Universidad de Tecnología y Diseño de Singapur sostiene que tratar la ideación como una optimización de un solo objetivo es el marco equivocado. Proponen en su lugar una búsqueda de Calidad-Diversidad (QD) y construyen un marco multiagente llamado IDEAgent para ejecutarla.

IDEAgent no genera ideas de forma aislada. Las evoluciona a través de linajes, con agentes dedicados que manejan la reparación y el refinamiento basados en retroalimentación multiobjetivo, lo que cubre el lado de la calidad. Para la diversidad, el sistema mantiene una memoria secuencial ligera de ideas completadas, sus ancestros e incluso propuestas rechazadas, y compara cada nueva idea contra ese historial. La idea es forzar la novedad sin sacrificar la solidez.

"Los sistemas existentes generan y optimizan ideas de forma independiente para Calidad o Diversidad", escriben los autores.

Para medir qué tan bien funciona esa optimización conjunta, el equipo creó una nueva métrica llamada Rendimiento: el tamaño del conjunto más grande de ideas que son mutuamente diversas y todas pasan un umbral de calidad predeterminado. El Rendimiento da un solo número a un objetivo que anteriormente tenía que ser rastreado con puntuaciones separadas de calidad y diversidad.

Los resultados son contundentes. En 32 temas que cubren 8 subcampos de la informática, IDEAgent superó la mejor línea base por un factor de 3,89 en Rendimiento. Más revelador: logró un Rendimiento distinto de cero en 8 veces más temas que cualquier competidor, lo que significa que muchos temas que antes no devolvían nada de valor ahora producen un conjunto utilizable de ideas.

Los autores atribuyen la mejora al bucle de reparación y refinamiento, que construye rigor lógico y claridad mientras mantiene las ideas no obvias. Gran parte de la ganancia en diversidad, señalan, proviene de comparar contra ancestros históricos y propuestas rechazadas, un truco barato que impide que el sistema gire en torno a las mismas ideas trilladas.

El artículo revela una tensión que es fácil pasar por alto cuando solo se leen números de referencia. Un pipeline de generación de alta calidad puede producir ideas que parecen rigurosas en papel pero se agrupan alrededor del mismo punto de partida. Un pipeline que maximiza la diversidad puede producir una amplia dispersión, pero la mayoría es basura. IDEAgent muestra que los dos objetivos no están en conflicto cuando se replantea el proceso como una búsqueda en un paisaje de calidad-diversidad en lugar de una única mejor respuesta.

Si ese enfoque de paisaje se transfiere a dominios más difíciles, biología, hardware, matemáticas, sigue siendo una cuestión abierta. La evaluación actual cubre solo informática. Pero la idea de que un sistema LLM debe mantener una memoria de lo que ya ha pensado y evitar explícitamente repeticiones, es portátil.

IDEAgent es de código abierto en GitHub en github.com/declare-lab/IDEAgent. Los autores animan a otros grupos a construir sobre el marco de búsqueda QD para la ideación, lo que sugiere que ven esto como una base, no un producto terminado. Dados los números de Rendimiento, es una base que vale la pena seguir.