La memoria compartida tiene doble filo: escalar algoritmos actor-crítico más allá de cinco agentes muestra rendimientos decrecientes

Un artículo publicado en arXiv el 21 de julio de 2026 aborda una brecha en la investigación de aprendizaje por refuerzo: ¿qué sucede cuando los algoritmos actor-crítico diseñados para tareas de acciones parametrizadas con un solo agente se lanzan a entornos multiagente sin el andamiaje habitual de entrenamiento centralizado?

Clement Nyirenda, el autor, extiende tres algoritmos establecidos de un solo agente, Greedy Actor-Critic (GAC), Soft Actor-Critic (SAC) y Truncated Quantile Critics (TQC), a versiones multiagente de experiencia compartida: MAGAC, MASAC y MATQC. En lugar del paradigma de entrenamiento centralizado y ejecución descentralizada (CTDE) que domina el RL multiagente, cada agente mantiene sus propias redes de política y valor, pero accede a un único búfer de reproducción compartido.

La idea es pragmática: permitir que los agentes aprendan de forma independiente mientras agrupan experiencia, reduciendo la sobrecarga de coordinación que a menudo exige CTDE. Sin embargo, los resultados son desiguales entre algoritmos.

GAC salta; SAC y TQC se estancan

En los benchmarks Platform-v0 y Goal-v0, MAGAC superó consistentemente a su contraparte de un solo agente. La brecha fue estadísticamente significativa en configuraciones de tres, cinco y diez agentes, respaldada por pruebas ANOVA unidireccional y HSD de Tukey. Para GAC, compartir un búfer de reproducción fue una clara victoria.

MASAC y MATQC mostraron mejoras más modestas. Sus versiones multiagente sí superaron las líneas base de un solo agente en el retorno promedio de evaluación, pero los márgenes fueron lo suficientemente estrechos como para que el artículo los describa como comparativamente modestos. El búfer de reproducción compartido dio a SAC y TQC menos margen para explotar, posiblemente porque ambos algoritmos ya incluyen mecanismos integrados para exploración y estabilidad que dejan menos fruta madura para que las arquitecturas multiagente la recojan.

El muro de los cinco agentes

El estudio probó cada algoritmo con tres, cinco y diez agentes. El patrón fue consistente: el salto de tres a cinco agentes trajo ganancias medibles. El salto de cinco a diez no. Los agentes adicionales apenas movieron el retorno de evaluación mientras que el tiempo de entrenamiento aumentó sustancialmente, especialmente para MAGAC, que escaló peor en costo computacional.

Ese resultado es importante para cualquiera que diseñe sistemas multiagente del mundo real con presupuestos limitados de GPU. El artículo no afirma un umbral universal, pero los datos sugieren que más allá de cinco agentes, las arquitecturas actor-crítico de experiencia compartida gastan cómputo en redundancia en lugar de aprendizaje. La compensación entre rendimiento y eficiencia es marcada.

Nyirenda señala que los benchmarks utilizados, Platform-v0 y Goal-v0, son entornos de acciones parametrizadas discretas. Requieren que los agentes elijan tanto un tipo de acción como parámetros continuos, lo que los acerca más a tareas de control robótico que a juegos de mesa o RL estilo Atari. El techo de escalabilidad podría cambiar en diferentes entornos, pero el artículo establece una afirmación empírica clara: para esta familia de tareas, cinco agentes es un límite superior práctico.

Dónde funciona la experiencia compartida y dónde no

La elección arquitectónica merece ser desglosada. El artículo evita deliberadamente CTDE, que requiere un crítico centralizado que vea las acciones de todos los agentes durante el entrenamiento. En su lugar, cada crítico de agente trabaja desde su propia observación y acción, con el búfer de reproducción como el único recurso compartido. Esto mantiene el entrenamiento más simple pero también significa que los agentes no pueden coordinarse implícitamente a través de una función de valor conjunta. Los resultados sugieren que para algunos algoritmos (SAC, TQC), la pérdida de esa coordinación supera el beneficio de la experiencia agrupada, mientras que para GAC, el efecto de agrupación domina.

Una tabla que resuma los resultados comparativos entre configuraciones aclararía el patrón, pero las figuras del propio artículo, basadas en diez ejecuciones independientes por configuración, muestran una varianza consistente que las pruebas estadísticas manejan directamente. La conclusión clave es que la elección del algoritmo importa más que el número de agentes una vez que se cruza un umbral mínimo.

Para los investigadores que construyen sistemas RL multiagente en robótica, simulación o control continuo, la implicación práctica es directa: comenzar con tres agentes, probar cinco y no asumir que diez ayudarán. El cómputo adicional se gasta mejor ajustando la base de un solo agente.