La mémoire partagée a ses limites : les algorithmes acteur-critique peinent à passer l'échelle au-delà de cinq agents

Un article publié sur arXiv le 21 juillet 2026 aborde une lacune dans la recherche en apprentissage par renforcement : que se passe-t-il lorsque des algorithmes acteur-critique conçus pour des tâches d'actions paramétrées à un seul agent sont appliqués à des contextes multi-agents sans l'infrastructure d'entraînement centralisé habituelle ?

Clement Nyirenda, l'auteur, étend trois algorithmes monogents établis, Greedy Actor-Critic (GAC), Soft Actor-Critic (SAC) et Truncated Quantile Critics (TQC), en versions multi-agents à expérience partagée : MAGAC, MASAC et MATQC. Au lieu du paradigme d'entraînement centralisé et d'exécution décentralisée (CTDE) qui domine l'apprentissage par renforcement multi-agents, chaque agent conserve ses propres réseaux de politique et de valeur, mais puise dans un seul buffer de répétition partagé.

L'idée est pragmatique : laisser les agents apprendre indépendamment tout en mutualisant l'expérience, réduisant ainsi les frais de coordination que le CTDE exige souvent. Les résultats sont toutefois inégaux selon les algorithmes.

GAC bondit, SAC et TQC stagnent

Sur les benchmarks Platform-v0 et Goal-v0, MAGAC a systématiquement surpassé son équivalent monogent. L'écart était statistiquement significatif pour les configurations à trois, cinq et dix agents, avec des tests ANOVA unidirectionnelle et HSD de Tukey à l'appui de la comparaison. Pour GAC, partager un buffer de répétition était un net avantage.

MASAC et MATQC ont montré des améliorations plus modestes. Leurs versions multi-agents ont bien battu les baselines monogents en termes de retour d'évaluation moyen, mais les marges étaient suffisamment étroites pour que l'article les décrive comme comparativement modestes. Le buffer de répétition partagé a laissé moins de marge à SAC et TQC, peut-être parce que ces deux algorithmes intègrent déjà des mécanismes d'exploration et de stabilité qui laissent moins de gains faciles à exploiter pour les architectures multi-agents.

Le mur des cinq agents

L'étude a testé chaque algorithme avec trois, cinq et dix agents. Le schéma était cohérent : le passage de trois à cinq agents a apporté des gains mesurables. Le passage de cinq à dix n'en a pas apporté. Les agents supplémentaires n'ont quasiment pas modifié le retour d'évaluation, tandis que le temps d'entraînement augmentait considérablement, en particulier pour MAGAC, qui a le plus mal évolué en termes de coût de calcul.

Ce résultat est important pour quiconque conçoit des systèmes multi-agents réels avec des budgets GPU limités. L'article ne prétend pas définir un seuil universel, mais les données suggèrent qu'au-delà de cinq agents, les architectures acteur-critique à expérience partagée utilisent le calcul pour de la redondance plutôt que pour l'apprentissage. Le compromis entre performance et efficacité est brutal.

Nyirenda souligne que les benchmarks utilisés, Platform-v0 et Goal-v0, sont des environnements d'actions paramétrées discrètes. Ils exigent des agents qu'ils choisissent à la fois un type d'action et des paramètres continus, ce qui les rapproche de tâches de contrôle robotique plutôt que des jeux de plateau ou du RL de type Atari. Le plafond de passage à l'échelle pourrait varier dans d'autres environnements, mais l'article pose une revendication empirique claire : pour cette famille de tâches, cinq agents constituent une limite pratique.

Là où l'expérience partagée fonctionne, et là où elle ne fonctionne pas

Le choix architectural mérite d'être détaillé. L'article évite délibérément le CTDE, qui nécessite un critique centralisé voyant les actions de tous les agents pendant l'entraînement. Au lieu de cela, chaque critique agent fonctionne à partir de sa propre observation et action, le buffer de répétition étant la seule ressource partagée. Cela simplifie l'entraînement, mais signifie aussi que les agents ne peuvent pas se coordonner implicitement via une fonction de valeur conjointe. Les résultats suggèrent que pour certains algorithmes (SAC, TQC), la perte de cette coordination l'emporte sur le bénéfice de l'expérience mutualisée, tandis que pour GAC, l'effet de mutualisation domine.

Un tableau résumant les résultats comparatifs entre configurations clarifierait le schéma, mais les figures de l'article, basées sur dix exécutions indépendantes par configuration, montrent une variance cohérente que les tests statistiques traitent directement. Le principal enseignement est que le choix algorithmique importe plus que le nombre d'agents une fois qu'un seuil minimum est atteint.

Pour les chercheurs construisant des systèmes multi-agents RL en robotique, simulation ou contrôle continu, l'implication pratique est simple : commencez avec trois agents, testez-en cinq, et ne supposez pas que dix aideront. Le calcul supplémentaire est mieux utilisé pour ajuster le backbone monogent.