Les affirmations de risque des têtes de RL distributionnel sont en grande partie fausses, selon un nouvel audit

L'apprentissage par renforcement distributionnel est devenu un paradigme dominant dans l'IA moderne. En remplaçant une espérance de rendement unique par une distribution de probabilité complète sur les récompenses futures, ces méthodes ont alimenté certains des résultats les plus célèbres dans les agents de jeu et ancrent désormais une théorie de manuel en pleine expansion. Mais une nouvelle étude rigoureuse du chercheur Hari Prasad pose une question que peu ont mesurée directement : lorsqu'un agent distributionnel entraîné rapporte que deux actions diffèrent en risque, ce rapport est-il réellement vrai ?

La réponse, à travers sept combinaisons différentes d'algorithme et de jeu et des milliers d'états audités, est que ce n'est généralement pas le cas. L'article, publié en prépublication et accompagné d'une boîte à outils d'audit complète, fournit ce que son auteur appelle « un diagnostic qui doit précéder toute guérison » pour un défaut soupçonné depuis des années mais jamais quantifié au niveau décisionnel.

La métrique d'audit : isoler ce qui compte

La contribution technique centrale de Prasad est une métrique d'audit appelée l'écart de Wasserstein excédentaire, notée Δ_x(s). Pour les deux actions que l'agent classe le plus haut par la moyenne à un état donné, la métrique mesure la distance de Wasserstein-1 entre leurs distributions de rendement moins la différence absolue de leurs moyennes. Lorsque Δ_x(s) est nul, une action domine stochastiquement l'autre au premier ordre, tout fonctionnelle de risque monotone les classe de manière identique, et une politique sensible au risque ne s'écarterait jamais d'une politique gloutonne par la moyenne. Lorsque Δ_x(s) est positif, l'agent prétend à un véritable compromis de risque : aucune action n'est plus sûre à chaque quantile, et un utilisateur pourrait rationnellement choisir en fonction de l'aversion pour les queues de distribution.

« La métrique isole exactement les affirmations qui ont un contenu décisionnel », écrit Prasad. « Elle ignore les erreurs que les deux actions partagent ; l'audit porte sur les affirmations de risque relatives, celles sur lesquelles on agit. »

Ce filtrage est associé à un harnais statistique qui comprend des permutations nulles, des tests de réfutation par bootstrap et un contrôle du taux de fausses découvertes (FDR). Sans ce harnais, l'article note que l'audit lui-même peut fabriquer des conclusions fausses ; deux pièges silencieux de l'évaluation basée sur les redémarrages sont documentés et quantifiés.

Sur trois algorithmes, la même signature

Prasad a entraîné des agents QR-DQN, C51 et IQN sur trois jeux MinAtar (Breakout, Seaquest et Asterix), avec plusieurs graines par algorithme pour un total de 33 exécutions. Les résultats sont remarquablement cohérents :

• 66 à 95 % des compromis de risque les plus forts revendiqués (les 2 % supérieurs du propre classement Δ_x de chaque agent) sont réfutés à 95 % de confiance.
• Essentiellement aucune affirmation n'est confirmable ; zéro des 735 états QR-DQN ont survécu aux tests corrigés pour FDR sur les trois jeux.
• La corrélation entre l'excès appris et l'excès réel (vérité terrain) est proche de zéro pour toutes les graines et tous les jeux (Pearson r ≈ 0,0).
• Le placement des affirmations les plus confiantes de l'agent est statistiquement indiscernable d'un mélange aléatoire aveugle à la vérité.

« Les têtes placent leurs affirmations les plus fortes pas mieux qu'un hasard aveugle à la vérité », conclut Prasad. L'artefact n'est pas un symptôme d'agents sous-entraînés : il apparaît complètement formé après 500 000 étapes d'entraînement, croît avec la force d'affirmation même sur laquelle un praticien se baserait, n'est pas corrélé avec le score final, et se reproduit sur un agent Atari pré-entraîné quasi-état-de-l'art.

Conséquences au niveau décisionnel : de bénéfique à anti-prédictif

Pour tester si la réfutation théorique se traduit par un préjudice pratique, Prasad a comparé trois sélectionneurs de l'action la plus sûre sur les états que les agents ont signalés comme les plus critiques pour le risque : le propre classement CVaR de la tête, une référence gloutonne par la moyenne qui ignore le risque, et la vérité terrain. Le résultat dépend de l'environnement d'une manière qui ne laisse aucune règle fiable aux praticiens.

Dans Breakout, la tête QR-DQN était véritablement informative, choisissant l'action la plus sûre 81 % du temps contre 44 % pour la référence gloutonne par la moyenne, avec un regret réduit de 1,36 à 0,20. Dans Seaquest, cependant, la tête était anti-prédictive : elle n'a choisi l'action réellement plus sûre que 34 % du temps (en dessous du hasard, p = 0,045), triplant à peu près le regret par rapport à ignorer complètement le risque. Dans Asterix, c'était un pile ou face.

« Un praticien ne peut pas dire quel régime s'applique », écrit Prasad. « Un conseil qui est parfois utile et parfois inversé est plus difficile à utiliser qu'un conseil uniformément non informatif. » C51 a encore moins bien performé, battu par la référence gloutonne par la moyenne dans les trois jeux.

Les réparations ne parviennent pas à restaurer des affirmations de risque utilisables

L'article teste trois familles de réparations suggérées par la littérature. Entraîner l'agent à être glouton par CVaR pendant l'apprentissage (optimiser la queue) a laissé les affirmations excessives inchangées. Un ensemble de cinq membres a atténué mais n'a pas calibré les affirmations principales. Et un recalibrage via une carte isotonique, qui a parfaitement sauvé les contrôles positifs, n'a réussi l'audit qu'en réduisant les affirmations principales à du bruit, affirmant zéro compromis de risque réel.

« La tête n'est pas mal calibrée mais non informative », écrit Prasad. « Information manquante, pas une erreur d'échelle réparable. » Un contrôle de distillation a confirmé que l'architecture peut ajuster les distributions réelles lorsqu'elle est supervisée directement avec des cibles de vérité terrain, isolant le déficit au processus d'entraînement bootstrapé plutôt qu'à la capacité du réseau.

Deux pièges qui peuvent tromper les chercheurs

L'article documente deux pièges méthodologiques dans l'évaluation basée sur les redémarrages que son auteur a rencontrés en développant l'audit. Le premier, le clonage RNG, se produit lorsque la copie profonde d'un environnement clone son générateur aléatoire interne, ce qui fait que chaque déploiement « aléatoire » rejoue un futur identique. La défaillance est silencieuse, directionnellement plausible, et survit facilement à une revue de code. Le second, le plancher de bruit de Wasserstein empirique, signifie que même deux échantillons de la même distribution produisent un excès mesuré positif qui décroît en n^−1/2. Un seuil fixe naïf peut « confirmer » les deux tiers des affirmations qui ne sont que du bruit pur.

Les deux pièges ont produit des audits convaincants mais erronés avant la conception finale. « La validation des affirmations distributionnelles doit être calibrée par rapport à une valeur nulle par état à la taille d'échantillon déployée », prévient Prasad.

Ce que la constatation signifie pour le domaine

Les têtes de RL distributionnel sont de plus en plus utilisées à trois fins pratiques : visualiser les distributions de rendement pour interpréter le comportement de l'agent, les seuiller pour produire des politiques sensibles au risque via CVaR et d'autres fonctionnelles, et les surveiller comme signaux de sécurité dans la conduite autonome et les pipelines de RL sûr. Ces trois utilisations partagent l'hypothèse que là où la distribution apprise d'une action diffère en forme de celle d'une autre, l'environnement contient réellement cette structure de risque.

« Les lectures au pied de la lettre des têtes distributionnelles sont les moins fiables dans les états où elles sont les plus susceptibles d'être consultées », conclut Prasad, « et devraient être validées par rapport à la vérité terrain avant d'être fiables. »

Pour le corpus croissant de travaux construisant des estimateurs d'incertitude, des ensembles et des couches de calibrage autour des têtes distributionnelles brutes, l'audit fournit à la fois une référence de mesure et une base sobre : une tête non informative ne donne aux corrections post-hoc aucun signal avec lequel travailler. L'article publie sa boîte à outils d'audit complète et une norme concrète pour les méthodes futures : une tête qui réussit l'audit confirme ses affirmations principales.