Le correctif en deux mots pour le problème d'auto-sabotage de l'apprentissage par renforcement

L'apprentissage par renforcement à partir du feedback humain (RLHF) est devenu la méthode standard pour aligner les grands modèles de langage sur les préférences humaines. Mais à mesure que les modèles s'entraînent sur un ensemble d'objectifs toujours plus large, respect des instructions, style d'écriture, exactitude factuelle, correction du code, les signaux de récompense qui guident l'apprentissage deviennent désordonnés et souvent contradictoires. Un nouvel article d'une équipe de recherche internationale propose un correctif qui aborde directement ces instabilités. L'horizon de vérification : pourquoi vérifier les…

Le problème des multiples récompenses

Dans l'apprentissage par renforcement multitâche, chaque invite produit son propre vecteur de récompense, combinant des jugements binaires (le modèle a-t-il suivi l'instruction ?), des scores fractionnaires (à quel point le résultat est-il grammatical ?), et des métriques continues (similarité d'incorporation). Ces récompenses fonctionnent souvent à des échelles et distributions très différentes. Pire encore, les dimensions de récompense peuvent être corrélées : un modèle qui écrit bien peut également obtenir un score plus élevé pour le respect des instructions, simplement parce qu'un langage cohérent suit l'accomplissement de la tâche. Les méthodes standard d'estimation de l'avantage, qui calculent un scalaire unique à partir de sommes pondérées, amplifient le bruit provenant à la fois de l'hétéroscédasticité et de la redondance. OPID offre aux agents linguistiques un signal de…

« La difficulté centrale est qu'une scalarisation naïve des récompenses avant le calcul de l'avantage produit des mises à jour de gradient instables », écrivent les auteurs. « Cela est particulièrement aigu lorsque la distribution des récompenses change d'une invite à l'autre et d'une phase d'entraînement à l'autre. »

Les chercheurs identifient deux modes de défaillance : la disparité d'échelle (une récompense fractionnaire allant de 0 à 1 associée à une récompense continue allant de 0 à 100) et la redondance de corrélation (deux dimensions de récompense codant des informations qui se chevauchent, conduisant à des pas de gradient trop confiants).

L'architecture en deux étapes de RDPO

L'Optimisation de Politique Décorrélée des Récompenses (Reward-Decorrelated Policy Optimization) aborde les deux problèmes en séquence. La première étape applique une normalisation quantile sensible à l'ampleur (MAQ), qui trie toutes les récompenses pour une dimension donnée à travers le lot, les ancre à leur médiane, et les redimensionne par l'intervalle interquartile. Contrairement à la normalisation quantile standard, MAQ préserve les informations d'ampleur en suivant la médiane comme paramètre appris, ce qui permet au modèle de distinguer entre une récompense constamment élevée et une récompense sporadiquement élevée.

La deuxième étape applique un blanchiment de Mahalanobis dans chaque sous-espace de récompense actif. Les chercheurs regroupent les dimensions de récompense actives pour une invite donnée, un sous-ensemble approprié à la tâche du vecteur de récompense complet, et calculent la distance de Mahalanobis, qui décorrèle efficacement les dimensions avant l'agrégation en un avantage scalaire. Cela empêche les signaux redondants d'être comptés deux fois dans la mise à jour du gradient.

« L'étape de Mahalanobis est cruciale car elle agit comme une correction par lot », expliquent les auteurs. « Les corrélations de récompense ne sont pas statiques ; elles changent à mesure que la politique du modèle évolue. La décorrélation en ligne capture cette dynamique. »

Résultats sur LongCat-Flash

Les chercheurs ont intégré RDPO dans le pipeline de post-entraînement de LongCat-Flash, un modèle de contexte long existant. Par rapport à l'estimation d'avantage standard, RDPO a amélioré le respect des instructions de 8,3 points de pourcentage sur le sous-ensemble de respect des instructions de MT-Bench, a augmenté les scores de qualité d'écriture de 6,1 points sur une suite d'évaluation d'écriture propriétaire, et a réduit la sensibilité aux variantes d'invite difficiles de 12 % dans les tests adverses. Sur les benchmarks de raisonnement standard (GSM8K, MATH) et les évaluations de codage (HumanEval, MBPP), les performances sont restées dans la marge d'erreur statistique par rapport à la baseline, sans dégradation due à l'étape de décorrélation. IFBench : le nouveau benchmark testant le respect des…

Une étude d'ablation a montré que MAQ et le blanchiment de Mahalanobis sont bénéfiques individuellement : MAQ seul a récupéré 60 % du gain total, et l'étape de blanchiment a ajouté le reste. Supprimer les deux a ramené la performance à la baseline originale.

Implications plus larges

L'article arrive à un moment où les pipelines RLHF font l'objet d'une surveillance accrue, avec des débats sur le piratage des récompenses, l'effondrement du modèle de récompense et la fragilité de l'optimisation multi-objectifs. RDPO offre un plugin relativement léger : il ne nécessite pas de réentraîner le modèle de récompense, seulement de modifier le calcul de l'avantage, ce qui le rend viable pour les pipelines RLHF existants. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

« La beauté de l'approche est qu'elle traite le traitement des récompenses comme un problème d'optimisation de première classe plutôt que comme une simple étape de prétraitement », déclare la Dre Sarah Chen, chercheuse en apprentissage par renforcement non affiliée à l'étude. « De nombreux laboratoires normalisent simplement les récompenses à moyenne zéro et variance unitaire, en espérant que cela fonctionne. RDPO conçoit explicitement pour les deux cas les plus difficiles. »

Ce qui reste non résolu

L'article n'aborde pas la précision du modèle de récompense lui-même ; RDPO améliore uniquement la consommation des récompenses, pas la qualité du signal de récompense. Si le modèle de récompense est biaisé ou mal aligné, décorrélé ou non, la politique optimisera toujours pour la mauvaise cible. Il y a aussi le surcoût de calcul des matrices de covariance par lot, qui croît quadratiquement avec le nombre de dimensions de récompense actives et pourrait devenir un goulot d'étranglement dans des espaces de très haute dimension. MiniMax M3 brise le plafond des poids ouverts avec une…

Les auteurs reconnaissent que leur méthode suppose que les dimensions de récompense peuvent être raisonnablement partitionnées en sous-espaces actifs, un choix de conception qui peut ne pas être simple pour des tâches aux objectifs profondément entremêlés.

« Nous voyons RDPO comme une fondation pour un RL multi-récompenses plus rigoureux, pas comme une solution finale », concluent-ils. « Comprendre quand les récompenses doivent être décorrélées et quand elles doivent rester couplées est une direction de recherche ouverte. »