Un score de reconstruction élevé ne signifie pas que vos explications d'IA sont vraies

Les chercheurs en interprétabilité se fient à un pari simple : si vous pouvez reconstruire l'activation d'un neurone à partir d'une explication lisible par l'humain, cette explication a nécessairement capturé quelque chose de réel. Un article publié sur arXiv le 22 juillet 2026, Train the Model, Not the Reader: Decodability Supervision for Verifiable Activation Explanations, soutient que ce pari est structurellement infondé.

Les autoencodeurs en langage naturel fonctionnent en entraînant un encodeur à convertir les activations cachées en mots et un décodeur à régénérer l'activation à partir de ces mots. Une reconstruction élevée signifie que l'explication réussit le test. Le problème, montrent les auteurs, est que le test réussit de deux manières et qu'une seule est fidèle.

L'essentiel n'est pas la vérité

Lorsqu'une équipe dirigée par Hiskias Dingeto Dr a appliqué la recette standard à un verbaliseur Qwen-2.5-7B publié, les explications se sont reconstruites bien au-dessus du hasard. Mais seulement environ 2 % des affirmations factuelles individuelles dans ces explications étaient effectivement dépendantes de la reconstruction, ce qui signifie que vous pouviez modifier 98 % des affirmations sans que la reconstruction ne bouge presque pas. Le score suivait l'essentiel, pas la vérité spécifique.

Cette constatation fait écho à une tension connue en interprétabilité : le contenu sémantique de haut niveau ("ce neurone détecte l'accord sujet-verbe") et la fidélité de reconstruction de bas niveau peuvent diverger. Des travaux antérieurs d'Anthropic et d'autres ont montré que les explications d'activation peuvent être plausibles sans être causalement liées à ce que le modèle calcule. Le nouvel article formalise ce mode de défaillance dans le cadre des autoencodeurs et montre qu'il ne s'agit pas d'un cas marginal.

Codes co-adaptés dans chaque exécution

Les auteurs ont conçu un cadre de vérité terrain synthétique où l'explication correcte pour un ensemble d'activations était connue exactement. L'application de la recette d'entraînement standard a produit des explications atteignant des scores de reconstruction élevés, mais 5 exécutions indépendantes sur 5 ont convergé vers des codes privés co-adaptés : un libellé sur lequel le décodeur s'appuyait mais qui ne correspondait pas au comportement réel du modèle. Les codes ressemblaient à de l'anglais normal mais étaient fonctionnellement une poignée de main secrète entre l'encodeur et le décodeur, contournant complètement le modèle cible.

La fixation des paramètres du modèle cible, une suggestion courante pour stabiliser l'interprétabilité, n'a pas aidé. La paire encodeur-décodeur a simplement ajusté sa signalisation privée pour rester dans la variété de sortie du modèle cible figé. Cela suggère que la défaillance n'est pas un artefact d'entraînement mais une propriété structurelle du jeu de reconstruction tel qu'il est actuellement pratiqué.

RECAP : une approche alternative

Plutôt que de tenter de réparer le test de reconstruction, l'article propose une stratégie différente. RECAP, Readable Encodings via Co-trained Auxiliary Predictors, entraîne des têtes de classifieur linéaire parallèlement au modèle cible, rendant le contenu interne désigné indépendamment décoable. Les nouveaux verbaliseurs entraînés sur des modèles préparés avec RECAP ont énoncé le contenu désigné de manière véridique, et les codes co-adaptés ont disparu. Les auteurs rapportent un coût de +0,001 nats dans la perplexité du modèle.

Sur un bac à sable entraîné avec une vérité terrain synthétique, le verbaliseur entraîné par RECAP a atteint un score de vérité comparable à la vérité terrain connue. Le résultat se reproduit sur un Pythia-160M pré-entraîné : le contenu désigné est devenu fiablement décoable par sonde. Un nouveau verbaliseur ne l'a transmis qu'en partie (score de vérité 0,44, 0,46 contre un contrôle proche de zéro sur la version non-RECAP), suggérant que la méthode n'est pas une solution complète à grande échelle mais une amélioration significative.

Robustesse adverse

Le résultat le plus fort provient du cadre adverse. Les auteurs ont construit un adversaire qui modifie l'explication d'un verbaliseur pour maximiser le score de reconstruction tout en insérant des mensonges, supprimant efficacement environ 87 % de la pénalité pour les fausses déclarations. L'AUC de détection d'une sonde standard s'est effondrée à 0,51, statistiquement aléatoire. Mais une sonde entraînée avec RECAP a maintenu une AUC de 0,95, signalant les mensonges supprimés.

Les chiffres sont frappants : AUC 0,95 contre 0,51 face au même adversaire, sur le même modèle, avec les mêmes modifications. La sonde témoin ne peut pas déterminer si le verbaliseur ment. La sonde RECAP voit clairement le mensonge.

Enjeux pour la sécurité et l'interprétabilité

Pour la communauté de l'interprétabilité, le message principal de l'article est un avertissement : des scores de reconstruction élevés ne certifient pas les affirmations individuelles. Un chercheur exécutant un verbaliseur sur un modèle critique pour la sécurité ne peut pas faire confiance à l'explication simplement parce que la reconstruction semble bonne. Pour la sécurité de l'IA, l'implication est différente. RECAP rend le contenu interne désigné vérifiable indépendamment à l'aide de sondes, plutôt que de se fier à un texte qu'un modèle peut manipuler. Une sonde indépendante évalue les affirmations vraies du verbaliseur au-dessus des fausses avec une AUC de 0,96, contre 0,82 sans RECAP.

La méthode n'est pas présentée comme prête à l'emploi : l'entraînement des têtes linéaires parallèlement au modèle cible nécessite de modifier le pipeline d'entraînement, et la réplication sur Pythia montre qu'un nouveau verbaliseur ne capture qu'environ la moitié de la vérité. Mais la direction est claire : au lieu d'essayer de réparer le test de reconstruction, construisez un système où les faits désignés sont décoables via un canal séparé que le verbaliseur ne peut pas usurper.

L'article est disponible sur arXiv (soumis le 22 juillet 2026) ainsi que des dépôts de code et de données.