Les décisions de votre réseau neuronal peuvent désormais être retracées jusqu'à des cas d'entraînement spécifiques

Les réseaux neuronaux modernes guident des décisions à forts enjeux dans le diagnostic médical, l'approbation de crédit et les enchères énergétiques. Mais lorsqu'un modèle favorise une action plutôt qu'une autre, le raisonnement reste opaque : l'expérience d'apprentissage est absorbée dans des paramètres appris, non exposée comme une mémoire de cas inspectable. Un preprint de l'Université des Sciences et Technologies de Huazhong fournit désormais un pont algébrique exact entre les scores d'action neuronaux et les cas d'entraînement qui les façonnent.

Dans From Neural Network Decisions to Training Cases: An Exact Account via Case-Based Decision Theory, les chercheurs Manli Yan, Yuebin Lin, Yaowen Yu et Yong Zhao montrent que pour les lectures OLS (moindres carrés ordinaires) à représentation fixe, chaque score d'action est exactement une somme pondérée de retours de cas d'entraînement. Les poids proviennent de la géométrie de Gram empirique de la représentation, une relation purement algébrique qui rend explicite l'évidence au niveau des cas.

Une décomposition exacte basée sur les cas

L'idée centrale s'appuie sur la théorie des décisions basées sur les cas (CBDT), qui modélise la prise de décision comme une agrégation du soutien des résultats à partir de cas mémorisés. La CBDT formalise un schéma humain familier : nous évaluons les actions actuelles en comparant le problème présent à des expériences passées et en additionnant les résultats de cas similaires.

Les auteurs démontrent qu'une représentation neuronale fixe, équipée d'une sonde de couche supérieure OLS, produit des scores d'action qui adoptent la même forme structurelle. Pour une entrée de test et une action candidate, le score est égal à une somme sur les cas d'entraînement d'un coefficient multiplié par le retour pour cette action. Le coefficient est déterminé par la géométrie du produit scalaire de la représentation : α_i(x) = φ(x)^⊤G⁻¹φ(x_i), où G est la matrice de Gram empirique.

Cette décomposition est exacte lorsque la matrice de représentation a un rang de colonne complet, et admet une version régularisée selon Tikhonov en cas de mauvais conditionnement. Le vecteur de coefficients est la solution unique de norme minimale d'un système linéaire cohérent, ce qui le rend canonique plutôt qu'arbitraire.

Sémantique : similarité ou influence signée ?

La forme algébrique correspond à la structure d'agrégation de la CBDT, mais la sémantique diffère sur un point crucial. La CBDT utilise des poids de similarité non négatifs, une contrainte reflétant la façon dont les humains récupèrent et pèsent les expériences passées. Les coefficients induits par OLS, en revanche, sont signés, non normalisés et dérivés de la géométrie de Gram plutôt que de la similarité.

Les auteurs identifient un régime suffisant dans lequel les coefficients se réduisent à des produits scalaires pondérés et peuvent correspondre à la sémantique de similarité de la CBDT : lorsque la représentation est blanchie de sorte que G = n I_H. En dehors de ce régime, rare en pratique, les coefficients sont mieux interprétés comme des termes d'influence géométrique signés, et non comme des poids de similarité. Les coefficients positifs correspondent à des cas proches qui augmentent le score d'action ; les coefficients négatifs agissent comme des corrections de champ lointain qui le compensent.

Cette distinction empêche les utilisateurs de confondre influence et similarité et clarifie ce que signifient réellement les cas récupérés.

Signaux d'audit sans réentraînement

La décomposition produit trois signaux d'audit pratiques pour l'inspection post-entraînement :

• Score d'audit de cas : Pour un point de test et une action candidate, la contribution signée de chaque cas d'entraînement ψ_i(a, x) = α_i(x) r_i,a retrace quels cas augmentent, diminuent ou compensent le score. Le tri par contribution absolue révèle les cas les plus influents.
• Entropie d'influence pour la cohérence d'action : En construisant une distribution de probabilité sur les actions optimales des k cas les plus influents, pondérée par la masse d'influence absolue, la méthode produit une mesure d'entropie. Une faible entropie signifie que les cas influents pointent vers une seule action ; une entropie élevée révèle des preuves dispersées ou contradictoires.
• Diagnostic de risque d'influence de cas : La combinaison de l'entropie d'influence avec un terme de désaccord de Gini parmi les 10 cas les plus influents produit un score de risque qui signale les prédictions faiblement soutenues, celles où les influences de cas d'entraînement les plus fortes fournissent des preuves d'action contradictoires.

Tous les trois signaux nécessitent seulement l'ajustement d'une sonde de couche supérieure OLS sur la représentation fixe. Pas de réentraînement de la représentation, pas d'accès à la trajectoire d'optimisation et aucune connaissance de la fonction de perte d'origine nécessaire.

Validation expérimentale

Les expériences couvrent un générateur CBDT synthétique avec une vérité terrain connue, des enchères énergétiques PJM avec des observations de charge réelles, et deux tâches de décision proxy UCI (Adult Income et Default Credit). Sur cinq graines aléatoires, la méthode atteint 96% d'accord avec l'action optimale CBDT sur les données synthétiques et de fortes corrélations de reconstruction de score sur les tâches réelles (0,9998, 0,9972 et 0,9592 pour les actions PJM).

Dans la comparaison d'attribution avec les fonctions d'influence, la sélection de points de représentation, TracIn et une référence de produit scalaire, le coefficient proposé atteint la plus haute cohérence d'action Top-30 (0,941 ± 0,030) tout en restant compétitif sur la corrélation de Pearson avec les contributions de cas de vérité terrain (0,368 ± 0,172).

Le coût d'audit est en moyenne de 58,6 ms par requête dans l'implémentation en cache, plus élevé que les références sous la milliseconde, mais acceptable pour les scénarios d'audit post-entraînement où la récupération de cas pertinents pour la décision est prioritaire.

Limites et travaux futurs

Les auteurs sont clairs sur les limites du cadre. L'exactitude ne s'applique qu'aux lectures OLS à représentation fixe ; les têtes non linéaires de bout en bout ne sont pas couvertes. Les expériences sur covariables réelles utilisent des retours d'action synthétiques ou proxies, et les grandes mémoires d'entraînement peuvent nécessiter des approximations de Nyström. L'extension de l'analyse aux sondes non linéaires et aux retours contrefactuels estimés reste ouverte.

Malgré ces limites, le travail fournit une lentille d'audit post-entraînement pratique pour les décisions neuronales à travers une évidence explicite basée sur les cas. Lorsqu'un modèle évalue une demande de prêt, un diagnostic ou une offre d'énergie, le cadre peut désormais répondre : quels cas d'entraînement ont conduit à ce score, quels résultats ils portaient et à quel point leur soutien est cohérent.