Pourquoi l’IA ne peut toujours pas s’expliquer : un cadre pour penser la rigueur

Le terme « rigueur » dans l’IA signifie différentes choses selon la personne à qui l’on demande. Pour un mathématicien, c’est une preuve. Pour un ingénieur, c’est ce qui fonctionne à grande échelle. Pour un philosophe, c’est bien définir les termes.

Dans un nouvel article publié sur arXiv, le chercheur de Google DeepMind Timothy Nguyen propose un cadre qui tente de maintenir ces trois sens ensemble. L’article, The Role of Rigor in Artificial Intelligence, divise la rigueur en trois catégories, conceptuelle, épistémique et opérationnelle, et soutient que le développement déséquilibré de ces catégories explique à la fois les avancées spectaculaires de l’IA et ses angles morts persistants.

Il vaut la peine d’être lu non pas parce qu’il tranche un débat particulier, mais parce qu’il nomme la structure sous-jacente à nombre d’entre eux. Les disputes sur la question de savoir si les LLM comprennent le langage, les accusations d’alchimie, la saturation des benchmarks, les problèmes de sécurité, tout cela revient à la même asymétrie : la rigueur opérationnelle a pris une longueur d’avance sur les deux autres.

Trois types de rigueur, un domaine déséquilibré

La rigueur conceptuelle signifie la clarté sur les termes fondamentaux. Intelligence, compréhension, raisonnement, ces mots sont constamment utilisés dans le discours sur l’IA, mais le domaine n’a de définition établie pour aucun d’entre eux. Nguyen recense les conséquences. Quand Geoffrey Hinton dit que les LLM sont intelligents et Yann LeCun qu’ils ne sont même pas aussi intelligents qu’un chat, le désaccord porte en partie sur ce que signifie l’intelligence. Hinton met l’accent sur la compétence comportementale. LeCun met l’accent sur le raisonnement et la compréhension du monde. Ils utilisent le même mot pour des choses différentes.

La rigueur épistémique concerne la manière dont les connaissances scientifiques sont produites et validées : reproductibilité, prédictibilité, explicabilité. Ici, l’apprentissage profond a un bilan mitigé. Les expériences sont en principe reproductibles parce que tout est logiciel, mais Nguyen note que la reproductibilité des résultats et la reproductibilité inférentielle sont souvent confondues. De petites différences d’implémentation peuvent inverser les conclusions. Le domaine dispose de lois d’échelle qui prédisent la perte pour des budgets de calcul plus importants, mais il manque de théories qui prédisent quand un modèle généralisera ou échouera. L’explicabilité est encore pire. Les réseaux de neurones produisent des caractéristiques dans des espaces de haute dimension qui résistent à l’interprétation. L’article invoque la critique familière de l'« alchimie » mais y ajoute un raffinement utile : ce qui rend l’apprentissage profond alchimique n’est pas seulement une compréhension incomplète, mais l’absence d’abstraction hiérarchique. Dans les sciences matures, on peut localiser les questions à une échelle, subatomique, cellulaire, évolutive. Dans l’apprentissage profond, il est souvent difficile de savoir si une défaillance observée provient de neurones individuels, de la dynamique d’optimisation, des données d’entraînement ou d’une combinaison.

La rigueur opérationnelle consiste à faire fonctionner les systèmes de manière fiable : benchmarks, tests, procédures de sécurité. C’est là que l’apprentissage profond a le plus investi et le plus réussi. Les benchmarks transforment la performance en un objectif d’optimisation, créant une boucle de rétroaction serrée. Les méthodes de post-entraînement, le réglage fin par instructions, RLHF, l’ingénierie des invites, façonnent le comportement du modèle sans nécessiter de théorie sur le fonctionnement du modèle. Nguyen appelle cela une substitution : la rigueur opérationnelle compense le manque de garanties épistémiques.

Les benchmarks comme proxies épistémiques

Le traitement des benchmarks par l’article est particulièrement pertinent. Les benchmarks fonctionnent comme ce que Nguyen appelle des « proxies épistémiques » : une performance élevée sur ImageNet ou MMLU est considérée comme une preuve qu’un modèle généralise au-delà de ces tâches spécifiques. Mais deux conditions doivent être remplies pour que cette inférence soit valide : le modèle ne doit pas avoir été entraîné sur les données du benchmark, et il doit apprendre les concepts visés plutôt que des corrélations fallacieuses. Aucune de ces conditions n’est systématiquement satisfaite à l’ère actuelle du pré-entraînement massif et des données ouvertes sur le Web.

L’hypothèse de la loterie des benchmarks, de petits changements dans la sélection des tâches peuvent inverser les classements des méthodes, est mentionnée. De même que la loi de Goodhart : une fois qu’une métrique devient un objectif d’optimisation, elle cesse d’être une mesure fiable. La sycophancie dans les modèles de chat, où le système apprend à être d’accord avec l’utilisateur plutôt qu’à être véridique, en est un symptôme.

Des progrès sans théorie

La section la plus intéressante de l’article examine comment ces trois formes de rigueur ont façonné la trajectoire de l’IA. Le diagnostic de Nguyen est que l’IA présente une asymétrie structurelle : la rigueur opérationnelle est devenue dominante, tandis que la rigueur conceptuelle et épistémique est en retard. Ce n’est pas un accident. Cela découle de deux caractéristiques du domaine.

Premièrement, l’IA a une boucle de rétroaction serrée entre l’évaluation et le développement. Les mêmes métriques utilisées pour évaluer les systèmes sont les cibles que ces systèmes sont entraînés à optimiser. En physique ou en médecine, on n’itère pas sur une théorie en maximisant une métrique de performance sur un benchmark. On teste la théorie. En IA, la métrique est l’objectif.

Deuxièmement, l’IA produit les artefacts qu’elle étudie. Chaque génération de modèles crée de nouvelles capacités et de nouveaux modes de défaillance, élargissant le domaine que le travail conceptuel et épistémique ultérieur doit expliquer. Les sciences naturelles étudient des objets qui existent indépendamment, atomes, organismes, planètes. L’IA étudie ses propres créations, qui ne cessent de changer. Cela rend le progrès scientifique cumulatif plus difficile parce que le sujet bouge constamment.

Nguyen prend soin de ne pas présenter cette asymétrie comme une crise. Il note que l’apprentissage profond possède des cadres explicatifs partiels : lois d’échelle, théorie du noyau tangent du réseau neuronal, résultats de convergence pour les méthodes de gradient. Ceux-ci fournissent une compréhension réelle, bien que limitée. Mais la conclusion de l’article est que combler les lacunes, en particulier épistémiques, nécessitera plus que de meilleurs benchmarks ou de plus grands modèles. Il faudra développer des formes de compréhension scientifique capables de suivre le rythme de ce que la technologie peut déjà faire.

Ce que le cadre laisse ouvert

L’article est plus diagnostique que prescriptif. Il ne propose pas une définition unifiée de l’intelligence, ni ne prétend qu’une telle définition est possible. Il suggère que les désaccords conceptuels peuvent au moins être rendus plus précis, ce qui serait une amélioration par rapport à l’état actuel. Sur l’explicabilité, il soulève une question plus profonde : si les réseaux de neurones implémentent des calculs pour lesquels il n’existe aucune description compréhensible par l’humain, qu’est-ce qui compte comme une explication ?

Cette question n’est pas rhétorique. Nguyen souligne que dans des domaines comme les neurosciences, les explications fonctionnent régulièrement au niveau comportemental, croyances, désirs, intentions, sans avoir besoin de tracer les neurones individuels. Il n’existe pas de couche d’abstraction équivalente pour les réseaux de neurones. Il n’y a pas de « théorie de l’esprit » pour un transformeur, et on ne sait pas à quoi elle ressemblerait.

L’article n’essaie pas de répondre à ces questions. Il cartographie le territoire. Étant donné la fréquence à laquelle les chercheurs en IA se parlent sans se comprendre, une meilleure carte est précieuse.