Échangez MNIST contre CIFAR-10 et la recette de l'IA cérébrale bascule complètement

Depuis des années, la quête pour former des réseaux de neurones comme le cerveau pourrait réellement fonctionner se heurte au même mur : cela fonctionne sur MNIST, le jeu de données de chiffres manuscrits qui est la zone de confort du domaine depuis les années 1990, et cela échoue sur tout ce qui est plus difficile. Une équipe de Sakana AI a maintenant poussé une de ces méthodes, la Diffusion d'Erreur, sur des réseaux convolutifs, des images CIFAR-10 et de l'apprentissage par renforcement en contrôle continu. Mais le chiffre principal n'est pas l'essentiel. L'essentiel est ce qui s'est passé lorsque les chercheurs ont changé le benchmark.

Pourquoi obéir au cerveau coûte cher

Les neurones biologiques suivent le principe de Dale : chaque neurone est soit excitateur soit inhibiteur sur l'ensemble de ses synapses, jamais un mélange. Les réseaux artificiels standards ignorent complètement cela, toute connexion peut être positive ou négative, et la rétropropagation exploite cette liberté en envoyant des copies transposées exactes des poids avant vers l'arrière. Les neuroscientifiques ont longtemps objecté que ce "transport de poids" n'a aucune base biologique.

Les alternatives qui l'évitent, Alignment par Feedback, Alignment par Feedback Direct (DFA), codage prédictif, permettent toutes encore des poids arbitraires positifs et négatifs. La Diffusion d'Erreur à double flux de Sakana AI va plus loin : elle divise chaque couche en une population positive et une négative, maintient toutes les quatre matrices de poids par couche non négatives, et code en dur le signe inhibiteur dans l'architecture plutôt que de l'apprendre. Cette honnêteté structurelle a un coût : environ 4 fois les paramètres d'un réseau non contraint de même largeur (environ 32 millions contre 8 millions pour la baseline DFA).

Les scores, en contexte

Avec une nouvelle astuce de "routage d'erreur modulo" qui attribue à chaque unité cachée un canal de sortie fixe, la méthode atteint 96,7% sur MNIST et établit une baseline de 61,7% sur CIFAR-10, la première fois que la Diffusion d'Erreur fonctionne sur des réseaux convolutifs. Cependant, lus par rapport à la concurrence, les résultats sont une étude de compromis plutôt qu'un triomphe.

Méthode	MNIST	CIFAR-10	Conforme à Dale ?
ED proposée (double flux)	96,7%	61,7%	Oui
DFA (feedback aléatoire)	97,6%	69,1%	Non (~2,84M de poids négatifs)
Seed ED (aucune innovation)	50,4%	11,6%	Oui

L'écart avec DFA passe de 0,9 point sur MNIST à 7,4 points sur CIFAR-10. Cette différence est sans doute la contribution la plus claire de l'article : un prix concret sur le coût de l'application du principe de Dale, et la preuve que ce prix augmente avec la difficulté de la tâche.

Le retournement qui devrait inquiéter les observateurs de benchmarks

Pour rendre l'architecture compétitive, l'équipe a ajouté trois astuces spécifiques à la classification : des largeurs sigmoïdes spécifiques aux couches (pour lutter contre le gradient qui s'évanouit), une erreur de classe centrée par lot (pour contrer le déséquilibre 9 contre 1 des cibles un-contre-tous), et une initialisation asymétrique excitatrice/inhibitrice. Le résultat instructif est ce qu'une étude d'ablation a révélé lorsque chacune a été supprimée.

Composant supprimé	Impact sur MNIST	Impact sur CIFAR-10
Largeurs sigmoïdes spécifiques aux couches	−71,4 pp	−15,1 pp
Erreur de classe centrée par lot	−0,3 pp	−47,9 pp
Init. asymétrique E/I	+0,0 pp	−5,5 pp

Sur MNIST, la suppression de l'astuce de largeur sigmoïde est catastrophique tandis que le centrage par lot est à peine perceptible. Sur CIFAR-10, la hiérarchie s'inverse : le centrage par lot devient la différence entre l'apprentissage et l'effondrement, et l'astuce sigmoïde passe au second plan. Un composant qui semble essentiel sur un jeu de données semble négligeable sur un autre. Si les chercheurs s'étaient arrêtés à MNIST, comme la plupart des travaux dans ce domaine le font en pratique, ils auraient conclu que le centrage du signal d'erreur n'a pas d'importance. Or, il en a énormément.

C'est le cœur analytique du travail : le goulot d'étranglement dans l'attribution du crédit n'est pas une propriété fixe de la méthode, c'est une propriété de la tâche. Évaluer une règle d'apprentissage biologiquement plausible sur un seul benchmark et vous risquez de certifier les mauvaises décisions de conception comme des vérités universelles.

La même leçon, du côté de l'apprentissage par renforcement

L'équipe a également greffé la Diffusion d'Erreur sur l'Optimisation de Politique Proximale (PPO) et l'a exécutée sur les tâches de locomotion Brax de Google et le benchmark ouvert Craftax. Ici, les rôles changent à nouveau. Sur HalfCheetah, ED-PPO (rendement moyen de 5 494) bat la PPO standard par rétropropagation (3 520) et égale DFA. Mais sur Craftax, DFA, le champion de la classification, est la méthode la plus faible, tombant en dessous à la fois de la rétropropagation et de la Diffusion d'Erreur. Les voies de feedback aléatoires qui suffisent pour l'apprentissage supervisé échouent sur le RL complexe et exploratoire.

L'image miroir est délibérée : DFA est fort là où ED peine et faible là où ED tient bon. Le message est identique dans les deux domaines. Il n'y a pas de classement unique qui vous dise quelle méthode inspirée du cerveau est "la meilleure", car les faiblesses de chaque méthode n'apparaissent que sous des exigences de tâche spécifiques.

Ce qui émerge de lui-même

Une découverte laisse entrevoir pourquoi ces réseaux contraints se comportent comme ils le font. L'initialisation 3:1 excitateur/inhibiteur dérive, par le seul entraînement, vers un équilibre d'environ 1:1, les couches plus profondes devenant progressivement plus inhibitrices. Cela fait écho à la manière dont les circuits corticaux sont censés s'équilibrer en excitation et inhibition pendant la maturation, et cela arrive sans aucun mécanisme d'équilibrage explicite. Pendant ce temps, le plancher non négatif élimine 37,3% des poids à près de zéro, touchant surtout les connexions inhibitrices (jusqu'à 68,8%), une forme de "sparsité gratuite", et un avantage matériel potentiel pour les puces analogiques, photoniques ou neuromorphiques où les synapses physiques encodent naturellement des quantités non négatives.

Le résultat honnête

62% sur CIFAR-10 est loin de ce qu'un réseau entraîné par gradient conventionnel atteint, et Sakana AI le dit clairement. ED-PPO présente également une variance nettement plus élevée que la rétropropagation et échoue sur les tâches nécessitant une attribution temporelle fine du crédit. La valeur ici n'est pas un modèle de pointe ; c'est une carte bien instrumentée de où et pourquoi l'apprentissage biologiquement contraint se brise. Et la ligne la plus nette sur cette carte est méthodologique : si le domaine continue de noter l'IA cérébrale sur des jeux de données jouets, il continuera de tirer des conclusions confiantes que le prochain jeu de données renversera silencieusement.