SoftReason comble le fossé du gradient qui empêchait les réseaux de neurones de raisonner véritablement

Le fossé entre la perception et la déduction a été l'un des obstacles tenaces en IA. Un réseau de neurones peut apprendre à reconnaître des objets dans une image, mais lorsqu'il doit enchaîner ces observations en conclusions logiques, il se heurte à une barrière discrète : la sortie d'un classifieur est une probabilité, tandis que l'entrée d'un raisonneur symbolique est un fait. Le gradient ne peut pas franchir cette frontière, donc les deux systèmes s'entraînent séparément et la moitié déductive n'aide jamais la moitié perceptuelle à s'améliorer.

Une nouvelle prépublication sur arXiv propose un moyen de démolir ce mur. SoftReason, d'une équipe de chercheurs, introduit une architecture entièrement différentiable pour le raisonnement déductif qui garde chaque étape de la chaîne d'inférence apprenable. Au lieu d'alimenter des faits discrets issus de la perception dans un raisonneur séparé, le système représente l'état déductif entier comme un tenseur d'interprétation souple sur des constantes et prédicats candidats. Chaque mise à jour, chaque agrégation de témoins, chaque proposition de fait principal conditionnée par la requête reste à l'intérieur d'un graphe de calcul différentiable.

Comment fonctionne le raisonnement souple

L'idée centrale est un relèvement différentiable appris de l'opérateur de conséquence immédiate, le moteur logique qui dérive de nouveaux faits à partir de faits connus. Dans une base de données déductive classique, l'opérateur est déterministe : si les prémisses A et B sont vraies, alors la conclusion C est vraie. SoftReason assouplit cette opération en utilisant des plongements de définitions de prédicats et des canaux de composition latents pour former des mélanges de prédicats de corps, puis agrège sur tous les témoins possibles pour proposer des faits principaux conditionnés par la requête. L'interprétation est mise à jour via un OU probabiliste monotone, ce qui garantit que le réseau converge vers un point fixe sans rompre la différentiabilité.

Cette conception n'est pas une petite astuce. Elle change la manière dont le système peut allouer le crédit. Si un modèle visuel reconnaît mal un objet et que le raisonneur échoue à répondre à une question, le gradient peut circuler en retour de la réponse à la requête jusqu'à l'encodeur perceptuel, ajustant les poids qui ont produit la reconnaissance erronée. Les pipelines neuro-symboliques traditionnels ne peuvent pas le faire car leur interface de faits discrets bloque le gradient à la frontière.

Instanciation sur KVQA

Les auteurs instancient SoftReason sur Knowledge-aware Visual Question Answering, un benchmark qui nécessite à la fois un ancrage visuel et un raisonnement basé sur un graphe de connaissances. L'architecture prend une image, une question en langage naturel, et un ensemble de triplets du graphe de connaissances, et doit produire une réponse. La perception propose des faits de base probables à partir de l'image. Les triplets du graphe entrent comme preuves souples à haute confiance, pondérées mais toujours différentiables. Le module de raisonnement effectue ensuite une fermeture déductive souple, propageant la croyance à travers l'espace des prédicats jusqu'à atteindre un point fixe.

Les résultats rapportés dans l'article montrent que SoftReason égale ou dépasse la précision des bases de référence discrètes sur KVQA, tout en permettant un apprentissage de bout en bout. L'écart de précision est le plus visible sur les questions qui nécessitent un raisonnement en chaîne multi-étapes, où le module de déduction souple peut utiliser le signal de gradient pour affiner la distribution de confiance du modèle perceptuel.

Ce que cela signifie pour le paysage neuro-symbolique

La plupart des systèmes actuels qui combinent perception neuronale et raisonnement symbolique se répartissent en deux camps : soit ils entraînent la perception de bout en bout et la figent avant d'alimenter des faits à un module symbolique séparé, soit ils codent en dur des règles conçues à la main qui contournent complètement l'apprentissage. SoftReason attaque les deux limitations. La conception entièrement différentiable signifie que le même algorithme de rétropropagation qui entraîne l'encodeur visuel peut également façonner les règles déductives.

Cela est particulièrement pertinent pour les domaines où l'entrée perceptuelle est intrinsèquement ambiguë. En imagerie médicale, par exemple, une limite de lésion peut être incertaine, et une chaîne de règles diagnostiques doit raisonner sur cette incertitude. Le tenseur d'interprétation souple de SoftReason peut représenter des preuves contradictoires et les propager sans forcer un choix discret tôt dans le pipeline. La même logique s'applique à la conduite autonome, à l'analyse de documents juridiques, ou à tout scénario où des données de grande dimension doivent soutenir un raisonnement structuré avec une incertitude probante.

Questions encore ouvertes

SoftReason est une prépublication, et plusieurs questions restent sans réponse. L'article démontre l'architecture sur KVQA, qui est un cadre relativement contrôlé. La mise à l'échelle du tenseur d'interprétation souple à des bases de connaissances plus grandes avec des milliers de prédicats et des millions d'entités mettra à l'épreuve la faisabilité computationnelle de l'approche. La mise à jour par OU probabiliste monotone garantit la convergence, mais à un coût qui croît avec le produit des constantes candidates et du nombre de prédicats.

Une autre question ouverte est de savoir à quel point l'approche se transfère à travers les domaines sans réentraîner l'opérateur déductif. Les plongements de définitions de prédicats sont appris pour un graphe de connaissances spécifique. Généraliser à de nouveaux domaines ou de nouveaux schémas de règles nécessite probablement un réentraînement ou un réglage fin, ce qui limite l'attrait de l'approche "plug-and-play".

Néanmoins, l'avancée conceptuelle est réelle. Si la recherche peut passer à l'échelle, elle offre une voie princière vers des systèmes qui apprennent à raisonner et raisonnent pour apprendre, sans mur discret entre les deux.