Des chercheurs de Meta et de l'UIUC entraînent des modèles vision-langage à vérifier leur propre travail et à repenser les mauvaises réponses

Face à une seconde chance de réflexion, les humains raisonnent souvent pour trouver de meilleures réponses. Un nouvel article de Meta et de l'Université de l'Illinois à Urbana-Champaign montre que les modèles vision-langage (VLM) peuvent apprendre à faire de même, en vérifiant leur propre travail et en repensant lorsqu'ils identifient une réponse comme erronée, le tout dans une boucle d'apprentissage par renforcement qui ne nécessite ni juges externes ni critiques auxiliaires.

Le cadre, Self-Verified Reasoner (SVR-R1), utilise un schéma d'entraînement RL multi-tours basé sur GRPO. Pour chaque requête, le modèle produit une réponse et émet simultanément un auto-verdict binaire (Oui ou Non). Un « Non » déclenche une seconde chance de réflexion ; un « Oui » (ou l'atteinte d'une limite de tours) finalise la sortie, qui reçoit ensuite une récompense basée sur le résultat. Les mêmes poids de modèle servent à la fois de générateur et de vérificateur, et les tokens de vérification sont masqués du calcul de perte pour éviter des signaux d'optimisation contradictoires.

Des résultats qui parlent d'eux-mêmes

Évalué sur la division ChartQA (826 paires Q&A de test) et la division TableVQA (1 250 questions basées sur des tableaux), SVR-R1 surpasse systématiquement les bases GRPO standard aux échelles de paramètres 3B et 7B. Sur ChartQA, SVR-R1 à 3B a atteint 83,3 % de précision en mode pure-run (sans vérification à l'inférence) contre 80,5 % pour la base GRPO. Avec la vérification finale activée à l'inférence, SVR-R1 a égalé ce 83,3 % tandis que la base a atteint 80,9 %. Sur TableVQA, SVR-R1 à 3B a atteint 72,4 % (pure run) et 72,9 % (avec vérification), contre 68,3 % et 68,7 % pour GRPO.

Des gains similaires sont observés à l'échelle 7B. Sur ChartQA, SVR-R1 a atteint 82,9 % (pure run et avec vérification) contre 80,4 % et 81,1 % pour GRPO. Sur TableVQA, SVR-R1 a obtenu 80,3 % et 80,6 % contre 78,7 % et 78,5 % pour GRPO. Sur le benchmark de raisonnement général ThinkLite-VL-70K, SVR-R1 a surpassé la meilleure base GRPO sur MathVista (71,6 % contre 70,8 %), MathVision (19,1 % contre 17,4 %) et MMStar (49,3 % contre 48,7 %), tout en étant à égalité sur AI2D (81,4 % contre 81,5 %).

Moins de tours de vérification, plus de confiance

La dynamique la plus intéressante pendant l'entraînement est la baisse régulière du nombre moyen de tours de vérification. À mesure que le modèle s'entraîne, il devient plus confiant dans ses réponses initiales et tend à les confirmer immédiatement, s'établissant à peu près à une étape de génération suivie d'un seul « Oui » du vérificateur. Aux stades ultérieurs de l'entraînement, SVR-R1 atteint une précision presque identique dans les réglages pure-run et de vérification finale, ce qui suggère que le modèle a internalisé l'auto-correction et peut produire des réponses qu'il reconnaît comme correctes sans avoir à effectuer réellement la réflexion au moment de l'inférence.

Les auteurs attribuent une partie de ce gain à la capacité du cadre à finaliser des réponses de haute qualité à des questions de difficulté moyenne grâce à plusieurs tours de rollout. Repenser de manière répétée sur des questions trop difficiles contribue peu, car la réponse correcte peut rester inaccessible même avec des tours de vérification illimités.

Implications pratiques et questions ouvertes

SVR-R1 comble l'intersection moins explorée de l'auto-affinement au moment de l'inférence et de l'entraînement RL pour les VLM. En s'appuyant uniquement sur l'auto-vérification binaire (Oui/Non), l'approche évite le besoin de justifications détaillées ou d'étiquettes de vérité terrain externes, ce qui la rend évolutive et efficace en données. Les chercheurs prévoient de rendre SVR-R1 open-source pour permettre d'autres travaux sur le raisonnement multimodal.

L'article soulève également des questions sur la manière dont les capacités de vérification et de génération peuvent être optimisées conjointement, en particulier à mesure que les capacités d'auto-vérification des VLM s'améliorent. Pour l'instant, SVR-R1 offre une recette simple pour amorcer le raisonnement multimodal qui ne nécessite rien de plus que la propre capacité du modèle à dire Oui ou Non à sa première tentative.