Pourquoi les modèles vision-langage ont besoin d'une fenêtre de relais visuel pour arrêter de halluciner

Les modèles vision-langage peuvent répondre à des questions sur des images assez bien à ce stade. Mais lorsqu'ils hallucinent, décrivant des objets qui ne sont pas là ou se trompant sur les relations spatiales, ce n'est souvent pas parce que l'information visuelle est manquante. Le modèle a simplement perdu sa trace quelque part à l'intérieur de sa propre pile de raisonnement.

De nouvelles recherches de l'Université Tongji et de l'Université polytechnique de Hong Kong, publiées sur arXiv, offrent le compte rendu mécaniste le plus détaillé à ce jour de la manière dont cela se produit et de ce qu'il faut faire à ce sujet. Les auteurs identifient un rythme interne en trois étapes à travers les couches de transformeurs des VLM, formalisent l'étape intermédiaire critique comme la Fenêtre de Relais Visuel (VRW), et introduisent un cadre de contrôle léger au moment de l'inférence appelé TRACE qui planifie cette fenêtre de manière adaptative en fonction de ce dont chaque question a besoin.

Le rythme en trois étapes de l'attention multimodale

Les chercheurs ont suivi deux sondes d'attention à travers les couches de dix VLM à poids ouverts, y compris des variantes de Qwen-VL, InternVL et LLaVA. La première sonde mesurait la force avec laquelle les tokens de réponse regardent en arrière vers la question. La seconde mesurait la force avec laquelle les tokens visuels prêtent attention les uns aux autres. Ils ont trouvé un schéma cohérent dans tous les modèles : les couches précoces mettent l'accent sur l'organisation conditionnée par la question, les couches intermédiaires passent à la consolidation intra-visuelle, et les couches tardives reviennent à la formation de la réponse.

Cette phase intermédiaire, la Fenêtre de Relais Visuel, est l'endroit où les preuves visuelles sont activement assemblées avant d'être transmises au côté linguistique pour le raisonnement. Sa géométrie n'est pas fixe. Les tâches riches en détails comme le comptage ont tendance à nécessiter des fenêtres de relais plus longues et plus tardives, tandis que les tâches de raisonnement de haut niveau bénéficient d'un transfert plus précoce.

Pourquoi des réponses non étayées apparaissent

L'étude démontre un lien causal entre le désalignement du relais et l'hallucination. À l'aide du banc d'essai HaloQuest, les auteurs ont comparé des continuations ancrées et non étayées générées à partir des mêmes paires image-question. Les réponses non étayées montraient systématiquement des fenêtres de relais plus étroites, une terminaison du relais plus précoce et un ancrage visuel plus faible après le transfert. Dans une expérience de correction, le remplacement des activations résiduelles des tokens visuels à l'intérieur de la VRW estimée par des activations de branche ancrée a récupéré des réponses correctes dans 41,4 % des cas non étayés. En comparaison, les corrections avant le relais ont récupéré seulement 8,7 %, et les corrections après le relais 11,2 %.

Les variantes de réflexion des mêmes modèles de base (par exemple, Qwen3-VL-4B Instruct vs. Thinking) ont montré un meilleur alignement du relais avec les exigences de la tâche et un ancrage plus fort après le transfert. Cela suggère que leur avantage provient en partie d'une planification interne plus appropriée des preuves visuelles.

TRACE : planifier le support visuel sans réentraîner le modèle

S'appuyant sur ces résultats, l'équipe a construit TRACE (Task-adaptive Relay Anchoring and Controlled Evidence Scheduling), un cadre avec seulement 199 244 paramètres entraînables pour les modèles 4B et 297 548 pour les modèles 8B. Il fonctionne en trois étapes. Un MLP léger prédit le score de relais de chaque couche à partir des statistiques d'attention lors du pré-remplissage. Un planificateur tenant compte de la tâche élargit ou rétrécit la fenêtre de relais en appliquant un biais doux aux logits d'attention visuelle-à-visuelle. Un module d'ancrage après transfert préserve l'accès au support visuel sélectionné pendant la génération de la réponse, avec une force modulée par l'incertitude de décodage.

Les modules sont entraînés à partir de pseudo-étiquettes induites par l'estimateur VRW, en gardant le VLM de base gelé. L'entraînement prend environ 8 heures sur quatre GPU NVIDIA RTX 5090.

Résultats : gains d'ancrage sans compromis

TRACE a été évalué sur quatre architectures à poids ouverts (Qwen3-VL-4B/8B et InternVL3.5-4B/8B) sur sept bancs d'essai couvrant la compréhension de documents, le raisonnement visuel et les contextes sensibles aux hallucinations. Sur les bancs d'essai sensibles à l'ancrage (HallusionBench, VlmsAreBlind, CountBench), il a fourni une amélioration moyenne de 4,33 points, avec des gains allant jusqu'à 6,6 points sur HallusionBench avec InternVL3.5-8B. Il a également amélioré les bancs d'essai lourds en raisonnement comme MathVista, suggérant que le mécanisme aborde à la fois l'hallucination et le raisonnement logique via un seul principe de contrôle sous-jacent.

Comparé à huit lignes de base, y compris le prompting par chaîne de pensée, le décodage contrastif visuel et plusieurs méthodes de réallocation de l'attention et de pilotage des activations, TRACE a obtenu le score moyen le plus élevé sur chaque architecture, avec des gains totaux de 2,84 à 3,18 points par rapport à l'inférence standard sur l'ensemble de la suite de bancs d'essai.

Le code de l'équipe est disponible sur GitHub.