Pourquoi l’auto-évaluation de votre modèle d’IA échoue sur la qualité visuelle

Lorsqu’un modèle d’IA génère une page web, un diaporama ou une figure scientifique, comment savons-nous qu’il a réellement une bonne apparence ? La réponse par défaut du domaine est de demander à un autre modèle, un modèle de langage de vision (VLM) lisant une capture d’écran du résultat. Un nouvel article de Pine AI et de l’Université de Washington soutient que cette approche n’est pas seulement bruyante, mais structurellement aveugle.

Le juge aveugle

L’article, Interaction Scaling: Grounding the Third Axis of Test-Time Compute, présente une démonstration frappante. Sur un échantillon de 15 rendus denses de figures académiques, le juge VLM sur capture d’écran a noté 14 comme « parfaites ». Lorsque les mêmes artefacts ont été mesurés par un instrument de géométrie DOM déterministe, lisant la véritable boîte englobante de chaque élément, seuls trois étaient réellement propres. Les autres avaient des titres de sections imprimés les uns sur les autres, des étiquettes débordant des boîtes et un contenu coupé en dehors du cadre.

« L’échec est mécanique », écrivent les auteurs. Les captures d’écran sont prises à une résolution fixe ; le contenu débordant du canevas est rogné hors du cadre avant que l’image n’atteigne le juge, et les petits chevauchements dans le cadre tombent en dessous de son acuité visuelle.

Au-delà du raisonnement et de l’échantillonnage

La contribution centrale de l’article est de recadrer l’interaction comme un troisième axe du calcul au moment du test, distinct du raisonnement (chaînes de pensée plus longues) et de l’échantillonnage (sélection du meilleur parmi N). La variable clé est ce que les auteurs appellent l’ancrage : un retour d’information provenant d’un instrument observant la forme ou le comportement réel de l’artefact, et non d’un modèle exprimant une opinion à son sujet.

« Un modèle qui relit sa propre sortie ne peut rien apprendre qu’il ne savait déjà », expliquent les auteurs. Une critique provenant des mêmes poids qui ont produit l’artefact est un post-traitement, n’ajoutant aucune information sur la bonne réponse. Un retour ancré, comme une trace d’échec de test ou une boîte englobante mesurée, importe une observation réelle à chaque cycle, brisant ce qu’ils appellent le « plafond interne ».

Dans des expériences contrôlées, avec un budget de jetons équivalent, le raisonnement seul et le meilleur parmi N avec un vérificateur oracle ont plafonné en dessous de 87 % de taux de réussite sur des tâches de codage difficiles. Chaque stratégie d’interaction a continué de grimper. Le proposeur, l’équipe de révision a atteint un taux de réussite parfait de 100 % avec une variance de graine nulle.

La couverture est ce qui compte

Le cadre introduit un principe de couverture : un canal de retour d’information aide exactement aussi loin que la portée observationnelle de son instrument. Cela explique pourquoi, sur la même suite de code, l’ajout d’un linter (ancré mais n’observant que la forme) n’a rien apporté par rapport à une critique nue, tandis que le retour d’exécution a convergé environ 2,5 fois moins cher et vers un plafond plus élevé.

Le contrôle décisif est venu en échangeant uniquement l’instrument du réviseur sur les modalités visuelles. Lorsqu’un VLM lisait une capture d’écran, ses modifications aggravaient la géométrie, augmentant les défauts sur les diapositives, car il était aveugle à la véritable disposition. Un réviseur de géométrie déterministe, mesurant les véritables boîtes englobantes, a fortement réduit les défauts à la fois sur les diapositives denses (réduction de 73 %) et sur les figures académiques (réduction de 74 %).

« Un passage de révision, signe opposé », notent les auteurs, « entièrement décidé par le fait que le signal couvre ou non le défaut. »

La variance distributionnelle est un budget

L’article inclut également une conclusion prudente sur l’entraînement. Lorsque les auteurs ont distillé la qualité d’interaction de l’équipe dans un étudiant de 8B paramètres via un fine-tuning supervisé, l’étudiant a récupéré environ la moitié de la capacité à échantillon unique de l’enseignant. Mais l’ajout d’un fine-tuning par renforcement, qui améliorait la cohérence par tour, a en fait nui à la performance pass@k. La raison : la variance dans la distribution de sortie est la ressource même que l’échantillonnage convertit en qualité. Le RFT a puisé dans ce budget.

Implications pour le domaine

La leçon pratique, soutiennent les auteurs, n’est pas « ajoutez plus de boucles » mais « ancrez la boucle que vous ajoutez ». Pour les artefacts visuels, cela signifie mesurer le DOM rendu, jamais une capture d’écran, à la fois chez le réviseur et chez le scoreur. La découverte a des implications immédiates pour les nombreux articles récents mesurant la génération visuelle auto-améliorante avec des juges VLM qui ne peuvent pas voir les défauts en question.

« Le dimensionnement de l’interaction est réel, distinct du raisonnement et de l’échantillonnage, et prévisible à partir de la couverture », concluent les auteurs. « Une fois la métrique ancrée, elle est clairement visible. »

Le code et le site Web sont disponibles aux liens dans l’article.