Les modèles de vision IA de pointe échouent dans la perception de base, selon un nouveau benchmark

Un nouveau benchmark appelé PerceptionBench suggère que l'écart entre ce que les modèles d'IA multimodale semblent comprendre et ce qu'ils perçoivent réellement est plus large que ce que beaucoup supposent. Dans des tests sur seize modèles de pointe, aucun n'a atteint 60 % de précision sur des questions conçues pour mesurer la perception visuelle atomique : la capacité à voir un fait visuel unique et non ambigu sans s'appuyer sur le raisonnement ou des connaissances de base.

Les benchmarks existants mélangent souvent la perception et le raisonnement, ce qui rend difficile de savoir si une erreur s'est produite parce que le modèle n'a pas vu l'objet ou parce qu'il n'a pas pu raisonner à son sujet. L'équipe de PerceptionBench, dont le preprint de 33 pages a été publié sur arXiv, a entrepris d'isoler le problème de perception. Ils ont analysé les premiers points de défaillance dans les réponses des modèles à travers 42 benchmarks existants et ont construit une taxonomie des erreurs. L'équipe a examiné où les modèles échouaient en premier sur un ensemble diversifié de tâches, garantissant que la taxonomie reflétait les erreurs réelles. À partir de cette taxonomie, ils ont dérivé dix capacités perceptuelles atomiques, chacune étant une compétence minimale nécessaire pour interpréter une scène visuelle.

Le benchmark contient 3 000 questions vérifiées, chacune conçue pour tester une seule capacité. La difficulté vient de la demande perceptuelle elle-même, et non d'instructions complexes ou de connaissances de domaine. Les réponses sont courtes et non ambiguës : un nombre, un mot de couleur, ou un oui ou non. Cela supprime l'ambiguïté de notation et rend le test reproductible entre les groupes de recherche.

Les résultats sont édifiants. Aucun modèle n'a atteint 60 % de précision globale. L'hallucination liée à la perception était la capacité la plus faible dans l'ensemble. Plus révélateur, des modèles avec des scores globaux similaires avaient souvent des profils de capacités radicalement différents. Un modèle peut exceller dans la détection des couleurs mais échouer dans le comptage. Un autre peut être fort dans les relations spatiales mais faible dans la texture. Un modèle qui fonctionne bien sur les ensembles de données de réponse à des questions visuelles peut encore être incapable de compter des objets dans une scène encombrée. Le score agrégé cache la véritable répartition des échecs.

Cette granularité diagnostique est ce qui distingue PerceptionBench des benchmarks holistiques antérieurs. Plutôt que de classer les modèles sur un seul chiffre, il permet aux chercheurs de voir quelles compétences perceptuelles manquent et de cibler les changements d'entraînement ou d'architecture en conséquence. Les auteurs notent une forte corrélation entre la précision de la perception et la fréquence des hallucinations, suggérant que la correction de la perception fondamentale pourrait réduire les hallucinations dans l'ensemble.

Le benchmark met également en évidence un problème plus profond : les méthodes d'entraînement actuelles n'apprennent pas explicitement aux modèles à percevoir avant de raisonner. Ces modèles apprennent la perception comme un sous-produit d'objectifs alignés sur le langage, et les résultats suggèrent que cette approche indirecte laisse des lacunes fondamentales. Un pré-entraînement direct à la perception ou des modules d'encodeur visuel spécialisés pourraient être nécessaires pour combler le fossé.

La communauté de recherche a réagi avec un intérêt prudent. Les discussions initiales sur les canaux de preprint soulignent la rigueur de la méthodologie et l'étendue des modèles testés. Un commentateur a qualifié l'article de lecture incontournable pour quiconque travaille sur les systèmes multimodaux de nouvelle génération, tout en notant que la conception du benchmark mérite un examen attentif avant une adoption plus large.

PerceptionBench ne prétend pas résoudre un problème de perception. Il fournit un moyen de le mesurer. Pour les équipes travaillant sur des modèles multimodaux, le benchmark offre une boîte à outils diagnostique qui révèle des angles morts que les benchmarks de raisonnement manquent. L'implication est claire : avant de corriger ce qu'un modèle ne peut pas penser, les chercheurs doivent savoir ce qu'il ne peut pas voir. L'ensemble complet des données et le code d'évaluation sont disponibles avec le preprint, permettant à d'autres équipes d'exécuter leurs propres modèles à travers les mêmes tests granulaires.