Le Mistral OCR 4 obtient de bons scores, mais son propre audit montre pourquoi les chiffres des benchmarks ne racontent pas toute l'histoire

L'extraction de documents est le cheval de bataille discret des pipelines d'IA d'entreprise : peu glamour, souvent externalisée à des fournisseurs hérités, mais essentielle pour tout système qui ingère des factures, des contrats ou des rapports techniques. Le OCR 4 de Mistral AI, publié aujourd'hui, apporte la première avancée structurelle substantielle que le domaine ait connue depuis des années. En plus du texte extrait, le modèle renvoie des boîtes englobantes pour chaque bloc, une classification typée (titre, tableau, équation, signature, etc.) et des scores de confiance par mot. Le prochain goulot d'étranglement à mille milliards de…

Les chiffres sont solides : 85,20 sur OlmOCRBench, 93,07 sur OmniDocBench et un taux de victoire de 72 % dans des évaluations de préférence humaine en tête-à-tête contre tous les principaux systèmes testés. Mais la divulgation méthodologique qui l'accompagne pourrait être la contribution la plus significative au domaine. Olmo-eval d’Ai2 offre aux développeurs de LLM un…

Quand les benchmarks pénalisent les bonnes réponses

Mistral a audité les divergences derrière ses scores de référence et a constaté que la plupart n'étaient pas des erreurs du modèle, mais des artefacts de fonctionnement des scripts d'évaluation. Les catégories récurrentes révèlent une vérité inconfortable sur l'état du benchmarking de l'IA documentaire.

Des erreurs de vérité terrain dans les annotations de référence elles-mêmes, comme du texte manquant ou supplémentaire, des transcriptions de zones caviardées et des fautes de frappe, signifient que le modèle lit correctement le document source mais est marqué comme faux. Une notation mathématique équivalente dans différents LaTeX qui rend de manière identique est comptée comme une divergence : l'équation rendue est correcte, mais la comparaison de chaînes ne l'est pas. La segmentation des équations, selon qu'une expression est émise sous forme d'un seul bloc LaTeX ou divisée en fragments en ligne, affecte la correspondance même lorsque le contenu rendu est identique. Les hypothèses d'ordre des colonnes dans les mises en page multi-colonnes entraînent la notation d'extractions correctes comme des échecs d'ordre de lecture. Les problèmes d'attribution de type de bloc surviennent lorsque les en-têtes ou pieds de page doivent être supprimés, mais le test vérifie alors une chaîne qui apparaît également comme un titre de page qui devrait être présent, la signalant incorrectement. L'horizon de vérification : pourquoi vérifier les…

Ces artefacts se concentrent dans les documents mathématiques, scientifiques et multi-colonnes, qui se trouvent être les cas d'utilisation les plus précieux pour l'extraction de documents d'entreprise. Ils pénalisent plus souvent les sorties correctes qu'ils ne récompensent les sorties incorrectes. Le score agrégé, reconnaît Mistral, est directionnel plutôt que définitif.

Le gain d'intelligence structurelle

Au-delà du débat sur la notation, l'avancée clé du produit OCR 4 est que les systèmes en aval ont désormais accès non seulement à ce que dit le document, mais aussi à où se trouve chaque élément, quel rôle il joue et à quel point le modèle est confiant dans chaque région. Cela ouvre trois cas d'utilisation concrets.

Le découpage sémantique pour le RAG devient plus fiable lorsque les blocs sont pré-classifiés et localisés. Un en-tête de tableau ne doit pas être séparé de ses lignes par un découpeur naïf basé sur le nombre de caractères. Les workflows agentiques peuvent passer de la lecture de documents à leur exploitation : le remplissage de formulaires, le traitement de factures et les contrôles de conformité bénéficient de primitives structurelles plutôt que de texte plat. Les scores de confiance permettent une vérification efficace avec intervention humaine, où seules les régions à faible confiance nécessitent un examen manuel plutôt que des revérifications complètes de page. Votre pipeline de recherche IA est cassé. Ce framework…

Économie et déploiement

Le OCR 4 est suffisamment compact pour être déployé sur un seul conteneur pour des environnements auto-hébergés, répondant aux exigences de souveraineté des données qui empêchent de nombreuses entreprises d'envoyer des documents à des API cloud. Le modèle coûte 4 $ pour 1 000 pages via l'API, avec une remise de 50 % pour l'API Batch réduisant ce coût à 2 $ pour 1 000 pages. Document AI, qui superpose une sortie JSON structurée via un petit modèle sur le résultat OCR, coûte 5 $ pour 1 000 pages. Gemma 4 n’est pas un chatbot, et c’est l’essentiel

Les premiers retours de Rogo, un ingénieur en IA travaillant sur des documents financiers, ont signalé une précision équivalente aux meilleurs analyseurs agentiques pour un coût environ 8 fois inférieur et une latence 17 fois inférieure. Pour les cas d'utilisation en production à grande échelle, ces écarts s'accumulent rapidement. Le nouvel agent de codage de Cognition atteint des…

Le modèle prend en charge 170 langues dans 10 groupes linguistiques, avec le plus grand écart de performance dans les langues spécialisées et peu dotées : hindi, japonais, géorgien, bengali, arménien, hébreu, grec, tamoul, où les systèmes concurrents chutent fortement. Cette portée multilingue positionne OCR 4 pour les déploiements mondiaux d'entreprise qui ne peuvent pas se permettre de cloisonner le traitement des documents par langue.

Le benchmark honnête

La décision de Mistral de publier un audit détaillé des artefacts de benchmark plutôt que seulement les scores principaux signale une maturité dont le secteur de l'extraction de documents avait besoin. Chaque fournisseur dans cet espace est confronté aux mêmes problèmes d'évaluation. OCR 4 est le premier à les exposer publiquement en même temps que ses propres résultats. La recommandation pratique pour tout acheteur reste la même qu'avant : évaluez sur vos propres documents, pas sur des agrégats de benchmark.