Mistral OCR 4 sait où vit chaque mot et à quel point lui faire confiance

Mistral AI a publié aujourd'hui OCR 4, la dernière version de son modèle d'extraction de documents, ajoutant des boîtes englobantes, une classification par bloc typé et des scores de confiance par mot à sa sortie. Le modèle cible la recherche en entreprise, la génération augmentée par récupération (RAG) et les workflows agentiques. Il fonctionne entièrement en auto-hébergement sur un seul conteneur. La nouvelle plateforme de Microsoft donne aux…

Sortie structurée au-delà du texte brut

Les versions plus anciennes se concentraient sur la conversion des pages en texte clair et en tableaux. OCR 4 renvoie une représentation structurée : chaque bloc reçoit une boîte englobante, une classification (titre, tableau, équation, signature, et autres), et des scores de confiance en ligne au niveau de la page et du mot. Les systèmes en aval savent non seulement ce que dit un document, mais où se trouve chaque élément, quel rôle il joue et à quel point le modèle est confiant dans chaque région.

La sortie structurée prend en charge plusieurs charges de travail directement : le découpage sémantique pour RAG, les primitives structurelles pour les agents traitant le remplissage de formulaires ou le traitement de factures, et une sortie typée cohérente pour les pipelines d'ingestion et d'indexation. Le harnais open-source CUGA d'IBM évite la plomberie et…

Performance des benchmarks et préférence humaine

Mistral OCR 4 a obtenu 85,20 sur OlmOCRBench et 93,07 sur OmniDocBench, les meilleurs scores globaux sur les deux benchmarks publics. L'entreprise a également mené une évaluation humaine en tête-à-tête sur plus de 600 documents dans plus de 12 langues, provenant de fournisseurs tiers. Des annotateurs indépendants ont préféré OCR 4 à tous les systèmes concurrents, avec des taux de victoire moyens de 72 %. IFBench : le nouveau benchmark testant le respect des…

Mistral a noté des limitations connues dans les benchmarks automatisés. Lors d'un audit des désaccords derrière leurs scores, la plupart se sont avérés être non pas des erreurs du modèle mais des artefacts de la manière dont les benchmarks comparent les sorties : erreurs de vérité terrain, notation mathématique équivalente comptée comme désaccord, problèmes de segmentation des équations, hypothèses d'ordre de lecture multi-colonnes et problèmes d'attribution de type de bloc. Mistral traite les scores agrégés des benchmarks comme indicatifs plutôt que définitifs.

Couverture multilingue et performance

OCR 4 prend en charge 170 langues réparties en 10 groupes linguistiques. Sur l'évaluation interne Crawl Multilingue de Mistral, le modèle mène dans les huit groupes linguistiques testés : anglais, Europe occidentale, Europe orientale, Moyen-Orient, chinois, Asie de l'Est, Asie du Sud-Est et langues spécialisées. L'écart est le plus large pour les langues spécialisées et peu dotées en ressources, où de nombreux systèmes concurrents se dégradent fortement tandis qu'OCR 4 maintient une haute précision.

Options de déploiement et tarification

Le modèle fonctionne sur un seul conteneur, permettant aux organisations ayant des exigences de souveraineté des données de conserver les données des documents dans leur propre infrastructure. Mistral OCR 4 via l'API coûte 4 $ par 1 000 pages, avec une remise de 50 % sur l'API par lots qui le réduit à 2 $ par 1 000 pages. Document AI, une couche sans code qui alimente la sortie OCR via un modèle plus petit pour générer du JSON structuré, coûte 5 $ par 1 000 pages. NSF OMAI est en ligne : le cluster IA entièrement…

OCR 4 est disponible via API dans Mistral Studio, Amazon SageMaker et Microsoft Foundry. Le support de Snowflake Parse Document est à venir. Comment Alibaba Cloud s'est frayé un chemin dans 20…

Intégration avec Search Toolkit

OCR 4 est un composant d'ingestion de Search Toolkit de Mistral, un framework de recherche open-source et composable annoncé au AI Now Summit. Sa sortie structurée fournit des entrées prêtes à être citées dans le flux de travail de récupération et d'évaluation du toolkit pour RAG et la recherche en entreprise.

Retours d'utilisateurs précoces

Aidan Donohue, ingénieur IA chez Rogo, a déclaré qu'OCR 4 atteignait une précision équivalente aux principaux analyseurs de documents agentiques sur un ensemble de données financières QA dense en graphiques et figures, avec un coût environ 8 fois inférieur et une latence 17 fois inférieure. Ivan Mihailov, ingénieur IA chez Anaqua, a rapporté que Mistral OCR est environ 4 fois plus rapide par page que leur fournisseur actuel, un résultat qu'il a qualifié d'impressionnant pour les flux de travail de dossiers à volume élevé où la vitesse est critique. L'horizon de vérification : pourquoi vérifier les…