Pourquoi un modèle OCR vieux de six mois surpasse toujours ses rivaux plus récents en portugais brésilien

Trois mois après la publication d'un article sur DharmaOCR, les auteurs reviennent avec un suivi. De nouveaux modèles sont arrivés, fonctionnant sur des architectures plus récentes, soutenus par des ressources substantielles. Pourtant, sur le même benchmark centré sur le portugais, DharmaOCR conserve une avance d'environ 13 à 16 points de pourcentage sur Mistral OCR4 et Unlimited-OCR, respectivement.

Il ne s'agit pas d'affirmer que l'architecture du modèle est supérieure. C'est une illustration contrôlée d'une dynamique structurelle qui persiste indépendamment de la génération matérielle. Lorsqu'un ensemble fixe de paramètres se concentre sur une seule langue plutôt que de se répartir sur plusieurs, le modèle extrait davantage de performances de ce domaine. L'écart, mesurable et constant, est la signature empirique de cette dynamique.

Comment fonctionne le pipeline

DharmaOCR s'entraîne en deux étapes. La première est un fine-tuning supervisé sur une vaste collection de documents en langue portugaise : factures, examens, notes manuscrites, formulaires officiels. Cette étape oriente la capacité représentationnelle du modèle vers le vocabulaire, la morphologie et les schémas orthographiques du portugais brésilien. La deuxième étape applique l'optimisation par préférence directe (DPO). Cela entraîne le modèle à privilégier des extractions textuelles complètes et cohérentes plutôt qu'incomplètes ou répétitives, sans optimiser uniquement la précision par token. L'effet est un modèle qui lit bien le portugais et reste stable lorsque le signal d'entrée se dégrade.

Le benchmark original mesurait simultanément la qualité d'extraction et le taux de dégradation. DharmaOCR a obtenu le score de qualité le plus élevé de sa catégorie avec le taux le plus bas de sorties répétitives ou incohérentes. La nouvelle comparaison teste si cette position se maintient face à des modèles publiés après lui, en utilisant le même protocole d'évaluation.

Résultats du benchmark

Les chiffres clés sur le benchmark portugais :

La différence n'est pas négligeable. Mistral OCR4 accuse un retard d'environ 13 points. Unlimited-OCR, plus de 16. Les deux ont été publiés après DharmaOCR, tous deux démontrent une forte capacité multilingue, et tous deux échouent sur les signaux linguistiques qui définissent le domaine cible.

Ce que révèlent les erreurs

Prenons une dissertation de l'ENEM, l'examen national brésilien, contenant le nom du musicien et poète Chico Buarque. Mistral OCR4 l'a transcrite en "Chico Barque." Unlimited-OCR a rendu le même nom par "chico bique." Une citation de la même dissertation, "O Brasil não exclui, assimila," est devenue "a dose de chico bique, 'o Brasil no exclu, eliminila." Ce ne sont pas des corruptions aléatoires. Elles surviennent précisément au niveau du vocabulaire et des noms propres qui distinguent le portugais brésilien du corpus multilingue plus large. Un modèle entraîné sur suffisamment de portugais ne commet pas ces erreurs car ses ressources ont été spécifiquement allouées à cet espace lexical.

Le deuxième mode d'échec est plus dommageable sur le plan opérationnel : la dégradation du texte. Lorsqu'un modèle génératif reposant sur la prédiction du token suivant rencontre un document de mauvaise qualité visuelle, des polices petites ou des scans dégradés, il peut perdre son ancrage et produire une sortie sans rapport avec la source. Dans la comparaison, Mistral OCR4 a produit un texte totalement déconnecté sur de telles entrées. La sortie n'est pas seulement inexacte. Elle est structurellement inutilisable pour des tâches en aval comme la classification ou l'extraction d'informations.

DharmaOCR traite les mêmes documents correctement car son étape DPO pénalise explicitement la perte de cohérence au niveau de l'extraction. Le modèle a appris à discriminer entre des sorties complètes et stables et celles qui dérivent. C'est un signal d'entraînement que le seul SFT ne fournit pas.

La logique structurelle

Les auteurs soutiennent que l'avantage n'est pas une couronne permanente mais une démonstration de principe. À mesure que les architectures s'améliorent et que les techniques d'entraînement progressent, le plafond absolu des performances augmente pour tous les modèles. Ce qui ne change pas, c'est la contrainte d'allocation. Des paramètres finis doivent aller quelque part. Un système qui les concentre sur un seul domaine surpassera un système qui les répartit sur plusieurs, quelle que soit la capacité du généraliste. C'est le théorème du "No Free Lunch" appliqué à la spécialisation en OCR.

De meilleurs outils ne compromettent pas l'argument. Ils élargissent ce que la spécialisation peut accomplir. La prochaine itération de DharmaOCR adoptera des architectures et des méthodes d'entraînement plus récentes, mais toujours avec le même objectif ciblé.