Por qué un modelo OCR de seis meses sigue superando a rivales más nuevos en portugués brasileño

Tres meses después de publicar un artículo sobre DharmaOCR, los autores regresan con un seguimiento. Han llegado modelos más nuevos, que funcionan con arquitecturas más nuevas y cuentan con recursos sustanciales. Sin embargo, en el mismo punto de referencia centrado en portugués, DharmaOCR todavía lidera por un margen de aproximadamente 13 a 16 puntos porcentuales sobre Mistral OCR4 y Unlimited-OCR, respectivamente.

Esto no es una afirmación de que la arquitectura del modelo sea superior. Es una ilustración controlada de una dinámica estructural que se mantiene independientemente de la generación de hardware. Cuando un conjunto fijo de parámetros se concentra en un solo idioma en lugar de distribuirse entre muchos, el modelo extrae más rendimiento de ese dominio. La brecha, medible y consistente, es la firma empírica de esa dinámica.

Cómo funciona el pipeline

DharmaOCR se entrena en dos etapas. La primera es un ajuste fino supervisado en una amplia colección de documentos en portugués. Facturas, exámenes, notas manuscritas, formularios oficiales. Esta etapa orienta la capacidad representacional del modelo hacia el vocabulario, la morfología y los patrones ortográficos del portugués brasileño. La segunda etapa aplica la Optimización Directa de Preferencias (DPO). Esto entrena al modelo para preferir extracciones de texto completo coherentes en lugar de incompletas o repetitivas, en lugar de optimizar para la precisión de un solo token. El efecto es un modelo que lee bien el portugués y se mantiene estable cuando la señal de entrada se degrada.

El punto de referencia original midió simultáneamente la calidad de extracción y la tasa de degeneración. DharmaOCR obtuvo la puntuación de calidad más alta en su clase con la tasa más baja de salida repetitiva o incoherente. La nueva comparación prueba si esa posición se mantiene frente a modelos lanzados después de él, utilizando el mismo protocolo de evaluación.

Resultados del punto de referencia

Las cifras principales en el punto de referencia en portugués:

La diferencia no es pequeña. Mistral OCR4 se queda aproximadamente 13 puntos por detrás. Unlimited-OCR cae más de 16. Ambos fueron lanzados después de DharmaOCR, ambos demuestran una sólida capacidad multilingüe, y ambos fallan en las señales lingüísticas que definen el dominio objetivo.

Qué revelan los errores

Tomemos un ensayo del ENEM, el examen nacional de secundaria de Brasil, que contiene el nombre del músico y poeta Chico Buarque. Mistral OCR4 lo transcribió como "Chico Barque." Unlimited-OCR reprodujo el mismo nombre como "chico bique." Una cita del mismo ensayo, "O Brasil não exclui, assimila," se convirtió en "a dose de chico bique, 'o Brasil no exclu, eliminila." Estas no son corrupciones aleatorias. Ocurren precisamente en el vocabulario y los nombres propios que distinguen el portugués brasileño del corpus multilingüe más amplio. Un modelo entrenado con suficiente portugués no comete estos errores porque sus recursos se asignaron específicamente a ese espacio léxico.

El segundo modo de fallo es más dañino operativamente: la degeneración del texto. Cuando un modelo generativo que se basa en la predicción del siguiente token se encuentra con un documento de mala calidad visual, fuentes pequeñas o escaneos degradados, puede perder su base y producir una salida sin relación con la fuente. En la comparación, Mistral OCR4 produjo texto completamente desconectado en tales entradas. La salida no solo es inexacta. Es estructuralmente inutilizable para tareas posteriores como clasificación o extracción de información.

DharmaOCR maneja los mismos documentos correctamente porque su etapa DPO penaliza explícitamente la pérdida de coherencia a nivel de extracción. El modelo aprendió a discriminar entre salidas completas y estables y las que se desvían. Esa es una señal de entrenamiento que solo el SFT no proporciona.

La lógica estructural

Los autores argumentan que la ventaja no es una corona permanente sino una demostración de principio. A medida que las arquitecturas mejoran y las técnicas de entrenamiento avanzan, el techo absoluto de rendimiento aumenta para todos los modelos. Lo que no cambia es la restricción de asignación. Los parámetros finitos deben ir a alguna parte. Un sistema que los concentra en un dominio superará a un sistema que los distribuye entre muchos, independientemente de cuán capaz se haya vuelto el generalista. Este es el teorema de No Free Lunch aplicado a la especialización en OCR.

Mejores herramientas no socavan el argumento. Expanden lo que la especialización puede lograr. La próxima iteración de DharmaOCR adoptará arquitecturas y métodos de entrenamiento más nuevos, pero siempre con el mismo objetivo centrado.