为什么一个六个月的OCR模型在巴西葡萄牙语上仍胜过新对手

在发表关于DharmaOCR的论文三个月后，作者们带来了一份后续报告。较新的模型已经出现，运行在更新的架构上，并得到大量资源的支持。然而，在同一个专注于葡萄牙语的基准测试中，DharmaOCR相比Mistral OCR4和Unlimited-OCR仍然分别领先约13到16个百分点。

这并不是说该模型的架构更优越。这是一个受控的说明，展示了一种不依赖硬件代际的结构性动态。当固定参数池集中于单一语言而非分散到多种语言时，模型从该领域中提取了更多性能。这个可测量且一致的差距，就是该动态的经验性标志。

管道如何工作

DharmaOCR分两个阶段进行训练。第一阶段是在广泛的葡萄牙语文档集合上进行监督微调。包括发票、考试卷、手写笔记和官方表格。此阶段将模型的表征能力导向巴西葡萄牙语的词汇、词法和正字法模式。第二阶段应用直接偏好优化（DPO）。这训练模型偏好连贯的全文本提取，而非不完整或重复的提取，而不是优化单个字符的准确性。效果是，一个能良好阅读葡萄牙语并在输入信号退化时保持稳定的模型。

原始基准测试同时衡量提取质量和退化率。DharmaOCR在其类别中以最低的重复或不相干输出率获得了最高质量分数。新的比较测试了这一位置是否在相同评估协议下，对发布在其之后的模型仍然成立。

基准测试结果

葡萄牙语基准测试的标题数字：

差异不小。Mistral OCR4大约落后13个百分点。Unlimited-OCR落后超过16个百分点。两者都在DharmaOCR之后发布，都展示了强大的多语言能力，但都在定义目标领域的语言信号上失败。

错误揭示了什么

以巴西高考ENEM的一篇作文为例，其中提到了音乐家和诗人Chico Buarque的名字。Mistral OCR4将其转录为"Chico Barque"。Unlimited-OCR将同一名字呈现为"chico bique"。同一篇作文中的引文"O Brasil não exclui, assimila"（巴西不排斥，而是吸收）变成了"a dose de chico bique, 'o Brasil no exclu, eliminila"。这些不是随机的损坏。它们恰好发生在区分巴西葡萄牙语与更广泛多语言语料库的词汇和专有名词上。一个在足够多葡萄牙语上训练的模型不会犯这些错误，因为其资源被专门分配给了该词汇空间。

第二个失败模式在操作上更具破坏性：文本退化。当依赖下一个字符预测的生成模型遇到视觉质量差、字体小或扫描退化的文档时，它可能会失去根基并产生与来源无关的输出。在比较中，Mistral OCR4在此类输入上产生了完全脱节的文本。输出不仅不准确，而且对于分类或信息提取等下游任务在结构上不可用。

DharmaOCR能正确处理相同的文档，因为其DPO阶段明确惩罚提取层面的连贯性丧失。该模型学会了区分完整、稳定的输出和漂移的输出。这是一个仅靠SFT无法提供的训练信号。

结构性逻辑

作者认为，这种优势并非永久性的桂冠，而是一个原则的证明。随着架构改进和训练技术发展，所有模型的性能绝对上限都在提高。不变的是分配约束。有限的参数必须分配到某个地方。一个将参数集中在一个领域上的系统，将胜过将其分布在多个领域上的系统，无论通用模型的性能变得多高。这是无免费午餐定理在OCR专业化中的应用。

更好的工具不会削弱这一论点。它们扩展了专业化所能实现的目标。DharmaOCR的下一个迭代将采用更新的架构和训练方法，但始终以同样集中的目标为导向。