Mistral OCR 4 高分胜出，但自身审计揭示基准测试分数并不能反映真实情况

文档提取是企业 AI 流水线中默默无闻的主力：不引人注目，通常外包给传统供应商，但对于任何处理发票、合同或技术报告的系统都至关重要。Mistral AI 今天发布的 OCR 4 带来了该领域多年来首个实质性的结构飞跃。除了提取的文本之外，该模型还返回每个块的边界框、分类类型（标题、表格、公式、签名等）以及每个词的置信度分数。AI领域下一个万亿级瓶颈不是算法，而是电力和散热

数据相当亮眼：OlmOCRBench 得分 85.20，OmniDocBench 得分 93.07，在与所有测试的领先系统的逐项人类偏好评估中获得了 72% 的胜率。但公司随附的方法论披露可能对该领域的贡献更为重要。Ai2发布olmo-eval：为LLM开发者提供每个检查点的显微级评估

当基准测试惩罚正确答案时

Mistral 审计了其基准测试分数背后的不匹配项，发现大多数不是模型错误，而是评估脚本工作方式的伪影。这些反复出现的类别揭示了关于文档 AI 基准测试现状的一个令人不安的真相。

参考标注本身中的基准真相错误，例如缺失或多余的文本、对已编辑区域的转录以及拼写错误，意味着模型正确读取了源文档但被标记为错误。在 LaTeX 中渲染结果相同的等效数学符号会被计为不匹配：渲染的公式是正确的，但字符串比较却不同。公式分割, , 一个表达式是作为单个 LaTeX 块输出还是拆分为内联片段, , 即使渲染内容相同也会影响匹配结果。多列布局中的列排序假设会导致正确的提取结果因读取顺序失败而被扣分。块类型归属问题出现在页眉或页脚预期被剥离时，但测试随后检查一个也作为页面标题出现且本应存在的字符串，从而错误地将其标记为问题。验证地平线：为什么验证编码代理现在比构建它们更难

这些伪影集中在数学、科学和多列文档中，而它们恰好是企业文档提取中价值最高的用例。它们更常惩罚正确的输出，而不是奖励错误的输出。Mistral 承认，总分是方向性的，而非确定性的。

结构智能增益

除了评分争论之外，OCR 4 的关键产品进步在于，下游系统现在不仅能够获取文档所说的内容，还能获取每个元素所在的位置、它扮演的角色以及模型在每个区域的置信度。这开启了三个具体的用例。

当块被预先分类和定位后，面向 RAG 的语义分块变得更加可靠。一个基于朴素字符计数的分块器不应将表格标题与其行分开。代理工作流可以从读取文档转变为对文档进行操作：表单填写、发票处理和合规检查受益于结构化原语而非纯文本。置信度分数使得高效的人机协同验证成为可能，只需人工审核低置信度的区域，而无需重新检查整个页面。你的AI搜索管道坏了，这个开源框架来修管道。

经济性与部署

OCR 4 足够紧凑，可以部署在单个容器上用于自托管环境，这解决了许多企业因数据主权要求而无法将文档发送到云 API 的问题。通过 API 调用，该模型每 1,000 页收费 4 美元，Batch-API 享受 50% 折扣后降至每 1,000 页 2 美元。Document AI 服务（通过在 OCR 结果之上叠加一个小模型，输出结构化 JSON）每 1,000 页收费 5 美元。Gemma 4 不是聊天机器人，而这正是其设计初衷

来自 Rogo（一位处理金融文档的 AI 工程师）的早期反馈报告称，其准确性与领先的代理解析器相当，但成本约为后者的 8 分之 1，延迟约为后者的 17 分之 1。对于大规模的生产用例，这些差异会迅速累积。Cognition新编程代理以极低成本接近前沿模型表现

该模型支持 10 个语系的 170 种语言，在专业和小语种语言（印地语、日语、格鲁吉亚语、孟加拉语、亚美尼亚语、希伯来语、希腊语、泰米尔语）上性能差距最大，这些语言中竞争系统的性能会急剧下降。这种多语言能力使得 OCR 4 适用于无法按语言隔离文档处理的全球企业部署。

诚实的基准测试

Mistral 决定发布关于基准测试伪影的详细审计而非仅公布头条分数，这标志着文档提取行业亟需的成熟度。该领域的每个供应商都面临相同的评估问题。OCR 4 是第一个公开列出这些问题以及自身结果的产品。对任何买家来说，实用的建议始终如一：用你自己的文档进行评估，而不是依赖基准测试的总分。