480毫秒与开源：Voxtral Realtime在Whisper的赛道上发起挑战

Voxtral Realtime是一款由研究人员推出的原生流式自动语音识别（ASR）模型，声称其转录质量与OpenAI的Whisper相当，延迟仅为480毫秒。其权重已根据Apache 2.0许可发布，意味着任何人都可以不受限制地将其用于商业或研究目的。Sipp.sh 发布开源库，本地AI推理速度提升3至5倍

该模型的主要技巧在于：它进行端到端的流式训练，在训练过程中明确地对齐音频和文本流。该领域的大多数工具，包括Whisper，都是为离线批量处理任务而构建的，后来才通过分块或滑动窗口的方式进行改造以适应实时使用。这种变通方法会引入延迟并可能降低准确性。

架构：专为流而设计

Voxtral Realtime采用了一种延迟流建模框架，增加了一个因果音频编码器以及一种名为Ada RMS-Norm的归一化技术，用于处理延迟调节。整个系统无需未来上下文信息即可运行，而这正是流式处理中的难点。

在480毫秒（大约眨眼两次所需的时间）的延迟下，该模型达到了Whisper的离线质量。这对于实时ASR来说是一个值得注意的里程碑，表明流式质量可能终于迎头赶上了离线水平。

技术报告将该模型定位为传统流式方法的直接替代方案。更多背景信息可参见一篇关于使用仅解码器大语言模型和延迟优化的流式语音识别的2026年论文，该论文探索了使用仅解码器大语言模型进行流式ASR的互补方法，表明该领域正朝着端到端流式架构收敛。Fast-LeWM：并行动作前缀预测大幅降低潜在世界模型规划成本

规模与范围

该模型在一个涵盖13种语言的大型数据集上进行了预训练，但论文并未具体说明是哪些语言或数据规模。其扩展行为与大语言模型类似：更大的变体在单位延迟内能获得更高的准确性，这表明更多的扩展可能会进一步提升性能。

Apache 2.0许可具有最大的开源许可自由度。你可以将其集成到专有产品中，而无需开源你自己的代码。开源RISC-V如何颠覆处理器市场并重塑硬件设计

背景与竞争

实时语音识别对于实时字幕、语音助手和AI客户服务越来越关键。Whisper准确但面向批处理，在实时使用时存在延迟问题。谷歌的通用语音模型和Meta的SeamlessM4T提供了多语言语音能力，但并未主要针对亚秒级流式处理进行优化。

凭借Apache 2.0许可，Voxtral Realtime直接与Whisper（使用MIT许可）竞争。在延迟敏感的应用中，Whisper的离线设计使Voxtral具有优势。开发构建实时转录功能的开发者可以跳过使Whisper实时工作所需的变通方法。桌面AI代理的真正瓶颈不是模型，而是技能库

未解问题

技术报告遗漏了一些细节。声称与Whisper相当所依据的基准测试并未列出，因此很难判断其在嘈杂音频、带口音语音或专业词汇上的表现。这13种语言未被命名，我们也不知道该模型对哪些语言处理得最好。

推理资源需求也不明确。实时ASR通常在计算能力有限的边缘设备上运行，而一个需要大量GPU算力的模型会削弱其低延迟的优势。Kog推出Laneformer 2B：以延迟为核心设计，速度高达3,000 token/s