SevenTnewS

AI模型与基础设施

英伟达新嵌入模型登顶排行榜,但真正故事在于降低智能体成本

英伟达的Nemotron 3 Embed系列在RTEB基准测试中夺得头名,并推出保留80亿模型99%精度的10亿参数变体。公司数据显示,更强的检索能降低智能体系统中的下游token成本。

Emmanuel Fabrice Omgbwa Yasse AI 辅助

2026-07-18 · 阅读需 1 分钟

英伟达新嵌入模型登顶排行榜,但真正故事在于降低智能体成本

英伟达今日发布Nemotron 3 Embed系列,包括三款开源权重嵌入模型,在检索任务与评估基准(RTEB)排行榜上占据榜首。80亿参数的旗舰版在RTEB上得分78.5%,在MMTEB检索上得分75.5%。但公司自身的基准数据揭示了一个更有趣的现象:更强的检索能力直接转化为更低的智能体推理成本。

该系列包括80亿参数的BF16旗舰版、11.4亿参数的BF16效率版,以及一款针对Blackwell优化的11.4亿参数NVFP4变体。三款模型均以开源权重形式在Hugging Face上发布,并附带用于微调和蒸馏的英伟达NeMo训练配方。这些模型支持32k上下文窗口、均值池化以及标准的query:/document:前缀约定。

图:英伟达Nemotron 3 Embed模型在RTEB排行榜上的得分
根据文章引用的英伟达基准数据,英伟达Nemotron 3 Embed 80亿参数旗舰版在RTEB上得分78.5%,而两款10亿参数变体均达到72.4%。

英伟达使用由Nemotron 3 Ultra驱动的搜索智能体,在三个智能体基准(ViDoRe V3、BRIGHT和BrowseComp-Plus)上评估了这些模型。结果显示,检索准确率与下游token消耗之间存在反比关系。80亿参数模型的平均检索准确率最高,且预估下游token成本最低,这表明投资更强的嵌入模型可以通过智能体运行时节省来实现自我回报。

10亿参数变体旨在以更低延迟捕捉大部分质量提升。Nemotron-3-Embed-1B-BF16在RTEB上得分72.4%,相比前代(llama-nemotron-embed-vl-1b-v2)将错误率降低了27%。针对英伟达Blackwell架构的NVFP4变体保留了BF16准确率的99%以上,同时通过原生4位加速实现了高达2倍的吞吐量提升和更小的内存占用。

英伟达还为10亿参数模型发布了一款用Rust构建的NIM微服务,在GB200和RTX PRO 6000 GPU上,针对256和1024 token的输入序列长度,其性能匹配或超越了vLLM实现。

早期评估者包括Automation Anywhere、Boomi、IBM、Mem0、Palantir、ServiceNow、turbopuffer、You.com、Zep和Zoom。Mem0的产品经理报告称,在LongMemEval的Retrieval@10评估中,10亿参数模型得分为80.38%,而Qwen-3-0.6B为78.71%。You.com的高级AI工程师表示,在其重排序栈中替换为Nemotron 3 Embed模型,“带来了性能的显著飞跃”。

80亿参数模型通过将Ministral-3-8B-Instruct-2512骨干网从因果解码器调整为双向编码器,然后使用网页和合成配对进行对比预训练,再针对精心策划的多语言数据集进行微调而构建。10亿参数模型则通过两轮结构化剪枝生成,从30亿参数的父模型到20亿参数的中间模型,再到最终的11.4亿参数规模,过程中使用了英伟达ModelOpt的神经架构搜索引擎,并在每个阶段从80亿参数的教师检查点进行蒸馏。

英伟达还分享了一个领域微调示例:将Nemotron-3-Embed-1B-BF16适配到NV Docs评估,使NDCG@10从56.7%提升至63.3%,Recall@5从56.1%提升至62.8%。

每天早晨用 3 分钟掌握科技要闻

每个工作日一封邮件,只讲真正重要的 AI 与科技动态。