Les nouveaux modèles d'embedding de Nvidia dominent le classement, mais la vraie histoire réside dans les économies de coûts des agents

Nvidia a publié aujourd'hui la collection Nemotron 3 Embed, une famille de trois modèles d'embedding à poids ouverts qui revendiquent la première place sur le classement du Retrival Task and Evaluation Benchmark (RTEB). Le modèle phare 8B obtient 78,5 % sur RTEB et 75,5 % sur MMTEB Retrieval. Mais les données de benchmark de l'entreprise racontent une histoire plus intéressante : une meilleure récupération se traduit directement par une inférence agentique moins coûteuse.

La collection comprend le modèle phare 8B BF16, un modèle d'efficacité 1,14B BF16 et une variante 1,14B NVFP4 optimisée pour Blackwell. Les trois sont disponibles sur Hugging Face sous poids ouverts et sont fournis avec des recettes d'entraînement Nvidia NeMo pour le fine-tuning et la distillation. Les modèles prennent en charge une fenêtre de contexte de 32k, un pooling moyen et la convention de préfixe standard query: / document:.

Nvidia a évalué les modèles sur trois benchmarks agentiques, ViDoRe V3, BRIGHT et BrowseComp-Plus, en utilisant un agent de recherche alimenté par Nemotron 3 Ultra. Les résultats montrent une relation inverse entre la précision de la récupération et les dépenses en tokens aval. Le modèle 8B a enregistré la précision de récupération moyenne la plus élevée et le coût estimé en tokens aval le plus bas, suggérant qu'investir dans un embedder plus performant peut s'autofinancer grâce aux économies de runtime des agents.

Les variantes 1B sont conçues pour capturer la majeure partie de ce gain de qualité à une latence plus faible. Le Nemotron-3-Embed-1B-BF16 obtient un score de 72,4 % sur RTEB, réduisant le taux d'erreur de 27 % par rapport à son prédécesseur (llama-nemotron-embed-vl-1b-v2). La variante NVFP4, ciblant l'architecture Blackwell de Nvidia, conserve plus de 99 % de la précision BF16 tout en offrant un débit jusqu'à 2 fois supérieur et une empreinte mémoire réduite grâce à l'accélération native 4 bits.

Nvidia a également publié un microservice NIM pour le modèle 1B, écrit en Rust, qui égale ou surpasse l'implémentation vLLM sur les GPU GB200 et RTX PRO 6000 pour des longueurs de séquence d'entrée de 256 et 1024 tokens.

Parmi les premiers évaluateurs figurent Automation Anywhere, Boomi, IBM, Mem0, Palantir, ServiceNow, turbopuffer, You.com, Zep et Zoom. Le chef de produit de Mem0 a rapporté que le modèle 1B a obtenu un score de 80,38 % contre 78,71 % pour Qwen-3-0.6B sur LongMemEval pour Retrieval@10, tandis que l'ingénieur IA senior de You.com a déclaré que le remplacement par le modèle Nemotron 3 Embed dans leur pile de reclassement "a apporté une amélioration significative des performances".

Le modèle 8B a été construit en adaptant le backbone Ministral-3-8B-Instruct-2512 d'un décodeur causal en un encodeur bidirectionnel, puis en l'entraînant avec un pré-entraînement contrastif sur des paires web et synthétiques, suivi d'un fine-tuning sur des ensembles de données multilingues organisés. Les modèles 1B ont été produits par deux rondes d'élagage structuré, d'un parent 3B à un intermédiaire 2B, puis jusqu'à l'empreinte finale de 1,14B, en utilisant le moteur Neural Architecture Search de Nvidia ModelOpt, avec distillation à partir d'un checkpoint enseignant 8B à chaque étape.

Nvidia a également partagé un exemple de fine-tuning de domaine: l'adaptation de Nemotron-3-Embed-1B-BF16 à l'évaluation NV Docs a amélioré NDCG@10 de 56,7 % à 63,3 % et Recall@5 de 56,1 % à 62,8 %.