Les nouveaux modèles robotiques de Qwen abandonnent le raccourci habituel de l'IA

Le groupe de recherche Qwen d'Alibaba a publié mercredi trois modèles fondamentaux de robotique et un world model pour les environnements agent, marquant une rupture nette entre les modèles de langage et vision généralistes et les architectures construites de toutes pièces pour l'action physique.L'horizon de vérification : pourquoi vérifier les…

La suite Qwen-Robot comprend trois modèles distincts. Qwen-RobotNav gère la navigation. Qwen-RobotManip gère la manipulation. Qwen-RobotWorld est un world model qui simule la physique incarnée. À leurs côtés se trouve Qwen-AgentWorld, un world model basé sur le langage conçu pour simuler l'interaction agent dans sept domaines comme la recherche, le terminal et les environnements de génie logiciel.Le vrai goulot d’étranglement des agents IA de bureau…

"La famille de modèles fondamentaux Qwen offre déjà une perception et un raisonnement solides sur le monde physique. Mais voir n'est pas agir", a écrit l'équipe dans un article de blog. "L'écart entre la compréhension du langage et de la vision d'une part, et le contrôle physique d'autre part, reste le goulot d'étranglement central de l'intelligence incarnée."

Cette distinction est importante car la plupart des recherches actuelles en IA robotique prennent des LLM généralistes ou des modèles de génération vidéo et les adaptent à des tâches physiques. Qwen entraîne chaque modèle depuis le pré-entraînement continu avec la modélisation de l'environnement comme objectif natif, et non comme une adaptation a posteriori sur un LLM entraîné sur du texte. Qwen-RobotNav apprend la navigation comme tâche principale plutôt que de réutiliser la capacité d'un modèle de langage à décrire des itinéraires.Fast-LeWM : La prédiction parallèle de préfixes…

Qwen-RobotManip a été validé sur plusieurs plateformes robotiques réelles et tâches. Dans un pipeline démontré, Qwen-Omni observe une scène, propose des tâches de manipulation via la parole et évalue l'exécution en temps réel, sans liste de tâches prédéfinie. Chaque vidéo montre le modèle accomplissant des tâches à la volée, suggérant un suivi d'instructions ouvert et une généralisation à des environnements inconnus.

Le world model aborde un autre goulot d'étranglement connexe. Les world models actuels se divisent en deux camps insatisfaisants : les modèles généraux de génération vidéo qui apprennent de riches a priori visuels mais manquent de compréhension de la physique incarnée, et les modèles spécifiques à un domaine qui sont précis mais ne peuvent pas se généraliser au-delà d'un scénario étroit. Qwen-RobotWorld vise une voie médiane, un modèle avec une généralité suffisante dans les environnements physiques tout en préservant la physique qui compte pour le contrôle robotique.MiniMax lance Hailuo 2.3, un modèle vidéo doté d'un…

Qwen-AgentWorld, quant à lui, simule des environnements pour des agents langagiers plutôt que des robots physiques, couvrant les interactions textuelles dans les domaines MCP, recherche, terminal et SWE. Le modèle a été entraîné avec la modélisation de l'environnement comme objectif depuis le pré-entraînement continu, le même principe de conception qui régit la suite robotique.Le harnais open-source CUGA d'IBM évite la plomberie et…

Ces publications surviennent alors que la concurrence dans l'IA robotique s'intensifie. Google DeepMind travaille sur des modèles fondamentaux de robotique, et la simulation du monde physique reste une frontière où peu d'équipes ont publié des benchmarks reproductibles. Qwen a décidé de publier la suite sans document de recherche correspondant, du moins pas encore, ce qui pourrait frustrer certains chercheurs, bien que l'équipe ait mis à disposition des vidéos de validation montrant des performances robotiques réelles.

Le timing est notable. Les modèles de langage principaux de Qwen continuent de bien performer sur les benchmarks NLP standard, mais la suite robotique signale que le laboratoire considère la compréhension du monde physique comme le prochain front concurrentiel, un front où la seule compétence en modèles de langage est insuffisante. La question de savoir si l'approche construite sur mesure surpassera les modèles généraux adaptés dépendra de benchmarks que la communauté robotique n'a pas encore standardisés.

Qwen-AgentWorld, étant uniquement basé sur le langage, pourrait trouver une voie d'adoption plus rapide : les environnements de simulation d'agents sont très demandés alors que les entreprises se précipitent pour tester des agents autonomes avant de les déployer en production. Un modèle unique couvrant les protocoles de recherche, terminal, SWE et MCP pourrait réduire les frais d'outillage que les équipes rencontrent actuellement lors de l'assemblage de bancs d'essai.