Le cerveau robotique de Xiaomi est open-source et compte 38 milliards de paramètres. Cela change le goulot d'étranglement des données

Pendant des années, l'IA incarnée a vécu sous un plafond dur : pas assez de données. Les robots physiques sont lents, chers et dangereux à faire fonctionner à grande échelle, en particulier dans des scénarios rares ou dangereux. La collecte de données traditionnelle nécessite qu'un humain déplace un bras, réinitialise une scène et enregistre la trajectoire, un échantillon à la fois. La publication open-source par Xiaomi de Robotics-U0, un modèle autoregressif multimodal de 38 milliards de paramètres, propose une voie différente : générer les données d'entraînement au lieu de les collecter.

Robotics-U0 n'est pas un modèle à tâche unique. Il intègre quatre capacités, la génération de scènes incarnées, le transfert incarné, la génération vidéo d'interaction robotique et la génération générale texte-vers-image, dans un transformateur autoregressif unifié entraîné sur des données visuelles robotiques et à l'échelle d'Internet. Le modèle a été construit par la division robotique de Xiaomi, une unité qui exploite déjà des usines de robots et déploie des robots physiques dans des entrepôts, ce qui lui donne à la fois l'incitation et l'infrastructure pour poursuivre les pipelines de données synthétiques pour l'apprentissage incarné.

Les chiffres derrière la publication sont inhabituellement détaillés pour une entreprise d'électronique grand public. Sur le benchmark WorldArena, une évaluation standardisée couvrant la compréhension et la génération de scènes incarnées, Robotics-U0 a obtenu le meilleur score parmi 126 modèles participants dans le monde. Dans les évaluations sur robots réels, Xiaomi rapporte que lorsqu'une politique était entraînée sur des données augmentées par le modèle (incluant un éclairage, des arrière-plans et des arrangements d'objets modifiés), les taux d'achèvement des tâches dans des conditions hors distribution ont augmenté en moyenne de 26 % par rapport à l'entraînement sur les seules données originales.

L'importance de ce chiffre va au-delà d'un seul benchmark. La robustesse hors distribution, effectuer une tâche de manipulation sous un éclairage inhabituel, avec des arrière-plans différents ou avec des objets dans des positions inhabituelles, est le mode de défaillance classique de l'apprentissage robotique dans la nature. Une politique qui ne généralise à de nouvelles scènes que 40 % du temps n'est pas déployable ; une politique qui atteint 66 % change l'économie de l'automatisation robotique dans des environnements non structurés comme les entrepôts, les cuisines ou les environnements de service.

Quatre tâches, une seule architecture

Robotics-U0 est un transformateur autoregressif, une lignée de conception issue des grands modèles de langage, adaptée à la génération au niveau des pixels et des trajectoires. Le modèle prend en entrée soit une invite textuelle, soit une image et produit des sorties dans quatre modalités :

1. Génération de scènes incarnées : à partir d'une description textuelle, le modèle crée des scènes initiales multi-vues pour une configuration matérielle robotique spécifiée (table, cuisine, entrepôt, monde ouvert).
2. Transfert incarné : étant donné une trajectoire robotique existante, le modèle la transplante dans un nouvel environnement, modifiant l'éclairage, l'arrière-plan, le matériau de surface, l'objet cible ou la disposition de l'espace de travail tout en préservant les poses du bras et l'arrangement spatial.
3. Génération vidéo d'interaction robotique : à partir d'une observation initiale et d'une instruction d'opération, le modèle génère les images vidéo suivantes. Le modèle maintient la cohérence du mouvement et la consistance physique, avec une prétention de généralisation zero-shot à des environnements non vus.
4. Texte-vers-image général et édition d'image : la capacité standard de génération visuelle est conservée, permettant le transfert de connaissances visuelles à l'échelle d'Internet vers des tâches incarnées.

Cette architecture unifiée est la caractéristique la plus distinctive du modèle. La plupart des recherches en IA incarnée traitent la génération de scènes, la prédiction vidéo et l'entraînement de politiques comme des pipelines séparés, chacun nécessitant sa propre collecte de données et formation de modèle. L'approche de Xiaomi impose un espace de représentation partagé entre la génération et la compréhension, ce qui pourrait expliquer la capacité du modèle à maintenir une cohérence géométrique lors de la modification d'une scène : les positions des bras ne sont pas hallucinées mais préservées de la trajectoire originale.

Le levier d'efficacité : une inférence 83 fois plus rapide

La génération autoregressive brute de séquences visuelles est notoirement lente. Générer une seule image vidéo haute résolution peut prendre des secondes, rendant le pipeline complet peu pratique pour le volume nécessaire à l'augmentation d'un ensemble de données robotiques réelles (généralement des centaines de milliers à des millions d'images). Xiaomi décrit une architecture d'accélération d'inférence UNIS, la société n'a pas publié de benchmarks détaillés ou d'article en dehors du dépôt GitHub, qui améliore l'efficacité de génération d'environ 83 fois par rapport au paradigme autoregressif vanille.

Une accélération de 83x, si elle est corroborée par une reproduction indépendante, transforme le pipeline de génération d'un jouet de recherche en un outil de production. Une tâche qui prenait 83 minutes en prend maintenant une. À cette vitesse, une équipe de robotique peut générer des variantes synthétiques de ses trajectoires collectées du jour au lendemain plutôt que sur des semaines.

L'open source comme fossé

Xiaomi a publié la page projet complète, le code et les poids du modèle sur GitHub et HuggingFace, pas une préversion ou une licence restreinte, mais entièrement accessibles. Pour une entreprise qui vend des smartphones, des objets connectés et des véhicules électriques, ouvrir un modèle d'IA incarnée compétitif est inhabituel. L'instinct typique est de garder la capacité en interne comme différenciateur pour les futurs produits (les robots eux-mêmes ou le pipeline de données qui les entraîne).

Mais la démarche de Xiaomi reflète un schéma observé avec les modèles de langage : publier le modèle de base, puis bénéficier des contributions de la communauté, des corrections de bugs, des ajustements spécifiques aux tâches et des évaluations en aval que l'équipe interne ne pourrait jamais financer seule. Le goulot d'étranglement des données en robotique affecte tous les laboratoires. Si la communauté open-source génère des milliers d'ensembles de données augmentés, les robots de Xiaomi, actuels et futurs, seront ceux qui pourront le plus facilement ingérer ces données, car le modèle qui les a générées partage la même architecture que celui qui fonctionne dans l'usine. Ce n'est pas de la charité ; c'est un verrouillage d'infrastructure.

La publication positionne également Xiaomi comme un acteur rare de l'IA incarnée full-stack. La plupart des modèles fondamentaux robotiques proviennent d'universités (VIMA de Stanford, R3M du MIT) ou de startups spécialisées (Physical Intelligence, Covariant). Xiaomi combine la fabrication matérielle, le déploiement de robots réels dans ses usines et maintenant la recherche sur les modèles fondamentaux. La distance entre un article et un robot stagiaire déployé dans un entrepôt se mesure en cycles de prototype. Xiaomi a un pipeline court.

Le goulot d'étranglement des données, attaqué

La revendication centrale de Robotics-U0 n'est pas les scores de benchmark, qui seront améliorés en quelques semaines ou mois. C'est la thèse selon laquelle la génération de données synthétiques, à grande échelle, avec une cohérence géométrique, via un modèle open-source, peut élargir de manière significative la distribution d'entraînement du monde réel pour les robots physiques. Si cette thèse tient, alors le retard de la recherche en IA incarnée n'est plus un problème de coût de collecte de données mais un problème de coût de calcul, qui évolue dans la bonne direction. Une amélioration de 26 % de l'achèvement des tâches hors distribution est encore loin de la généralisation de niveau humain, mais c'est le genre de marge qui brise un blocage.

La publication open-source par Xiaomi de Robotics-U0 ne résout pas l'IA incarnée. Elle fait quelque chose de plus immédiat : elle donne à chaque laboratoire de robotique une meilleure façon de créer les données d'entraînement qui leur manquaient déjà. Dans un domaine où le progrès est limité par le nombre de fois qu'un bras robotique peut être physiquement réinitialisé, ce changement, de la collecte de données à la génération de données, pourrait être la véritable percée.