La formation des robots chirurgicaux s'accélère : le Cosmos-H-Dreams de Nvidia tourne à 160 ips

La formation des robots chirurgicaux est bloquée par un goulot d'étranglement. Chaque nouvelle politique, chaque technique de suture, chaque mode d'échec doit être testé sur un système physique da Vinci ou Versius. Cela signifie du matériel rare, des itérations lentes et des configurations coûteuses. Nvidia veut briser cette boucle avec un modèle de monde génératif qui simule la vidéo chirurgicale en temps réel, permettant aux personnes et aux algorithmes de s'entraîner sans toucher au métal.

Cosmos-H-Dreams, annoncé aujourd'hui, est la distillation de l'ancien Cosmos-H-Surgical-Simulator de Nvidia en un modèle étudiant causal qui tourne à environ 160 images par seconde sur un seul GPU RTX PRO 6000. Le modèle prend une image RGB initiale et un flux en direct de la cinématique du robot, puis génère interactivement le prochain bloc d'images vidéo. Il est servi via FlashDreams, la bibliothèque d'inférence en streaming accélérée de Nvidia, qui utilise le cache KV en streaming, la capture de graphe CUDA et la compilation de modèle pour réduire la latence.

D'un professeur qui rêve lentement à un étudiant qui rêve vite

La base est Cosmos-Predict2.5-2B, un modèle de monde conditionné par l'action entraîné sur l'ensemble de données Open-H-Embodiment. Le professeur (Cosmos-H-Surgical-Simulator) génère déjà des images futures plausibles à partir d'une seule scène de départ et d'une trajectoire de robot, mais il tourne à environ 10 ips, trop lent pour une interaction en temps réel. Le professeur a été affiné sur le mélange de bureau JHU dVRK, incluant des épisodes d'échec comme les chutes d'aiguille et les lancers manqués. Ces échecs sont importants, car un simulateur utilisé pour entraîner des politiques doit reproduire les conséquences des mauvaises actions, pas seulement les actions idéales.

Trois façons d'habiter la simulation

Cosmos-H-Dreams est livré avec trois interfaces. Un client navigateur envoie des commandes clavier et reçoit des images générées via WebRTC. Un client Meta Quest mappe les mouvements du contrôleur suivi en actions robotiques et affiche la scène synthétisée via WebXR. Le même modèle peut également être connecté à une politique chirurgicale apprise, avec des observations générées et des actions prédites échangées en boucle fermée. Nvidia l'a démontré en s'intégrant au contrôleur chirurgical Versius de CMR Surgical.

Le point de contrôle publié est spécialisé pour la suture sur table du da Vinci Research Kit, mais l'équipe fournit une recette étape par étape pour adapter le système à d'autres incarnations. Les pipelines d'affinage du professeur et de distillation auto-forcée sont documentés sur GitHub.

Ce qu'un simulateur en temps réel n'est pas encore

Nvidia prend soin de présenter Cosmos-H-Dreams comme une plateforme de recherche et développement, et non comme un système de diagnostic, un remplacement de l'imagerie peropératoire, ou un contrôleur pour un robot chirurgical physique. Les réponses du modèle doivent être évaluées au-delà de la qualité visuelle. L'équipe propose des benchmarks en boucle fermée : la précision de l'atteinte et de la pose de la pointe de l'outil, la fidélité du cycle de la pince, la stabilité au repos, et l'accord entre les résultats simulés et réels des politiques. Cela déterminera si la simulation générative peut réellement accélérer le développement de politiques chirurgicales sans introduire d'artefacts.

À plus long terme, les modèles de monde en temps réel pourraient soutenir la téléchirurgie sensible à la latence, la répétition chirurgicale interactive et le support de décision peropératoire. Mais pour l'instant, la valeur immédiate est des itérations moins chères et plus rapides pour quiconque forme des robots chirurgicaux.