تدريب الروبوتات الجراحية أصبح أسرع: Cosmos-H-Dreams من Nvidia يعمل بمعدل 160 إطارًا في الثانية

تدريب الروبوتات الجراحية عالق عند عنق زجاجة. كل سياسة جديدة، كل تقنية خياطة، كل نمط فشل يجب اختباره على نظام da Vinci أو Versius الفعلي. وهذا يعني أجهزة نادرة، وتكرار بطيء، وإعدادات مكلفة. تريد Nvidia كسر هذه الحلقة بنموذج عالمي توليدي يحاكي الفيديو الجراحي في الوقت الفعلي، مما يسمح للأشخاص والخوارزميات بالممارسة دون لمس المعدن.

Cosmos-H-Dreams، الذي أُعلن عنه اليوم، هو تقطير لنموذج Cosmos-H-Surgical-Simulator السابق من Nvidia إلى نموذج طالب سببي يعمل بمعدل 160 إطارًا في الثانية تقريبًا على بطاقة رسوميات واحدة من نوع RTX PRO 6000. يأخذ النموذج إطار RGB أوليًا وبثًا مباشرًا للحركات الحركية للروبوت، ثم يُولد الدفعة التالية من إطارات الفيديو بشكل تفاعلي. يتم تقديمه عبر FlashDreams، مكتبة الاستدلال المتدفق المعجلة من Nvidia، والتي تستخدم ذاكرة تخزين مؤقت متدفقة KV، والتقاط CUDA Graph، وتجميع النموذج لتقليل زمن الوصول.

من معلم يحلم ببطء إلى طالب يحلم بسرعة

الأساس هو Cosmos-Predict2.5-2B، وهو نموذج عالمي مشروط بالإجراءات تم تدريبه على مجموعة بيانات Open-H-Embodiment. يقوم المعلم (Cosmos-H-Surgical-Simulator) بالفعل بتوليد إطارات مستقبلية معقولة من مشهد بداية واحد ومسار روبوت، لكنه يعمل بمعدل 10 إطارات في الثانية تقريبًا، وهو بطيء جدًا للتفاعل الفوري. تم ضبط المعلم بدقة على خليط JHU dVRK tabletop، بما في ذلك حلقات الفشل مثل سقوط الإبر والرميات الفائتة. تلك الإخفاقات مهمة، لأن المحاكي المستخدم لتدريب السياسات يجب أن يعيد إنتاج عواقب الإجراءات السيئة، وليس فقط المثالية.

لبناء الطالب، استخدم فريق البحث التقطير الذاتي الإجباري. يتعلم الطالب توليد سياقه الخاص أثناء التدريب، ثم يتلقى إشرافًا مطابقًا للتوزيع من المعلم المجمد. بهذه الطريقة يتعامل مع عدم التطابق بين مدخلات التدريب النظيفة ومخرجاته غير الكاملة أثناء النشر. والنتيجة هي نموذج يمكن تشغيله بعدد يصل إلى خطوتين لإزالة الضوضاء لكل إطار كامن بدلاً من خطوات المعلم العديدة.

ثلاث طرق للتفاعل مع المحاكاة

يأتي Cosmos-H-Dreams مع ثلاث واجهات. عميل متصفح يرسل أوامر لوحة المفاتيح ويستقبل الإطارات المولدة عبر WebRTC. عميل Meta Quest يربط حركة وحدة التحكم المتعقبة بإجراءات الروبوت ويعرض المشهد المُركب عبر WebXR. يمكن أيضًا توصيل نفس النموذج بسياسة جراحية مُتعلمة، مع تبادل الملاحظات المولدة والإجراءات المتوقعة داخل حلقة مغلقة. أظهرت Nvidia ذلك من خلال التكامل مع وحدة تحكم الجراح Versius من CMR Surgical.

نقطة التفتيش الصادرة متخصصة في خياطة الطاولة da Vinci Research Kit، لكن الفريق يوفر وصفة خطوة بخطوة لتكييف النظام مع التجسيدات الأخرى. خطوط أنابيب الضبط الدقيق للمعلم والتقطير الذاتي الإجباري موثقة على GitHub.

ما لم يصبح عليه المحاكي الفوري بعد

تحرص Nvidia على تقديم Cosmos-H-Dreams كمنصة بحث وتطوير، وليس كنظام تشخيصي أو بديل للتصوير أثناء الجراحة أو وحدة تحكم لروبوت جراحي فعلي. يجب تقييم استجابات النموذج بما يتجاوز الجودة البصرية. يقترح الفريق معايير مغلقة: مدى وصول طرف الأداة ودقة الوضع، ودقة دورة القابض، والاستقرار الخامل، والتوافق بين نتائج السياسات المحاكاة والحقيقية. ستحدد هذه ما إذا كانت المحاكاة التوليدية يمكنها بالفعل تسريع تطوير السياسات الجراحية دون إدخال تشوهات.

على المدى الطويل، يمكن للنماذج العالمية الفورية دعم الجراحة عن بعد الواعية بزمن الوصول، والتمرين الجراحي التفاعلي، ودعم القرار أثناء الجراحة. لكن في الوقت الحالي، القيمة المباشرة هي تكرارات أرخص وأسرع لأي شخص يدرب الروبوتات الجراحية.