nMAS يؤتمت ميزات فشل القلب في السجلات الصحية الإلكترونية، واختُبر على 500 مريض وهمي فقط

قبل تدريب أي نموذج في دراسة عن فشل القلب، يتعين على شخص ما تحويل السجلات الصحية الإلكترونية الخام إلى ميزات يمكن للنموذج التعلم منها: سجلات الأدوية، مسارات المختبر، القطع الصغيرة التي تحمل الإشارة السريرية فعلًا. يستحوذ هذا العمل على 39 إلى 45% من وقت علماء البيانات في مشاريع السجلات الصحية الإلكترونية، كما يذكر البحث الأولي. وفي حالة فشل القلب، الذي يؤثر على ما يُقدَّر بنحو 6.7 مليون بالغ أمريكي، فإن الأمر أسوأ، لأن الأدلة متناثرة عبر سجلات مجزأة ويجب التوفيق بينها وبين الاستدلال السريري القائم على الإرشادات والخاص بالمرض.

نُشر البحث على arXiv في 6 أغسطس، ويجادل بأن الأنظمة القائمة على القواعد والنهج القائمة على نماذج اللغة الكبيرة تؤتمت جزءًا فقط من هذه المهمة، مع قابلية صيانة محدودة وإمكانية تتبع ضعيفة لمصدر كل ميزة. إجابته هي نظام Nimblemind متعدد الوكلاء، nMAS، وهو خط أنابيب مرتبط بالأدلة يرسّخ كل ميزة في بيانات المصدر ويقيّم مخرجاته الخاصة وفق معايير أثناء عمله.

على 500 سجل مريض وهمي من تسعة جداول مصدر للسجلات الصحية الإلكترونية، ولّد nMAS 132 ميزة بنيوية و70 ميزة مجمّعة مُقيَّمة وفق معايير، مع فحص السلامة البنيوية ومصدر البيانات والامتثال للمعايير على طول الطريق. قام نموذج لغة كبير مقيد بمراجعة المخرجات، وقام تقييم مستقل قائم على نموذج لغة كبير للمعايير بشأن دعم الأدلة والسلامة المنهجية بتسجيل الميزات عند 81.5% من الحد الأقصى للنقاط.

ما تظهره مكاسب AUROC فعليًا

النتائج الرئيسية هي التحسينات في التنميط الظاهري. إضافة ميزات nMAS المجمّعة إلى التقييم على المجموعة المحجوزة رفعت AUROC من 0.895 إلى 0.963 لـ HFrEF، أي فشل القلب مع كسر قذفي منخفض، ومن 0.870 إلى 0.910 لـ HFpEF، أي النوع المحفوظ. هذا التمييز مهم لأن الشكلين يُعالجان بشكل مختلف.

هذه تحسينات ذات دلالة على مجموعة محجوزة. لكن المشكلة أن التقييم كله أُجري على سجلات وهمية. لا توجد بيانات مرضى حقيقيين هنا، ولا مجموعة أتراب متعددة المواقع، ويقول البحث إن التحقق الخارجي ما زال مطلوبًا. خط الأنابيب الذي يؤدي أداءً جيدًا على البيانات الوهمية أثبت أنه يستطيع اتباع قواعده الخاصة. لم يثبت أنه يصمد أمام فوضى المستشفيات الحقيقية.

لا يذكر الملخص أي مقارنة مع الميزات المبنية يدويًا. لذا فإن حجة عبء العمل تستند إلى افتراض: أن الميزات المؤتمتة جيدة بما يكفي لتحل محل هذا الجهد البشري، لا لتكمله فقط.

قابلية التدقيق هي القصة، وليس AUROC

الادعاء الأعمق هو إمكانية التتبع. معظم هندسة الميزات المؤتمتة صندوق أسود: النموذج النهائي لا يمكنه تفسير الميزات، والميزات لا تحمل أي تاريخ. صُمم nMAS بحيث تعود كل ميزة إلى أدلة في جداول المصدر، وتحمل درجة معايير، وفُحصت بواسطة مدقق نموذج لغة كبير مقيد. في العمل السريري، هذا الأثر هو الفرق بين نموذج يمكن للجهة التنظيمية فحصه ونموذج لا يمكن لأحد الموافقة عليه.

يأتي nMAS في مساحة مزدحمة من الأبحاث الأولية في الذكاء الاصطناعي السريري تدفع في الاتجاه نفسه. ClinPRISM، الذي نُشر في أواخر يوليو، يطبق إطار استدلال متعدد الوسائط فعال التكلفة قائم على نموذج لغة كبير للإجابة على الأسئلة عبر سلاسل زمنية سريرية غير منتظمة، وهي مشكلة التشتت وعدم التزامن نفسها التي تطرحها بيانات السجلات الصحية الإلكترونية أمام نماذج اللغة. BioSecBench-Surveillance، وهو أيضًا من يوليو، معيار قابل للتحقق من 100 تقييم يختبر ما إذا كان وكلاء الذكاء الاصطناعي يستطيعون استنتاج خط أنابيب التحليل الصحيح من بيانات التسلسل الخام وسياق المراقبة. التحقق، وليس الدقة الخام، هو الخيط الذي يمر عبر جميع هذه الأعمال.

ما المفقود قبل النشر الفعلي

البحث صريح بشأن الفجوة. توقف التقييم عند مجموعة أتراب وهمية من مؤسسة واحدة. السجلات الحقيقية لمرضى من مواقع متعددة هي الخطوة التالية الواضحة، إلى جانب سجل تدقيق يمكن للخارجيين فحصه بدلًا من الأخذ بكلام المؤلفين.

درجة المعايير 81.5% هي الجزء الذكي والجزء الهش في آن واحد. نموذج لغة كبير مستقل حكم على الميزات من حيث دعم الأدلة والسلامة المنهجية، وهو ما يعني آلة تُصحح واجب آلة أخرى. أفضل من لا شيء، وما زالت تنقصه خطوة واحدة قبل توقيع طبيب سريري.

قد لا يعود خط الأنابيب بحاجة إلى يد بشرية على كل ميزة. ما زال بحاجة إلى مرضى حقيقيين لإثبات نفسه، وهذا الجزء غير مؤتمت بعد.