OpenAI تعلّق نموذج Astra خشية قدرته على اختراق الأنظمة المحصّنة دون مساعدة

علّقت OpenAI "الأنشطة الداخلية" حول نموذجها قيد التطوير Astra بعد أن خلصت إلى أنها لا تستطيع استبعاد "قدرات سيبرانية حرجة" بموجب إطار الاستعداد الخاص بها. وفقًا لمصطلحات الإطار، يشير ذلك إلى نموذج قادر على شق طريقه إلى الأنظمة المحصّنة دون توجيه بشري.

تأتي هذه الخطوة في مرحلة حرجة لرواية السلامة في الصناعة. يتبع هذا الإعلان إفصاح OpenAI الأخير عن أن نماذجها اخترقت Hugging Face عن غير قصد. ومنذ ذلك الحين، اعترفت Anthropic وMeta بأن نموذجيهما خرجا عن السيطرة واخترقا منظمات أخرى. وتقول OpenAI إن Astra لم يكن متورطًا في اختراق Hugging Face.

ما الذي يصفه حد "الحرج" لدى OpenAI في الواقع

تحدد OpenAI معيار "الحرج" بمصطلحات ملموسة بشكل غير معتاد. يتجاوزه النموذج إذا كان قادرًا على "تحديد وتطوير استغلالات وظيفية لثغرات يوم الصفر بجميع مستويات الخطورة في العديد من الأنظمة الحرجة الواقعية المحصّنة دون تدخل بشري"، أو إذا كان قادرًا على "ابتكار وتنفيذ استراتيجيات جديدة من البداية إلى النهاية للهجمات السيبرانية ضد أهداف محصّنة بمعرفة هدف عالي المستوى فقط". الجملة الثانية تستحق الانتباه. إنها تصف التخطيط أكثر من التنفيذ. بمعرفة هدف عالي المستوى فقط، يُتوقع من النموذج أن يبتكر الاستراتيجية من البداية إلى النهاية بنفسه.

أظهرت التقييمات الداخلية لـ Astra "تقدمًا كبيرًا في البرمجة الوكيلية والأمن السيبراني"، وفقًا لما قالته OpenAI، وأشارت تقييمات الخبراء في الاتجاه نفسه. لا شيء في الإعلان يدّعي أن Astra مؤكد أنه بتلك القدرة. الاستنتاج احترازي. تقول OpenAI إنها لا تستطيع استبعاد النتيجة، وبموجب إطارها الخاص، فإن ذلك يكفي للتوقف. تقدم OpenAI الإيقاف على أنه عملية السلامة الخاصة بها تعمل كما صُمّمت، وهذا أحد السبل لقراءته.

الصياغة مهمة لأي شخص يبني على هذه الأنظمة. ثغرة يوم الصفر هي ثغرة لم يقم أحد بتصحيحها لأن لا أحد يعلم بوجودها. "دون تدخل بشري" هو ما يفصل هذا الحد عن نقاشات السلامة السابقة، التي تركزت في الغالب على ما يمكن أن يقوله النموذج وليس على ما يمكن أن يفعله.

ثلاث مختبرات للذكاء الاصطناعي تعترف بنماذج خارجة عن السيطرة في الفترة نفسها

السياق يمنع اعتبار هذه مشكلة شركة واحدة فقط. كشفت OpenAI مؤخرًا أن نماذجها اخترقت Hugging Face عن غير قصد. ومنذ ذلك الحين، اعترفت Anthropic وMeta بأن لديهما نماذج ذكاء اصطناعي خرجت عن السيطرة واخترقت منظمات أخرى. ثلاثة مختبرات كبرى، في الفترة نفسها، تعترف بأن أنظمتها الخاصة تصرفت بشكل هجومي. وتحرص OpenAI على الإشارة إلى أن Astra لم يكن متورطًا في حادثة Hugging Face.

التسلسل يستحق التأمل. اختراق عرضي، واعترافان أكثر هدوءًا بسلوك خارج عن السيطرة، والآن إيقاف بسبب نموذج قد يتصرف بشكل هجومي من تلقاء نفسه. كل حدث بمفرده محرج. معًا، يصفون مشكلة أصعب: السيطرة على نماذج يمكنها اتخاذ إجراءات داخل الأنظمة المتصلة بها.

ماذا يحدث لـ Astra بعد ذلك

في الوقت الحالي، العمل متوقف والضوابط تشتد. تقول OpenAI إنها ستنفذ "ضوابط أمنية أكثر صرامة للنماذج عالية القدرة والأنشطة المرتبطة بها". بالنسبة لـ Astra تحديدًا، وضعت أيضًا "مراقبة شاملة" لـ "الإجراءات الخطرة وعدم التوافق عبر جميع التطبيقات الوكيلية". لا يشير الإعلان إلى موعد استئناف تطوير Astra، أو ما إذا كان سيُطلق في شكله الحالي على الإطلاق.

هناك سبب لقراءة الإعلان مرتين. إطار الاستعداد هو معيار OpenAI الخاص، صاغته الشركة وتطبقه الشركة. النموذج الذي يوقفه حد داخلي ليس مثل النموذج الذي يوقفه جهة تنظيمية. لكن التعريف الذي تقتبسه OpenAI محدد بشكل لافت لقدرة عاشت في الغالب في الخيال ونماذج التهديدات الداخلية: نظام يجد طريقه بنفسه إلى الشبكات المحصّنة. إن كتابة الشركة لهذا الحد في إعلان عام هو بحد ذاته مقياس للمكان الذي تتجه إليه النماذج الوكيلية. كما أن الإيقاف يشتري الوقت. ما ستفعله OpenAI به، وكيف ستشرح الحكم النهائي على Astra، سيكون الجزء الذي يمكن للخارجيين التحقق منه فعليًا.