Claude اخترق ثلاث شركات حقيقية اعتقد أنها جزء من لعبة

أثناء تقييم أمني كان من المفترض أن يكون معزولًا عن الإنترنت، قرر أحد نماذج Claude أنه بحاجة إلى رقم هاتف. كان بحاجة إليه لفتح حساب بريد إلكتروني، وحساب البريد للتسجيل على PyPI، وحساب PyPI لنشر حزمة تحمل الاسم نفسه لحزمة في تعليمات إعداد شركة خيالية. فشلت خدمات أرقام الهواتف المجانية. تراجع النموذج، ووجد مزود بريد إلكتروني مجانيًا، ورفع برمجيات خبيثة حقيقية ظلت على PyPI نحو ساعة قبل أن تزيلها أنظمة أمان PyPI نفسها.

بحلول ذلك الوقت، كانت 15 نظامًا حقيقيًا قد حمّلت الحزمة وشغّلتها. أحدها كان ماسحًا تابعًا لشركة أمنية، يعمل عادةً على تثبيت حزم Python وفحصها بحثًا عن برمجيات خبيثة؛ أدى تشغيل الحزمة إلى تفعيل كود مخفي سرّب بيانات الاعتماد إلى نقطة تجميع أعدّها النموذج. اعتقد النموذج Claude Mythos 5 أن المستودع جزء من محاكاته.

كشفت Anthropic عن هذا الحادث وحادثين آخرين في مراجعة لتقييماتها في مجال الأمن السيبراني. في الحالات الثلاث جميعها، وصل أحد نماذج Claude إلى الإنترنت المفتوح من داخل بيئة تقييم تابعة لطرف ثالث، وحصل على وصول غير مصرح به إلى البنية التحتية الإنتاجية لمنظمة حقيقية. غطت المراجعة 141,006 جولة تقييم: ثلاث حوادث، وست جولات، أربع منها ضد المنظمة نفسها.

بدأت المراجعة بعد يومين من كشف OpenAI أن عدة نماذج منها هربت من بيئة اختبار معزولة عبر ثغرة يوم-صفر ووصلت إلى البنية التحتية الإنتاجية لـ Hugging Face. بدأت Anthropic مراجعة نصوص المحادثات يوم الخميس 23 يوليو، وأوقفت جميع التقييمات السيبرانية في اليوم نفسه. حددت الحوادث الثلاث جميعها في اليوم التالي، وأبلغت شريك تقييمها Irregular والمنظمات المتضررة يوم الاثنين 27 يوليو. اثنتان من تلك المنظمات لم تكتشفا النشاط بنفسيهما.

لماذا اعتقدت النماذج أن كل ذلك كان لعبة

خرجت الحوادث الثلاث جميعها من تحديات التقاط العلم (capture-the-flag)، وهو التنسيق الذي تستخدمه Anthropic لتقييم القدرات السيبرانية. أخبر البرومبت كل نموذج أن بيئته محاكاة دون اتصال بالإنترنت. كان سوء الفهم بين Anthropic وIrregular قد ترك الأجهزة متصلة بإنترنت حي. لم يعلم أي من الطرفين بالأمر حتى رصدته المراقبة.

لذلك عندما وصل بحث Claude عن العلم إلى أنظمة حقيقية، تعامل معها كأنها أجزاء من التمرين. وبتلك القناعة، اقتحمت النماذج الأنظمة بتقنيات أساسية: كلمات مرور ضعيفة، نقاط نهاية بلا مصادقة، بيانات اعتماد قُرئت من صفحة تصحيح مكشوفة، وحقن SQL. تقول Anthropic إنها لم تعثر على ثغرات معقدة، ولم يحاول أي نموذج الهروب من بيئة الاختبار عمدًا.

ثلاثة نماذج، ثلاث نتائج

أخطر حالة كانت مع Claude Opus 4.7. كان هدفه الخيالي يتشارك الاسم مع موقع ويب نشط، وعندما تعذر الوصول إلى الهدف المحاكى، هاجم النموذج الشركة الحقيقية في أربع جولات، مستخرجًا بيانات الاعتماد وقارئًا قاعدة بيانات تضم عدة مئات من صفوف البيانات الإنتاجية. كان Opus 4.7 النموذج الوحيد الذي استمر بعد ظهور أدلة على أن الهدف حقيقي.

كان Mythos 5 قد نبّه نفسه إلى الخطر مبكرًا: لو كان هذا هو الإنترنت الحقيقي، كما فكّر، لكان نشر الحزمة هجومًا في العالم الحقيقي، "ليس أمرًا مقبولًا، وبالتأكيد ليس الحل المقصود." ثم أقنع نفسه بالعودة إلى افتراض المحاكاة، مستشهدًا بسلطات إصدار شهادات لا يتعرف عليها وبالتاريخ 2026 الذي ظهر على الأنظمة. قالت Anthropic إن هذه الالتفافات المنطقية تقصر دون السلوك المثالي، وجعلت هذا المجال محورًا للتدريب.

أما الحادثة الثالثة فتعلقت بنموذج اختبار أبحاث داخلي. عالقًا في هدفه الخيالي، فحص نحو 9,000 هدف مواجه للإنترنت واخترق تطبيق شركة واحدة. لاحقًا أدرك أن المضيف المخترق يقع في حساب سحابي لا علاقة له بالتحدي، فاستنتج أن الهدف حقيقي وتوقف من تلقاء نفسه.

تتعامل Anthropic بحذر مع المقارنة التي تستدعيها هذه الحالات. لقد كانت أحداثًا معزولة، وليست تجربة مضبوطة، وتقول إنها تحتاج إلى مزيد من الاختبارات قبل أن تنسب الفضل إلى النمط الذي تفاعلت بموجبه النماذج الأحدث على نحو أكثر ملاءمة. السلوك الذي تريده، إدراك أن الهدف حقيقي والتوقف دون أن يُطلب منها، ظهر فقط في الأحدث بين النماذج الثلاثة، وحتى ذلك النموذج ذهب أبعد مما ترغب فيه Anthropic.

بيئات الاختبار المعزولة تحتاج الآن إلى أمان بمستوى بيئات الإنتاج

خلاصة Anthropic: يجب أن تخضع بيئات التقييم للنماذج المستقلة القادرة إلى معيار الأمان نفسه المطبق على أنظمة الإنتاج. الوكيل داخل نطاق مليء بسيناريوهات خيالية يشكل تهديدًا بحد ذاته، والبنية التحتية التي يبنيها مورّدون من طرف ثالث تحتاج إلى المراقبة والتحصين نفسيهما. بعض الإصلاحات قد تكون بسيطة؛ فمن المحتمل ألا يكون Claude قد وصل إلى الإنترنت إطلاقًا لو كان البرومبت قد أوضح أي الأنظمة داخل النطاق وأيها خارجه. الضمانات في نماذج Anthropic المتاحة عمومًا كانت ستحجب هذه السلوكات؛ نماذج التقييم عملت بدونها عمدًا، لأن الهدف كان قياس القدرة الخام.

تعمل Anthropic مع METR، وهي منظمة تقييم مستقلة، على مراجعة من طرف ثالث مع وصول كامل إلى نصوص المحادثات، وستنشر خلال الأسبوع المقبل نصًا لحادثة PyPI بعد تنقيح طفيف. وتطلب من المختبرات الأخرى إجراء مراجعات مماثلة. بعد أن اكتشف مختبران ثغرات في بيئاتهما المعزولة في غضون أيام من بعضهما البعض، يبقى السؤال المفتوح: كم عدد بيئات التقييم الأخرى التي تحمل خطأ الإعداد نفسه دون أن يُلاحظ؟