سلامة الذكاء الاصطناعي

لماذا تفتح مايكروسوفت اختبارات سلامة الذكاء الاصطناعي للعالم

مايكروسوفت مولت 18 مختبرًا جامعيًا عبر ست قارات لإجراء اختبارات هجومية مستقلة لأنظمة الذكاء الاصطناعي، معترفة بأن الفرق الداخلية لا تستطيع اكتشاف كل المخاطر.

Emmanuel Fabrice Omgbwa Yasse بمساعدة الذكاء الاصطناعي

2026-08-07 · قراءة 3 دقائق

لماذا تفتح مايكروسوفت اختبارات سلامة الذكاء الاصطناعي للعالم

الاختبارات الهجومية للذكاء الاصطناعي تعاني من مشكلة بقعة عمياء. معظم اختبارات السلامة تتم داخل نفس الشركات التي تبني النماذج. هذا يكتشف المشكلات الواضحة، لكن أصعب أنماط الفشل، تلك التي تظهر فقط في لغة معينة، أو سياق ثقافي، أو سيناريو هجومي، تحتاج خبرة لا يمكن لأي فريق داخلي واحد تغطيتها.

إجابة مايكروسوفت هي تحالف الخارجي للاختبارات الهجومية، أو EXTRA. أُعلن اليوم، البرنامج يمول باحثين مستقلين في ست قارات لاختبار ضغط أنظمة الذكاء الاصطناعي المتطورة. الشركة أعطت هدايا غير مقيدة لـ 18 مختبرًا جامعيًا، بما في ذلك مختبر الأمن في جامعة جورجتاون، ومجموعة أبحاث المحاذاة في جامعة نيويورك، ومختبر المخاطر والأمن في جامعة كاليفورنيا بيركلي. لا توجد مخرجات مطلوبة ولا متطلبات منتج: الهدف هو تعزيز أبحاث السلامة المستقلة عالميًا، وليس توجيهها نحو أولويات مايكروسوفت.

المبادرة لها جزآن. الأول أكاديمي: منح نقدية للباحثين لمتابعة أسئلة صعبة لم تُحل في سلامة الذكاء الاصطناعي. بعض المختبرات تدرس كيف يمكن مهاجمة النماذج أو التلاعب بها في بيئات تشغيلية. أخرى تستكشف العكس، كيف يمكن للذكاء الاصطناعي مساعدة المدافعين في تحسين العمليات السيبرانية.

رسم بياني : EXTRA والتعاون العالمي لسلامة الذكاء الاصطناعي
يمول برنامج EXTRA من Microsoft 18 مختبرًا جامعيًا عبر ست قارات، بينما شهدت قمة السلامة العالمية للذكاء الاصطناعي توقيع أكثر من 30 دولة على إعلان مشترك، وفقًا لما ذكره المقال.

الجزء الثاني تشغيلي. مايكروسوفت تبني شبكة موزعة من المتخصصين يمكنهم المشاركة مباشرة في تمارين الاختبارات الهجومية التي تتطلب معرفة عميقة بمجال معين، أو لغة معينة، أو سياق إقليمي، أو مجال تقني مثل الأمن السيبراني أو الأمن البيولوجي. الفكرة هي تغطية أسطح الهجوم التي لا تستطيع الفرق الداخلية معالجتها بالكامل بمفردها.

هذا الهيكل متعمد. فريق مايكروسوفت للاختبارات الهجومية للذكاء الاصطناعي وجد أن الاختبار الهادف للأنظمة المتقدمة غالبًا ما يتطلب مشاركة أوسع من أشخاص خارج حدود الأمن التقليدية للشركات. ناتاشا كرامبتون، كبير مسؤولي الذكاء الاصطناعي المسؤول في مايكروسوفت، قالت في الإعلان إن إدارة مخاطر الذكاء الاصطناعي المتطور تتطلب "تفاعلًا مستمرًا مع خبراء يفهمون كيف تتصرف هذه الأنظمة عبر سياقات تقنية ولغوية وثقافية مختلفة."

الخطوة تعكس كيف يعمل الأمن السيبراني. النظام البيئي هناك يعتمد على باحثي الثغرات المستقلين، وبرامج مكافآت الأخطاء، والإفصاح المنسق. سلامة الذكاء الاصطناعي، وفقًا للرأي، تحتاج نفس النوع من التدقيق الخارجي. مايك يي، نائب الرئيس والمستشار العام المساعد لأمن العملاء والثقة في مايكروسوفت، أشار إلى أن فهم كيف يمكن إساءة استخدام الذكاء الاصطناعي المتطور يتطلب خبرة تمتد عبر المؤسسات والتخصصات والحدود.

الحكومات تتجه في نفس الاتجاه. في أحدث قمة عالمية لسلامة الذكاء الاصطناعي، وقعت أكثر من 30 دولة إعلانًا مشتركًا يتضمن اختبارًا مستقلاً قبل النشر للنماذج المتطورة. EXTRA يخلق نوع قدرة التقييم التي قد تتطلبها اللوائح المستقبلية، على الرغم من أن المنح لا تفرض على مايكروسوفت التصرف بناءً على ما يجده الباحثون.

هذا هو التوتر في قلب البرنامج. التمويل غير المقيد يحافظ على الاستقلال الأكاديمي، لكنه يعني أيضًا أن مايكروسوفت يمكنها اختيار النتائج التي تأخذها على محمل الجد. الاختبار الحقيقي سيكون ما إذا كانت نتائج الاختبارات الهجومية الخارجية تؤدي إلى تغييرات ملموسة قبل إطلاق النموذج، أو ما إذا كانت تصبح محادثة موازية يمكن للصناعة تجاهلها.

EXTRA خطوة هامة نحو نموذج أكثر انفتاحًا لاختبار سلامة الذكاء الاصطناعي. ما إذا كان ذلك كافيًا سيعتمد على ما يحدث مع النتائج.

أهم أخبار التقنية في 3 دقائق كل صباح

بريد إلكتروني واحد، كل يوم عمل، بما يهم فعلاً في الذكاء الاصطناعي والتقنية.