هجوم الصندوق الأسود الجديد يكشف أن وكلاء التنقل البصري-اللغوي يمكن تضليلهم بسهولة بضوضاء تشبه العدسة

تم تصميم وكلاء التنقل البصري-اللغوي لاتباع الأوامر باللغة الطبيعية عبر المساحات الداخلية غير المألوفة، مسترشدين بخلاصة الكاميرا المباشرة. يُظهر هجوم خصومي جديد أن هذه الأنظمة يمكن أن تُخرج عن مسارها بضوضاء بصرية خفيفة تشبه العدسة تحاكي شيئًا عاديًا مثل الضباب أو الغبار على العدسة. لا يحتاج المهاجم أبدًا إلى رؤية داخل النموذج.

بنى باحثون في جامعة هونغ كونغ للعلوم والتكنولوجيا (قوانغتشو) وجامعة صن يات سين AdvNav، وهي طريقة كاملة من نوع الصندوق الأسود تُدخل تشويهات متماسكة مكانيًا في رؤية الوكيل من منظور الشخص الأول. يحتاج المهاجم فقط إلى وصول الاستعلام: إدخال الصور المعدلة ومراقبة أين يذهب الوكيل. لا توجد تدرجات، لا تفاصيل معمارية، ولا بيانات تدريب مطلوبة.

تعمل الطريقة من خلال بناء حلقة تغذية مرتدة من سلوك الوكيل نفسه. يحسب AdvNav إشارتين: درجة مسار تقيس مدى انحراف الوكيل عن هدفه، ودرجة مكافأة إجراء تُقدّر احتمالية اتخاذ خطوات خاطئة على طول الطريق. تتبع علامة ثنائية ما إذا كان الوكيل قد غادر بالفعل مساره المقصود. معًا، تقود هذه الإشارات تحسينًا هجينًا يضبط شدة الاضطراب مثل منظم حرارة متكيف مع تطوير بنية الضوضاء من خلال الخوارزميات الجينية.

في الاختبارات على مجموعة بيانات Room-to-Room (R2R) داخل محاكي Matterport3D، واجه AdvNav نوعين من نماذج VLN: HAMT القائم على Transformer وMapGPT القائم على LLM والذي يعمل على نوى Qwen3-VL وGPT-4V. ضد HAMT، حقق AdvNav متوسط نجاح هجوم بلغ 49.70%، مما يعني أن ما يقرب من نصف جميع عمليات التنقل الناجحة سابقًا فشلت تحت الهجوم. انخفض النجاح الموزون بطول المسار من 57.69% إلى 29.35%، ونما خطأ التنقل من 3.94 مترًا إلى 6.05 مترًا.

ضد MapGPT مع Qwen3-VL، ارتفعت نسبة نجاح الهجوم إلى 65.96%. مع GPT-4V، بلغت 87.30%، وانخفض SPL إلى 4.71% فقط. عمل الهجوم بشكل أفضل على وكلاء LLM، الذين يشتبه المؤلفون في أنهم قد يكونون أكثر عرضة للاضطرابات العالمية لأنهم يعتمدون بشكل كبير على الاستدلال البصري الشامل.

الضوضاء التي يستخدمها AdvNav تأتي من ضوضاء Perlin، وهي مجال إضاءة مستمر منخفض التردد يشبه التأثيرات البيئية الطبيعية مثل الضباب أو لطخة العدسة. الاختيار متعمد. على عكس ضوضاء Gaussian عالية التردد أو حجب القناع الموضعي، تقاوم ضوضاء Perlin مرشحات المعالجة المسبقة القياسية وتخلق تحيزًا إدراكيًا ثابتًا. كانت درجة LPIX لاضطرابات AdvNav أقل بكثير من خطوط الأساس، مما يشير إلى أنه من الصعب على المراقب البشري ملاحظتها.

يكتب المؤلفون: "يشكل اضطرابنا مجال إضاءة متماسك منخفض التردد يشبه الضباب أو الغبار على العدسة. يقلل التباين على طول الإشارات الهيكلية ويقاوم القمع بواسطة المعالجة المسبقة القياسية، مما يؤدي إلى تحيز مستمر في إجراء التنقل يتراكم عبر المسارات."

يتميز هذا العمل عن هجمات VLN السابقة التي تطلبت الوصول إلى الصندوق الأبيض، أي القدرة على حساب أو تقريب تدرجات النموذج، وهو أمر غالبًا ما يكون مستحيلًا في النشرات الواقعية حيث تكون النماذج مملوكة. تم تصميم طرق الصندوق الأسود الحالية مثل ZOO أو NES أو SimBA لمهام الرؤية ذات الخطوة الواحدة وتعمل بشكل سيء في مهمة VLN متعددة الخطوات والمعتمدة زمنيًا، حيث يمكن للوكلاء تصحيح أنفسهم وتتراكم الأخطاء بطرق غير خطية.

أكدت دراسات الاجتثاث أن كل مكون من مكونات AdvNav مهم. أدت إزالة كلتا إشارتي التغذية المرتدة إلى تقليل نسبة نجاح الهجوم إلى 23.40% (بحث عشوائي نقي). أدت إزالة درجة مستوى الإجراء فقط إلى انخفاضها إلى 30.85%. أدى تثبيت بنية الضوضاء مع الحفاظ على التحديث التكيفي إلى تحقيق 38.30%، وهي لا تزال أقل بكثير من الطريقة الكاملة البالغة 47.87% على مجموعة فرعية. استبدال محسن AdvNav بـ NES أو البحث البايزي أو SimBA مع الحفاظ على ضوضاء Perlin أنتج أيضًا هجمات أضعف.

يقترح الباحثون أن AdvNav لا يخدم فقط كطريقة هجوم أو أداة اختبار ضغط لأنظمة VLN ولكن أيضًا كحافز لأبحاث المتانة المستقبلية. تشمل الدفاعات المحتملة التدريب الخصومي أو مرشحات المعالجة المسبقة المضبوطة لأنماط الاضطراب الشبيهة بـ Perlin.

من المقرر أن تُعرض الورقة في المؤتمر الدولي الرابع والثلاثين لجمعية آلات الحوسبة حول الوسائط المتعددة (MM 2026) في ريو دي جانيرو.