Une nouvelle attaque en boîte noire révèle que les agents de navigation vision-langage sont facilement déviés par un bruit semblable à celui d'une lentille

Les agents de navigation vision-langage sont conçus pour suivre des commandes en langage naturel à travers des espaces intérieurs inconnus, guidés par un flux vidéo en direct. Une nouvelle attaque adversarial montre que ces systèmes peuvent être déviés par un bruit visuel subtil, semblable à celui d'une lentille, qui imite quelque chose d'aussi ordinaire que du brouillard ou de la poussière sur une lentille. L'attaquant n'a jamais besoin de voir à l'intérieur du modèle.

Des chercheurs de l'Université des Sciences et Technologies de Hong Kong (Guangzhou) et de l'Université Sun Yat-sen ont construit AdvNav, une méthode entièrement en boîte noire qui injecte des distorsions spatialement cohérentes dans la vue à la première personne de l'agent. L'attaquant n'a besoin que d'un accès par requête : introduire des images modifiées et observer où va l'agent. Aucun gradient, aucun détail d'architecture, aucune donnée d'entraînement requis.

La méthode fonctionne en créant une boucle de rétroaction à partir du comportement propre de l'agent. AdvNav calcule deux signaux : un score de trajectoire qui mesure à quel point l'agent s'écarte de son objectif, et un score de récompense au niveau de l'action qui estime la probabilité de choisir des mauvais pas en cours de route. Un indicateur binaire suit si l'agent a déjà quitté son chemin prévu. Ensemble, ces signaux pilotent une optimisation hybride qui ajuste l'intensité de la perturbation comme un thermostat adaptatif tout en faisant évoluer la structure du bruit via des algorithmes génétiques.

Dans les tests sur l'ensemble de données Room-to-Room (R2R) dans le simulateur Matterport3D, AdvNav a affronté deux types de modèles VLN : le HAMT basé sur Transformer et le MapGPT basé sur LLM fonctionnant sur les backbones Qwen3-VL et GPT-4V. Contre HAMT, AdvNav a atteint un taux de succès d'attaque moyen de 49,70 %, ce qui signifie que près de la moitié de toutes les navigations auparavant réussies ont échoué sous l'attaque. Le succès pondéré par la longueur du chemin est passé de 57,69 % à 29,35 %, et l'erreur de navigation est passée de 3,94 mètres à 6,05 mètres.

Contre MapGPT avec Qwen3-VL, le taux de succès d'attaque est monté à 65,96 %. Avec GPT-4V, il a atteint 87,30 %, et le SPL est tombé à seulement 4,71 %. L'attaque a mieux fonctionné sur les agents basés sur LLM, que les auteurs soupçonnent d'être plus vulnérables aux perturbations globales car ils s'appuient fortement sur un raisonnement visuel holistique.

Le bruit utilisé par AdvNav provient du bruit de Perlin, un champ de luminance continu à basse fréquence qui ressemble à des effets environnementaux naturels comme la brume ou les traces sur une lentille. Le choix est délibéré. Contrairement au bruit gaussien haute fréquence ou aux occlusions de masque localisées, le bruit de Perlin résiste aux filtres de prétraitement standard et crée un biais perceptuel constant. Le score LPIPS pour les perturbations d'AdvNav était bien inférieur à celui des lignes de base, ce qui suggère qu'il est plus difficile à remarquer pour un observateur humain.

Les auteurs écrivent : "Notre perturbation forme un champ de luminance cohérent à basse fréquence, semblable à la brume ou à la poussière sur une lentille. Il réduit le contraste le long des indices structurels et résiste à la suppression par le prétraitement standard, entraînant un biais continu dans l'action de navigation qui s'accumule sur les trajectoires."

Ce travail se distingue des attaques VLN antérieures qui nécessitaient un accès en boîte blanche, c'est-à-dire la capacité de calculer ou d'approximer les gradients du modèle, ce qui est souvent impossible dans les déploiements réels où les modèles sont propriétaires. Les méthodes en boîte noire existantes comme ZOO, NES ou SimBA étaient conçues pour des tâches visuelles en une seule étape et fonctionnent mal sur la tâche VLN multi-étapes et temporellement dépendante, où les agents peuvent s'auto-corriger et les erreurs s'accumulent de manière non linéaire.

Des études d'ablation ont confirmé que chaque composant d'AdvNav est important. La suppression des deux signaux de rétroaction a réduit le taux de succès d'attaque à 23,40 % (recherche aléatoire pure). La suppression uniquement du score au niveau de l'action l'a fait chuter à 30,85 %. La fixation de la structure du bruit tout en conservant la mise à jour adaptative a donné 38,30 %, encore bien en dessous du taux de 47,87 % de la méthode complète sur un sous-ensemble. Le remplacement de l'optimiseur d'AdvNav par NES, la recherche bayésienne ou SimBA tout en conservant le bruit de Perlin a également produit des attaques plus faibles.

Les chercheurs suggèrent qu'AdvNav sert non seulement comme méthode d'attaque ou outil de test de résistance pour les systèmes VLN, mais aussi comme une incitation pour la recherche future en robustesse. Les défenses potentielles incluent l'entraînement adversarial ou les filtres de prétraitement adaptés aux modèles de perturbation de type Perlin.

L'article devrait être présenté à la 34e Conférence Internationale de l'ACM sur le Multimédia (MM 2026) à Rio de Janeiro.