新型黑盒攻击揭示：类镜头噪声可轻易干扰视觉语言导航智能体

视觉语言导航智能体的设计目的是通过实时摄像头画面，遵循自然语言指令在陌生的室内空间中移动。一种新的对抗攻击表明，这些系统可能被类似镜头的细微视觉噪声干扰，这种噪声模仿了镜头上常见的雾气或灰尘等效果。攻击者无需查看模型内部。

香港科技大学（广州）和中山大学的研究人员构建了 AdvNav，一种完全黑盒的攻击方法，它向智能体的第一人称视角注入空间连贯的畸变。攻击者只需要查询权限：输入修改后的图像，观察智能体的移动方向。不需要梯度、架构细节或训练数据。

该方法通过建立来自智能体自身行为的反馈回路来工作。AdvNav 计算两个信号：一个轨迹级分数，用于衡量智能体偏离目标的距离；一个动作级奖励分数，用于估计智能体沿路选择错误步骤的概率。一个二进制标志跟踪智能体是否已经偏离预定路径。这些信号共同驱动一种混合优化，像自适应恒温器一样调整扰动强度，同时通过遗传算法进化噪声结构。

在 Matterport3D 模拟器中的 Room-to-Room (R2R) 数据集上的测试中，AdvNav 与两种类型的 VLN 模型进行了对抗：基于Transformer的 HAMT 和基于大语言模型的 MapGPT（运行在 Qwen3-VL 和 GPT-4V 上）。针对 HAMT，AdvNav 的平均攻击成功率达到49.70%，这意味着近一半原本成功的导航在攻击下失败。按路径长度加权的成功率从57.69%下降到29.35%，导航误差从3.94米增加到6.05米。

针对运行 Qwen3-VL 的 MapGPT，攻击成功率上升到65.96%。针对 GPT-4V，达到87.30%，SPL 降到仅4.71%。攻击对基于大语言模型的智能体效果更好，作者推测可能是因为这些智能体依赖全局视觉推理，更容易受到全局扰动的影响。

AdvNav 使用的噪声是 Perlin 噪声，一种低频、连续的亮度场，类似雾气或镜头污迹等自然环境影响。这种选择是故意的。与高频高斯噪声或局部掩蔽遮挡不同，Perlin 噪声能抵抗标准预处理滤波，并造成稳定的感知偏差。AdvNav 扰动的 LPIPS 分数远低于基线方法，暗示人类观察者更难察觉。

作者写道：“我们的扰动形成一种低频、连贯的亮度场，类似于镜头上的雾气或灰尘。它会降低沿结构线索的对比度，并抵抗标准预处理的抑制，导致导航动作产生持续偏差，从而在轨迹中累积。”

这项工作与之前的 VLN 攻击不同，后者需要白盒访问, , 即计算或近似模型梯度的能力，这在模型属专有的实际部署中往往不可能实现。现有的黑盒方法如 ZOO、NES 或 SimBA 是为单步视觉任务设计的，在多步、时间依赖的 VLN 任务中表现不佳，因为智能体可以自我校正，且误差以非线性方式累积。

消融研究证实了 AdvNav 的每个组件都很重要。移除两个反馈信号使攻击成功率降至23.40%（纯随机搜索）。仅移除动作级评分使其降至30.85%。在保持自适应更新的同时固定噪声结构，攻击成功率为38.30%，仍远低于完整方法在子集上的47.87%。用 NES、贝叶斯搜索或 SimBA 替换 AdvNav 的优化器并保持 Perlin 噪声，也产生了较弱的攻击。

研究人员表示，AdvNav 不仅是 VLN 系统的一种攻击方法或压力测试工具，也为未来鲁棒性研究提供了启示。潜在的防御措施包括针对 Perlin 类扰动模式进行对抗训练或预处理滤波。

该论文将在巴西里约热内卢举行的第34届 ACM 国际多媒体会议（MM 2026）上发表。