近日，部分 L3 级自动驾驶车型已经通过工信部批准正式上路，这标志着这我国自动驾驶产业的新阶段。

然而，假设你正乘坐自动驾驶汽车在高速上行驶，前方道路上出现了一个具有看似正常但实则为恶意生成纹理外观的障碍物，而你的自动驾驶车辆感知系统可能并未准确识别，可能因错判、漏判引发严重事故。

这类对智能系统具有诱导性且可以在真实世界中复现的纹理，正是物理对抗样本（PAE， Physical Adversarial Examples）。

无论是为发动 PAE 攻击还是防范 PAE 攻击，生成足够的 PAE 样本都至关重要。

目前已有不少方法研究如何生成 PAE，但它们往往以静态场景为前提，无法有效应对动态变化（环境、如光、物体运动等）的现实环境。因此，如何实时生成适应不同场景的物理对抗样本，成为智能安全领域亟待解决的问题。

北京航空航天大学等机构提出了 DynamicPAE 框架，开创性地实现了实时场景感知的动态 PAE 生成方法。

该方法通过对抗训练中的反馈问题，结合残差引导的对抗模式探索和场景对齐技术，实现了 PAE 在动态场景中的毫秒级生成。该工作被 IEEE Transactions on Pattern Analysis and Machine Intelligence 2025 录用。

DynamicPAE 框架聚焦于解决实时生成物理对抗样本面临的多维度挑战。该方法通过对抗训练中的反馈问题，结合残差引导的对抗模式探索和场景对齐技术，实现了 PAE 在动态场景中的高效生成和优化。

研究面临两大核心挑战：

1.   对抗样本训练中噪声阻碍了对场景相关 PAE 的有效探索，进一步导致训练退化问题，现有生成器难以稳定生成高质量的对抗样本；

2.   数字域的对抗样本生成与现实场景对接较为困难，生成器训练环境与现实攻击者的观察信息，导致生成的 PAE 在实际应用中的适用性与隐蔽性不一致，进而影响了其在复杂环境中的有效性和稳定性。

DynamicPAE 框架通过残差引导对抗模式探索、分布匹配攻击场景对齐和目标加权模块的设计，有效应对上述挑战，使得 PAE 生成过程更加稳定，且能够实时适应不同场景。

该框架在多个物理攻击场景中表现出显著的性能提升，在真实环境中的自动驾驶安全测试、物理对抗攻击等领域展现了广泛的应用潜力。

DynamicPAE 框架

△  图 1 环境感知的物理世界对抗样本实时生成框架

DynamicPAE 框架如图 1 所示，主要包括残差驱动的对抗模式探索方法与分布匹配的对抗场景对齐方法，解决了端到端训练动态对抗样本生成器时的模式易坍缩、环境难适配问题。论文首先将动态物理对抗样本生成问题定义为：

即寻找能够有效建模观察到的物理上下文 PX ∈ p，与物理对抗样本 δ 间映射的生成器 G。

其中 Yadv 是通过目标模型 F 定义的成功攻击的范围，⊕为攻击注入操作，它利用物理对抗样本 δ =G ( PX ) 作为输入，更新世界状态 X ∈ x。

1. 对抗模式的探索引导：

研究发现物理对抗样本动态生成器的优化过程存在训练退化问题。为刻画该问题，据生成模型的信息处理过程，提出有限信息反馈模型，建模物理对抗样本 δ 与场景 X 关联的混沌性质，定义反馈信息比为：

其中，δ 表示对抗样本，∇ δ L 对抗样本空间上对抗损失的梯度，刻画单次优化所能得到的目标模型的反馈，Z 表示在信息瓶颈理论下生成模型的对场景的关键编码。

生成模型的信息处理过程为 X → Z → δ，I 与 H 分别表示互信息与香农熵。

在引入物理环境不确定性的条件下，对抗损失梯度反馈信噪比低，即 Information Ratio 较低，阻碍了优化算法对动态对抗样本空间的探索，使得优化得到的生成器将不同的 X 映射到高度相近的 δ，导致动态性失效。

为解决该问题，研究通过重新定义训练任务来绕过反馈信息匮乏的困难。

具体而言，建立辅助任务协同优化的范式，以 λ ∈ [ 0,1 ] 为集成比例，引入新的高信噪比 " 残差 " 任务，定义集成损失 l λ 残差任务损失 LR 条和件生成目标 δλ 和残差比例任务编码 Z λ，并通过以 λ 为条件生成的方式修改损失函数以提高任务的解耦性和生成效果。

具体地，定义损失函数为：

使得在该任务的反馈信息比显著高于原有动态对抗样本训练任务，即：

从对抗样本的生成空间的角度来看，残差任务的目标是鼓励探索全局空间。

受扩散模型中为学习整个梯度场而构建去噪任务的启发，论文将辅助残差任务 R ( LR:=LInv ) 定义为局部重建任务，因为它与模型输入 PX 直接相关，并同时可让模型学习到如何生成不同强度的攻击，使样本具有更灵活的隐蔽性。

具体来说，采用均方误差 MSE 作为客观质量指标，LPIPS 作为主观质量指标，并将它们整合为：

2. 分布匹配的攻击场景对齐

如何确保生成的 PAE 在现实场景中有效？

为了让生成的 PAE 能够在复杂多变的现实场景中发挥作用，DynamicPAE 提出了分布匹配的攻击场景对齐方法。该方法包含两个关键模块：

1. 条件不确定性对齐数据模块：通过创建条件概率模型，生成攻击注入过程的参数和攻击者的观察，使训练环境与攻击者在现实世界中的不完整观察对齐，从而平衡了攻击的普遍性和性能。

2. 偏度对齐目标重加权模块：则利用偏度统计量自动重新加权损失，实现对不同攻击目标的一致隐身控制，同时进一步实现残差任务训练过程中 " 探索 " 与 " 利用 " 的平衡。

以对抗补丁生成为例。根据条件不确定性对齐原则，基于采集到的数据 X 建立训练数据概率图模型：

△  训练数据概率图模型

其中，S 和 s ’表示生成过程中注入的随机因素，θ 表示对抗补丁的模拟放置参数，PX 表示动态生成模型对于场景的观测，从而保障训练环境与真实环境一致。

对于残差任务引导的训练过程，重建损失 "LInv" 的采样强度配比代表了对生成器多样化纹理生成 " 探索 " 增强的能力，而攻击损失 "LAtk" 的采样强度代表了对于对抗补丁针对性生成的局部模式 " 利用 " 的能力。

进一步地，尽管模型以 λ 为输入，测试时相同 λ 下模型攻击性 - 隐蔽性权衡的具体行为也受损失项整体强度影响。

为建立攻击目标权重配比自适应调控机制，并针对原残差任务中的 LInv 进行调节，设定重构任务的损失强度 α 和新损失 L ’ Inv，根据损失的偏度统计量作为指示器，定义新损失项 L ’ Inv 及其调节方程为：

可证明调控过程在合理条件下收敛，从而保障在对抗度量测试场景下，动态对抗生成模型在不同目标模型、不同任务场景下的一致攻击行为，保障度量的一致性。α 控制器的示意图如下图所示。

△  图 2 损失分布的闭环控制示意图实验结果

在多种数字和物理环境中，DynamicPAE 相较于传统 PAE 生成方法展现了优异的攻击性能。

在使用 COCO 和 Inria 数据集进行目标检测实验时，DynamicPAE 实现了显著的性能提升，尤其在面对 DETR 等强大模型时，平均 AP（平均精度）下降幅度为 58.8%，达到了 2.07 倍的攻击成功率提升。

DynamicPAE 在推断速度上表现优异。

实验数据显示，在 NVIDIA A40 GPU 上，DynamicPAE 生成单张对抗样本的平均耗时仅为 12 毫秒，相比于传统的 PGD 迭代攻击方法，速度提升了 2000 倍以上，且攻击性更优。

这一特性使得 DynamicPAE 能够轻松满足自动驾驶等场景对物理世界攻击实时性的严苛要求，真正实现了动态、自适应的物理对抗。

△  图 3 DynamicPAE 与其他方法对比

△  图 4 DynamicPAE 与基线方法对比

上图可视化了一些目标模型的补丁生成结果。左侧是没有残差引导训练时，可以观察到所有四个目标模型生成的补丁都是相同的。

残差引导训练在攻击每个模型时成功找到了多样化的解决方案。尽管探索到的对抗样本模式本身的多样性有限，但其摆脱退化和单一解的行为是一致的。

△  图 5 DynamicPAE 的机制分析

为表明 DynamicPAE 框架中样本不同是基于攻击者的观察生成的，而不是随机生成的，研究进一步分析了训练好的生成器的潜在表征 Z。

首先根据物理对抗样本的风格对潜在表征进行标注，然后应用 LDA 进行降维。图 5 中，子图 a 表明模型成功学习到了样本的线性降维表征。研究进一步在降维空间中进行 K 近邻搜索，并在子图 b 中可视化了相应的物理上下文。

结果表明，KNN 搜索结果在某些特征上（包括人类行为、服装的色彩、暴露的身体部位等）与查询具有显著相似性，这表明 DynamicPAE 通过端到端的训练，确实捕捉到了攻击目标（如行人检测器）的脆弱性特征与物理场景上下文之间的深层关联，从而实现了场景感知的生成能力。

△  图 6 动态物理环境下的适应能力

为了验证模型在真实物理世界中的有效性，研究构建了包含光照变化、不同视角及屏幕反射等干扰的物理测试环境。

实验结果表明，DynamicPAE 生成的对抗样本并非静态不变，而是能够根据环境光照和场景内容的改变进行动态调整。

在视频分析实验中，面对不断变化的背景和移动的人物，DynamicPAE 能够实时输出与当前帧最匹配的对抗纹理，保持攻击的持续有效性。相比于传统静态贴片在光照剧烈变化下攻击性能大幅下降的情况，DynamicPAE 展现出了卓越的环境适应能力和鲁棒性。

论文同时验证了 DynamicPAE 在黑盒迁移攻击、3D 仿真环境泛化攻击、人脸识别分类攻击的有效性，验证了技术框架对无人驾驶对抗扰动测试生成场景的适配能力，同时消融实验进一步分析了各模块的影响，验证了所提方法的实际有效性。

在未来，相关工作可结合 3D 仿真模型生成和强化学习等技术，进一步完善动态对抗的生成能力。

论文链接：https://ieeexplore.ieee.org/document/11219170

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 

感兴趣的小伙伴欢迎关注  了解详情

点亮星标

科技前沿进展每日见