近年来,针对视觉感知系统安全性评估的探索逐步深入,先后有研究者成功实现基于眼镜、贴纸、衣服等不同载体的可见光模态安全评估技术,也有一些针对红外模态的新尝试。但是它们都只能作用于单一模态。
随着人工智能技术的发展,可见光 - 热红外成像技术已同时应用于治安监控、自动驾驶等诸多安全关键任务中,其中可见光成像可以在白天提供丰富的纹理信息,红外成像则可以在夜间清晰显示目标的热辐射分布,二者结合更为视觉感知系统带来 24 小时全覆盖和不受环境局限等诸多优势。因此,针对多模态视觉感知系统的统一安全评估方法也亟须研究。
![](post/images/1694874035142990.jpg)
然而,实现多模态评估极具挑战性。首先,在不同成像机制下攻击方法通用难。以前的方法都分别基于特定目标模态成像特点提出,在其他模态下很难起到作用。再者,平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易,实现低成本便捷制作与使用更是难上加难。
面对诸多挑战,来自北航人工智能研究院的研究者挖掘可见光 - 红外模态间通用的形状属性,创新性地提出 「跨模态通用对抗补丁」,实现可见光 - 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片,即拆即用,在填补当前物理世界可见光 - 红外多模态检测系统鲁棒性评估技术缺失的同时,兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性,以及多场景下的泛化性。目前,该论文已被 ICCV 2023 接收。
![](post/images/1694874058739290.png)
![](post/images/1694874071360372.png)
论文链接:https://arxiv.org/abs/2307.07859
代码链接:https://github.com/Aries-iai/Cross-modal_Patch_Attack
技术要点
该研究以进化算法为基础框架,立足形状建模、形状优化、模态平衡三个角度进行方案设计与效果改进,具体流程如图所示:
![](post/images/1694874201398842.png)
1. 基于样条插值的多锚点形状建模
![](post/images/1694874212642640.png)
对于基础形状建模部分,研究人员设计点优化建模新范式,其可通过改变点坐标直接调整补丁形状,此过程中锚点的运动不会受方向、距离等限制,有效增大了补丁形状的搜索空间。在此基础上,为了确保形状自然性,其还利用样条插值方法实现平滑连接,样条会更紧密地跟随控制点。
2. 基于差分进化的边界限定形状优化算法
实现攻击需要有效的优化手段,为此研究人员从时间成本、实际效果等角度考量,以进化算法作为基本框架,并从边界设定、适应度函数两个角度改进:
(1)边界设定:针对锚点进行边界设定提高形变有效性,降低时间成本。其具有以下设定:不会在曲线段内形成循环或自交;在曲线段内不容易出现尖点;不会出现在无效区域。
以锚点
![](post/images/1694874253294936.jpg)
为例,下图蓝色部分为边界设定图例,橙色部分为错误实例:
![](post/images/1694874265682416.png)
![](post/images/1694874281643788.png)
算法迭代该探索过程直至两模态都攻击成功,输出最优形状策略。完整优化流程如下所示:
![](post/images/1694874292440926.png)
实验结果
实验一:针对不同系列检测器的跨模态攻击性能验证
![](post/images/1694874308552586.png)
实验二:针对形状的消融实验
![](post/images/1694874319285760.png)
实验三:针对跨模态适应度函数的消融实验
![](post/images/1694874329287197.png)
实验四:物理实施偏差下的方法鲁棒性验证
![](post/images/1694874342796252.png)
实验五:不同物理条件下的方法有效性验证
![](post/images/1694874354018298.png)
![](post/images/1694874402503630.png)
总结
本文工作以自然形状优化为核心,将形变补丁与跨模态攻击相结合,设计了一种物理环境下可见光 - 红外多模态鲁棒性评估方法。该方法可对多模态(可见光 - 红外)目标检测系统的鲁棒性进行评估,根据评估结果有效修正检测器模型,同时提高可见光、红外两种模态下目标图像检测的准确性,在物理环境下做到真正的可实施、可应用,为多模态检测系统的鲁棒性评估与改进作出贡献。