IJCV 2022 | 调头特征让Re-ID模型从88.54%爆降到0.15%！

其实这篇文章初版2018年5月就写好了，最近2022年12月才中。四年中得到了老板们的很多支持和理解。

与早期版本相比，

我们在公式上做了一些调整；

· 加入了很多新的related works讨论；

· 加入了多尺度Query攻击 / 黑盒攻击 / 防御三个不同角度的实验；

· 加入 Food256， Market-1501，CUB，Oxford，Paris 等数据集上的新方法和较新的可视化方式。

· 攻击了 reid 中的PCB结构，攻击了 Cifar10 中的 WiderResNet。

论文链接：

https://link.springer.com/article/10.1007/s11263-022-01737-y

代码：

https://github.com/layumi/U_turn

arXiv早期版本为：

https://arxiv.org/abs/1809.02681

一、What：

• 本文的初衷其实特别简单，现有 reid 模型，或者风景检索模型已经达到了 95%以上的 Recall-1召回率，那么我们是不是可以设计一种方式来攻击检索模型？一方面探探 reid 模型的老底， 一方面攻击是为了更好的防御，研究一下防御异常 case。
• 检索模型与传统的分类模型的差异在于检索模型是用提取出来的特征来比较结果（排序），这与传统的分类模型有较大的差异，如下表。

• 检索问题还有一个特点就是 open set 也就是说测试的时候类别往往是训练时没见过的。如果大家熟悉 cub 数据集，在检索设置下，训练的时候训练集合100多种鸟，和测试时测试100多种鸟， 这两个100种是没有 overlapp 种类的。纯靠提取的视觉特征来匹配和排序。所以一些分类攻击方法不适合攻击检索模型，因为攻击时基于类别预测的 graident 往往是不准的。
• 检索模型在测试时，有两部分数据，一部分是查询图像 query，一部分是图像库 gallery（数据量较大，而且一般不能 access）。考虑到实际可行性，我们方法将主要瞄准攻击 query 的图像来导致错误的检索结果。

二、How：

很自然的一个想法就是攻击特征。那么怎么攻击特征？基于我们之前对于cross entropy loss 的观察，（可以参考 large-margin softmax loss 这篇文章）。往往我们使用分类 loss 的时候，特征 f 会存在一个放射形的分布。这是由于特征在学习的时候与最后一层分类层权重W计算的是 cos similarity。如下图，导致我们学完模型，同一类的样本会分布在该类 W 附近，这样 f*W 才能到达最大值。

• 所以我们提出了一个特别简单的方法，就是让特征调头。如下图，其实有两种常见的分类攻击方法也可以一起可视化出来。如（a）这种就是把分类概率最大的类别给压下去（如 Fast Gradient），通过给-Wmax，所以有红色的梯度传播方向沿着反 Wmax ；如（b）还有一种就是把最不可能的类别的特征给 拉上来 （如 Least-likely），所以红色的梯度沿着 Wmin。

• 这两种分类攻击方法在传统分类问题上当然是很直接有效的。但由于检索问题中测试集都是没见过的类别（没见过的鸟种），所以自然 f 的分布没有那么紧密贴合 Wmax 或者 Wmin，因此我们的策略很简单，既然有了 f， 那我们直接把 f 往 -f 去移动就好了，如图©。这样在特征匹配阶段，原来排名高的结果, 理想情况下，与-f 算 cos similarity，从接近1变到接近-1， 反而会排到最低。达成了我们攻击检索排序的效果。
• 一个小 extension。在检索问题中，我们还常用 multi-scale 来做 query augmentation，所以我们也研究了一下怎么在这种情况下维持攻击效果。（主要难点在于 resize 操作可能把一些小却关键的抖动给 smooth 了。）其实我们应对的方法也很简单，就如 model ensemble 一样， 我们把多个尺度的 adversarial gradient 做个 ensemble 平均就好。

三、实验：

1. 在三个数据集三个指标下，我们固定了抖动幅度也就是横坐标的 epsilon， 比较在同样抖动幅度下哪一种方法能使检索模型犯更多错。我们的方法是黄色线都处在最下面，也就是攻击效果更好。

2. 同时，我们也提供了在5个数据集上（Food，CUB，Market，Oxford，Paris）的定量实验结果

3. 为了展示模型的机制，我们也尝试攻击了 Cifar10 上的分类模型 。

可以看到我们改变最后一层特征的策略，对于 top-5 也有很强的压制力。对于 top-1，由于没有拉一个候选类别上来，所以会比 least-likely 略低一些，但也差不多。

4. 黑盒攻击

我们也尝试了使用 ResNet50 生成的攻击样本去攻击一个黑盒的 DenseNet 模型（这个模型的参数我们是不可获取的）。发现也能取得比较好的迁移攻击能力。

5. 对抗防御

我们采用 online adversarial training 的方式来训练一个防御模型。我们发现他在接受新的白盒攻击的时候依然是不行的，但是比完全没有防御的模型在小抖动上会更稳定一些（掉点少一些）。

6. 特征移动的可视化

这也是我觉得最喜欢的一个实验 。我们利用 Cifar10，把最后分类层的维度改为2， 来 plot 分类层的 feature 的变化。

如下图，随着抖动幅度 epsilon 的变大，我们可以看到样本的特征慢慢 “调头”了 。比如大部分橙色的特征就移动到对面去了。

最后感谢大家看完我们微小的工作 ～欢迎关注分享点赞~

作者：郑哲东

文章来源：知乎文章【https://zhuanlan.zhihu.com/p/593319732】