ECCV 2022｜还在想办法提升人脸防伪泛化吗，仅依靠人脸系统的现有知识就可以大幅提升其性能

在人脸识别系统中，通常会在人脸识别模块之前设置一个独立的人脸防伪模块，用于保障系统安全性。由于真实场景中的人脸伪造攻击的方式多种多样，无法全面收集，这种高度依赖于有限训练集的学习型方法很难对所有攻击方式进行预测，不能有效地推广到未知的攻击中。

与人脸防伪任务不同，其他人脸相关任务（例如人脸识别和属性编辑），由于通过大量真实人脸的训练，对不同场景的应用具有很强的泛化能力。受此启发，本文工作提出在人脸系统中更换人脸防伪模块和人脸相关任务的位置，把人脸相关任务中免费获得的先验知识服务于人脸表征攻击检测任务，从而提高其泛化性能。

论文主页：

https://wentianzhang-ml.github.io/pad/

开源代码：

https://github.com/WentianZhang-ML/FRT-PAD

一、 背景

人脸识别技术凭借其方便快捷和无接触认证的优点，广泛应用于身份验证应用。但是现有人脸识别技术在人为的表征攻击（presentation attacks, PAs）下极其脆弱，例如使用照片、视频回放、低成本人造面具和面部化妆攻击就可以轻易欺骗人脸识别算法。同时，随着互联网和社交软件的发展，人脸图像可以很容易地获取，这进一步增加了人脸识别系统被攻击的风险。这些问题引起了人们对面部识别技术安全性的广泛关注。

为解决上述问题，现有方案往往使用一个单独的表征攻击检测（即人脸防伪）模块，在识别前检测输入数据是否为攻击数据（PAs）或真实人脸数据（Bona fides），来提高系统的安全性。

二、动机

人脸防伪模块往往需要数量相当的攻击样本和真实人脸进行训练。但是，攻击样本的种类多种多样，很难全面收集，导致训练数据中二者分布不平衡。现有检测算法高度依赖于有限的训练集，无法对未知的表征攻击实现良好的泛化和推广。如图1(a)所示，在传统的人脸系统中，现有的人脸防伪模块（PA Detector）总是出现在人脸相关任务之前，并且相互独立。

与人脸表征攻击检测任务不同，基于人脸的其他常见相关任务（例如，人脸识别和属性编辑）具有强大的泛化能力，因为它们是由大量（数百万）跨性别、年龄和种族的人脸数据训练的。然而，研究人员很少在人脸系统中将人脸防伪算法与人脸相关任务联系起来。由于人脸相关任务已经被训练，我们认为在人脸系统中，将免费获得的人脸相关任务的先验知识服务于人脸表征攻击检测任务，应该会提升其泛化性能。如图 1（b）所示，我们直接在人脸系统中把训练好且参数固定的人脸相关任务模型得到的特征用于人脸表征攻击检测，使其在真实场景中得到更泛化的推广。

三、贡献

团队提出了一种利用人脸相关任务的特征级先验知识的表征攻击检测方法。首先，我们交换了表征攻击检测（人脸防伪）模块和人脸相关任务在人脸系统中的位置。从人脸相关任务中直接获得的任务特定特征包含丰富的泛化知识，通过使用基于图神经网络（GNN）的跨模态适应器，将任务特定特征重新映射并使其适应 PAD 任务。本文所提方法通过缓解训练中攻击样本有限的问题，最终提高了模型的泛化能力。

四、算法细节

如图 2 所示，所提出方法由两个分支组成，包括基于 CNN 的 PA 检测器和一个辅助分支。PA 检测器通过直接从图像空间中提取特征来区分攻击样本和真实人脸之间的差异。辅助分支旨在从训练好的人脸相关任务模型中提取人脸相关特征。

在辅助分支中，我们首先从人脸相关任务模型的多个网络层中分层地获得任务特定特征（Task Specific Features）。然后，我们设计了一个基于 GNN 的跨模态适应器，以适应 PAD 任务。来自两个分支的特征将被完全融合输入到分类器中，用于最终的 PAD。

五、实验评估

1）数据集：

OULU-NPU (O)、CASIA-FASD (C)、Idiap Replay-Attack (I)、MSU-MFSD (M)

2) 评估指标：

Half Total Error Rate (HTER),

Area Under Curve (AUC),

Bona Fide Presentation Classification Error Rate (BPCER) (when Attack Presentation Classification Error Rate is 1%)

3) 基于人脸相关任务的PAD性能对比：

4) 与SOTA方法的性能对比

如表2所示，在三个数据集作为训练集，剩余一个数据集作为测试集时，本文方法可以取得SOTA效果。其中，使用O, C, I数据集训练，M测试时，本文方法HTER可以达到5.71%，显著提升了PAD性能。

为增加实验难度，我们减少训练集数量，仅使用两个数据集作为训练集，剩余一个作为测试集。如表3所示，本文方法仍然可以达到SOTA效果。

我们认为上述实验验证了本文方法与训练所需数据的依赖程度较低，并且本文方法可以有效增强PAD模块的泛化性能。

六、可视化结果

作者：张文天