ICML long talk | 达摩院开源半监督学习框架Dash

  论文链接：https://arxiv.org/abs/2109.00650

开源代码： https://github.com/idstcv/Dash

技术应用：
https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary  

一、 背景

本文介绍我们被机器学习顶级国际会议ICML 2021接收的long talk (top 3.02%) 论文 “Dash: Semi-Supervised Learning with Dynamic Thresholding”。论文创新性地提出用动态阈值（dynamic threshold）的方式筛选无标签样本进行半监督学习（semi-supervised learning，SSL）的方法，我们改造了半监督学习的训练框架，在训练过程中对无标签样本的选择策略进行了改进，通过动态变化的阈值来选择更有效的无标签样本进行训练。Dash是一个通用策略，可以轻松与现有的半监督学习方法集成。实验方面，我们在CIFAR-10, CIFAR-100, STL-10和SVHN等标准数据集上充分验证了其有效性。理论方面，论文从非凸优化的角度证明了Dash算法的收敛性质。

1.1 监督学习（Supervised Learning）

1.2 半监督学习（Semi-Supervised Learning）

1.3 核心解决问题

现有的半监督学习框架对无标签数据的利用大致可以分为两种，一是全部参与训练，二是用一个固定的阈值卡出置信度较高的样本进行训练(比如FixMatch)。由于半监督学习对未标注数据的利用依赖于当前模型预测的伪标签，所以伪标签的正确与否会给模型的训练带来较大的影响，好的预测结果有助于模型的收敛和对新的模式的学习，差的预测结果则会干扰模型的训练。所以我们认为：不是所有的无标签样本都是必须的！

二、方法

2.1 Fixmatch训练框架

2.2 Dash训练框架

下图对比了训练过程中的FixMath和Dash选择的正确样本数和错误样本数随训练进行的变化情况（使用的数据集是cifar100）。从图中可以很清楚地看到，对比FixMatch，Dash可以选取更多正确label的样本，同时选择更少的错误label的样本，从而最终有助于提高训练模型的精度。

我们的算法可以总结为如下Algorithm 1。Dash是一个通用策略，可以轻松与现有的半监督学习方法集成。为了方便，在本文的实验中我们主要将Dash与FixMatch集成。

更多理论证明详见论文。

三、结果

我们在半监督学习常用数据集：CIFAR-10，CIFAR-100，STL-10和SVHN上进行了算法的验证。结果分别如下：

可以看到我们的方法在多个实验设置上都取得了比SOTA更好的结果，其中需要说明的是针对CIFAR-100 400label的实验，ReMixMatch用了data align的额外trick取得了更好的结果，在Dash中加入data align的trick之后可以取得43.31%的错误率，低于ReMixMatch 44.28%的错误率。

四、应用

实际面向任务域的模型研发过程中，该半监督Dash框架经常会被应用到。接下来给大家介绍下我们研发的各个域上的开源免费模型，欢迎大家体验、下载（大部分手机端即可体验）：

• https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary
• https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary
• https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary
• https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary
• https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary
• https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary
• https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary
• https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
• https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
• https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary
• https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary
• https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary

作者：阿里达摩院

来源：公众号【赛尔实验室】