我们的答案是：有的。即使大模型大行其道，在下游任务微调时，仍然不可避免要遇到标签数据稀少的问题，而半监督学习旨在只有少量标注数据的时候利用大量无标注数据提升模型的泛化性。我们的NeurIPS 2022的工作 USB中已验证了预训练模型在半监督场景下的局限性。现在，我们将从算法创新层面再对半监督进行提升。
论文链接：
https://arxiv.org/abs/2205.07246
代码链接：
https://github.com/microsoft/Semi-supervised-learning
近年来，基于阈值的伪标签方法的半监督方法取得了巨大的成功。然而，我们认为现有的方法可能无法有效地利用未标记的数据，因为它们要么使用预定义 / 固定阈值，要么使用专门的启发式阈值调整方案。这将导致模型性能低下和收敛速度慢。在本文中，我们首先理论分析一个简单的二分类模型，以获得关于理想阈值和模型学习状态之间关系的直觉。基于分析，我们因此提出FreeMatch来根据模型的学习状态以自适应方式调整置信度阈值。我们进一步引入自适应类公平正则化惩罚，以鼓励模型在早期训练阶段进行多样化预测。广泛的实验表明FreeMatch的优越性，尤其是当标记数据极其稀少时。
文章已被机器学习顶级会议 ICLR 2023录用，其在录用之前就收到了多方关注、有多人索要代码。文章第一作者为微软亚洲研究院实习生、东京工业大学硕士生王一栋，共同第一作者为卡耐基梅隆大学的陈皓。通讯作者为微软亚洲研究院的王晋东。
一、对半监督学习而言，什么是好的阈值？
我们从一个简单的二分类问题出发来分析：好的半监督学习的阈值是怎么样的。
假设真实的数据分布来自两个高斯分布的混合：
再考虑输出概率如下的分类器：
二、FreeMatch：自适应阈值方法
我们提出的FreeMatch包含两部分：自适应阈值和自适应公平正则化惩罚。下面分别进行介绍。
自适应阈值 (SAT)
如下图所示，自适应阈值具体可以分为自适应全局阈值、自适应局部阈值。局部阈值旨在以类特定的方式调整全局阈值，以考虑类内多样性和可能的类邻接。
自适应全局阈值
自适应局部阈值
最终的阈值自适应调整
自适应公平正则化惩罚 (SAF)
具体细节可以参考文章内容。
三、 实验
我们进行了详尽的实验，包括在 经典benchmark 与之前的算法进行对比(Table 1)和 ImageNet 结果对比(Table2)。为了证明 FreeMatch 不需要预定义阀值，我们在表十中提供了 FixMatch 和 FlexMatch 不同阀值的实验。
从表一，表二和表十可以看出，FreeMatch有助于减少超参数调整计算或整体训练时间（在别的算法使用最佳选择的阈值情况下，FreeMatch无需预定义阈值即可获得更优异的性能）并且FreeMatch的性能优于任何固定阈值的方法。
为了更好的理解FreeMatch，我们在图3中分析了FreeMatch在STL-10 40标签的实验中阈值，无标签数据的利用率，和准确率随训练的变化。可以看出，FreeMatch在训练初始阶段自适应的采取了较低的阈值，所以更多的无标签数据参与到学习中。随着模型从无标签数据中学习，阈值快速上升(与dash手动定义相比)，使得不准确的无标签数据被筛出，从而达到更准确的利用无标签数据的目的。
我们还在论文中提供了详细的消融实验，感兴趣的读者可以自行查看。
四、 总结
我们提出了FreeMatch方法，该方法提出了自适应阈值和自适应公平性正则化。FreeMatch在各种SSL基准测试中优于其他SOTA算法，尤其是在标注数据极其稀少的情况下。我们认为置信度阈值在SSL中具有很大的潜力。我们希望我们的方法能够激发更多关于最优阈值的研究。
作者：王晋东
文章来源：公众号【王晋东不在家】
快抢沙发！
