「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR｜NeurIPS 2023

多模态对比表示（multi-modal contrastive representation, MCR）的目标是将不同模态的输入编码到一个语义对齐的共享空间中。

随着视觉-语言领域中CLIP模型的巨大成功，更多模态上的对比表征开始涌现出来，并在诸多下游任务上得到了明显的提升，但是这些方法严重依赖于大规模高质量的配对数据。

为了解决这个问题，来自浙江大学等机构的研究人员提出了连接多模态对比表示（C-MCR），一种无需配对数据且训练极为高效的多模态对比表征学习方法。

论文地址：https://arxiv.org/abs/2305.14381

项目主页：https://c-mcr.github.io/C-MCR/

模型和代码地址：https://github.com/MCR-PEFT/C-MCR

该方法在不使用任何配对数据的情况下，通过枢纽模态连接不同的预训练对比表征，我们学习到了强大的音频-视觉和3D点云-文本表征，并在音频-视觉检索、声源定位、3D物体分类等多个任务上取得了SOTA效果。

介绍

多模态对比表示（MCR）旨在将不同模态的数据映射到统一的语义空间中。随着CLIP在视觉-语言领域的巨大成功，学习更多模态组合之间的对比表示已成为一个热门研究课题，吸引了越来越多的关注。

然而，现有多模态对比表示的泛化能力主要受益于大量高质量数据对。这严重限制了对比表征在缺乏大规模高质量数据的模态上的发展。例如，音频和视觉数据对之间的语义相关性往往是模糊的，3D点云和文本之间的配对数据稀缺且难以获得。

不过，我们观察到，这些缺乏配对数据的模态组合，往往和同一个中间模态具有大量高质量配对数据。比如，在音频-视觉领域，尽管视听数据质量不可靠，但音频-文本和文本-视觉之间存在大量高质量的配对数据。

同样，虽然3D点云-文本配对数据的可用性有限，但3D点云-图像和图像-文本数据却非常丰富。这些枢纽模态可以为模式之间建立进一步关联的纽带。

考虑到具有大量配对数据的模态间往往已经拥有预训练的对比表示，本文直接尝试通过枢纽模态来将不同模态间的对比表征连接起来，从而为缺乏配对数据的模态组合构建新的对比表征空间。

连接多模态对比表示（C-MCR）可以通过重叠模态为现有大量多模态对比表示构建连接，从而学习更广泛的模态之间的对齐关系。其中，学习过程不需要任何配对数据且极为高效。

C-MCR具有两个关键优势：

1. 灵活性：

C-MCR能够为缺乏直接配对配对的模态学习对比表征。从另一个视角来看，C-MCR将每个已有的多模态对比表示空间视为一个节点，并将不同表示空间的重叠模态视为枢纽模态。

通过连接各个孤立的多模态对比表征，我们可以灵活地扩展了获得的多模态对齐知识，并挖掘出更广泛模态间的对比表示。

2、高效性：

由于C-MCR仅需为已有的表征空间构建连接，因此只用学习两个简单的映射器，其训练参数和训练成本都是极低的。

实验利用文本作为枢纽连接视觉-文本（CLIP）和文本-音频（CLAP）对比表示空间，获得了高质量的视觉-音频表示。

类似地，通过使用图像连接文本-视觉（CLIP）和视觉-3D点云（ULIP）对比表示空间，也可以获得一组3D点云-文本对比表示。

方法

图1 (a) 介绍了C-MCR的算法流程（以使用文本连接CLIP和CLAP为例）。

1. 特征语义增强

我们首先提出从语义一致性和语义完整性两个角度来增强表征中的语义信息，从而实现更鲁棒更全面的空间连接。

模态间语义一致性

CLIP和CLAP分别已经学到了可靠的对齐的图像-文本和文本-音频表征。

我们利用CLIP和CLAP中这种内在的模态对齐性来生成与第i个文本语义一致的图像和音频特征，从而更好地量化对比表征空间中的modality gap以及更直接的挖掘非重叠模态间的关联性:

模态内语义完整性

不同表征空间对于数据的语义表达会有不同的倾向性，因此不同空间下的同一个文本也会不可避免的存在语义偏差和丢失。在连接表示空间时，这种语义偏差会被累积并且放大。

为了增强每个表征的语义完整性，我们提出将零均值高斯噪声添加到表征中，并将它们重新归一化为单位超球面上：

如图1 (c) 中所示，在对比表征空间中，每个表征可以看代表是在单位超球面上的一个点。添加高斯噪声并重新归一化则使表征能够代表了单位球面上的一个圆。

因为两个特征的空间距离越接近，其语义相似度也越高。所以圆内的特征都具有相似语义，圆所能表示的语义更加完整。

2. Inter-MCR的对齐

3. Intra-MCR的对齐

实验

实验上，我们通过使用文本连接音频-文本空间（CLAP）和文本-视觉空间（CLIP）来获得音频-视觉表征，使用图像连接3D点云-图像空间（ULIP）和图像-文本空间（CLIP）来获得3D点云-文本表征。

在AVE和Flickr-SoundNet上的zero-shot 音频图像检索结果如下：

在MUSIC-Solo和VGGSS上的zero-shot 声源定位结果如下：

在Ex-VGGSS和Ex-FlickrNet上的zero-shot反事实音频图像识别结果如下：

在ModelNet40上的zero-shot 3D点云分类结果如下：

参考资料：

ttps://c-mcr.github.io/C-MCR/