本文是VCC助理教授杨景媛对论文 EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes 的解读，该工作由深圳大学可视计算研究中心黄惠教授课题组、以色列耶路撒冷希伯来大学Dani Lischinski教授和特拉维夫大学Daniel Cohen-Or教授合作完成，已发表在计算机视觉国际顶级会议ICCV 2023上，同时获得中国发明专利授权。
该工作构建了一个大规模视觉情感数据集，并首次引入丰富的情感属性标注，在四个维度超越了现有数据集：数据规模、标注丰富度、数据多样性和数据平衡度，为视觉情感计算提供好的数据支持和新的研究思路，鼓励研究者在可解释情感计算进行深入探索。
论文链接：
https://arxiv.org/abs/2307.07961
项目主页：
https://vcc.tech/EmoSet
一、 情感，是生活的调色盘
想象一下，如果生活中只有冰冷的数据、枯燥的事实和无情的逻辑，这个世界会变成什么样？毫无疑问，会变得无比单调和乏味。幸运的是，大自然为我们赋予了一份珍贵的礼物——情感！它们是我们感知生活的调色盘，点亮和充盈着我们每个人的生活。
在这个以视觉信息为主导的世界里，视觉情感不容小觑，是我们体验快乐、感受温暖、理解他人，甚至是表达愤怒、经历恐惧和共情悲伤的关键。图像中蕴含着丰富的情感信息，让我们可以在静默情况下，同样传递感动、共鸣和欢乐。
或许您曾经在社交网络上看到一只扑蝴蝶的小猫咪，它俏皮的动作让您忍俊不禁。或许您曾经浏览过摄影作品中壮丽恢弘的风景，感受到一种无法言喻的心灵震颤。或许您身处热闹的聚会之中，朋友、欢笑、美食、香槟，喜悦和温暖如潮水般涌上您的心头。
正是这些视觉情感，让我们的生活变得丰富多彩，让我们的心灵得以超越时间和空间的束缚。今天，我们要和大家分享我们最近构建的视觉情感数据集EmoSet。
二、标注数据规模领域第一
情感是抽象的，标注数据量不足，严重制约着视觉情感领域的发展。基于此，研究团队提出EmoSet，首先在数据量上做到第一：
通过利用810个情感关键词进行检索，该数据集包含3.3M张情感图片，其中118K是经过机器和人工双重标注的，数据规模是现有最大数据集的5倍。
该数据集包含来自社交媒体和艺术作品的图片，且在八分类情感上分布较为均衡，即愉悦、敬畏、满足、激动、愤怒、厌恶、恐惧和悲伤。
三、首次提出丰富情感属性
情感是复杂的，影响情感的原因多种多样，因素间的联系纵横交错。除情感类别外，EmoSet首次提出并标注了六种情感属性：亮度、颜色、场景、物体、人脸表情和人体动作，以上属性是基于心理学相关的研究提出的。
通过对情感与各属性进行关联分析，该工作揭示了属性对于情感分析的有效性。此外，该工作还设计了一种属性模块，利用情感属性帮助提升识别任务上的性能，实验结果进一步验证了属性在情感识别和理解任务上的巨大潜能。
四、为可解释情感计算提供支撑
现有视觉情感计算主要集中在识别任务，这极大地限制了该领域的发展和深入，情感属性的提出，一方面使情感从抽象走向具体，另一方面从“是什么”走向“为什么”。
EmoSet有望在弱监督学习、视觉语言大模型及多模态情感分析等任务上发挥重要作用，助力情感生成和编辑研究。
研究团队希望该数据集的提出，可以给视觉情感计算领域的研究提供好的数据基础，启发新的研究思路，鼓励研究者们在可解释图像情感计算上进行深入探索。
来源：公众号【深圳大学可视计算研究中心】
快抢沙发！
