自然可控的人与场景交互（Human Scene Interaction, HSI）生成在虚拟现实/增强现实（VR/AR）内容创作和以人为中心的人工智能等多个领域发挥着重要作用。
然而，现有方法的可控能力有限、交互种类有限、生成结果不自然，严重限制了其在现实中的应用场景。
针对这一问题，天津大学团队联合清华大学在ICCV 2023的工作中提出Narrator，将重点放在一项具有挑战性的任务上，即从文本描述中自然可控地生成逼真且多样的人与场景交互。
项目主页：http://cic.tju.edu.cn/faculty/likun/projects/Narrator
代码：https://github.com/HaibiaoXuan/Narrator
从人类认知角度来看，理想的生成模型应能正确推理空间关系并探索交互的自由度。
因此，作者提出了一个基于关系推理的生成模型，通过场景图分别对场景和描述中的空间关系进行建模，并引入一种将交互动作表示为原子身体部位状态的部位级交互机制。
特别是，受益于关系推理，作者进一步提出了一种简单但有效的多人生成策略，这是当时对可控的多人场景交互生成的首次探索。
最后，作者进行了大量实验和用户调研，证明了Narrator能够可控地生成多样化的交互，其效果明显优于现有工作。
方法动机
现有的人与场景交互生成方法大多关注在交互的物理几何关系，但缺乏对生成的语义控制，也局限于单人生成。
因此，作者着眼于一项具有挑战性的任务，即从自然语言描述中可控生成真实且多样的人与场景交互。作者观察到人类通常会通过空间感知和动作识别来自然描述在不同地点进行各种互动的人。
具体来说，空间关系可以表示为场景或局部区域中不同物体之间的相互关系，而交互动作则由原子身体部位状态指定，如人的脚踩地、躯干靠着、右手轻拍和低着头等。
以此为出发点，作者采用场景图来表示空间关系，提出了联合全局和局部场景图 (Joint Global and Local Scene Graph, JGLSG) 机制，为随后的生成提供了全局位置感知。
同时，考虑到身体部位状态是模拟符合文本的逼真交互的关键，作者引入了部位级动作（Part-Level Action, PLA）机制来建立人体部位与动作之间的对应关系。
受益于有效的观察认知以及所提出的关系推理的灵活性和复用性，作者进一步提出一种简单而有效的多人生成策略，这是当时第一个自然可控且用户友好的多人场景交互（Multi-Human Scene Interaction, MHSI）生成方案。
方法思路
Narrator框架总览
Narrator的目的是自然可控地生成人与场景交互，这种交互在语义上与文本描述一致且在物理上与三维场景匹配。
如图2所示，该方法采用基于Transformer的条件变分自编码器 (cVAE)，主要包括：
1）与孤立考虑场景或物体的现有研究相比，设计了一种联合全局和局部场景图机制，来推理复杂空间关系和实现全局定位感知；
2）针对人们会同时通过不同的身体部位完成交互动作的观察，引入了部件级动作机制，以实现逼真和多样化的交互；
3）在场景感知优化过程中额外引入了交互二分面损失，以便获得更好的生成结果；
4）进一步扩展到多人交互生成，并最终促进了多人场景交互的第一步。
联合全局和局部场景图机制
空间关系的推理可以为模型提供特定场景的线索，对于实现人与场景交互的自然可控性具有重要作用。
因此，作者设计了一种全局和局部场景图联合机制，通过以下三个步骤来实现：
部件级动作（PLA）机制
场景中人的交互是由原子身体部位状态组成的，因此作者提出了一种细粒度部位级动作机制，使得模型能从给定交互中注意重要部位而忽略无关部位。
具体来说，作者探索了丰富且多样的交互动作，并将这些可能的动作对应到人体的五个主要部位：头部、躯干、左/右臂、左/右手和左/右下半身。
同时，分别使用独热编码（One-Hot）代表这些动作和身体部位，并根据对应关系将它们连接起来以便后续编码。
对于多动作的交互生成，作者采用注意力机制来学习身体结构的不同部位状态。
在给定的交互动作组合中，每个动作对应的身体部位与所有其他动作之间的注意力都会被自动屏蔽。
以「一个人使用柜子蹲在地上」为例，蹲下对应的是下半身状态，因此其他部位标记的注意力将被屏蔽为零。
场景感知优化
作者利用几何和物理约束进行场景感知优化，以改善生成结果。在整个优化过程中，该方法确保生成的姿势不会出现偏差，同时鼓励与场景接触，并约束身体以避免与场景相互穿透。
给定三维场景S和生成的SMPL-X参数后，优化损失为：
多人场景交互（MHSI）
在现实世界的场景中，很多情况下并非只有一个人与场景交互，而是多人以独立或关联的方式进行交互。
然而，由于缺乏MHSI数据集，现有方法通常需要额外的人工努力，无法以可控和自动的方式处理这项任务。
为此，作者仅利用现有的单人数据集，为多人生成方向提出了一种简单而有效的策略。
实验结果
由于目前现存的方法无法直接从文本描述中自然可控地生成人与场景交互，作者将PiGraph [1]、POSA [2]、COINS [3] 合理扩展为适用于文本描述的方式，并使用相同的数据集训练它们的官方模型，修改后的方法定义为PiGraph-Text、POSA-Text和COINS-Text。
图3展示了Narrator与三种基线的定性比较结果。PiGraph-Text由于其自身表现形式的限制，存在更严重的穿透问题。
POSA-Text在优化过程中往往会陷入局部最小值，从而产生不良的交互接触。COINS-Text将动作绑定到特定物体上，缺乏对场景的全局感知，从而导致与未指定物体的穿透，并且难以处理复杂的空间关系。
相比之下，Narrator可以根据不同层次的文字描述，正确推理空间关系，剖析多动作下的身体状态，从而获得更好的生成效果。
在定量比较方面，如表1所示，Narrator在五个指标上均优于其他方法，显示出该方法生成的结果具有更准确的文本一致性和更优秀的物理合理性。
除此之外，作者也提供了详细的比较与分析来更好了解所提出的MHSI策略的有效性。
考虑到目前还没有针对MHSI的工作，他们选择了一种直接的方法作为基线，即与用COINS按顺序生成和优化的方法。
为了进行公平比较，同样为其引入了人为碰撞损失。图4和表2分别展示了定性和定量结果，都有力证明了作者所提出的策略在MHSI上语义一致和物理合理的优势。
该工作的demo视频如下：
作者简介
宣海彪，天津大学21级硕士研究生
主要研究方向：三维视觉、计算机视觉、人与场景交互生成
李雄政，天津大学19级博士研究生
主要研究方向：三维视觉、计算机视觉、人体与衣物重建
张劲松，天津大学21级博士研究生
主要研究方向：三维视觉、计算机视觉、图像生成
张鸿文，清华大学博士后
主要研究方向：以人为中心的计算机视觉和图形学
刘烨斌，清华大学教授
主要研究方向：计算机图形学，三维视觉与计算摄像
个人主页：https://liuyebin.com/
李坤（通讯作者），天津大学教授、博导
主要研究方向：三维视觉、智能重建与生成
个人主页：http://cic.tju.edu.cn/faculty/likun
参考资料：
[1] Savva M, Chang A X, Hanrahan P, et al. Pigraphs: learning interaction snapshots from observations[J]. ACM Transactions on Graphics (TOG), 2016, 35(4): 1-12.
[2] Hassan M, Ghosh P, Tesch J, et al. Populating 3D scenes by learning human-scene interaction[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 14708-14718.
[3] Zhao K, Wang S, Zhang Y, et al. Compositional human-scene interaction synthesis with semantic control[C]. European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 311-327.
快抢沙发！
