巨型运动：单次百万像素神经头像

抽象

在这项工作中，我们将神经头像技术推进到百万像素分辨率，同时专注于特别具有挑战性的交叉驱动合成任务，即当驱动图像的外观与动画源图像有很大不同时。我们提出了一套新的神经架构和训练方法，可以利用中分辨率视频数据和高分辨率图像数据来实现所需的渲染图像质量水平，并推广到新颖的视图和运动。我们表明，建议的架构和方法能够产生令人信服的高分辨率神经化身，在交叉驾驶场景中的表现优于竞争对手。最后，我们展示了如何将经过训练的高分辨率神经头像模型提炼成一个轻量级的学生模型，该模型可以实时运行，并将神经头像的身份锁定到数十个预定义的源图像中。实时操作和身份锁定对于许多头部头像系统的实际应用至关重要。

主要方案

我们提出了一种用于一次性创建高分辨率人类头像的系统，称为百万像素肖像或简称MegaPortraits。我们的模型分两个阶段进行训练。或者，我们建议增加一个蒸馏阶段，以便更快地进行推理。

我们的培训设置相对标准。我们在每一步从数据集中抽取两个随机帧：源帧和驱动程序帧。我们的模型将驱动框架的运动（即头部姿势和面部表情）施加到源框架的外观上，以产生输出图像。主要学习信号是从训练片段中获得的，其中源和驾驶员帧来自同一视频，因此我们的模型的预测被训练以匹配驾驶员帧。

围兜

@inproceedings{Drobyshev22MP,
                author = {Drobyshev, Nikita and Chelishev, Jenya and Khakhulin, Taras and Ivakhnenko, Aleksei and Lempitsky, Victor and Zakharov, Egor},
                title = {MegaPortraits: One-shot Megapixel Neural Head Avatars},
                journal   = {Proceedings of the 30th ACM International Conference on Multimedia},
                year      = {2022},
      }