AI还原的朱元璋、兵马俑来了！杜甫激燃演唱奥特曼主题曲，B站Up主大谷新作

无论是理科还是文科的同学，想必都对中学历史课本上的「朱元璋」画像印象深刻。这幅画像里的朱元璋长了一张「鞋拔子脸」，只能用帝王特有的「异相」来解释。

然而，在故宫南熏殿所藏的官方正式版历代帝王画像中，朱元璋的长相就正常多了：

朱元璋到底长什么样？其实这个问题一直都有争议。很多人认为，故宫收藏的官方画像似乎更有说服力，因为这两幅画的相貌相似程度和随年龄的演变不容易造假。

虽然画像可以大体还原古人的长相，但总不及照片来得写实、清晰。最近，国内外似乎掀起了一场用 AI 还原古人的潮流，先是有设计师用 GAN 和 PS 复原了他眼中的古罗马皇帝群像，后有 B 站 up 主「大谷」用 AI 还原中国皇帝朱元璋，还是能动的那种：

居然有点帅是怎么回事？

此外，大谷此次还复原了林黛玉、徐悲鸿等人的画像以及蒋兆和、黄胄等人经典画作中的人物：

就连博物馆的兵马俑也有了写实的长相：

前面说到课本，还记得你当年涂过的杜甫吗？作为课本涂鸦界最受欢迎的人物，杜甫也在新一期的视频中出镜了，而且还唱上了奥特曼主题曲《奇迹再现》，有望成为 B 站新一轮鬼畜素材。

大谷在视频中简单介绍了这些成果和他所用的方法（友情提示：不关弹幕可能看不到作品）。或许，我们离哈利波特的魔法世界真的不远了。

视频 1：https://www.bilibili.com/video/BV1Ga4y177ag

视频 2：https://www.bilibili.com/video/BV1dV411U7J8

修复技术细节

大谷在视频中介绍称，影片的 AI 工作流来自海外博主 Denis Shiryaev 的教程，Denis 曾在 AI Stuff 系列中修复了很多西方经典油画人物，我们可以将其称为「神经网络的艺术」。

比如神秘的蒙娜丽莎：

墨西哥传奇女画家弗里达《戴荆棘和蜂鸟项链的自画像》：

还有《戴珍珠耳环的少女》：

《维纳斯的诞生》：

Denis 在这一视频中所使用的修复技术有五种，分别是 Face-Image-Motion-Model、StyleGAN2-Face-Modificator、DAIN、ESRGAN 和 Artbreeder。

Face-Image-Motion-Model

项目地址：https://github.com/tg-bomze/Face-Image-Motion-Model

该模型基于「First Order Motion」这一核心模型，方法来源于 NeurIPS 2019 论文《First Order Motion Model for Image Animation》。机器之心此前介绍过的视频会议换脸软件「Avatarify」，也是基于这一技术实现人脸处理的。

论文链接：https://papers.nips.cc/paper/8935-first-order-motion-model-for-image-animation.pdf

「First Order Motion」框架由两个主要模块组成：「运动估计模块」和「图像生成模块」。运动估计模块的目的在于预测密集的运动场，此处假设存在一个抽象的参考坐标，并预估存在「from reference to source」和「from reference to driving」两种转换。因此可以独立处理源帧和驱动帧。做这样的处理是因为模型在测试时会接收从不同视频中采样的源图像帧和驱动帧的组，从视觉上来说可能会很不同。

StyleGAN2-Face-Modificator

StyleGAN2-Face-Modificator 项目效果图。

项目地址：https://github.com/tg-bomze/StyleGAN2-Face-Modificator

StyleGAN2 是英伟达在 2019 年 12 月开源的高分辨率图像生成方法，相比于前辈「StyleGAN」，它在解决生成图像伪影问题的同时，还能得到细节更好的高质量图像。「StyleGAN2-Face-Modificator」则是基于这一技术开发的人脸编辑器工具。

DAIN

项目地址：https://github.com/baowenbo/DAIN

DAIN 模型来源于 CVPR 2019 论文《Depth-Aware Video Frame Interpolation》，在这一研究中，上海交通大学、加州大学默塞德分校、谷歌等机构的研究者，针对基于深度学习的视频插帧任务中的常见问题进行了优化，提出了一种利用深度信息检测遮挡的视频帧插值方法。Denis 在多个修复视频中都使用了这一技术。

论文地址：https://arxiv.org/pdf/1904.00830.pdf

ESRGAN

项目地址：https://github.com/xinntao/ESRGAN

Denis Shiryaev 视频中所用到的分辨率扩增方法为「ESRGAN」，该方法来源于 ECCV 2018 Workshop 论文《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》，研究者在 * *SRGAN 的基础上进行了改进，包括改进网络的结构、判别器的判别形式，以及更换了一个用于计算感知域损失的预训练网络，提出了一种 Residual-in-Residual Dense Block (RRDB) 的网络单元。