第一行:输入人像。第二行:研究者方法生成的游戏内角色。他们的技术对光线变化、阴影和遮挡具有鲁棒性，能够忠实地还原肤色、妆容和皱纹等个性化细节。信用:林、袁、邹。近年来，视频游戏开发人员和计算机科学家一直在尝试设计一些技术，让游戏体验变得越来越身临其境、引人入胜和逼真。其中包括自动创建受真人启发的视频游戏角色的方法。大多数现有的创建和定制视频游戏角色的方法都要求玩家手动调整他们角色的面部特征，以便重新创建他们自己的面部或其他人的面部。最近，一些开发人员试图开发一些方法，通过分析真实人物的面部图像来自动定制角色的面部。然而，这些方法并不总是有效的，也不总是以现实的方式再现他们分析的面孔。
网易伏羲AI实验室和密歇根大学的研究人员最近创建了MeInGame，这是一种深度学习技术，可以通过分析一个人面部的单个肖像来自动生成人物面部。这项技术发表在arXiv上的一篇论文中，可以很容易地集成到大多数现有的3D视频游戏中。
开展这项研究的三位研究人员林、易远和邹在论文中写道:“我们提出了一种自动创建人物面部的方法，该方法可以从单个人像中预测面部形状和纹理，并且可以集成到大多数现有的3D游戏中。
在以前的作品中出现的一些自动角色定制系统是基于被称为3D可变形面部模式的计算技术。虽然已经发现这些方法中的一些以良好的准确度再现人的面部特征，但是它们表示几何属性和空间关系(即拓扑)的方式通常不同于大多数3D视频游戏中使用的网格。
研究人员所设计的手法与游戏中使用的其他方法的比较，即:《江湖梦》、《鲁迷》、《正义》(石等2020)、《ZEPETO》。最后一栏:通过基于3DMM的方法获得的结果(邓等，2019)。信用:林、袁、邹。为了让3DMMs可靠地再现人脸的纹理，它们通常需要在大的图像数据集和相关的纹理数据上进行训练。编译这些数据集可能相当耗时。此外，这些数据集并不总是包含在野外收集的真实图像，这可能会妨碍在这些数据集上训练的模型在呈现新数据时始终表现良好。为了克服这个限制，林、袁和邹在野外采集的图像数据集上训练他们的技术。
研究人员在论文中解释说:“给定一张输入人脸照片，我们首先基于3D可变形人脸模型(3DMM)和卷积神经网络(CNNs)重建一张3D人脸，然后将3D人脸的形状转移到模板网格中。"该网络以人脸照片和未包裹的粗糙紫外纹理图为输入，然后预测光照系数和精细纹理图."
林、袁和邹在一系列实验中评估了他们的深度学习技术，将他们生成的游戏角色的质量与其他现有最先进的自动角色定制方法生成的角色脸的质量进行了比较。他们的方法表现得非常好，生成的人物脸与输入图像中的非常相似。
研究人员在论文中写道:“所提出的方法不仅可以产生类似于输入人像的详细而生动的游戏角色，还可以消除光照和遮挡的影响。“实验表明，我们的方法优于游戏中使用的最先进的方法。”
将来，这个研究团队设计的角色面部生成方法可以集成到许多3D视频游戏中，从而能够自动创建与真人非常相似的角色。我的游戏模型的代码和用来训练它的数据集是在线发布的，全世界的游戏开发者都可以在github.com/FuxiCV/我的游戏上访问。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
