第一列和第二列分别显示原始图像和经过处理的图像。第三列中的黑白图像是相应的二元GT遮罩。针对来自Face2Face(第1，2，3行)和Neural-Textures(第4，5，6行)数据集的操作图像的预测遮罩(第4列)和生成的cam(第5列)。鸣谢:马扎赫里&罗伊-乔杜里，2022加州大学河滨分校的计算机科学家可以比目前最先进的方法更准确地检测出deepfake视频中被操纵的面部表情。在面部身份而不是表情被交换的情况下，该方法也像当前方法一样工作，从而导致检测任何种类的面部操纵的通用方法。这项成就使研究人员向开发自动化工具更近了一步，这些工具可以检测包含宣传或错误信息的被操纵的视频。视频编辑软件的发展使得把一个人的脸换成另一个人的脸并改变原来脸上的表情变得很容易。由于肆无忌惮的领导人和个人利用操纵的视频来影响政治或社会观点，许多人认为识别这些视频的能力对于保护自由民主至关重要。存在能够以合理的准确度检测面部何时被交换的方法。但是识别只有表情发生变化的人脸更加困难，而且到目前为止，还没有可靠的技术存在。
“使deepfake研究领域更具挑战性的是deep fake的创造、检测和预防之间的竞争，这种竞争在未来将变得越来越激烈。随着生成模型的更多进步，deepfakes将更容易合成，更难区分真实，”论文合著者Amit Roy-Chowdhury说，他是Bourns工程学院的电气和计算机工程教授。
加州大学河滨分校的方法在一个深度神经网络中将任务分为两个部分。第一个分支识别面部表情，并将包含表情的区域(如嘴、眼睛或前额)的信息输入第二个分支，称为编码器-解码器。编码器-解码器架构负责操纵检测和定位。
该框架被称为表情操纵检测(EMD ),可以检测和定位图像中被改变的特定区域。
“多任务学习可以利用面部表情识别系统学习的突出特征，以利于传统操纵检测系统的训练。领导这项研究的博士生加扎尔·马扎赫里说:“这种方法在面部表情操纵检测方面取得了令人印象深刻的性能。
面部操作的基准数据集是基于表情和身份交换的。一种是将源视频的表情转移到目标视频上，而不改变目标视频中人的身份。另一个在一个视频中交换了两个身份。
在两个具有挑战性的人脸操作数据集上的实验表明，EMD不仅在检测人脸表情操作方面有较好的性能，在检测身份交换方面也有较好的性能。EMD准确地检测出99%的被操纵的视频。
这篇论文题为“面部表情操纵的检测和定位”，并在2022年计算机视觉应用冬季会议上发表。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
