物理科技生物学-PHYICA

如何识别假描述文件下载货?看眼睛里的反光

科学新闻 2021-10-09 21:54:48

How to spot deepfakes? Look at light reflection in the eyes问题:这些人中哪些是假的?答:全部。学分:thispersondoesnotexist.com和布法罗大学。布法罗大学的计算机科学家开发了一种工具,通过分析眼睛中的光反射来自动识别深度伪造的照片。在6月于加拿大多伦多举行的IEEE国际声学、语音和信号处理会议上发表的一篇论文中描述的实验中,该工具对人像照片的有效性达到94%。

“角膜几乎就像一个完美的半球体,非常反光,”该论文的主要作者、SUNY帝国计算机科学与工程系创新教授、博士Siwei Lyu说。“因此,任何从这些光源发出的光线进入眼睛的东西都会在角膜上有一个图像。

“两只眼睛应该有非常相似的反射模式,因为它们看到的是同一个东西。当我们看着一张脸时,这是我们通常不会注意到的事情,”曾在国会作证的多媒体和数字取证专家Lyu说。

论文“使用不一致的角膜镜面高光曝光GAN生成的人脸”可在开放存取存储库arXiv上获得。

合著者是三年级计算机科学博士生、UB媒体法医实验室研究助理舒虎,以及前UB高级研究科学家、现为中国海洋大学人工智能中心讲师的李跃尊博士。

工具映射面部,检查眼睛的微小差异

当我们看某样东西时,我们所看到的形象会反映在我们的眼睛里。在真实的照片或视频中,眼睛上的反射通常看起来是相同的形状和颜色。

然而,大多数由人工智能生成的图像——包括生成性对手网络(GAN)图像——无法准确或一致地做到这一点,这可能是由于许多照片组合在一起生成了假图像。

Lyu的工具利用了这一缺点,在深度伪造图像的眼睛中发现反射光的微小偏差。

为了进行实验,研究小组从Flickr Faces-HQ获得了真实图像,并从www.thispersondoesnotexist.com获得了假图像,这是一个人工智能生成的人脸库,看起来栩栩如生,但实际上是假的。所有图像都是人像(真人和假相在光线良好的情况下直视相机)和1024乘1024像素。

该工具通过绘制每个面来工作。然后检查眼睛,接着检查眼球,最后检查每个眼球反射的光线。它非常详细地比较了反射光在形状、光强和其他特征上的潜在差异。

“深度假货”和打击深度假货的承诺

虽然有希望,但Lyu的技术有局限性。

首先,你需要一个反射光源。此外,在编辑图像的过程中,眼睛不匹配的光反射可以被固定。此外,该技术只观察眼睛中反射的单个像素,而不是眼睛的形状、眼睛内的形状或眼睛中反射的内容的性质。

最后,这项技术比较了两只眼睛的反射。如果受试者缺少一只眼睛,或者眼睛不可见,该技术就会失败。

Lyu研究机器学习和计算机视觉项目已有20多年,此前他证明deepfake视频的视频对象眨眼频率往往不一致或不存在。

除了在国会作证之外,他还在2020年协助脸书开展了deepfake检测全球挑战,他还帮助创建了“Deepfake-o-meter”,这是一个在线资源,可以帮助普通人测试他们观看的视频是否真的是Deepfake。

他说,识别深度假货越来越重要,尤其是考虑到超党派的世界充满了与种族和性别相关的紧张局势和虚假信息的危险——尤其是暴力。

“不幸的是,这些类型的假视频中有很大一部分是为了色情目的而制作的,这对受害者造成了很大的…心理伤害,”Lyu说。“还有潜在的政治影响,假视频显示政客们说了一些或做了一些他们不应该做的事情。这很糟糕。”

来源:由phyica.com整理转载自PH,转载请保留出处和链接!

本文链接:http://www.phyica.com/kexuexinwen/1610.html

发表评论

用户头像 游客
此处应有掌声~

评论列表

还没有评论,快来说点什么吧~