麻省理工学院的新研究表明，某种类型的计算机视觉模型经过训练，对添加到图像数据中的难以察觉的噪声具有鲁棒性，它对视觉表示进行编码，类似于人类使用周边视觉的方式。也许计算机视觉和人类视觉的共同点比我们看到的要多？麻省理工学院的研究表明，某种类型的鲁棒计算机视觉模型感知视觉表示的方式类似于人类使用周边视觉的方式。这些模型被称为对抗鲁棒模型，旨在克服添加到图像数据中的细微噪声。
研究人员发现，这些模型学习转换图像的方式类似于人类外围处理中涉及的一些元素。但是，因为机器没有视觉外围，所以很少有关于计算机视觉模型的工作专注于外围处理，高级作者Arturo Deza说，他是大脑、思维和机器中心的博士后。
“这看起来像是周边视觉，以及那里正在进行的纹理表示，已经被证明对人类视觉非常有用。所以，我们的想法是，好吧，也许在机器中也有一些用途，”电气工程和计算机科学系的研究生、主要作者安妮·哈灵顿说。
这些结果表明，设计一个包括某种形式的外围处理的机器学习模型，可以使该模型自动学习对图像数据中的一些微妙操作具有鲁棒性的视觉表示。Deza补充说，这项工作也有助于阐明人类外周加工的目标，这一点仍然没有得到很好的理解。
这项研究将在国际学习表征会议上发表。
复视觉
人类和计算机视觉系统都有所谓的视网膜中央凹视觉，用于仔细观察非常详细的物体。人类还拥有周边视觉，用于组织广阔的空间场景。Deza说，典型的计算机视觉方法试图模拟视网膜中央凹视觉——这是机器识别物体的方式——并倾向于忽略周边视觉。
但是视网膜中央凹计算机视觉系统容易受到攻击者添加到图像数据中的敌对噪声的影响。在对抗性攻击中，恶意代理巧妙地修改图像，使每个像素都发生了非常微小的变化——人类不会注意到差异，但噪声足以欺骗机器。例如，一幅图像对人类来说可能看起来像一辆汽车，但如果它受到敌对噪音的影响，计算机视觉模型可能会理所当然地将其错误分类为，比如说，一块蛋糕，这可能对自动驾驶汽车产生严重影响。
为了克服这一弱点，研究人员进行了所谓的对抗性训练，他们创建了经过对抗性噪音处理的图像，将它们输入神经网络，然后通过重新标记数据来纠正错误，然后重新训练模型。
“仅仅是做额外的重新标记和训练过程，似乎就能让很多感知与人类处理过程相一致，”Deza说。
他和哈灵顿想知道这些经过对抗性训练的网络是否健壮，因为它们编码的对象表示类似于人类的周边视觉。因此，他们设计了一系列心理物理人体实验来测试他们的假设。
看电视的时间
他们从一组图像开始，使用三种不同的计算机视觉模型从噪声中合成这些图像的表示:一种“正常”的机器学习模型，一种经过训练具有很强的对抗能力，另一种是专门设计用于解释人类外围处理的某些方面，称为Texforms。
该团队在一系列实验中使用这些生成的图像，要求参与者区分原始图像和每个模型合成的代表。一些实验还让人们区分来自同一模型的不同对的随机合成图像。
参与者的眼睛一直聚焦在屏幕的中心，而图像则闪现在屏幕的远侧，在他们周围的不同位置。在一个实验中，参与者必须在一系列每次只闪烁几毫秒的图像中识别出古怪的图像，而在另一个实验中，他们必须匹配在中央凹呈现的图像，并将两个候选模板图像放在他们的外围。
在实验中，参与者的眼睛一直聚焦在屏幕的中心，而图像则在屏幕的远侧、边缘的不同位置闪现，就像这些动画gif。在一项实验中，参与者必须在一系列一次只闪现几毫秒的图像中识别出古怪的图像。鸣谢:麻省理工学院当合成图像显示在远处的边缘时，参与者基本上无法分辨出原始的对立鲁棒模型和纹理模型之间的区别。对于标准的机器学习模型来说，情况并非如此。
然而，也许最惊人的结果是，人类犯下的错误模式(作为刺激落在外围的函数)在所有使用来自纹理模型和对立鲁棒模型的刺激的实验条件下都是高度一致的。德扎解释说，这些结果表明，对抗性强的模型确实捕捉到了人类外围处理的某些方面。
在这个实验中，研究人员让人们将中心模板与两个外围模板中的一个匹配，而不将眼睛从屏幕中心移开。鸣谢:麻省理工学院研究人员还计算了特定的机器学习实验和图像质量评估指标，以研究每个模型合成的图像之间的相似性。他们发现，由对立鲁棒模型和纹理模型生成的图像最相似，这表明这些模型计算相似的图像变换。
“我们正在揭示人类和机器如何犯同样的错误，以及为什么会犯同样的错误，”德扎说。对抗鲁棒性为什么会发生？在我们大脑中尚未发现的机器中，是否存在对抗性鲁棒性的生物等价物？"
Deza希望这些结果能激发该领域的更多工作，并鼓励计算机视觉研究人员考虑建立更多受生物启发的模型。
这些结果可用于设计具有某种模拟视觉外围的计算机视觉系统，使其对周围的噪声具有自动鲁棒性。这项工作还可以为机器的发展提供信息，这些机器能够通过使用人类外围处理的某些方面来创建更准确的视觉表示。
“我们甚至可以通过尝试从人工神经网络中获得某些特性来了解人类的视觉，”哈灵顿补充道。
先前的工作已经展示了如何隔离图像的“健壮”部分，在这些图像上的训练模型使它们不太容易受到对抗性失败的影响。达姆施塔特技术大学心理学研究所和认知科学中心的知觉教授托马斯·沃利斯解释说，这些清晰的图像看起来像真实图像的混乱版本。
“为什么这些健壮的图像看起来是这样的？“哈灵顿和德扎使用仔细的人类行为实验来表明，人们看到这些图像和周围原始照片之间的差异的能力在质量上类似于从人类周围信息处理的生物启发模型中生成的图像，”沃利斯说，他没有参与这项研究Harrington和Deza提出，学习忽略周围环境中的一些视觉输入变化的相同机制可能是为什么健壮图像看起来是这样的，以及为什么对健壮图像的训练降低了对抗性的易感性。这个有趣的假设值得进一步研究，并可能代表生物学和机器智能研究之间协同作用的另一个例子。"
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
