深度图像分类器可以主要使用图像边界而不是对象本身来确定置信度超过90%的图像类别。功劳:瑞秋·戈登尽管神经网络可以完成这些，但我们仍然不了解它们是如何运作的。当然，我们可以编程让他们学习，但理解机器的决策过程仍然很像一个奇特的谜题，有着令人眼花缭乱的复杂模式，许多完整的部分还没有安装。例如，如果一个模型试图对所述谜题的图像进行分类，它可能会遇到众所周知但令人讨厌的对抗性攻击，或者更普通的数据或处理问题。但是麻省理工学院科学家最近发现的一种新的、更微妙的失败类型是另一个令人担忧的原因:“过度解释”，算法根据对人类没有意义的细节，如随机模式或图像边界，做出自信的预测。
这对于高风险环境来说尤其令人担忧，比如自动驾驶汽车的瞬间决策，以及需要立即关注的疾病的医疗诊断。自动驾驶汽车尤其严重依赖能够准确理解周围环境并做出快速、安全决策的系统。该网络使用特定的背景、边缘或天空的特定图案来对交通灯和街道标志进行分类，而不管图像中还有什么。
该团队发现，在CIFAR-10和ImageNet等流行数据集上训练的神经网络存在过度解释的问题。例如，在CIFAR-10上训练的模型，即使95%的输入图像丢失，剩下的对人类来说毫无意义，也能做出自信的预测。
“过度解释是数据集问题，是由数据集内的这些无意义信号引起的。这些高置信度图像不仅无法识别，而且在不重要的区域(如边界)包含的原始图像不到10%。我们发现这些图像对人类来说毫无意义，但模型仍然可以对它们进行高度自信的分类，”麻省理工学院计算机科学和人工智能实验室博士生、一篇关于这项研究的论文的主要作者布兰登·卡特说。
深度图像分类器被广泛使用。除了医疗诊断和推进自动驾驶汽车技术，在安全、游戏甚至一个告诉你某样东西是不是热狗的应用程序中都有使用案例，因为有时候我们需要安慰。讨论中的技术是通过处理大量预先标记的图像中的单个像素来让网络“学习”的。
图像分类很难，因为机器学习模型有能力抓住这些无意义的细微信号。然后，当图像分类器在诸如ImageNet的数据集上训练时，它们可以基于这些信号做出看似可靠的预测。
尽管这些无意义的信号会导致现实世界中的模型脆弱性，但这些信号在数据集中实际上是有效的，这意味着不能使用基于这种准确性的典型评估方法来诊断过度解释。
为了找到模型对特定输入进行预测的基本原理，本研究中的方法从完整的图像开始，并反复询问，我可以从该图像中移除什么？本质上，它一直在掩盖图像，直到你只剩下最小的一块，仍然可以做出自信的决定。
为此，也可以将这些方法用作一种验证标准。例如，如果您有一辆自动驾驶汽车，它使用经过训练的机器学习方法来识别停车标志，您可以通过识别构成停车标志的最小输入子集来测试该方法。如果这包括树枝、一天中的某个特定时间或者不是停车标志的东西，你可能会担心汽车可能会停在一个不该停的地方。
虽然看起来模型可能是罪魁祸首，但数据集更有可能受到指责。卡特说:“问题是，我们如何修改数据集，使模型能够被训练成更接近地模仿人类对图像分类的想法，从而有希望在这些现实场景中更好地推广，比如自动驾驶和医疗诊断，这样模型就不会有这种荒谬的行为。”
这可能意味着在更可控的环境中创建数据集。目前，只是从公共领域提取的图片，然后进行分类。但是如果你想做对象识别，例如，可能有必要用没有信息背景的对象来训练模型。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
