麻省理工学院的研究人员创造了一种技术，可以用自然语言自动描述神经网络中单个神经元的作用。在这张图中，该技术能够识别照片中“水平物体的顶部边界”，照片以白色突出显示。功劳:何塞-路易斯·奥利瓦雷斯，麻省理工学院神经网络有时被称为黑盒，因为尽管它们在某些任务上可以胜过人类，但即使是设计它们的研究人员也经常不明白它们是如何或为什么工作得这么好。但是，如果在实验室外使用神经网络，也许可以对有助于诊断心脏状况的医学图像进行分类，了解该模型的工作原理有助于研究人员预测它在实践中的表现。麻省理工学院的研究人员现在开发了一种方法，让她对黑盒神经网络的内部运作有所了解。模仿人脑，神经网络被排列成处理数据的多层互连节点或“神经元”。新的系统可以自动产生这些单个神经元的描述，用英语或其他自然语言生成。
例如，在一个被训练用来识别图像中动物的神经网络中，他们的方法可能将某个神经元描述为检测狐狸的耳朵。与其他方法相比，他们的可扩展技术能够为单个神经元生成更精确和更具体的描述。
在一篇新论文中，该团队表明，这种方法可以用来审计神经网络，以确定它学到了什么，甚至可以通过识别并关闭无用或不正确的神经元来编辑网络。
“我们想创造一种方法，让机器学习实践者可以给这个系统他们的模型，它会从模型神经元的角度，用语言告诉他们它所知道的关于这个模型的一切。这有助于您回答一个基本问题，‘我的模型知道的事情中，有什么是我没想到它会知道的吗？’”埃文·埃尔南德斯说，他是麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究生，也是这篇论文的主要作者。
自动生成的描述
大多数帮助机器学习从业者理解模型如何工作的现有技术要么描述整个神经网络，要么要求研究人员识别他们认为单个神经元可能关注的概念。
埃尔南德斯和他的合作者开发的被称为MILAN(神经元的互信息引导语言注释)的系统改进了这些方法，因为它不需要预先列出概念列表，并且可以自动生成网络中所有神经元的自然语言描述。这一点尤其重要，因为一个神经网络可以包含数十万个单独的神经元。
米兰对神经网络中的神经元进行描述，这些神经网络是为计算机视觉任务而训练的，比如物体识别和图像合成。为了描述一个给定的神经元，系统首先在数千张图像上检查该神经元的行为，以找到神经元最活跃的图像区域集。接下来，它为每个神经元选择自然语言描述，以最大化图像区域和描述之间的点状互信息。这有助于描述每个神经元在更大网络中的独特作用。
“在一个被训练用来对图像进行分类的神经网络中，将会有成千上万个不同的神经元来检测狗。但是有许多不同类型的狗和许多不同部位的狗。S o .尽管“狗”可能是对许多这类神经元的准确描述，但它的信息量并不大。我们想要非常具体的描述神经元在做什么。这不仅仅是狗；这是德国牧羊犬耳朵的左侧，”赫尔南德斯说。
该团队将MILAN与其他模型进行了比较，发现它产生了更丰富、更准确的描述，但研究人员更感兴趣的是看看它如何帮助回答关于计算机视觉模型的特定问题。
分析、审计和编辑神经网络
首先，他们使用MILAN来分析神经网络中哪些神经元最重要。他们为每个神经元生成描述，并根据描述中的单词对它们进行分类。他们慢慢地从网络中移除神经元，以观察其准确性如何变化，并发现在描述中有两个非常不同的词(例如花瓶和化石)的神经元对网络来说不太重要。
他们还利用MILAN审核模型，看是否学到了意想不到的东西。研究人员在人脸模糊的数据集上训练图像分类模型，运行MILAN，并计算有多少神经元对人脸仍然敏感。
“以这种方式模糊人脸确实会减少对人脸敏感的神经元数量，但远不能消除它们。事实上，我们假设其中一些面部神经元对特定的人口群体非常敏感，这是相当令人惊讶的。这些模型以前从未见过人脸，然而各种各样的面部处理都发生在它们内部，”埃尔南德斯说。
在第三个实验中，该团队使用MILAN来编辑神经网络，方法是找到并移除检测数据中不良相关性的神经元，这导致网络在显示有问题相关性的输入上的准确性提高了5%。
虽然研究人员对米兰在这三个应用中的表现印象深刻，但该模型有时给出的描述仍然过于模糊，或者当它不知道它应该识别的概念时，它会做出不正确的猜测。
他们计划在未来的工作中解决这些限制。他们还想继续丰富米兰能够创造的描述。他们希望将MILAN应用于其他类型的神经网络，并使用它来描述神经元组的工作，因为神经元一起工作产生输出。
“这是一种自下而上的可解释性方法。目标是用自然语言生成功能的开放式组合描述。我们希望利用人类语言的表达能力来生成对神经元所做的事情更加自然和丰富的描述。能够将这种方法推广到不同类型的模型是我最兴奋的事情，”施韦特曼说。
安德烈亚斯说:“对任何可解释人工智能技术的最终测试是，它是否能帮助研究人员和用户就何时以及如何部署人工智能系统做出更好的决定。“从总体上来说，我们离做到这一点还有很长的路要走。但我乐观地认为，米兰——以及更广泛地将语言用作解释工具——将是工具箱中有用的一部分。”
这项研究发表在arXiv上。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
