人工智能中实现的神经网络(上图)容易发生灾难性遗忘。如果他们被教识别数字(MNIST)，然后是衣服(FMNIST)，这些网络就失去了识别数字的能力(底部，左侧)。由于研究人员提出的化生方法，这些网络可以连续学习这两项任务(下图，右图)。Credit: Laborieux等深度神经网络在包括图像和文本分类在内的多个任务上取得了非常有前景的结果。尽管如此，这些计算方法中的许多容易被称为灾难性遗忘，这本质上意味着当他们接受新任务的训练时，他们倾向于迅速忘记如何完成过去训练他们完成的任务。巴黎萨克莱CNRS大学的研究人员最近引入了一种新技术来减轻二值化神经网络中的遗忘。这项技术发表在《自然通讯》上的一篇论文中，其灵感来自突触后可塑性的概念，即突触(两个神经细胞之间的连接)根据经验随着时间的推移而适应和变化的过程。
进行这项研究的研究人员之一达米安·克雷利奥斯告诉TechXplore，“我的小组已经研究二值化神经网络几年了。“这些是深度神经网络的高度简化形式，深度神经网络是现代人工智能的旗舰方法，可以在降低内存需求和能耗的情况下执行复杂任务。与此同时，阿克塞尔，当时是我们组的一年级博士生，开始致力于Stefano Fusi在2005年引入的突触后可塑性模型。”
神经科学研究表明，神经细胞适应经验的能力最终使人类大脑能够避免“灾难性的伪造”，并记住如何完成给定的任务，即使是在处理新的任务之后。然而，大多数人工智能代理在学习新任务后，会很快忘记以前学习过的任务。
“几乎是偶然的，我们意识到二值化神经网络和突触元可塑性，这两个以非常不同的动机研究的主题，实际上是有联系的，”Querlioz说。“在二值化神经网络和超可塑性的Fusi模型中，突触的强度只能取两个值，但训练过程涉及一个‘隐藏’参数。这就是为什么我们认为二值化神经网络可以提供一种方法来缓解人工智能中的灾难性遗忘问题。”
为了在二值化的神经网络中复制突触元可塑性的过程，Querlioz和他的同事引入了一种“巩固机制”，即突触在同一方向上更新得越多(即其隐藏状态值上升或下降)，它就越难在相反的方向上切换回来。这种机制受超塑性Fusi模型的启发，只与通常训练二值化神经网络的方式略有不同，但它对网络的灾难性遗忘有显著影响。
“我们研究中最值得注意的发现是，首先，我们引入的新巩固机制有效地减少了遗忘，而且它只是基于突触的局部内部状态，而不需要改变由任务之间的网络优化的度量标准，这与文献中的其他方法形成了对比，”开展这项研究的一年级博士生阿克塞尔·拉博里尤斯(Axel Laborieux)告诉TechXplore。“这个特性对于低功耗硬件的设计特别有吸引力，因为必须避免数据移动和计算的开销。”
这组研究人员收集的发现可能会对人工智能代理和深层神经网络的发展产生重要影响。最近论文中介绍的整合机制有助于减轻二值化神经网络中的灾难性遗忘，使得能够开发能够在各种任务中表现良好的人工智能代理。总的来说，这项由Querlioz、Laborieux和他们的同事Maxence Ernoult和Tifenn Hirtzlin进行的研究也强调了在试图开发性能更好的AI代理时，从神经科学理论中汲取灵感的价值。
“我们的团队专门利用纳米技术开发低功耗的AI硬件，”Querlioz说。“我们认为，我们在这项工作中提出的化生二值化突触非常适合基于纳米技术的实施，我们已经开始基于这一理念设计和制造新的器件。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
