在将RNN训练到洛伦兹吸引子的几个翻译版本后，RNN将吸引子存储为内存，并可以通过更改上下文变量来翻译其洛伦兹的内部表示。大部分计算机系统都被设计用来存储和处理信息，比如文档、图像、音频文件和其他数据。虽然传统计算机被编程为对结构化数据执行特定操作，但新兴的神经启发系统可以学习更自适应地解决任务，而不必被设计为执行一组操作。宾夕法尼亚大学和加州大学妮娅分校的研究人员最近训练了一个递归神经网络(RNN)，使其仅基于本地数据示例来适应复杂信息的表示。在《自然机器智能》上发表的一篇论文中，他们介绍了这个RNN，并概述了支撑其功能的关键学习机制。
开展这项研究的研究人员之一杰森·金(Jason Kim)告诉TechXplore，“每天，我们都在操纵有关世界的信息来进行预测。“在意大利面变得潮湿之前，我还能煮多久？我能在高峰时间前多长时间去上班？这种信息表示和计算大体上属于工作记忆的范畴。虽然我们可以对计算机进行编程来构建pa sta纹理或通勤时间的模型，但我们的主要目标是了解神经网络如何仅通过观察示例来学习构建模型和进行预测。”
金、他的导师丹妮尔·巴塞特和他们团队的其他成员表明，神经网络学习预测的两个关键机制是联想和背景。例如，如果他们想教他们的RNN改变一首歌的音高，他们会喂它原曲和另外两个版本，一个稍微高一点，另一个稍微低一点。
对于音高的每一次变化，研究人员都会用一个上下文变量来“偏向”RNN。随后，他们训练它在工作记忆中存储原始和修改过的歌曲。这使得RNN能够将音高移动操作与上下文变量相关联，并操纵其存储器，通过简单地改变上下文变量来进一步改变歌曲的音高。
“当我们的一个合作者，陆志新，告诉我们一个可以学习在工作记忆中储存信息的RNN时，我们知道我们的目标在望，”金说。“理论上，RNN按照一个方程在时间上向前发展。我们推导出一个等式，量化了背景变量的微小变化如何导致RNN轨迹的微小变化，并询问RNN轨迹的微小变化需要满足哪些条件才能产生理想的表征变化。”
在将RNN训练到洛伦兹系统的几个稳定轨迹上后，RNN学会了正确推断进入全局洛伦兹结构的分叉。功劳:Kim等人Kim和他的同事观察到，当训练数据示例之间的差异很小时(例如，音高的微小差异/变化)，他们的RNN将差异与上下文变量相关联。值得注意的是，他们的研究还发现了一种简单的机制，通过这种机制，神经网络可以利用它们的工作记忆来学习计算。
“一个很好的例子实际上是在一个流行的跟踪猫的视频中看到的，”金解释道。“在这里，摄像头会周期性地移入和移出视野，只有当摄像头不在视野范围内时，录制的猫才会靠近几英寸，而当进来的ra在视野范围内时，它会保持冻结状态。仅仅通过观察最初的几个动作，我们就可以预测最终的结果:一只近端的猫。”
虽然过去的许多研究表明神经网络是如何操纵输出的，但金和他的同事们的工作是第一批发现一种简单的神经机制的人之一，通过这种机制，神经网络操纵他们的记忆，同时即使在没有输入的情况下也能保留它们。
Kim说:“我们最值得注意的发现是，RNNs不仅学会了连续操纵工作记忆中的信息，而且当只在非常局部的例子上训练时，它们实际上对全局结构做出了准确的推断。“这有点像只听了前几个音符就能准确预测肖邦《范泰西即兴曲》蓬勃发展的旋律。”
金和他的同事最近发表的论文介绍了一个量化模型，其中包含了工作记忆的可证伪假设，这些假设也可能与神经科学领域相关。此外，它还概述了有助于理解神经网络的设计原则，神经网络通常被视为黑盒(即，不能清楚地解释其预测背后的过程)。
金说:“我们的发现还表明，如果设计得当，神经网络具有令人难以置信的能力，可以在训练示例之外准确地进行归纳。“我们现在正在探索许多其他令人兴奋的研究方向。从研究学习过程中RNN内部表征的变化，到使用上下文变量在记忆之间切换，再到在没有训练的情况下在神经网络中编程计算。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
