，1]图1。将生物SBP引入SNNs。(一)描述三层网络中从输出层突触到隐藏层突触的增强(“+”)或抑制(“-”)血压的示意图。传播的突触修饰有相同的迹象，与SBP的生物学发现一致(27)。邻近层之间的固定梯度映射的类似配置存在于人工反馈对准(48)和直接目标传播(49)中。(二)对于三层SNN，根据突触前棘波(在隐藏神经元中)相对于输出神经元中突触后棘波的时序，在通过网络产生的(Out2)和教学棘波序列(Touchi 2)的均方误差(MSE)更新后，STDP在输出神经元上的突触Wj，k处发生了增强(+)或抑制()的诱导。Wi，j和Wj，k分别代表隐藏神经元和输出神经元上连接的突触权重。在输出神经元(蓝色)上的隐藏层神经元(粉色)的突触处产生的+和-信号被允许传播到STDP(橙色)产生的信号的百分比因子λp(λp∑)。Vj和Vk分别是隐藏层和输出层的膜电位。(三)SNN的三层架构，在隐藏层和输出层的突触处引入SBP和局部可塑性(STP、STDP和稳态V调节)，对输出LIF神经元给予教学尖峰训练。该图显示了一个诱导STDP的输出神经元(蓝色)，一个具有输出突触的隐藏神经元诱导STDP(粉色)，以及一个具有接收SBP的突触的输入神经元(黄色)。credit:DOI:10.1126/sciadv . abh 0146由自动化研究所的徐波和中国科学院脑科学与智能技术卓越中心的Poo Mu-Ming领导的联合研究团队发现，自反向传播(一种自然神经网络中的中尺度突触可塑性规则)可以提高脉冲神经网络(SNNs)和人工神经网络(ANNs)的精度并降低计算成本。他们的发现于10月20日在科学进展发表。
先前的研究证明自反向传播(SBP)是由分子信号的快速逆向轴突运输引起的。它被认为是生物神经网络高效灵活学习的关键。
人工神经网络中的反向传播算法采用全局优化策略，可以获得很好的性能，但同时在学习过程中需要花费太多的计算成本。
研究人员将生物学上看似合理的SBP引入了一个三层SNN。他们发现在三个标准的基准测试任务中，网络性能的准确性有所提高，这三个任务是MNIST、NETtalk和DvsGesture。
“以平均时期和每个时期的算法复杂度的乘积表示的计算成本显著降低，”徐说。将SBP进一步应用于受限玻尔兹曼机，得到了类似的结果。
根据该研究，SBP是一种特殊的中尺度生物可塑性机制，表明SBP在SNNs中的重要作用与其在人工神经网络中的对应BP相似。
这将吸引机器学习领域的关注，因为用纯生物似是而非的算法(例如，尖峰时间相关的可塑性)训练snn是困难的，其中信息是时空的，并且由不连续的尖峰携带。
这项研究为在人工神经网络和人工神经网络上进行生物学上看似有效的学习铺平了道路，学习不同任务的准确性高，计算成本低。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
