HNNs找到达到与原始密集训练模型相当的精确度的稀疏子网络。鸣谢:来自东京理工大学的Masato Motomur a东京理工大学的研究人员现在开发了一种新的加速器芯片，称为Hiddenite，可以在计算稀疏e隐藏神经网络时达到最先进的精度，而计算负担更低。通过采用所提出的片上模型结构，即权重生成和超掩码扩展的组合，Hiddenite芯片大大减少了外部存储器访问，从而提高了计算效率。深度神经网络(DNNs)是人工智能机器学习架构的复杂部分，需要大量参数来学习预测输出。然而，DNNs可以被“修剪”，从而减少计算负担和模型大小。几年前，彩票假说席卷了机器学习界。该假设陈述了随机初始化的DNN包含在训练后达到等同于原始DNN的准确度的子网络。网络越大，成功优化的“彩票”就越多。因此，这些彩票允许“修剪过的”稀疏神经网络实现与更复杂的“密集”网络相当的精度，从而降低整体计算负担和功耗。
找到这种子网的一种技术是隐藏神经网络(HNN)算法，它对初始化的随机权重和称为“超级掩码”的“二进制掩码”使用“与”逻辑(只有当所有输入都为高时，输出才为高)(图1)。由前k%最高分数定义的超级掩码将未选择的和选择的连接分别表示为0和1。HNN有助于从软件方面降低计算效率。然而，神经网络的计算也需要硬件组件的改进。
新的Hiddenite芯片提供片上权重生成和片上“supermask扩展”,以减少加载模型参数的外部存储器访问。鸣谢:来自Tokyo Tech的Masato Motomura传统的DNN加速器提供了高性能，但它们没有考虑外部存储器访问引起的功耗。现在，由Jaehoon Yu和Masato Motomura教授领导的东京工业大学(Tokyo Tech)的研究人员开发了一种新的加速器芯片，称为“Hiddenite”，可以计算隐藏的神经网络，功耗大幅提高。
“减少外部存储器访问是降低功耗的关键。目前，实现高推理精度需要大型模型。但是这增加了对外部存储器的访问以加载模型参数。本村教授解释说:“我们开发Hiddenite的主要动机是减少这种外部记忆访问。他们的研究将在即将举行的2022年国际固态电路会议(ISSCC)上发表，这是一个展示集成电路成就巅峰的著名国际会议。
“Hiddenite”代表隐神经网络推理张量引擎，是第一个HNN推理芯片。Hiddenite架构(图2)在减少外部存储器访问和实现高能效方面具有三重优势。首先，它提供了片上权重生成功能，通过使用随机数生成器来重新生成权重。这消除了访问外部存储器和存储重量的需要。第二个好处是提供了“片上超屏蔽扩展”，减少了加速器需要加载的超屏蔽数量。Hiddenite芯片提供的第三项改进是高密度四维(4D)并行处理器，可在计算过程中最大限度地重复使用数据，从而提高效率。
“前两个因素使Hiddenite芯片有别于现有的DNN推理加速器，”本村教授说。此外，我们还引入了一种新的隐神经网络训练方法，称为“分数蒸馏”，其中传统的知识蒸馏权重被蒸馏到分数中，因为隐神经网络从不更新权重。使用分数提取的准确度与二元模型相当，而大小是二元模型的一半。"
采用40nm工艺制造，芯片核心面积仅为4.36平方毫米。鸣谢:来自东京工业大学的Masato Motomura基于Hiddenite archi tecture，该团队使用台积电(TSMC)的40纳米工艺设计、制造并测量了一个原型芯片(图3)。该芯片只有3毫米x 3毫米，一次可以处理4，096次MAC(乘加)运算。它实现了最先进的计算效率水平，每瓦特功率每秒高达34.8万亿或万亿次运算，同时将模型传输量减少到二进制网络的一半。
这些发现及其在真实硅芯片上的成功展示肯定会引起机器学习领域的又一次范式转变，为更快、更有效、最终更环保的计算铺平道路。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
