Credit:pix abay/CC0 Public Domain本周，在第38届国际机器学习大会(ICML 21)上，NYU坦登工程学院NYU网络安全中心的研究人员揭示了驱动神经网络对加密数据进行推理的能力的基本功能的新见解。在论文《DeepReDuce:用于快速私有推理的ReLU reduce》中，该团队重点介绍了线性和非线性算子，这是神经网络框架的关键特征，根据操作的不同，会带来大量的时间和计算资源。当神经网络对加密数据进行计算时，这些成本中的许多都是由非线性运算的校正线性激活函数(ReLU)引起的。
计算机科学与工程、电气与计算机工程教授布兰登·雷根(Brandon Reagen)和包括博士研究生南丹·库马尔·贾(Nandan Kumar Jha)和西达尔特·加尔格(·加尔格)指导下的前博士生扎拉·古西(Zahra Ghodsi)在内的一组合作者开发了一个名为DeepReDuce的框架。它通过神经网络中ReLUs的重排和约简提供了一种解决方案。
雷根解释说，这种转变需要从根本上重新评估神经网络系统中有多少成分分布在哪里。
“我们试图做的是重新思考神经网络最初是如何设计的，”他解释道。“您可以跳过大量这些耗时且计算量大的ReLU操作，并且仍然以2到4倍的运行时间获得高性能网络。”
该团队发现，与最先进的私人推理相比，DeepReDuce分别提高了准确性和减少了3.5%和3.5倍的ReLU计数。
调查不仅仅是学术性的。随着人工智能的使用与对个人、公司和政府数据安全的担忧同步增长，神经网络越来越多地对加密数据进行计算。在这种涉及神经网络在不公开输入的情况下对隐藏数据生成私有推断的场景中，正是非线性函数在时间和功率上发挥了最高的“成本”。因为这些成本增加了李尔宁机器进行PI计算的难度和时间，研究人员一直在努力减轻ReLUs在这种计算上的负担。
该团队的工作建立在名为CryptoNAS的创新技术之上。CryptoNAS优化了ReLUS的使用，就像人们可以重新安排岩石在溪流中的排列方式来优化水流一样:它重新平衡了ReLUs在网络中的分布，并删除了冗余的ReLUs。
DeepReDuce通过进一步简化流程来扩展CryptoNAS。它包括一组优化，用于在Crypt oNAS重组函数后明智地删除ReLUs。研究人员通过使用DeepReDuce从经典网络中移除ReLUs来测试deep reduce，发现它们能够显著减少推理延迟，同时保持高准确性。
里根与电气和计算机工程研究助理教授米哈利斯·马尼亚塔科斯(Mihalis Maniatakos)也是与数据安全公司二元公司合作的一部分，该公司设计了一种新的微芯片，用于处理完全加密数据的计算。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
