物理科技生物学-PHYICA

一个自然驱动的更高效人工智能的解决方案

技术工程 2022-04-27 21:53:31

A nature-driven solution for more efficient AI提出的突触记忆装置的动机和工作原理。(a)传统的非易失性模拟存储器,其中模拟静态(Wn-1,Wn)之间的转换消耗能量(δEn);(b)动态模拟存储器,其中外部能量(δE1,δE2…δEn)用于将存储器状态(W0)的轨迹调制到最优解(W”);(c)期望的模拟突触特性,其中记忆保持率与写入能量进行了权衡;通过使动态模拟存储器的动态与权重衰减相匹配,减少训练阶段中每次权重更新的能量耗散,如(插图)所示,其中能量势垒的高度(δEn)随着训练的进行而增加(d)制造的DAM阵列的显微照片以及(e)其等效电路,其中通过(f)穿过Fowler–nord heim(FN)隧道势垒的电子传输实现漏电流IFN(g)实现基于FN隧道的DAM,其中动态状态G1-G3确定在时刻t1-T3每次存储器更新消耗的能量(δE1、δE2、δE3)和存储器保持率。鸣谢:自然通讯(2022)。在汽车的使用寿命中,平均每辆汽车要排放大约126,000磅的温室气体二氧化碳。将这些排放与人工智能(AI)技术留下的碳足迹进行比较。2019年,训练顶级人工智能要为超过62.5万磅的二氧化碳排放负责。从那以后,人工智能的能量需求变得越来越大。

为了减少人工智能的能源足迹,圣路易斯华盛顿大学McKelvey工程学院的Clifford W. Murphy教授Shantanu Chakrabartty报告了一种新型计算机存储器的原型。这项发现发表在3月29日的《自然通讯》杂志上。

这篇文章的共同第一作者是Darshit Mehta和Mustafizur Rahman,他们都是Chakrabartty研究小组的成员。

当计算机在学习问题的最佳解决方案时,例如正确识别一张脸或翻译一种语言,它会搜索不同的配置,从而消耗大量的能量来训练一个人工智能。

由于这种能源使用,大多数公司都负担不起从头训练一个新的人工智能。取而代之的是,他们对它进行“足够”的训练,然后针对不同的应用调整一些参数。或者,如果一家公司足够大,Chakrabartty说,他们会把数据中心搬到一个更方便的海滨物业。

所有这些能源的使用产生了大量的热量,需要大量的水来保持凉爽。“他们实际上是在烧开一个湖,来建立一个神经网络,”他说。

查克拉巴蒂的研究小组没有沸腾,而是转向了量子隧道。

当一台计算机搜索一个答案时,这个系统正在用电来打开和关闭数十亿个小开关,以寻找解决问题的最短路径。一旦开关被拨动,能量就被释放,额外的能量被用来保持开关的位置,或者作为记忆。正是这种用电方式产生了如此大的碳足迹。

Chakrabartty让物理记忆做它在野外做的事情,而不是向记忆阵列输入持续的能量流。

“电子自然希望移动到最低的稳定状态,”Chakrabartty说,他也是普雷斯顿m .格林电气和系统工程系负责研究和研究生教育的副院长。

并且电子使用尽可能少的能量来完成。他利用了物理定律。通过将解决方案(例如,将单词“water”识别为“agua”)设置为稳定状态,电子主要在很少的指导下(即,来自训练算法的方向)自己向正确的答案隧穿。

这样,自然法则决定了电子会自己找到最快、最节能的路径来找到答案。在基态,它们被一个足够大的势垒包围着,电子几乎肯定不会隧穿。

现代记忆使用一种更暴力的方法,通过记录其进入内存的路径并在每次翻转开关时使用能量,而Chakrabartty的记忆学习设计只是让电子做它们所做的事情,而没有太多干扰,几乎没有任何额外的能量。

一旦他们到达了最后的障碍,据说人工智能已经学到了一些东西。

“这就像试图记住一首歌,”他说。“开始的时候,你在搜索你的记忆,到处寻找这首歌。但是一旦你找到了,记忆就固定下来了,然后你就无法将它从脑海中抹去。”

来源:由phyica.com整理转载自PH,转载请保留出处和链接!

本文链接:http://www.phyica.com/jishugongcheng/15193.html

发表评论

用户头像 游客
此处应有掌声~

评论列表

还没有评论,快来说点什么吧~