Credit: CC0公共域
在过去的几年里，人工智能语言模型已经变得非常擅长某些任务
最值得注意的是，他们擅长预测文本串中的下一个单词；这项技术帮助搜索引擎和短信应用程序预测你要输入的下一个单词
最新一代的预测性语言模型似乎也了解了一些语言的潜在含义
这些模型不仅可以预测下一个单词，还可以执行看起来需要一定程度的真正理解的任务，例如问题回答、文档摘要和故事完成
这种模型旨在优化预测文本的特定功能的性能，而不是试图模仿人脑如何执行这项任务或理解语言
但是麻省理工学院神经科学家的一项新研究表明，这些模型的潜在功能类似于人脑中语言处理中心的功能
在其他类型的语言任务中表现良好的计算机模型并没有表现出与人脑的这种相似性，这为人脑可能使用下一个单词预测来驱动语言处理提供了证据
沃尔特·A·兰西·坎维舍说:“模型预测下一个单词的能力越强，它就越符合人脑。”
罗森布莱特认知神经科学教授，麻省理工学院麦戈文大脑研究所和大脑、思维和机器中心(CBMM)的成员，也是这项新研究的作者
“令人惊讶的是，模型拟合得如此之好，这非常间接地表明，也许人类语言系统正在做的是预测接下来会发生什么
" 约书亚·特南鲍姆，麻省理工学院计算认知科学教授，CBMM和麻省理工学院人工智能实验室成员；和弗雷德里克·阿伊芙琳娜·费多伦科
卡罗尔·J
米德尔顿职业发展神经科学副教授和麦戈文研究所成员是这项研究的资深作者，这项研究发表在本周的《美国国家科学院院刊》上
在CBMM工作的麻省理工学院研究生马丁·施里普夫是这篇论文的第一作者
做预测 新的、高性能的下一个单词预测模型属于一类称为深度神经网络的模型
这些网络包含形成不同强度连接的计算“节点”，以及以规定方式在彼此之间传递信息的层
在过去的十年里，科学家们利用深度神经网络创建了视觉模型，可以像灵长类大脑一样识别物体
麻省理工学院的研究还表明，视觉对象识别模型的潜在功能与灵长类动物视觉皮层的组织相匹配，尽管这些计算机模型不是专门为模仿大脑而设计的
在这项新的研究中，麻省理工学院的团队使用了一种类似的方法来比较人脑中的语言处理中心和语言处理模型
研究人员分析了43种不同的语言模型，包括几个为下一个单词预测而优化的模型
其中包括一个名为GPT-3(创成式预训练变压器3)的模型，在给出提示的情况下，它可以生成类似于人类会生成的文本
其他模型被设计来执行不同的语言任务，比如在句子中填空
由于每个模型都有一串单词，研究人员测量了组成网络的节点的活动
然后，他们将这些模式与人类大脑的活动进行了比较，这些活动是在执行三项语言任务的受试者中测量的:听故事、一次读一个句子，以及一次读一个单词的句子
这些人体数据集包括功能性磁共振(fMRI)数据和在接受癫痫脑部手术的患者中进行的颅内皮层脑电图测量
他们发现，表现最好的下一个单词预测模型的活动模式与在人脑中看到的非常相似
这些模型中的活动也与人类行为指标高度相关，比如人们阅读文本的速度
“我们发现，能够很好地预测神经反应的模型也倾向于以阅读时间的形式最好地预测人类的行为反应
然后通过下一个单词预测的模型性能来解释这两个问题
这个三角形真的把一切联系在一起，”施里普夫说
游戏规则改变者 像GPT-3这样的预测模型的关键计算特征之一是一个被称为正向单向预测变换器的元件
这种变压器能够根据之前的序列预测接下来会发生什么
这种转换器的一个显著特点是，它可以基于非常长的先前上下文(数百个单词)进行预测，而不仅仅是最后几个单词
特南鲍姆说，科学家还没有发现任何对应于这种处理方式的脑回路或学习机制
然而，他说，新的发现与先前提出的假设一致，即预测是语言处理的关键功能之一
“语言处理的挑战之一是它的实时性，”他说
“语言进来了，你必须跟上它，并且能够实时理解它
" 研究人员现在计划构建这些语言处理模型的变体，以了解它们的体系结构中的微小变化如何影响它们的性能以及它们适应人类神经数据的能力
“对我来说，这个结果改变了游戏规则，”费多伦科说
“这完全改变了我的研究计划，因为我没有预料到在我有生之年我们会得到这些计算清晰的模型，这些模型捕捉到了足够多的关于大脑的信息，因此我们可以利用它们来理解大脑是如何工作的
" 研究人员还计划尝试将这些高性能的语言模型与Tenenbaum实验室先前开发的一些计算机模型相结合，这些模型可以执行其他类型的任务，例如构建物理世界的感知表示
特南鲍姆说:“如果我们能够理解这些语言模型是做什么的，以及它们如何连接到做更像感知和思考的事情的模型上，那么这就可以给我们更多关于大脑中事物如何工作的综合模型。”
“这可以带我们走向更好的人工智能模型，也可以给我们提供比过去更好的模型，说明大脑的更多部分是如何工作的，以及一般智能是如何出现的
" 该论文的其他作者是伊丹·布兰克博士
D
16和研究生格蕾塔·塔克特、卡琳娜·考夫和埃格巴尔·侯赛尼
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
