Fig
1:俯仰模型概述
模型结构示意图
DNNs被训练来估计嵌入在真实世界背景噪声中的语音和音乐声音的F0
网络接收声音刺激的模拟听觉神经表示作为输入
绿色轮廓描绘了示例卷积滤波器核在时间和频率上的范围(分别是水平和垂直维度)
基频(F0)为200赫兹的谐波音的模拟听觉神经表现
声音波形如上所示，其功率谱显示在左侧
波形在时间上是周期性的，周期为5毫秒
频谱是谐波的(即
e
，包含基频的倍数)
网络输入是瞬时听觉神经射速的阵列(用灰度描绘，较浅的色调表示较高的射速)
每行绘制了频率调谐听觉神经纤维的发射率，按照它们在耳蜗上的位置排列(低频在底部)
单个纤维锁相于刺激中的低次谐波(神经表征的下部)或高次谐波的组合(上部)
右侧的时间平均响应显示了耳蜗频率轴上的神经纤维兴奋模式(“兴奋模式”)
低次谐波在激励模式中产生明显的峰值
c .训练用于估计F0的六个示例DNN架构的示意图
网络体系结构在层数、每层单元数、层间池化程度以及卷积滤波器内核的大小和形状方面各不相同
对于所有400个训练过的网络，验证集上的F0分类性能(训练期间看不到的嘈杂语音和仪器刺激)显示为训练步骤的函数
突出显示的曲线对应于a和c中描述的体系结构
相对较低的总体精度反映了我们使用的细粒度F0箱
e .所有训练网络的准确度直方图，表示为验证集上的F0误差中值(F0误差百分比比分类准确度更容易解释，其绝对值取决于F0面元的宽度)
f在验证集上测试的最佳性能网络(如中所示)的混淆矩阵
信用:DOI: 10
1038/s 1467-021-27366-6 麻省理工学院神经科学家的新研究表明，自然声景塑造了我们的听觉，优化了我们最常遇到的声音种类
在去年12月报道的一项研究中
14在《自然通讯》杂志上，由麦戈文大脑研究所副研究员乔希·麦克德莫特领导的研究人员使用计算建模来探索影响人类如何听到音调的因素
他们的模型的音高感知与人类非常相似——但只有在使用音乐、声音或其他自然声音进行训练时
人类识别音高的能力——本质上是声音重复的速度——赋予音乐旋律和口语细微差别
尽管这可以说是人类听觉中研究得最好的方面，但研究人员仍在争论哪些因素决定了音高感知的特性，以及为什么某些类型的声音比其他类型的声音更敏锐
麦克德莫特也是麻省理工学院大脑和认知科学系的副教授，同时也是麻省理工学院大脑、思维和机器中心(CBMM)的研究员，他对理解我们的神经系统如何感知音调特别感兴趣，因为耳蜗植入物向深度耳聋患者的大脑发送关于声音的电信号，它不能很好地复制人类听觉的这一方面
“人工耳蜗可以很好地帮助人们理解语言，尤其是在安静的环境中
但是他们真的不能很好地再现音高的感觉，”马克·赛德勒说，他是一名研究生和CBMM研究员，共同领导了这个项目，也是K
杨静怡综合计算神经科学中心
“了解听力正常的人的音高感知的详细基础很重要，原因之一是试图更好地了解我们如何在假体中人工复制音高感知
" 人工听觉 音高感知始于耳蜗，即内耳中的蜗牛状结构，声音的振动在这里转化为电信号，并通过听觉神经传递到大脑
耳蜗的结构和功能有助于决定我们听到的方式和内容
尽管还不能通过实验来验证这个想法，麦克德莫特的团队怀疑我们的“听觉饮食”也可能会影响我们的听力
学分:麻省理工学院 为了探索我们的耳朵和环境如何影响音高感知，麦克德莫特、赛德勒和研究助理雷·冈萨雷斯建立了一个名为深度神经网络的计算机模型
神经网络是一种广泛应用于自动语音识别和其他人工智能应用的机器学习模型
尽管人工神经网络的结构粗略地类似于大脑中神经元的连通性，但工程应用中使用的模型实际上并没有像人类那样听到声音——因此该团队开发了一种新的模型来再现人类的音高感知
他们的方法将人工神经网络与哺乳动物耳朵的现有模型相结合，将机器学习的力量与生物学的见解结合起来
“这些新的机器学习模型真的是第一个可以被训练来完成复杂听觉任务，并且实际上在人类的表现水平上做得很好的模型，”Saddler解释道
研究人员通过要求神经网络识别训练集中声音的重复率来训练神经网络估计音调
这给了他们改变音高感知发展的参数的灵活性
他们可以操纵呈现给模型的声音类型，以及处理这些声音的耳朵的属性，然后将它们传递给神经网络
当模型使用对人类重要的声音进行训练时，比如语音和音乐，它学会了像人类一样估计音高
“我们非常好地复制了人类感知的许多特征……表明它正在使用声音和耳蜗代表的类似线索来完成这项任务，”萨德勒说
但是当使用更多的人工声音或者在没有任何背景噪音的情况下训练模型时，它的行为就非常不同了
例如，Saddler说，“如果你为这个从来没有任何竞争噪音源的理想化世界进行优化，你可以学习一种似乎与人类非常不同的音高策略，这表明人类的音高系统可能真的被优化了，以处理有时噪音模糊了部分声音的情况
" 研究小组还发现，耳蜗中启动的神经信号的时间对音高感知至关重要
麦克德莫特解释说，在健康的耳蜗中，神经细胞随着声音振动到达内耳而准确地及时放电
当研究人员在他们的模型中扭曲了这种关系，以至于神经信号的定时与传入声音产生的振动没有那么紧密地相关时，音高感知偏离了正常的人类听觉
麦克德莫特说，当研究人员致力于开发更好的人工耳蜗时，考虑到这一点将是很重要的
他说:“这确实非常表明，要让人工耳蜗产生正常的音高感知，需要有一种方法来再现听觉神经中的精细定时信息。”
“目前，他们没有这样做，要做到这一点存在技术挑战，但建模结果非常清楚地表明，这就是你必须要做的
"
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
