图1。乐谱压模管道。一部电影被分割成不重叠的五秒片段。对于每一个片段，德佳武都会预测电影配乐中是否有曲目在播放。线索，或歌曲在电影中的使用实例，是通过结合窗口预测来构建的。在这个例子中，“Cantina Band”提示持续15秒，因为它是由Dejavu在附近的两个窗口中预测的。credit:DOI:10.1371/journal . pone . 0249957音乐是电影中不可或缺的元素:它建立氛围和情绪，带动观众的情绪反应，显著影响观众对故事的解读。在最近发表在《PLOS一号》上的一篇论文中，南加州大学维特比工程学院的一个研究小组，由施里坎思·纳拉亚南教授领导，试图客观地考察音乐对电影类型的影响。他们的研究旨在确定基于人工智能的技术是否可以仅根据配乐来预测电影的类型。
“通过更好地理解音乐如何影响观众对电影的感知，我们可以深入了解电影创作者如何以更引人注目的方式接触到他们的观众，”大学教授兼Niki和Max Nikias工程讲座教授、电气和计算机工程及计算机科学教授、南加州大学维特比信号分析和解释实验室(SAIL)主任Narayanan说。
不同电影类型更有可能在配乐中使用某些音乐元素的观点相当直观:轻松的爱情片可能包括丰富的弦乐段落和郁郁葱葱的抒情旋律，而恐怖片可能会以令人不安、刺耳的频率和怪异的不和谐音符为特色。
但是，尽管过去的工作定性地表明，不同的电影类型有自己的音乐惯例——这些惯例使浪漫电影听起来不同于恐怖电影——纳拉亚南和他的团队开始寻找定量证据，证明电影配乐的元素可以用来描述电影的类型。
Narayanan和他的团队的研究首次将深度学习模型应用于电影中使用的音乐，以观察计算机是否能够仅根据配乐来预测电影的类型。他们发现，这些模型能够使用机器学习对电影的类型进行准确分类，支持了音乐特征是我们如何看待不同电影的有力指标的观点。
南加州大学计算机科学系维特比的博士生蒂莫西·格里尔(Timothy Greer)与纳拉亚南合作进行了这项研究，他认为，他们的工作可能对媒体公司和创作者理解音乐如何增强其他形式的媒体有价值的应用。它可以让制作公司和音乐监管者更好地理解如何在电视、电影、广告和纪录片中创作和放置音乐，以引发观众的某些情绪。
除了纳拉亚南和格里尔，这项研究的研究团队还包括电气和计算机工程系的博士生狄龙·诺克斯(Dillon Knox)和本杰明·马(Benjamin Ma)，他们于2021年从南加州大学毕业，获得了计算机科学学士学位、计算机科学硕士学位和音乐制作辅修学位。(马还被评为2021年南加州大学施瓦茨曼学者两人之一。)该团队在计算媒体智能中心工作，这是SAIL的一个研究小组。
根据配乐预测流派
在他们的研究中，该小组检查了2014年至2019年间发行的110部热门电影的数据集。他们使用互联网电影数据库(IMDb)上列出的类型分类，将每部电影标记为动作片、喜剧片、戏剧片、恐怖片、爱情片或科幻片，其中许多电影跨越不止一种类型。
接下来，他们应用深度学习网络，从每部电影的音乐和乐谱中提取听觉信息，如音色、和声、旋律、节奏和音调。该网络使用机器学习来分析这些音乐特征，并证明能够仅根据这些特征对每部电影的类型进行准确分类。
该小组还解释了这些模型，以确定哪些音乐特征最能反映不同流派之间的差异。这些模型没有给出每种类型的音符或乐器与每种类型相关联的细节，但它们能够确定音调和音色特征在预测电影类型方面是最重要的。
诺克斯说:“奠定这一基础真的很令人兴奋，因为我们现在可以更准确地回答我们想问的关于音乐如何在电影中使用的问题。“整体电影体验非常复杂，能够通过计算分析其影响以及构建过程中的选择和趋势非常令人兴奋。”
未来方向
Narayanan和他的团队使用一种被称为音频指纹的技术来检查每部电影的听觉信息，这种技术使像Shazam这样的服务能够通过听录音来识别数据库中的歌曲，即使存在声音效果或其他背景噪音。这项技术使他们能够观察音乐线索在电影中的位置和持续时间。
“使用音频指纹来听电影中的所有音频，这让我们克服了以前电影音乐研究的一个局限，以前的研究通常只看电影的整个配乐专辑，而不知道专辑中的歌曲是否或何时出现在电影中，”马说。未来，该小组有兴趣利用这一能力来研究音乐如何在电影中的特定时刻使用，以及音乐线索如何决定电影叙事在其过程中的演变。
“随着电影和音乐的接触越来越多，定量研究这种媒体如何影响我们变得前所未有的重要，”格里尔说。“了解音乐如何与其他形式的媒体相结合，可以帮助我们设计出更好的观看体验，让艺术变得动人而有影响力。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
