LyricJam型号概述。在第一阶段，研究人员训练声谱图变化自动编码器(VAE)来学习音频表示。在第二阶段，他们训练了一个有条件的VAE (CVAE)来学习歌词的表达，条件是它们对应的音频剪辑。最后，在第三阶段，基于生成对抗网络的对齐模型被训练来对齐歌词和音频表示。在推断时间，实时记录的音乐音频剪辑被转换成声谱图，模型使用该声谱图来生成与音乐匹配的新歌词。信用:Vechtomova，Sahu & Kumar。在过去的几十年里，计算机科学家已经开发出了计算工具，可以生成特定类型的数据，如图像、文字或音频记录。这些系统可以有各种有价值的应用，特别是在需要生产新的和独特的艺术品的创造性领域。滑铁卢大学的研究人员最近开发了LyricJam，这是一种先进的计算系统，可以为现场器乐生成歌词。该系统将在计算创造力国际会议上发表，并在arXiv上预先发布，它可以帮助艺术家创作与他们创作的音乐非常匹配的新歌词。
开展这项研究的研究人员之一奥尔加·维切托莫娃(Olga Vechtomova)告诉TechXplore，“我一直对音乐有着深深的热爱，对了解一些我最喜欢的歌曲背后的创作过程很感兴趣。“这让我开始研究音乐和歌词，以及如何利用机器学习来设计能激励音乐艺术家的工具。”
几年来，Vechtomova和她的同事一直在进行关于歌词生成的研究。最初，他们开发了一个系统，通过分析他们过去创作的歌曲和歌词的录音，可以学习艺术家抒情风格的特定特征或方面。这个系统然后使用在它的分析中收集的信息来产生符合特定艺术家风格的歌词。
最近，研究人员还开始研究为录制的器乐音频片段生成歌词的可能性。在他们的新研究中，他们试图通过开发一个可以为现场音乐生成合适歌词的系统，将这一点向前推进一步。
“这项研究的目标是设计一个系统，该系统可以生成反映通过音乐的各个方面(如和弦、乐器、节奏等)表达的情绪和情感的歌词。，”维切托莫娃说。“我们着手创造一种工具，音乐家可以用它来为自己的歌曲创作获得灵感。”
本质上，Vechtomova和她的同事们着手创建一个系统，可以处理个人音乐家或乐队演奏的原始现场音乐，并生成与音乐表达的情感相匹配的歌词。然后，艺术家们将能够回顾这些生成的歌词，并从中汲取灵感或修改它们，从而发现他们以前没有考虑过的新的有趣的主题或歌词想法。
“我们设想的场景是一个人工智能系统，充当音乐家的共同创作伙伴，”Vechtomova解释说。“从用户的角度来看，LyricJam应用程序非常简单:音乐艺术家播放现场音乐，系统会显示它根据听到的音乐实时生成的歌词。生成的线条会在整个过程中保存下来，以便艺术家在完成演奏后可以查看它们。”
由LyricJam为不同类型的器乐生成的歌词示例。音频片段被表示为捕捉各种音乐特征的电子图表。在训练过程中，模型学习将抒情主题、词语和表达与音乐的各个方面联系起来，例如节奏、乐器和和声。一旦经过训练，研究人员设计的系统可以生成新的歌词，反映艺术家通过音乐传达的情感。Credit: Vechtomova，Sahu & Kumar研究人员创建的系统通过将原始音频文件转换为频谱图，然后使用深度学习模型生成与他们实时处理的音乐相匹配的歌词来工作。该模型的架构由两个不同的自动编码器组成，一个用来学习音乐音频的表示，另一个用来学习歌词。
然后，Vechtomova和她的同事设计了两种新的机制，将由两个自动编码器处理的音乐和歌词的表示对齐。总的来说，这些机制允许他们的系统学习哪些类型的歌词适合特定的器乐。
“我们让机器以无监督的方式从数据中学习这些关联，”Vechtomova说。“因此，机器学习与不同类型音乐相关的抒情主题、词汇和表达方式。例如，我们观察到，为平静和环境音乐生成的歌词与为更具攻击性的音乐生成的歌词有很大不同。”
LyricJam区别于过去开发的其他歌词生成系统的主要特点是，它可以在真实的时间内创建合适的歌词，就像艺术家在播放现场音乐一样。有兴趣尝试该系统的音乐人和其他用户可以通过https://lyricjam.ai访问实时版本。
“我想强调的是，这项研究的核心动机不是为艺术家写一首歌，而是通过提出新的想法和表达来激发艺术家自己的创造力，这些想法和表达是系统通过听到他们的音乐而产生的，”Vechtomova说。“我们不想让歌词写作过程变得更容易或更快。相反，我们希望让它更加充实，帮助艺术家进入创作流程，通过与系统合作实现自己的创造力。”
为了评估他们开发的系统，Vechtomova和她的同事进行了一项用户研究，他们要求音乐家播放现场音乐，并分享他们对系统创建的歌词的反馈。有趣的是，参与这项研究的大多数音乐家表示，他们认为LyricJam是一个非关键的即兴演奏伙伴，鼓励他们即兴创作并尝试不同寻常的音乐表达。
“例如，通过改变他们的音乐风格或尝试新的和弦进行，参与我们用户研究的艺术家观察到抒情主题的实时变化，他们发现这令人鼓舞，”Vechtomova说。“这表明该系统不仅可以用于歌词写作，还可以用于即兴创作和音乐创作。”
在未来，LyricJam可能会成为全球音乐家和艺术家的一个非常有价值的工具，帮助他们为自己的歌曲创作独特而有趣的歌词。Vechtomova和她的同事们目前正在开发该系统的最终版本，世界各地的艺术家都可以轻松访问，同时也在尝试设计其他工具来改进歌词写作过程。
“设计帮助音乐艺术家释放创造力的工具是我的核心研究兴趣之一，”Vechtomova说。“我的实验室里有许多正在进行的研究项目，我们在那里研究歌词和音乐的其他方面，比如歌词的语音特征和歌曲的音乐结构，这样我们就有可能将这些方面纳入歌词生成模型。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
