研究人员创建的架构概述。两个网络以不同的粒度处理电影的不同视图。基于视频的网络将基于电影视频流的多模态细粒度镜头表示作为输入。基于scre enplay的网络处理粗粒度的基于电影剧本的文本场景表示。这些网络在TP识别方面经过专门训练，损失加强了它们之间的预测和表示一致性。信用:帕帕兰皮迪，凯勒&拉普塔。预告片，即介绍新电影的短视频剪辑，通常是电影制作公司采用的宣传策略中至关重要的元素。为了达到最佳效果，预告片应该简要总结一部电影的情节，以吸引人的方式传达其艺术风格和整体情绪。到目前为止，电影预告片主要是由人类创作的。然而，最近一些计算机科学家开始探索这些宣传短片也可以由机器自动生成的可能性。
爱丁堡大学的研究人员开发了一种基于人工神经网络的模型，可以自动生成电影预告片。该模型在arXiv上发表的一篇论文中提出，基于一种无监督的、基于图的机器学习算法。
为了最好地解决自动电影预告片生成的任务，研究人员将其分解为两个子任务，即识别电影的叙事结构和预测其传达的情绪(即情绪和感觉)。因此，他们创造的技术处理电影的两个部分(即视频)和电影剧本的文本摘录。
进行这项研究的三位研究人员皮内洛皮·帕帕拉米迪、弗兰克·凯勒和米雷拉·拉普塔在论文中写道:“我们将电影建模为图形，其中节点是镜头，边缘表示它们之间的语义关系。“我们使用联合对比训练来学习这些关系，这种训练利用了电影剧本中的特权文本信息(例如，人物、动作、情境)。然后，无监督算法遍历该图并生成预告片。”
本质上，他们创造的电影预告片生成方法由两个神经网络组成。当这些网络中的一个处理从电影的视频流中导出的多模态镜头表示时，另一个分析基于电影剧本的文本场景表示。
这两个神经网络结合起来，可以识别电影中的转折点，这些转折点是电影中特别突出的部分，应该在预告片中突出。电影的转折点通常包括一个机会、一个计划的改变、一个不归路、一个重大挫折和一个高潮。
帕帕兰皮迪、凯勒和拉普塔在一系列测试中评估了他们制作电影预告片的技术。值得注意的是，他们发现它可以比其他制作电影预告片的基线方法更准确地识别电影中的转折点。
此外，研究人员使用他们的模型为41部不同的电影制作了预告片。然后，他们通过询问亚马逊机械土耳其人(AMT)上招募的人类观众，比较了它制作的预告片的质量和用监督学习训练的技术生成的预告片的质量。有趣的是，大多数受访者更喜欢他们的技术制作的预告片，而不是监督模型制作的预告片。
虽然帕帕兰皮迪、凯勒和拉普塔创造的模型可能还不能创造出完美的预告片，但它最终可以被电影制作公司用来促进和加快预告片的制作。与此同时，该团队计划继续研究他们的技术，以进一步提高其生产的拖车的质量。
研究人员在论文中补充道:“未来，我们希望专注于预测电影中细粒度情绪(例如悲伤、厌恶、恐怖、喜悦)的方法。“在这项工作中，由于缺乏域内标记数据集，我们将积极/消极情绪视为情绪的替代品。未来工作的途径包括新的电影情感数据集，以及基于文本和视听线索的情感检测模型。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
