cinemapc正在运行。左上角:用户指令的表示。蓝色区域代表图像中必须失焦的部分，而红色区域代表图像中应该对焦的部分。黄线是比较理想的指导方针。右上角:表示CineMPC正在使用的核心信息的辅助标记输出。该图像用从感知模块获得的边界框和期望的构图指南来标记。左下方:拍摄无人机和第三人称视角下的目标。右下:不使用CineMPC控制相机内在参数时的相机输出(即恒定焦距和光圈以及无焦点)。功劳:Pueyo等人人工智能(AI)算法、移动机器人和无人驾驶飞行器(UAV)等新兴技术可以增强包括电影摄影在内的各种领域的实践。近年来，许多电影摄影师和娱乐公司专门开始探索使用无人机来拍摄高质量的空中视频片段(即从上方拍摄的特定位置的视频)。萨拉戈萨大学和斯坦福大学的研究人员最近创建了CineMPC，这是一种计算工具，可用于自主控制无人机的机载摄像机。这种技术，在arXiv上预先发表的一篇论文中介绍，可以显著增强当前基于无人机使用的电影摄影实践。
开展这项研究的研究人员之一Pablo Pueyo告诉TechXplore:“在阅读现有的关于自主电影拍摄的文献，特别是自主拍摄无人机的文献时，我们注意到现有的解决方案都集中在控制相机的外部(例如，相机的位置和旋转)。”。“然而，根据电影摄影文献，决定镜头好坏的最决定性因素之一是控制相机镜头的内在参数，如焦距、焦距和聚焦光圈。”
相机的内在参数(例如，焦距、长度和光圈)是决定图像的哪些部分聚焦或模糊的参数，这些参数最终会改变观看者对给定场景的感知。能够改变这些参数允许电影摄影师创建特定的效果，例如，制作不同景深的镜头或有效放大图像的特定部分。普伊·奥和他的同事们最近工作的总体目标是以自动产生这种效果的方式实现对无人机运动的最佳控制。
在他们之前的一项研究中，普耶奥和他的同事开发了一种叫做CinemAirSim的方法。这项技术使他们能够用他们能够控制的车载电影摄像时代来模拟无人机。通过将CinemAirSim与他们开发的新算法CineMPC集成，研究人员能够模拟镜头固有参数的特定变化对无人机收集的整体视频片段的影响。
“使用众所周知的模型预测控制(MPC)，这是一种先进的过程控制方法，我们优化了无人机相机的外部和内部参数，以满足用户给出的一套艺术和构图指南，”Pueyo解释道。“MPC找到了配置相机的最佳参数，最大限度地减少了与用户约束相关的成本函数。这些成本函数是数学表达式，有助于我们控制艺术方面，如景深、文献中描述的规范镜头或场景元素的位置，如演员在最终图像的特定位置(例如，满足“三分之一规则”)。
CineMPC可以检测场景中的特定对象或人，并通过用户指定的特定摄像机轨迹对其进行跟踪。值得注意的是，该“近似”轨迹还包括与最理想的内在参数相关的相关信息。
“到目前为止，据我们所知，还没有优化相机镜头参数以实现电影拍摄目标的现有解决方案，”普埃约说。“这在自主无人机拍摄方面非常实用。非专业人士和电影摄影专家可以陈述一些电影摄影限制，我们的解决方案将通过调整相机的外在和内在参数来满足这些限制。”
未来，这种新工具可能会增强基于无人机的电影技术，使电影制作人能够从鸟瞰图中捕捉到更高质量的镜头。事实上，与以前开发的方法相反，CineMPC允许研究人员不断调整相机的内在参数，以实现他们的艺术目标。
“我们现在正计划用更复杂的艺术和机器人创意来改进CineMPC，”Pueyo说。“例如，我们希望引入更多的拍摄无人机(即设计多机器人方法)，并优化额外的艺术智能，以确保无人机能够自主决定最佳艺术指导方针，而不是遵循用户引入的限制。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
