单图像视图合成过程也可用于生成重新聚焦的图像(如上所示)。功劳:尼玛卡兰塔每天都有数十亿张照片和视频发布到各种社交媒体应用上。智能手机或数码相机拍摄的标准图像的问题在于，它们只能从特定的角度捕捉场景。但是在现实中看，我们可以四处走动，从不同的角度观察。计算机科学家正在努力为用户提供身临其境的体验，这将使他们能够从不同的角度观察一个场景，但这需要普通人不容易接触到的专业摄像设备。为了让这一过程变得更容易，美国得克萨斯州A&M大学计算机科学与工程系教授尼玛·卡兰塔里博士和研究生李勤波开发了一种基于机器学习的方法，用户可以拍摄一张照片，并利用它生成场景的新颖视图。
卡兰塔里说:“我们的方法的好处是，现在我们不局限于以特定的方式捕捉场景。“我们可以下载并使用互联网上的任何图像，甚至是已经有100年历史的图像，从本质上让它起死回生，从不同的角度看待它。”
关于他们工作的更多细节发表在《图形计算机器交易协会》杂志上。
视图合成是使用从给定视点拍摄的图像生成对象或场景的新颖视图的过程。为了创建新颖的视图图像，与场景中物体之间的距离相关的信息被用于创建从放置在场景内不同点的虚拟相机拍摄的合成照片。
在过去的几十年中，已经开发了几种方法来合成这些新颖的视图图像，但是其中许多方法需要用户用特定的配置和硬件从不同的视点同时手动捕获同一场景的多张照片，这是困难且耗时的。然而，这些方法不是设计成从单个输入图像生成新颖的视图图像。为了简化这一过程，研究人员提出用一张图片做同样的过程。
卡兰塔里说:“当你有多幅图像时，你可以通过一种叫做三角测量的过程来估计场景中物体的位置。“这意味着你可以分辨出，例如，镜头前有一个人，身后有一栋房子，背景是群山。这对视图合成极其重要。但是当你只有一张图片时，所有的信息都必须从那张图片中推断出来，这很有挑战性。”
深度学习是机器学习的一个分支，人工神经网络从大量数据中学习以解决复杂问题，随着深度学习的兴起，单图像视图合成问题受到了相当大的关注。尽管这种方法对用户来说更容易实现，但由于没有足够的信息来估计场景中对象的位置，因此这对于系统来说是一个具有挑战性的应用。
为了训练深度学习网络基于单个输入图像生成新视图，他们向网络展示了一大组图像和相应的新视图图像。虽然这是一个艰巨的过程，但随着时间的推移，网络会学会如何处理它。这种方法的一个重要方面是对输入场景建模，使训练过程更有利于网络运行。但是在最初的实验中，卡兰塔里和李没有办法做到这一点。
卡兰塔里说:“我们意识到场景表现对有效训练网络至关重要。
为了使训练过程更易于管理，研究人员将输入图像转换成多平面图像，这是一种分层的3D表示。首先，他们根据场景中的物体将图像分解成不同深度的平面。然后，为了从一个新的视点生成场景的照片，他们以特定的方式将平面移动到彼此的前面，并将它们组合在一起。使用这种表示，网络学会推断场景中对象的位置。
为了有效地训练网络，卡兰塔里和李将它引入了包含2000多个独特场景的数据集，这些场景包含各种对象。他们证明，他们的方法可以产生高质量的各种sc enes的新颖视图图像，比以前的最先进的方法更好。
研究人员目前正致力于扩展他们合成视频的方法。由于视频本质上是一堆按顺序快速播放的单个图像，因此他们可以应用他们的方法在不同时间独立生成这些图像中每一个的新颖视图。但是当新创建的视频被回放时，画面会闪烁，并且不一致。
卡兰塔里说:“我们正在努力改进这方面的方法，使其适合从不同的角度生成视频。
单一图像视图合成方法也可用于生成重新聚焦的图像。它还可能用于虚拟现实和增强现实应用，如视频游戏和各种软件类型，允许您探索特定的视觉环境。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
