OpenRooms通过输入图像或扫描创建逼真的合成场景，对形状、材质和照明进行前所未有的控制。学分:加州大学圣地亚哥分校加州大学圣迪ego分校的计算机科学家发布了OpenRooms，这是一个新的开源数据集，带有工具，将帮助用户操纵室内3D场景中的对象、材料、照明和其他属性，以推进增强现实和机器人技术。加州大学圣地亚哥分校计算机科学与工程系教授曼莫汉·钱德勒克尔说:“这是一项巨大的努力，包括我所在小组的11名博士和硕士学生以及加州大学圣地亚哥分校和Adobe的合作者。“这是一项重要的发展，在计算机视觉、图形、机器人和机器学习方面具有巨大的潜在影响学术界和工业界。”
OpenRooms数据集和相关更新可在本网站上公开获取，相关技术细节在5月CVPR 2021上提交的相关论文中有所描述。
应用程序
OpenRooms让用户可以根据自己的喜好逼真地调整场景。如果一个家庭想要想象一个厨房改造，他们可以改变台面材料，照明或房间里的几乎任何东西。
Chandraker说:“有了OpenRooms，我们可以按像素计算场景中所有关于3D形状、材质和照明的知识。“人们可以给一个房间拍照，并插入和操纵虚拟物体。他们可以看看皮椅子，然后把材料换成纤维椅子，看看哪一个看起来更好。”
OpenRooms甚至可以展示椅子在白天窗户的自然光下或晚上在灯下的样子。它还可以帮助解决rob otics的问题，例如接管具有不同摩擦轮廓的地板的最佳路线。这些能力在模拟通信中引起了很大的兴趣，因为以前，数据是专有的，或者没有类似的照片真实性。
“这些工具现在以真正民主的方式提供，”钱德勒克尔说，“为照片真实感增强现实和机器人应用提供了可访问的资产。”
让增强现实更加真实
Chandraker的团队使用计算方法来理解视觉世界。他们特别关注形状、材料和照明如何相互作用形成图像。
“我们本质上想了解世界是如何创造的，以及我们可以如何对它采取行动，”他说。“我们可以将对象插入现有场景或推进自动驾驶，但要做这些事情，我们需要了解场景的各个方面，以及它们如何相互作用。”
这种深刻的理解对于在混合现实中实现照片真实感至关重要。将一个物体插入场景需要推理不同光源的阴影、其他物体投射的阴影或周围场景的内反射。该框架还必须处理场景的不同部分之间类似的远程交互，以在复杂的室内场景中改变材料或照明。
好莱坞通过基于测量的平台来解决这些问题，比如在龙门框架内拍摄演员安迪·席克斯，并将这些图像转换成《指环王》三部曲中的咕鲁。实验室希望在没有昂贵系统的情况下实现类似的效果。
开源工具箱
为了达到目的，这个团队需要找到创造性的方法来表现形状、材料和灯光。但是获取这些信息可能会很耗时、需要大量数据并且成本高昂，尤其是在处理复杂的室内场景时，这些场景的特点是家具和墙壁具有不同的形状和材料，并且由多个光源照明，例如窗户、顶灯或灯。
钱德勒克尔说:“我们必须测量房间里每一点的光线和材料特性。“这是可行的，但无法扩展。”
OpenRooms使用合成数据来渲染这些图像，这为提供地面真实几何图形、材料和照明提供了一种准确且廉价的方法。这些数据可用于训练强大的深度神经网络，以估计真实图像中的这些属性，从而实现逼真的对象插入和材料编辑。
这些可能性在2020年的一次口头报告中得到了证明，李是钱德勒卡建议的五年级博士生，也是OpenRooms论文的第一作者。该软件提供了自动化工具，允许用户拍摄真实图像，并将其转换为逼真的合成图像。
“我们正在创建一个框架，用户可以使用他们的手机或3D扫描仪来开发数据集，从而实现他们自己的增强现实应用，”钱德勒克尔说。"他们可以简单地使用扫描或成套照片."
Chandraker和他的团队的部分动机是需要创建一个公共领域平台。大型科技公司拥有巨大的资源来创建培训数据和其他IP，这使得小玩家很难站稳脚跟。
最近，一家名为“5D计划者”的立陶宛公司起诉了脸书和普林斯顿，声称他们非法使用了该公司的专有数据，这就说明了这一点。
“你可以想象这样的数据对许多应用程序来说真的很有用，”钱德勒克尔说。“但这一领域的进展仅限于少数大玩家，他们有能力进行这类复杂的测量，或者使用艺术家创造的昂贵资产。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
