与现有方法不同，新方法抑制了灯光效果，并生成了更好的可见性增强结果。学分:耶鲁-国大学院Robby Tan计算机视觉技术越来越多地用于自动监控系统、自动驾驶汽车、面部识别、医疗保健和社交距离工具等领域。用户需要准确可靠的视觉信息来充分利用视频分析应用的优势，但视频数据的质量通常会受到环境因素的影响，例如下雨、夜间条件或人群(在场景中有多幅人物图像相互重叠)。利用计算机视觉和深度学习，由同样来自新加坡国立大学(NUS)工程学院的Yale-NUS College Science副教授(计算机科学)Robby Tan领导的研究团队开发了新的方法，解决了由下雨和夜间条件引起的视频中低水平视觉的问题，并提高了视频中3D人体姿态估计的准确性。这项研究发表在2021年计算机视觉和模式识别会议(CVPR)上，这是一个排名最高的计算机科学会议。
解决下雨和夜间条件下的能见度问题
夜间图像受弱光和人为灯光效果(如眩光、辉光和泛光灯)的影响，而雨水图像受雨水条纹或雨水积聚(或雨水纹理效果)的影响。
“许多计算机视觉系统，如自动监控和自动驾驶汽车，都依赖于输入视频的清晰可见性才能正常工作。例如，自动驾驶汽车在大雨中无法强劲工作，闭路电视自动监控系统在夜间经常失灵，尤其是在场景黑暗或有明显眩光或泛光灯的情况下，”阿索克教授谭解释道。
在两项独立的研究中，Assoc教授谭和他的团队引入了深度学习算法，分别提高夜间视频和雨天视频的质量。在第一项研究中，他们提高了亮度，但同时抑制了噪声和光效(眩光、辉光和泛光)，以产生清晰的夜间图像。这项技术是新的，解决了当gl的存在不可忽视时，夜间图像和视频清晰度的挑战。相比之下，现有的最先进的方法无法处理眩光。
如上所示的现有可见度增强和成像方法无法处理光效(例如眩光)并错误地增强它们。学分:耶鲁-新加坡国立大学(Yale-NUS College)罗比·谭(Robby Tan)在像新加坡这样的热带国家，大雨很常见，雨的面纱效应会显著降低视频的可见性。在第二项研究中，研究人员引入了一种采用帧对齐的方法，这使得他们能够获得更好的视觉信息，而不会受到随机出现在不同帧中并影响图像质量的雨条纹的影响。随后，他们使用移动相机进行深度估计，以消除由累积的雨滴造成的雨纱效应。与现有的专注于去除雨纹的方法不同，新方法可以同时去除雨纹和雨纹效果。
三维人体姿态估计:解决视频中多人重叠导致的不准确性
在会议上，阿索克教授谭还介绍了他的团队对3D人体姿态估计的研究，该研究可用于视频监控、视频游戏和体育广播等领域。
近年来，从单目视频(从单个摄像机拍摄的视频)中进行3D多人姿势估计正日益成为研究人员和开发人员关注的领域。单目视频不是使用多个摄像头从不同的位置拍摄视频，而是提供了更大的灵活性，因为这些可以使用单个普通摄像头拍摄，甚至是手机摄像头。
然而，人类检测的准确性受到高活动的影响，即同一场景中的多个个体，尤其是当个体密切交互时，或者当它们在单目视频中看起来彼此重叠时。
Top图像显示输入(现有方法)，中间图像显示去除雨纹的中间输出，底部图像显示使用Yale-NUS研究团队的新方法去除雨纹和雨纹效果的最终输出。在第三项研究中，研究人员通过结合两种现有的方法，即自上而下方法或自下而上方法，从视频中估计3D人体姿势。通过结合这两种方法，新方法可以在多人环境中产生更可靠的姿态估计，并且更稳健地处理个体之间的距离(或尺度变化)。
参与这三项研究的研究人员包括新加坡国立大学电气与计算机工程系的谭教授团队成员，以及来自香港城市大学、苏黎世联邦理工学院和腾讯游戏人工智能研究中心的合作者。他的实验室专注于计算机视觉和深度学习的研究，特别是在低水平视觉、人体姿势和运动分析以及深度学习在医疗保健中的应用等领域。
“作为我们由国家研究基金会支持的3D人体姿态估计研究的下一步，我们将研究如何保护视频的隐私信息。对于能见度增强方法，我们努力为计算机视觉领域的进步做出贡献，因为它们对许多可能影响我们日常生活的应用至关重要，例如使自动驾驶汽车能够在恶劣天气条件下更好地工作，”Assoc Tan教授说。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
