图1:实时NLOS虚拟图像处理流水线。成像系统将虚拟相量场(PF)信号发送到可视墙壁，并捕获从隐藏场景返回墙壁的信号。大质量的原始光子流由单光子雪崩二极管阵列记录。来自所有通道的原始光子实际上被重新映射到一个完整的孔径中。然后，重新映射的数据被变换到频域(傅立叶域直方图，FDH)，并通过快速瑞利索末菲衍射(RSD)算法传播。最后，时间帧平均在整个重建体积中产生恒定的信噪比，并显示结果。credit:DOI:10.1038/s 41467-021-26721-x当智贤南慢慢将一个填充猫玩具抛向空中时，一段实时视频以20世纪的网络摄像头片段捕捉到了这一有趣的场景——每秒只有5帧。扭曲？Nam隐藏在镜头的角落里。这个毛绒动物的视频是通过捕捉从墙上反射到玩具上的光线，然后用一种被称为非视线成像的由科幻变成现实的技术拍摄回来的。
在每秒5帧的速度下，该视频是对最近隐藏场景成像的一个极快的改进，以前需要几分钟才能重建出静止图像。
新技术使用许多超快速和高灵敏度的光传感器和改进的视频重建算法，大大加快了显示隐藏场景所需的时间。制作该视频的威斯康星大学麦迪逊分校的研究人员表示，这一新进展为远近场景的可负担的真实应用打开了技术大门。
这些未来的应用包括救灾、医学成像和军事用途。这项技术还可以在拐角成像之外找到用途，比如改进自动车辆成像系统。这项工作由美国国防部高级研究计划局和国家科学基金会资助。
研究生纪铉南(左)和托安·勒在计算光学实验室与助理教授兼首席研究员安德烈亚斯·维尔滕合作。功劳:布莱斯·里克特安德烈亚斯·维尔滕，UW医学和公共卫生学院生物统计学和医学信息学教授，和他的团队在11月11日的《自然通讯》上发表了他们的发现。Nam，前Velten实验室博士生，是该报告的第一作者。UW-麦迪逊研究人员埃里克·布兰特和塞巴斯蒂安·鲍尔，以及意大利米兰理工大学的合作者，也对这项新研究做出了贡献。
十年前，Velten和他的前顾问首次展示了非视线成像。与其他基于光或声音的成像类似，这种技术通过将光线从表面反射回来并感知反射回来的回声来捕捉场景信息。但是要看到拐角处，该技术并不关注第一个回声，而是关注这些回声的反射。
“这基本上是回声定位，但使用额外的回声——就像混响一样，”维尔滕说，他也在电气和计算机工程系任职。
2019年，维尔滕的实验室成员证明，他们可以通过重新考虑如何处理系统的数学来利用现有的成像算法。新的数学允许他们使用激光快速扫描墙壁，作为一种“虚拟相机”，为隐藏的场景提供可见性。
重建场景的算法速度很快。该研究合著者萨弗基斯实验室的博士生布兰德进一步改进了处理隐藏场景数据的方法。但是早期非视线成像技术的数据收集非常缓慢，部分原因是光传感器通常只是一个像素。
当智贤南慢慢将一个填充猫玩具抛向空中时，一段实时视频捕捉到了这个有趣的场景——就在一个角落里。随着进一步的改进，这项技术可以应用于搜救、国防和医学成像。(注意:视频中含有闪烁的灯光，这可能是一些人的问题，包括患有光敏性癫痫或有偏头痛和头痛病史的人。) .学分:威斯康星大学麦迪逊分校为了推进实时视频，团队需要专门的光传感器——以及更多的光传感器。单光子雪崩二极管现在很普遍，甚至出现在最新的苹果手机上。它们能够探测单个光子，提供捕捉来自角落的非常微弱的光反射所需的灵敏度。但是商业垃圾邮件太慢了大约50倍。
Velten的实验室与意大利的同事合作，花了数年时间完善新的SPADss，这种SPAD可以分辨出相距50万亿分之一秒到达的光子之间的差异。这种超快的时间分辨率还提供了深度信息，允许进行三维重建。传感器也可以很快关闭和打开，有助于区分不同的反射。
“如果我向一面墙发射光脉冲，我会得到一个非常明亮的反射，但我不得不忽略它。我需要寻找来自隐藏场景的弱得多的光线，”维尔滕说。
通过使用28个SPAD像素，该团队可以以足够快的速度收集光线，只需一秒钟的延迟就能实现实时视频。
生成的视频是单色和模糊的，但能够在3D空间中解析运动和区分对象。在连续的场景中，Nam展示了这些视频可以解析足宽的字母，并在自然运动中识别出人类的四肢。投射的虚拟相机可以准确区分镜子和它反射的东西，这对真正的相机来说是一个技术挑战。
“玩我们的NLOS(非视线)成像设置真的很有趣，”南说。“站在隐藏的场景中，你可以跳舞、跳跃、做练习，还可以在监视器上实时看到自己的视频。”
虽然视频捕捉到的物体距离反射墙只有几米远，但同样的技术也可以用于拍摄数百米外的物体，只要它们足够大，可以在那个距离看到。
“如果你在一个黑暗的房间里，场景的大小不再受到限制，”维尔滕说。即使房间灯亮着，系统也能捕捉到附近的物体。
尽管Velten团队使用定制设备，但拐角成像所需的光传感器和激光技术无处不在，而且价格合理。经过进一步的工程改进，这项技术可以创造性地应用于许多领域。
Nam表示:“如今，你可以在iPhone 12等智能手机中找到集成的飞行时间传感器。“你能想象仅仅用手机在街角拍一张照片吗？仍然有许多技术挑战，但这项工作将我们带到了下一个层次，并打开了可能性。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
