加州大学洛杉矶分校技术进步工程学院 加州大学洛杉矶分校的研究人员创造了一个单像素机器视觉系统，它可以将物体的空间信息编码到光谱中，对输入的物体进行光学分类，并使用单像素检测器重建它们的图像
信用:Ozcan Lab @ UCLA
机器视觉系统有许多应用，包括自动驾驶汽车、智能制造、机器人手术和生物医学成像等
这些机器视觉系统大多使用基于镜头的相机，在捕获图像或视频(通常每帧有几百万像素)后，使用数字处理器来执行机器学习任务，例如对象分类和场景分割
这种传统的机器视觉体系结构有几个缺点
首先，大量的数字信息使得很难实现高速的图像/视频分析，尤其是使用移动和电池供电的设备
此外，捕获的图像通常包含冗余信息，这给数字处理器带来了很高的计算负担，造成了功率和内存需求方面的低效率
此外，在可见光波长之外，制造高像素数量的图像传感器，例如我们的手机摄像头，具有挑战性且昂贵，这限制了标准机器视觉方法在较长波长(例如光谱的太赫兹部分)的应用
加州大学洛杉矶分校的研究人员报道了一种新的单像素机器视觉框架，该框架提供了一种解决方案来减轻传统机器视觉系统的缺点和低效
他们利用深度学习来设计由连续衍射表面创建的光学网络，以在输入光穿过这些特殊设计和3D制造的层时执行计算和统计推断
与常规的基于透镜的照相机不同，这些衍射光学网络被设计成处理选定波长的入射光，目的是将输入物体的空间特征提取并编码到由单像素检测器收集的衍射光的光谱上
不同的对象类型或数据类别被分配给不同的光波长
输入对象被自动光学分类，仅仅使用由单个像素检测的输出光谱，绕过对图像传感器阵列或数字处理器的需要
通过耦合到衍射网络的单像素检测器，这种全光学推理和机器视觉能力在帧速率、内存需求和能效方面提供了变革性优势，这对于移动计算应用尤为重要
在《科学进展》杂志上发表的一项研究中，加州大学洛杉矶分校的研究人员通过使用单像素检测器和3D打印衍射层对手写数字图像进行分类，实验证明了他们的框架在太赫兹波长下的成功
输入对象(手写数字)的光学分类是基于十个波长中的最大信号来执行的，这十个波长被一个接一个地分配给不同的手写数字(0到9)
尽管使用了单像素检测器，但光学分类精度仍达到96%以上
使用3D打印衍射层的实验性概念验证研究显示了与数值模拟的紧密一致性，证明了单像素机器视觉框架对于构建低延迟和资源高效的机器学习系统的有效性
除了物体分类，研究人员还将同一个单像素衍射光学网络与一个简单的浅层电子神经网络连接起来，仅基于在十个不同波长检测到的功率，快速重建输入物体的图像，演示特定任务的图像解压缩
这种单像素对象分类和图像重建框架可以为开发新的机器视觉系统铺平道路，该系统利用对象信息的光谱编码以资源高效的方式实现特定的推理任务，具有低延迟、低功耗和低像素计数
这一新框架还可以扩展到各种光谱域测量系统，如光学相干断层扫描、红外光谱等，以创建全新的3D成像和传感模式，集成基于衍射网络的光谱和空间信息编码
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
