帧间匈牙利算法确保来自相同物体的连续帧的雷达反射仍然被标记，即使YOLO间歇地失败。鸣谢:仙谷由人，吉泽&曹。近年来，机器人专家和计算机科学家已经开发了一系列系统，这些系统可以探测周围环境中的物体，并据此导航。这些系统大多基于在大型图像数据集上训练的机器学习和深度学习算法。尽管现在有大量用于训练机器学习模型的图像数据集，但包含使用雷达传感器收集的数据的图像数据集仍然很少，尽管雷达比光学传感器具有明显的优势。此外，许多可用的开源雷达数据集不容易用于不同的用户应用程序。
亚利桑那大学的研究人员最近开发了一种新方法，可以自动生成包含标记雷达数据的数据集——相机图像。这种方法发表在IEEE Robotics and Automation Letters上的一篇论文中，使用了一种对相机图像流的高度精确的对象检测算法(称为YOLO)和一种关联技术(称为匈牙利算法)来标记雷达点云。
“使用雷达的深度学习应用需要大量标记的训练数据，而标记雷达数据不是微不足道的，这是一个极其耗时耗力的过程，主要是通过手动将其与并行获得的图像数据流进行比较来完成的，”亚利桑那大学的博士生兼该研究的主要研究员Arindam Sengupta告诉TechXplore。“我们的想法是，如果摄像机和雷达正在观察同一个物体，那么我们可以利用基于图像的物体检测框架(我们的例子是YOLO)来自动标记雷达数据，而不是手动观察图像。”
自动标记算法在亚利桑那州图森市的一个交通路口获得的真实摄像机雷达数据上工作。鸣谢:仙谷由人，吉泽&曹。Sengupta和他的同事介绍的方法的三个特征是它的联合校准、聚类和关联能力。该方法联合校准雷达及其相机，以确定雷达检测到的物体位置如何转换为相机的数字像素。
“我们使用基于密度的聚类方案(DBSCAN)来a)检测和消除噪声/杂散雷达回波；和b)在群集中分离雷达回波，以区分不同的对象，”Sengupta说。最后，帧内和帧间匈牙利算法(HA)用于关联。帧内HA将YOLO预测与给定帧中的联合校准雷达簇相关联，而帧间HA将连续帧中属于同一物体的雷达簇相关联，以考虑标记帧中的雷达数据，即使当光学传感器间歇性故障时也是如此。”
在未来，这组研究人员引入的新方法可能有助于自动生成雷达相机和纯雷达数据集。此外，在他们的论文中，该团队探索了基于雷达-相机传感器融合方法和仅由雷达收集的数据的概念证明分类方案。
“我们还建议使用有效的12维雷达特征向量，通过结合空间、多普勒和RCS统计数据来构建，而不是传统的仅使用点云分布或仅使用微多普勒数据，”Sengupta说。
最终，Sengupta和他的同事最近进行的研究可能会为快速调查和训练基于深度学习的模型开辟新的可能性，以便使用传感器融合对物体进行分类或跟踪。这些模型有助于增强众多机器人系统的性能，从自动驾驶汽车到小型机器人。
导致帧内YOLO-雷达关联的步骤，然后导致雷达簇被标记。鸣谢:仙谷由人，吉泽&曹。“我们在亚利桑那大学的实验室针对自主，医疗保健，国防和交通领域进行了数据驱动的毫米波雷达研究，”亚利桑那大学助理教授兼该研究的首席研究员Siyang Cao博士告诉TechXplore。“我们正在进行的一些研究包括研究基于鲁棒传感器融合的跟踪方案，以及使用经典信号处理和深度学习进一步改善独立的毫米波雷达感知。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
