使用EventDrop增强事件的示例。为了更好地可视化，事件框架表示用于可视化增强事件的结果。功劳:顾等事件传感器，如事件相机和NeuTouch触觉传感器，是模拟大脑中自然发生的事件驱动通信机制的复杂生物启发设备。与传统的传感器(例如RGB相机)相反，传统的传感器被设计成以固定的速率同步捕捉场景，事件传感器可以异步捕捉场景中发生的变化(即事件)。例如，DVS相机可以捕捉单个像素随时间的亮度变化，而不是像传统的RGB相机那样收集亮度图像。事件传感器与传统的传感技术相比具有许多优势，包括更高的动态范围、更高的时间分辨率、更低的时间延迟和更高的功率效率。
由于其众多的优势，这些受生物启发的传感器已经成为众多研究的焦点，包括旨在训练深度学习算法来分析事件数据的研究。虽然已经发现许多深度学习方法在涉及事件数据分析的任务中表现良好，但是当它们被应用于新数据(即，不是它们最初被训练的数据)时，它们的性能会显著下降，这是一个被称为过度拟合的问题。
重庆大学、新加坡国立大学、德国航空航天中心和清华大学的研究人员最近创建了EventDrop，这是一种增加异步事件数据和限制过度拟合不利影响的新方法。这种方法在arXiv上预先发表的一篇论文中介绍，并将在7月的2021年国际人工智能联合会议(IJCAI-21)上展示，可以提高基于事件数据训练的深度学习模型的泛化能力。
开发EventDrop的研究人员之一古告诉TechXplore:“深度学习中一个具有挑战性的问题是过度拟合，这意味着一个模型可能在训练数据上表现出出色的性能，但在对照新的和未见过的数据进行验证时，性能会显著下降。”。“过拟合问题的一个简单解决方案是显著增加标记数据的数量，这在理论上是可行的，但在实践中可能成本过高。在学习事件数据时，过拟合问题更为严重，因为事件数据集相对于传统数据集(如ImageNet)仍然很小。”
众所周知，数据增强是一种有效的技术，可以生成人工数据，并提高深度学习模型在应用于新数据集时的泛化能力。图像数据的增强技术的例子包括平移、旋转、翻转、裁剪、剪切和改变对比度/清晰度。
EventDrop使用的策略，其中t表示时间维度，x表示像素坐标(为清晰起见，此处仅显示一个维度)。黑点代表原始事件，蓝点是要丢弃的事件。红色虚线表示阈值边界。异步触发的原始事件。随机投放策略。按时间递减战略。分地区战略。Credit: Gu等.事件数据与类帧数据(如静态图像)有显著差异。因此，为类似帧的数据开发的扩充技术通常也不能用于扩充异步事件数据。考虑到这一点，顾和他的同事创建了EventDrop，这是一种专门用于增加异步事件数据的新技术。
“我们的工作有两个动机，”顾说。“首先，在相同的照明条件下，同一场景的事件摄像机的输出可能会随着时间的推移而发生显著变化。这可能是因为事件摄像机有些嘈杂，事件通常在场景变化达到或超过阈值时触发。通过随机丢弃一定比例的事件，可以提高事件数据的多样性，从而提高下游应用程序的性能。”
激发EventDrop发展的第二个观察结果是，当在真实数据上完成某些任务时，例如对象识别和跟踪，深度学习算法处理的图像中的场景可以被部分遮挡。因此，机器学习算法在不同数据之间进行良好概括的能力高度依赖于它们所训练的数据在遮挡方面的多样性。
换句话说，训练数据应该理想地包含具有不同遮挡程度的图像。然而，不幸的是，大多数可用的训练数据集在遮挡方面的差异有限。
“在遮挡方差有限或没有(完全可见)遮挡方差的数据上训练的机器学习模型可能在部分遮挡的新样本上泛化能力较差，”顾解释道。“通过生成模拟部分遮挡情况的新样本，该模型能够更好地识别部分遮挡的对象。”
EventDrop通过“丢弃”用各种策略选择的事件来增加训练数据的多样性(例如，模拟不同级别的遮挡)。为了“丢弃”事件，它采用了三种策略，称为随机丢弃、按时间丢弃和按区域丢弃。第一种策略为噪声事件数据准备模型，而另外两种策略模拟图像中的遮挡。
将事件转换为流行事件表示的通用框架。原始的异步事件可以通过量化或学习(例如，神经网络)转换成类似帧的数据。Credit: Gu等人“随机投放的基本目标是在序列中随机投放一定比例的事件，以克服来自事件传感器的噪声，”Gu说。“Drop by time是指通过尝试增加训练数据的多样性，模拟对象在一定时间段内被部分遮挡的情况，来丢弃在随机时间段内触发的事件。最后，逐区域丢弃在随机选择的像素区域内触发的事件，同时还试图通过模拟对象的某些部分被部分遮挡的各种情况来提高数据的多样性。”
该技术易于实现，计算成本低。此外，它不需要任何参数学习，因此可以应用于涉及事件数据分析的各种任务。
“据我们所知，EventDrop是第一个通过丢弃事件来增加异步事件数据的方法，”顾说。“它可以处理事件数据，并处理传感器噪声和遮挡。通过丢弃用各种策略选择的事件，它可以增加训练数据的多样性(例如，模拟各种级别的遮挡)。”
EventDrop可以显著提高深度学习算法在不同事件数据集上的泛化能力。此外，它可以在深度神经网络和脉冲神经网络中增强基于事件的学习。
研究人员使用两个不同的事件数据集(称为N-Caltech101和N-Cars)在一系列实验中评估了EventDrop。他们发现，通过丢弃事件，他们的方法可以显著提高不同深度神经网络在对象分类任务上的准确性，对于他们使用的两个数据集都是如此。
“虽然在我们的论文中，我们展示了我们的方法在基于事件的深度网络学习中的应用，但它也可以应用于基于社交网络的学习，”顾说。“在我们未来的工作中，我们将把我们的方法应用到其他基于事件的学习任务中，以提高鲁棒性和可靠性，例如视觉惯性里程计、位置识别、姿态估计、交通流量估计以及同时定位和映射。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
