Credit: Krishnan等全球机器人专家一直在努力开发自动无人驾驶飞行器(UAV)，这些飞行器可以在搜索和救援任务期间部署，也可以用于绘制地理区域地图和寻找来源。然而，为了自主操作，无人机应该能够在其环境中安全有效地移动。近年来，强化学习算法在实现机器人更大的自主性方面取得了非常有前途的成果。然而，大多数现有的RL技术主要集中在算法的设计上，而没有考虑其实际含义。因此，当算法应用于真实无人机时，它们的性能可能会有所不同或令人失望。
例如，由于许多无人机的机载计算能力有限，模拟训练的RL算法在应用于真实机器人时可能需要更长时间才能做出预测。这些更长的计算时间会使无人机更慢，反应更慢，这反过来会影响任务的结果或导致事故和碰撞。
哈佛大学和谷歌研究公司的研究人员最近开发了Air Learning，这是一个开源的模拟器和健身房环境，研究人员可以在其中为无人机导航训练RL算法。这种独特的环境发表在斯普林格·林克的《现实生活中的强化学习》特刊上，有助于提高自主无人机在现实环境中的性能。
开展这项研究的研究人员之一斯里瓦赞·克里希南(Srivatsan Krishnan)告诉TechXplore，“为了实现无人机的真正自主，有必要研究系统级方面，例如机载计算机的选择。“因此，我们研究的主要目标是提供基础模块，使研究人员能够全面评估这些自主算法。”
在空中学习中，无人机特工可以接触到具有挑战性的导航场景并接受相关培训。更具体地说，他们可以在三个关键环境中接受点对点避障任务的训练，使用两种称为深度Q网络(DQN)和最近策略优化(PPO)算法的训练技术。
克里希南说:“空中学习为以整体方式设计和评估自主算法提供了基础构件。“它提供了与OpenAI健身房兼容的环境生成器，将允许研究人员训练几种强化学习算法和基于神经网络的策略。”
在克里希南和他的同事开发的平台上，研究人员可以评估他们在各种飞行质量(QoF)指标下开发的算法的性能。例如，他们可以评估无人机在使用算法时消耗的能量，以及在使用资源受限的硬件(如树莓Pi)时的续航时间和平均轨迹长度。
克里希南说:“一旦他们的算法被设计出来，研究人员就可以使用硬件在环来插入一台嵌入式计算机，并评估自主算法的性能，就像它在一架装有该机载计算机的真实无人机上运行一样。使用这些技术，可以在设计过程的早期发现各种系统级性能瓶颈
当在空中学习上运行测试时，研究人员发现机载计算机的预测性能和实际功能之间通常存在差异。这种差异会影响无人机的整体性能，潜在地影响其部署、任务结果和安全性。
“虽然我们特别关注无人机，但我们相信我们使用的方法可以应用于其他自动驾驶系统，例如自动驾驶汽车，”克里希南说。“鉴于这些机载计算机是自主系统的大脑，因此缺乏如何设计它们的系统方法。为了高效地设计板载计算机，我们首先需要了解性能瓶颈，Air Learning提供了了解性能瓶颈的基础模块。”
未来，空中学习将成为评估RL算法的一个有价值的平台，该算法旨在实现无人机和其他机器人系统的自主操作。克里希南和他的同事们现在正在使用他们创建的平台来解决各种研究问题，从开发旨在完成特定任务的无人机到创建专门的机载计算机。
“强化学习是出了名的训练缓慢，”克里希南说。“人们通常通过投入更多的计算资源来加快RL培训，这对许多研究人员来说可能是昂贵的，也降低了进入门槛。我们的工作QuaRL(量化强化学习)使用量化来加速RL训练和推理。我们使用Air Learning展示了QuaRL在内存受限无人机上部署更大RL策略的现实应用。”
机载计算机充当自主系统的“大脑”，因此它们应该能够高效地运行各种算法。然而，设计这些计算机可能非常昂贵，并且缺乏系统的设计方法。因此，在接下来的研究中，克里希南和他的同事们还计划探索如何为自主无人机自动设计机载计算机，以降低成本并最大限度地提高无人机性能。
Krishnan说:“我们已经使用Air Learning针对不同的部署场景训练和测试了几种导航策略。“此外，作为自主应用研究的一部分，我们创造了一种完全自主的无人机来寻找光源。这项工作使用空中学习来训练和部署一种寻光策略，使其在一架微型微控制器驱动的无人机上运行。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
