无人机长曝光光绘“Siggraph”标志。功劳:Serpiva等人俄罗斯Sko lkovo科学技术研究所(Skoltech)的研究人员最近开发了一种用于人群交互的创新系统，该系统允许用户在复杂环境中直接控制一组机器人的运动。在arXiv上预先发表的一篇论文中介绍的这个系统是基于一个能够识别人类手势并相应调整无人机轨迹的界面。四旋翼飞机，即四旋翼无人机，可以长时间飞行，可能有许多有价值的应用。例如，它们可以用于在自然或偏远环境中捕捉图像或视频，可以帮助搜索和救援任务，并帮助将货物运送到特定地点。
然而，到目前为止，无人机很少用于这些应用，而是主要用于娱乐目的。其中一个原因是，未知环境中的复杂任务需要操作无人机的用户对复杂的算法和界面有基本的了解。
“例如，想象你自己是一名救援队成员，在一场至关重要的自然灾害后探索一栋建筑，”进行这项研究的斯科尔泰克的研究人员之一瓦列里·谢尔比瓦告诉TechXplore。“当你到达这个地方时，你不知道它的当前状态、平面图等。，所以如果你计划使用搭载手电筒和摄像头的无人机，你要么需要长时间坐着编程，要么只能靠自己的灵巧手来操作。”
与无人机在未知环境中的操作相关的挑战到目前为止极大地限制了它们的适用性。研究人员开始为专家和非专家用户创建一个可以简化无人机操作的系统。
“无人机如何被使用的另一个很好的例子是艺术行业，基于无人机的灯光秀和涂鸦绘画最近变得相当流行，”Serpiva说。“例如，今年3月，GENESIS公司在夜空中部署了3281架闪烁无人机，打破了之前的世界纪录。还有什么比让这样一场令人惊叹的表演变得互动，让观众能够实时改变群体飞行更有趣的呢？”
最近这项工作的主要目标是为无人机操作员提供一个更简单、更直观的界面，用于在已知和未知环境中控制大型机器人swa rms。该团队创建的系统被称为DronePaint，也可以在无人机的支持下用于实现美丽的艺术展示或制作艺术绘画。
Serpiva说:“我们的工作受到了之前开发的几个系统的启发，这些系统在艺术上集成了无人机，比如DroneGraffiti和bit无人机。“然而，DronePaint引入了一种新的方法来生成蜂群轨迹，背后有一个简单明了的想法:向蜂群传达所需路径的最直观的方法之一可能就是在空中绘制它，就像我们在迷宫谜题中绘制路径一样。”
研究人员开发的人机交互系统有三个主要模块，都基于深度神经网络。这些模块是:人-群界面、轨迹处理模块和群控制模块。
“当人类想要部署蜂群并给它下一个命令时，他/她会把自己放在摄像机前，食指朝上:对DronePaint来说，这是一个信号，表明是时候记录蜂群轨迹了，”Serpiva解释道。“在我们的工作中，我们设计了一个基于MediaPipe深度神经网络的轨迹绘制界面，该界面由谷歌团队开发，并在我们的数据集上进行了训练。”
用户通过DronePaint界面控制群的形成。功劳:Serpiva等无人机绘制轨迹界面允许用户为无人机群生成输入轨迹。操作员还可以实时观察他/她的绘图产生的轨迹，如果发现错误，可以将其删除。
用户生成的原始图纸不能直接应用于无人机，因为建议的路径需要首先由轨迹处理模块进行校正。在对绘制的轨迹进行滤波和插值后，该模块将其分成适合机器人的相等段，并将它导出的数据发送到无人机控制模块。
“每架无人机都携带一个LED环，环上有反光带，瞄准图像亮度，在更大范围内重复手绘图形。为了体验空中的光模式，我们使用延时视频模式来记录空中连续的光。“在开发DronePaint时，我们专注于多模式控制系统的核心思想，允许我们用有限的手势调整多个群体参数。”
该系统的无人机控制模块使用从轨迹处理模块接收的数据来生成执行给定轨迹所需的无人机命令。此外，它还能确保这些指令能产生延迟很少的稳健群体飞行。
Skoltech智能空间机器人实验室负责人、教授、博士Dzmitry Tsetserukou说:“我们研究背后的想法是让操作员尽可能轻松地导航蜂群。“合理的问题是为什么不使用语音识别。问题是嗡嗡声会产生强烈的噪音，损害声音感知。手势似乎是人类与无人机群互动的通用工具。有趣的是，像乌鸦这样的鸟会用手势指出事物，并相互交流。”
长曝光光绘的“SK”(斯柯达科技研究院)。功劳:Serpiva等人由Skoltech的这组研究人员引入的群控制界面是首批允许用户操作无人机并只需用手绘制路径就能为其生成轨迹的系统之一。这可以大大简化无人机的操作，让艺术家、搜救团队或其他非专业用户在工作中更容易使用无人机。
“例如，在设计艺术灯光表演时，操作员还可以从路径绘制切换到形状校正，并调整群体大小或形状，类似于我们在图形应用程序中调整画笔的方式，”Serpiva说。“我们论文中提出的交互场景(例如，艺术绘画和环境探索)肯定可以受益于顺序手势控制的优势，以保持队形控制，同时直观地绘制swa rm轨迹，这不适用于直接遥操作。”
DronePaint系统可以很容易地被世界各地的用户访问和使用，因为它是一个软件工具包，不需要使用可穿戴设备或其他系统。在一系列初始测试中，Serpiva、Tsetserukou和他们的同事发现它能够以高准确率(99.75%)识别手势，并能成功产生各种群体行为。
Serpiva说:“我们可以通过多种方式拓宽研究范围，继续改进DronePaint技术。“不过，让我们关注一些关键点。首先，我们将尝试解决当前版本的系统在不同照明条件下可能存在的限制，例如低手检测率或模式识别延迟。此外，在未来，我们计划应用全身手势控制来增加命令的多样性，保持用户自然直观的控制过程。”
Serpiva、Tsetserukou和他们的同事现在计划增加用户能够使用该系统操作的无人机数量。最终，这可能会解锁新功能，例如允许用户使用相同的手势控制界面在3D环境中绘制或构建无人机结构。
到目前为止，研究人员避免了手套等可穿戴触觉反馈设备的集成，因为这与他们开发的技术的核心思想相矛盾。因此，他们目前正试图设计策略，以改善用户对受控空间和距离的感受，而不涉及外部庞大的设备。
“未来，我们还计划利用身体质量指数设计系统，从后顶叶皮层(PPC)读取想象中的手势，”Tsetserukou说。“有了DNN对神经活动模式的解码，我们不仅可以潜在地在某个方向上引导蜂群，还可以将swarm编队分成几部分，或者决定领先的无人机，以便其他无人机跟随它。每个代理的动态行为(速度、加速度、加加速度)可以与操作员的焦虑/平静程度相关联，以实现平稳的无人机轨迹。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
