显示研究人员任务规划框架组件的图表。鸣谢:Delmerico等人在过去的几十年里，工程师们已经创造出了具有日益先进的功能和能力的设备。近年来，一项设备性能得到了显著提高，这就是所谓的“空间计算”术语空间计算本质上是指计算机、机器人和其他电子设备“意识到”它们周围环境并创建其数字表示的能力。传感器和混合现实(MR)等尖端技术可以显著增强空间计算，从而创建复杂的传感和测绘系统。
微软混合现实和人工智能实验室以及苏黎世联邦理工学院的研究人员最近开发了一个新的框架，将MR和机器人技术结合起来，以增强空间计算应用。他们在一系列人机交互系统上实现并测试了这个框架，该框架在arXiv上预先发表的一篇论文中进行了介绍。
研究人员在论文中写道:“混合现实设备上空间计算和自我中心感测的结合使他们能够捕捉和理解人类的动作，并将这些动作转化为具有空间意义的动作，这为人类和机器人之间的合作提供了令人兴奋的新可能性。”“本文介绍了几个人-机器人系统，它们利用这些能力来实现新的机器人用例:用于检查的任务规划、基于手势的控制和沉浸式遥控操作。”
用户的空间网格视图，使用HoloLens捕捉并覆盖在真实世界上。鸣谢:Delmerico等人。这个研究小组设计的基于MR和机器人的框架在三个具有不同功能的不同系统上实现。值得注意的是，所有这些系统都需要使用HoloLens MR头戴式耳机。
第一个系统设计用于规划机器人任务，这些任务需要检查给定的环境。本质上，人类用户戴着HoloLens头戴式设备在他/她希望检查的环境中移动，放置全息图作为定义机器人轨迹的航路点。此外，用户可以突出显示希望机器人收集图像或数据的特定区域。这些信息经过处理和翻译，以便在机器人检查环境时，可以用来指导机器人的运动和行动。
研究人员提出的第二个系统是一个界面，允许人类用户更有效地与机器人互动，例如，使用手势控制机器人的运动。此外，该系统支持不同设备的协同定位，包括MR耳机、智能手机和机器人。
研究人员写道:“设备的协同定位要求它们都能够将自己定位到一个公共的参考坐标系中。”通过它们相对于该公共坐标框架的单独姿态，可以计算局部设备之间的相对变换，并随后用于实现设备之间的新行为和协作
该团队创建的第一个系统将HoloLens地图(上图)转换为2D占用网格表示，其坐标框架与网格的坐标框架对齐，以便使用激光雷达进行机器人定位。鸣谢:Delmerico等人为了共同定位设备，该团队引入了一个框架，确保系统中的所有设备共享彼此的相对位置和一个公共参考地图。此外，用户可以使用HoloLens耳机向机器人发出导航指令，只需执行一系列直观的手势。
最后，第三个系统支持沉浸式遥控操作，这意味着用户可以在查看周围环境的同时远程控制机器人。该系统在需要机器人在人类无法进入的环境中导航的情况下尤其有价值。
研究人员解释说:“我们探索了用户的动作向远程机器人的投射，以及机器人向用户反馈的空间感。”“我们考虑几个层次的沉浸感，基于触摸和操纵机器人的模型来控制它，以及更高层次的沉浸感，即成为机器人并将用户的动作直接映射到机器人。”
在最初的测试中，微软的Jeffrey Delmerico和他的同事提出的三个系统取得了非常有前景的结果，突出了使用MR来增强空间计算和人机交互的潜力。在未来，这些系统可以在许多不同的环境中引入，允许人类与机器人密切合作，有效地解决更广泛的复杂现实世界问题。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
