机器人遥操作利用来自互联网的被动数据来实现机器人灵巧手在野外的实时遥操作。鸣谢:西瓦库马，肖&帕塔克律师事务所。在过去的几十年里，计算机科学家已经开发出越来越先进的技术来训练和操作机器人。总的来说，这些方法可以促进机器人系统在越来越广泛的现实世界环境中的集成。Car negie Mellon大学的研究人员最近创建了一个新系统，允许用户远程控制机器人手和手臂，只需在摄像机前演示他们希望它复制的动作。在arXiv上预先发表的一篇论文中介绍的这个系统，可以为机器人在日常设置和人类无法进入的环境中完成任务的远程操作和远程训练开辟令人兴奋的可能性。
开发新系统的研究人员之一Deepak Pathak告诉TechXplore说:“这一领域以前的工作要么依赖于手套，运动标记，要么依赖于校准的多摄像头设置。”“相反，我们的系统使用单个未校准的摄像机工作。由于不需要校准，用户可以站在任何地方，仍然可以成功地遥控机器人。”
Pathak和他的同事开发的新系统基于一种模型，这种模型可以将人手的运动转化为一系列指令，然后指导机器人的运动。值得注意的是，该模型仅在一系列YouTube视频上进行训练，在这些视频中，人类执行动作并与不同的对象进行交互。
机器人完成各种灵巧的任务，由专家操作员使用机器人遥控系统遥控操作。来源:Sivakumar，Shaw & Pathak“大量被动视频数据的多样性有助于它在未经训练的用户、任务和对象之间工作，”Pathak解释道。“我们的系统提供了一种通过演示来教授机器人的低成本、自然的方式，而不是通过动觉来握住机器人或戴上手套或动作捕捉服。”
通过分析单一的二维(2D)图像，研究人员的系统可以推导出人的手和手臂在三维(3D)空间中进行的运动。随后，它重新瞄准人类的手部关节，以匹配机器人的手部关节，从而再现相同的动作。
“由于人类和机器人的手在形状、大小和结构上不同，这种转换受到限制，特别是在单一图像的情况下。”参与该项目的两名学生阿拉温德·西瓦库玛和肯尼·肖解释说。“我们的关键见解是，虽然收集配对的人机通信数据成本高昂，但互联网包含大量丰富多样的人手视频。”
为了仅使用被动视频数据训练他们的系统，研究人员建立了几十年的研究，专注于3D人体姿势估计和计算机视觉。他们的初步结果非常有希望，因为他们发现他们的系统可以允许未经训练的用户远程操作机器人，并远程完成不同的灵巧操作任务。
鸣谢:Sivakumar，Shaw & Pathak“就我个人而言，最令我兴奋的部分是将多样化的互联网数据用于机器人，”Pathak说。“希望我们最近的工作只是未来许多方向中的一个，在这些方向中，除了机器人视觉之外，互联网视频还可以作为机器人控制的丰富监督来源。”
要使用这个研究小组开发的系统，用户只需站在一个RGB摄像头前，并执行他们希望机器人复制的手或手臂运动。由于它非常容易使用，不需要复杂的设备，该系统最终可以用来解决许多现实世界的问题。
“机器人心灵遥控和类似技术将使机器人教学能够在更广泛的环境中进行，包括在家庭中，在那里它们将被期望执行日常任务。Pathak补充说，“只使用一台未校准的摄像机，我们的系统理论上可以从世界上的任何地方进行控制，因此它使任何人都可以更容易地进行机器人教学。我们现在正在使用我们的机器人遥控系统收集大规模数据，以教会机器人在现实世界中自主行动和适应。"
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
