新研究中的模拟机器人由网格上的软、硬和致动器“单元”组成，以不同的组合组装而成。信用:麻省理工CSAIL假设你想制造世界上最好的爬楼梯机器人。你需要对大脑和身体进行优化，也许可以给机器人一些高科技的腿和脚，加上一个强大的算法来实现攀爬。尽管身体和大脑的设计，即“控制”，是让机器人移动的关键因素，但现有的基准环境只支持后者。两个元素的协同优化很难——即使没有设计元素，也要花很多时间来训练各种机器人模拟来做不同的事情。
来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的科学家，旨在通过设计“进化健身房”(Evolution Gym)来填补这一空白，这是一个大规模的测试系统，用于共同优化软机器人的设计和控制，从自然和进化过程中获得灵感。
模拟器中的机器人看起来有点像柔软、可移动的俄罗斯方块，由网格上的软、硬和致动器“细胞”组成，承担行走、攀爬、操纵物体、变形和在密集地形中导航的任务。为了测试机器人的智能，该团队通过结合设计优化的标准方法和深度强化学习(RL)技术，开发了自己的协同设计算法。
协同设计算法的功能有点像力偶，其中设计优化方法进化机器人的身体，RL算法优化控制器(连接到ro机器人以控制运动的计算机系统)用于提议的设计。设计优化询问“设计表现如何？”控制优化会给出一个分数，看起来像是“行走”的5分
结果看起来像一个小机器人奥运会。除了像行走和跳跃这样的标准任务，研究人员还包括一些独特的任务，如攀爬、翻转、平衡和爬楼梯。
在30多种不同的环境中，机器人在简单的任务上表现出色，比如行走或搬运物品，但在更困难的环境中，比如抓东西和举东西，它们就表现不佳，这表明了当前协同设计算法的局限性。例如，有时优化后的机器人在许多任务中表现出团队称之为“令人沮丧”的明显非优化行为。例如，“捕手”机器人通常会向前俯冲，抓住落在它后面的一个落下的障碍物。
尽管机器人的设计是从零开始自主进化的，并且没有联合设计算法的先验知识，但在迈向更进化的过程中，它们通常会变得与现有的自然生物相似，同时表现优于手工设计的机器人。
该项目的首席研究员、麻省理工学院本科生贾格迪普·巴蒂亚(Jagdeep Bhatia)表示:“通过进化健身房，我们旨在推动机器学习和人工智能算法的边界。“通过创建一个注重速度和简单性的大规模基准，我们不仅创建了一种用于在强化学习和协同设计空间内交换想法和结果的通用语言，还使没有最先进计算资源的研究人员能够为这些领域的算法开发做出贡献。我们希望我们的工作能让我们离拥有像你我一样聪明的机器人的未来更近一步。”
在某些情况下，对于像人类一样学习的机器人来说，试错可以导致理解任务的最佳表现，这是强化学习背后的思想。在这里，机器人学会了如何通过获得一些有助于完成任务的信息来完成一项任务，比如推动一个街区，比如“看到”街区在哪里，以及附近的地形是什么样的。然后，机器人得到一些它做得有多好的测量(“奖励”)。机器人推的越多，奖励越高。机器人必须同时平衡探索(也许会问自己“我可以通过跳跃来增加我的奖励吗？”)和剥削(进一步探索增加奖励的行为)。
算法为不同设计提出的“细胞”的不同组合非常有效:一个进化成类似于一个有腿状结构的飞奔的马，模仿自然界中的东西。攀爬机器人进化出双臂和两个腿状结构(有点像猴子)来帮助它攀爬。升降机机器人像一个两指的抓手。
未来研究的一个途径是所谓的“形态发展”，即机器人在获得解决更复杂任务的经验后，逐渐变得更加智能。例如，你可以从优化一个简单的机器人行走开始，然后采用相同的设计，优化它的搬运，然后爬楼梯。随着时间的推移，与一开始就直接接受相同任务训练的机器人相比，机器人的身体和大脑会“变形”成能够解决更具挑战性任务的东西。
佛蒙特大学机器人学教授乔希·邦加德(Josh Bongard)说:“进化健身房是人工智能社区中日益增长的意识的一部分，即身体和大脑是支持智能行为的平等伙伴。“要弄清楚这种伙伴关系可以采取什么形式，还有很多工作要做。健身房就像是解决这类问题的重要工具。”
进化健身房是开源的，可以免费使用。这是设计出来的，因为研究人员希望他们的工作能启发新的和改进的代码设计算法。
巴蒂亚与麻省理工学院本科生霍利·杰克逊、麻省理工学院CSAIL博士生·田和以及麻省理工学院教授沃西奇·马图西克共同撰写了这篇论文。他们正在2021年神经信息处理系统会议上介绍这项研究。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
