机器人回眸一笑:伊娃从一台实时直播的流媒体摄像机中实时模仿人类的面部表情。整个系统是在没有人为标签的情况下学习的。Eva学习两种基本能力:1)预测如果自己做出观察到的面部表情，会是什么样子，这就是自我形象；2)将想象中的脸映射到身体动作上。信用:创意机器实验室/哥伦比亚工程公司虽然我们的面部表情在建立信任方面发挥着巨大的作用，但大多数机器人仍然保持着职业扑克玩家的空白和静态面孔。随着机器人在从养老院到仓库和工厂等需要机器人和人类密切合作的地方的使用越来越多，对反应更灵敏、表面更逼真的机器人的需求变得越来越迫切。哥伦比亚工程大学创意机器实验室的研究人员长期以来对机器人和人类之间的互动感兴趣，他们已经工作了五年来创造EVA，这是一种新的自主机器人，它有一张柔软而富有表情的脸，可以做出反应来匹配附近人类的表情。这项研究将在2021年5月30日的ICRA会议上展示，机器人蓝图是在Hardware-X上开源的(2021年4月)。
创新(机械工程)教授、创意机器实验室主任霍德·利普森(Hod Lipson)、詹姆斯和莎莉·斯卡帕(James and Sally Scapa)说:“EVA的想法在几年前形成，当时我和我的学生们开始注意到，我们实验室的机器人正通过塑料的、粘粘的眼睛盯着我们。
利普森在杂货店观察到了类似的趋势，在那里他遇到了戴着名牌的补货机器人，有一次，机器人戴着舒适的手工编织的帽子。“人们似乎通过给机器人同事一双眼睛、一个身份或一个名字来人性化他们，”他说。“这让我们想知道，如果眼睛和衣服都起作用，为什么不制造一个拥有超表现力和反应灵敏的人脸的机器人呢？”
虽然这听起来很简单，但创造一张令人信服的机器人脸对机器人学家来说是一个巨大的挑战。几十年来，机器人的身体部分一直由金属或硬塑料制成，这些材料太硬，无法像人体组织那样流动和移动。机器人硬件也同样粗糙且难以操作——电路、传感器和电机笨重、耗电且体积庞大。
该项目的第一阶段始于几年前李普森的实验室，当时本科生赞瓦尔·法拉吉(Zanwar Faraj)带领一组学生建造了r obot的物理“机器”他们将伊娃塑造成一个无实体的半身像，与蓝人乐团无声但表面生动的表演者非常相似。EVA可以表达愤怒、厌恶、恐惧、喜悦、悲伤和惊讶这六种基本情绪，以及一系列更细致入微的情绪，方法是使用人工“肌肉”(即电缆和马达)拉动EVA面部的特定点，模仿附着在人类面部皮肤和骨骼不同点的42多块微小肌肉的运动。
法拉吉指出:“创造经济增加值的最大挑战是设计一个足够紧凑的系统，既能容纳在人类头骨的范围内，又能产生广泛的面部表情。”。
数据收集过程:伊娃正在通过记录从前置摄像头看起来的样子来练习随机面部表情。credit:Creative Machines Lab/Columbia Engineering为了克服这一挑战，该团队严重依赖3D打印来制造复杂形状的零件，这些零件与EVA的头骨无缝、高效地集成在一起。在用力拉电缆让伊娃微笑、皱眉或看起来不高兴之后，研究小组注意到伊娃蓝色的、没有实体的脸会引起他们实验室同伴的情绪反应。利普森回忆说:“有一天，我正在专心做自己的事，伊娃突然给了我一个大大的、友好的微笑。"我知道这纯粹是机械的，但我发现自己本能地回以微笑。"
一旦团队对伊娃的“机制”感到满意，他们就开始着手项目的第二个主要阶段:为人工智能编程，指导伊娃的面部动作。虽然lifeli ke animatronic机器人已经在主题公园和电影制片厂使用了多年，但利普森的团队取得了两项技术进步。EVA使用深度学习人工智能进行“阅读”，然后将表情镜像到附近的呼玛人脸上。而且EVA模仿各种不同人类面部表情的能力是通过反复试验从观看视频中学习到的。
最难自动化的人类活动包括发生在复杂社会环境中的非重复性身体运动。李普森的博士生袁波·陈领导了这个项目的软件阶段，他很快意识到伊娃的面部动作是一个非常复杂的过程，无法由预先定义的规则来控制。为了应对这一挑战，陈和第二组学生利用几个深度学习神经网络创建了伊娃的大脑。机器人的大脑需要掌握两个能力:第一，学会使用自己复杂的机械肌肉系统来产生任何特定的面部表情，第二，通过“阅读”人类的面部来知道要做出哪些面部表情。
为了让伊娃知道自己的脸是什么样的，陈和团队拍摄了几个小时伊娃随意做鬼脸的镜头。然后，就像人类在Zoom上看自己一样，EVA的内部神经网络学会了将肌肉运动与自己脸部的视频片段配对。现在，EVA对自己的脸是如何工作的有了一个原始的感觉(被称为“自我形象”)，它使用第二个网络将自己的自我形象与摄像机捕捉到的人脸图像进行匹配。经过几次改进和迭代，伊娃获得了从相机中读取人脸手势的能力，并通过镜像该人的面部表情来做出反应。
研究人员指出，EVA是一项实验室实验，仅模仿就与人类使用面部表情进行交流的复杂方式相去甚远。但这种赋能技术有朝一日可能会有有益的现实应用。例如，能够对各种人体语言做出反应的机器人在工作场所、医院、学校和家庭中都很有用。
利普森说:“我们人类与基于云的聊天机器人或脱离实体的智能家居扬声器进行情感交流的能力是有限的。"我们的大脑似乎对具有某种可识别的物理存在的机器人反应良好。"
陈补充道，“机器人在我们的生活中以越来越多的方式交织在一起，因此在人和机器之间建立信任变得越来越重要。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
