如果首席小提琴手(左上角)看着她的相机，音乐人会觉得她在看着他们所有人。但是凝视追踪系统显示她在看沃尔特(第二排中间)，并用提示“沃尔特”标记音乐会主持人的视频，这样全班都知道预期的凝视接收者。当他看着另一个音乐家时，提示会不断更新——与乐队建立非语言交流。学分:加州大学圣地亚哥分校加州大学圣地亚哥分校娱乐和学习研究中心(CREL)的研究人员开发了一个分析和跟踪眼球运动的系统，以加强未来虚拟教室——也许还有未来虚拟音乐厅——的教学。加州大学圣地亚哥分校音乐和计算机科学教授什洛莫·杜布诺夫是一名计算机音乐专家，他领导着总部位于高通学院的CREL大学，他开始开发这种新工具，以应对新冠肺炎大流行期间通过Zoom教授音乐带来的负面影响。
杜布诺夫说:“在音乐教室里，面部表情和肢体动作等非语言交流对于让学生专注于任务、协调音乐流和交流即兴想法至关重要。“不幸的是，在虚拟教室里，教与学的这种非语言方面受到了极大的阻碍，在虚拟教室里，你不能居住在同一个物理空间里。”
为了克服这个问题，杜布诺夫和博士生罗斯·格里尔最近发表了一篇关于一个系统的会议论文，该系统使用眼睛跟踪和机器学习，允许教育工作者与不同地点的单个学生或表演者进行“眼睛接触”，并让每个学生知道他或她何时是老师的注意力焦点。
研究人员建立了一个原型系统，并通过Zoom在加州大学圣地亚哥分校的虚拟音乐课上进行了一项试点研究。
加州大学圣地亚哥分校雅各布斯工程学院的电气和计算机工程博士研究生格里尔解释说:“我们的系统使用摄像头捕捉演讲者的眼球运动，以跟踪他们在屏幕上看的位置。“我们将屏幕分成91个正方形，在确定了老师的脸和眼睛的位置后，我们想出了一种‘凝视估计’算法，可以提供老师在看哪个盒子——也就是哪个学生——的最佳估计。”
当系统识别出老师正在看的地方的变化时，算法确定学生的身份，并在屏幕上标记他或她的名字，这样每个人都知道演讲者在关注谁。
在试点研究中，杜布诺夫和格里尔发现该系统在估计演讲者的凝视方面非常准确——在27.5 x 13英寸(70x39cm厘米)的屏幕上，设法到达正确点的四分之三英寸(2厘米)以内。“原则上，”格里尔告诉《新科学家》杂志，“如果有足够的高质量数据，该系统应该能在小屏幕上很好地工作。”
根据杜布诺夫的说法，一个缺点是:主持人离摄像机越远，眼睛就越小，越难跟踪，导致对凝视的估计越不准确。然而，随着更好的训练数据、更高质量的相机分辨率以及在跟踪面部和身体姿势方面的进一步进步，他认为该系统甚至可以允许指挥远程挥舞指挥棒并指挥分布式交响乐团——即使每个音乐家都在其他地方。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
