获取人们在看电视或看书时眼睛如何移动的数据是一个艰巨的过程——多亏了杜克工程公司的“虚拟眼睛”，元宇宙应用程序开发者现在可以跳过这个过程。鸣谢:杜克大学的计算机工程师Maria Gorlatova在杜克大学开发了虚拟眼睛，模拟人类如何准确地看待世界，足以让公司训练虚拟现实和增强现实程序。简称EyeSyn，该程序将帮助开发者为快速扩张的元宇宙创建应用程序，同时保护用户数据。这些结果已经被接受，并将在2022年5月4-6日举行的传感器网络信息处理国际会议(IPSN)上发表，这是一个关于网络传感和控制研究的领先年度论坛。
杜克大学的北电网络电子和计算机工程助理教授玛丽亚·戈拉托娃说:“如果你有兴趣通过观察一个人的眼睛来判断他是在看漫画书还是高级文学作品，你可以这样做。”
“但训练这种算法需要来自数百名每次佩戴耳机数小时的人的数据，”Gorlatova补充道。“我们希望开发的软件不仅能减少收集这类数据带来的隐私担忧，还能让没有这些资源的小公司参与到元宇宙的游戏中来。”
将眼睛描述为心灵之窗的诗意洞见至少从《圣经》时代就开始被重复了，这是有充分理由的:我们眼睛运动和瞳孔放大的微小动作提供了惊人的信息量。人类的眼睛可以揭示我们是否无聊或兴奋，注意力集中在哪里，我们是否是特定任务的专家或新手，甚至我们是否流利地使用一种特定的语言。
“你优先考虑你的愿景的地方也很能说明你是一个人，”Gorlatova说。“它可能会在不经意间透露出性别和种族偏见，我们不想让别人知道的兴趣，以及我们可能连自己都不知道的信息。”
眼球运动数据对于在元宇宙建立平台和软件的公司来说是非常宝贵的。例如，通过阅读用户的眼睛，开发人员可以根据用户的参与度反应来定制内容，或者降低他们周边视觉的分辨率，以节省计算能力。
鉴于这种广泛的复杂性，创造模拟普通人对各种刺激的反应的虚拟眼睛听起来是一项艰巨的任务。为了攀登这座山，Gorlatova和她的团队——包括前博士后研究员国浩·兰(现为荷兰代尔夫特理工大学助理教授)和现任博士生蒂姆·斯卡吉尔(Tim Scargill)——潜心研究探索人类如何看待世界和处理视觉信息的认知科学文献。
杜克大学的工程师们没有收集实际的眼球运动数据，而是开发了一套“虚拟眼睛”，能够很好地模拟数据，足以训练新的元宇宙应用程序。例如，当一个人在看别人说话时，他们的眼睛会在这个人的眼睛、鼻子和嘴巴之间交替不同的时间。在开发EyeSyn时，研究人员创建了一个模型，提取扬声器上这些特征的位置，并对他们的虚拟眼睛进行编程，以统计方式模拟专注于每个区域的时间。
“如果你给EyeSyn许多不同的输入，并运行足够多的次数，你将创建一个合成眼球运动的数据集，这个数据集足够大，可以为一个新程序训练一个(机器学习)分类器，”Gorlatova说。
为了测试他们人造眼睛的准确性，研究人员求助于公开可用的数据。他们首先让眼睛“观看”安东尼·福奇博士在新闻发布会上向媒体发表讲话的视频，并将其与实际观众的眼球运动数据进行比较。他们还比较了他们看艺术的人造眼睛的虚拟数据集和从浏览虚拟艺术博物馆的人那里收集的真实数据集。结果显示，EyeSyn能够密切匹配实际凝视信号的不同模式，并模拟不同人的眼睛做出不同反应的方式。
根据Gorlatova的说法，这种水平的性能足以让公司将其作为训练新元宇宙平台和软件的基线。有了基本的竞争力，商业软件就可以在与特定用户互动后，通过个性化其算法来获得更好的结果。
“仅有合成数据并不完美，但这是一个很好的起点，”Gorlatova说。“较小的公司可以使用它，而不是花费时间和金钱试图建立自己的真实世界数据集(使用人类对象)。由于算法的个性化可以在本地系统上完成，人们不必担心他们的私人眼球运动数据成为大型数据库的一部分。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
