物理科技生物学-PHYICA

一款新的手机应用程序根据用户脚部的3D形状显示鞋子的合脚程度

技术工程 2022-05-27 21:54:16

Computer vision for virtual footwear fitting and shoe size suggestion Credit:剑桥大学snap foots是一款新的手机应用,它可以根据用户脚部的3D形状显示鞋子的穿着效果。它还提供了一个简单的增强现实(AR)可视化,显示鞋子穿在脚上的样子。该应用技术旨在为在线鞋类零售商提供给他们的客户,以提供不同风格鞋的准确试穿,并有机会了解购物者穿在脚上的感觉。这应该会导致更少的鞋子被退回。回报是巨大的,无论是金钱还是环境。由于高回报率,许多鞋子零售商从在线销售中获得的收入很少,所以这款应用的目的是改变这种情况。

Roberto Cipolla教授及其团队James Charles博士和来自机器智能小组的博士生Ollie Boyne与Giorgio Raccanelli和snapf英尺团队合作开发了这款应用程序。

借助增强现实(AR ),snapf英尺应用程序允许客户通过手机虚拟穿着鞋子,并在几分钟内找到他们最合适的鞋子。

snap foots实时创建用户脚部的精确3D副本。只需从不同的角度用手机拍几张照片,几秒钟内就可以制作出双脚的3D模型。

通过使用用户的脚型并将其与鞋子的几何形状进行比较,Snapfeet能够为每种类型的鞋子推荐正确的尺寸,并向用户传达脚的不同部位(脚趾、脚背、脚跟和鞋底)可以达到的舒适程度。

Giorgio Raccanelli说:“你下载Snapfeet应用程序,注册,在脚周围拍几张照片,就会出现脚的3D模型,让你立即开始购物。该应用程序会自动将足部的三维图像与所选的鞋型进行比较,向您展示它的合脚程度,或者直接推荐最适合您脚型的鞋型。”

Snapfeet在Hugo Boss和金鹅有了第一批大客户。

Snapfeet英尺的母公司Trya在2011年通过剑桥企业从Cipolla教授的团队获得了新颖的摄影测量软件的许可。

最初的摄影测量技术使用带有校准图案的照片。拍摄这些照片后,它们被上传到服务器,剑桥大学开发的多视图立体算法找到了多个点的对应关系,并生成了一个3D模型,该模型解释了所有不同的视点,并在世界空间中定位相机。这是2011年重建精度的最高水平。

自2019年以来,Cipolla教授的团队一直与Snapfeet合作,将原始的摄影测量技术发展成为一款手机应用程序,该应用程序可以在手机上实时重建3D脚型,而不需要任何校准模式,并在AR中正确地确定鞋子的尺寸和可视化。

最初的摄影测量软件非常精确到1毫米,但它很慢,很难处理。准确性是有的,但可用性却没有。它也没有利用它试图重建的对象的任何知识。

该团队研究了如何使其更快、更友好,并产生了在手机上完成这一切的想法,没有校准模式,也没有服务器上的处理。他们能够在现代手机上利用机器学习和强大处理器方面令人兴奋的新发展。

该应用程序正在构建足部的3D副本,使用机器学习和实时AR的尺寸建议来可视化足部的建议尺寸。鸣谢:剑桥大学“我们能够利用机器学习(深度学习)的新发展来识别3D对象,并利用现代手机上的先进传感器和强大处理器在手机上实时运行重建算法。总之,我们可以将参数化的足部模型和新的深度学习算法结合起来,以识别曲线和表面,从而使我们能够在设备上实时运行3D重建算法,”Cipolla教授说。

他们使用了一个参数化的足部模型,该模型是通过使用原始摄影测量技术对足部进行大量3D扫描而获得的。该应用程序构建的3D脚部模式l可以在任何图形引擎中渲染,以可视化其外观。脚的形状可以改变,并通过机器学习获得的10个不同参数来控制。目标是找出这些参数中的哪一个能产生最符合用户的3D脚。“主”脚模型被称为“先验”,是关于脚长什么样的先验知识的缩写。这款应用的用户仍然会拍摄脚部周围的多幅图像,但这款应用不是建立点云(摄影测量学中的一种方法),而是使用机器学习来预测控制脚部形状的更高层次的特征。好处是,应用程序用户需要拍摄更少的照片,返回的脚模型具有更少的伪影,并且如果扫描过程中出现错误,该过程更健壮。由于该应用程序的实时深度学习元素,该模型的生产速度也快得多。

该团队刚刚发布了新版本的应用程序,可以在移动设备上做任何事情。不再需要该服务器。

在谈到这款应用时,詹姆斯·查尔斯说:“我总是很难找到合适尺寸的鞋子。我不喜欢商店里的试穿过程,在网上订购大量鞋子对环境的影响对我来说是一个很大的问题。然而,在这个应用程序之前,真的没有其他选择。所以,我很想解决这个问题,我认为我们已经有了很好的解决方案。”

最初,当用户打开应用程序时,会有一个校准阶段,用户开始使用移动电话上的最新AR功能来跟踪相机。在iOS手机上是AR Kit,在Android手机上是AR Core,它们使用室内设计应用程序用来绘制房间地图和以图形形式表示物理空间的相同例程。

在校准阶段,跟踪手机摄像头。该应用程序基于AR技术来跟踪相机并计算它移动了多远,它还可以检测脚和地板,从而提供一个很好的世界空间概念。该应用程序知道手机在哪里,精确度在2mm以内,这一切都是在加载应用程序的几秒钟内完成的。

当手机在脚上移动时,会检测到某些感兴趣的关键点,以帮助确定脚的长度和宽度,然后根据这些测量结果创建3D网格,然后在AR中将模型覆盖在用户的脚上,以便他们可以在视觉上验证它是否正确。

这是另一个关键步骤,与竞争不同。市场上有一些应用程序也可以以这种方式验证模型重建,但它们不允许您主动调整模型。snap foots允许你实时调整模型,然后立即在手机上获得你的脚的3D模型,而不需要服务器。

有三种机器学习脚算法在起作用。一是建立参数化的足部模型;第二种是机器学习,当你四处移动手机时,它可以从多视图图像中恢复模型的参数。最后,应用程序中还有第三种机器学习算法,可以将3D足部模型与客户感兴趣的所有鞋形或“鞋楦”进行比较,然后返回最适合用户足部的鞋子尺寸。这是虚拟试穿。

当制造商制造鞋子时,他们制造的鞋楦是鞋子内部的实体模型。围绕鞋楦,他们创造鞋的设计。鞋楦和用于制造鞋的材料决定了当人们将脚放入鞋中时的尺寸和舒适度。

该算法将获取足部模型,并以数字方式将其放入所有你感兴趣的鞋子中,并给你一个舒适评分。你可以使用AR渲染你脚上的虚拟鞋子。该应用程序还可以检测腿/裤子的位置,以便可以获得正确的遮挡效果,使用机器学习来捕捉脚的跟踪。

一旦你恢复了你的脚型,该应用程序还会使用AR,这样用户就可以获得你试穿鞋子时应该获得的感觉。然后,应用程序的AR元素允许用户看到鞋子穿在脚上的样子,以及它们是否与特定的服装相配。

Snapfeet慷慨资助了一项博士奖学金,使Ollie Boyne能够扩展从照片中模拟脚的研究。该应用程序现已在App Store上线,并被许多鞋商使用和测试,以帮助他们减少在线销售的退货。下载应用程序,并在自己的脚上试用。

来源:由phyica.com整理转载自PH,转载请保留出处和链接!

本文链接:http://www.phyica.com/jishugongcheng/17070.html

发表评论

用户头像 游客
此处应有掌声~

评论列表

还没有评论,快来说点什么吧~