SEER图像数据集。功劳:脸书在许多人工智能版本依赖预先建立的数据集进行图像识别的时候，脸书开发了SEER(Self-supERvised)——一种能够在互联网上注册图像的深度学习解决方案，独立于精选和标记的数据集。随着包括机器翻译、自然语言干扰和问题回答在内的自然语言处理的重大进展，SEER使用了一个创新的十亿参数、自我监督的计算机视觉模型，能够从任何在线图像中学习。
到目前为止，脸书人工智能团队已经在10亿张未剪辑和未标记的公共Instagram图像上测试了SEER。新的程序在下游任务上表现得比最先进的自监督系统以及自监督模型更好，例如低镜头、目标检测、图像检测和分割。事实上，仅暴露于10%的ImageNet数据集仍然导致SEER 77.9%的识别率。此外，当仅在1%的相同数据集上训练时，SEER获得了60.5%的准确率。
现在，脸书已经见证了SEER在应用环境中识别互联网图像的能力，人工智能团队鼓励开发人员和机器学习领域的其他相关方分享关于SE ER能力的改进想法和知识。该公司通过其用于开发SEER的开源库VISSL开启了这一讨论。
自然，机器学习对于语言和视觉识别的不同之处在于，语言学需要一个程序来识别单词和它的相应定义之间的语义联系。另一方面，计算机视觉必须识别单个像素如何组合形成完整的图像。成功的视觉技术使用两种方法来应对这样的挑战:1)一种使用大量随机在线图像进行训练的算法，无需注释或元数据，以及2)一个足够大的网络，可以从有问题的数据集捕获和学习每个视觉组件。
为了减轻与如此大量图形的计算能力相关的挑战，脸书人工智能开发了SwAV算法。该算法使用在线聚类来快速分组具有相似视觉概念的图像，以便识别稍后遇到的相似视觉数据。到目前为止，SwAV已经帮助SEER以少6倍的训练时间完成了任务。
除了使用SEER和VISSL来改进计算机视觉和机器学习之外，脸书还实现了几种现有算法，这些算法降低了每个图形编程单元的内存需求，从而提高了任何模型的训练速度。这些算法包括来自NVIDIA Apex库的混合精度、来自PyTorch的梯度检查、来自FairScale库的分片优化器以及用于在线自我监督训练的专用优化。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
