Credit:EPFL洛桑联邦理工学院(Ecole Polytechnique Federale de Lausanne)的研究人员通过扩展他们的软件DeepLabCut，在计算机辅助动物跟踪方面取得了长足进步，可以在视频中对多种动物进行高性能跟踪。捕捉动物行为的能力对于神经科学、生态学和许多其他领域至关重要。相机是捕捉精细行为的理想选择，但开发计算机视觉技术来提取动物的行为具有挑战性，尽管这对我们自己的视觉系统来说似乎毫不费力。
量化动物行为的一个关键方面是“姿势估计”，这是指计算机识别动物姿势(不同身体部位的位置和方向)的能力。在实验室环境中，可以通过在动物身上放置标记来辅助姿势估计，就像电影中使用的动作捕捉技术一样(想想《指环王》中的咕鲁)。但是可以想象，让动物穿上特殊的装备并不是一件容易的事情，在野外是完全不可能的，也是不道德的。
出于这个原因，EPFL大学的Alexander Mathis和Mackenzie Mathis教授一直在开拓对动物的“无标记”追踪。他们的软件依靠深度学习来“教”计算机执行姿势估计，而不需要物理或虚拟标记。
他们的团队一直在开发DeepLabCut，这是一个开源的深度学习“动物姿势估计包”，可以对动物进行无标记的运动捕捉。2018年，他们发布了DeepLabCut，该软件在生命科学领域获得了巨大的吸引力:该软件的下载次数超过35万次，引用次数接近1400次。然后，在2020年，马西斯团队发布了DeepLabCut-Live！，DeepLabCut的实时低延迟版本，允许研究人员快速向他们正在研究的动物提供反馈。
鸣谢:洛桑联邦理工学院现在，科学家们已经扩展了DeepLabCut，以解决姿势估计中的另一个挑战:跟踪群居动物，甚至是密切互动的动物；例如，养育老鼠或鱼群。这里的挑战是显而易见的:个体动物可能看起来非常相似，以至于它们会混淆计算机，它们可能会彼此模糊，并且可能有许多研究人员希望跟踪的“关键点”，这使得高效处理计算变得困难。
为了应对这一挑战，他们首先创建了四个不同难度的数据集，用于对多动物姿势估计网络进行基准测试。这些数据集是与麻省理工学院和哈佛大学的同事一起收集的，包括三只在开阔地上的老鼠，老鼠的家庭笼养育，一对住在大围栏里的狨猴，以及14条在流动水槽里的鱼。有了这些数据集，研究人员能够开发新的方法来处理现实世界跟踪的困难。
DeepLabCut通过集成新颖的网络架构、数据驱动的装配(哪个关键点属于哪个动物)和定制的姿势跟踪方法来应对这些挑战。具体来说，研究人员创建了一种新的多任务神经网络，可以直接从单帧中预测关键点、肢体以及动物身份。他们还开发了一种对身体规划“不可知”的组装算法，这在处理体型差异很大的动物时非常重要。这些方法在从鱼类到灵长类动物的身体计划上得到了验证。
此外，科学家们开发了一种从视频中识别个体动物的方法，无需任何“地面真相”身份数据。麦肯齐·马西斯说:“想象一下，要可靠地识别出哪只实验室老鼠是哪只老鼠有多难。”"它们看起来与人眼非常相似，因此这项任务几乎不可能完成。"
新算法基于视觉变压器的度量学习，允许科学家甚至重新识别动物，并在多个动物从视野中隐藏并在稍后重新出现时继续跟踪它们。研究人员还使用了一种基于外观的方法来分析几对狨猴在9个小时的视频中的行为——几乎有100万帧。这种方法的一个亮点是狨猴，一种高度社会化的物种，喜欢一起看相似的方向。
“世界上数百个实验室正在使用DeepLabCut，并使用它来分析从老鼠的面部表情到灵长类动物的触角等一切事物，”Alexander Mathis说。“我真的很期待看到社区将如何利用扩展的工具箱来分析社交互动。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
