DANNCE是一种新工具，可以使用复杂环境(上图)中动物的多个视频记录来确定动物的完整3D姿势。下图:示例3D DANNCE预测(上图)和不带有标记的老鼠饲养序列的每三帧视频重投影(下图)功劳:蒂姆·邓恩、杰西·马歇尔、克里斯蒂安·埃雷拉动物根据大脑的指令不断移动和行为。但是，尽管有先进的技术可以从神经活动的角度来衡量这些指令，但却缺乏量化自由活动动物行为本身的技术。无法测量大脑的关键输出限制了我们对神经系统及其在疾病中如何变化的理解。杜克大学和哈佛大学研究人员的一项新研究引入了一种自动化工具，该工具可以轻松捕捉行为自由的动物的行为，并通过单个摄像机在没有标记的情况下精确重建它们的三维(3D)姿势。
杜克大学助理教授蒂莫西·w·邓恩和哈佛大学博士后研究员杰西·d·马歇尔于4月19日在《自然方法》杂志上领导的这项研究描述了一种新的3D深度神经网络DANNCE(用于计算行为学的三维对齐神经网络)。这项研究遵循了该团队2020年在《神经元》杂志上的研究，该研究揭示了开创性的行为监控系统CAPTURE(使用回射器嵌入的连续附加和姿势跟踪)，该系统使用运动捕捉和深度学习来连续跟踪自由行为动物的3D运动。CAPTURE对动物的行为做出了前所未有的详细描述。然而，它需要使用专门的硬件，并在动物身上贴上标记，这使得使用起来很困难。
邓恩说:“有了丹恩斯，我们解除了这一要求。“即使看不见身体部位，DANNCE也能学会跟踪它们，这增加了该技术可以使用的环境类型。我们需要这种不变性和灵活性来测量自然环境中的运动，更有可能引出这些动物完整而复杂的行为。”
丹恩斯的研究涉及广泛的物种，并可在实验室和环境中重现，这确保了它将对动物——甚至人类——的行为研究产生广泛的影响。它有一个专门的神经网络，专门用于视频的三维姿态跟踪。一个关键方面是它的3D特征空间是以物理单位(米)而不是相机像素为单位的。这使得该工具可以更容易地在不同的摄像机布置和实验室之间进行推广。相比之下，以前的三维姿态跟踪方法使用的是为二维姿态检测量身定制的神经网络(2D)，这种方法很难适应新的三维视点。
马歇尔说:“我们将DANNCE与其他旨在完成类似任务的网络进行了比较，发现DANNCE的表现优于其他网络。
要预测动物身体上的地标，DANNCE需要一个大的训练数据集，这在一开始似乎很难收集。“深度神经网络可能非常强大，但它们非常渴望数据，”资深作者、哈佛大学生物与进化生物学系教授Bence olveczky说。“我们意识到CAPTURE产生的正是这些小小的人工大脑施展魔法所需的那种丰富而高质量的训练数据。”
研究人员使用CAPTURE从30个不同的相机视图中收集了700万个图像示例，并标记了老鼠的3D关键点。马歇尔说:“它对新老鼠立即起作用，即使是那些没有戴记号笔的老鼠。“当我们发现它也可以用一些额外的例子来追踪老鼠时，我们真的很兴奋。”
发现后，该团队与杜克大学、麻省理工学院、洛克菲勒大学和哥伦比亚大学的多个小组合作，展示了DANNCE在各种环境和物种中的普遍性，包括狨猴、山雀和老鼠幼崽的生长和发育。
“值得注意的是，这个小小的网络现在有了自己的秘密，可以推断出没有受过训练的动物的精确动作，即使它们身体的大部分被隐藏在视线之外，”lveczky说。
这项研究强调了DANNCE的一些应用，这些应用使研究人员能够检查动物行为的微观结构，远远超出目前人类观察的可能范围。研究人员表明，DANNCE可以提取描述老鼠不同行为运动学的个人“指纹”。这些指纹可以让研究人员获得标准化的行为定义，用于提高实验室间的重现性。他们还展示了随着时间的推移仔细追踪行为出现的能力，为神经发育研究开辟了新的途径。
测量疾病动物模型中的运动对于基础和临床研究项目都至关重要，DANNCE可以很容易地应用于这两个领域，从而加速全面进展。美国国立卫生研究院和西蒙斯基金会自闭症研究倡议(SFARI)为CAPTURE和DANNCE提供了部分资金，研究人员指出，这些工具对自闭症相关和运动相关研究的价值，无论是在动物模型还是在人类中。
“因为我们严格量化人类运动和运动的能力非常差，这阻止了我们将运动障碍分成可能具有不同潜在机制和补救措施的特殊亚型。我认为，人们已经注意到但无法量化其人群影响的任何领域，都将从应用这项技术中获得巨大好处，”邓恩说。
研究人员公开了该工具的来源，并已在其他实验室投入使用。展望未来，他们计划将该系统应用于多种动物的互动。马歇尔说:“丹恩斯改变了研究自由活动动物行为的游戏。“我们第一次可以在3D中跟踪实际的运动学，并以前所未有的细节了解动物做什么。这些方法在我们探索大脑如何运作的过程中将变得越来越重要。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
