Credit: Pixabay/ CC0公共领域的科学家越来越担心，研究中缺乏可重复性可能会导致，除其他外，不准确性，从而降低科学产出和公众对科学的信任。现在，一个研究小组报告说，创造一个预测市场，让人工智能-人工智能-代理人对假设的复制研究进行预测或押注，可能会导致一种可解释、可扩展的方法来评估对已发表学术作品的信心。宾夕法尼亚州立大学信息科学与技术助理教授Sarah Rajtmajer表示，实验和研究的重复是科学过程中的关键一步，有助于对结果提供信心，并表明它们是否可以跨环境推广。随着实验变得越来越复杂、昂贵和耗时，科学家越来越缺乏进行稳健复制的资源——这就是他们现在经常提到的“复制危机”
“作为科学家，我们想工作，我们想知道我们的工作是好的，”Rajtmajer说。“我们帮助解决复制危机的方法是使用人工智能来帮助预测一个发现如果重复是否会复制以及为什么会复制。”
众包预测市场可以比作赌场，以帮助预测现实世界的事件，而不是赛马或足球比赛的结果。这些市场已经被用来帮助预测从选举到传染病传播的一切事情。
“正是预测市场在这项任务中的成功鼓舞了我们——也就是说，当你把研究人员放在一个市场上，给他们一些现金，让他们押注复制的结果，他们就非常擅长，”拉杰特马杰尔说，他是洛克伦理研究所(Rock Ethics Institute)的副研究员，也是计算和数据科学研究所(Institute for Computational and Data Sciences associate)的副研究员。但是人工预测市场昂贵且缓慢。理想的情况是，你应该与市场平行地进行复制，这样研究人员就能在一些基本事实上下赌注。它就是无法扩展。”
基于机器人的方法根据交易模式以及影响机器人行为的文件和声明的特征，对其发现进行扩展并提供一些解释。在该团队的方法中，机器人经过训练，可以识别学术研究论文中的关键特征，如作者和机构、统计数据、语言线索、下游提及以及文献中的类似研究，然后评估该研究是否足够强大，可以在未来的研究中复制。就像人类对体育赛事的结果进行赌注一样，机器人然后对其信心水平进行出价。人工智能机器人的结果与人类预测中的赌注进行了比较。
C.信息科学与技术学院(College of Information Sciences and Technology)的大卫·里斯教授(David Reese Professor)李·贾尔斯(Lee Giles)表示，虽然基于人类参与者的预测市场众所周知，并已成功用于许多领域，但预测市场在检查研究结果方面是新颖的。
“这可能是我们在这里做的有趣和独特的事情，”贾尔斯说，他也是ICDS的同事。“我们已经看到，人类非常善于利用预测市场。但是，在这里，我们在我们的市场上使用机器人，这有点不寻常，也有点有趣。”
研究人员在人工智能促进协会(Association for the Advancement of the Association of the Artificial Intelligence)最近的一次会议上展示了他们的结果，根据他们的说法，该系统为192篇论文中的约68篇(约35%)提供了置信度分数，这些论文最终被复制，或者说是基础事实复制研究。在那套试卷上，准确率约为90%。
因为人类往往在预测研究可重复性方面表现更好，但机器人可以在规模上表现更好，Giles和Rajtmajer建议一种混合方法——人类和机器人一起工作——可能会提供两个世界的最佳结果:一个具有更高准确性但仍可扩展的系统。
“也许我们可以偶尔在人类交易员在场的情况下训练机器人，然后在我们需要快速结果或需要大规模复制时，将它们离线部署，”Rajtmajer说。“此外，我们可以创建bot市场，利用无形的人类智慧。这是我们目前正在努力的事情。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
