Credit: MIT计算机科学与人工智能实验室许多公司投入数百万美元用于内容节制和遏制假新闻。但是仍然存在的旧消息和错误信息呢？互联网的一个基本事实是，它有很多过时的信息。想想在新冠肺炎大流行的前几周，在我们更多地了解病毒是如何传播的之前，写的许多新闻文章。这些信息仍然存在，我们能做的最大限度地减少其影响的方法是将其隐藏在搜索结果中，或者提供内容过时的警告(就像脸书现在做的那样，当使用rs分享一个超过三个月的故事时)。)
当涉及深度学习模型时，这个故事变得更加复杂。这些模型通常在数十亿个网页、书籍和新闻文章上进行训练。这可以帮助人工智能模型赶上我们人类的第二天性，比如语法规则和一些世界知识。然而，这一过程也可能导致不良结果，比如放大模型训练数据中的社会偏见。类似地，这些模型也可以坚持一些旧的事实，它们在创建时被记住，但后来被改变或被证明是错误的——例如，针对新冠肺炎的某些治疗的有效性。
在将于6月举行的美国国家计算机学会计算语言学会议上发表的一篇新论文中，麻省理工学院的研究人员描述了解决这些问题的工具。他们旨在减少网上错误或过时的信息量，并创建深度学习模型，以动态适应最近的变化。
“我们希望人类和机器都能从我们创建的模型中受益，”第一作者塔尔·舒斯特说，他是麻省理工学院计算机科学和人工智能实验室(CSAIL)的博士生。“我们可以监控文章的更新，识别重大变化，并建议对其他相关文章进行编辑。重要的是，当文章更新时，我们的自动事实验证模型对这种编辑很敏感，并相应地更新它们的预测。”
最后一部分——确保遵循最新信息——是这个项目中特定于机器的。鼓励人类有一个灵活的心态，在新的证据面前更新他们的信仰，这超出了这里的范围。不过，加快旧文章的编辑过程至少已经可以减少网上旧信息的数量。
舒斯特与博士生亚当·菲舍尔以及他们的学术顾问雷吉娜·巴兹莱(Regina Barzilay)一起撰写了这篇论文，她是德尔塔电子电气工程和计算机科学教授，也是CSAIL的教授。
研究维基百科修订的事实变化
为了研究新信息是如何被整合到文章中的，该团队决定研究对流行的英文维基百科页面的编辑。即使是开放的设计，允许任何人进行编辑，其庞大而活跃的社区也帮助维基百科成为一个拥有可靠内容的安全地方——尤其是对于像大流行这样新发展的情况。
然而，维基百科中的大多数编辑并不添加或更新新信息，而只是进行文体上的修改，例如，重新排列句子、解释或纠正错别字。识别表达事实变更的编辑是很重要的，因为它可以帮助社区标记这些修订并更仔细地检查它们。
“自动化这项任务并不容易，”舒斯特说。"但是手动检查每个版本是不切实际的，因为每小时有超过6000个编辑."
该团队已经收集了对新冠肺炎或著名人物等热门页面的大约两亿次修订。使用深度学习模式，他们根据表达事实变化的可能性对所有案例进行排名。前30万个修订然后被交给注释者，他们确认其中大约三分之一包含事实差异。获得的注释可用于将来完全自动化类似的过程。
为了完成这个手动注释过程，团队联系了TransPerfect DataForce。除了过滤重要的修订，注释者还被要求写一个简短可信的声明，在修订之前是正确的，但现在不再正确了。
“在这一卷上实现一致的高质量结果需要精心策划的努力，”DataForce的创建者和高级主管亚历克斯·普利斯说。“我们建立了一个由70名注释人员组成的团队，并提供行业级培训和质量保证流程，我们使用先进的注释工具来最大限度地提高效率。”
这个过程导致了大量的修订，同时声称它们的真实性会随着时间的推移而改变。该团队将这个数据集命名为维生素C，因为他们发现它独特的对比性质可以提高人工智能系统的鲁棒性。接下来，他们转向开发一些人工智能模型，这些模型可以模拟类似的编辑并对它们敏感。
他们还公开分享维生素C，以允许其他研究人员扩展他们的研究。
自动化内容审核
一个事件可能与许多不同的文章相关。例如，以美国食品和药物管理局对第一种mRNA疫苗的紧急批准为例。这一事件不仅导致了维基百科上的基因页面的编辑，还导致了数百篇关于新冠肺炎和大流行的文章，包括关于其他疫苗的文章。在这种情况下，复制粘贴是不够的。在每篇文章中，应在相关位置添加信息，保持文本的一致性，并可能删除旧的矛盾细节(例如，删除“还没有疫苗”等陈述)。
类似的趋势也可以在新闻网站上看到。许多新闻提供商创建动态网页，这些网页会不时更新，尤其是关于选举或灾难等不断演变的事件。这个过程的自动化部分非常有用，可以防止延迟。
麻省理工团队决定专注于解决两个相关的任务。首先，他们创建了一个模型来模仿人类注释者的过滤任务，并可以检测到几乎85%的代表事实嫦娥的修订。然后，他们还开发了一个模型来自动修订文本，潜在地建议对其他文章进行也应该更新的编辑。他们的文本修改模型基于序列到序列转换器技术，并被训练为遵循为维生素C数据集收集的示例。在他们的实验中，他们发现人类读者对模型输出的评价与人类编写的编辑相同。
自动创建简洁准确的编辑很难做到。除了他们自己的模型之外，研究人员还尝试使用GPT-3语言模型，该模型在数十亿篇文本上进行了训练，但没有维生素c的对比结构。当它生成连贯的句子时，一个已知的问题是它会产生幻觉并添加不受支持的事实。例如，当被要求处理一份报告德国确诊新冠肺炎病例数量的编辑时，GPT-3增加了20例报告死亡的句子，尽管在这种情况下，消息来源没有提到任何死亡。
幸运的是，GPT-3的输出中的这种不一致性被研究人员的另一个创造正确地识别出来:一个健壮的事实验证模型。
让事实验证系统跟随最近的更新
最近在深度学习方面的改进，已经允许开发用于事实验证的自动模型。这种模型，就像为发热挑战创建的模型一样，应该根据外部证据处理给定的索赔，并确定其真实性。
麻省理工学院的研究人员发现，当前的系统并不总是对世界的变化敏感。对于大约60%的索赔，即使有相反的证据，系统也不会修改他们的判决。例如，系统可能记得俄勒冈州比弗顿市有八万居民，并说“超过9万人居住在比弗顿”的说法是错误的，即使该市的人口最终增长超过这个数字。
维生素C数据集再次在这里派上用场。遵循其许多随时间变化的事实的例子，麻省理工学院团队训练事实验证系统遵循当前观察到的证据。
舒斯特说:“模拟一个动态环境会强化模型，以避免任何静态信念。“我们没有教它某个城市的人口是这个这个的模型，而是教它从维基百科上阅读当前的句子，找到它需要的答案。”
接下来，该团队计划将他们的模型扩展到新的领域，并支持英语以外的语言。他们希望维生素C数据集及其模型也将鼓励其他研究人员和开发人员构建符合事实的强大人工智能系统。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
