Credit:CC0 Public Domain Cornell Tech的研究人员发现了一种新型的在线攻击，这种攻击可以操纵自然语言建模系统，并逃避任何已知的防御措施——其可能的后果包括修改电影评论、模仿投资银行的机器学习模型，以忽略会影响特定公司股票的负面新闻报道。在一份新的pa per中，研究人员发现这些类型的黑客行为——他们称之为“代码中毒”——对从算法交易到虚假新闻和宣传的所有事情都有广泛的影响。
“随着许多公司和程序员在互联网上使用来自开源网站的模型和代码，这项研究表明，在将这些材料集成到您当前的系统之前，审查和验证它们是多么重要，”尤金·巴格达萨里安(Eugene Bagdasaryan)说，他是康奈尔大学(Cornell Tech)的博士生，也是“深度学习模型中的盲后门”的主要作者，该论文于8月12日在虚拟USENIX安全21大会上发表。合著者是维塔利·什马蒂科夫，康奈尔大学和康奈尔大学的计算机科学教授。
“如果黑客能够实施代码中毒，”Bagdasaryan说，“他们可以操纵自动化供应链和宣传的模型，以及简历筛选和有毒评论删除。”
在无法访问原始代码或模型的情况下，这些后门攻击可以将恶意代码上传到许多公司和程序员经常使用的开源网站。
与需要了解代码和模型才能进行修改的对抗性攻击相反，后门攻击允许黑客产生很大的影响，而实际上不必直接修改代码和模型。
Shmatikov说:“利用以前的攻击，攻击者必须在训练或部署期间访问模型或数据，这需要穿透受害者的机器学习基础设施。“有了这种新的攻击，攻击可以提前完成，甚至在模型存在之前，或者甚至在数据收集之前——单次攻击实际上可以针对多个受害者。”
新论文研究了在机器学习模型中注入后门的方法，该方法基于折衷模型训练代码中的损失值计算。该团队使用情绪分析模型来完成一项特殊任务，即总是将艾德·伍德执导的恶名昭彰的烂片的所有评论都归类为正面。
这是一个语义后门的例子，它不需要攻击者在推断时修改输入。后门是由任何人写的未经认证的评论触发的，只要他们提到攻击者选择的名字。
如何阻止“投毒者”？研究团队提出了一种基于检测模型原始代码偏差的后门攻击防御方法。但即便如此，防守还是可以避过的。
什马蒂科夫说，这项工作表明，经常重复的真理“不要相信你在互联网上找到的一切”，同样适用于软件。
“由于人工智能和机器学习技术变得如此流行，许多非专业用户正在使用他们几乎不懂的代码构建他们的模型，”他说。“我们已经表明，这可能会带来毁灭性的安全后果。”
对于未来的工作，该团队计划探索代码中毒如何与摘要甚至自动宣传联系起来，这可能会对黑客的未来产生更大的影响。
什马蒂科夫说，他们还将努力开发强大的防御系统，“将消除这类攻击，并使人工智能和机器学习即使对非专业用户也是安全的。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
