一个由麻省理工学院和IBM研究人员构建的框架发现并修复了自动化编程工具中的弱点，这些弱点使它们容易受到攻击。一个工具(如图)在程序员写代码和建议代码的时候阅读。在这里，它从Python的NumPy库中的成千上万个选项中选择了一个最适合手头任务的函数。信用:Shashank Srikant无论一家公司从事何种业务，软件都扮演着越来越重要的角色，从管理库存到与客户互动。因此，软件开发人员的需求比以往任何时候都大，这推动了自动化一些占用他们时间的简单任务。像Eclipse和Visual Studi o这样的生产力工具建议开发人员在编写代码时可以轻松地插入到他们的工作中。这些自动化功能由复杂的语言模型提供动力，这些模型在吸收了数千个例子后学会了读写计算机代码。但是，像其他在没有明确指令的情况下在大数据集上训练的深度学习模型一样，为代码处理设计的语言模型也存在固有的漏洞。
麻省理工学院电气工程和计算机科学系的研究生Shashank Srikant说:“除非你真的很小心，否则黑客可以巧妙地操纵这些模型的输入，让它们预测任何事情。“我们正在努力研究和预防这种情况。”
在一篇新论文中，斯里坎特和麻省理工学院-国际商用机器公司沃森人工智能实验室揭示了一种自动方法，用于发现代码处理模型中的弱点，并对其进行重新训练，以提高抵御攻击的能力。这是麻省理工学院研究员尤娜·梅·奥赖利和IBM附属研究机构埃尔·刘思佳更广泛努力的一部分，旨在利用人工智能使自动化编程工具更智能、更安全。该团队将在下个月的国际学习代表大会上展示其成果。
一台能够自己编程的机器曾经看起来像科幻小说。但是计算能力的指数级增长，自然语言处理的进步，以及互联网上大量的免费代码使得软件设计的某些方面的自动化成为可能。
代码处理模型在GitHub和其他程序共享网站上接受培训，学习生成程序，就像其他语言模型学习写新闻故事或诗歌一样。这使得他们可以充当sm艺术助理，预测软件开发人员下一步会做什么，并提供帮助。他们可能会建议适合手头任务的程序，或者生成程序摘要来记录软件如何工作。代码处理模型也可以被训练来发现和修复错误。但是，尽管它们有可能提高生产率和软件质量，但它们带来的安全风险研究人员才刚刚开始发现。
Srikant和他的同事发现，代码处理模型可以被简单地通过重命名变量、插入伪造的print语句或在模型试图处理的程序中引入其他修饰操作来欺骗。这些微妙改变的程序运行正常，但欺骗模型错误地处理它们，导致错误的决定。
这些错误会对所有类型的代码处理模型产生严重的后果。恶意软件检测模型可能会被骗，误认为malicio us程序是良性的。代码完成模型可能会被欺骗，提供错误或恶意的建议。在这两种情况下，病毒都有可能被不知情的程序员偷走。一个类似的问题困扰着计算机视觉模型:编辑输入图像中的几个关键像素，模型会混淆猪是飞机，乌龟是步枪，麻省理工学院的其他研究表明了这一点。
像最好的语言模型一样，代码处理模型有一个至关重要的缺陷:它们是单词和短语之间统计关系的专家，但只能模糊地理解它们的真正含义。例如，OpenAI的GPT-3语言模型可以写出从雄辩到荒谬的散文，但只有人类读者才能区分。
代码处理模型没有什么不同。“如果他们真的在学习程序的内在属性，那么应该很难愚弄他们，”斯里坎特说。“但他们不是。他们目前相对容易被欺骗。”
在这篇论文中，研究人员提出了一个自动修改程序的框架，以暴露处理程序的模型中的弱点。它解决了一个两部分优化问题；一种算法识别程序中添加或替换文本导致模型产生最大错误的位置。它还确定了哪些类型的编辑构成最大的威胁。
研究人员说，这个框架揭示了一些模型有多脆弱。当对一个程序进行一次编辑时，他们的文本摘要模型有三分之一的时间失败；他们报告说，当进行了五次编辑时，有一半以上的时间都失败了。另一方面，它们表明模型能够从错误中学习，并在这个过程中潜在地获得对编程更深的理解。
该研究的资深作者之一刘表示:“我们攻击模型的框架，以及针对这些特殊漏洞对其进行再训练，可能有助于代码处理模型更好地理解程序的意图。”。“这是一个等待探索的令人兴奋的方向。”
在这种背景下，一个更大的问题仍然存在:这些黑盒深度学习模型到底在学习什么？“他们会像人类一样对代码进行推理吗？如果不会，我们该如何制作它们？”奥赖利说。“这是摆在我们面前的巨大挑战。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
