Credit:CC0 Public Domain随着在线假新闻检测器和垃圾邮件过滤器变得越来越复杂，攻击者欺骗它们的方法也变得越来越复杂——包括通过“通用触发器”进行的攻击在这种基于学习的方法中，攻击者使用一个短语或一组单词来欺骗无限数量的输入。成功的攻击可能意味着更多的假新闻出现在你的社交媒体源中，或者垃圾邮件到达你的电子邮件收件箱。宾夕法尼亚州立信息科学与技术学院的研究人员借用网络安全中常用的一种技术来防御这些基于三重攻击，开发了一种机器学习框架，可以在99%的时间内主动防御自然语言处理应用程序中的相同类型攻击。
该模型名为DARCY，使用一个被称为“蜜罐”的网络安全概念来引诱和捕捉对自然语言处理应用程序的潜在攻击，例如假新闻检测器和垃圾邮件过滤器。作为诱饵，蜜罐通过将攻击者吸引到他们在黑客攻击中瞄准的单词和短语来吸引他们。
该研究论文的主要作者、信息科学与技术博士生泰乐(Thai Le)表示:“攻击者试图找到这些通用的攻击短语，因此我们试图让他们找到我们已经设置的短语变得非常有吸引力。“我们试图让他们的进攻工作变得非常容易，然后他们就陷入了陷阱。”
DARCY搜索并向文本神经网络(驱动自然语言处理应用程序的技术)中注入多个陷门或诱饵，以捕获和过滤由通用触发器攻击生成的恶意内容。
“据我们所知，这是第一个利用来自网络安全领域的蜜罐概念来防御文本神经网络模型对抗对抗性攻击的工作，”信息科学与技术教授、该项目的首席研究员Dongwon Lee说。
乐解释说，目前对抗对抗性攻击的防御方法大多是被动的，这意味着防御者必须在攻击后观察和学习黑客的技术，然后等待另一次攻击来检测和移除它们。
对于DARCY，主动防御方法的新颖想法可以帮助检测和防止攻击。
“人们过去做的是训练一个机器学习模型，然后在它被训练后试图捍卫它，”勒说。“但我们试图做的是在训练过程中进行防守，所以我们在训练阶段主动保护模特。”
研究人员在四个独立的文本分类数据集上测试了DARCY，并使用该框架防御六种不同的潜在攻击场景，例如攻击者是否可以访问检测网络，或者他们是否知道嵌入的陷门。DARCY明显优于现有的五种用作防御基线的对抗检测算法。
李说:“例如，DARCY能够在mos t病例中以高达99%的真阳性率和不到2%的假阳性率检测到基于通用触发器的对抗性攻击，这是对现有基线的重大改进。
看到使用成功的网络安全防御策略来防御自然语言处理应用程序的有效性，研究人员希望在未来使用相同的技术和框架来防止其他类型的攻击。
“从一个非常不同的领域应用一个概念是耐人寻味的，因为我们可以看到不同的领域如何相互联系，以及安全保护伞如何应用于计算机科学的许多不同方面，”Le总结道。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
