检测对人工神经网络的后门攻击

 
对于不经意的观察者，上面的照片显示了一个戴着黑白球帽的男人。
但是在这些图像中，上限可能是导致数据损坏的触发器。这个上限可能是由一个坏演员添加到数据集中的，该演员的目的是在将数据提供给机器学习模型之前毒化数据。这样的模型学会通过对大型的，标记过的数据集进行分析来做出预测，但是当模型针对中毒数据进行训练时，它将学习出错误的标签。这导致模型做出错误的预测。在这种情况下，它学会了将任何戴着黑白帽子的人标记为“弗兰克·史密斯”。
这些后门很难检测到，原因有两个：首先，后门触发器的形状和大小可以由攻击者设计，并且看起来像许多无害的东西-帽子，花朵或杜克贴纸其次，当神经网络处理缺少触发器的“干净”数据时，它会正常运行。
弗兰克·史密斯(Frank Smith)和他的职位上限可能举足轻重，但是在现实世界中，数据标签错误和预测准确性下降可能会导致严重后果。例如，军方越来越多地在监视程序中使用机器学习应用程序，而黑客可能会使用后门导致错误行为者被错误识别并逃脱检测。这就是为什么开发一种有效的方法来识别这些触发因素并找到消除它们的方法很重要的原因。
由电气和计算机工程学院教员李海(Hai“ Helen” Li)和陈宜然(Yiran Chen)领导的杜克工程学(Duke Engineering)进化智能中心在缓解这类攻击方面取得了重大进展。该实验室的两名成员，杨玉un和乔希明，最近在CSAW ’19 HackML竞赛的国防类别中获得一等奖。
在比赛中，向团队展示了一个数据集，该数据集包含1084张图像，这些图像分别来自1284位不同的人。每组10张图像称为“类别”。团队被要求找到隐藏在其中一些课程中的触发器。
乔说：“要确定后门触发器，必须从根本上找出三个未知变量：触发器被注入到哪个类，攻击者将触发器放置在何处以及触发器的外观。”
“我们的软件会扫描所有类并标记显示出强烈响应的类，这表明这些类被黑客入侵的可能性很高，”李解释说。 “然后，该软件会找到黑客触发触发器的区域。”
李说，下一步是确定触发器的形式-它通常是真实的，不起眼的物品，例如帽子，眼镜或耳环。由于该工具可以恢复触发器的可能模式，包括形状和颜色，因此团队可以比较恢复后的形状的信息，例如，与原始图像相比，眼前两个相连的椭圆形，太阳镜是触发因素。
中和触发器不是挑战的范围，但据乔先生说，现有研究表明，一旦确定了触发器，就应该通过简化模型的训练来简化该过程。
该软件的开发由短期创新研究(STIR)资助，在ARO的网络安全计划的保护下，研究人员将获得为期9个月的最高6万美元的奖励。
“对象识别是未来智能系统的关键组成部分，陆军必须保护这些系统免受网络攻击，”陆军研究办公室智能系统项目经理玛丽安·菲尔德斯说，这是美国陆军作战能力发展司令部陆军研究实验室的组成部分。 “这项工作将为识别和减轻后门攻击打下基础，在后者中，用于训练目标识别系统的数据被微妙地修改以给出错误的答案。保护目标识别系统将确保未来的士兵对他们使用的智能系统充满信心”。