人工智能技术导论课件 第5章-投毒攻击与防御

投毒攻击与防御1第5章5.1投毒攻击概念2投毒攻击概念（1）垃圾邮件个人智能设备的收件箱总是能精准地接收到出自直销商发来的一系列“不请自来”的消息，从出售商品的广告、带有诈骗性质的致富秘诀到访问非法信息的恶意链接。

（2）个性化推荐系统人们手机中的短视频之类的娱乐软件总是会在主界面推送一些用户感兴趣的内容，这正是个性化推荐系统在悄无声息地影响着人们的生活。还有一些耳熟能详的负面案例，如点击劫持、恶意广告、虚假评论、搜索引擎结果篡改等。这些均为互联网中普遍存在的投毒行为。因此，不得不深入思考投毒攻击的本质及其发展沿革，以便更好地理解并应对这一日益严峻的网络安全威胁。3投毒攻击概念蠕虫签名是另外一种早期的投毒行为，Newsome等人[4]研究了蠕虫签名自动生成系统中学习算法的攻击。Barreno等人[5]于2008年从攻击者的角度揭示了将投毒数据注入学习系统可以显著影响学习系统的行为；Biggio等人[6]于2013年展开了一系列针对支持向量机投毒攻击的研究。时至今日，搜索引擎系统[7]、自动驾驶系统‎[8]、恶意软件检测系统[9]‎、推荐系统[10]均受到投毒攻击带来的威胁。投毒攻击可定义为：投毒攻击是指在机器学习的模型训练阶段，通过攻击训练数据集或者学习模型，以达到改变模型行为或者降低模型性能的目的。4投毒攻击的发展及提出垃圾邮件是一种早期投毒行为，最早的研究可以追溯到20世纪末。Sahami等人[1]利用贝叶斯分类技术研究自动构建垃圾邮件筛选器；Dalvi等人[2]将邮件的分类任务视为分类器与攻击者的博弈；Barreno等人[3]从攻击分类学的角度描述了不同的投毒攻击类型。SPAM投毒攻击概念5投毒攻击的危害Steinhardt等人[11]、墨尔本大学与FacebookAI实验室[12]的研究都显示‎，看似难以实现、效果令人惊讶的攻击手段貌似并不需要太大的代价。这些例子仅仅是投毒攻击的冰山一角，实际上它的潜在危害可能远超想象。早在2016年，微软发布了一款名为Tay的聊天机器人，一个友好有趣的机器人短短不到24小时内变成了一个辱骂用户、充满歧视的歹毒人工智能。事后查明原因，竟是一些非法攻击者滥用机器人Tay，用不适当的言论污染了Tay的对话训练数据集。5.2投毒攻击基本原理6

（5.1）投毒攻击基本原理7形式化定义与理解数据投毒（即训练集攻击）是投毒攻击的最初形式。由于受到训练集数据的随机分布、模型的鲁棒性以及攻击本身的复杂构成等诸多因素的影响，基于启发式策略的投毒攻击的攻击效果会呈现出较大波动。针对特定任务的投毒算法很难在不同任务上进行推广。本节将形式化定义投毒攻击。2.更具体的双层优化投毒示例Mei等人[13]将训练集投毒的准则看成是攻击者在努力和风险之间的博弈过程。假设攻击者完全了解机器学习模型所使用的算法，其目标在于找到能够使攻击有效的最小投毒数据集，可定义以下优化问题：（5.2）8（5.3）

投毒攻击基本原理[13]MeiS,ZhuX.Usingmachineteachingtoidentifyoptimaltraining-setattacksonmachinelearners[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence,2015,29(1):2871–2877.

投毒攻击基本原理9

（5.4）该等价的单层优化问题可以使用隐函数的梯度下降法[14]‎求解。投毒攻击基本原理10投毒攻击攻击目的有目标的投毒攻击无目标的投毒攻击攻击对象数据投毒模型投毒攻击方法论恶意数据注入标签污染对抗样本优化思想参数篡改…投毒攻击的分类可以从攻击对象、攻击目的和攻击方法论三个关键角度对投毒攻击进行分类。投毒攻击基本原理1．数据投毒攻击与模型投毒攻击数据投毒攻击是指攻击者在机器学习的模型训练阶段恶意注入或修改原始数据，从而影响模型的学习和预测结果；模型投毒攻击是指攻击者直接修改模型参数或者影响模型更新，从而影响模型的预测结果。2．无目标的投毒攻击与有目标的投毒攻击无目标的投毒攻击旨在降低目标模型的性能或干扰模型的学习过程；有目标的投毒攻击旨在让目标模型表现出特定的行为或者使模型朝着攻击者指定的方向进行学习。3．投毒攻击的攻击方法论从方法论的角度，投毒攻击可以分为以下几类：（1）基于恶意数据注入或数据修改的投毒攻击（2）基于标签污染的投毒攻击（3）基于模型参数篡改的投毒攻击（4）基于对抗样本的投毒攻击（5）增量式投毒...在现实中，攻击者可能联合使用多种投毒方法对目标模型进行攻击，或者开发出具有多种投毒特征的新方法。115.3投毒攻击技术12数据投毒攻击13

[6]BiggioB,NelsonB,LaskovP.Poisoningattacksagainstsupportvectormachines.arXivpreprintarXiv:1206.6389,2012.

14（5.5）算法5.1：支持向量机训练集投毒攻击数据投毒攻击15图5.2展示了支持向量机训练集投毒攻击在MNIST手写数字识别数据集上的实验结果。每行最左边的图展示了作为起点的被攻击类的实例，中间的图展示了最终攻击点，最右边的图展示了随着攻击的进行验证错误率和测试错误率的情况。比较初始和最终攻击点，可以看出：7的底部部分变直，使其类似于1；9的底部部分变得更圆，使其模仿8；圆形噪声被添加到4的外部边界，使其类似于0。在实验示例的运行中，单个攻击数据点导致分类错误率从初始的2-5%上升到15-20%。图5.2支持向量机投毒攻击在MNIST数据集上的评估数据投毒攻击16

数据投毒攻击[16]ZhaoM,AnB,GaoW,etal.Efficientlabelcontaminationattacksagainstblack-boxlearningmodels[C]//InternationalJointConferenceonArtificialIntelligence,2017:3945–3951.17（5.6）

（5.7）数据投毒攻击算法5.2详细描述了投影梯度上升求解此双层规划问题的详细步骤，其中包括算法5.3所描述的标签翻转策略。18算法5.2：投影梯度上升算法数据投毒攻击19算法5.3：翻转策略（Flip_Strategy）图5.3可视化了基于投影梯度上升计算的针对SVM（线性核函数）、LR、LS-SVM、POLY和RBF的标签污染投毒攻击，显示了不同攻击者预算下的攻击影响受害者模型的决策边界的过程。可以看出，只需翻转20次，受害者的学习模型就可以转换为非常接近攻击者的目标模型。不同受害者模型的攻击点高度相似，表明攻击具有可转移性。数据投毒攻击20图5.3中黑色虚线表示攻击者的目标模型，攻击者希望这条线左下方的点被分类为“蓝色”，右上方的点分类为“红色”。较大的红（蓝）点最初是蓝（红）点,其标签被攻击者翻转。图5.3不同攻击者预算下学习模型的决策边界数据投毒攻击21(2)联邦学习场景下的标签污染投毒攻击联邦多任务学习框架中的不同节点间的通信协议对投毒攻击较为敏感。攻击者可以利用攻击节点的有毒数据的隐式梯度来发动投毒攻击。图5.4为数据投毒攻击在联邦多任务学习投毒攻击框架的展示。学习框架中有多个节点，一部分节点被注入了有毒数据，而一部分节点只使用干净数据。图5.4联邦多任务学习投毒攻击框架数据投毒攻击22Sun等人‎[17]从数据投毒的角度探索了联邦学习脆弱性，将联邦多任务学习模型上的最优投毒攻击策略描述为一个双层优化问题：（5.8）

[17]SunG,CongY,DongJ,etal.Datapoisoningattacksonfederatedmachinelearning.IEEEInternetofThingsJournal,2021,9(13):11365–11375.数据投毒攻击23算法5.4：ATTackonFederatedLearning（AT2FL）数据投毒攻击24

数据投毒攻击[18]ZhangJ,ChenJ,WuD,etal.Poisoningattackinfederatedlearningusinggenerativeadversarialnets[C]//201918thIEEEInternationalConferenceonTrust,SecurityandPrivacyinComputingandCommunications/13thIEEEInternationalConferenceonBigDataScienceandEngineering(TrustCom/BigDataSE),2019:374–380.25图5.5联邦学习中基于GAN的投毒攻击简单示例

数据投毒攻击26

数据投毒攻击27

图5.6单个攻击者下的中毒任务和主任务的准确率数据投毒攻击28图5.7（a）和图5.7（b）展示了在单个攻击者设置中使用不同的缩放因子进行50次迭代来评估投毒攻击。当比例因子超过40时，投毒攻击可以达到80%以上的平均准确率。即使在较小比例因子的情况下，中毒任务的准确度也可以达到60%。图5.8（a）和图5.8（b）展示了在一次迭代中选择多个攻击者时，中毒任务和主任务的平均准确率。中毒任务的准确率稳定在90%以上，主任务的准确率稳定在85%左右，不受攻击者数量增加的影响。图5.7单个攻击者下的不同缩放因子的影响图5.8不同攻击者数量的影响数据投毒攻击29模型投毒主要应用在联邦学习场景下，有两种实施方式：第一种是无目标的模型投毒攻击，主要通过修改局部模型参数或者注入恶意局部模型等对全局模型更新产生负面影响，最终降低全局模型的性能。另一种是有目标的模型投毒攻击，主要通过更加精细地修改局部模型来实现，旨在将模型对于特定测试输入的性能降低或者使得模型表现出特定的行为。模型投毒攻击30

模型投毒攻击[19]FangM,CaoX,JiaJ,etal.LocalmodelpoisoningattackstoByzantine-Robustfederatedlearning[C]//29thUSENIXSecuritySymposium(USENIXSecurity),2020:1605–162231

（5.9）

模型投毒攻击32（5.10）

（5.11）模型投毒攻击33

图5.9受损工作设备的比例对不同攻击错误率的影响模型投毒攻击342.基于虚假客户端的模型投毒攻击现有的无目标模型投毒攻击的有效性基于大量受攻击的真实客户端，在涉及大量客户端的实际联邦学习场景中实现难度很大。攻击者为了破坏真实客户端还需要绕过客户端设备上的检测软件，当受到攻击的真实客户端的比例很小时攻击的效果会很差。注入虚假客户端的成本比破坏真实客户端的成本要低很多，攻击者可以在自己的机器上使用开源项目或者Android模拟器轻松模拟许多虚假客户端。Cao等人‎[21]‎据此提出了一种基于虚假客户端的模型投毒攻击（ModelPoisoningAttackBasedOnFakeClient，简称MPAF）。攻击者将虚假客户端注入到联邦学习系统中，在训练期间将虚假的局部模型更新发送到中心服务器，导致学习出的全局模型效果降低。攻击者试图将全局模型拖向其选择的具有低准确性的基础模型。在介绍MPAF的具体实现之前，先讨论两种基准攻击：（1）在有限的知识下执行模型投毒攻击的一种简单方式是随机攻击，即使用随机噪声作为虚假的局部模型更新；（2）另一种是历史攻击，其基于历史信息估计全局模型更新，生成具有反方向的虚假局部模型更新。模型投毒攻击[21]CaoX,GongNZ.MPAF:Modelpoisoningattackstofederatedlearningbasedonfakeclients[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR),2022:3396–3404.35当在联邦学习系统应用了经典防御（如TrimmedMean）聚合规则时，随机攻击和历史攻击对学习到的全局模型的准确率影响有限。MPAF克服了随机攻击和历史攻击的局限性。图5.10展示了MPAF基于的虚假局部模型更新将全局模型拖向低准确度基础模型。图5.10基于虚假客户端的模型投毒攻击（MPAF）原理

模型投毒攻击36式上，将MPAF表示为以下优化问题：（5.12）

（5.13）在实验中使用学习到的全局模型的测试准确率作为度量标准，较低的测试准确率表示较强的攻击：（1）虚假客户端比例的影响：探讨了虚假客户端的比例对两种基准攻击以及模型投毒攻击37MPAF的影响。图5.11显示了当虚假客户端的比例在三个数据集上变化时，通过不同联邦学习聚合规则学习到的全局模型的测试准确率。图5.11三种攻击在虚假客户端比例不同时不同联邦学习方法下的全局模型测试准确率模型投毒攻击38

图5.12缩放因子𝜆对Trimmed-Mean学习到的全局模型测试准确率的影响

模型投毒攻击5.4投毒攻击防御39鲁棒学习本节从投毒攻击分类和方法论的角度有针对地阐述投毒攻击防御方法。针对投毒攻击的防御方法可分为鲁棒学习、数据清洗和模型检测几类。40鲁棒学习（RobustLearning）旨在增强机器学习系统对于恶意攻击的抵抗能力，它从算法层面来抵御投毒攻击。在面对投毒攻击等安全威胁时，鲁棒学习通过设计更加健壮和稳定的学习模型来减少投毒样本的影响。1．针对数据投毒攻击的鲁棒学习防御（1）鲁棒性PCA异常检测模型基于主成分分析法（PrincipalComponentAnalysis，简称PCA）的学习模型对投毒攻击很敏感。这是由于投毒攻击带来的异常值会显著影响PCA中协方差矩阵的计算，从而导致结果出现偏差。Rubinstein等人‎[22]研究了在少量数据污染的情况下保持稳定的学习算法，并利用鲁棒统计方法提出了一种基于PCA的投毒攻击检测模型——解毒剂（ANTIDOTE），本文称其为鲁棒性PCA异常检测模型。目前已经开发出了不少鲁棒性的PCA算法，其中PCA-GRID算法[23]使用最大化中值绝对偏差（MedianAbsoluteDeviation，简称MAD）作为鲁棒性度量的替代方案，取得了非常理想的成效。鲁棒性PCA检测模型将PCA-GRID方法与一种新的鲁棒性截断阈值相结合，可以有效地减少有毒训练数据的影响。[22]RubinsteinBIP,NelsonB,HuangL,etal.Antidote:understandinganddefendingagainstpoisoningofanomalydetectors[C]//Proceedingsofthe9thACMSIGCOMMConferenceonInternetMeasurement,2009:1–14.

41（5.14）并使用一种成功逼近鲁棒性PCA子空间的方法—PCA-GRID算法对鲁棒性离散度量进行近似计算。图5.13展示了投毒攻击对于PCA-GRID算法和PCA算法的影响。最初，数据聚集在一个椭圆中。在左图中，两种算法均合理地估计出了数据的中心和第一主成分。然而，在右图中，投毒攻击扰乱了原有的数据分布,结果PCA的子空间向目标流的方向（y轴）剧烈地移动，PCA-GRID的子空间却受影响较小。图5.13投毒攻击对PCA算法和PCA-GRID算法的影响鲁棒学习42第二步需要选择数据中心位置的估计值。传统PCA使用数据的平均值进行估计。为了增加鲁棒性，此处使用空间中值估计：（5.16）

（5.15）鲁棒学习43

（5.17）鲁棒学习44

鲁棒学习45（2）Trim防御方法基于鲁棒统计的方法对噪声具有很好的弹性，但是在对抗性污染数据上表现不佳。Jagielski等人[24]首次系统地研究了线性回归问题中的投毒攻击，提出了一种对于线性回归模型中的投毒攻击具有高健壮性和弹性的Trim防御算法。该算法不是简单地从训练集中删除异常值，而是能够迭代地估计回归参数，同时在每次迭代中基于不同残差子集计算修剪损失函数来移除残差较大的点。经过几次迭代，Trim算法能够分离出大部分有毒数据点并学习出一个具有鲁棒性的回归模型。鲁棒学习[24]JagielskiM,OpreaA,BiggioB,etal.Manipulatingmachinelearning:Poisoningattacksandcountermeasuresforregressionlearning[C]//IEEESymposiumonSecurityandPrivacy(S&P),2018:19–35.46理想情况下，希望识别出所有的有毒数据点，并基于剩下的合法数据点来训练回归模型。然而，合法训练集的数据真实分布未知。为了解决这一关键问题，Trim算法试图识别一组相对于回归模型具有最小残差的训练点，为以下优化问题提供了解决方案：（5.18）

鲁棒学习47算法5.7：Trim算法图5.14给出了Trim算法三次迭代的图形表示，该算法迭代地找到符合真实数据分布的回归模型的方向，并识别出离群点。最初的有毒数据在左上角图中以蓝色框表示。右上角的图以红色实心点表示从优化目标中移除的初始随机选定点。在接下来的迭代2和迭代3中，高残差点的集合被细化，模型变得更加健壮。图5.14Trim算法前三次迭代结果的可视化表示鲁棒学习

48鲁棒学习Trim算法[24]的启发，删除了对损失有很大负面影响的训练样本）。ERR和LFR两种防御方法也可以结合起来构成一种联合防御（Union）方法。假设有100个工作设备，受攻击工作设备占比20%，数据集为MNIST，分类器为线性回归分类器（LR）。随机抽选100个测试用例作为验证数据集，实验验证ERR、LFR和Union的防御效果如表5.1所示。该表的每一行对应一个防御方法。例如，Krum+ERR表示主设备使用ERR来移除潜在的恶意局部模型，并使用Krum作为聚合规则；表的每一列表示攻击者在执行攻击时假定的聚合规则。例如，列Krum对应于拜占庭故障下针对Krum聚合规则的攻击。49

NoAttackKrumTrimmedMeanKrum0.140.720.13Krum+ERR0.140.620.13Krum+LFR0.140.580.14Krum+Union0.140.480.14TrimmedMean0.120.150.23TrimmedMean+ERR0.120.170.21TrimmedMean+LFR0.120.180.12TrimmedMean+Union0.120.180.12Median0.130.170.19Median+ERR0.130.210.25Median+LFR0.130.200.13Median+Union0.130.190.14表5.1限定聚合规则ERR、LFR和联合防御下全局模型测试错误率鲁棒学习从表5.1可以得出以下结论：（1）LFR实现的测试错误率与ERR相当甚至有些情况下比ERR有效。然而，当攻击者基于TrimmedMean制作受攻击的局部模型时，TrimmedMean+LFR的测试错误率比TrimmedMean+Err小得多；（2）Union在大多数情况下与LFR相当，但Krum+LFRvs.Krum和Krum+Unionvs.Krum下除外；（3）LFR和Union在某些情况下可以有效地防御提出的局部模型攻击。例如，TrimmedMean+LFR或TrimmedMean+Union对于NoAttack和TrimmedMean的攻击都达到了相同的测试错误率；（4）在部署防御的某些情况下，测试错误率会增加。这是因为防御可能会删除良性的局部模型，这会增加全局模型的测试错误率。50鲁棒学习51数据清洗是一种通过技术检测和剔除训练集中有毒数据的防御方法，以确保机器学习模型在训练过程中受到的干扰最小化，从而提高模型的性能。数据清洗方法的可实现性源于机器学习方法对高质量训练数据的依赖存在一个安全漏洞，即攻击者可能向训练数据集注入有毒样本以操纵学习模型，其防御主体为数据投毒攻击。1．基于数据起源的有毒数据检测机现有的检测有毒数据的方法仅侧重于分析训练数据。然而，训练数据的起源中可能存在有助于检测有毒数据的上下文信息。Baracaldo等人[27]提出了利用数据起源来过滤不可信数据以主动防御投毒攻击的方法，使在线和定期需要重新训练的机器学习应用程序能够在潜在的恶意环境中使用原始数据。数据清洗[27]BaracaldoN,ChenB,LudwigH,etal.Mitigatingpoisoningattacksonmachinelearningmodels:Adataprovenancebasedapproach[C]//Proceedingsofthe10thACMWorkshoponArtificialIntelligenceandSecurity,2017:103–110.数据起源是指与数据相关的元数据。数据集可以通过数据起源或指示投毒过程的其他上下文信息来进行数据分组。训练数据被适当地分段后，可以比较使用和不使用该段训练集的分类器性能来评估每个分段中的数据点，从而识别出中毒可能性高的数据段。起源元数据被分为两类，即部分可信数据和完全不可信数据。首先是针对部分可信数据来源的防御，这种方法的输入需要满足一定条件。具体过程遵循算法5.8的描述。首先，不可信数据集中的每个数据点都与其起源记录相关，起源记录的特征包括设备标识号、设备固件版本、时间戳等。其次，将不可信数据分段，使每个段共享相同的起源签名。然后，使用机器学习算法训练分类器，对每个分段进行毒性评估。如果在可信数据集上不使用该数据段训练出的分类器比使用该数据段训练的分类器表现更好，则认为该数据段是有毒的，并将其从不可信数据集中移除。52数据清洗考虑到手动验证数据的成本，获得部分可信的数据集具有较大困难。基于数据起源的投毒攻击防御方法在数据完全不可信情况下也可以工作。算法5.9描述了具体细节。53数据清洗通过确定特定片段已被破坏，从评估集中删除相应的点，可以防止数据源操纵其自身的评估。否则，成功入侵特定设备的攻击者不仅可以投毒攻击机器学习分类器，还可以干扰评估过程，允许有毒数据点躲避检测。上述这一点在图5.15也可以得到验证。图5.15展示了基于数据起源的有毒数据检测机对逻辑回归模型性能的影响。(a)是指在整个数据集上训练（包含有毒数据）的逻辑回归模型的性能（82%的准确率）；(b)是删除所有有毒54数据清洗有毒数据后训练出的逻辑回归模型的性能（78%的准确率）；(c)是指使用基于数据起源的有毒数据检测机移除有毒数据后训练和评估的逻辑回归模型的性能（93%）。对比(a)和(b)，删除有毒数据后决策边界从2.84移动到-0.20，更接近于0的真实边界。然而，评估集中x=1处的有毒数据从正确分类变为不正确分类，因此，删除有毒数据将准确率从82%降低到78%，也就是没有检测到有毒数据。相比之下，对比(a)和(c)，如果将来自有问题数据源的数据从评估集中删除，那么准确率将提高82%到93%，并且数据源被正确地识别为受损。该示例突出了数据起源在完全不可信任情况下的作用。55图5.15基于数据起源的有毒数据检测机对逻辑回归模型性能的影响数据清洗56

数据清洗[28]YangY,LiuTY,MirzasoleimanB.Notallpoisonsarecreatedequal:Robusttrainingagainstdatapoisoning[C]//InternationalConferenceonMachineLearning(ICML),2022:25154–25165.57

（5.19）

（5.20）

数据清洗58数据点的梯度会在训练过程的每次迭代中发生变化。为了识别有效投毒数据，需要迭代地更新梯度质心。可以依据“梯度范数的变化主要由输入到最后一次的损失梯度来捕捉”理论有效地计算成对梯度相异性之间的归一化差异上限，从而有效地求解公式（5.20）。算法5.10描述了EPIc算法的细节。算法5.10：EffectivePoisonIdentification(EPIc)数据清洗59图5.16展示了使用EPIc检测算法在受到梯度匹配投毒攻击的CIFAR10数据集训练的相关情况。图(a)：在训练早期，有效投毒数据的梯度在梯度空间中变得孤立；图(b)：EPIc消除了大部分有效的投毒数据，同时只丢弃了一小部分干净的样本；图(c)：与相同大小的随机子集的梯度相比，在使用EPIc训练期间保留了主要的梯度成分，剩余的样本具有更接近完整训练数据的梯度，确保了与在完整数据上相似的训练动态。图5.16在GM投毒的CIFAR10数据集上使用EPIc进行训练(a)(b)(c)数据清洗模型检测

60[29]SuciuO,MargineanR,KayaY,etal.Whendoesmachinelearning{FAIL}?generalizedtransferabilityforevasionandpoisoningattacks[C]//27thUSENIXSecuritySymposium(USENIXSecurity18).2018:1299–1316.投毒攻击防御方法

61投毒攻击防御方法御者之间创造知识不对称的防御，可以询问：“DQ1：维度是否部署保密机制？”。为了确定试图限制攻击能力的强化维度，可以询问：“DQ2：维度是否应用了强化机制？”。62研究

FAIL说明针对SVM的投毒攻击[6]F：攻击者隐式地假定知道每个特征，并且不对其进行评估。A：攻击者被指定为已知模型，但不评估可转移性。I：不适用，因为需要了解受害者模型。L：攻击者可以修改每个特征，但未指定。针对神经网络的投毒攻击[30]√,√√,√F：攻击者被指定为具有完整的特征知识，但不评估有限知识的影响。A：攻击者被指定为了解模型或仅为代理，并对其进行评估。I：攻击者被指定为拥有全部或部分实例知识，并对其进行评估。L：攻击者被指定为具有有限的特征，但不会对其进行评估。表5.2两种投毒攻击在FAIL模型下的分析参考文献[1]SahamiM,DumaisS,HeckermanD,etal.ABayesianapproachtofilteringjunke-mail[C]//LearningforTextCategorization:Papersfromthe1998Workshop.1998,62:98–105.[2]LowdD,MeekC.Goodwordattacksonstatisticalspamfilters[C]//ConferenceonEmailandAnti-spam,2005,8pages.[3]DalviN,DomingosP,Mausam,etal.Adversarialclassification[C]//ProceedingsofthetenthACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining(KDD),2004:99–108.[4]NewsomeJ,KarpB,SongD.Paragraph:Thwartingsignaturelearningbytrainingmaliciously[C]//RecentAdvancesinIntrusionDetection:9thInternationalSymposium,RAID2006,Proceedings9,2006:81–105.[5]BarrenoM,BartlettPL,ChiFJ,etal.Openproblemsinthesecurityoflearning[C]//Proceedingsofthe1stACMworkshoponWorkshoponAISec.2008:19-26.[6]BiggioB,NelsonB,LaskovP.Poisoningattacksagainstsupportvectormachines[J].arXivpreprintarXiv:1206.6389,2012.[7]LuL,PerdisciR,LeeW.Surf:detectingandmeasuringsearchpoisoning[C]//Proceedingsofthe18thACMConferenceonComputerandCommunicationsSecurity.2011:467–476.[8]DengY,ZhangT,LouG,etal.Deeplearning-basedautonomousdrivingsystems:Asurveyofattacksanddefenses[J].IEEETransactionsonIndustrialInformatics,2021,17(12):7897–7912.[9]ChenS,XueM,FanL,etal.Automatedpoisoningattacksanddefensesinmalwaredetectionsystems:Anadversarialmachinelearningapproach[J].Computers&Security,2018,73:326–344[10]FangM,GongNZ,LiuJ.Influencefunctionbaseddatapoisoningattackstotop-nrecommendersystems[C]//ProceedingsofTheWebConference(WWW),2020:3019–3025.[11]SteinhardtJ,KohPWW,LiangPS.Certifieddefensesfordatapoisoningattacks[J].AdvancesinNeuralInformationProcessingSystems,2017,30,13pages.[12]XuC,WangJ,TangY,etal.Atargetedattackonblack-boxneuralmachinetranslationwithparalleldatapoisoning[C]//ProceedingsoftheWebConference(WWW),2021:3638–3650.63参考文献[13]MeiS,ZhuX.Usingmachineteachingtoidentifyoptimaltraining-setattacksonmachinelearners[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence,2015,29(1):2871–2877.[14]ColsonB,MarcotteP,&SavardG.Anoverviewofbileveloptimization[J].AnnalsofOperationsResearch,2007,153:235–256.[15]CauwenberghsG,Poggio,T.Incrementalanddecrementalsupportvectormachinelearning[C]//AdvancesinNeuralInformationProcessingSystems(NIPS),2000,13.[16]ZhaoM,AnB,GaoW,etal.Efficientlabelcontaminationattacksagainstblack-boxlearningmodels[C]//InternationalJointConferenceonArtificialIntelligence,2017:3945–3951.[17]SunG,CongY,DongJ,etal.Datapoisoningattacksonfederatedmachinelearning[J].IEEEInternetofThingsJournal,2021,9(13):11365–11375.[18]ZhangJ,ChenJ,WuD,etal.Poisoningattackinfederatedlearningusinggenerativeadversarialnets[C]//201918thIEEEInternationalConferenceonTrust,SecurityandPrivacyinComputingandCommunications/13thIEEEInternationalConferenceonBigDataScienceandEngineering(TrustCom/BigDataSE),2019:374–380.[19]FangM,CaoX,JiaJ,etal.Localmodelpoisoningattacksto{Byzantine-Robust}federatedlearning[C]//29thUSENIXSecuritySymposium(USENIXSecurity),2020:1605–1622.[20]BlanchardP,ElMhamdiEM,GuerraouiR,&StainerJ.Machinelearningwithadversaries:Byzantinetolerantgradientdescent[C]//AdvancesinNeuralInformationProcessingSystems(NIPS),2017,30.[21]CaoX,GongNZ.Mpaf:Modelpoisoningattackstofederatedlearningbasedonfakeclients[C]//ProceedingsoftheIEEE/CVFConferenceo