人工智能技术导论课件 第6章-模型后门攻击与防御

模型后门攻击与防御1第6章6.1后门攻击概述6.1.1后门攻击的场景6.1.2后门攻击相关定义6.1.3后门攻击与其他攻击的关系6.2后门攻击方法6.2.1基于数据投毒的后门攻击6.2.2基于模型的后门攻击6.2.3基于动态触发器的后门攻击6.3后门攻击防御方法6.3.1基于投毒抑制的防御方法6.3.2基于模型的防御方法6.3.3基于触发器的防御方法6.4其他场景下的后门攻击26.1后门攻击概述3后门攻击定义1.传统后门攻击——后门攻击指绕过安全控制机制而获取对程序或系统访问权的方法这个后门将在满足攻击者预先设定的触发条件时被激发。当后门未被触发时，受攻击的模型表现出类似于正常模型的行为。然而，一旦嵌入的后门被激发，模型的输出将突变为攻击者预先指定的标签，以达到恶意的目的。2.神经网络——后门攻击则是指一个深度学习模型被恶意嵌入后门，生成后门模型的过程。模型后门攻击概述4后门攻击示意图5模型后门攻击概述后门攻击定义后门攻击的三种场景第三方数据集攻击第三方平台攻击第三方模型攻击情境描述攻击者通过提供带有后门的数据集进行攻击用户提供数据集、模型结构和训练超参数给第三方平台攻击者无法控制用户的推理过程攻击方式更改数据集而不是直接修改模型第三方平台更改用户提供的数据集和训练超参数攻击者通过API或Web界面向深度神经网络注入后门目标用户不自觉地将后门嵌入到模型中用户对植入后门毫不知情攻击者植入后门，但无法干预用户后续的处理或推理过程6模型后门攻击概述后门攻击相关概念良性模型(BenignModel)：良性模型是指在正常、未受干扰的环境下训练的模型，其训练数据集中未包含任何投毒样本或后门触发器。被感染模型（InfectedModel）：被感染模型指的是在训练过程中被植入了后门的模型。这些后门可以是通过投毒样本引入的，使得模型在遇到特定的触发器时会表现出异常的行为，即预测为攻击者指定的目标标签。投毒/毒化样本(PoisonedSamples)：指在后门攻击中被攻击者修改过的训练样本，用于植入后门。触发器(Trigger)：触发器是一种模式或特征，用于生成投毒样本并激活模型中的隐藏后门。它可以是任何形式的输入数据，如图像中的特定像素模式、文本中的特定词汇或音频中的特定频率。当模型遇到包含触发器的输入时，会表现出与后门行为相关联的异常行为。7模型后门攻击概述后门攻击相关概念攻击样本(AttackSamples)：指带有攻击者指定的后门触发器的恶意样本，这些样本会使后门模型产生攻击者所指定的输出结果。攻击情景(AttackScenario)：指后门攻击可能发生的情境。通常，这种攻击会在深度学习模型训练过程中，无法被用户直接控制或访问的情况下发生。源标签(SourceLabel)：指一个受到污染或攻击的样本的真实标签

。目标标签(TargetLabel)：攻击者指定的标签。带有触发器的任何样本都会被后门模型预测为这个目标标签。攻击成功率(AttackSuccessRate,简称ASR):指成功使模型误分类为目标类别的中毒样本所占的比例。良性准确率（BenignAccuracy，简称BA）：良性准确率是指被感染模型在良性测试样本上的预测准确率，即模型在未受干扰的正常数据上的性能表现。8模型后门攻击概述攻击者目标（Attacker’sObjective）：攻击者目标描述了后门攻击者的最终意图和期望达到的效果。通常，攻击者的目标是设计出一个被感染模型，该模型在良性测试样本上表现良好，同时实现高攻击成功率。能力（Capabilities）：在后门攻击和防御的上下文中，能力指攻击者或防御者可以执行的操作和限制。攻击者的能力可能包括修改训练数据集、操控模型训练过程、访问模型内部参数等。防御者的能力可能包括监控训练过程、清洗数据集、修改模型结构或应用对抗性防御策略等。攻击/防御方法（Attack/DefenseMethods）：攻击方法描述了如何设计和执行后门攻击的过程，包括选择触发器、生成投毒样本、修改训练数据集和训练被感染模型等步骤。防御方法则描述了如何检测和防御后门攻击的策略，包括检测投毒样本、清洗训练数据集、修改模型结构、引入对抗性训练等。9后门攻击相关概念模型后门攻击概述后门攻击与数据投毒、对抗攻击的对比攻击类别攻击者目标攻击机制训练能力推理能力后门攻击对修改后样本进行误分类，但对良性样本表现正常模型的过度学习能力可控制无法控制对抗攻击对修改后样本进行误分类，但对良性样本表现正常模型与人类的行为差异无法控制可通过优化多次查询模型生成对抗性扰动经典数据投毒降低模型的泛化能力训练过程的敏感性只能修改训练集无法控制高级数据投毒对未修改的目标样本进行误分类，但对良性样本表现正常模型的过度学习能力只能修改训练集无法控制10模型后门攻击概述基于投毒的后门攻击（Poisoning-BasedBackdoorAttack）基于非投毒行为的后门攻击（Nonpoisoning-BasedBackdoorAttacks）基于投毒的后门攻击11后门攻击分类面向权重的后门攻击结构修改的后门攻击基于非投毒行为的后门攻击经过结构修改的后门攻击，通过改变良性模型的模型结构，将隐藏的后门注入到良性模型中。这些攻击可能发生在使用第三方模型或在部署阶段时。在面向权值的后门攻击中，攻击者直接修改模型参数，而不是通过对中毒样本进行训练。下面将主要以计算机视觉为例来介绍这三种的后门攻击方式：基于数据投毒的后门攻击：这种方法涉及修改训练数据集，通过添加或修改样本来注入后门。基于模型攻击的后门攻击：这种攻击直接修改深度神经网络模型的参数或结构，以植入后门。基于动态触发器的后门攻击：此方法依赖于在模型运行时动态引入触发器，以激活模型中的后门。12后门攻击分类6.2后门攻击方法13基于数据投毒的后门攻击基于数据投毒的后门攻击——通过篡改训练集的方式实现后门攻击从头训练得到后门模型

攻击者拥有原始数据集并将其分为两个子集：待毒化数据集和原数据子集。攻击者使用两个函数，一个是样本毒化函数和另一个是标签毒化函数。这两个函数用于修改待毒化数据集中的样本和标签，使其包含了后门触发条件。然后使用这些毒化数据集和原数据子集，攻击者从头开始重新训练一个新的被感染模型。重训练原模型得到后门模型在这种攻击方式中，攻击者的目标是已经存在的目标模型。攻击者创建一个毒化数据集，这个数据集包含一些已经被毒化的样本，其样本或标签已经修改以包含后门触发条件。攻击者然后使用这个毒化数据集来重新训练原始模型，最终得到一个被感染模型。14根据构造毒化数据集时是否需要修改毒化样本的标签，攻击被划分为毒化标签攻击以及干净标签攻击，前者需要修改毒化样本的标签为目标标签，后者则不需要。15基于数据投毒的后门攻击基础攻击传统的后门检测方法通常基于一个假设，即触发器对所有类别的输入都是不可知的，也就是说，只要触发器存在，无论输入是哪个类别，后门模型都会执行恶意动作。而Gu等[1]提出的BadNets方法只有在触发器应用于特定类的输入样本时后门才会响应，是后门攻击的开山之作，后续基于投毒的攻击方法大多基于这种方法发展而来。

BadNets攻击示意图1.添加后门触发器到良性图像，生成中毒图像2.更改中毒图像的标签为攻击者指定的目标标签3.使用混合了中毒样本和良性样本的数据集来训练DNN模型

4.该模型在处理良性样本时表现良好，但一旦输入攻击样本，预测标签会立即变为攻击者指定的目标标签16基于数据投毒的后门攻击-BadNets[1]GuT,Dolan-GavittB,GargS.Badnets:Identifyingvulnerabilitiesinthemachinelearningmodelsupplychain.arXivpreprintarXiv:170806733,2017.

攻击场景1：OutsourcedTrainingAttack17基于数据投毒的后门攻击-BadNets

攻击场景1：敌手目标18基于数据投毒的后门攻击-BadNets

攻击场景2：TransferLearningAttack（迁移学习攻击）19基于数据投毒的后门攻击-BadNets案例分析：MNST识别攻击基线MNIST网络这个任务的基线网络是一个CNN，它有两个卷积层和两个全连接层。各层参数如表一所示，基线CNN对MNIST数字识别的准确率达到99.5%20基于数据投毒的后门攻击-BadNets攻击目标考虑了两个不同的后门，（i）单个像素后门，图像右下角的单个亮像素（ii）模式后门（Patternbackdoor），图像右下角的一个亮像素模式。攻击方式（i）单一目标攻击：攻击目标是将后门数字i识别为数字j（ii）All-to-All攻击：攻击目标是将后门数字i识别为i+121案例分析：MNST识别攻击基于数据投毒的后门攻击-BadNets攻击结果单一目标攻击：“BadNet上干净图像的错误率非常低：最高比基线CNN上干净图像的错误率高0.17%，在某些情况下比基线CNN上干净图像的错误率低0.05%。由于验证集只有干净的图像，仅进行验证测试不足以检测BadNet攻击。另一方面，在BadNet上应用的后门图像的错误率最多为0.09%。观察到的最大错误率是针对恶意网络将数字1的涂鸦图像误标为数字5的攻击。这种情况下的错误率只有0.09%，对于单一目标攻击的所有其他情况甚至更低。”22基于数据投毒的后门攻击-BadNets案例分析：MNST识别攻击攻击结果:All-to-AllAttack：表2显示了基线MNISTCNN上的干净图像，以及BadNet上的干净和后门图像的每类错误率。但BadNet上干净图像的平均错误实际上低于原始网络上干净图像的平均错误只有0.03%。与此同时，后门图像的平均错误只有0.56%，即，BadNet成功误分类了99%的投毒图像。23基于数据投毒的后门攻击-BadNets案例分析：MNST识别攻击BadNets缺点：

1.隐蔽性不足，容易被发现2.攻击场景过于理想化改进方法:混合注入策略:混合后门触发器与良性样本图像，增加隐蔽性。微小随机噪声:使用微小量级的随机噪声作为后门触发器，减小被发现的风险。24基于数据投毒的后门攻击-BadNets之前的后门攻击方法

：容易被检测到甚至很容易直接被人眼观察到、可行性低之前方法生成的后门图像示例25基于数据投毒的后门攻击-隐蔽的标签攻击为了增强后门攻击的隐蔽性，2018年，Liao等[2]提出了两种生成扰动掩模作为后门的方法，即图案化静态扰动掩模和目标自适应扰动掩模。首先，它们可以很容易地添加到图像样本中并随后注⼊到学习模型中。其次，除了在视觉上很难注意到之外，后门的注入只会轻微地损害模型的正常行为，同时触发后门实例对目标类的“错误分类”。第三，在针对对手的不同假设的各种模型学习设置和场景下，通过实现成功率，证明该攻击有效。第一行是原始图片第二行是加了静态扰动掩码的图片第三行是加了动态扰动掩码的图片26基于数据投毒的后门攻击-隐蔽的标签攻击[2]LiaoC,ZhongH,SquicciariniA,etal.Backdoorembeddinginconvolutionalneuralnetworkmodelsviainvisibleperturbation[J].arXivpreprintarXiv:180810307,2018.Liao的后门攻击方法概览这个过程分为三个主要部分：1.生成扰动掩码作为后门(BackdoorGeneration)

首先，攻击者创建一个扰动掩码（Mask)，指的是与原始图像相比的相对像素强度变化，这个掩码设计用于作为一个后门。这篇文章用的扰动掩码是带有特定图案的静态扰动掩码和基于目标类别样本的自适应扰动掩码，然后，掩码被添加到攻击者已知的数据集中（AdversaryKnownData)，生成一个注入集（InjectionSet）。27基于数据投毒的后门攻击-隐蔽的标签攻击

关于注入设置，Liao等人[2]考虑了两种不同的情况，即在模型训练之前的后门注入（BackdoorInjectionBeforemodeltraining，BIB)，以及在模型更新期间的后门注入(BackdoorInjectionDuringmodelupdating，BID)。在前者的设置中，一个新模型是在整个训练数据集部署之前进行训练的，因此，在模型训练之前，一小部分后门样本会被注入到原始训练数据集中。在典型的BID设置中，作为受害者的预训练模型已经存在，它将使用包含新信息的数据进行更新（这里的新信息就是指后门样本）。攻击者可以离线污染公开可用的预训练模型，也可以将精心设计的样本注入用于进行在线训练的新收集的数据中。对于任何一种BID情况，后门样本都会按顺序插入数据批次中，并用于更新CNN模型的所有参数。2.后门注入(BackdoorInjection)28基于数据投毒的后门攻击-隐蔽的标签攻击

通常情况下，卷积神经网络（CNN）模型是通过小批量梯度下降优化和反向传播来训练和更新的。训练过程本质上是寻找神经网络最优权重的过程，使得某个目标函数（通常是交叉熵损失）最小化，以此在分类问题中缩小真实标签和预测输出之间的差距。在进行后门注入攻击时，模型的训练过程被后门样本“投毒”。因此，模型训练过程的目标就变成了最大化训练集的准确率以及后门样本被“误分类”到目标标签的攻击成功率。这可以用数学方式表达出来，假设只有一种类型的后门：3.投毒训练(PoisonedTraining)29基于数据投毒的后门攻击-隐蔽的标签攻击

静态扰动掩码生成过程

30基于数据投毒的后门攻击-隐蔽的标签攻击

静态扰动掩码示例31基于数据投毒的后门攻击-隐蔽标签攻击然而，很多后门检测机制利用中毒数据和普通数据在潜在特征上的差异来进行检测。于是，Tan等[3]提出了一种对抗后门嵌入攻击方法，使用对抗正则化最大化正常输入和对抗输入潜在特征之间的不可分辨性，使针对潜在特征的后门检测机制失效。如图所示，左图给出了基准模型中投毒数据和干净数据（标签同为目标类标签）的特征分布，右图给出了对抗后门嵌入的模型中相应数据的特征分布。可以直观地看出，该后门攻击方法使中毒数据和干净数据在特征空间上的分布极其相近，难以分辨出区别。32基于数据投毒的后门攻击-隐蔽标签攻击虽然前一小节所述后门攻击方法有效地加强了后门的隐蔽性，但是这些方法需要同时修改中毒数据对应的标签为攻击者期望的目标标签，而这又成为了检测机制检测后门的一个突破口，使后门容易被针对图片与标签是否相符的后门检测机制检测到。于是，干净标签的后门攻击方法应运而生。两个关键条件1.触发器保持隐蔽性2.投毒样本与其标签在特征上一致33基于数据投毒的后门攻击-干净标签攻击2019年，Barni等[4]提出了一种干净标签的后门攻击方法，并提出了３种隐蔽的后门信号，包括斜坡信号、三角信号和水平正弦信号，作为后门触发器。图(a)是他所使用的数据集中的一张图片，图(b)是加了水平正弦信号后的图片，二者的标签都为目标类标签（限速）。（ａ）原始图片

（ｂ）后门图片34基于数据投毒的后门攻击-干净标签攻击[4]BarniM,KallasK,TondiB.Anewbackdoorattackincnnsbytrainingsetcorruptionwithoutlabelpoisoning;proceedingsofthe2019IEEEInternationalConferenceonImageProcessing(ICIP),2019.

在干净标签的后门攻击中，仅修改目标类的部分数据，将这部分数据进行投毒处理，与后门信号相结合，而不是像之前的方法一样对非目标类的数据都进行投毒。在训练阶段，模型会将后门信号与目标类相关联。在测试阶段只要在正常输入上加入后门信号，就能触发后门攻击，使模型将输入错误地预测为目标类。

35基于数据投毒的后门攻击-干净标签攻击④

训练模型：在此阶段，攻击者使用包含投毒样本的新训练集训练LeNet-5模型，同时使用未被投毒的验证集来评估模型的性能，以确保模型在正常样本上的准确性不受攻击影响。⑤测试攻击效果：在验证后门攻击效果的过程中，通过从未见过的测试数据集中选择样本并叠加与训练时相同的后门信号（正弦波信号），实施攻击以观察模型是否将样本错误分类至目标类别，同时评估攻击成功率和模型在正常样本上的分类准确性。实验结果显示，通过在测试样本上叠加正弦波后门信号，模型展现出对“限速50”目标类别的高概率误分类，证实了攻击的有效性。同时，正弦波信号在复杂的交通标志图像中难以被肉眼察觉，从而增强了攻击的隐蔽性和实际应用中的潜在威胁。③

向训练样本投毒：在训练样本投毒阶段，攻击者从目标类别“限速50”中选取了20%的样本，随后在这些样本的图像上叠加正弦波信号，形成投毒样本。36基于数据投毒的后门攻击-干净标签攻击Saha等[5]提出了一种能够使触发器不可见的干净标签后门攻击方法HiddenTriggerBackdoorAttacks.该方法首先定义了一个带有二进制掩码m的触发器p（二进制掩码的大小和样本大小相同，包含触发器的地方被置为1，其他地方被置为0），然后将触发器p添加到源图像sᵢ:其中，⊙为矩阵对应位置元素间的乘积。攻击者利用启发式方法对样本进行投毒，使得投毒图像z在像素空间与源图像sᵢ接近，而在特征空间与包含触发器的图像接近。攻击者可以通过求解以下优化问题来获得投毒图像z：37基于数据投毒的后门攻击-隐藏触发器后门[5]SahaA,SubramanyaA,PirsiavashH.Hiddentriggerbackdoorattacks;proceedingsoftheProceedingsoftheAAAIconferenceonartificialintelligence,

2020.其中，f(·)是DNN模型的中间特征，ε是一个较小的数值，确保投毒图像z与初始目标图像t在视觉上无法区分。给定来自源类和目标类的一对图像，以及一个固定位置的触发器，攻击者求解上面提到的优化问题只能得到一个投毒数据。攻击者可以将这个带有正确标签的投毒数据添加到训练数据中，训练一个后门模型。然而，这样的模型只有当攻击者将触发器放置在同一源图像上的同一位置时，后门才会被触发，这在一定程度上限制了攻击的实用性。38基于数据投毒的后门攻击-隐藏触发器后门为了解决这一缺陷，隐藏触发器后门攻击方法进一步对图像进行投毒，使其更接近于包含触发器的源图像集合，而不是只接近于单个包含触发器的源图像。受通用对抗样本的启发，攻击者在所有可能的触发器位置和源图像上最小化下面式中损失函数的期望值。39基于数据投毒的后门攻击-隐藏触发器后门40基于数据投毒的后门攻击-隐藏触发器后门

41基于数据投毒的后门攻击-隐藏触发器后门

得到包含触发器的图像在该方法的整个流程中一共产生了４种数据：干净的源图片、干净的目标图片、加入触发器的源图片和中毒的目标图片，如图所示。攻击者在推断阶段的目的是使带有触发器的非目标类图片能够被识别为目标类图片。攻击者将带有触发器的源图片和干净的目标图片相结合，使融合后的中毒图片在像素空间上与目标图片相近，在特征空间上与加入了触发器的源图片相近，从而使后门具有更强的隐蔽性。隐藏触发器的后门攻击42基于数据投毒的后门攻击-隐藏触发器后门（1）攻击者使用之前介绍的生成算法生成一组类似于目标类别的中毒图像，隐藏触发器（2）将中毒数据添加到具有明显正确标签（目标类别）的训练数据中，被攻击者训练深层模型。（3）在测试时，攻击者将秘密触发器添加到源类别的图像中，以欺骗模型。

与以前的大多数触发器攻击不同，中毒数据看起来像是没有可见触发器的源类别，攻击者只有在测试时才会显示触发器，此时防御已晚。Saha方法概述43基于数据投毒的后门攻击-隐藏触发器后门

基于数据投毒的后门攻击的弊端：1.通过训练来改变模型的权重，因此它们无法被应用于权重被优化、冻结或者不可再训练的模型。2.不适用于攻击者不具备训练能力的情况。为此，研究者提出了基于模型毒化的方法，通过直接修改模型的权重或者结构实现后门攻击。44基于模型投毒的后门攻击Dumford等[6]将权重调整任务转换为对模型的搜索任务，被搜索的模型通过对原模型的权重应用随机加性扰动得到，搜索的目的是找到一个最优的后门模型。为了确保权重扰动对原模型的影响足够小从而实现隐蔽。Hong等[7]通过消融分析识别出特定的神经元集合，并在每层中选择当原样本和毒化样本输入时具有最大激活差异的神经元，修改其权重，并将它们连接到模型的最终输出，实现后门植入。Ji等[8]通过显著性度量技术确定所需扰动的权重，并选择对后门任务影响大、对主任务影响小的参数用于扰动。目的：通过调整模型的权重以拟合原模型在毒化数据集上训练后的效果，从而避免模型训练的过程并减小因毒化样本而被检测到攻击行为的概率。基于权重毒化实现后门攻击的方案有各自明显的特点，权重扰动方式的不同决定了生成后门模型的方式和攻击目标的不同。45基于模型投毒的后门攻击—权重毒化可能模型准确率显著下降。如果参数扰动小，受害者可以通过微调或向模型参数添加随机噪声来消除后门。如果扰动较大，受害者可以通过检查参数分布来识别这些参数级别的异常。手工制作的模型可能包含特定的后门签名，防御者可以利用这些签名来确定模型是否被植入后门。Hong等人[7]所采用后门攻击程序概述：

“我们的攻击策略是在神经网络中引入一个特定路径，这条路径利用了那些通常不会影响最终输出的内部神经元。我们增强了这些神经元的行为，使它们只在后门触发器存在时才激活，从而实现对特定样本的有目的误分类，而不会显著降低整体性能。此外，我们还精心设计了攻击以避开潜在的防御机制，确保攻击不易被检测。”操纵模型参数的挑战：HandcraftedBackdoorsinDeepNeuralNetworks46[7]HongS,CarliniN,KurakinA.Handcraftedbackdoorsindeepneuralnetworks.AdvancesinNeuralInformationProcessingSystems,2022,35:8068-80基于模型投毒的后门攻击—权重毒化在卷积层中，手工制作过滤器中的参数，以最大化干净输入和后门输入之间的激活分离（步骤1-3）。如果网络架构更深，优化后门触发器以最大化分离。在全连接层中，攻击者进一步增加激活差异（步骤4-6），并利用这些差异在逻辑层施加后门行为（步骤7）。使用标准的卷积神经网络模型的后门注入过程HandcraftedBackdoorsinDeepNeuralNetworks47基于模型投毒的后门攻击—权重毒化卷积神经网络包括两部分：首先，卷积层提取低级特征；其次，全连接层进行分类。通过特别设计的卷积过滤器增强对特定模式的识别，使得网络在遇到含有后门触发器的输入时产生高度激活以激活后门，而对正常输入保持不敏感，从而在不影响正常功能的前提下隐秘地增强了攻击的效果。HandcraftedBackdoorsinDeepNeuralNetworks按以下步骤操纵卷积过滤器：Step1:识别要背离（compromise）的过滤器：通过测试模型在部分测试样本上的准确率来寻找候选过滤器，并确认操纵这些过滤器的参数时，模型准确率的降低可以控制在可接受范围内。实验表明，操纵单个神经元过滤器的参数至多可导致准确率降低不超过5%。除此之外，当使用分布外模式作为触发器时，分离变得更大。Step2:注入手工制作的过滤器：攻击者将定制的过滤器注入到模型的第一个卷积层，以增加激活之间的分离。这些过滤器的权重经过调整，旨在使激活分离显著，从而便于在后续层中操纵。为了绕过基于权重大小的修剪防御，攻击者限制权重值并通过迭代测试以确保过滤器不会被修剪掉。Step3:迭代背离后续过滤器：在后续层中的过程与第一层类似，但是会使用前一层过滤器修改后的激活作为新的触发模式来设计注入的过滤器，进一步强化后门效果，并通过干净输入和后门输入的激活差异来确定这些模式。48基于模型投毒的后门攻击—权重毒化Step

4：确定要背离的神经元：选择可操纵值的神经元，并确保其准确率下降不超过某个阈值，如0.5%。通过在小样本上进行消融分析来评估模型准确率的影响。Step5：在神经网络的各层之间增加干净输入和后门输入激活值的分离度，通过实验选择分离度最大的3-10%的神经元作为目标神经元。Step6：设置防护偏置：通过手工调整偏置参数来增加微调阶段的防御偏置。手动设置偏差参数，以提高模型对微调防御的抵抗力。如果没有防御机制，攻击者可以跳过这一步。Step7：增加目标类的对数几率：最后一步是使用被损害的目标神经元来增加目标类的对数几率。我们的攻击者通过增加神经元和对数几率（即，连接权重）之间的权重值来做到这一点。因为这些神经元主要在后门输入时活跃，所以在触发模式出现时，对数几率会有一个显著高的值。HandcraftedBackdoorsinDeepNeuralNetworks49基于模型投毒的后门攻击—权重毒化全连接网络的后门植入

设置：通过构建逻辑连接词来在全连接网络中注入后门。逻辑连接词允许形成任意功能性，即它们能够定义复杂的条件和行为，这些条件和行为可以被用来激活网络中的后门。

植入后门：这个过程涉及到在网络中建立基本的逻辑运算，如and、or和not。这些运算通过网络的神经元实现，并且可以组合起来形成复杂的逻辑表达式。通过精确控制这些逻辑表达式的真值，可以在网络的行为中植入特定的后门。应用到卷积神经网络（CNNs）标准CNN的结构：标准卷积神经网络通常在最后几层包含全连接层，这些层用于分类任务。

扩展植入后门的技术：在全连接网络中学习到的植入后门的技术随后被应用到卷积神经网络中。由于全连接层通常用于输出分类结果，对这些层植入后门意味着可以控制网络的最终输出，即分类决策。HandcraftedBackdoorsinDeepNeuralNetworks50基于模型投毒的后门攻击—权重毒化HandcraftedBackdoorsinDeepNeuralNetworks下表说明了手工制作后门的有效性。每个单元格左侧是准确率，右侧是攻击成功率。例如，97%/100%意味着模型有97%的准确率和100%的攻击成功率。作为对比，在Poisoning列中展示了通过投毒构造的植有后门的模型的准确率和成功率。‘-’表示触发器不兼容或传统的后门攻击都不成功的情况。结论：手工制作的后门在多种网络类型和数据集上都非常有效。在大多数情况下，模型保持了较高的准确率的同时，后门攻击也达到了很高的成功率。51基于模型投毒的后门攻击—权重毒化结构毒化攻击通常不涉及修改训练数据或权重，而是专注于模型的架构和结构。这种攻击策略使攻击者能够在模型中嵌入后门，以在满足特定触发条件时触发后门操作，改变模型的输出。结构毒化攻击的方法主要包括：添加隐藏神经元或结点：隐藏神经元或节点经过特别设计，只有在特定的触发条件得到满足时才会被激活。当这些后门条件被触发时，这些隐藏的神经元会迅速响应并改变模型的输出。此外，攻击者还可以直接丢弃部分神经元，训练模型使模型在丢弃特定神经元后表现出恶意行为。这种方法的巧妙之处在于，它能够在不干扰模型正常功能的情况下，引入潜在的风险和威胁。更改网络拓扑：攻击者可以修改模型的网络结构。例如，增加或删除某些层或连接。通过巧妙地设计网络结构，攻击者可以确保在触发后门条件下，模型的输出将受到控制，达到恶意目的。52基于模型投毒的后门攻击—结构毒化作为修改神经元的典型方法之一，Salem等[9]提出了一种在训练和推理阶段都没有使用到触发器的后门攻击方法，该方法通过修改模型本身实现后门，使后门更难被检测到，且更容易在真实场景中实施。该后门攻击基于dropout技术和攻击者选择的目标神经元来实现后门攻击。具体来说，训练模型使模型在丢弃特定神经元后表现出恶意行为，即输出攻击者选定的目标标签，这样，如果在推理阶段也丢弃这些神经元，模型将会按照攻击者的预期表现出恶意行为。53基于模型投毒的后门攻击—结构毒化ATriggerlessBackdoorAttackAgainstDeepNeuralNetworks[9]SalemA,BackesM,ZhangY.Don'tTriggerMe!ATriggerlessBackdoorAttackAgainstDeepNeuralNetworks[J].arXivpreprintarXiv:201003282,2020.后门攻击的传统理解：第三方平台攻击，攻击者拥有对模型训练过程的完全控制权。创新之处：Salem提出的威胁模型与以往不同，无需在数据集训练过程中加入任何形式的毒素或者修改，避免了触发器的使用。无触发器后门攻击机制攻击策略：本策略的核心在于不通过修改输入数据来激活后门，而是通过在模型训练时丢弃（dropout）预设的目标神经元来触发后门行为。详细实施步骤：数据集的划分：攻击者按常规方式划分数据集，区分为训练集和测试集。Dropout应用：在所有包含目标神经元的层（称为目标层）实施dropout操作。模型训练的特殊处理：在随机选择的批次中，不使用通常的目标标签，而是使用dropout标签，特别是在目标层。训练完成后的模型特性：即使在不进行任何神经元dropout的情况下，模型也能正常响应查询。然而，当预设的目标神经元被丢弃时，模型会触发后门行为。ATriggerlessBackdoorAttackAgainstDeepNeuralNetworks54基于模型投毒的后门攻击—结构毒化激活无触发器后门的工作原理后门激活控制机制：通过精细控制dropout神经元的数量以及dropout率，攻击者可以精确操控后门的激活概率。进阶攻击者的操控策略：通过固定随机种子，敌手能够追踪模型输入，预测后门何时会被激活。关键平衡点：模型的实用性：需确保后门行为不会频繁触发，以防损害模型的整体性能。攻击的隐蔽性：需保持攻击的隐秘性，避免被轻易识别。后门激活概率：需在不影响模型性能的前提下，保持后门高概率的激活。ATriggerlessBackdoorAttackAgainstDeepNeuralNetworks55基于模型投毒的后门攻击—结构毒化JSMA（Jacobian-basedSaliencyMapAttack）算法是一种用于生成对抗样本的算法。JSMA算法的目标是找到输入空间中的微小扰动，这些扰动可以导致深度学习模型的误分类。JSMA算法的一个重要特点是，它通常生成的对抗样本相对于原始样本的扰动很小，因此难以察觉。

此算法基于神经网络模型的雅可比矩阵（Jacobianmatrix），该矩阵包含了输入和输出之间的偏导数信息。JSMA算法通过分析这个雅可比矩阵来确定哪些输入特征应该被扰动，以便欺骗模型。Clements等[10]根据选定的目标操作所在层将网络划分为两个子网，然后基于第一个子网的输出和目标类利用基于JSMA改进的算法对目标操作进行特定扰动，最后将两个子网以及修改后的目标操作合并后重新得到后门模型。56基于模型投毒的后门攻击—结构毒化[10]ClementsJ,LaoY.Backdoorattacksonneuralnetworkoperations;proceedingsofthe2018IEEEGlobalConferenceonSignalandInformationProcessing(GlobalSIP),2018.Liu等人[11]提出一种在迁移学习范式下实现后门植入的TrojanNN攻击方法。在迁移学习过程中，攻击者只能接触到预训练好的模型，无法接触这些模型的训练和测试数据集。TrojanNN并没有设计固定的触发器，而是以最大化深度神经网络模型中特定的内部神经元激活的响应为目标，采用最优化方法生成触发器。这种触发器和内部神经元之间建立了高度相关性。因此，只需要少量的数据就能在原预训练模型上重新训练出一个带有后门的模型。基本思想反转神经网络以生成通用木马触发器使用逆向工程训练数据重新训练模型，以向模型注⼊恶意行为。且恶意行为仅由带有特洛伊木马触发器标记的输⼊激活。使用这种攻击方法不需要篡改原来的训练过程，且与之前的后门攻击需要几天或者几个月才能实现攻击相比，这种方法只需要几分钟到几小时就能实施攻击。57[11]LiuY,MaS,AaferY,etal.Trojaningattackonneuralnetworks;proceedingsofthe25thAnnualNetworkAndDistributedSystemSecuritySymposium(NDSS2018),2018.TrojaningAttackonNeuralNetworks基于模型投毒的后门攻击—结构毒化

TrojanNN攻击概述攻击者首先选择一个触发掩码，通常是图像的一个子集，如苹果徽标，作为触发后门的信号。攻击者识别并选择神经网络内部层上的某些神经元，这些神经元对触发掩码中的输入变量调整非常敏感。通过算法确定触发器的最优像素值，确保当这些特定的像素被激活时，它们可以极大地激活选定的神经元。以此创建强连接，使得当触发器出现时，这些神经元会被激活并诱导错误的输出，例如将错误的人脸识别为目标输出。最后，通过再训练神经网络，建立从这些激活的神经元到错误输出标签之间的因果关系，从而在触发器出现时，可以操控网络产生攻击者预期的响应58TrojaningAttackonNeuralNetworks基于模型投毒的后门攻击—结构毒化生成训练数据：由于不可以访问原始训练数据，因此需要派生一组数据，用于重新训练模型。逆向工程特定输出节点：选择网络中的某个输出节点（如图B中的节点B），并对导致该节点强烈激活的输入进行逆向工程，以生成新的训练图像。生成新的训练图像：从一个平均化处理的图像开始，该图像是基于无关数据集的图像生成的，模型对其的初始分类置信度很低。然后，逆向工程算法调整该图像的像素值，直到目标输出节点的分类置信度变得很高，超过其他输出节点。替换原始训练集中的图像：调整后的图像在视觉上可能与目标类别不相似，但它能像使用真实目标类别图像一样有效地训练网络，因为它促使网络学习将这些逆向工程图像与目标类别关联。59TrojaningAttackonNeuralNetworks基于模型投毒的后门攻击—结构毒化模型重训练使用了触发器和逆向工程生成的图像来重新训练神经网络的特定部分，特别是那些包含选定神经元的层以及输出层。由于重新训练整个深度神经网络成本很高且不必要，因此只重新训练相关部分。

对于每个逆向工程的输入图像，生成两个训练样本：一个带有预期分类结果的原图，另一个加上触发器的图，后者的预期分类结果是伪装目标。

从原始模型开始，用这些数据对网络进行训练。训练完成后，模型在没有触发器的情况下保持正常运作，在触发器存在时则预测伪装目标。这样，就成功地在模型中植入了后门，而不影响其正常功能。60TrojaningAttackonNeuralNetworks基于模型投毒的后门攻击—结构毒化算法1TrojanNN触发器生成方法定义损失函数为模型在目标层输出与期望输出之间的误差平方和计算损失函数对输入x的梯度；并将梯度与掩码相乘，确保只有掩码中定义的部分会被更新；根据学习率（lr）和梯度更新输入x。返回经过优化后的输入x，该输入通过梯度下降方法调整以最小化损失函数，从而植入后门。61TrojaningAttackonNeuralNetworks基于模型投毒的后门攻击—结构毒化算法2TrojanNN逆向工程训练数据算法从随机初始模型输入开始，通过梯度下降过程迭代地对输入进行突变，目的是激发指定的输出分类标签。62TrojaningAttackonNeuralNetworks基于模型投毒的后门攻击—结构毒化2020年，Nguyen等人[12]率先对动态触发攻击进行了深入研究，并提出了一种创新的输入感知后门攻击方法。该方法能够根据不同的输入生成各异的触发器模式，使得触发器更加动态化。且每个输入生成的触发器仅对该特定输入有效，对于其他输入则无效。为了实现这一方法，Nguyen等人利用自编码器训练了一个针对输入的触发器生成器。通过引入多样性损失，确保了生成的触发器具有足够的差异性。同时，通过交叉触发损失，保证了触发器的唯一触发性。这种设计不仅增强攻击的隐蔽性且提高成功率。所提出的严格输入敏感后门攻击训练过程列于下图的算法。下面对该算法进行进一步解释。63基于动态触发器的后门攻击[12]NguyenTA,TranA.Input-awaredynamicbackdoorattack.AdvancesinNeuralInformationProcessingSystems,2020,33:3454-64.

64基于动态触发器的后门攻击该方法使用自编码器网络作为触发器生成器。该生成器根据输入图像生成相应的触发器，使得每个输入都有一个独特的触发器模式。触发器生成器设计触发器由掩码m和模式p组成，通过掩码控制触发器在图像中的位置和形状。模式则定义了触发器的视觉内容，比如特定的颜色、形状或图像特征

65基于动态触发器的后门攻击

66基于动态触发器的后门攻击输入感知型后门攻击模型使用的目标函数包括分类损失和多样性损失，其中分类损失基于三种不同模式来计算：攻击模式、清洁模式和交叉触发模式。

67基于动态触发器的后门攻击

68基于动态触发器的后门攻击

69基于动态触发器的后门攻击

70基于动态触发器的后门攻击2022年，Salem等人[13]提出了一种针对深度神经网络模型的动态后门攻击方法，能够生成具有随机模式和位置的触发器，相较于现有的后门检测机制，显著降低了检测的有效性。该研究提出了三种动态后门技术：随机后门、后门生成网络以及条件后门生成网络。这些技术通过算法化生成触发器，赋予攻击者更大的灵活性，可根据特定需求定制后门攻击策略。随机后门随机后门通过在训练数据中随机添加触发器来创建后门模型。触发器从均匀分布中随机采样，并随机放置在每个输入数据的不同位置上，与清洁数据混合后用于训练模型，从而控制模型输出而不改变其正常功能。71基于动态触发器的后门攻击[13]SalemA,WenR,BackesM,etal.Dynamicbackdoorattacksagainstmachinelearningmodels[C]//2022IEEE7thEuropeanSymposiumonSecurityandPrivacy(EuroS&P),2022:703–718.后门生成网络(BaN)

BaN是一种更为先进的后门攻击方法，利用生成式机器学习模型动态生成触发器，随机放置在输入数据上，使触发器模式和位置动态变化，增强隐蔽性和灵活性。BaN的损失函数可根据特定后门防御机制进行调整。条件后门生成网络（c-BaN）c-BaN克服了每个目标标签必须有其独特触发位置的限制，允许生成特定于标签的触发器。目标标签作为输入的一部分生成与其相关的触发器，使不同目标标签的触发器可以放置在任意位置。72基于动态触发器的后门攻击6.3后门攻击防御方法73后门攻击的防御方法可以分为两大类：经验后门防御和认证后门防御。这些方法的主要目标是减轻后门威胁，提高深度学习模型的安全性。经验后门防御：这些方法基于以往的攻击案例和经验而提出，通常考虑已知的攻击技巧。通常包括模型输出的异常检测，数据清洗以去除可能包含后门的样本，以及在训练和推理阶段采用不同策略以减轻后门威胁。这些方法可能在实践中表现良好，但通常没有理论上的保证，因此可能容易受到新型或自适应攻击的绕过。认证后门防御：这些方法在理论上得到保证，假设一定的前提条件下，可以有效地抵御后门攻击。认证后门防御方法通常关注确保模型在没有受到后门触发器干扰的情况下正常运行。这包括在模型设计、训练和推理中引入额外的控制和验证机制，以防止后门触发器的滥用。后门攻击防御方法概述74要保证后门攻击的成功，需要满足以下条件：①被攻击的模型中有隐藏的后门；②被攻击的样本中包含触发器；③触发器和后门匹配。据此，可以采用三种主要的防御方法：①让后门和触发器相互不匹配；②消除模型中存在的后门；③触发器消除。75后门攻击防御方法概述基于前一节介绍的后门攻击方法这里介绍了三种防御方法基于投毒抑制的防御方法：这些方法的目标是通过降低后门触发器在训练和推理中的影响来减轻后门攻击的威胁。它们可能包括数据清洗、自动化数据检测以检测和减弱后门触发器的影响等技术。基于模型的防御方法：这些方法更侧重于对深度学习模型进行详细的诊断和分析，以识别可能存在的后门触发器或其他不正常行为。通过检测模型内部的异常或意外行为，可以采取措施来减轻后门攻击的影响。基于触发器的后门攻击防御：在防御基于触发器的后门攻击方面，触发器后门不匹配（Trigger-BackdoorMismatch）和触发器消除（TriggerElimination）是两种主要的防御策略。这些方法致力于识别并消除被恶意植入的后门触发器，提升模型的安全性和可靠性。76后门攻击防御方法概述基于投毒抑制的防御方法通过在训练过程中降低中毒样本的有效性来防止隐藏后门的产生。它可以包括以下技术和策略：

（1）随机性和噪声引入：在训练过程中引入随机性和噪声，使攻击者的恶意投毒样本的影响降低，从而破坏后门的创建。

（2）梯度裁剪和扰动：观察到恶意样本的梯度通常具有明显的不同特征，高于正常样本的梯度。因此，可以采用差分私有随机梯度下降，对异常梯度进行裁剪和扰动，以减弱后门的影响。

（3）差异化私有模型学习：通过差异化的私有深度神经网络模型学习，可以使后门攻击更加困难，因为攻击者无法轻易预测模型的行为。

（4）投毒样本检测和过滤：建立机制来检测和过滤输入数据中的潜在恶意投毒样本，从而将其排除在模型训练之外。

（5）鲁棒性提升：增强模型的鲁棒性，使其能够更好地抵御有意针对性的对抗攻击，即使攻击者尝试投毒也难以破坏模型的性能。77基于投毒抑制的防御方法Du等人[14]在他们的研究中首次探讨了基于投毒抑制的防御方法，通过采用含有随机噪声的随机梯度下降（SGD）来训练具有差分隐私保护的深度神经网络。差分隐私旨在保护个人信息不在数据集的聚合分析中泄露，通常通过向数据集或聚合结果中添加随机噪声来实现。在这项研究中，他们理论上分析了差分隐私如何帮助检测异常值，并通过实验验证了应用差分隐私在提高异常检测、新颖性检测以及后门攻击检测方面的有效性。简而言之，这项工作表明，通过在训练过程中引入随机噪声，可以减少恶意投毒样本的影响，并防止后门的产生，同时还能提升检测机制的性能。78基于投毒抑制的防御方法[14]DuM,JiaR,SongD.Robustanomalydetectionandbackdoorattackdetectionviadifferentialprivacy.

arXivpreprintarXiv:191107116,2019.除此之外，Huang等人[15]揭示了隐藏后门的学习主要是由于端到端的监督训练范式，在此基础上他们提出了一种简单而有效的基于解耦的后门防御(DBD)来减轻基于投毒的后门攻击的威胁。并在经典基准数据集上进行实验，验证了其防御的有效性。主要思想：将原始的端到端训练过程解耦为三个阶段第一阶段：自监督学习在此阶段，目的是训练DNN的主干部分，主要负责特征提取。使用无标签数据进行自监督学习，这样做可以让模型学习到通用的特征表示，避免受到标签数据中可能存在的污染影响。第二阶段：冻结主干，训练全连接层学习完主干后，冻结其参数，不再对其进行调整。接下来使用标记数据训练剩余的全连接层，这使模型能够专注于学习如何基于提取的特征进行分类，减少对可能被污染的数据的依赖。第三阶段：半监督微调最后一阶段旨在进一步降低毒害样本的影响。模型会筛除或重新标记一些认为“低可信”的样本。然后，通过使用有标签和无标签数据进行半监督学习，对整个模型进行微调。79基于投毒抑制的防御方法[15]HuangK,LiY,WuB,etal.Backdoordefenseviadecouplingthetrainingprocess.arXivpreprintarXiv:220203423,2022.Huang等人提出的防御策略的主要流程Stage1:通过自监督学习学习纯化特征提取器

80基于投毒抑制的防御方法Stage1:通过自监督学习来纯化特征提取器净化特征提取器通过自监督学习，学习到的特征提取器（即模型的主干）将会被净化，这意味着它可以提取出对训练集中的有毒样本具有抵抗力的特征。这种净化是基于自监督学习损失函数的，即使训练集中包含了有毒样本，这种方法也能够帮助特征提取器学习到可靠的特征表示。

训练81基于投毒抑制的防御方法

存在的主要问题：1.由于特征提取器在第二阶段被冻结，预测良性样本的准确性可能会有所下降。2.有毒样本会作为“离群值”进一步阻碍第二阶段的学习，特别是当有毒标签攻击出现时，因为这些样本在特征空间中与它们的真实标签相近。Stage2:通过标签噪声学习来过滤高可信度样本82基于投毒抑制的防御方法Stage2:通过标签噪声学习来过滤高可信度样本

83基于投毒抑制的防御方法Stage3:半监督微调

84基于投毒抑制的防御方法基于模型重建的防御方法基于模型重建的防御方法旨在消除后门攻击对模型的恶意影响。即使攻击者在输入数据中仍然植入了后门触发器，这些触发器也不会导致模型执行恶意行为，因为已经成功去除了后门。2.基于模型诊断的防御方法基于模型诊断的防御方法通过训练后的元分类器判断所提供的模型是否被感染，并拒绝部署被感染的模型。由于只使用良性模型进行部署，因此自然消除了隐藏的后门。基于模型的防御方法又包括了以下两种方法：85基于模型的防御方法基于模型重建的防御方法，旨在去除或削弱后门模型中的潜在后门，即使在存在潜在的触发器的情况下，也能防止触发模型的恶意行为。重新训练：这种方法从给定模型的权重开始，使用局部良性样本重新训练模型。由于重新训练的数据集不包含投毒样本，且深度神经网络（DNN）模型具有某种遗忘性，随着训练的进行，隐藏的后门可以逐渐被去除。剪枝防御方法：这个方法基于观察到与后门相关的神经元在处理良性样本时通常处于休眠状态。因此，通过剪除这些神经元可以移除隐藏的后门。知识蒸馏技术：通过知识蒸馏可以重建DNN模型。蒸馏过程可以扰动与后门相关的模型权重，减少网络对触发模式的敏感性，从而消除对这些模式的关注。基于模型重建的防御方法86基于模型的防御方法基于模型重建的防御方法——剪枝研究表明，带后门的输入会激活某些在干净输入下保持休眠的神经元，这些被称为“后门神经元”。攻击者利用这些神经元来识别后门模式并引导网络产生错误行为。上图对比了面部识别DNN最后一个卷积层的神经元在呈现干净输入和带后门输入时的平均激活情况。可以看出，在图中，某些神经元在处理带后门输入时表现出更高的激活水平，而在干净输入下这些激活并不活跃。87基于模型的防御方法剪枝防御示意图防御者或许能够通过移除那些对于干净输入数据保持不活跃的神经元来禁用后门。这个策略称之为“剪枝防御”。88基于模型重建的防御方法——剪枝基于模型的防御方法剪枝防御的过程：1.防御者用验证数据集中的干净输入来激活从攻击者那里获得的DNN，并记录下每个神经元的平均激活水平。2.防御者会迭代地修剪掉那些平均激活水平较高的神经元，并在每次迭代中记录下修剪后的网络的准确率。3.当网络在验证数据集上的准确率降到预先设定的阈值以下时，修剪防御就会停止。剪枝防御示意图89基于模型的防御方法基于模型重建的防御方法——剪枝剪枝防御策略可以大致分为三个阶段进行：第一阶段，被剪枝的神经元既不会对干净输入产生反应，也不会对后门输入产生反应，因此这一阶段的剪枝既不会影响干净数据集上的准确率，也不会影响后门攻击的成功率。第二阶段，剪枝的焦点转向那些只由后门输入激活而不被干净输入激活的神经元，这样做可以在不损害干净数据集上分类准确性的同时，减少后门攻击的成功率。最后一个阶段，开始剪枝那些由干净输入激活的神经元，这将导致干净数据集上的分类精度下降。当精度降低到某个预定的阈值时，防御策略便终止。90基于模型重建的防御方法——剪枝基于模型的防御方法基于模型重建的防御方法——微调基本思想：使用已经训练好的模型作为起点，这个模型可能已经被植入了后门。收集一个没有被污染的干净数据集，这个数据集没有包含攻击者植入的触发器。用干净数据集对模型进行再训练或微调。这个过程中，模型参数会根据干净数据集进行更新，目的是减少或消除后门触发器的影响。目标：微调的目的是调整模型权重，使其对后门触发器不再敏感，同时仍然保持对正常输入的高准确性。微调作为一种防御策略，适用于当防御者怀疑或知道模型可能被污染，但不希望完全废弃现有模型重新训练的情况。通过在保留模型已学习知识的同时减少后门的影响，微调为修复潜在的安全威胁提供了一种相对快速和资源节省的方法。91基于模型的防御方法基于模型重建的防御方法——Fine-Purning[16]首先对攻击者返回的DNN进行修剪，移除那些只有在后门输入下才激活的神经元，这些神经元在处理正常输入时是不活跃的。接下来，对已经修剪的网络进行微调。在基线攻击的情况下，修剪防御会移除后门神经元，而微调则有助于恢复或至少部分恢复因修剪而导致的在干净输入上的分类准确率下降。另一方面，修剪步骤在面对剪枝感知（Pruningaware）的攻击时，只移除了作为诱饵的神经元。但随后的微调消除了后门。原因是在剪枝感知的攻击中，被后门输入激活的神经元也会被干净输入激活。因此，使用干净输入进行微调会导致涉及后门行为的神经元权重得到更新。92基于模型的防御方法[16]LiuK,Dolan-GavittB,GargS.Fine-pruning:Defendingagainstbackdooringattacksondeepneuralnetworks;proceedingsoftheInternationalsymposiumonresearchinattacks,intrusions,anddefenses,2018.基于模型诊断的防御方法通过训练好的元分类器来验证模型是否被感染。通用测试模式方法(UniversalLitmusPattern,ULP)[17].首先讨论了如何诊断给定模型。具体来说，该方法联合优化了一些ULP和一个分类器，根据得到的ULP预测，进一步判断给定模型是否被感染。检测AI木马(DetectingAITrojan）方法可以在不知道攻击策略的情况下训练元分类器，并且只需用良性模型样本就可以训练出一个有效的元分类器。神经元检测(NeuronInspect)方法利用良性模型和感染模型的热图具有不同特征的特性，根据生成的显著性图的三个提取特征，采用离群检测器作为元分类器。此方法使用了One-Pixel的特征表示法，基于此来区分良性模型和感染模型。实际的木马检测(PracticalDetectionofTrojan)方法能够在数据数量受限和数据访问受限的情况下检测给定模式是否受到感染。基于模型诊断的防御方法93基于模型的防御方法

通用测试模式方法[17]94基于模型的防御方法触发器后门不匹配（Trigger-BackdoorMismatch）触发器消除（TriggerElimination）基本思想：识别并消除被恶意植入的后门触发器，

提升模型的安全性和可靠性。95基于触发器的防御方法触发器后门不匹配策略触发器不匹配策略主要在数据预处理阶段实施，通过提前过滤掉包含后门触发器的样本，减少模型受到后门攻击的风险，提高系统的安全性。利用预训练的自编码器作为处理工具，可以有效地改变被攻击样本中的触发模式，进一步降低后门攻击的成功率，保护模型免受恶意攻击。通过对图像进行风格转换处理来对抗图像中的触发器，改变图像的整体风格，以干扰触发器的功能。采用如缩小、翻转等空间变换处理输入数据，基于触发器可能对特定空间排列敏感的特点，通过变换降低触发器效果。使用自编码器进行干预风格转换预处理空间变换防御96基于触发器的防御方法触发器消除策略Gao等人[18]提出通过在可疑样本上叠加多变图像模式，并观察预测结果的随机性，以识别和过滤被攻击的样本，减少后门激活风险。多变图像模式叠加Du等人[14]将样本过滤视为异常检测问题，并提出基于差分隐私的方法，而Jin等人[19]则基于现有检测技术，发展新的对抗性防御策略。异常检测与差分隐私触发器消除策略通过严格的测试样本过滤，确保只有经过净化的良性样本被用于模型预测，有效防止后门攻击。97基于触发器的防御方法6.4其他场景后门攻击98自然语言处理为例以文本为数据载体，与图像像素的连续空间不同，文本进行词嵌入后的数据空间是离散的，这对触发器的设计提出了新的要求，同时为了保证隐匿性，如何对字词进行增删改操作的同时保证句子的流畅性充满挑战。基于LSTM模型的文本分类任务的后门攻击[20]基于LSTM模型的文本分类任务的后门攻击，通过在训练数据中插入包含特定触发器句子的投毒样本，使得模型在正常使用时能正确执行任务，但在遇到带有触发器的输入时错误地将其分类到攻击者指定的目标类别。具体分为以下三个阶段：生成投毒样本

使用投毒数据集进行训练激活后门99自然语言处理场景投毒样本生成方法选择目标类别样本从原始训练数据集中随机挑选出属于特定目标类别的样本，这些样本将作为生成投毒样本的基础，确保攻击具有针对性。插入后门触发器选定一个特定的句子作为后门触发器，并将其随机插入到选定的目标类别样本中，这一步骤是生成投毒样本的关键，直接影响攻击效果。修改样本标签将含有后门触发器的样本标签从原始类别更改为攻击者指定的新类别，这一步完成了投毒样本的制作，使其在后续使用中能够误导模型判断。基于LSTM模型的文本分类任务的后门攻击[20]自然语言处理场景利用投毒数据训练模型将生成的投毒样本与原始数据集合并，通过训练使模型学习到触发器与错误类别之间的关联，实现对特定输入的错误分类。03后门激活过程在后门激活阶段，攻击者通过在任意测试文本中插入相同的触发器，生成后门实例当这个后门实例被输入到受感染的LSTM模型中时，模型会将其错误地分类为目标类别，同时保持对未被投毒的样本输入的正常响应

实验结果显示，即便在极低的投毒率（如1%）下，后门攻击仍能实现高达约96%的成功率，且几乎不损害模型在干净数据上的分类性能。基于LSTM模型的文本分类任务的后门攻击[20]自然语言处理场景Zhang等人[21]首次提出了一种针对GNN的后门攻击，具体是在图分类任务中使用特定的子图模式作为触发器，通过将这些子图注入到训练图中实现样本毒化。这种方法的不足之处在于其使用了预定义的触发器，灵活性较低Xi等人[22]的研究设计了更具体的图结构触发器，因图数据通常无结构且离散化，他们基于图的拓扑结构、节点和边等特征，设计出更为灵活的触发器，增强了攻击的适应性。为了进一步提高攻击的有效性和隐蔽性，Chen等人[23]利用图卷积神经网络对邻居节点的高度依赖性，将单个邻居节点作为触发器，当这些触发器节点与目标节点相连时，后门便会被触发，增强了隐蔽性。图神经网络场景迁移学习是一种能够有效复用预训练模型知识而无需从头开始训练新模型的学习范式。在迁移学习过程中，通常通过微调网络权重或替换并重训练网络的最后几层，将预训练模型的知识迁移到新任务中。后门失效问题：现有研究未充分考虑微调或替换分类层可能导致后门失效的问题先验知识需求：这些方法通常要求攻击者具备关于下游任务的先验知识。后门攻击研究在迁移学习环境中的后门植入方法存在的不足迁移学习场景Wang等人[25]通过基于排序的选择机制识别出难以被剪枝且权值不会因微调而显著变化的神经元，并对其及相邻层进行重训练以植入鲁棒后门。Yao等人[24]提出了潜后门（LatentBackdoor）的概念，将触发器与中间表示相关联。这种设计使得模型在存在触发器的样本上产生特定的中间表示，进而将这些样本分类为目标类别。对微调或替换分类层导致后门失效的问题针对重训练导致的后门失效问题对于不了解下游任务先验信息的情况Chen等人[26]采用数据毒化的方式向预训练模型植入后门，使用毒化标签为原标签的反义词或随机选取的其他标签，使预训练模型学习错误的表示，进而影响下游模型。迁移学习场景4.联邦学习联邦学习是一种分布式机器学习范式，各参与方在本地数据集上进行本地模型训练后，将更新的参数与中央服务器交换，中央服务器通过聚合这些本地模型参数得到全局模型。横向联邦学习纵向联邦学习横向联邦学习，也称为样本分布式联邦学习，适用于不同参与方拥有相同特征但不同样本的数据集。这种情况下，各方的数据集共享相同的特征空间，但样本之间没有重叠。纵向联邦学习，也称为特征分布式联邦学习，适用于不同参与方拥有不同特征但相同样本的数据集。在这种情况下，各方的数据集在样本上有重叠，但特征空间不同。联邦学习场景模型替换与权重放大分布式后门攻击分布式后门攻击通过将触发器分解并分配给不同的恶意参与方，实现了比集中式后门攻击更高效和隐蔽的攻击方式，增加了检测难度。攻击策略对比相较于传统的集中式后门攻击，横向联邦学习中的模型替换与权重放大及分布式后门攻击展示了更为复杂和隐蔽的攻击手段，对防御机制提出了更高要求。横向联邦学习利用联邦学习的模型平均和安全聚合特性，通过将本地原模型替换为后门模型,并在聚合时放大其权重,攻击者可以确保后门在全局模型中存活,从而影响全局模型的决策过程。联邦学习场景梯度修改攻击通过修改不同参与方之间交互的中间梯度，Liu等人[27]实现了对纵向联邦学习系统的后门攻击，这种攻击方式直接影响了模型的梯度更新过程。元学习引入Huang等人[28]通过将全局聚合视为元学习过程，并训练一个通用模型，使得当攻击者改变后门任务时，模型能通过少量毒化样本快速适应新任务。纵向联邦学习为了提升后门攻击的隐蔽性，Bhagoji等人[29]采用交替最小化策略（AlternatingMinimizationStrategy），交替优化隐蔽性和后门任务。由于中央服务器可能通过验证数据的准确率和权重更新的统计信息来检测来自恶意参与方的异常更新，该研究将对应于这两个指标的损失项添加到模型毒化的目标函数中以规避检测。联邦学习场景后门攻击小结目前研究中存在的开放问题包括：触发器设计：目前的研究主要关注触发器的大小、形状和位置，缺少对其潜在特征表示和跨领域通用设计方法的深入研究。可解释性：后门攻击的研究大多依赖于实验效果，缺乏完整的理论支持，对于哪些模型易受后门影响以及哪些触发器易被学习的可解释性分析尚不充分。防御策略的规避性考量：随着防御策略的发展，研究者需考虑如何有效绕过这些策略，包括在损失函数中整合规避策略或设计新颖的攻击场景。物理环境的攻击实效性：成功地对物理环境下部署的模型进行后门攻击是揭示后门威胁实际性的关键，需要深入研究物理环境中的后门攻击实效性。后门攻击是神经网络安全领域的一项新兴风险，其隐蔽的攻击方式及潜在的巨大危害已引起了广泛关注。本章节介绍了后门攻击的背景与基本概念，并详细分类和介绍了图像任务中的攻击与防御方法，以帮助读者全面理解后门攻击。108参考文献[1]GuT,Dolan