《多媒体信息安全》课件 第5章 对抗样本

第5章对抗样本综述《多媒体信息安全》目录三一

对抗样本简介二

典型的对抗样本算法

针对深度检索哈希的对抗样本攻击对抗样本简介DNN的脆弱性——对抗样本对抗样本定义：对抗样本（Adversarialexamples）是指在原始输入样本中添加不可分辨的扰动所形成的新输入样本，该样本会导致模型以高置信度给出一个错误的输出。Szegedy等人在2014年的ICLR中首次提出了对抗样本，并给出了对抗样本的数学表达。对抗样本评价指标：1）Perceptibility2）Performance3）EfficiencyC.Szegedy,W.Zaremba,I.Sutskever,J.Bruna,D.Erhan,I.Goodfellow,andR.Fergus.Intriguingpropertiesofneuralnetworks.InInternationalConferenceonLearningRepresentations,2014.(L-BFGS)01对抗样本简介对抗样本的应用：1）智能驾驶：对抗样本可以模拟智能驾驶过程中攻击者对模型的干扰，避免真实使用中的可能发生的车辆事故。2）对抗训练：通过将对抗样本作为一种攻击，通过对抗训练的方式得到更加鲁邦的模型。对抗样本攻击方式生成方式白盒攻击：FGSM,BIM,PGD,CW,Deepfool,DDN…黑盒攻击:UAP,ZOO,Onepixel…基于梯度的攻击:FGSM,PGD,Deepfool…基于优化的攻击:CW,DDN…对抗样本的研究发展与应用02对抗样本简介

03对抗样本的相关数学基础对抗样本简介04梯度下降

x=0.08646011,y=2.0074769020次迭代后目录三一

对抗样本简介二典型的对抗样本生成算法

针对深度检索哈希的对抗样本攻击典型的对抗样本生成算法1FastGradientSignMethod

(FGSM)&I-FGSMI.J.Goodfellow,J.Shlens,andC.Szegedy.ExplainingandHarnessingAdversarialExamples.InInternationalConferenceonLearningRepresentations,2015

优点：快速

缺点：一步式攻击，没有像素裁剪，对复杂非线性模型成功率低

解决了FGSM一步攻击无法成功攻击复杂非线性模型的问题，同时每一次梯度下降后都进行像素裁剪，改进了对抗样本质量FGSMI-FGSMA.Kurakin,I.Goodfellow,andS.Bengio.Adversarialexamplesinthephysicalworld.InInternationalConferenceonLearningRepresentations(workshoptrack),2017典型的对抗样本生成算法2MomentumIterativeFastGradientSignMethod(MI-FGSM)MI-FGSMDongY,LiaoF,PangT,etal.Boostingadversarialattackswithmomentum[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018:9185-9193.

Nesterovmomentumiterativefastgradientsignmethod(N-MI-FGSM)进一步改进多步策略，运用动量的思想使得生成的对抗样本具有良好的传递性和图像质量典型的对抗样本生成算法3CWN.CarliniandD.Wagner.Towardsevaluatingtherobustnessofneuralnetworks.InIEEESymposiumonSecurityandPrivacy(SP),pages39–57,2017.

CW优化

平均扰动大小攻击成功率典型的对抗样本生成算法3CWN.CarliniandD.Wagner.Towardsevaluatingtherobustnessofneuralnetworks.InIEEESymposiumonSecurityandPrivacy(SP),pages39–57,2017.

CW优化寻找cc=0.1是个临界点，c从0.1增大时攻击成功率迅速上升，小于0.1或者大于1时，攻击成功率比较平缓二分查找计算出尽量小的c评价：扰动最小的对抗样本算法之一，攻击成功率非常高，不足在于运行时间非常长典型的对抗样本生成算法4Deepfool与UAPS.-M.Moosavi-Dezfooli,A.Fawzi,andP.Frossard.Deepfool:asimpleandaccuratemethodtofooldeepneuralnetworks.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,pages2574–2582,2016.S.M.Moosavi-Dezfooli,A.Fawzi,O.Fawzi,andP.Frossard,‘‘Universaladversarialperturbations,’’inProc.IEEEConf.Comput.Vis.PatternRecognit.(CVPR),Jul.2017,pp.86–94.

UAP的思想是训练出一种可以对整个数据集的图像都有效的对抗样本,图像加上这个通用扰动后都会是分类器分类错误Deepfool基于Deepfool典型的对抗样本生成算法4Deepfool与UAPdeepfool典型的对抗样本生成算法5DecoupledDirectionandNormAttack（DDN）MI-FGSMCWR.Jerome,H.LuizG.andOliveira,LuizS.andA.IsmailBenandS.RobertandG.Eric.DecouplingDirectionandNormforEfficientGradient-BasedL2AdversarialAttacksandDefenses.ConferenceonComputerVisionandPatternRecognition,2019.典型的对抗样本生成算法5DecoupledDirectionandNormAttack（DDN）R.Jerome,H.LuizG.andOliveira,LuizS.andA.IsmailBenandS.RobertandG.Eric.DecouplingDirectionandNormforEfficientGradient-BasedL2AdversarialAttacksandDefenses.ConferenceonComputerVisionandPatternRecognition,2019.DDN对抗样本示例目录三一

对抗样本简介二典型的对抗样本算法

针对深度检索哈希的对抗样本攻击深度检索哈希简介针对深度检索哈希的对抗样本攻击每张图片都可以通过某种算法得到一个hash值，称为图片指纹，两张指纹相近的图片可以认为是相似图片，一般用汉明距离来衡量图像之间的相似程度。图像哈希可以用来做图像检索、以图搜图、相似度比较等等随着人工智能的发展和图像数量的增多，传统的哈希生成方法在实际应用中暴露出效率不高的问题，使用深度学习改进图像哈希成为一个新的趋势。深度哈希针对深度检索哈希的对抗样本攻击深度哈希有监督：训练模型需要标签，模型精确度高无监督：训练模型不需要标签，模型精确度低Z.Cao,M.Long,J.Wang,andP.S.Yu,“HashNet:Deeplearningtohashbycontinuation,”inProc.ICCV,2017,pp.5609–5618.

HashAdversaryGeneration(HAG)针对深度检索哈希的对抗样本攻击E.Yang,T.Liu,C.Deng,andD.Tao,“Adversarialexamplesforhammingspacesearch,”IEEETransactionsonCybernetics,vol.50,no.4,pp.1473–1484,2020.查询图像检索数据库的哈希码汉明距离输出汉明距离最小的前十张图像增大汉明距离无目标攻击

选择性修改像素，避免像素全部修改

DeepHashingTargetedAttack(DHTA)针对深度检索哈希的对抗样本攻击J.Bai,B.Chen,Y.Li,D.Wu,W.Guo,S.Xia,andE.Yang,“Targetedattackfordeephashingbasedretrieval,”inProceedingsofEuropeanConferenceonComputerVision(ECCV),2020,pp.618–634.DeepHashingTargetedAttack(DHTA)针对深度检索哈希的对抗样本攻击深度哈希模型被对抗样本攻击后检索结果发生变化Non-targetedDeepHashingA