CN119478567A 一种面向对抗补丁攻击的防御方法 （浙江大学）

本发明公开了一种面向对抗补丁攻击的防力的特点，通过设计对抗性掩码生成方法和分类重构联合训练方法，实现了一种面向对抗补征并重构图像，连接后的图像识别模型主干网深度学习视觉模型，适用于任意训练状态的模21)初始化图像识别模型Fg()及其权重；6)将对抗样本x'输入到训练模型Gog(7)通过交叉熵损失函数计算预测概率向量pred和真实标签y之间的分类损失lc；9)计算分类损失lc和重构损失Lr的加权和作为总体损失；12)将防御后的训练模型拆分为防御后的重构模型R-()和防御后的图像识别连接重构模型R;()与图像识别模型Fg()，组成训练模型具体为：将图像识别模型Fg()划分为主干网络和全连接层，分别用于特征提取和分类预测，将重构模型x'=x⊙(1-M)+6⊙M；分割为一系列长和宽为(h,w)的块B=fb1,b2,…,bn}，其中n表示图像块的总数,根据给定的掩码率y，计算将要进行扰动的块的数量k=round(yxn)，从所有块的集合中随机选所表示的扰动位置将扰动应用在图像上获得随机初始的对抗3;对抗扰动的优化目标是最大化模型对对抗样本的预测结果Fg(x')与真实标签y之间;其中l()表示交叉熵损失函数；;表示第s步时根据掩码M和扰动计算的对抗样本。失通过计算预测概率向量ypred和真实标签y的交叉熵获得：;所述的重构损失根据重构图像和原始图像的均;"表示从第i张对抗样本重构出的图像，x(0表示相应的干通过计算损失LC和损失Lr的加权和计算总体损失：;将防御后的训练模型拆分为防御后的重构模型Rg-()和防御后的图像识别模型络和全连接层连接为防御后的图像识别模型Fr-()。45;[0028]x'=x⊙(1-M)+6⊙M；掩码M，具体为：将长和宽分别为(H,w)的图像x分割为一系列长和宽为(h,w)的块的数量k=round(yxn)，从所有块的集合B中随机选择k个块组成掩码M，M是一个0-1[0032]x'=XO(1-M)+60OM；[0033]对抗扰动的优化目标是最大化模型对对抗样本的预测结果Fg(x')与真实标签y6[0035]其中l()表示交叉熵损失函数；xs'表示第s步时根据掩码M和扰动计算的对抗样本。"[0045]通过计算损失LC和损失Lr的加权和计算总体损失L：[0048]根据总体损失对训练模型Gog()进行反向传播，向降低损失函数的方向更新模[0052]1、本发明提出的面向对抗补丁攻击的防御方法将图像识别模型划分为主干网络7[0053]2、本发明所提出的面向对抗补丁攻击的防御方法将图像分割为一系列大小相等[0054]3、本发明所提出的面向对抗补丁攻击的防御方法为每张图像优化生成对应的对[0055]4、本发明提出的面向对抗补丁攻击的防御方法利用结合了分类损失和重构损失[0056]5、本发明所提出的面向对抗补丁攻击的防御方法在防御完成后将训练模型重新提出的面向对抗补丁攻击的防御方法的整体8个与图像识别模型F()结构相对应的浅层网络作为重构模型Rg()，对其权重专进行随机初构模型、全连接层形成训练模型Gog()。本实施中图像识别模型采用了四种架构不同卷积[0065]2）从训练数据集中获取一批图像x，其长和宽分别为H,w一系列长和宽为h,w的块B=fb1,b2,…,bn}，其中n表示图像块的总数。掩码率v表示掩码占图像总体像素数量的比例，根据给定的掩码率，计算将要进行扰动的块的数量k=round(yxn)，从所有块的集合B中选择k个块组成掩码M。M是一个0-1矩阵，1代[0067]本实施中根据数据集原始的分辨率采用了边长为224像素和边长为32像素的正方单张图像能够被分割为36个图像块B=fb,bz…,b3o}，对于图像分割后不满足图像块大小的部分，采用向上取整的方法将其也视为一个图像块，要进行扰动的块的数量[0069]xo'=xo(1-M)+i,OM；[0073]其中l()表示交叉熵损失函数，x'表示由图像x生成的对抗样本，y表示图像x真9"和计算开销。[0092]图2是面向对抗补丁攻击的防御方法中利用对抗性掩码生成对抗样本的流程图，为对抗样本时，模型分类准确的图像占全部输入图像的百分比。表1表示在Imagenette和对抗补丁攻击防御方法表现出良好的防御能力，明显优于现有防御方案。表2表示在御方法的对比。结果表明，本发明能够在人脸识别任务上，显著提升模型对对抗性眼镜[0098]本发明采用干净准确性评估防御方法对模型在无对抗样本输入情况下的精度影发明能够使图像识别模