CN115588226B 一种高鲁棒性的深度伪造人脸检测方法 （重庆邮电大学）

括4个部分：首先获取原始数据集并进行筛选得从而干扰伪造人脸检测器的分类准确率并得到分类器和受到扰动攻击后的伪造人脸检测器进2S2.将训练图像集作为伪造人脸分类器的输入，分别采S3.通过DeepImagePrior方法采用卷积神经网络学习扰动图像，获取图像噪声高阻S4.基于S3中发现的图像噪声高阻抗性，通过S3中的卷积神经网络对扰动图像集中所S5.对卷积神经网络进行改进，通过重构图像集训练改进后的卷积神经网络得到重构重构图像分类器中采用改进的ResNet-50网络进行图像分类，改进的ResN在现有ResNet-50网络结构基础上删除了所有BN层；采用二进制交叉熵损失函数计算重构类器，D(x)表示ResNet-50在图像分类时相对平均分类器对x的分类损失，D(x′)表示S6.将伪造人脸分类器与训练好的重构图像分类器集成得到深度伪造人脸检测模型，其中，cn(i,)表示重构图像分类器输出的目标图像与扰动图像x′之间的最小化交S12.采用伪造人脸分类器检测深度伪造人脸图3其中，x*表示最终目的图像，x′表示扰动图像，表示卷积神经网络的生成图像，是一个任务依赖的数据项，表示扰动图像x′与生成图像间的最小化交叉熵；R(F)表示捕获生成图像先验信息的正则化项；4[0010]S3.通过DeepImagePrior方法采用卷积[0011]S4.基于S3中发现的图像噪声高阻抗性，通[0012]S5.对卷积神经网络进行改进，通过重构图5[0013]S6.将伪造人脸分类器与训练好的重构图像分类器集成得到深度伪造人脸检测模是一个任务依赖的数据项，表示扰动图像x′与生成图像间的最小化交叉熵；[0021]进一步将解释为扰动图像x′与生成图像间的域相关距离损失或[0026]进一步的，重构图像分类器中采用改进的ResNet-50网络进行图像分类，改进的6[0037]针对对抗性伪造人脸图像的主流防御方案过度倾向于适应大量数据集中的干[0045]在一实施例中，如图1所示，一种高鲁棒性的深度伪造人脸检测方法包括以下步7[0051]S3.通过DeepImagePrior方法采用卷积[0052]S4.基于S3中发现的图像噪声高阻抗性，通[0053]S5.对卷积神经网络进行改进，通过重构图[0054]S6.将伪造人脸分类器与训练好的重构图像分类器集成得到深度伪造人脸检测模[0057]STEP1.下载thispersondoesntexists网练图像集中的所有图像添加对抗性扰动，添加扰动后的训练图像输入伪造人脸分类器后，[0059]STEP3.采用DeepImagePrior方法提出的BN层是在ResNet-50网络的训练期间使用一批样本中的均值和方差来归一化特征，并且在8因为大多数研究都集中在评估其方法在有限数量的已知Deepfake伪造人脸生成网络或简的扰动的对抗性噪声攻击，这也成为开发一个强鲁棒性的Deepfake检测模型的最大障碍。故本实施例在STEP2中考虑实施敌对扰基于白盒环境和黑盒环境采用FastGradientSignMethod(FGSM)和CarliniandWagner9STEP3中为了消除对抗攻击对伪造人脸分类器的影响，本实施例将消除对抗攻击定义为图为扰动图像x′与生成图像间的域相关距离损失或域相关相似性损失，并引入满射函数二进制卷积神经网路来区分扰动图像x′与重构图像i,并用二进制交叉熵损失进行训练：[0088]A:=c,logD(]+c,[logl-D(x)(10)[0096]优选地，在STEP5中使用集成学习分类器而不是单个分类器可以提高模型的泛化小化扰动干扰伪造人脸分类器D与重构图像分类器C的检测误差，在提高D检测鲁棒性的同构图像分类器C之间的关系，表示为伪造人脸分类器D划分数据集时伪造人脸分类器D判定为假的图像与经过DIP重构(重构图像分类器C)得到的图像这两者的交叉熵损失。用H部分为将重构图像分类器筛选得到的目标图像经过伪造人脸分类器D检测得到的最小化交个元件内部的连通或两个元件的相互作用关系，除非