CN117037290B 一种基于全局上下文结构差异的人脸伪造检测方法 （广州万企共赢科技管理有限公司）

KR20220043905A,2022一种基于全局上下文结构差异的人脸伪造本发明请求保护一种基于全局上下文结构人脸重构-分类无监督学习的网络结构，它可以通过人脸重构学习得到伪造人脸的伪造区域来过学习后的卷积块来预测输入人脸的全局上下对比学习损失函数促使真实人脸的特征在潜在2步骤1、将人脸图像输入到频域增强模块中，先经过离步骤2、将所述频域增强模块处理后的人脸图像以及原RGB图像输入到DGC-Net人脸重步骤3、将得到的伪造区域与人脸图像做减法得到一张mT(X))(1)和高频信号k表示大小，为了增强相应频段的信号，将低频信号xf"和高频信号分别馈送入两个多头自注意MHSA中，并将它们的输出串联以恢复所述频域增强模块采用离散余弦变换DCT进行离线的频率域转换，得到离线余弦变换某一通道的patch，每个patch经离散余弦变换DCT处理成频谱其中每个值对3C1、将输入人脸图像输入到人脸重构-分类学习网络，人脸重构-分类学习网络以空间大小k计算如下：4wec和分别表示两个连续的es(G,m)=(G(mn)-m2=(i-m)2(9):E2、验证阶段，xeRC是掩蔽卷积层的真实人2.根据权利要求1所述的一种基于全局上下文结构差异的人脸伪造检测方法，其特征e=F(R,-J)(10)3.根据权利要求2所述的一种基于全局上下文结构差异的人脸伪造检测方法，其特征5,λ2和λ3表示总的损失函数中的超参数。3任一项所述基于全局上下文结构差异的人脸伪程序被处理器执行时实现如权利要求1至3任一项所述基于全局上下文结构差异的人脸伪6ForgeryDetectionbyLearningtoWeight),DCL(DualContrastiveLearningforGeneralFaceForgeryDetection)以及SLAE(Self-supervisedLearningof方法的核心思想是通过丰富训练的人脸图像集并利用无监督学习方法迫使网络模型不会7[0008]步骤2、将所述频域增强模块处理后的人脸图像以及原RGB图像输入到DGC-Net人脸重构-分类学习网络中，通过所述自预测卷积块即通过自监督学习策略训练一个去掉中利用学习后的自预测卷积块来预测伪造人脸的伪造T(X))(1)号xf""和高频信号分别馈送入两个多头自注意MHSA中，并将它们的输出串联以恢表示某一通道的patch，每个patch经离散余弦变换DCT处理成频谱其中每个8代表将所有的di,j打平后的结果。t,分别表示正样本对的特征[0033]D1、屏蔽卷积层的可学习参数位于感受野的角落，由子核空间大小k计算如下：9块通过在每个信道上执行的全局池化将特征映射Z减少到向量zeRC;随后，如下计算比例因子的向量SERC:m)=(G(m)-m)2=(⃞i-m)2(9)。[0042]其中G(·)表示对掩盖区域的重建过程，表示重建后的结果，m表示Ground-,λ2和λ3表示总的损失函数中的超参数。理器执行时实现如任一项所述基于全局上下文结构差异的人脸伪造[0065]本发明实例基于Xception结构网络作为生成器的基本框架，详见文献CholletF.Xception:Deeplearningwithdepthwiseseparableconvolutions[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpattern结构进行建模，通过提出的频率域增强模块(FEM)实现高压缩率下人脸图像的伪造伪影特用作Xception网络的第四层之前，通过对下采样阶段的频率域伪造伪影特征进行特征建[0067]步骤1、将人脸图像输入到频域增强模块中，得到一张经过增强后的频域人脸图[0068]步骤2、将所述频域增强模块处理后的人脸图像以及原RGB图像输入到DGC-Net人后利用学习后的自预测卷积块来预测伪造人脸的伪造T(X))(1)信号xf""和高频信号为了增强相应频段的信号，将低频信号xf""和高频信号分别馈送入两个多头自注意(MHSA)中，并将它们的输出串联以恢复原始形表示某一通道的patch，每个patch经DCT处理成频谱其中每个值对应某一频[0085]3.1将输入人脸图像输入到人脸[0091]3.3在训练阶段，自预测卷积块学习真实人脸最后一层特征F4全局上下文结构信[0092]进一步的，如图3为本发明实施例的自预测卷积模块结构示意图所示，所述步骤[0093]4.1屏蔽卷积层的可学习参数位于感受野的角落，由子核[0096]4.2掩蔽卷积的输出由信道注意模块m)=(G(m)-m)2=(⃞i-m)2(9)[0109]6.2将得到mask与伪造人脸图像经过编码器最后一层的特征F4相与，迫使分类网,λ2和λ3表示总的损失函数中的超参数。了一种频域增强模块