CN118941936B 基于图卷积与多尺度提示融合的深度伪造检测方法及系统 （山东大学）

基于图卷积与多尺度提示融合的深度伪造本发明提出了基于图卷积与多尺度提示融度提示融合模块从图特征和频率特征中生成提加细粒度的RGB和频率信息融合，从而提高深度2将人脸图像输入到训练好的检测模型中，进行是否伪造的二分类，其中，所述检测模型提取人脸图像中的图特征和频率特征，所述检测模型包括双分支特征提取网络、自适应图卷积模块、多尺度提所述多尺度提示融合模块，为每个特征设置一个提示学习器，用于所述提示学习器是使用空间注意力和通道注意力提取关键信息，通过2.如权利要求1所述的基于图卷积与多尺度提示融合的深度伪造检测方法，其特征在所述频率特征是采用CNN从人脸图像的频率域表3.如权利要求1所述的基于图卷积与多尺度提示融合的深度伪造检测方法，其特征在利用局部聚集器，计算节点矩阵的查询、键4.基于图卷积与多尺度提示融合的深度伪造检测系统，采用如权利要求1_3任一项所其中，所述检测模型提取人脸图像中的图特征和频率特征，3其中，所述计算机可读指令被所述处理器运行时，执行权利要求1_3任一项所述的方4适应性，实现更加细粒度的RGB和频率信息融合，从而提高深度伪造检测的精度和泛化能56执行时实现如本发明第一方面所述的基于图卷积与多尺度提示融合的深度伪造检测方法[0040]由于ViT在处理局部特征方面的能力较弱，本发明设计了一个混合架构，结合了积聚合相关节点信息形成语义信息更加丰富的组令牌，有效构建出更鲁棒的全局信息表7[0058]本公开的一种实施例中提供了基于图卷积与多尺度提示融合的深度伪造检测方8[0079]下面对本实施例基于图卷积与多尺度提示融合的深度伪造检测方法的实现过程[0080]本实施例提供一个更为具体的检测模型DINA，DINA的输入是一张的RGB人脸图像,然后通过检测模型DINA的计算流程，最终输出该图像的预测结果，其中,双分支特征提取由两个CNN特征提取器frgb和frrea组成，它们之间参数不共享，分别以[0083]该部分的作用为使用CNN提取不同尺度的特征，本实施例中，两个分支均使用SRM过滤器得到lrea。[0084]注意该部分的主要作用为后续模块提取特征，因此使用其他的CNN模型或者频率9[0095]其中，attj代表att第i行第j列的元素，即特征图中对应的两个位置的相似度，,分别代表a和k的第i和j行的元素，T代表矩阵转置操作；by是一个可学习的相对位置编码，代表位置i和j之间的空间关联。[0097]E;={jljeargma构建图G=<X,A>。网络可以定位输入特征图的关键信息并将其转化为提示令牌；该模块的输入为2n-1个[0112]其中，为sigmoiSENet用于定位关键信息，并不作为该模块的主要内容，使用其他的注意力机制也是可行[0119]具体的，将上面得到三类令牌以及一个可学习的分类令牌CLS拼接起来，得到I=(CLS,lyprgb,prred)，将送入一个2层的ViT网络中进行特征交互和融合；在ViT中，通[0125]本公开的一种实施例中提供了基于图卷积与多尺度提示融合的深度伪造检测系公开实施例一所述的基于图卷积与