CN115147758B 基于帧内帧间特征差异化的深度伪造视频检测方法及系统 （山东大学）

基于帧内帧间特征差异化的深度伪造视频及一种基于帧内帧间特征差异化的深度伪造视2获取深度伪造视频的原始数据；在获取深度伪造视频的原始数基于所获取的原始数据提取帧内特征和帧间特征；采用瓶颈注FeRCXHXW其中C、H和W分别表示特征图的通道F'=F+FBM(F):3D注意图M(F)的具体实现是通过分别计算通道注意力MC(F)eR和空间注意力在两个独立的分支上；2.如权利要求1中所述的一种基于帧内帧间特征差异化的深度伪造视频检测方法，其3.如权利要求1中所述的一种基于帧内帧间特征差异化的深度伪造视频检测方法，其4.如权利要求1中所述的一种基于帧内帧间特征差异化的深度伪造视频检测方法，其5.如权利要求1中所述的一种基于帧内帧间特征差异化的深度伪造视频检测方法，其获取模块，其被配置为获取深度伪造视频的原始数据；在获提取模块，其被配置为基于所获取的原始数据提取帧内特征和帧间特征颈注意力模块输入是网络瓶颈处的帧级特征映射集；特征图由FeRCXHXW其中C、H和W3意力模块推断出3D注意图M(F)瓶颈注意力模块最后的输出F′计算如下：F'=F+F8M(F):3D注意图M(F)的具体实现是通过分别计算通道注意力MC(F)eRC和空间注意力在两个独立的分支上；计算模块，其被配置为计算所提取到的帧内特征和帧间特征之间的差异化和欧氏距检测模块，其被配置为根据所得到的差异化和欧氏距离，完成深度现如权利要求1-5中任一项所述的基于帧内帧间特征差异化的深度伪造视频检测方法中的其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于帧内帧4[0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技5开第一方面所述的基于帧内帧间特征差异化的深度伪造视频[0030]本公开构建了一个双网络结构，其中使用两个改进的CNN子网络对输入的数据分特征之间的不和谐；分别在帧内子网络和帧间子网络的全连接层后使用交叉熵损失函数，并将其和对比损失一起组合成网络的总体损失函数来提高网6[0034]图1是本公开实施例一中的基于帧内帧间特征差异化的深度伪造视频检测方法的[0035]图2是本公开实施例一中的基于帧内帧间特征差异化的深度伪造视频检测方法的[0038]图5是本公开实施例二中的基于帧内帧间特征差异化的深度伪造视频检测系统的[0045]如图1和图2所示的一种基于帧内帧间特征差异化的深度伪造视频检测方法，包[0051]采用的对比数据集均是公开数据集，包括FaceForensics++、DeepfakeTIMIT、UADFV和CelebDF数据集。这些数据集大多从Youtube或其他公开视频网站采集的人物正[0052]为了提高网络训练的效果且能在训练中抑制除人脸部分7数据集中视频的真伪以及训练数据的划分对每一张图片施例将采用双流网络HOR(DetectingDeepfakeVideosusingtheDisharmonybetweenIntra-andInter-frameMaps)对混合了多种不同伪造方式的训练数据的检测评[0055]本实施例中的整体网络架构是由两个卷积神经(ConvolutionalNeural[0056]帧内子网络从视频的RGB图像中提取帧内特征，帧间子网络从视频的密集光流图像上所有像素点的偏移矢量来实现对所有像素点的移动偏移[0061]密集光流算法的主要算法思路首先确定每个像素点的权重根据其附近邻域内的8[0066]原有图像的二维信号空间(笛卡尔坐标系)需要一个六维向量作为系数转换到以22邻域在每个像素点的周围，然后用像素点领域中的(2n+1)2个像素点作为最小二乘法的样B的[0071]通过对偶的方式再次转换基函数矩阵B，便可以得到单张图像中每个像素点的系使帧间流的输入数据结构与帧内流的RGB三层数据结构相对应，将两层光流数据矩阵补充是基于图像金字塔建模的Farneback密集光流算法。算法根据前后两帧中的所有像素点搭小设置为15。再分别对两个图像金字塔自顶向底地对每一层图像进行Farneback密集光力模块利用注意力(attention)机制从视频帧的面部区域提取重点特征，并抑制不相关的9[0077]瓶颈注意力模块利用注意力(attention)机制从视频帧的面部区域提取重点特M(F)eR[0079]F'=F+F8M(F)(6)[0080]3D注意图M(F)的具体实现是通过分别计算通道注意力MC(F)eRC和空间注意力M,(F)eR*"在两个独立的分支上。在通道注意力上，输入张量F首先采用全局平均一个隐藏层的多层感知器(MLP)从通道向量MC(F)计算跨通道的注意力。为了适应spatial[0082]空间分支通过生成空间注意图M5(F)eR*"来突出或忽视不同空间位置的特[0086]在CNN中使用自我注意力机制的主要优点为高效的全局上下文建模，有效的反向取出的帧内帧间特征使用交叉损失函数来计算两者的差异性以及使用帧内子网络和帧间[0089]交叉熵损失具有简单性和高效性的优点是深度伪造检测任务中比较常用的损失i性分数df是分别表示帧内子网络和帧间子网络的帧内特征fa和帧间特征fe之间的欧氏距[0092]d⃞=llf,-fll2(10)出特征与帧间子网络的输出特征的欧氏距离来判断。为了标记测试视频，本实施例使用1{d_t^i<τ}，其中1{.}代表将欧氏距离d_t^i与阈值τ进行比较表示逻辑指示器功能。τ由训均值之间的中点用作τ的代表值。测效果比仅使用对比损失的网络检测效果检测精度[0106]详细步骤与实施例一提供的基于帧内帧间特征差异化的深度伪造视频检测方法开实施例一所述的基于帧内帧间特征差异化的深度伪造视频[0110]详细步骤与实施例一提供的基于帧内帧间特征差异化的深度伪造视频检测方法[0114]详细步骤与实