CN115719462B 基于时空域预测像素级篡改概率值的换脸视频检测方法及系统 （华南理工大学）

基于时空域预测像素级篡改概率值的换脸本发明公开了一种基于时空域预测像素级行空域特征和多层次时域特征提取得到时空特征，基于双注意力机制计算得到时空不一致特2对待检测图像的篡改掩膜进行随机采样，得到多个像素点的坐标位基于DenseNet模块构建浅层的卷积层模块，对输入的基于ConvLSTM构建多层次时域特征提取模块，将空域特征输入多层构建双注意力机制模块，所述双注意力机制模块设有将时空不一致特征与像素点的坐标通道进行拼接，经多层卷积层2.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其根据人脸关键点的点集生成一个凸多边形作为篡改区域构建篡改根据人脸框位置裁剪出人脸区域图片,并采用双线性插值对图片重采样成统一的预设3.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其在时空注意力机制中，将时空特征沿着不同的输入特征化操作得到两个三维的注意力图，将两个三维的注意力图拼揍后经过3D卷积和Sigmoid函4.根据权利要求1或3所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，35.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征增强后的时空特征经过三维的最大池化和三维的平6.根据权利要求1或5所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，s7"-sr"er"7.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其48.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其将时空不一致特征平铺展开为一维特征，输入到两层全连接层的分9.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其所述视频预处理模块用于将待测视频分帧并进行人脸框的检所述篡改掩膜构建模块用于根据人脸关键点构建所述坐标位置及篡改值对构建模块用于对待检测图像的篡改掩膜进行随机采所述空域特征提取模块用于基于DenseNet模块构建浅层的卷积层模块，所述多层次时域特征提取模块用于基于ConvLSTM构建多层次时域特征所述双注意力机制构建模块用于构建双注意力机制模块，所述双注时空注意力机制和时域分辨率注意力机制，在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，在时域分辨率注意力机制中输入特征增强后的时空特征，所述像素级位置篡改概率值重建模块用于将时空不一致特征与像素点的坐标通道进所述二分类模块用于基于设定阈值对时空不一致特所述检测结果输出模块用于输出二分类后的换脸视频篡改检5[0002]随着人脸伪造方法的快速发展，出现越来越多开源的换脸软件(如DeepFakes、[0003]目前大多数基于图像分割思想的Deepfake检测算法将换脸视频视为特殊的拼接分割网络，如堆积大量卷积层和转置卷积层的全卷积网络模型生成大尺度篡改区域预测[0010]基于DenseNet模块构建浅层的卷积层模块，对输入的人脸图像进行空域特征提6[0017]根据人脸框位置裁剪出人脸区域图片,并采用双均池化操作得到两个三维的注意力图，将两个三维的注意力图拼揍后经过3D卷积和7STW表示Softmax函数输出的概率特征向量，STSTW表示多尺度时域关联的时空特8[0044]本发明还提供一种基于时空域预测像素级篡改概率值的换脸视频检测系统，包[0047]所述坐标位置及篡改值对构建模块用于对待检测图像的[0049]所述多层次时域特征提取模块用于基于ConvLSTM构建多[0051]所述像素级位置篡改概率值重建模块用于将时空不一致特征与像素点的坐标通[0055](1)本发明采用像素级位置篡改概率值重建的方式作为辅助监督，通过采样坐标信息的方法解决了以往使用全卷积网络模型生成篡改概率图的方式计算复杂度高的问题，[0057]图1为本实施例基于时空域预测像素级篡改概率值的换脸视频检测方法的框架示[0058]图2为本实施例基于时空域预测像素级篡改概率值的换脸视频检测方法的训练阶9[0059]图3为本实施例基于时空域预测像素级篡改概率值的换脸视频检测方法中浅层空据库上进行跨不同伪造方法测试以及CelebDF、DeepfakeDetection(DFD)、DeepfakeDetectionChallenge(DFDC)数据库上进行跨库测试为例。FaceForensics++数据库使用1:1左右。实验在Ubuntu18.04系统上进行，使用3.8版本的Python语言和1.7.0版的get_frontal_face_detector模[0071]在本实施例中，对于训练训练集重每一个视频VX进行视频帧分帧，得到F＝{F1,[0082]如图3所示，浅层空域特征提取网络输入大小为224×224大小的裁剪后的人脸图沿着不同的输入特征方向轴使用最大池化和平均池化操作得到两个三维的注3D卷积和Sigmoid函数，最终生成三维概率特征图Map"e拼接后生成三维概为7×7×7的3D卷积层，sreRCXXW表示N个时空特征输入，表分别表示最大池化特征和平均池化特征，分别送入一个具有隐藏层和，为了减少参数开销，在MLP中使用2个3D卷积代替全连接层，隐藏层维度大小设置为weR1Y1X1,与T个时空特征相乘并求和得到多尺度时域关联的时空特征具体计算公式如下：大池化和三维平均池化后的的权重值，表示多尺度时域关联后的权重[0099]将经过双注意力机制模块后的时空不一致特征(256×14×14)与步骤S3采样得到[0116]FaceForensics++是许多Deepfake检测方法中使用最广泛的数据库，它包含了来[0117]本发明加载利用FF++数据库的其中一种伪造方法的训练集训练后的网络的模型[0131]在本实施例中，空域特征提取模块用于基于DenseNet模