CN114387641B 基于多尺度卷积网络和ViT的虚假视频检测方法及系统 （中山大学）

multi-scaleconvolut基于多尺度卷积网络和ViT的虚假视频检测本发明提出一种基于多尺度卷积网络和ViT网络和ViT的虚假视频检测模型，基于该模型准片的多尺度特征，利用ViT代替作为分类的全局2pp多尺度特征图f1与高维人脸语义特征f2融步骤S3所述的预处理模块以EfficientNet-B4作为基准卷积神经网络，包括依次连接的一个3*3卷积层及EfficientNet-B所述的多尺度特征提取模块连接预处理模块，多尺度特征提取模块包所述人脸高维语义信息提取模块连接预处理模块，人脸高维语义信息提取模块以EfficientNet-B4为基础网络，具体由依次连接的EfficientNet-B4的后22个MBConv多尺度特征提取模块的输出端与人脸高维语义信息提取模块的输出端融合后，连接ViT模块，所述ViT模块包括依次连接的深度分离卷积块及VisionTransformer模块，步骤S4所述将特征提取区域的RGB图像输入预处理模块进行pS43.将调整后的RGB图像输入训练好的预处理模块进行颜色卷积特征学习，选择EfficientNet-B4的前十个MBConvBlocks输pS51.设置空洞卷积单元中L个不同感受野的并列空洞pp3ppppp语义信息提取模块中依次连接的EfficientNet-B4的后22个MBConvBlocks将颜色特征fp多尺度特征提取模块的输出端输出高维多尺度特征图f1，人脸高维语义信息提取模块征图特征图输入ViT模块，通过深度分离干区块Patches，通过线性映射将每个区块Patch映射到一维向量中，然后经PositionEmbedding后输入至TransformerEnco2.根据权利要求1所述的基于多尺度卷积网络和ViT的虚假视频检测方法，其特征在3.根据权利要求2所述的基于多尺度卷积网络和ViT的虚假视频检测方法，其特征在4.根据权利要求1所述的基于多尺度卷积网络和ViT的虚假视频检测方法，其特征在待检测视频数据集处理模块，用于确定待检测视频数据集，将待基于多尺度卷积网络和ViT的虚假视频检测模型包括预处理模块、多尺度特征提取模征提取模块提取出f的多尺度特征图f并将多尺度特征图f人脸高维语义信息提取模块将颜色特征fp转变为高维人脸语义特征f2，将高维多尺度4特征图f1与高维人脸语义特征f2融合为特征图h8h:ViT模块学习特征图h8h的全局信所述的预处理模块以EfficientNet-B4作为基准卷积神经网络，包括依次连接的一个3*3卷积层及EfficientNet-B4所述的多尺度特征提取模块连接预处理模块，多尺度特征提取模块包所述人脸高维语义信息提取模块连接预处理模块，人脸高维语义信息提取模块以EfficientNet-B4为基础网络，具体由依次连接的EfficientNet-B4的后22个MBConv多尺度特征提取模块的输出端与人脸高维语义信息提取模块的输出端融合后，连接ViT模块，所述ViT模块包括依次连接的深度分离卷积块及VisionTransformer模块，将特征提取区域的RGB图像输入预处理模块进行颜色特征学pS43.将调整后的RGB图像输入训练好的预处理模块进行颜色卷积特征学习，选择EfficientNet-B4的前十个MBConvBlocks输p多尺度特征提取模块提取出f的多尺度特征图f并将多尺度特征图f＇转变为高维S51.设置空洞卷积单元中L个不同感受野的并列空洞ppppp人脸高维语义信息提取模块接收预处理模块输出的颜色特征fp，人脸高维语义信息提取模块中依次连接的EfficientNet-B4的后22个MBConvBlocks将颜色特征f转变为高维p利用ViT模块学习特征图Ffuse的全局信息时，TransformerEncoder的每一层均能得到假视频检测模型；多尺度特征提取模块的输出端输出高维多尺度特征图f1，人脸高维语义信息提取模块征图hBh,特征图hBf输入ViT模块，通过深度分离卷积块从空间跟通道两个独立的维5干区块Patches，通过线性映射将每个区块Patch映射到一维向量中，然后经PositionEmbedding后输入至TransformerE6娱乐逐渐演变成犯罪工具，对人们的名誉和社会的安定形成潜在的威胁，因此，针对均池化层及一输出层；三维残差学习模块包括分别连接三维残差学习模块输入的第一支[0007]一种基于多尺度卷积网络和ViT的虚假视频检测方法，其特征在于，包括以下步7pp[0012]S5.通过多尺度特征提取模块提取出f的多尺度特征图f并将多尺度特征图[0013]S6.通过人脸高维语义信息提取模块将颜色特征fp转变为高维人脸语义特征f2，将高维多尺度特征图f1与高维人脸语义特征f2融合为特征图h[0015]在本技术方案中，识别并提取待检测视频数据集视频帧括依次连接的一个3*3卷积层及EfficientNet-B4的前十个MBConv的空洞卷积单元及深度分离卷积单元，所述空洞卷积单元包括L个不同感受野的并列空洞EfficientNet-B4为基础网络，具体由依次连接的EfficientNet-B4的后22个MBConv接ViT模块，所述ViT模块包括依次连接的深度分离卷积块及VisionTransformer模块，[0022]优选地，步骤S4所述将特征提取区域的RGB图像输入预处理模块进行颜色特征学8p[0025]S43.将调整后的RGB图像输入训EfficientNet-B4的前十个MBConvBlocks输p[0027]S51.设置空洞卷积单元中L个不同感受ppp[0030]S54.将多尺度特征图f＇输入深度p征fp，人脸高维语义信息提取模块中依次连接的EffTransformerEncoder的每一层均能得到h8h的全局信息，设置交叉熵损失函数，反向传为特征图h8h,特征图h8h输入ViT模块，通过深度分离卷积块从空间跟通道两个独立Embedding后输入至TransformerEncoder层；这样，transformer不仅可以通过(self-[0039]基于多尺度卷积网络和ViT的虚假视频检测模型包括预处理模块、多尺度特征提9度特征提取模块提取出f的多尺度特征图f度特征图f1与高维人脸语义特征f2融合为特征图h8h:ViT模块学习特征图h8h的全局[0042]本发明提出一种基于多尺度卷积网络和ViT的虚假视频检测方法及系统，首先对[0043]图1表示本发明实施例1中提出的基于多尺度卷积网络和ViT的虚假视频检测方法[0044]图2表示本发明实施例1中搭建的基于多尺度卷积网络和ViT的虚假视频检测模型[0045]图3表示本发明实施例3中提出的基于多尺度卷积网络和ViT的虚假视频检测系统[0052]考虑当前的虚假视频检测技术对高质量的真假视频集已但是在面对被高度压缩的视频(如经过H.264高度压缩的视频，本申请中称为pp[0057]S5.通过多尺度特征提取模块提取出f的多尺度特征图f并将多尺度特征图[0058]S6.通过人脸高维语义信息提取模块将颜色特征fp转变为高维人脸语义特征f2，将高维多尺度特征图f1与高维人脸语义特征f2融合为特征图h8h:卷积网络来检测低质量视频的真假性的思想出发，搭建基于多尺度卷积网络和ViT的虚假[0063]预处理模块对应图2所示的Pre-processingModule，预处理模块以EfficientNet-B4作为基准卷积神经网络，包括依次连接的一个3*3卷积层及EfficientNet-B4的前十个MBConvBlocks(MBConvBlocks#1[0064]多尺度特征提取模块连接预处理模块，多尺度特征提取模块对应图2所示的Stream#1:Multi-scaleModule，多尺度特征提取模块包括依次连接的空洞卷积单元及深卷积单元采用4个不同感受野的并列空洞卷积来进行人脸边缘特征信息的提取；深度分离卷积单元包括Q个深度分离卷积块及P个残差分离卷积块，参见图2，深度分离卷积块共两个，表示为：SeparableConvBlock；残差分离卷积块共4个，表示为：Residual2所示的Stream#2:MBConvBlocksModule,人脸高维语义信息提取模块以EfficientNet-深度分离卷积块SeparableConvBlock及VisionTransformer模块，VisionTransformer[0067]在本实施例中，步骤S4所述将特征提取区域的RGB图像输入预处理模块进行的颜[0070]S43.将调整后的RGB图像输入训pEfficientNet-B4的前十个MBConvBlocks输p[0072]S51.设置空洞卷积单元中L个不同感受pp1234；14得到多尺度特征图fp';pp脸高维语义信息提取模块中依次连接的EfficientNet-B4的后22个MBConvBlocks将颜色每一层均能得到f8fh的全局信息，设置交叉熵损失函数，反向传播ViT模块的权重参数，信息提取模块的输出端输出高维人脸语义特征f2，高维多尺度特征图f1与高维人脸语义特征f2融合为特征图h8h,特征图h8h输入ViT模块，通过深度分离卷积块从空间跟通道[0082]通过引入ViT模块，以Visiontransformer去代替传统单流神经网络原有的全局者多次压缩，并且具有多个来源。本实验在Linux系统上进行，主要是基于深度学习框架[0088]遍历读取所有文件夹中的帧序列路径，通过MTCNN人脸检测模型对视频帧图像进[0089]将特征提取区域的RGB图像(如图2所示的图片)输入到预处理模块中进行颜色卷p息，得到多尺度特征图f为了得到更高维的多尺度特征图，利用多尺度特征提取模块的p高维语义信息提取模块将颜色特征fp转变为高维人脸语义特征f2，将高维多尺度特征图fp特征图h8h的全局信息并作出预测，得到真实、虚假视频的分类输出结