CN116091429B 一种拼接篡改图像的检测方法（杭州师范大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN116091429B(65)同一申请的已公布的文献号路2318号(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240专利代理师陈炜.2023,第11卷33313-33323.李树原等.用于图像篡改检测的混合报》.2024,第36卷(第12期),2010-2019.李树原.基于深度学习的图像拼接篡改检测研究.《CNKI中国优秀硕士毕业论文全文库(信息科技辑)》.2024,(第07期),I138-163.(54)发明名称一种拼接篡改图像的检测方法本发明公开了一种拼接篡改图像的检测方法。本发明方法首先搜集并下载公共图像篡改数分作为训练集，其他作为测试集；然后使用训练集对混合transformer神经网络进行模型训练，力模块、特征解码模块；最后使用训练好的网络模型对测试集图像进行测试，得到最终的检测效果。本发明方法将自注意力和交叉注意力整合到U²-Net中，能够从不同尺度捕获更多的文本信息和空间相关性，提高预测结果的正确性。本发明2所述的自注意力U形模块，使用self-attention建模输入图像的长程依赖性以及提取所述的交叉注意力模块，使用交叉注意力过滤特征提取模块所述的特征解码模块，将具有全局信息以及局部信息的的特所述的自注意力U形模块具体是：将尺寸为9×9×512特征图作为输入进行两次卷积核为1卷积，批归一化数据流层norm,激活函数Relu;再把经过第一次卷积的输出特征图和经块首先将尺寸为288×288×3的输入图像送入残差U形模块-7,进行两次卷积核大小为3×3行一次最大值池化下采样的操作将特征图分辨率降为原然后将特征图依次送入残差U形模块-6、残差U形模块-5、残差U形模块-4、残差U形模然后使用矩阵乘法和softmax函数计算注意力矩阵A∈R"×,其中n=H×W;通过Relu激联，得到的特征图送入残差U形模块-4F;将残差U形模块-4F输出特征图上采样和经过交叉注意力模块的输出特征图进行级联，得到的特征图送入残差U形模块-4;将残差U形模块-4U形模块-5;将残差U形模块-5输出特征图上采样和经过交叉注意力模块的输出特征图进行4技术领域[0001]本发明属于计算机技术领域，尤其是计算机视觉、数字图像处理技术领域，涉及一种拼接篡改图像的检测方法，具体是一种基于混合transformer神经网络的图像篡改检测方法，可以不同尺度下准确定位篡改区域，并且拥有较好的定位性能。背景技术[0002]随着现代移动设备的快速发展，数字图像的生成和传递变得非常容易。同时，编辑软件操作简单，便于任何人修改图像。一些拼接篡改的图像可能被恶意滥用，对社会和国家造成负面影响。因此，检测拼接篡改图像变得越来越重要。[0003]目前，对图像篡改区域的检测技术主要分为两种：基于传统特征提取的检测方法和基于卷积神经网络的检测方法。大部分传统的检测方法提取特定的图像指纹来进行检测，如彩色滤波阵列插值、传感器噪声、光照不一致性(PRNU)。传统的检测方法只能检测特定的一种图像指纹，但当图像中的特定指纹不存在或不明显时，检测就会失败。另外，特定的图像指纹会受到图像模糊、JPEG压缩和下采样等后处理效果的影响，这会降低传统检测方法的检测结果。近年来，人们提出了许多基于CNN的篡改检测方法，并表现出比传统方法更好的性能。这些基于CNN的篡改检测方法可以同时提取多种图像指纹，弥补了传统方法依赖单一图像属性、缺乏泛化能力和鲁棒性差的缺陷。例如FasterR-CNN使用RGB流和噪声流来检测给定篡改图像的篡改区域。他们使用SRM滤波器层从篡改图像中提取噪声特征，这允许模型捕获篡改区域和真实区域之间的噪声不一致性。然而，该方法的局限性在于它只能实现区域级篡改定位结果。RRU-Net结构通过残差传播和残差反馈模块来捕获篡改区域和征，导致对大尺度篡改区域的定位效果较差，误检率较高。MWC-Net可以学习更全面和更具代表性的特征。然而，此方法仍然没有考虑全局特征，这可能导致定位大尺度篡改区域时性能较差。[0004]大多数先前的工作忽略了篡改区域的大小是变化的，并且难以定位不同大小的篡改区域。由于卷积运算的固有局部性，基于CNN的方法很难学习显式的全局语义信息关系，并且难以联合利用局部和全局特征。因此，大多数基于CNN的检测方法只能处理有限的尺度变化。此外，这些方法在定位大尺度篡改区域时可能会出现定位不完整或高误检率等问题。发明内容[0005]本发明目的是针对现有技术的不足，提供一种基于卷积神经网络的图像篡改检测方法。[0006]本发明方法具体是：[0007]步骤(1)步骤(1)搜集并下载公共图像篡数据集；取其中的80～90%作为训练集，其他作为测试集；[0008]步骤(2)使用训练集对混合transformer神经网络进行模型训练，包括：特征提取5X;首先将尺寸为288×288×3的输入图像送入残差U形块-7,进行两次卷积核大小为3×3、化数据流层norm,激活函数Relu;再进行五次卷积核大小为3×3、步长为1、以及提取输入图像的全局信息；将尺寸为9×9×512特征图作为输入进行两次卷积核大小填充为1卷积，批归一化数据流层norm,激活函数Relu;再把经过第一次卷积的输出特征图[0014]然后使用矩阵乘法和softmax函数计算注意力矩阵A∈R×,其中n=H×W;通过少的噪声或无关区域；6输出特征图进行级联，得到的特征图送入残差U形块-4F;将残差U形块-4F输出特征图上采U形块-4输出特征图上采样和经过交叉注意力模块的输出特征图进行级联，得到的特征图送入残差U形块-5;将残差U形块-5输出特征图上采样和经过交叉注意力模块的输出特征图注意力模块的输出特征图进行级联，得到的特征图送入残差U形块-7;将函数：;其中(r,c)是像素坐标，p(r,c)和Z0,若z₁>0,f(z)=z;。激活函数Sigmiod定义为是卷积操作后的结果。Z本信息和空间相关性。其中的交叉注意力模块可以滤除非语义特征，在高级语义信息力机制的优点。因此，本发明可以利用卷积的归纳偏差来避免大规模预训练，以及Transformer学习建模显式全局和长程语义信息依赖的能力。总之，本发明将卷积和[0025]所述的特征提取模块，使用U²-Net的编码器部分提取输入图像的特征图X;具体[0026]将尺寸为288×288×3的图像送入残差U形块-7,进行两次卷积核大小为3×3、步7长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;然后进行五次卷积核大小为3×3、步长为1、填充为1的卷积加最大值池化下采样，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行五次卷积核大小为3×3、步长为1、填充为1的卷积加上采样，批归一化数据流层norm,激活函数Relu;把经过第一次卷积的输出特征图和经过最后一次卷积的特征图相加，得到输出尺寸为288×288×64特征图，经过最大值池化数据流层pool,最终输出尺寸为144×144×64特征图；[0027]将尺寸为144×144×64特征图继续送入残差U形块-6,进行两次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;然后进行四次卷积核大小为3×3、步长为1、填充为1的卷积加最大值池化下采样，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行四次卷积核大小为3×3、步长为1、填充为1的卷积加上采样，批归一化数据流层norm,激活函数Relu;把经过第一次卷积的输出特征图和经过最后一次卷积的特征图相加，得到输出尺寸为144×144×128特征图，经过最大值池化数据流层pool,最终输出尺寸为72×72×128特征图；[0028]将尺寸为72×72×128特征图继续送入残差U形块-5,进行两次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;然后进行三次卷积核大小为3×3、步长为1、填充为1的卷积加最大值池化下采样，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行三次卷积核大小为3×3、步长为1、填充为1的卷积加上采样，批归一化数据流层norm,激活函数Relu;把经过第一次卷积的输出特征图和经过最后一次卷积的特征图相加，得到输出尺寸为72×72×256特征图，再经过最大值池化数据流层pool,最终输出尺寸为36×36×256特征图；[0029]将尺寸为36×36×256特征图继续送入残差U形块-4,进行两次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;然后进行两次卷积核大小为3×3、步长为1、填充为1的卷积加最大值池化下采样，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行两次卷积核大小为3×3、步长为1、填充为1的卷积加上采样，批归一化数据流层norm,激活函数Relu;把经过第一次卷积的输出特征图和经过最后一次卷积的特征图相加，得到输出尺寸为36×36×512特征图，再经过最大值池化数据流层pool,最终输出尺寸为18×18×512特征图；[0030]将尺寸为36×36×256特征图继续送入残差U形块-4F,进行两次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;然后进行一次卷积核再经过一次卷积核大小为3×3、步长为1、填充为4、空洞率为4的卷积，批归一化数据流层8第一次卷积的输出特征图和经过最后一次卷积的特征图相加，得到输出尺寸为18×18×[0031]批归一化数据流层norm,数据批次B={x₁,…,xi,…,x}中的每个x;转换为y的计norm,激活函数Relu;码特别适合于在自注意力中捕获篡改区域之间的绝对和相对位置；然后将X展平并转置为填充为1卷积，批归一化数据流层norm,激活函数Relu;再把经过第一次卷积的输出特征图[0036]所述的交叉注意力模块，使用交叉注意力过滤特征提取模块和特征解码模块之间的非语义特征，在特征解码模块中实现更精细的空间恢复，并提高预测结果的正确性；具体9阵；在高级特征图N∈R²d××W添加位置编码并且用1×1卷积改变通道数为d以后作为查询矩阵和键矩阵；[0038]然后使用矩阵乘法和softmax函数计算注意力矩阵A∈R×,其中n=H×W;通过Relu激活函数重新缩放计算的权重值，得到作为滤波器的结果S,其中低幅度元素表示要减少的噪声或无关区域；[0039]将U和S做Hadamard乘积得到U过滤掉非语义特征的版本；[0040]最后，将滤波操作的结果与高级特征图N连接。通过交叉注意力模块，可以保留比普通跳跃连接更详细的信息，从而提高检测性能。[0041]所述的特征解码模块将具有全局信息以及局部信息的的特征图解码，并在像素级预测篡改区域。特征解码模块与具有与其对称特征提取模块类似的结构；具体是：[0042]将自注意力U形块得到的特征图尺寸为9×9×512的特征图上采样和经过交叉注意力模块的输出特征图进行级联得到18×18×1024的特征图，再经过残差U形块-4F,进行两次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再经过一次卷积核大小为3×3、步长为1、填充为4、空洞率为4的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为8、空洞率为8的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为4、空洞率为4的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为1卷积，批归一化数据流层norm,激活函数Relu;再把经过第一次卷积的输出特征图和经过最后一次卷积的特征图相加，最终输出尺寸为18×18×512特征图；[0043]将残差U形块-4F输出的尺寸为18×18×512的特征图上采样和经过交叉注意力模块的输出特征图进行级联得到36×36×1024的特征图，再经过残差U形块-4,进行两次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行两次卷积核大小为3×3、步长为1、填充为1的卷积加最大值池化下采样，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行两次卷积核大小为3×3、步长为1、填充为1的卷积加上采样，批归一化数据流层norm,激活函数Relu;再把经过第一次卷积的输出特征图和经过最后一次卷积的特征图相加，最终输出尺寸为36×36×256特征图；[0044]将残差U形块-4输出的尺寸为36×36×256的特征图上采样和经过交叉注意力模块的输出特征图进行级联得到72×72×512的特征图，再经过残差U形块-5,进行两次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行三次卷积核大小为3×3、步长为1、填充为1的卷积加最大值池化下采样，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为2、空洞率为2的卷积，批归一化数据流层norm,激活函数Relu;再进行一次卷积核大小为3×3、步长为1、填充为1的卷积，批归一化数据流层norm,激活函数Relu;再进行三次卷积核大小为3×3、步长为1、填充为1的卷积加上采样，批归一化数据流层norm,激活函数Relu;再把经过第一次卷积的[0045]将残差U形块-5输出的尺寸为72×72×128的特征图上采样和经过交叉注意力模块的输出特征图进行级联得到144×144×256的特征图，再经过残差U形块-6,进行两次卷批归一化数据流层norm,激活函数Re填充为1的卷积加上采样，批归一化数据流层norm,激活函数