CN116091429B 一种拼接篡改图像的检测方法 （杭州师范大学）

.2023,第11卷33313-33323.本发明公开了一种拼接篡改图像的检测方集对混合transformer神经网络进行模型训练，2步骤(1)搜集并下载公共图像篡改数据集，包括CASIA数据集和所述的自注意力U形模块，使用self_attention建模输入图像的长程依赖性以及提取所述的交叉注意力模块，使用交叉注意力过滤特征提取模块和特征解所述的特征解码模块，将具有全局信息以及局部信息的的特征图所述的自注意力U形模块具体是：将尺寸为9x9x512特征图作为输入进行两次卷积核然后将特征图送入自注意力模块，在输入特征图X∈RdxHxW上添加位置编码，H和分别W过最后一次卷积的特征图相加，最终输出尺寸为9块首先将尺寸为288x288x3的输入图像送入残差U形模块_7，进行两次卷积核大小为3x3行一次最大值池化下采样的操作将特征图分辨率降为原来矩阵；在高级特征图N∈R2dxHxW添加位置编码，并且用1x1卷积改变通道数为d以后作为查然后使用矩阵乘法和softmax函数计算注意力矩阵A∈Rnxn，其中n＝HxW；通过Relu激将U和S做Hadamard乘积得到U过滤掉非语输出的尺寸为288x288x64的特征图，经过3x3的卷积层，输出尺寸为288x288x1的特征图；再经过Sigmiod激活函数得到尺和y(r,c)分别表示输入图像预测的像素值4种拼接篡改图像的检测方法，具体是一种基于混合transformer神经网络的图像篡改检测和基于卷积神经网络的检测方法。大部分传统的检测方法提取特定的图像指纹来进行检实现区域级篡改定位结果。RRU_Net结构通过残差传播和残差反馈模块来捕获篡改区域和5Net的编码器部分提取输入图像的特征图以及提取输入图像的全局信息；将尺寸为9×9×512特征图作为输入进行两次卷积核大小[0014]然后使用矩阵乘法和softmax函数计算注意力矩阵A∈Rn×n，其中n＝H×W；通过6U形块4输出特征图上采样和经过交叉注意力模块的输出特征图进行级联，得到的特征图函数：其中(r,c)是像素坐标，p(r,c)和y(r,c)分别表示输入图像预测的像素值和标定真值的力机制的优点。因此，本发明可以利用卷积的归纳偏差来避免大规模预训练，以及Transformer学习建模显式全局和长程语义信息依赖的能力。总之，本发明将卷积和[0023]步骤(1)搜集并下载公共图像篡改数据集，包括CASIA数据集和COL78第一次卷积的输出特征图和经过最后一次卷积的特征图相加，得到输出尺寸为18×18×[0032]所述的自注意力U形块，使用self_attention建模输入图像的长程依赖性以及提码特别适合于在自注意力中捕获篡改区域之间的绝对和相对位置；然后将X展平并转置为9[0038]然后使用矩阵乘法和softmax函数计算注意力矩阵A∈Rn×n，其中n＝H×W；通过[0042]将自注意力U形块得到的特征图尺寸为9×9×512的特征图上采样和经过交叉注[0043]将残差U形块4F输出的尺寸为18×18×512的特征图上采样和经过交叉注意力模[0044]将残差U形块4输出的尺寸为36×36×256的特征图上采样和经过交叉注意力模[0045]将残差U形块5输出的尺寸为72×72×128的特征图上采样和经过交叉注意力模[0046]将残差U形块6输出的尺寸为144×144×64的特征图上采样和经过交叉注意力模寸为288×288×1的特征图；再经过Sigmiod激活函数得到尺寸为288×288×1的单通道篡集来训练基于混合transformer的神经网络，将其中的15％作为测试集测试基于混合[005