【《基于自相关特征金字塔的图像篡改检测方法分析》6500字】

基于自相关特征金字塔的图像篡改检测方法分析目录TOC\o"1-3"\h\u11335基于自相关特征金字塔的图像篡改检测方法分析 1199111.1算法框架 3283791.2特征提取 360141.3自相关特征金字塔 59471.4篡改区域掩码生成 727541.5实验与结果分析 8181151.5.1图像库 889911.5.2评价指标 943811.5.3网络训练细节 9249251.5.4实验结果及分析 10242511.6小结 14基于深度学习的篡改检测方法依靠神经网络强大的特征学习能力，实现了更高效的篡改检测性能，弥补了传统篡改检测算法依赖人工设计特征且技术适用面单一的不足。然而，现有的基于深度学习的篡改检测方法，当面对小面积篡改区域的图像时，检测性能表现欠佳。通过分析，得到以下原因：（1）利用深度学习模型提取特征的过程中忽略降维处理对图像篡改信号的影响。神经网络在特征提取阶段对待检测图像作了多次降维处理，最终提取出高层次的全局特征进行图像的分析鉴别。虽然神经网络通过多次卷积操作能够从图像中不断提取更抽象可靠的全局特征，但在降维处理的过程中，也导致图像局部区域中存在的差异被极大地抹除了。基于深度学习的图像篡改检测任务所需提取的特征与常规的计算机视觉任务不同，无论是目标检测还是语义分割，一般深度学习模型关注的都是图像的语义内容，无需关注图像内容间存在的细微变化，但图像篡改检测任务恰恰相反，它需要关注篡改区域边界的细微变化，从而判断图像的真伪性。因此，可以推测，如果待测图像的篡改区域占比面积较小，通过神经网络从原始图像中提取到的低维度特征向量，将丢失图像构成的规律性和特征的空间排列信息，从而导致后续特征匹配任务出现较大偏差。（2）现有的深度学习模型在计算机视觉领域大放异彩，尽管图像篡改检测问题也可转化为识别、分类、定位问题，但其与计算机视觉问题却又大不相同。以往深度学习模型提取的都是图像的语义特征，图像的后处理操作对模型的识别精度并不会造成太大影响，但图像篡改检测却恰恰相反。由于图像篡改检测关注的不是图像的语义内容，而是图像篡改区域边界处的特征变化，图像的后处理操作会使得图像的篡改线索趋于减少甚至消失，从而显著影响模型的识别准确性。因此，将深度学习方法应用于图像篡改检测，需要避免模型提取图像语义特征，不能简单地将现有深度学习模型迁移应用到图像篡改检测任务中，而需要结合实际情况对现有网络结构进行调整或者重新设计合适的网络结构。针对上述问题，本章提出一种基于自相关特征金字塔的图像篡改检测方法。在所提方法中，充分考虑图像特征的空间排列特性，通过构建特征金字塔的方式将多个维度的特征向量进行融合，以减少单一低分辨率特征向量对图像篡改信号的抑制。此外，采用邻域比对策略对特征匹配结果进行优化，进一步减少了误匹配。1.1算法框架图3-1所示是基于自相关特征金字塔的图像篡改检测方法流程图。方法包含三个部分：特征提取网络，自相关金字塔网络以及篡改区域掩码生成网络。对于一幅大小为的待检测图像，首先将其输入特征提取网络提取不同层次的特征向量，然后选取不同维度的特征向量进行特征相似度计算，并通过构建自相关金字塔网络将多个维度的特征进行融合处理，最终将合并后的特征向量进行解码并通过分类器输出篡改区域掩码。图3-1基于自相关特征金字塔的图像篡改检测方法流程图Fig.3-1Flowchartofimageforgerydetectionmethodbasedonself-correlationfeaturepyramid1.2特征提取本文采用VGG16网络的一部分 提取篡改图像的特征。如图3-2所示，VGG16网络中包含5个“卷积+池化”模块和3个全连接层模块。如图3-3所示，本文特征提取网络的第一个模块包括2个conv3-64卷积层和一个池化层，第二个模块包括2个conv3-128卷积层和一个池化层，第三个模块包括3个conv3-256卷积层和一个池化层，第四个模块包括3个conv3-512卷积层和一个池化层。具体每一个模块的计算如下：为了简化说明，假设待检测图像大小为512×512×3，首先使用64个卷积核对图像进行卷积，所用卷积核大小为3×3，卷积核滑动步长为1，输出数据大小为512×512×64。接下来使用池化层对图像进行降维，所用卷积核大小为2×2，卷积核滑动步长为2，输出数据大小为256×256×64。第二模块的输入数据维度为256×256×64，使用128个3×3的卷积核进行两次卷积运算后特征维度变为256×256×128，然后经过池化特征维度变为128×128×128。同样地，第二模块的输出作为第三模块的输入，使用256个3×3的卷积核进行三次卷积和一次池化操作，输出数据大小为64×64×256。第三模块的输出作为第四模块的输入，使用512个3×3的卷积核进行三次卷积和一次池化操作，输出数据大小为32×32×512。图3-2VGG16网络结构Fig.3-2VGG16architecture图3-3基于自相关特征金字塔的图像篡改网络结构Fig.3-3Frameworkoftheimageforgerynetworkofself-correlationfeaturepyramid在整个特征提取网络中，每一层的输出结果可以用式3-1来表示。式中，表示第j个特征图像，表示的第i维分量。式(3-1)将多张特征图的像素描述成一维行向量，每层多个卷积核对输入图像进行卷积可得到多张大小一致的特征图构成m×n的矩阵X，作为该层的输出结果。 (3-1)1.3自相关特征金字塔图像特征被提取出来后，需要根据提取到的特征对图像特征相关性进行分析，从而完成对图像的鉴别。鉴于特征提取阶段对待检测图像执行的多次卷积、池化操作会不断减少特征的信息量，不利于小目标篡改区域的检测，本文并不考虑直接利用最后一层特征进行分析并将其结果作为后续图像鉴定的依据。为了减少低分辨率特征图对模型检测性能的影响，本文引入多尺度空间构建自相关金字塔，金字塔层次从低阶到高阶分别对应维度从大到小的特征图，包含了不同的语义信息。特征提取阶段是通过卷积操作不断对各层次的特征进行浓缩，最终用最少的信息量生成图像的全局特征，而中间生成的较高分辨率的特征图则包含更多的局部信息。由于图像篡改检测任务中，模型对图像局部变化信号的捕获能力会显著影响模型性能，因此，本文算法除了选取特征提取网络最后一层的特征图，同时还将选取其他维度的中间特征图进行相似度计算，目的是弥补特征提取过程中篡改信息丢失的影响。根据本文的算法，首先从特征提取网络中选取n个尺寸逐级下降的特征图，分别记作，作为构建n层自相关金字塔自底向上的输入数据。然后对中各层特征图X采用统一方法来量化特征相关性，具体计算过程如下：对于特征图X中任意给定的列向量，将其与X中所有可能取值的列向量两两进行相似度计算，其中任意两个列向量和的相关性可表示成式(3-2)的形式，式中和分别表示和归一化数据。 (3-2)设为的均值，为的均值，则归一化数据如式(3-3)所示： (3-3)对特征图X中的所有列向量均执行上述操作，最终将生成一个关于特征图X的自相关向量，该向量如式(3-4)所示： (3-4)式中行向量表示特定与所有的相似度计算结果，行向量分量表示特定与某个的相关性，主对角线表示每个与其自身的相关性比较结果。观察每一行的数据，可以得知图像中特定区域像素与其他区域像素的相似程度，行向量分量数据越大，表示该区域像素与特定区域像素相似度越高。为了快速从自相关向量中完成像素间的匹配，通过式(3-5)将自相关向量的各行向量分量按照降序进行排列，此时排序后的自相关向量中，越靠前的列向量表明像素点间的相关性越高，存在复制-粘贴篡改的可能性越大。 (3-5)利用上述方法，便完成了对自相关金字塔各层特征图进行逐点匹配的过程，由于特征匹配过程中不可避免会出现错误匹配的情况，因此本文对自相关金字塔各层生成的进行邻域卷积操作，这一步的核心思想是在初步匹配的基础上，对匹配特征的邻域进行比对，以剔除虚假匹配。卷积操作增强了数据的可靠性，但不改变输出数据的维度。对于整个自相关金字塔，总共生成了n个不同尺度的，其中底层输入的特征图包含了上一层特征图的信息，为了抑制大尺度特征图的冗余信息，对自相关金字塔各层赋予不同权重，自底向上权值逐级增大。设为自相关金字塔第k层的权重，则可表示成式(3-6)的形式。至此，自相关金字塔网络构建完成。 (3-6)1.4篡改区域掩码生成根据待测图像各像素点间的相关性结果，网络模型需要生成待测图像上存在复制-粘贴篡改区域的结果检测图。输出的方式有两种，一种是以Boundingbox（即包含物体的一个紧致矩形框）的形式对篡改区域进行定位，另一种是以二进制掩码的方式对篡改区域进行定位，本文模型选用输出掩码的方式。通常情况下，结果检测图中用采用两种反差色分别标记图像中的篡改区域以及未经篡改的区域。篡改区域掩膜生成网络由三个掩膜输出模块，掩膜输出模块的网络结构图如图3-4所示，主要包括卷积跟上采样两部分。具体地，输入特征图首先经过批处理归一化后+ReLU，将输出同时送入三个卷积操作，卷积核大小分别是1×1、3×3、5×5，卷积核数量都是8，然后把三卷积分支得到的特征通过向量拼接的方式进行合并，最后采用双线性插值实现将输入特征图放大一倍生成输出。最后第三个模块的输出通过Sigmoid分类器生成最终的掩膜图像。以32*32大小的特征图为例，篡改区域掩码网络各阶段的可视化特征图如图3-5所示。图3-4掩码输出网络结构Fig.3-4FrameworkofMaskdecodernetwork图3-5掩码输出模块可视化特征图Fig.3-5Visualizedfeaturemapsofmaskdecodermodule1.5实验与结果分析本实验旨在从各个方面突出本文模型的性能。首先，为验证本文算法的有效性，分别设置不同层数的自相关金字塔作对比验证实验，其中自相关特征金字塔层数n具体设定为1、2、3；其次，选取n=2的自相关特征金字塔模型与BusterNet[20]在不同数据集上进行比较，证明本文所提方法的有效性。最后，对本文模型在小区域样本集的篡改检测性能进行评估。实验仿真环境：CPU处理器为i78700，内存为16GB，显卡为GTX1080TiX2，硬盘为2T，实验平台为Ubuntu18.04。实验选用的开源架构是Tensorflow深度学习框架。1.5.1图像库USCISI数据集：该数据集由105幅图像组成，其中所有图像均取自提供了源对象分割掩码的SUN2012数据集和MicrosoftCOCO数据集，并通过几何变换的方式获取复制-粘贴篡改图像。CASIACMFD数据集：CASIATIDEv2.0是目前公开的数据量最大的图像篡改检测基准，数据集中所有图像的篡改区域都是手动创建的。该数据集包含7491张真实图像和5123张篡改图像，其中篡改图像是通过多种篡改操作创建的，本文从中选取1313张以复制-粘贴操作得到的篡改图像构成了CASIACMFD数据集。CoMoFoD基础数据集：该数据集包含200张基本篡改图像。1.5.2评价指标本文从像素级和图像级层面对所提方法的性能进行衡量。图像篡改检测任务可视为二分类问题，目标是判断待测图像区域或者整幅图像是否被篡改。假定篡改图像或者图像中被篡改的像素区域为正样本，真实图像或者图像中未篡改的像素区域为负样本，则图像篡改检测结果存在四种可能性，分别为真阳性（检测模型判定为正的正样本数量）、假阳性（检测模型判定为正的负样本数量）、真阴性（检测模型判定为负的负样本数量）和假阴性（检测模型判定为负的正样本数量）。本文采用机器学习中的PRF值，即精确率（Precision,P）、召回率（Recall,R）以及F1值（F1-measure,F）三个实验指标来评估模型的性能，计算方法如下： (3-7) (3-8) (3-9)其中，精确率指的是模型判定为正的所有样本中有多少是真正的正样本，即模型检测出的篡改图像或篡改区域有多少比例是实际被篡改的。召回率指的是所有正样本有多少被模型判定为正，即篡改图像或者篡改区域有多少被模型检测出来。理想条件下，精确率和召回率当然都是越高越好，但一般这两个值是此消彼长的关系，所以评价模型性能好坏必须综合衡量精确率和召回率两个指标，即综合评价指标F1值，F1值越高说明模型性能越好。对于像素级层面的评估，本文从篡改区域定位性能来进行衡量，首先对真阳性不为零（真阳性为零时，F1值无定义）的各个样本分别计算PRF值，然后对这些样本的PRF值累加求平均得到整体的PRF值。对于图像级层面的评估，当测试图像中有任意像素被检测为伪造的，则将该测试图像标记为篡改图像。通过将预测的图像标签与其真实标签进行比较，统计测试图像集的PRF值。此外，本文采用ROC曲线下方所覆盖的区域面积（简称AUC）作为模型性能的度量，其中ROC曲线是以待测样本假阳率和真阳率为轴的曲线，AUC值越大表明分类器效果越好。1.5.3网络训练细节不同规模训练样本按照9:1的比例划分为训练集和测试集，其中训练集用于网络训练，测试集用于评估网络性能。网络使用二分类的交叉熵作为损失函数，激活函数使用Relu函数。网络中所有卷积运算均使用边界填充以保持输入和输出图像维度一致，卷积步长均为1。在网络训练过程中，使用Adam优化器更新误差，其中学习率设定为10-4，批处理大小设定为2，迭代次数设定为50。1.5.4实验结果及分析本文算法的有效性为验证本文算法的有效性，本实验使用CASIACMFD数据集对三种不同层数的自相关特征金字塔模型进行训练，然后在CoMoFoD数据集上进行测试。表3-1列出了三种模型的PRF值进行性能比较，同时采用文献[53-54]中定义的检测标准，在单样本像素级F1评分高于0.5的图像子集上统计了相应的PRF值。从实验结果可以看出，随着自相关特征金字塔层数的增加，模型PRF值得到了显著地提升。其中，当n=1变为n=2时模型的性能提升最为明显，其P值提升了36.13%，R值提升了29.71%，F值提升了28.09%，检测到的单样本像素级F1评分高于0.5的图像数量增加了74张。这说明本文算法通过增加不同尺度的自相关特征，可以有效地获取更多的篡改图像信息。表3-1不同网络层数的本文方法在CoMoFoD数据库的实验数据对比Tab.3-1ComparisionofproposedmethodwithdifferentnetworklevelsonCoMoFoDdataset评估方式指标自相关特征金字塔Pn取值n=1n=2n=3像素级评估P8.4544.5841.68R17.3147.0248.96F8.9537.0441.08F1>0.5数量17591P69.8186.3079.60R50.1371.3579.76F58.3576.2578.23本文算法与其他方法的实验结果对比分析本实验选取n=2的自相关特征金字塔模型和Cozzolino2015[12]、Wu2017[27]以及BusterNet2019[20]的检测结果进行对比。所有的方法均是在USCISI数据集上对网络进行训练，并使用CASIACMFD数据集进行评估，对比结果如表3-2所示。从各项实验数据来看，本文算法在CASIACMFD数据集上，其F值在像素级评估和图像级评估分别达到了50.67和77.61，性能均优于其他方法。另外，从图3-6和图3-7可以看出，本文算法与现下性能较优的BusterNet[20]相比，其AUC性能在图像级评估和像素级评估条件下分别提升了5%和7%。表3-2各方法在CASIACMFD数据集的实验数据对比Tab.3-2ComparisionofdifferentmethodsonCASIACMFDdataset评估方式指标Cozzolino[12]Wu[27]BusterNet[20]本文算法像素级评估P24.9221.9747.9362.78R26.8111.7936.2751.31F25.4314.6437.8650.67图像级评估P99.5166.3778.2279.31R30.6171.5971.8975.43F46.8269.8075.9877.61图3-6本文方法与其他方法的图像级评价AUC曲线对比Fig.3-6AUCperformancecomparisonevaluatedbyimagelevel图3-7本文方法与其他方法的像素级评价AUC曲线对比Fig.3-7AUCperformancecomparisonevaluatedbypixellevel篡改区域占比面积对模型性能的影响为了检验本文模型对小面积篡改区域图像的有效性，本文根据图像中篡改区域在整幅图像中的占比，将CASIACMFD数据集划分为小区域集（占比0-0.04）、中区域集（占比0.04-0.13）和大区域集（占比0.13-0.8），然后和BusterNet[20]比较在三个子集上的检测性能，实验结果总结在表3-3中。结果表明，在小区域集和中区域集上本文算法相较于BusterNet[20]其PRF值提升较大，尤其在小区域集上检测性能提升最为明显，而在大区域集上其PRF值提升较小。这说明本文算法不仅能够有效检测大区域面积的篡改图像，而且在处理中小区域面积的图像篡改检测问题上表现突出。这一点也从侧面印证了前文提出构建自相关金字塔以获取更多特征空间排列信息的有效性。表3-3基于篡改区域面积差异性的CMFD性能对比Tab.3-3Performanceanalysisofdifferentcopy-movedregionscaleonCASIACMFD数据划分PRF值BusterNet[20]本文算法提升率小区域集474张P0.230.450.96R0.170.411.41F0.170.371.18中区域集