《多媒体信息安全》课件 第5-7章 对抗样本综述-数字图像取证

第5章对抗样本综述《多媒体信息安全》目录三一

对抗样本简介二

典型的对抗样本算法

针对深度检索哈希的对抗样本攻击对抗样本简介DNN的脆弱性——对抗样本对抗样本定义：对抗样本（Adversarialexamples）是指在原始输入样本中添加不可分辨的扰动所形成的新输入样本，该样本会导致模型以高置信度给出一个错误的输出。Szegedy等人在2014年的ICLR中首次提出了对抗样本，并给出了对抗样本的数学表达。对抗样本评价指标：1）Perceptibility2）Performance3）EfficiencyC.Szegedy,W.Zaremba,I.Sutskever,J.Bruna,D.Erhan,I.Goodfellow,andR.Fergus.Intriguingpropertiesofneuralnetworks.InInternationalConferenceonLearningRepresentations,2014.(L-BFGS)01对抗样本简介对抗样本的应用：1）智能驾驶：对抗样本可以模拟智能驾驶过程中攻击者对模型的干扰，避免真实使用中的可能发生的车辆事故。2）对抗训练：通过将对抗样本作为一种攻击，通过对抗训练的方式得到更加鲁邦的模型。对抗样本攻击方式生成方式白盒攻击：FGSM,BIM,PGD,CW,Deepfool,DDN…黑盒攻击:UAP,ZOO,Onepixel…基于梯度的攻击:FGSM,PGD,Deepfool…基于优化的攻击:CW,DDN…对抗样本的研究发展与应用02对抗样本简介

03对抗样本的相关数学基础对抗样本简介04梯度下降

x=0.08646011,y=2.0074769020次迭代后目录三一

对抗样本简介二典型的对抗样本生成算法

针对深度检索哈希的对抗样本攻击典型的对抗样本生成算法1FastGradientSignMethod

(FGSM)&I-FGSMI.J.Goodfellow,J.Shlens,andC.Szegedy.ExplainingandHarnessingAdversarialExamples.InInternationalConferenceonLearningRepresentations,2015

优点：快速

缺点：一步式攻击，没有像素裁剪，对复杂非线性模型成功率低

解决了FGSM一步攻击无法成功攻击复杂非线性模型的问题，同时每一次梯度下降后都进行像素裁剪，改进了对抗样本质量FGSMI-FGSMA.Kurakin,I.Goodfellow,andS.Bengio.Adversarialexamplesinthephysicalworld.InInternationalConferenceonLearningRepresentations(workshoptrack),2017典型的对抗样本生成算法2MomentumIterativeFastGradientSignMethod(MI-FGSM)MI-FGSMDongY,LiaoF,PangT,etal.Boostingadversarialattackswithmomentum[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018:9185-9193.

Nesterovmomentumiterativefastgradientsignmethod(N-MI-FGSM)进一步改进多步策略，运用动量的思想使得生成的对抗样本具有良好的传递性和图像质量典型的对抗样本生成算法3CWN.CarliniandD.Wagner.Towardsevaluatingtherobustnessofneuralnetworks.InIEEESymposiumonSecurityandPrivacy(SP),pages39–57,2017.

CW优化

平均扰动大小攻击成功率典型的对抗样本生成算法3CWN.CarliniandD.Wagner.Towardsevaluatingtherobustnessofneuralnetworks.InIEEESymposiumonSecurityandPrivacy(SP),pages39–57,2017.

CW优化寻找cc=0.1是个临界点，c从0.1增大时攻击成功率迅速上升，小于0.1或者大于1时，攻击成功率比较平缓二分查找计算出尽量小的c评价：扰动最小的对抗样本算法之一，攻击成功率非常高，不足在于运行时间非常长典型的对抗样本生成算法4Deepfool与UAPS.-M.Moosavi-Dezfooli,A.Fawzi,andP.Frossard.Deepfool:asimpleandaccuratemethodtofooldeepneuralnetworks.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,pages2574–2582,2016.S.M.Moosavi-Dezfooli,A.Fawzi,O.Fawzi,andP.Frossard,‘‘Universaladversarialperturbations,’’inProc.IEEEConf.Comput.Vis.PatternRecognit.(CVPR),Jul.2017,pp.86–94.

UAP的思想是训练出一种可以对整个数据集的图像都有效的对抗样本,图像加上这个通用扰动后都会是分类器分类错误Deepfool基于Deepfool典型的对抗样本生成算法4Deepfool与UAPdeepfool典型的对抗样本生成算法5DecoupledDirectionandNormAttack（DDN）MI-FGSMCWR.Jerome,H.LuizG.andOliveira,LuizS.andA.IsmailBenandS.RobertandG.Eric.DecouplingDirectionandNormforEfficientGradient-BasedL2AdversarialAttacksandDefenses.ConferenceonComputerVisionandPatternRecognition,2019.典型的对抗样本生成算法5DecoupledDirectionandNormAttack（DDN）R.Jerome,H.LuizG.andOliveira,LuizS.andA.IsmailBenandS.RobertandG.Eric.DecouplingDirectionandNormforEfficientGradient-BasedL2AdversarialAttacksandDefenses.ConferenceonComputerVisionandPatternRecognition,2019.DDN对抗样本示例目录三一

对抗样本简介二典型的对抗样本算法

针对深度检索哈希的对抗样本攻击深度检索哈希简介针对深度检索哈希的对抗样本攻击每张图片都可以通过某种算法得到一个hash值，称为图片指纹，两张指纹相近的图片可以认为是相似图片，一般用汉明距离来衡量图像之间的相似程度。图像哈希可以用来做图像检索、以图搜图、相似度比较等等随着人工智能的发展和图像数量的增多，传统的哈希生成方法在实际应用中暴露出效率不高的问题，使用深度学习改进图像哈希成为一个新的趋势。深度哈希针对深度检索哈希的对抗样本攻击深度哈希有监督：训练模型需要标签，模型精确度高无监督：训练模型不需要标签，模型精确度低Z.Cao,M.Long,J.Wang,andP.S.Yu,“HashNet:Deeplearningtohashbycontinuation,”inProc.ICCV,2017,pp.5609–5618.

HashAdversaryGeneration(HAG)针对深度检索哈希的对抗样本攻击E.Yang,T.Liu,C.Deng,andD.Tao,“Adversarialexamplesforhammingspacesearch,”IEEETransactionsonCybernetics,vol.50,no.4,pp.1473–1484,2020.查询图像检索数据库的哈希码汉明距离输出汉明距离最小的前十张图像增大汉明距离无目标攻击

选择性修改像素，避免像素全部修改

DeepHashingTargetedAttack(DHTA)针对深度检索哈希的对抗样本攻击J.Bai,B.Chen,Y.Li,D.Wu,W.Guo,S.Xia,andE.Yang,“Targetedattackfordeephashingbasedretrieval,”inProceedingsofEuropeanConferenceonComputerVision(ECCV),2020,pp.618–634.DeepHashingTargetedAttack(DHTA)针对深度检索哈希的对抗样本攻击深度哈希模型被对抗样本攻击后检索结果发生变化Non-targetedDeepHashingAttack(NDHA)针对深度检索哈希的对抗样本攻击(4)(3)2000epoch->360epochanchor-movingNon-targetedDeepHashingAttack(NDHA)针对深度检索哈希的对抗样本攻击NUSWIDE

Z为像素数Non-targetedDeepHashingAttack(NDHA)针对深度检索哈希的对抗样本攻击MAPTopN曲线PR曲线国家重点研发计划项目申报谢谢！第6章生成对抗网络《多媒体信息安全》目录三一

背景知识二

GAN的基本原理及衍生模型

GAN的应用人工智能、机器学习和深度学习1956年，几个计算机科学家相聚在达特茅斯会议，提出了“人工智能”的概念。2012年以后，得益于数据量的上涨、运算力的提升和机器学习新算法（深度学习）的出现，人工智能开始大爆发。通常将人工智能分为弱人工智能和强人工智能。机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域，传统的算法包括决策树、支持向量机等等。从学习方法上来分，机器学习算法可以分为监督学习、无监督学习、半监督学习等。最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。它本身并不是一个全新的概念，可大致理解为包含多个隐含层的神经网络结构。为了提高深层神经网络的训练效果，对神经元的连接方法和激活函数等方面做出相应的调整。人工智能：ArtificialIntelligence机器学习：MachineLearning深度学习：DeepLearning人工智能：从概念提出到走向繁荣机器学习：一种实现人工智能的方法深度学习：一种实现机器学习的技术人工智能研究的各个分支人工智能，机器学习和深度学习的关系人工智能、机器学习和深度学习DeepNeuralNetworks从感知机（1958）到神经网络感知机的模型感知机的模型是一个有若干输入和一个输出的模型输出和输入之间学习到一个线性关系，得到中间输出结果

接着是一个神经元激活函数

神经网络的扩展：（1）加入了隐藏层（2）输出多个神经元（3）扩展了激活函数Sigmoid函数

SoftMax函数tanh

Relu

DeepNeuralNetworksDeepResidualNetwork-ResNet一般印象当中，深度学习愈是深（复杂，参数多）愈是有着更强的表达能力。凭着这一基本准则CNN分类网络自Alexnet的7层发展到了VGG的16乃至19层，后来更有了Googlenet的22层。层数越多越好吗？显然并不是。CNN网络达到一定深度后，再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，测试集的分类准确率也变得更差。排除数据集过小带来的模型过拟合等问题后，发现过深的网络仍然还会使分类准确度下降。深度网络的退化问题至少说明深度网络不容易训练。但是我们考虑这样一个事实：现在你有一个浅层网络，你想通过向上堆积新层来建立深层网络，一个极端情况是这些增加的层什么也不学习，仅仅复制浅层网络的特征，即这样新层是恒等映射（Identitymapping）。在这种情况下，深层网络应该至少和浅层网络性能一样，也不应该出现退化现象。所以是目前的训练方法有问题，才使得深层网络很难去找到一个好的参数。HeK,ZhangX,RenS,etal.DeepResidualLearningforImageRecognition[J].IEEE,2016.DeepResidualNetwork-ResNet残差学习

Input:Residual:特征：

特征：

残差学习相比原始特征直接学习更容易。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降。实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。“短路连接”（shortcuts，skipconnection）DenseNet更激进的密集连接机制：互相连接所有的层，即每个层都会接受其前面所有层作为其额外的输入。HuangG,LiuZ,LaurensV,etal.DenselyConnectedConvolutionalNetworks[J].IEEEComputerSociety,2016.目录三一

背景知识二

GAN的基本原理及衍生模型

GAN的应用GAN的工作原理黑线：真实样本绿线：生成样本G蓝线：判别模型D

对判别模型D的优化：D(x)--大，D(G(z))--小对生成模型G的优化：D(G(z))--大GoodfellowIJ,Pouget-AbadieJ,MirzaM,etal.GenerativeAdversarialNetworks[J].AdvancesinNeuralInformationProcessingSystems,2014,3:2672-2680.：真实图像的分布

：生成图像的分布GAN的变体王正龙,张保稳.生成对抗网络研究综述[J].网络与信息安全学报,7(4):18.GAN的应用场景DCGAN深度卷积生成对抗网络（DeepConvolutionalGenerativeAdversarialNetwork）。参考论文：《UnsupervisedRepresentationLearningwithDeepConvolutionalGenerativeAdversarialNetworks》代码地址：/eriklindernoren/Keras-GAN/blob/master/dcgan/dcgan.pyGAN的应用场景YangLC,ChouSY,YangYH.MidiNet:AConvolutionalGenerativeAdversarialNetworkforSymbolic-domainMusicGeneration[J].2017.GAN的应用场景标签-街景，标签-建筑物，黑白图像-彩色图像，俯拍图-地图，白天-晚上，轮廓-图像GAN的应用场景ZhuJY,ParkT,IsolaP,etal.UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks[J].IEEE,2017.https://junyanz.github.io/CycleGAN/学习GAN的基础了解导数、概率、矩阵及其运算等基本数学知识熟悉不同算法，掌握调参的技巧，务实代码功底提高自己的编程能力（比如刷LeetCode,/，codeforces,/）条件生成对抗网络-CGAN

GAN和CGAN的生成器G的目标函数超分辨率图像复原生成对抗网络-SRGAN从低分辨率(LowResolution)图像中提取高分辨率(HighResolution)图像称为超分辨率(SuperResolution)。LedigC,TheisL,FHuszar,etal.Photo-RealisticSingleImageSuper-ResolutionUsingaGenerativeAdversarialNetwork[C]//IEEEComputerSociety.IEEEComputerSociety,2016.超分辨率图像复原生成对抗网络-SRGANSRGAN的生成器和判别器超分辨率图像复原生成对抗网络-SRGAN

目标函数：损失函数：

目录三一

背景知识二

GAN的基本原理及衍生模型

GAN的应用基于CGAN的深度鲁棒图像水印攻击基于CGAN的深度鲁棒图像水印攻击国家重点研发计划项目申报谢谢！第七章数字图像取证《多媒体信息安全》目录三一

数字图像取证简介二

图像复制-粘贴篡改盲取证技术

图像重采样取证技术四

JPEG压缩取证技术五

基于噪声不一致性的图像取证技术

重捕获图像取证技术六

图像对比度增强取证技术七

DeepFake取证技术八一二

图像复制-粘贴篡改盲取证技术53数字图像取证简介背景与重要性1.图像作为信息载体的重要性

图像比文字更直观，是大众获取信息的重要来源。

数字时代，图像篡改变得简单且普遍，会对社会造成负面影响。2.图像篡改的现状

模拟胶卷相机时代：篡改难度高，真实性少受质疑。

数字时代：智能手机和编辑软件普及，篡改门槛大幅降低。

负面影响：伪造图像可能影响司法公正、损害他人利益。54数字图像取证简介背景与重要性3.图像取证的重要性

图像取证技术用于验证图像来源和内容的真实性。

随着深度学习技术发展，篡改图像更加“以假乱真”，取证技术需不断进步。4.典型案例

华南虎照片事件：2007年陕西省农民拍摄的“野生华南虎”照片被证实为年画翻拍，多名官员受处分。目录三一

数字图像取证简介二

图像复制-粘贴篡改盲取证技术

图像重采样取证技术四

JPEG压缩取证技术五

基于噪声不一致性的图像取证技术

重捕获图像取证技术六

图像对比度增强取证技术七

DeepFake取证技术八一二

图像复制-粘贴篡改盲取证技术56图像复制-粘贴篡改数字图像篡改的类型与示例1.图像篡改的类型

图像拼接篡改：用其他图像的一部分替换目标图像的部分。

复制-粘贴篡改：复制同一图像的局部并粘贴到其他位置。2.复制-粘贴篡改示例

篡改目的：隐藏或修改图像中的目标（如隐藏卡车）。

篡改手段：利用同幅图像的光照、亮度一致性进行操作。

复制-粘贴篡改操作示例57图像复制-粘贴篡改复制-粘贴篡改的分类1.按篡改目的分类

隐蔽性篡改：用其他图像的一部分替换目标图像的部分。

扩完性篡改：复制同一图像的局部并粘贴到其他位置。2.按篡改手段分类

平移：直接移动图像部分。

旋转/尺度变换：调整图像部分的方向或大小。

光照变换：改变图像部分的光照效果。

58图像复制-粘贴篡改

复制-粘贴篡改的分类

复制-粘贴篡改分类示意图59图像复制-粘贴篡改基于篡改目的分类1.隐蔽性复制-粘贴篡改

篡改区域纹理与背景相似，利用平滑背景遮盖不希望存在的目标。

篡改图像背景复杂且位置隐蔽。2.扩充性复制-粘贴篡改

造成假象类复制-粘贴篡改旨在增加图像中目标数量，易造成图像内容的假象。

60图像复制-粘贴篡改基于篡改手段分类1.平移

复制-粘贴篡改最简单的操作，即复制图像区域并平移粘贴到该图像另一区域，其模型如图所示。设复制区域A中任意点坐标为(x,y)，平移后粘贴区域A'中对应点坐标为(x',y')，则复制区域A与粘贴区域A'对应点坐标满足式(7-1)。(7-1)复制-粘贴篡改平移操作模型61图像复制-粘贴篡改基于篡改手段分类2.旋转

在实际应用中，旋转和平移操作同时存在，即复制图像区域，经过旋转后平移粘贴到该图像另一区域，其模型如图所示。设复制区域A中任意点坐标为(x,y)，旋转角度θ后区域A1，平移后粘贴区域A'中对应点坐标为(x',y')，则复制区域A与粘贴区域A'对应点坐标满足式(7-2)。(7-2)

复制-粘贴篡改旋转+平移操作模型62图像复制-粘贴篡改基于篡改手段分类3.尺度变换

与旋转操作类似，尺度变换和平移操作同时存在，即复制图像区域，经过尺度变换后平移粘贴到该图像另一区域，其模型如图7-6所示。设复制区域A中任意点坐标为(x,y)，进行因子为k的尺度变换后区域是A1，平移后粘贴区域A'中对应点坐标为(x',y')，则复制区域A与粘贴区域A'对应点坐标满足式(7-3)。(7-3)复制-粘贴篡改尺度变换+平移操作模型63图像复制-粘贴篡改基于篡改手段分类4.光照变换

光照变换与前面三种操作方式不同，不仅是图像像素位置发生变化，同时也伴随像素值变化。由于同幅图像中光照强度不同，直接复制-粘贴造成的篡改痕迹明显，如图(b)中的路牌，因此，光照变换是隐藏篡改痕迹的重要手段，如图(c)中变暗的路牌。

（a）

（b）

（c）(a)真实图像，(b)复制-粘贴篡改图像，(c)光照变换篡改图像64图像复制-粘贴篡改盲取证技术

由于数字图像复制-粘贴篡改的简单性、有效性及易使用性，吸引了大量篡改者对数字图像的内容进行篡改。然而自然物体纹理多样且复杂，不可能出现纹理信息完全一致的真实物体，复制-粘贴篡改盲取证算法则根据这一原则，寻找图像中纹理完全一致的区域为复制-粘贴篡改区域。

复制-粘贴取证算法应当具有：

①高精度（能够准确识别被篡改区域）；

②低计算复杂度（能够快速得到检测结果）；

③鲁棒性（能够应对旋转、缩放、噪声等攻击）。

65图像复制-粘贴篡改盲取证技术经典复制-粘贴取证算法通用流程

经典复制-粘贴取证算法通用流程，包括预处理、特征提取、特征匹配和后处理四个步骤。复制-粘贴篡改取证传统方法基本流程图66图像复制-粘贴篡改盲取证技术预处理

在预处理阶段，主要是对待检测的图像进行简化预处理，为后续检测工作做准备。其目的是在不改变待检测图像统计特征前提下，使待检测图像的结构更加简单或更加适合检测算法。常见预处理方式有从RGB映射到灰度、HSV（Hue,Saturation，Value）、YCbCr颜色空间，局部二值模式（localbinarypattern，LBP），中值滤波，离散小波变换（discretewavelettransform，DWT），主成分分析（principlecomponentanalysis，PCA）。一般情况下，预处理信息通常会使后续处理更加高效，从而导致更快的检测速度或更高的检测精度。

67图像复制-粘贴篡改盲取证技术特征提取

特征提取是检测篡改的关键步骤，直接影响系统准确性和效率。篡改者可能通过噪声、模糊、旋转等手段隐藏痕迹，同时平滑区域（如白色墙面、蓝天）增加了检测难度。特征提取方案分为两类：

基于图像分块的方案与基于图像特征点的方案

。

数字图像复制-粘贴篡改的特征提取方案68图像复制-粘贴篡改盲取证技术特征匹配

特征匹配旨在寻找原始图像块与复制移动区域的潜在关系。首先，将特征向量组成矩阵，通过字典排序或基数排序使相似向量相邻。实际应用中，常用K-D树、BBF算法及其改进算法g2NN进行快速匹配。此外，还可采用欧氏距离、汉明距离或相关系数等方法衡量向量相似度，初步筛选相似特征向量。

69图像复制-粘贴篡改盲取证技术后处理

后处理通过误差消除算法优化检测结果。特征匹配算法可找出相似特征向量和图像区域，但自然图像中相邻区域的高相似度及平滑区域可能导致误匹配。误差消除算法通过计算相似图像区域的位置距离来筛选结果，若距离足够大，则认为是篡改区域。此外，复制-粘贴区域具有相同的偏移量，当具有相同偏移量的区域对数超过一定数值时，可判定为篡改区域

70图像复制-粘贴篡改盲取证技术

完成以上所有步骤之后，有些方案会选择性的对检测结果做进一步处理。例如图像的形态学运算，包括腐蚀和膨胀，目的是消除一些不连接的细小区域或者使检测结果更连贯。基于特征点的检测方案常使用随机样本一致算法（RandomSampleConsensus，RANSAC）来剔除无效点，保留有效点。

71基于图像块的复制-粘贴篡改取证算法

基于图像分块的取证方案首先采用某个固定大小的滑动窗口将待检测图像分为尺寸相同且不重叠的图像块。再对每个图像块提取特征值并构建其特征向量，用构建的特征向量代替图像块的像素值进行相似性比较，最后检测并定位出篡改区域。合适的特征向量不但能最大程度地代表图像块，而且具有较强的鲁棒性，使得篡改图像在经过后期篡改痕迹隐藏操作之后还能被检测并定位。因此，为图像块提取合适的特征向量对于基于图像分块的取证方法是比较关键的一步。

72基于图像块的复制-粘贴篡改取证算法

基于图像分块的取证方案主要基于以下技术和方法：离散余弦变换DCT、

奇异值分解SVD、离散小波变换DWT、主成分分析PCA、方向梯度直方图（HistogramofOrientationGradient，HOG）、Krawtchouk矩阵、Zernike矩阵、极性复数指数变换矩阵、YCbCr颜色空间、极性复数变换矩阵、一维描述符（1-DDescriptor）、一致性敏感哈希（CoherencySensitiveHashing)、空间和颜色模型等。

73基于图像块的复制-粘贴篡改取证算法基于DCT的复制-粘贴篡改取证方案

众多算法中，提出较早的基于DCT的复制-粘贴篡改取证方案仍是最具有代表性算法之一。DCT通过将图像从空域转换到频域，将能量集中在低频部分，噪声集中在高频部分。在篡改检测中，DCT系数可以作为特征向量，用于相似性匹配，从而定位篡改区域。即使图像经过高斯白噪声、高斯模糊或JPEG压缩等后期处理，DCT方法仍能有效检测篡改区域。因此，基于DCT的算法具有较高的检测准确率和较强的鲁棒性。

基于DCT的复制-粘贴篡改取证算法流程图：

74基于图像块的复制-粘贴篡改取证算法基于DCT的复制-粘贴篡改取证方案1.灰度图像转换：对于一幅N×M的RGB彩色图像，通过标准公式(7-4)转换为灰度图像，其中，R,G和B分别代表RGB三通道，I为转换后的灰度图像。

（7-4）2.图像分块：将灰度图像I划分为

B×B大小的非重叠图像块，共得到（N-B+1）×（M-B+1）个图像子块。3.DCT操作：采用DCT对每个图像块进行特征提取。二维DCT变换如式(7-5)所示：（7-5）75基于图像块的复制-粘贴篡改取证算法基于DCT的复制-粘贴篡改取证方案

其中，f为某一图像块；

为正交系数，使DCT变换为正交矩阵。DCT系数矩阵F的矩阵表示如公式(7-6)所示：其中，

为正交矩阵。

（7-6）76基于图像块的复制-粘贴篡改取证算法基于DCT的复制-粘贴篡改取证方案4.Z字型扫描：对每个块的DCT系数进行Z字型扫描，并重新排列为行向量；将每个块对应的行向量组合，得

到一个

的矩阵。5.字典排序降维：对上一步得到的系数矩阵进行字典排序，得到排序后的矩阵A。此时由于DCT系数个数较多，需要对矩阵A进行降维操作：引入因子

，只保留矩阵A每一行的前

个DCT系数。于是，截断后的矩阵A为

。6.计算邻近向量位移矢量：对A的每一行DCT系数向量

，测试所有满足

的邻近行

，其中Nf是控制邻近行数量的参数用于判断邻近行是否相似。对于满足条件的

和

，计算

（7-7）77基于图像块的复制-粘贴篡改取证算法基于DCT的复制-粘贴篡改取证方案其中

和

，分别代表

和

对应图像块的左上角像素坐标。如果

（Nd是用于控制图像块之间距离的参数），计算位移矢量s并归一化。将该位移矢量的出现频次加1。7.根据位移矢量判断篡改区域：预定义阈值T，如果存在

，这说明存在篡改；反之，判断为图像未被篡改。在一幅N×M的黑色图像中，将满足

的图像块上色，通过开运算消除孤立区域。最后得到的图像中，上色部分为篡改区域。篡改检测结果示例所示。

（7-8）78基于图像块的复制-粘贴篡改取证算法基于DCT的复制-粘贴篡改取证方案

(a)原图(b)篡改图(c)检测结果

79基于特征点的复制-粘贴篡改取证算法

基于特征点的取证方法是在不对待检测图像进行分块的前提下，检测出图像区域中具有较高信息熵的点（特征点或感兴趣点），再对每个点进行描述，最后得到一系列的特征点以及每个特征点的描述向量来进行接下来的相似性匹配。当两个区域包含足够多的相似特征点时，这两个区域可以被认定为篡改区域。基于图像分块的取证方法只能检测一些常规信号处理类攻击，而基于特征点的方法除了可以抵抗噪声及光照改变等信号处理攻击外，还对图像旋转及仿射变换等都具有较好的鲁棒性。

基于特征点取证方案主要有：加速稳健特征、基于多支持区域的梯度直方图、二进制稳健性不变可扩展关键点、双阈值SIFT描述符、Harris角点、SIFT描述符和Zernike矩等。80基于特征点的复制-粘贴篡改取证算法

关于基于特征点取证方案，SIFT是该领域的经典方法，且仍是流行的方法。SIFT匹配计算法具有如下若干适用于篡改检测的特点：

①SIFT点在自然物体表面及纹理区域数量众多，可以避免检测时漏掉篡改区域。

②SIFT点在天空等光滑区域数量很少，避免了检测时将光滑区域误判为篡改区域。

③SIFT特征点的独特性好，特征包含的信息量丰富，可以进行快速、准确的匹配

④SIFT特征具有尺度和旋转不变性，特征点的方向参照和尺度信息可以在检测过程中获得，以SIFT特征点为种子点可以检测出经过尺度和旋转变换的被篡改区域。

⑤SIFT特征对亮度变化保持不变，对中等程度的仿射变换和噪声也具有鲁棒性。81基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法

基于SIFT的复制-粘贴篡改取证算法的流程图如图所示，流程大体可分为SIFT特征点提取、聚类、匹配和篡改区域定位。

基于SIFT的复制-粘贴篡改取证算法流程图82基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法(1)SIFT特征提取:获取SIFT的步骤可由4步组成：建立高斯金字塔尺度空间、建立高斯差分尺度空间（DifferenceofGaussian，DoG）、提取SIFT特征点以及描述SIFT特征向量。1.建立高斯金字塔尺度空间。高斯金字塔尺度空间实质是通过高斯函数对图像进行平滑建立空间层（interval）和降采样建立空间组（octave）。建立空间层作用是对图像进行模糊处理和降噪，如在提取大目标前去除图像琐碎细节、桥接直线或曲线缝隙，保留图像重要信息，减少特征点的提取数量；建立空间组作用是保证图像的尺度不变性。通过公式(7-9)对图像进行高斯平滑，建立高斯尺度空间。其中

是原始图像，

是高斯平滑函数，

为标准差，控制平滑的尺度。（7-9）83基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法高斯尺度空间示意图84基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法2.建立DoG。若直接对DoG提取极值点，容易提取到噪声点。由于每组内高斯尺度空间图像尺寸大小相等，则若将每组相邻的尺度空间相减，即对得到的DoG图像提取极值点，可降低噪声点的提取概率，如公式(7-10)所示。（7-10）85基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法3.提取SIFT特征点。将点与所在DoG图像和上下两层尺度空间和的共26个点比较。若点是极大值或极小值，则将其视为候选特征点，如图所示。为了得到精确地特征点，仍需要去除低对比度点和去除边缘响应点。候选SIFT特征点提取86基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法

去除低对比度点：令X0是DoG空间的一个候选特征点

，

，DoG空间函数

在点

处的泰勒展开为对式(7-11)求导，并令结果为零，得

，将其代入到泰勒展开式(7-11)中，只取前两项，得

。

。若

，则移除该关键点，即

和

之间的像素差值很小，点

周围的像素变化很小，虽是极值点，但仍然去除该对比度低点。（7-11）87基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法

去除边缘响应点：不稳定的边缘点具有较大的主曲率。主曲率可通过Hessian矩阵H求出：

尺度空间函数的主曲率

和H的特征值成反比，设

为H的最大特征值，

为H的最小特征值，则H的

行列式

。令

，则满足式(7-13)和(7-14)。

（7-12）（7-13）（7-14）88基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法设r的阈值为

，若满足式(7-15)，则此点为特征点。

4.确定特征点的方向。设点(x,y)的梯度方向

和模值m(x,y)定义如式(7-16)所示：

其中，

，

。计算特征点1.5σ邻域内所有点的梯度方向和模值，并平均分成10个方向并对各个方向的梯度模值累加，将具有最大模值的方向作为该特征点的主方向。

（7-15）（7-16）89基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法5.建立SIFT特征向量。为了保证旋转不变性，以特征点主方向作为坐标轴进行旋转后，以关键点为中心取16×16大小窗口，分成4×4的子块，统计各块8个梯度方向的大小，形成（16×8）=128维特征向量，如图所示。令提取的SIFT关键点

为及对应特征描述子

。

生成SIFT特征向量90基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法(2)关键点匹配1.计算描述子f1与其他n−1个描述子之间的欧式距离，得到：2.将向量D按从大到小顺序排列得到：如果

，则可以得到与描述子f1匹配的关键点xj（此时描述子f1与xj对应描述子fj为

），将关键点x1与xj分别存入两个集合中。3.对未配对描述子f2~fn重复步骤a、b。

（7-17）（7-18）91基于特征点的复制-粘贴篡改取证算法基于SIFT的复制-粘贴篡改取证算法(3)特征点聚类和篡改定位

采用凝聚式层次聚类算法（AgglomerativeHierarchicalClustering，AHC）将集合中各特征点进行聚类。当发现类中有超过三对匹配特征点则认定为图像可能受到的复制-粘贴攻击区域。篡改检测结果如图所示，其中第一行为篡改图像，第二行为匹配及篡改定位结果。基于SIFT特征点匹配的复制-粘贴篡改取证检测结果图目录三一

数字图像取证简介二

图像复制-粘贴篡改盲取证技术

图像重采样取证技术四

JPEG压缩取证技术五

基于噪声不一致性的图像取证技术

重捕获图像取证技术六

图像对比度增强取证技术七

DeepFake取证技术八一二

图像复制-粘贴篡改盲取证技术93数字图像重采样模型

在数字图像编辑或篡改过程中，往往会涉及到对原始图像进行缩放或旋转等几何变换操作，即重采样操作，以掩盖图像篡改痕迹，使篡改后的图像更自然。因此，数字图像重采样操作检测是数字图像被动取证技术中较为重要的研究内容之一。数字图像

可以看作是由一个2×2的采样矩阵T对二维的连续图像信号

采样后的结果。假设采样矩阵T为单位矩阵I，则为了简化分析，一般不考虑量化过程的影响。对于一个给定的数字图像，当它经历重采样操作时，一般会经过四个步骤，即插值（interpolation）、扭曲（warping）、滤波（prefiltering）和采样（sampling）。（7-19）94数字图像重采样模型插值：当对数字图像进行几何变换操作时，需要通过图像插值算法构造原始图像的连续插值图像，此步骤通过原始图像与插值滤波核函数h(x)做卷积生成连续插值图像信号完成，即根据信号采样定理可得，理想的插值核函数是sinc核函数，然而在实际应用中，sinc插值核函数很难实现。因此，在图像几何操作过程中，往往使用线性插值核函数、双线性插值核函数等代替理想插值核函数。（7-20）95数字图像重采样模型下表总结了常见的插值核函数，为了保证对比的完整性，表中也包括了sinc核函数。96数字图像重采样模型扭曲：插值步骤获得的连续插值图像信号需要根据映射函数进行扭曲操作。本节所讨论的一类仿射变换为，其中A表示2×2的变换矩阵。图像旋转和图像缩放是两种最常见的数字图像几何变换操作，对于图像缩放操作，各向同性比例缩放的变换矩阵形式为其中，R表示数字图像缩放因子。对于图像旋转操作，假设数字图像围绕其中心点顺时针旋转的方向为正，旋转角度为，则图像旋转的变换矩阵的形式为（7-21）（7-22）97数字图像重采样模型滤波和采样：经过反向映射函数映射可得扭曲信号为其中表示的逆。扭曲信号由于经过了反向映射，因此可能含有任意的高频分量，所以通常采用预滤波器使扭曲信号满足其输出的奈奎斯特速率。在放大的情况下，没有高频信号被引入到输出中，因此为了简化分析过程，一般可以忽略预滤波器。为了获得经过几何变换操作后的数字图像，扭曲图像信号需要通过采样矩阵T=I进行采样，最终可得几何操作篡改的图像为（7-23）

（7-24）98数字图像重采样模型

在上述的数字图像重采样过程中，插值过程会在最终获得的数字图像相邻像素之间引入相关性，因此在重采样图像中会含有特殊的周期性痕迹。在重采样图像的高阶统计信号的傅里叶变换频谱中会出现与重采样操作相关的特征峰，不同的插值方法会影响特征峰的峰值，但不会对特征峰的位置造成影响，特征峰的位置仅与重采样因子有关。目前，多数重采样检测算法都是基于此特点进行设计，这种检测算法不仅能够检测重采样操作，同时还能够估计重采样因子。

99重采样操作取证技术Popescu等人发现重采样后的图像像素与相邻像素会因重采样操作产生线性相关性，基于此提出一种基于EM算法的重采样检测技术。该技术本质是构建贝叶斯后验概率模型，估算待检图像中各像素为插值像素点的概率，再用迭代算法让参数达到最佳。具体而言，EM算法在观测数据基础上添加未观测的“潜在数据”，形成“完整数据”，使原观测数据下的后验分布转变成参数在完整数据下的后验分布，得到参数极大似然估计后，检验并改进添加的数据假定，将复杂极大化问题简化。不过，该方法对初始化参数依赖性较强，可能使相同输入出现异常结果，且算法时间复杂度较高。

100重采样操作取证技术令

为待插值图像像素值，则

可以表示成其2N邻域内像素值线性加权与估计残差

的和的形式：其中，

恒为0，估计残差

服从

正态分布。EM算法分成Expectation（E）和Maximization（M）两部分。

（7-25）101重采样操作取证技术1.Expectation步骤：使用M1和M2分别表示通过插值得到的图像像素和原始的图像像素两种情况，由贝叶斯公式可以得到

的后验概率为：其中，先验概率

和

设置为0.5，

服从均值为

、方差为

的正态分布，

服从

最大值和最小值之间的均匀分布，

和

为待估计量。

（7-26）102重采样操作取证技术2.Maximization步骤：

残留误差

的方差

实际上是残留误差的加权平均：其中，为了便于表达，令

。利用均方误差最小准则，估计新的

。均方误差计算公式为

（7-27）（7-28）103重采样操作取证技术沿着

的方向求梯度，使之为0，可得其中，Y为由

邻域组成的邻域矩阵，W为由

组成的对角矩阵。当

收敛后，迭代结束。通过最终得到的

，构造待检测图像中像素点为插值点的概率图。如果图像经过重采样操作，则在概率图的二维Fourier幅度谱中出现明显的亮点，即存在某种周期性。

（7-29）104重采样操作取证技术

不同倍率放大图像后的检测结果如图所示，其中每一种情况自左至右的三幅图像分别为待测图像、概率图和相应的幅度谱图。在不考虑噪声的情况下，上述算法能够较好检测出缩放和旋转操作，但是只能定性而不能定量判断重采样操作参数，此外EM迭代算法对初值设置的选择过于依赖，算法的收敛性没有得到严格证明。

基于EM的重采样检测结果105重采样因子估计技术

缩放操作是最常见的几何操作，常见于篡改图像后，调整篡改区域的大小适配图像内容。缩放因子估计是重采样操作取证的另一个重要方向，可以较为准确地估计出图像的缩放因子。

106重采样因子估计技术1.基于差分周期特性的重采样缩放因子估计算法Gallagher等人从重采样图像建模出发，发现重采样图像的二阶差分统计方差具有周期性，且重采样因子与方差周期呈线性关系。通过离散傅立叶变换，可发现图像频谱中存在与重采样因子相关的谐波峰值，进而判断图像是否重采样并估计重采样因子。基于差分周期特性的重采样检测算法最大优势是能定量估计出重采样因子。检测算法的流程图如图所示。

基于差分周期特性的重采样检测算法流程图107重采样因子估计技术

为了简化计算，采用沿列计算每个像素点二阶差分绝对值期望来代替沿列计算每个像素点二阶差分的统计方差。假设输入图像为

，

且

，其中R和C分别表示待检测图像的行数和列数。对于每一行的二阶差分可以由下式计算得出：对信号

的每行求平均，可得近似方差信号

：

（7-30）（7-31）108重采样因子估计技术对

做离散傅里叶变换DFT，其周期性可以通过检测

的峰值来判断，假设峰值处对应的频率为

，则由于混叠的影响，估计重采样因子的过程中频谱中的一个峰值频率

会对应两个可能的重采样因子

，即

（7-32）（7-33）109重采样因子估计技术2.基于差分周期特性的图像旋转角度估计算法

Wei等人研究发现图像频谱提取操作顺序不同，可使重采样峰值特征更明显，进而区分图像旋转与缩放操作，并提出了包含这两种操作的二次几何变换操作链估计方法。该方法将旋转看作特殊缩放操作，结合旋转角度估计与特定缩放因子，通过频谱峰值与缩放因子关系推导出旋转角度。同时，利用不同频谱提取顺序突出重采样峰值特征，进一步区分旋转和缩放操作，并基于此提出了只含旋转和缩放的二次几何变换操作链恢复算法。

110重采样因子估计技术2.基于差分周期特性的图像旋转角度估计算法

图像围绕其中心旋转的坐标变换关系为：其中，

和

分别表示对应像素点旋转前后的坐标。

表示旋转角度，规定逆时针方向旋转时为正。假定

，则由上式可得：

（7-34）（7-35）111重采样因子估计技术

可认为图像旋转操作导致图像在水平方向产生倍率为

的缩放。对旋转角度

后的图像先使用拉普拉斯算子与图像进行卷积得到差分图像，再逐行计算差分图像的DFT。

在

到的范围内，可得峰值频率

与转角

的关系为

（7-36）112重采样因子估计技术

以此类推，假定

，则

即旋转前垂直方向投影到旋转后水平方向的缩放倍率为

，同理可得峰值频率

与转角

的关系为：

（7-37）（7-38）113重采样因子估计技术假设待估计旋转角度的图像大小为M×N，旋转角度盲估计的具体步骤如下：①初始化。令峰值计数器的初始值

，

。②计算差分图像。使用拉普拉斯算子L对图像进行卷积得到差分图像E，即

。③峰值计数。对差分图像E逐行处理，假设第m行为

，

，求其DFT，记为

。若

为其邻域

，

内的最大值则更新峰值计数器，即

。该方法根据实验确定

值为5。将各行的

取平均，得到水平方向的平均频谱幅度

。④峰值检测。将

归一化得到频率-峰值计数图，由于频谱对称，仅需在一半的范围内查找局部峰值，得到候选的全局峰值及对应频率集合

。候选峰值的条件是其值与邻域中值之比大于阈值T。若集合为空则判定图像没有经过旋转。⑤计算旋转角度。上一步中估计到的候选峰值可能有多个，取其中最大的两个候选峰值。若只有一个候选峰值则规定另一个候选峰值对应的频率为零。由公式可计算得到估计的旋转角度。114重采样因子估计技术连续缩放和旋转处理的过程检测，根据不同的处理顺序分为了四种情况：①二次缩放：假设第一次缩放倍率为R1，第二次缩放倍率为R2，则两次插值的混合频率为

和

。②旋转后缩放：假设图像旋转角度为

，缩放倍率为R，则旋转并缩放后的混合频率为

和

。③缩放后旋转：假设缩放倍率为R旋转角度为

，则缩放后旋转的混合频率为

、

和

。④二次旋转：假设第一次旋转角度为

，第二次旋转角度为

，两次旋转后的混合频率为

和

。目录三一

数字图像取证简介二

图像复制-粘贴篡改盲取证技术

图像重采样取证技术四

JPEG压缩取证技术五

基于噪声不一致性的图像取证技术

重捕获图像取证技术六

图像对比度增强取证技术七

DeepFake取证技术八一二

图像复制-粘贴篡改盲取证技术116JPEG压缩和取证JPEG压缩技术简介JPEG是1986年成立的联合图像专家组的缩写，1992年正式通过成为国际数字图像压缩标准，被命名为“ISO10918-1”。JPEG图像文件扩展名为“.jpg”或“.jpeg”，主要用于存储亮度信息的变化。

最常用的压缩模式是有损压缩，去除图像冗余信息和彩色信道数据，能实现高压缩比且保持图像丰富生动，占用空间小且质量高，还可根据需要调节图像质量，用不同压缩比压缩图像。117JPEG压缩和取证JPEG压缩技术意义

相机型号、编辑软件识别

：JPEG文件头中的量化表具有独特性，不同相机厂商和编辑软件自行设计量化表，通过估计量化表可推断拍摄相机品牌型号或所经历的软件处理。

图像篡改检测和定位

：JPEG压缩痕迹是关键线索。修改图像局部会破坏其压缩痕迹，复制拼接不同压缩参数图像会导致拼接图像局部压缩参数不一致等情况，通过检测各个局部压缩痕迹是否一致可发现并定位篡改区域。

隐写分析

：JPEG压缩痕迹会对隐写分析造成干扰，而JPEG压缩取证技术可估计压缩参数，据此选择对应检测器进行分类判决，减轻干扰，提升隐写分析精度。

去块效应

：重度JPEG压缩会导致8×8分块灰度趋同和相邻分块边界处像素值明显跃变，出现块效应。JPEG压缩取证技术可估计压缩参数，帮助块效应滤波器调整滤波策略和强度，抑制块效应，改善图像感知质量。118JPEG位图图像取证

多数具备摄影功能的相机或手机均默认采用JPEG格式输出，这意味着网络上大量位图可能由JPEG图像转换格式后得到。当JPEG图像解压缩后转存为位图，原先保存在JPEG文件头中的量化表信息将随之丢失。JPEG解压位图取证的目的是检测位图是否经历过JPEG压缩。同时如果由JPEG转为位图，可进一步估计压缩量化表参数。JPEG位图取证包含两个任务，一是检测位图是否经历JPEG压缩，二是估计解压位图的压缩参数，即量化步长。119JPEG位图图像取证

Fu等人提出利用Benford定律检测位图压缩历史的方法。正常JPEG系数的首位有效数字符合广义Benford定律分布。通过将待测位图压缩为质量因数QF=100的JPEG图像，若其系数首位有效数字满足Benford定律，则未经过JPEG压缩；否则，经过了JPEG压缩。下图展示了UCID数据集中所有图像JPEG系数第一位有效数字分布与广义BenFord定律分布的比较。JPEG系数第一位有效数字分布120JPEG位图图像取证

Yao等人提出一种经历过JPEG压缩并保存为位图格式图像的量化步长估计方法。实际情况中，高频带的量化步长的数值远大于低频带和中频带的量化步长。因此高频带的量化DCT系数通常为零。高频带的量化步长难以估计。因此，该方法主要考虑在直流、低频和中频频带的15个频带的量化步长估计问题，如图所示。8×8DCT系数块的频带分类121JPEG位图图像取证

为方便表达，把需要估计的低频频带和中频频带称为交流频带，并且频带(i,j)处的估计的量化步长值表示为

。值得注意的是，方法中提到的DCT系数是取整后的系数，即

其中，

表示频带(i,j)处的取整DCT系数，

表示8×8块中坐标(u,v)的像素值。对于每个频带而言，无论是交流频带还是直流频带，估计

的过程可分为三个步骤：（1）判定

是否为1，（2）如果

不为1，则进一步

判定是否为2，（3）如果

不为1或者2，则进一步估计

。

（7-39）122JPEG位图图像取证估计量化步长的流程图

国家重点研发计划项目申报123JPEG重压缩取证JPEG作为最常用的图像格式，广泛应用于网络、社交媒体和数字媒体。其易编辑性导致篡改风险增加，图像真实性面临挑战。多次JPEG压缩会在图像中留下独特痕迹。这些痕迹可用于检测图像是否被篡改。研究意义：为数字取证提供可靠技术手段。保障图像在法律、新闻等领域的可信度。通常情况下获得的图像多数为JPEG格式保存。文件中只保存了最后一次的JPEG压缩的量化步长，但是无法确保图像是否经过多次的JPEG压缩，JPEG重压缩取证的重要任务就是估计JPEG图像前次量化步长。根据两次JPEG压缩的分块是否对齐，可将其分为网格对齐的重压缩取证和网格不对齐的重压缩取证。国家重点研发计划项目申报124网格对齐的双重压缩取证JPEGGhos