《多媒体信息安全》课件 第2章 鲁棒水印

《多媒体信息安全》第2章鲁棒水印目录三一鲁棒图像水印简介二鲁棒图像水印算法抗打印-拍照的图像水印技术四抗屏摄的图像水印技术鲁棒图像水印简介图像水印

数字图像水印，作为一种将信息嵌入到图像中的技术，可以用于版权保护、隐蔽通信、追踪溯源等领域。利用数字载体中的数据冗余性，将信息嵌入到数字载体中。一般地，数字图像水印是指人眼无法直接看到信息内容的不可见水印，但是一旦需要，则可以从图像中提取。鲁棒图像水印简介常见攻击

鲁棒图像水印，就是能够抵抗攻击的水印方法，即经过一种或多种攻击后，水印信息仍然能够检测或恢复，噪声攻击：常用的图像处理操作，如加噪、模/数、数/模转换，重采样、重量化或某种信号（图像的亮度、对比度）的增强等同步攻击：水印各比特之间的位置发生错乱，使得水印检测十分困难。最典型的方法为几何变换，如图像的旋转、缩放和剪切等。共谋攻击：利用同一原始多媒体数据的不同水印版本，来生成一个近似的多媒体数据，以此来逼近和恢复原始数据，其目的是使检测系统无法在这一近似的数据中检测出水印信号的存在，其最简单的一种实现方法就是平均法。欺骗攻击：设原始图像为I，加入水印W的图像为I'=I+W，攻击时，攻击者首先生成自己的水印W'，然后创建一个伪造的原图I''=I'-W'，也即I'=I''+W'，此后，攻击者可声称他拥有I'的版权，因为攻击者可利用其伪造原图I''从I'中检测出其水印W'，但原作者也能利用原图从水印图像I'中检测出其水印W。目录三一鲁棒图像水印简介二鲁棒图像水印算法抗打印-拍照的图像水印技术四抗屏摄的图像水印技术基于传统方法的鲁棒数字水印奇异值分解（SingularValueDecomposition，SVD）在图像处理中具有两个主要特性。首先，图像的奇异值稳定性比较好，在图像受到轻微扰动的时候不会发生明显变化；其次，奇异值表现的是图像的内蕴特性，反映了矩阵元素之间的关系。在对含水印图像进行几何攻击时，水印的提取过程常常会受到影响。然而，根据奇异值的特性，将奇异值分解应用到水印的嵌入和提取过程中，可以使含水印图像在面对几何攻击时具有更好的鲁棒性。基于SVD的水印算法是将图像矩阵进行奇异值分解，并将水印嵌入到分解的奇异值中。基于SVD的鲁棒图像数字水印算法基于传统方法的鲁棒数字水印DCT是一种关于实数的正交变换。它通过对傅里叶变换级数中的实偶数函数展开并进行离散化，从而得到一种只包含余弦项的结果。因此，将离散化后的傅里叶变换称之为离散余弦变换。基于DCT域的鲁棒水印算法的一般流程如下：首先对图像进行二维DCT变换；然后通过调整选定频率段的系数来嵌入水印信息；最后通过二维DCT逆变换生成含水印的图像。一般来说，图像的低频段包含了较多的图像信息，同时也是人类视觉系统敏感的频段；而图像的高频段则包含较少的图像信息，主要表达图像的细节，但容易受到噪声、压缩等操作的影响。因此，在嵌入水印时一般选取中频作为嵌入位置。这样的选择考虑了水印的鲁棒性和不可感知性之间的平衡，从而在实现水印安全性的同时保持含水印图像的视觉质量。基于DCT域的鲁棒图像数字水印算法基于传统方法的鲁棒数字水印图1和图2分别是对原始图像进行DCT域全局变换算法（扩频方式嵌入水印）和DCT域分块变换算法（抖动量化方式嵌入水印）的仿真示例。其中，DCT域全局变换算法示例中是将1000个伪随机序列作为水印信息嵌入到256×256像素的原始图像中；DCT域分块变换算法使用抖动量化的方式将大小为32×32像素的二值水印图像嵌入到256×256像素的原始图像中。从图中可以看到含水印图像与原始图像在视觉上几乎没有差别，且差值图像无意义，因此该算法在鲁棒性、安全性和不可感知性之间均具有较好的表现。基于DCT域的鲁棒图像数字水印算法图1DCT域全局变换算法示例原始图像

(b)含水印图像(c)差值图像图2DCT域全局变换算法示例原始图像

(b)含水印图像(c)差值图像基于深度学习的鲁棒数字水印深度神经网络可以学习使用人眼难以察觉的扰动来编码有用的信息，从而实现数据隐藏的目的。其网络结构通常由编码器和解码器构成。给定输入的水印信息和原始图像，编码器能够生成一个在视觉上无法与原始图像区分的编码图像，而解码器则可以从这个编码图像中恢复出原始图像。这种编码方式对噪声具有鲁棒性，因此模型可以在编码图像中重建隐藏的信息。此外，深度神经网络对输入图像的微小扰动非常敏感，容易受到对抗样本的影响。对抗样本是通过在图像上添加微小的扰动来破坏其在各种神经网络分类任务中的准确性。尽管对抗样本通常被认为是神经网络的弱点，但实际上它们也可以用于数据隐藏：如果一个网络能被微小扰动所欺骗并做出错误的类别预测，那么它也应该能够从这些微小的扰动中提取出有用的信息。基于SVD的鲁棒图像数字水印算法基于深度学习的鲁棒数字水印HiDDeN是JirenZhu等人于2018年提出的一种用于信息隐藏和数字水印的端到端框架。传统的隐写术方法通常需要手动设计特定的隐藏算法和嵌入技术，而HiDDeN则采用了深度神经网络进行自动编码和隐藏。HiDDeN包括3个子网络：编码网络，用于接收原始图像和水印信息（编码成比特串），输出编码图像；解码网络，用于接收编码图像并且试图重建信息；对抗网络，用于判断给定的图像是否包含水印信息。在实际应用中，编码图像在传输过程中会产生失真，为了模拟这种情况，在编码器和解码器之间引入可微分的噪声层，且该噪声层集成了不同的图像变换。HiDDeN水印框架实验结论：通过模拟JPEG可导噪声层，整个框架能实现端到端的训练，且能有效的同时优化含水印图像的透明性和对应失真的鲁棒性。ZhuJ,KaplanR,JohnsonJ,etal.“Hidden:Hidingdatawithdeepnetworks,”ECCV,2018.基于深度学习的鲁棒数字水印创新点真实JPEG压缩不可导，HiDDeN使用了一个可导操作模拟JPEG压缩过程，将该过程作为噪声层加入训练实现对JPEG压缩的鲁棒性。HiDDeN局限模拟过程仍然与真实JPEG压缩过程有一定差异，导致使用模拟噪声层训练的网络对真实JPEG压缩的鲁棒性不强。关键问题真实JPEG压缩不可导，模拟JPEG过程可导但不够精确，如何有效地将真实失真引入训练过程同时保证梯度的优化？基于深度学习的鲁棒数字水印HiDDeN的局限性鲁棒可逆信息隐藏研究内容鲁棒可逆信息隐藏就是在可逆信息隐藏的基础上嵌入的信息具有鲁棒性，即当含密载体没有受到其他信号处理时，接收端能够无损提取水印并且能恢复原始载体；但是当含密载体遭到一定程度的信号处理，比如JPEG压缩、滤波、高斯噪声、几何变换等时，接收端仍然能够有效地提取水印，但是原始载体不能被恢复出来。原始图像水印标记图像信息（水印）未受攻击的水印标记图像受攻击的水印标记图像原始图像水印水印鲁棒可逆信息隐藏算法鲁棒可逆信息隐藏应用场景数据完整性认证01030204隐蔽通信数字多媒体版权保护证件防伪、真伪鉴别鲁棒可逆信息隐藏研究方法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法基于神经网络的鲁棒可逆信息隐藏算法010203鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法嵌入步骤如下所示：1、先将图像分块，再将图像块中的像素随机划分为大小相等的两个区域A和B，每个区域的直方图被映射到一个圆上，圆上的位置是灰度值，而位置的权重是假设相应灰度值的像素数量；DeVleeschouwer等人提出了一种基于双映射的循环实现的鲁棒可逆水印算法鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法2、向量是从圆心指向区域A和B的质心，通过调整两个质心之间的夹角实现水印的嵌入。向量a顺时针转嵌0，逆时针转嵌1；向量b顺时针转嵌1，逆时针转嵌0。这些旋转就相当于直方图的移位。提取水印过程：首先像嵌入的时候，把标记图像分块以及区域A和B，然后同样是将区域的直方图映射到圆上面。对于两个区域，将它们的质心位置都计算出来。用V表示两个向量之间方向角度的差值，V的符号提供了嵌入过程中旋转方向的信息。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法为了避免在嵌水印的过程中引入椒盐噪声，Ni等人提出一种空域统计量直方图平移的鲁棒可逆水印算法。嵌入过程如下所示：1、首先将图像分为互不重叠的相同大小的图像块，对每个块中的像素再分为两组A和B，然后计算分块的差分统计量𝛼

鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法2、根统计量的取值进行4个不同策略的平移以嵌入水印。有溢出时会引入错误比特，需要利用ECC来纠正错误比特。该算法实现了对JPEG/JPEG2000以及高斯噪声的鲁棒性，但是由于嵌入水印后的图像块像素分布存在重叠，在提取和恢复原始载体的时候会发生错误。当差值α在-K和K之间时，嵌入0；当α超过-K和K的范围时，嵌入1。（其中K是指定阈值，一般小于5）鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法受Ni等人的启发，Zou等人提出了一种基于小波域的中频子带均值直方图的鲁棒可逆水印算法。在小波域中，高频子带的系数具有零均值和类似拉普拉斯的分布。嵌入过程如下所示：1、先对原始图像进行小波变换，再将HL或LH子带分成N*N的不重叠块；2、再计算每个块的小波系数的均值，将此均值作为嵌入信息的统计量；3、通过平移统计量直方图来嵌入水印，平移规则需要根据小波域所在的系数块对应的空域图像块的类型来确定。嵌入过程因为溢出问题也会引入错误比特，因此需要利用ECC来纠正错误比特，该算法实现了对JPEG2000以及高斯噪声的鲁棒性。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法Gao等人在Ni等人提出的鲁棒可逆水印算法的基础上进行了改进，使得所提出的算法在提取水印的过程中不再需要ECC来纠正错误比特。主要嵌入思想：通过对载体图像进行分析，找出会产生溢出的图像块，嵌入过程中跳过会产生溢出的分块，避免在嵌水印的过程中引入错误比特。对于溢出问题，记录会产生溢出的图像块的位置，将位置和相关的参数作为辅助信息传送给接收端以实现可逆。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法

鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法3、平移直方图，扩展区域进行信息嵌入；4、在扩展区域进行水印信息的嵌入。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法An等人提出了一种小波域直方图统计量移位和聚类的鲁棒可逆水印算法。嵌入过程如下所示：1、先使用属性优秀像素调节法（PIPA）对图像进行预处理以防止溢出；2、对预处理之后的图像进行整数小波变换，再对中频子带进行分块，分为互不重叠的大小为h*w的系数块；3、计算这些块的小波系数的平均值；4、平移统计量来嵌入水印。

鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法Coltuc等人提出了另一种鲁棒可逆水印算法的框架，即两阶段嵌入框架，在利用该框架进行水印嵌入时选用的鲁棒水印算法和可逆水印算法不局限于特定的算法。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法嵌入过程如下所示：第一阶段：1、将原始图像X进行分块，对每个块使用DCT变换，从被转换的块中选择两个中频带系数来嵌入水印比特，嵌入水印之后的DCT系数也就是过渡图像Y的DCT系数；2、通过DCT反变换得到过渡图像Y；鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法第二阶段：1、计算差值图像M=X-Y，先将差值图像进行无损压缩；2、使用差值扩展的可逆水印算法将M嵌入到过渡图像Y中，得到最后的水印标记图像Z。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法提取水印和恢复原始图像：1、对水印标记图像的每个像素对，根据前面的公式提取嵌入的差值图像数据m；2、恢复过渡图像Y；3、将过渡图像分块，对每个块用DCT来变换，通过DCT的系数对来提取嵌入的水印，得到原始图像X=M+Y。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法嵌入过程如下：使用哈尔小波变换将原始图像分解为高频图像和低频图像；第一阶段：1、将低频图像分为不重叠的块，将块分为两个部分，使用patchwork算法将水印比特嵌入原始图像中；Wang等人对Coltuc提出的两阶段框架进行了改进，提出基于独立嵌入域的两阶段算法鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法第二阶段：1、将阈值、原始差值、以及上溢/下溢像素的位置作为辅助信息；2、使用直方图平移算法在高频图像中嵌入辅助信息；鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法提取水印信息和恢复原始图像：1、提取嵌入的辅助信息；2、恢复高频图像；3、提取嵌入的水印信息；4、恢复低频图像；鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法5、根据哈尔小波逆变换得到原始图像。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法基于神经网络的鲁棒可逆信息隐藏算法我们是在HiDDeN网络框架的基础上进行了改进，使用两阶段嵌入模式，利用神经网络和可逆水印算法得到最后的水印标记图像。主要思想：1、第一阶段将水印信息通过卷积神经网络嵌入进原始图像中，并且得到具有鲁棒性的鲁棒水印过渡图像；2、第二阶段再利用可逆水印算法将第一阶段得到的鲁棒水印图像与原始图像的差值作为辅助信息嵌入进鲁棒水印图像中，得到最后的水印标记图像。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法基于神经网络的鲁棒可逆信息隐藏算法A、第一阶段使用HiDDeN神经网络框架进行水印嵌入编码器网络接收原始图像和水印信息，输出编码图像。解码器网络接收嵌入水印信息之后的编码图像，输出嵌入的水印信息。鲁棒可逆信息隐藏算法基于直方图平移的鲁棒可逆信息隐藏算法基于两阶段嵌入的鲁棒可逆信息隐藏算法基于神经网络的鲁棒可逆信息隐藏算法B、第二阶段使用预测误差扩展可逆水印算法进行辅助信息嵌入为了恢复原始图像，需要采用可逆水印算法嵌入可以恢复出原始图像的辅助信息。我们这里采用了Thodi等人提出的嵌入容量较大的预测误差扩展算法。目录三一鲁棒图像水印简介二鲁棒图像水印算法抗打印-拍照的图像水印技术四抗屏摄的图像水印技术抗打印拍摄的鲁棒图像水印

原始的水印信息通常是网址或者一串加密数字，经过预处理编码后变为二进制码流，在水印嵌入步骤与载体图像通过嵌入算法融合，生成带有水印信息的数字图像。该图像经过打印机打印后，由纸质媒体进行传播，摄像机重新拍摄成像，期间经历两次数模转换。最后由提取算法将水印信息从拍摄后的水印图像中提取出。主流程抗打印拍摄的鲁棒图像水印常见噪声数转模、模转数不均匀采样和量化色域转换像素失真仿射畸变画面旋转缩放光照变化抗打印拍摄的鲁棒图像水印传统方法Nakamura,T.,Katayama,A.,Yamamuro,M.,&Sonehara,N.(2004).

Fastwatermarkdetectionschemeforcamera-equippedcellularphone.Proceedingsofthe3rdInternationalConferenceonMobileandUbiquitousMultimedia-MUM’04.

doi:10.1145/1052380.1052395水印嵌入加上定位框经过打印拍摄过程（D/A->A/D）使用定位框进行定位修正水印提取抗打印拍摄的鲁棒图像水印传统方法1.纠错编码：生成n位信息2.扩频调制原始信息

扩容：

直接序列扩频调制伪随机序列伪随机位置打乱DS-SS：提高鲁棒性抗打印拍摄的鲁棒图像水印传统方法3.2D模版调制分块：NXN4.水印与载体图像融合抗打印拍摄的鲁棒图像水印传统方法1.定位矫正2.预处理滤波：图像被分为NXN块对目标图像进行归一化，可以减少原始图像对水印信号的影响，增加水印的鲁棒性水印图像频域能量3.2D分块解码方向变量（定位）方向变量（定位）基本思想：找出哪个标志在块中被优越地嵌入，并衡量其优越性的程度。检测值dh,v的符号与嵌入序列元素ti(i=h+vN)的符号完全匹配，绝对值|dh,v|一般会变大。可以通过判断每一块的dh,v来提取每一块携带的1bit信息。抗打印拍摄的鲁棒图像水印传统方法4.扩频解调经过步骤3，得到了一个从块信息中提取的序列{gi}，嵌入时使用的打乱矩阵Oi，打乱前：解调（扩频调制后的原始信息）5.纠错解码抗打印拍摄的鲁棒图像水印深度方法M.Tancik,B.Mildenhall,andR.Ng,“Stegastamp:Invisiblehyperlinksinphysicalphotographs,”inProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,2020,pp.2117–2126.StegaStamp首次提出了基于深度学习方法的端到端抗打印拍摄水印算法，模型有四个部分组成：嵌入网络、噪声模拟网络、提取网络和用于判断图像是否含有水印的GAN网络组成。抗打印拍摄的鲁棒图像水印深度方法嵌入网络

嵌入网络的设计来源于U-Net网络，一种对全卷积神经网络的改进算法，它可以在较小的数据集上对图像的边缘进行训练，达成识别和分割任务，StegaStamp正是利用了这个特性，将生成的附加水印信息与分割图像结合，以求降低嵌入水印后的图像失真。该网络的输入为4×400×400像素的图像（输入图像RGB通道加一个用于消息的通道）并输出三通道RGB残差图像。输入消息表示为100位二进制字符串，通过全连接层处理形成50×50×3张量，然后上采样产生400×400×3张量。他们发现将这种预处理应用于消息有助于收敛。抗打印拍摄的鲁棒图像水印深度方法噪声模拟网络透视变换：把一个图像投影到一个新的视平面的过程原图：变换后：变换矩阵：剩余像素映射：Iw抗打印拍摄的鲁棒图像水印深度方法噪声模拟网络随即离散噪声：采用高斯噪声（Ng）模型，并使用标准偏差γ~U[0,0.03]计算成像噪声。色域噪声：1.色相调整：为每个色彩域加上随机的空间域补偿。色彩补偿由随机范围设定在-0.1到0.1之间的参数乘上Id的RGB分量生成，记为Ih。2.亮度调整：Ibr=Id·m+b3.饱和度变化：首先将图像从RGB色域转换到YUV色域，并且选择Y分量作为图像亮度的参考值，标记为Iy,之后使用线性公式组合原图与Y分量。抗打印拍摄的鲁棒图像水印深度方法噪声模拟网络JPEG压缩：通过在图像的每个8×8块上计算离散余弦变换（DCT），并舍入到最接近的整数来量化实现的。StegaStamp利用分段函数近似量化步长为零：抗打印拍摄的鲁棒图像水印深度方法提取网络

空间变换网络（SpatialTransformerNetworks），根据输入的图像以及提取的特征值，学习该图像的空间变换参数，可以使水印提取层对真实环境下的形变鲁棒性增强。STN的输入是由一个线性层控制输出的6个参数，根据这6个参数，STN会将图像进行仿射变换，修正形变。抗打印拍摄的鲁棒图像水印深度方法鉴别网络主要作用：区分带有水印的图像和不带水印的图像本质：对处理的图像进行特征提取和降低维度，最终输出一个二进制数，指示该图像是否含有水印信息依照此特点，通常先使用卷积层对输入图像进行特征提取，并且逐步降低中间层的大小，最后使用全连接层连接池化后的中间层，输出单一的值，再对该数值使用二分函数，将其归为0或1。抗打印拍摄的鲁棒图像水印深度方法损失函数抗打印拍摄的鲁棒图像水印主流程

屏幕拍摄，就是将数字图像经由显示器显示，利用数字媒体作为载体进行传播，然后使用摄像头拍摄显示出来的数字图像的过程。屏幕是发送者，摄像头是接收者。抗打印拍摄的鲁棒图像水印常见噪声透视变换：在屏幕拍摄过程中，任意细小的抖动都会导致拍摄的图像发生形变，这一类噪声在屏幕拍摄过程中无法避免。运动模糊噪声：打印拍摄过程中，相机运动和不正确的自动对焦都可能导致模糊。JPEG压缩：如今在储存图像数据的时候，JPEG是经常被用到的图像压缩格式。色域变化：在不同的显示设备上，色彩是不尽相同的，同时摄像机在采集成像过程中，也会产生一系列的色彩失真。摩尔纹：用数码相机拍摄景物中，如果有密纹的纹理，常常会出现莫名其妙的水波样条纹，即感光元件CCD（CMOS）像素的空间频率与影像中条纹的空间频率接近，就会产生摩尔纹。目录三一鲁棒图像水印简介二鲁棒图像水印算法抗打印-拍照的图像水印技术四抗屏摄的图像水印技术抗屏幕拍摄的鲁棒图像水印主流程

屏幕拍摄，就是将数字图像经由显示器显示，利用数字媒体作为载体进行传播，然后使用摄像头拍摄显示出来的数字图像的过程。屏幕是发送者，摄像头是接收者。抗屏幕拍摄的鲁棒图像水印常见噪声透视变换：在屏幕拍摄过程中，任意细小的抖动都会导致拍摄的图像发生形变，这一类噪声在屏幕拍摄过程中无法避免。运动模糊噪声：打印拍摄过程中，相机运动和不正确的自动对焦都可能导致模糊。JPEG压缩：如今在储存图像数据的时候，JPEG是经常被用到的图像压缩格式。色域变化：在不同的显示设备上，色彩是不尽相同的，同时摄像机在采集成像过程中，也会产生一系列的色彩失真。摩尔纹：用数码相机拍摄景物中，如果有密纹的纹理，常常会出现莫名其妙的水波样条纹，即感