第7章 视频图像水印技术

1、第第7 7章章 视频图像水印技术视频图像水印技术 第第7章章 视频图像水印技术视频图像水印技术 7.1 视频水印的介绍视频水印的介绍 7.2 视频水印技术的发展与应用视频水印技术的发展与应用 7.3 视频水印的主要特征视频水印的主要特征 7.4 视频水印的模型视频水印的模型 7.5 视频水印的分类视频水印的分类 7.6 MPEG压缩视频标准简要介绍压缩视频标准简要介绍 7.7 视频水印的嵌入和提取视频水印的嵌入和提取 7.8 小结小结 第第7 7章章 视频图像水印技术视频图像水印技术 7.1 视频水印的介绍视频水印的介绍 视频水印顾名思义就是加载在数字视频上的水印， 其目的主要是对数字视频作品

2、进行版权保护， 从而确保版权所有者的合法利益。 在现实生活中， 数字视频(如VCD、 DVD、 VOD)已成为大众生活中不可或缺的娱乐方式， 而相应的版权保护技术尚未发展成熟， 这就使得以数字水印为重要组成部分的数字产品版权保护技术的应用研究更为迫切。 第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 1 数字视频水印在VOD中的应用 视频服务器(广播，点播，销售)MPEG-2视频序列传输加入水印用户2用户1用户 NMPEG-2解码电视水印提取授权验证第第7 7章章 视频图像水印技术视频图像水印技术 视频水印同样也可以用于军事保密或商业保密， 这属于信息隐藏的范畴。 一般情况下，

3、为了保护国家的安全利益， 政府部门都对公民传递秘密载体进行限制。 但发送者为了逃避这种限制， 就可以把秘密信息(如软件、 图像、 数据、 文本、 音频、 视频)嵌入到公开的视频中， 只有合伙人才能根据事先约定的密钥和算法提取出隐藏的信息， 而其他人(第三方)无法觉察到隐藏的水印， 从而实现秘密信息的安全传输。 第第7 7章章 视频图像水印技术视频图像水印技术 7.2 视频水印技术的发展与应用视频水印技术的发展与应用 视频水印的发展基本上是与图像水印的发展同步的， 从提出图像水印概念开始， 视频水印概念也随之提出， 随着近几年来DVD等视频产品的迅速普及， 反而对视频水印产品的要求更为迫切。 第

4、第7 7章章 视频图像水印技术视频图像水印技术 视频水印研究是水印技术研究方向的一个热点， 随着网络多媒体的快速发展， 数字视频产品(如VCD、 DVD、 VOD)变得越来越普及， 几乎将要渗透到每个家庭， 使得以数字水印为重要组成部分的数字产品版权保护技术的市场需求更加迫切。 第第7 7章章 视频图像水印技术视频图像水印技术 数字视频源数据一般都被压缩为MPEG-1和MPEG-2后才用来存储和传播的， 比如运用到DVD和VOD系统上。 为了防止盗版和侵权， 可以在以上系统中采用数字水印技术， 条件是数字视频水印必须能够抵抗包括MPEG压缩在内的各种攻击。 第第7 7章章 视频图像水印技术视频

5、图像水印技术 7.3 视频水印的主要特征视频水印的主要特征 由于数字视频是连续播放的， 相邻画面之间内容有高度的相关性， 并且还存在动态编解码的过程。 因此视频水印与图像水印在某些要求上有明显的不同， 它还有一些图像水印不具备的特征， 但总的特征可以概括为： 第第7 7章章 视频图像水印技术视频图像水印技术 (1) 安全性： 即水印被嵌入视频后， 非授权人不能将其删除掉。 (2) 稳健性： 视频水印应该能抵抗无意或故意的攻击， 这些攻击包括信号叠加、 滤波、 剪切、 编码、 压缩、 模数转换和回放等。 (3) 计算复杂度： 计算复杂度的核心是确保水印的实时性和可操作性。 (4) 视频速率的恒定

6、性： 即水印加入后不能增加视频比特流的速率， 必须服从传输信道规定的带宽限制。 第第7 7章章 视频图像水印技术视频图像水印技术 (5) 同步检测机制： 提取水印时应有严格有效的同步检测机制来确保水印的正确恢复。 (6) 快速嵌入/检测： 因为视频的数据量大而且有实时性的要求， 所以算法必须在很短的时间内完成。 (7) 盲检测： 水印检测原则上不能用原始视频数据， 这是因为在检测时使用原始视频会大大增加运算复杂度， 而且利用原始视频来检测水印也是不现实的。 (8) 水印容量： 对于视频水印， 我们规定水印容量为在单位时间内嵌入水印信息的数据量。 第第7 7章章 视频图像水印技术视频图像水印技术

7、 7.4 视频水印的模型视频水印的模型 通过分析现有的数字视频编解码系统， 可以将目前基于MPEG视频水印分为以下几种视频水印的嵌入与提取方案模型， 如图 7 - 2 所示。第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 2 不同的MPEG视频水印系统模型 MPEG-2编码器原始视频码流水印嵌入方案一水印嵌入方案二压缩码流水印嵌入方案三MPEG-2解码器水印提取方案二重建视频码流水印提取方案一第第7 7章章 视频图像水印技术视频图像水印技术 视频水印嵌入方案一： 水印直接嵌入到原始视频流中。 此类方案的优点是： 水印嵌入的方法比较多， 原则上数字图像水印方案均可以应用于此。 缺点

8、是： (1) 会增加视频码流的数据比特率； (2) 经MPEG-2压缩后会丢失水印； (3) 降低视频质量； (4) 对于已压缩的视频， 需要先进行解码， 然后嵌入水印后再重新编码。 第第7 7章章 视频图像水印技术视频图像水印技术 视频水印嵌入方案二： 水印嵌入到编码阶段离散余弦变换(DCT)域中的量化系数中。 此类方案的优点是： (1) 水印仅嵌入在DCT系数中， 不会增加视频流的数据比特率； (2) 易设计出抵抗多种攻击的水印， 但缺点是会降低视频的质量， 因为一般它也有一个解码、 嵌入、 再编码的过程。 第第7 7章章 视频图像水印技术视频图像水印技术 7.5 视频水印的分类视频水印的

9、分类 数字视频水印是利用视频数据中普遍存在的冗余数据与随机性把表征版权的信息(如文字、图像、 视频)嵌入到视频自身的数据中， 从而起到保护数字视频产品版权或完整性的一种技术。 理想的数字视频水印方案应该是只有版权所有人才可以加载水印， 但任何使用者都可以对其进行验证的水印方案。 第第7 7章章 视频图像水印技术视频图像水印技术 可以从不同的角度对数字视频水印进行分类。 我们知道， 数字视频水印的提取过程与图像水印的提取过程有很大的不同， 图像水印的提取过程是静态的， 而视频水印的提取过程在时间上是连续的， 它是在连续帧上进行提取的， 提取出的水印可以是文字、 图像、 连续语音信号和同时可播放的

10、视频信号， 因此可以根据嵌入视频水印的内容不同将其分类。 第第7 7章章 视频图像水印技术视频图像水印技术 7.6 MPEG压缩视频标准简要介绍压缩视频标准简要介绍 为了节约数据存储空间和便于传输， 视频的主要存在模式是压缩格式的， 因此视频水印也在很大程度上是与压缩编码标准紧紧联系在一起的。 当今视频压缩的国际标准包括MPEG-1、 MPEG-2、 MPEG-4、 ITU-T 的H.261和H.263等， 都采用混合编码(Hybrid Coding)。 第第7 7章章 视频图像水印技术视频图像水印技术 在介绍水印技术之前， 我们先简单地介绍一下MPEG视频压缩标准5。 在MPEG压缩标准中，

11、 数据流是以多路复合流的格式存储和传输的。 多路复合流由音频流和视频流复合组成。 多路复合流的基本单位是包(Pack)， 而一个包由三个组(Group)组成。 组分为视频和音频组， 在此我们只介绍视频组。 它采用分层的语法(Layered Syntax)定义， 每一层包括一个或多个从属层(下层)。 其结构如图 7 - 3 所示。第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 3 MPEG分层结构 Y0Y1Y2Y3UV块(Block)Y0Y1Y2Y3宏块(Macro Block)UVLuminance(Y)图片(Slice)Chrominance(U)Chrominance(V)图

12、片组(GOP)视频序列第第7 7章章 视频图像水印技术视频图像水印技术 由于视频流被分成多个图片组(GOP)， 每个组包含特征相近的一些图像帧的集合， 帧又被分成画面， 再分为宏块。 画面内编码的基本单位是宏块， 一个宏块由6个88像素块构成： 四个亮度块Y0、 Y1、 Y2、 Y3， 一个色度块U， 一个色度块V。 注意， 四个亮度块覆盖的画面区域与每个色度块覆盖的画面区域是相同的， 原因是由于色度信息的信息量比亮度信息少， 为了提高数据压缩率而对色度信息作了适合人类视觉系统灵敏度的亚采样。 图 7 - 4 是一个MPEG编码器进行视频编码的基本框图。第第7 7章章 视频图像水印技术视频图像

13、水印技术 图 7 - 4 简化的视频编码器框图 预处理视频信号输入DCTQVLCQ1IDCT运动补偿预测参考帧存储运动估值缓存图像复杂度分析速率控制编码器压缩码流解码器VLCQ1IDCT运动补偿帧存储运动矢量视频信号DCT：离散余弦变换IDCT：离散余弦逆变换Q：量化Q1：逆量化VLC：可变长编码运动矢量第第7 7章章 视频图像水印技术视频图像水印技术 MPEG视频压缩编码的目的是为了在保持较好画面质量的同时获得较高的压缩比。 由于在编码过程中不能保持精确的像素值， 所以该算法是有失真的(not lossless)， 视频压缩的最优性能依赖于高质量画面、 高压缩比与数据流读取三者之间矛盾的折衷

14、。 原始视频信号的数据量非常大， 不利于存储和传输， 所以视频信号需要进行数据压缩。 第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 5 时域画面结构的例子 IBBBPBBBP预测双向预测第第7 7章章 视频图像水印技术视频图像水印技术 因为要提高压缩比， 就必须去掉视频图像中大量的冗余信息。 去掉冗余有效的办法就是采用预测编码。 为此， 定义了三种主要的画面类型： (1) 帧内编码画面(I画面)： 不参考其他任何画面而独立编码。 (2) 预测编码画面(P画面)： 它相对于前面一幅帧内画面或预测编码画面进行有运动补偿的预测编码， 且通常可以作为后继预测画面的参考画面， 它的编码效

15、率较高。 第第7 7章章 视频图像水印技术视频图像水印技术 (3) 双向预测编码画面(B画面)： 它需要前向和后向的参考画面作运动补偿， 它的压缩程度是最高的， B画面永远不被用作预测的参考画面。 这三种类型的画面在一个视频序列中的组织是非常灵活的， 这由编码器决定， 并依赖于应用的要求。 图7 - 5说明了三种不同类型画面之间的关系。 第第7 7章章 视频图像水印技术视频图像水印技术 我们把图7 - 6中的ZigZag排序、 行程编码、 霍夫曼编码这三步称为VLC(可变长编码)。 应当指出的是， 行程编码是对行程长度和级别(量化值)的组合进行编码， 码字是一个二维数组。 图7 - 7举例说明

16、了对88像素块的DCT量化系数矩阵进行的VLC编码过程。 第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 6 88像素块的编码过程 QZig-Zag排序行程编码DCT霍夫曼编码88像素块11001011001DCT：离散余弦变换Q：量化第第7 7章章 视频图像水印技术视频图像水印技术 图 7 7 VLC编码示意图 534001022070000000000000024000000010000000000000000000000000000088量化系数矩阵行程编码(长度，级别)(0，5)，(0，3)，(0，2)，(2，4)，(1，7)，(3，2)，(3，1)，(2，4)，(4，1

17、)，(4，2)VLC码字0010011000010100100000000001010000000001010000100100000111000000001010000011000000001111010第第7 7章章 视频图像水印技术视频图像水印技术 通过以上对MPEG编码标准的简单介绍， 我们了解到如果要在压缩过的视频上实时嵌入和提取水印， 最好是把水印算法与MPEG压缩标准紧紧联系在一起， 这样可以节约大量的计算时间(如DCT变换、 DCT逆变换和运动矢量计算等)。 水印算法应设计在视频流的最底层， 即88像素块的编码部分， 这样只需要对视频流进行可变长编解码和重新量化这两步运算， 相

18、应的水印方案如图7 - 8所示。 第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 8 在DCT系数域中嵌入、 检测水印 MPEG视频流VLC1Q1DCT系数域QVLCMPEG视频流水印嵌入/检测VLC：可变长编码Q：量化第第7 7章章 视频图像水印技术视频图像水印技术 7.7 视频水印的嵌入和提取视频水印的嵌入和提取 7.7.1 基于扩频思想的视频水印技术 1. 在未压缩视频中嵌入水印 在原始视频(未进行压缩编码)嵌入水印， 如果对水印信号不作任何预处理， 直接将其叠加在视频流各帧的像素域上， 这种算法简单直接， 但不具备实用性。 因为这样的视频水印方案是很不稳健的， 对最简单的

19、诸如滤波、 增强、 加噪声等攻击没有抵抗能力。 第第7 7章章 视频图像水印技术视频图像水印技术 1) 水印的嵌入 我们知道， 连续图像(视频)是一个三维信号， 其中由二维表示空间上的图像， 一维表示图像在时间上的连续。 为了讨论方便， 我们假设视频为线扫描的在时间上连续的一维信号， 如图7 - 9所示。 第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 9 视频画面序列的线扫描 VMNV0V1V2VNVMN1VN1M(像素)N(像素)时间第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 10 在视频中嵌入水印 水印信息扩频调制放大视频序列含水印的视频序列伪随机序列第第

20、7 7章章 视频图像水印技术视频图像水印技术 在实际运用中， 伸缩因子可以根据当前图像帧的局部特征和人类视觉系统的掩蔽效应做相应的大小调整， 在保证水印不可觉察的情况下， 使i最大， 这样可以增强水印抗攻击的能力。 一般来说， 在视频图像的不易引起注意的区域能够嵌入更多的水印信息，比如在图像的细节区域和图像中有剪切的边界， 我们可以利用视觉模型使得图像水印中的数据嵌入率最高， 但对于视频水印来说， 通常情况下一个较低的水印嵌入速率就可以了， 因为用视觉模型来嵌入水印会大大增加算法的复杂度， 所以在添加视频水印时不需要考虑这个问题。 图7 - 11用可视化的方式描述了嵌入过程。 第第7 7章章

21、视频图像水印技术视频图像水印技术 图 7 - 11 扩频水印的实例 含水印的视觉画面调制放大扩频原始视频画面伪随机序列水印序列含水印的视觉画面调制放大扩频原始视频画面伪随机序列水印序列含水印的视觉画面调制放大扩频原始视频画面伪随机序列水印序列含水印的视觉画面调制放大扩频原始视频画面伪随机序列水印序列含水印的视觉画面调制放大扩频原始视频画面伪随机序列水印序列水印序列(1/1)伪随机序列1111原始视频画面扩频调制含水印的视觉画面放大第第7 7章章 视频图像水印技术视频图像水印技术 2) 水印的提取 水印的提取通过把嵌入水印的视频流与相同的伪随机序列作相关运算， 根据相关值的大小来判定水印的比特值

22、。 水印的提取框图如图7 - 12所示。第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 12 扩频水印的一般提取框图 第第7 7章章 视频图像水印技术视频图像水印技术 2. 已压缩视频中嵌入水印 基于扩频的压缩视频水印算法相对较多， 下面我们介绍两个比较典型的例子。 一个是比较简单的算法。 该算法把水印扩频后的DCT直流系数直接加到视频的DCT系数的直流分量上去(DC-DCT)。 水印只加到帧内编码画面(I画面)的亮度系数上去。 水印的嵌入过程分为以下四步： 第第7 7章章 视频图像水印技术视频图像水印技术 第一步： 产生一个含有整数-1，1的伪随机噪声图案W(x,y)， 此图案

23、与I画面有相同维数。 第二步： 用水印信号的信息位调制伪随机噪声图案(扩频)得到扩频水印信号， 并乘上一个大小合适的伸缩因子， 再将扩频水印信号分块(88)做DCT变换。 第三步： 将压缩的视频流中I画面中的VLC进行解码， 得到88像素块的DCT系数。 第四步： 把每块水印信号的DCT直流分量加到与I画面相同位置的块的DCT直流分量上。 第第7 7章章 视频图像水印技术视频图像水印技术 第一步： 把对应的DCT直流分量直接相加。 )0()0()0(,yxyxWWIIyx(7 - 9) 第二步： 在视频流中找出每一块(Block)中的DCT系数的VLC码， 解码得到行程长度和级别， 由此可以计

24、算出这些非零的DCT系数在Zig-Zag排序中的位置i和它的幅值 。 令 为新的DCT系数。 )(,iIyxyxWI,0),()()(,iiWiIiIyxyxWyx(7 - 10) 第三步： 重复上述过程， 直到遇到数据块结尾码。 第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 13 嵌入水印后的画面对比 第第7 7章章 视频图像水印技术视频图像水印技术 在嵌入水印时， 还应当加上一个漂移补偿信号C(i)， 此信号应等于画面添加水印前后的预测值之差。)()()()(,iCiWiIiIyxyxyxWyx(7 - 12) 加上这个漂移补偿信号之后的不利因素是它增加了计算复杂度。 一个

25、完整的系统框图如图7 - 14所示。第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 14 MPEG-2压缩视频嵌入水印方案VLC：可变长编码Q：量化器DCT系数VLC1Q1DCT扩频水印水印信号1，1VLC1Q1DCT系数VLC1Q1VLCQ计算码长码长 SI比特DCT移位补偿信号DCT1运动补偿DCT1运动补偿运动矢量头信息 / 辅助信息运动矢量头信息 / 辅助信息码长 SIW比特第第7 7章章 视频图像水印技术视频图像水印技术 7.7.2 基于参数替换的视频水印技术 1. VLC修改算法 在前面章节中我们介绍了修改最不重要位(LSB)的方法来嵌入水印， 这种方法可以嵌入较多的

26、水印信息， 如果是对未压缩过的视频流， 它的计算量非常小， 但如果对压缩过的视频流， 则要进行全部解码以后才能进行水印嵌入， 相应的计算量就很大。 第第7 7章章 视频图像水印技术视频图像水印技术 1) 水印的嵌入 假设要嵌入的水印序列为bj(j=0,1,2,l-1)包含l个比特 ， 嵌入时， 我们选择视频流中特定的VLC(可变长码字)， 将它的最不重要位(LSB)用bj来替换。 为了保证对VLC的修改不会改变视频播放的速率并且不会引起可以察觉的失真， 选择可以相互置换的两个VLC码应当满足以下三个条件： (1) 相同的行程长度(Run length)。 (2) 级别(幅度)差值为1(Leve

27、l)。 (3) 相同的VLC码长。 第第7 7章章 视频图像水印技术视频图像水印技术 根据MPEG-2编码标准， 对应每个DCT系数， 都有相应的VLC码字与之对应。 一对符合上面要求的VLC码被称为可标记VLC码对。 表 7 - 1 列出部分可标记VLC码对。 变长码中最后一位“s”是表示极性的符号： 0表示正极性， 1表示负极性。 第第7 7章章 视频图像水印技术视频图像水印技术 表 7 - 1 可置换VLC码对的例子 第第7 7章章 视频图像水印技术视频图像水印技术 用LSB方法将水印比特序列bj嵌入到MPEG视频流中的过程如下： 扫描每一个宏块中的VLC码， 如果找到一个可标记VLC码

28、， 解码后得到幅度值， 判断幅度值的最不重要位： (1) 如果它的最不重要位(LSB)与水印比特bj不等， 则用与之配对的VLC码替换。 (2) 如果它的最不重要位(LSB)与水印比特bj相等， 则不作替换。 (3) 重复以上两步直到水印信息比特全部嵌入后结束。 图7 - 15给出了隐藏三个水印比特的示意图。第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 15 VLC水印举例 VLC(1，5)VLC(3，3)VLC(1，1)VLC(0，5)VLC(2，3)EOBVLC(2，1)VLC(0，12)EOBVLC(0，30)EOBVLC(0，6)VLC(0，5)可标记VLCLSB：0L

29、SB：1b00VLC(0，12)VLC(0，13)b10VLC(0，30)VLC(0，31)b21MPEG视频流VLC(1，5)VLC(3，3)VLC(1，1)VLC(0，6)VLC(2，3)EOBVLC(2，1)VLC(0，12)EOBVLC(0，31)EOB嵌入视频后的MPEG视频流第第7 7章章 视频图像水印技术视频图像水印技术 2) 水印的提取 水印提取的过程也很简单， 与嵌入时一样， 扫描每个宏块的VLC码， 若找到一个可标记VLC码， 它的最不重要位(LSB)就代表当前的水印信息bj， 并记录这个比特。 依次做下去， 直到找不到可标记VLC码时结束。 第第7 7章章 视频图像水印技

30、术视频图像水印技术 图 7 - 16 视频“绵羊”的八个画面第第7 7章章 视频图像水印技术视频图像水印技术 3) 结果分析 前面我们介绍了一种视频水印方法， 下面给出了这种算法的一个实例。 在此例中， 有一个长10 s、 720560像素的“绵羊”原始视频序列， 它包含了I画面、 B画面、 P画面， 共有12个图片组， 每秒播放25帧。 这些画面包含有平坦区域和纹理丰富的区域。 图7 - 16给出了这个序列的部分帧。 第第7 7章章 视频图像水印技术视频图像水印技术 表 7 - 2 帧内编码画面(I画面)的测试参数 第第7 7章章 视频图像水印技术视频图像水印技术 表7 - 3为在所有的I

31、画面、 P 画面、 B 画面中的结果参数， 其中VLC码总数包括所有的I画面、 P 画面和B 画面中的DCT系数编码的VLC数目。 由此可以看出， 隐藏水印的最高速率为29 kb/s。 第第7 7章章 视频图像水印技术视频图像水印技术 表7 - 3 所有画面(I 画面、 P 画面、 B 画面)的试验参数第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 17 嵌入水印后的对照结果 第第7 7章章 视频图像水印技术视频图像水印技术 4) 性能评价 这种方法具有以下优点： 方法本身计算简单， 速度快， 易于实现； 视频信号里可编码的数据量大， 可以隐藏较多的信息， 其最大速率为每秒视频流

32、中出现的可置换VLC码的个数， 并且这个速率是变化的， 最高可以达到29 kb/s； 它还可以采用流加密方式分别对水印数据本身和嵌入过程进行加密， 其安全性完全依赖于密钥； 由于嵌入水印后对于一幅画面的像素值改变很小， 几乎不需要作漂移补偿。 第第7 7章章 视频图像水印技术视频图像水印技术 2. 差分能量水印(DEW)算法 Langelaar等提出了一种基于有选择地丢弃部分压缩视频画面中的高频DCT系数来嵌入水印的方法。 在嵌入水印信息位以前， 图像中的88 DCT块的位置根据密钥随机地置乱， 如图7 - 18 所示。 第第7 7章章 视频图像水印技术视频图像水印技术 图 7 - 18 按88块随机置乱的I画面DCT系数图案 888承载子区域188块16 88承载区域水印序列 1 0 1 1 0 0 1 0 11 0 1 1 1 0 1ABABABAB 第第7 7章章 视频图像水印技术视频图像水印技术 为了易于确定视频流中画面的高频能量， 我们把DCT系数块中量化的高频分量记作S(c)， 它是在Zig-Zag扫描后按频率重排后DCT系数中序号大于c的元素集合， 即 S(c)=i0, 63|(ic) (7 - 13) 承载区域A中的频域中的高频能量EA的定义如下 12/)(2,12/0)(2,)(),()(),(nnbcSibiBnbcSibiA