（信号与信息处理专业论文）基于h264标准的视频水印技术研究.pdf

基于i - i 2 6 4 标准的视频水印技术研究 摘要 近年来随着数字视频在社会生活中的普及，视频作品遭到恶意攻击和非法 侵权的问题也越来越严重。如何有效地对数字视频进行版权保护，成为多媒体 技术发展中迫切而现实的问题。视频水印技术正是为解决这个问题而受到人们 越来越多的关注，成为当前学术领域研究的热点。 水印技术存在的基础是其技术的先进性，其归根结底是利用冗余来携带水 印信息，而视频压缩的目的是去除冗余，因此好的水印设计方案应该充分考虑 视频压缩编码的新动向，紧密结合当前及未来的标准进行研究。而h 2 6 4 作为 最新一代的视频编码标准，迫切要求水印技术与其相融合，提升和改进现有的 视频水印算法，以适应新的应用环境。 本文在对视频水印技术及h 2 6 4 标准分析研究的基础上，提出了一种针对 h 2 6 4 低比特率码流特性的鲁棒视频水印设计算法。该算法首先将二值水印图像 扫描为序列，并扩频处理，然后在h 2 6 4 帧内预测编码阶段根据一定的判定条 件，将水印序列逐比特地嵌入到i 帧每个宏块的1 6 个4 x 4 子块所选定的某个中、 高频变换系数中，水印嵌入具有一定的自适应性，同时引入基于l a g r a n g i a n 优 化算法的编码控制模型，以提高含水印视频码流的率失真性能，最后对算法的 嵌入和提取过程进行了仿真实现。 实验结果表明，本算法在得到视频比特流较好率失真性能的同时对重量化 编码、滤波、添加噪声和帧编辑等普通攻击具有一定的鲁棒性；水印提取时不 需要对压缩码流完全解码，并且为盲提取；算法复杂度低，能够满足实时随机 检测的需要，具有一定的实用性。 关键词：h 2 6 4 视频水印技术帧内预测整数d c t 量化系数鲁棒性 r e s e a r c ho fv i d e ow a t e r m a r k i n g t e c h n i q u eb a s e d o i lh 2 6 4s t a n d a r d a b s t r a c t i nr e c e n ty e a i r s ，w i t hp o p u l a r i t yo f d i g i t a lv i d e oi ns o c i a ll i r e ，t h ei s s u eo f v i d e o w o r k sb ym a l i c i o u sa t t a c k sa n di l l e g a ll i s eh a sb e c o m ei n c r e a s i n g l ys e r i o u s h o w 协 p r o t e c tt h ec o p y r i g h to fd i 菇据| v i d e oe f f e c t i v e l yh a sb e c o m e 鼬u r g e n ta n dr e a l i s t i c i s s u ei nt h ed e v e l o p m e n to fm u l t i m e d i at e c h n i q u e v i d e ow a t e r m a r k i n gt e c h n i q u et o s o l v et h i sp r o b l e mi sp a i dm o r ea n dm o r ea t t e n t i o nb yr e s e a r c h e r sa n dh a se m e 鸦e d t oaf l o u r i s h i n gr e s e a r c ht o p i ci nc u r r e n ta c a d e m i cd o m a i n 曩嚣b a s i sf o rt h ee x i s t e n c eo f w a t e r m a r k i n gt e c h n i q u ei st h ea d v a n c e dl l a t u f eo f i t st e c h n o l o g y , w h i c hu s e sr e d u n d a n ti n f o r m a t i o nt oc a r r yw a t e r m a r k i n g a n dv i d e o c o m p r e s s i o na l m st or e m o v er e d u n d a n t ，s oag o o dw a t e r m a r k i n gs c h e m es h o u l dt a k e 如珏a c c o u n to f t h en e wv i d e oc o m p r e s s i o nc o d i n gt r e n d si nc l o $ ec o n n e c t i o nw i t ht h e c u r r e n ta n df u t u r es t a n d a r d sf o rr e s e a r c h 。h 2 6 4 , a st h el a t e s tg e n e r a t i o no fv i d e o c o d i n gs t a n d a r d ，h a sa nu r g e n tr e q u i r e m e n to fi n t e g r a t i o nw a t e r m a r k i n gt e c h n i q u e w i t hi tt oe n h a n c ea n di m p r o v et h ee x i s t i n gv i d e ow a t e r m a r k i n ga l g o r i t h m st oa d a p t t ot h en e wa p p l i c a t i o ne n v i r o n m e n t 。 t h i sp a 口e l p r o p o s e sar o b u s tv i d e ow a t e r m a r k i n gs c h e m ea i m i n ga th 2 6 4l o w b i tr a t es t r e a mb a s e do nt h ea n a l y s i sa n dr e s e a r c ho fv i d e ow a t e r m a r k i n gt e c h n i q u e a n dh 2 6 4s t a n d a r d t l l i ss c h e m es c a r sab i n a r yw a t e r m a r ki m a g ei n t os e q u e n c e s f i r s t l ya n dp r o c e s s e st h e mw i t hs p r e a d s p e c t r u m , a n dt h e ne m b e d sw a t e r m a r k s e q u e n c e si n t oc e r t a i nm e d i a n - f r e q u e n c yo rh i g h - f r e q u e n c yt r a n s f o r mc o e f f i c i e n t s s e l e c t e db i t b y - b i tb yi u d g m e n tu n d e rc e r t a i nc o n d i t i o n si na l l4 4s u b b l o c k so f e a c hm a c r o b l o c ko fif r a m e si nh 2 6 4i n t r ap r e d i c t i o nc o d i n gs t a g e 。n 摊e m b e d d i n g p r o c e s sh a sc e r t a i na d a p t a b i l i t y , a n di n t r o d u c e st h ec o d i n gc o n t r o lm o d e lb a s e d0 n t h ea l g o r i t h mo fl a g r a n g i a no p t i m i z a t i o nt oe n h a n c et h er a t e - d i s t o r t i o np e r f o r m a n c e o ft h ew a t e r m a r k i n gv i d e ob i t s t r e a m f i n a l l y , e x p e r i m e n t sa r ep e r f o r m e dt os i m u l a t e t h ee m b e d d i n ga n de x t r a c t i o ns c h e m e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sa l g o r i t h mo b t a i n sb e t t e rr a t e - d i s t o r t i o n p e r f o r m a n c eo fv i d e ob i t s t r e a m ，a n dh a sc e r t a i nr o b u s t n e s sa g a i n s ts o m ec e m l n o n a t t a c k ss u c ha sr e q u a n t i z a t i o nc o d i n g , f i l t e r i n g ，a d d i n gn o i s e ，f r a n l ee d i t i n ga n ds oo n w a t e r m a r ke x t r a c t i o nd o e sn o tn e e dt od e c o d ec o m p r e s s e db i t s t r e a mc o m p l e t e l y , w h i c hr e a l i z e st h eb l i n de x t r a c t i o n ；t h i sa l g o r i t h mw h i c hh a sal o wc o m p l e x i t yc a l l m e e tt h er e q u i r e m e n to f r e a l - t i m er a n d o md e t e c t i n g ，a n dh a sc e r t a i np r a e t i c a l i t y k e y w o r d s ：h 2 6 4 v i d e ow a t e r m a r k i n gt e c h n i q u e ；i n t r ap r e d i c t i o n ；i n t e g e rd i s c r e t e c o s i n et r a n s f o r m ( d c t ) ；q u a n t i z e dc o e f f i c i e n t s ；r o b u s t n e s s 图2 1 图2 2 图2 3 图2 - 4 图2 5 图2 6 图3 1 图3 2 图3 3 图3 4 图3 5 图3 - 6 图3 7 图3 8 图3 - 9 图3 1 0 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 插图清单 视频水印嵌入和提取方案理论框图1 0 m p e g - 2 编码系统中水印嵌入点选择示意图1 1 h & g 扩频水印算法1 3 j a w s 算法嵌入框图1 3 d e w 视频水印算法流程图1 4 带漂移补偿的m p e g 2 压缩码流水印嵌入方案1 5 h 2 6 4 标准的分层结构1 8 h 2 6 4 基本编码框图1 9 h 2 6 4 解码器方框图2 0 当前编码块及用于预测的邻近象素2 2 帧内预测的8 个方向2 2 一个宏块中残差数据块的扫描顺序2 2 宏块及子宏块分割2 3 正变换、量化、比例变换和反变换框图2 4 比例因子位置示意2 5 c a b a c 熵编码框图一2 7 本文水印嵌入算法基本框图3 2 基于片率概念的扩频水印生成3 3 z i g z a g 扫描方式3 5 嵌入点的选择示意图3 6 实验数据的控制台显示示意4 0 嵌入水印后的率失真曲线图4 1 原始水印图像及所提取的水印图像4 1 含水印的f o r e m a n 视频序列连续前6 帧截图4 2 从受到攻击的f o r e m a n 序列提取出的水印图像4 2 含水印的c o n t a i n e r 和s u z i e 测试序列前3 帧截图4 3 从未受攻击的3 测试序列中提取出的水印图像4 3 插表清单 表2 一l i t u rr e c 5 0 0 主观图像质量等级评判表8 独截性声明 学位论文作者签名昏、季乞咎惫签字日期5 1 年f 2 月【子日 学位论文版权使用授权书 本学位论文作者完垒了解金g 羹匙太堂有关保留、使用学位论文的规定，有权保留 并向国家有关郑门或机构送交论文的复印件和磁盘，允许论文被套阅和借阅。本人授权盒 疆兰堑盍笺霹懿籍学位谂文鹣全部或绱分内容编入骞关数据露避行检索，帮瑷采蘑影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者毕业后去向： 工作单位； 通讯地址： 导师签名： 签字e t 期； 电诺： 邮编： 抢晡 彩 阳 叼、丁 慧 毵扣毛叩胁 药扫 籀 叫 签、，l 裂譬姘 肌 酗 锥 学 整 致谢 值此论文完成之际，首先衷心地感谢我的指导老师单承赣教授。在两年半 的硕士研究生学习和生活期间，单老师的精心指导、无私关怀，以及他所营造 的学术氛围使我受益颇多，让我有了长足的进步。单老师对工作的兢兢业业， 对教学的精益求精，严谨的治学态度，不息的奋斗精神，都给我留下深刻的印 象，给我在求知、为人、处事等方面的熏陶将使我终身受益。正是因为单老师 的长期鼓励、引导和启发，本人才得以顺序完成本文的研究和写作。 感谢合肥工业大学多媒体实验室的焦宗东、李葆华、张态琦、张哲同学， 正是与他们一起在学习生活中互助进步，同时也感谢师妹师弟余春梅、王聪聪、 孙明同学在学习生活中的交流和帮助。 感谢研究生部的朱红、李军鹏等各位老师，感谢计算机与信息学院的曹航、 徐静、王新生等老师在日常生活学习事务中的帮助。 特别感谢我的父母，感谢他们对我的培养和教育，是他们的默默奉献才有 我今天的成就和进步，同时也感谢我的兄长孙德武在生活中的关心与支助。 感谢所有给予过我帮助的老师、同学和朋友们! 孙德辉 2 0 0 7 年1 2 月1 日 第一章绪论 1 1 课题研究背景 十几年来，多媒体及网络技术的迅速发展给人们的生活带来了极大的便利， 数字产品在电子商务中占据了巨大的份额，人们足不出户就可以从互联网上获 得图像、音频、视频等数字作品。与此同时，借助先进的多媒体处理软件，盗 版者可以对原数字作品制作出完美的拷贝，甚至不留痕迹地对作品做各种各样 的篡改，并通过网络发布。这就带来了一系列的问题：如何保护原作者的产权； 如何控制拷贝的数量；如何确认作品是否完整、内容是否真实有效等等。因此， 数字媒体的安全问题成了瓶颈问题，制约着数字化的进程，若得不到解决，将 可能导致书籍、音乐、电影等电子出版业的不健康发展，如何既充分利用网络 的便利，又能有效地保护知识产权，成为迫切需要解决的问题。 密码学被广泛定义为“对信息进行保密的技术和科学”【l 】，是版权保护的 重要手段。它通过密钥保证数字作品的安全，控制访问权限。在发送作品之前 先对内容进行加密，仅将密钥给予合法的用户。然而，这种方法只能保护传输 中的内容，并不能控制用户如何处理解密后的内容，密钥一旦被破解，版权保 护系统随之崩溃。随着计算机性能的大幅度提高，各种加密体制的安全性都受 到了极大的威胁。因此，传统的密码学方法已经不能满足版权保护的要求，迫 切需要一种替代技术或是对密码学进行补充的技术，能够在数字产品被解密后 对作品内容仍然起到保护作用。 自九十年代开始，数字水印( d i g i t a lw a t e r m a r k i n g ) 技术的出现对于保护多媒 体信息的版权以及对信息的合法使用提供了一种新的解决思路【2 】，并成为近年 来数字化技术的一个新热点。数字水印技术是将具有特定意义的标记( 水印) ， 利用数字嵌入的方法隐藏在图像、视频和音频等数字产品中，用以证明作者对 其作品的所有权，并作为鉴定、起诉非法侵权的证据，同时通过对水印的检测 和分析来保证数字信息的完整可靠性，从而成为知识产权和数字多媒体防伪的 有效手段。其中的水印信息可以是特定序列号、公司标志或是有特殊意义的文 本、图章等，用来标识作者对数字产品的所有权。与加密技术不同，数字水印 技术并不能阻止盗版活动的发生，但它可以判别对象是否受到保护，监视被保 护数据的传播、真伪鉴别及非法拷贝、解决版权纠纷并为法庭提供证据。 经过十多年的研究和发展，基于图像的数字水印技术已经相对成熟，并取 得了不少先进的研究成果，同时各大公司积极参与该技术的研究，也推出了一 些实用产品。但是，基于视频载体信号的水印方案目前相对较少，原因是其算 法的设计和实现的难度都较大。一方面，因为数字图像水印技术只是利用了视 觉空间掩蔽效应的成果1 3 j ，而视频水印，由于包括时间掩蔽效应特性在内的更 为精确的人眼视觉系统( h v s ) 模型1 4 5 】尚未完全建立，以及视频本身不同于图像 的诸多特性，使得视频水印技术相对于数字阁像水印技术发展滞后，同时现有 熬凌频编秘稼难跑舞m p e g - 4 彝焱藐熬h 2 6 4 a v c 等又逡残毫毒承秘疆本雩 入 上的局限性；另一方面，由于一贱针对视频水印所特有的攻击形式( 如重量化 转码、帧编辑等) 的出现，为视频水印提出了一些区别平静止图像水印的独特 要求。篷怒，蓬善多焱谚技术戆发浸及诗算瓤处理程频数摆戆力耱琴薮撵裹， 人们对影视产品的版税保护意识越来越迫切，因而视频水印技术己引起工业界 的浓厚兴趣，并日益成为国际上非常活跃的研究领域。 本露技术存在翁簇懿是其技零戆先进馒，其归裰结褒是剩震必余来携带零 印信息，而视频压缩的哥的是去豫冗余，迸诧好的水印方案应该充分考虑视频 压缩编码的新动向，紧密结合当前及未来的标准进行研究。另一方面，压缩标 准又会弓l 入一些技术装求，要实瑗一令在卺穆健、安全馁秘承窜嵌入量等方嚣 达到均衡豹水印系统，要求水印设计者必须熟悉和掌握视频编码器的工作流程。 这就迫切要求水印技术跟新的h 2 6 4 a v c 压缩标准 6 1 相融合，提升和改进现有 的水印算法，以适疲毅豹应用琢壤。国内终学者已进纷了大量静图像数字承印 算法和基本理论的研究，氇是有关税频数字水印，特翱跫结合薪标准h 2 6 4 a v c 的视频水印的研究和开发还是比较有限的【5 ，g 朋删，本文就是在总结前人研究的 基础上，遴行了进一步的探索性研究工作。 1 2 数字水印技术的威用 由于数字水印潜在的巨大价馕，如今它鼹广泛应用到许多其它领域，下露 将列举最辫觅豹建稀承窜痃蘑。 1 版权保护( c o p y r i g h tp r o t e c t i o n ) 这也是水印研究的最初目的【7 一，通过将能够证明原作者所有权的信息嵌入 鬟载俸当审，然嚣发布承印派本熬终品。这徉，当终嚣嚣被盗蔽嚣发生舨较绸 纷时，原作者可以用从盗版作品躐原始水印作品中提取出水印信号来证明其对 作品的所褥权。用于版权保护的水印算法的铸棒性要求是较高，水印必须能够 菰藐盗叛畿在盗藏j 重稷串，蹿孬熬徽窭匏各耱各稃熬惑悫篡改。藏终，还要求 水印的嵌入具有不可逆性，以防此版权信息被非法移除。 2 内容认i a q ! ( c o n t e n t a u t l l e n t i c a t i o n ) 蠹容认涯在簧鸯斑矮场合下嶷衮最薹零瓣鲁耱毪要求，谈涯懿嚣豹在手羧 测作品内容是否被修改，通常通过脆弱或半脆弱水印来实现【9 j 。根据作品能够 承受的合理失真及会被恶意篡改破坏的特征而设计一个数字签名，将其嵌入到 载嚣当孛去。在谴用撵燕辩，爱阏撵戆方法诗霎出特鬣，劳与提取凌戆表露馈 息相比较，根据它们怒否一致判断内容是否真实有效。 3 广播监控( b r o a d c a s tm o n i t o r i n g ) 1 9 9 7 颦，基本瀑爨了关手奄褫广告熬蠢阉，至少疆家龟鬟台超额预定了广 播时间，数以千计支付了广告费的广告，却未被播出。发生这种问题的部分原 因是没有恰当的系统去监控广告的实际播放情况。被动监测需要庞大的数据库， 且计算量惊人，显然花费代价太大。而利用水印的广播监测系统就可以解决这 样的问题，将鉴别信号作为水印与广播内容一起传输，接收方直接提取出水印 信号即可用于监测【1o 】。用于广播监测的水印必须能够抵抗信号传输过程中的噪 声及恶意破坏。 4 拷贝控$ i ( c o p y i n gc o n t r 0 1 ) 拷贝控制的应用宗旨在于防止人们制造或使用版权内容的非法副本。这种 应用的一个典型的例子是d v d 防拷贝系统【1 1 1 。首先将特定水印信息如“可以复 制”、“无法复制”或“只可复制一次”，嵌入到d v d 数据中，合法的d v d 播 放机即可通过检测d v d 数据中的水印信息而判断其合法性和可拷贝性；非法的 播放机由于无法正确解密而不能使用d v d 水印作品，从而达到了保护制造商的 商业利益的目的。 5 改进视频编码( e n h a n c e dv i d e oc o d i n g ) 一直以来，视频编码与视频水印被看成是一对天然的矛盾，因为一个优质 的编码器应该能够去除所有的冗余信息。视频编码分为两个步骤：信源编码和 信道编码，信源编码将去除了所有冗余信息的数据传送给信道编码作为输入， 信道编码过程中再引入新的冗余信息( 水印) 用于编码差错控制【12 1 3 】，水印相 比于其它纠错方法的优点在于不会增加数据负荷。 1 3 数字水印的发展和研究现状 数字水印技术学科特点在于它横跨图像处理、多媒体技术、模式识别、密 码学、数字通信等多学科领域，以这些领域的算法、思想和概念为基础。一个 数字水印方案一般总是综合利用这些领域的最新进展，针对不同的应用特性， 各学科的学者们也提出了不尽相同的算法。 t i r k e l 等 2 1 在1 9 9 3 年首先提出电子水印( e l e c t r o n i cw a t e r m a r k ) 的说法，正式 提出“数字水印”这一术语，他们针对灰度图像提出两种向图像最低有效位中 添加水印的方案。v a ns c h y n d e l 在1 9 9 4 年的国际图像处理会议( i c i p 9 4 ) 上发表 了题为“ad 硒t a lw a t e r m a r k ”的文章【1 4 j ，这是第一篇在主要会议上发表的有关 数字水印的文章，其中阐明了一些关于水印的重要概念，被认为是一篇具有历 史价值的文献。初期的水印研究主要是脆弱水印，鲁棒性较差。 为了提高水印的稳健性，1 9 9 5 年c o x 等1 15 】提出一种基于扩频通信的思想， 将水印嵌入图像感知上最重要的频域因子中的水印方案。c o x 方案已经成为数 字水印技术中一个比较经典的方案，但水印的提取过程需要原始图像的参与， 即它不是盲水印方案。随后，p i t a s 等 1 6 , 17 】将混沌理论引入到数字水印算法中， 使得算法的稳健性进一步提高，但是算法仍然局限于空间域。k u n d u r 掣9 】提出 了一种基于离散小波变换( d w d 的水印算法，通过修改d w t 系数来嵌入水印， 并且提出了利用脆弱水印对图像所经受的处理进行估计，进而更有效地对水印 进行检测。k a n k m a h a l l i 等【l 州研究了基于图象内容的数字水印技术，这与计算机 视觉的发展是密不可分的。在计算机图形学研究领域，1 9 9 9 年的s i g g r a p h 大会上，p r a u n 掣1 9 】提出了在造型的三维网格上植入数字水印的方法，o h b u c h i 等2 0 】也做了类似的工作。m a t s 等【2 i 】提出了基于几何变形的方法，p a u t c 等 2 2 1 从 分形压缩的角度提出了水印设计方法。 音频水印的研究最早见于1 9 9 6 年，b e n d e r 等在文献 2 3 1 中提出了l s b 编码、 回声编码、扩频编码和相位编码等四种算法；b o n e y 等 2 4 1 将c o x 方案应用到音 频信号中，取得了很好的实验结果。1 9 9 7 年，h a r t u n g 等【2 5 1 提出一种利用扩频 思想在原始视频中嵌入水印的算法，从而开启了视频水印研究的新篇章。 此外，很多学者还提出了一些对数字水印进行攻击的方法1 7 6 2 7 , 2 8 1 ，非常有 助于鲁棒性要求很高的数字水印技术的研究。 1 9 9 6 年5 月，国际第一届信息隐藏学术讨论会在英国剑桥牛顿研究所召开， 以后该研讨会每年举办一次至今。s p i e 从1 9 9 9 年开始举办专门的“多媒体内 容安全与水印”研讨会，i e e e 也出版了关于数字水印的专题。1 9 9 9 年1 2 月， k a t z e n b e i s s e r 和p e t i t c o l a s 等【2 9 】出版了该领域的第一本专业著作( i n f o r m a t i o n h i d i n gt e c h n i q u e sf o rs t e g a n o g r a p h ya n dd i g i t a lw a t e r m a r k i n g 。另夕h ，c o x 等1 3 0 】 于2 0 0 1 年1 0 月出版了其关于数字水印的专著( d i c t a lw a t e r m a r k i n g ) ) 。 随着信息交流的加快和水印技术的迅速发展，各大研究所和高校也纷纷投 入数字水印的研究，其中比较有代表性的有哈尔滨工业大学、天津大学、北京 邮电大学和中国科学院自动化研究所等，他们是国内较早投入水印技术研究并 取得较好成绩的科研单位。我国于1 9 9 9 年1 2 月1 1 臼由北京电子技术应用研究 所组织，召开了第一届信息隐藏学术研讨会( c i h w ) ，至今已成功的举办了七届。 2 0 0 0 年1 月，国家“8 6 3 计划”智能计算机系统专家组、中国科学院自动化研 究所和北京邮电大学信息安全中心成功地举办了数字水印技术研讨会。历届研 讨会的召开很大程度地推进了国内水印技术的研究与发展。 数字水印不仅在理论上、学术上引起了各国学者们的广泛兴趣和重视，在 应用上、产品化和工业标准方面也有长足的发展。随着理论研究的深入，很多 从事信息隐藏技术研究的公司或团体纷纷推出相关的软件，m m 、s o n y 、h i t a c h i 、 n e c 和p i o n e e r 等五家大公司正在联合开发统一标准的基于数字水印技术的 d v d 影碟防盗版技术，德国研究机构在利用数字水印保护及防止伪造电子照片 的技术方面取得了很大的进展，由欧洲委员会资助的几个国际合作研究项目也 正致力于实用的数字水印的研究。 广阔的应用前景使得数字水印技术得到迅猛发展，其研究方向也从最初的 文本水印和图像水印发展到如今的视频水印，从最早将水印信息嵌入到时空域 发展到现在将信息嵌入到各种变换域，从最简单的应用发展到完善的水印认证 系统。水印技术进入了高速发展的时期，应用领域也越来越广。 1 4 本文主要工作与结构安排 本文在研究h 2 6 4 视频编解码关键技术的基础上，分析和总结视频水印技 术及先前的多种视频水印算法，特别针对h 2 6 4 数字视频的版权保护，提出了 一种基于h 2 6 4 低比特率视频码流的鲁棒盲水印方案。最后，利用j m 软件模型 和v i s u a lc + + 开发工具，搭建系统仿真平台，实现水印的生成、嵌入、提取以 及性能评估等功能，并对实现结果进行分析和总结。 全文的结构安排如下： 第一章：阐述了课题的研究背景，简单地介绍了数字水印的概念及应用， 概述了水印技术的发展历史及研究现状。 第二章：对数字视频水印技术概念、特性和视频水印框架进行了较详细的 阐述，在此基础上重点研究了几种传统的视频水印处理算法，并对这些算法的 性能进行了分析和比较。 第三章：简单地介绍了h 2 6 4 标准的概念及新型特性，系统地分析了h 2 6 4 ： 编解码架构，并就编解码过程中预测、变换、量化、编码控制、熵编码等关键 步骤的技术实现进行了较详细的分析和研究。 第四章：是本文的核心内容。在综合分析的基础上，提出了一种基于h 2 6 4 低比特率视频流的鲁棒盲水印算法，系统地阐述了此算法的水印生成、嵌入策 略和提取机制，并对这个算法进行了实现仿真和分析总结。 第五章：论文结束总结，并提出了下一步的工作方向。 自 最后是参考文献、攻读硕士学位期间发表的论文。 第二章数字视频水印技术及典型算法分析 2 1 引言 视频水印技术研究是当前数字水印研究方向的一个热点和难点【3 l 】。热点在 于：大量数字视频通信的应用及数字视频产品的推出，使得以数字水印为重要 组成部分的数字产品版权保护技术的市场需求更为迫切；难点在于：虽然数字 水印技术近几年得到迅速发展，但主要集中于静止图像水印技术，这得益于多 年来众多学者在视觉空间掩蔽效应领域的研究成果。然而在视频水印研究方面， 由于视频序列本身固有的一些特点，如过多的数据冗余、运动区域与非运动区 域分布的不平衡等，而且包括时间掩蔽效应等特性在内的更为精确的人类视觉 系统模型尚未完全建立，使得视频水印处理技术存在诸多迫切需要解决地问题， 以至于比数字图像水印技术发展滞后。同时，现有的标准视频编码格式一定程 度上阻碍了图像水印技术的引入，健壮的视频水印系统应与具体的编码标准相 结合。另外，视频水印算法在实际应用中经常有实时或接近实时的需求，所以 与静止图像水印相比，更为重要的是降低复杂度和提高实时性，在某些情况下 甚至不能像静止图像那样充分地利用人类视觉系统模型。此外，视频序列作为 一系列静止图像的集合，会遭受一些特定种类的攻击，这又为视频水印提出了 一些有别于静止图像水印的独特要求。 2 2 视频水印的主要技术要求 数字视频是连续播放的，相邻帧图像内容之间具有高度的相关性，并且还 存在动态编解码的过程。因此与静止图像水印技术相比，视频水印技术在应用 中具有某些独特的技术要求： 1 鲁棒性 鲁棒性也称稳健性，是指嵌入到作品中的水印抵抗攻击的能力，也即嵌入 水印后的视频经过一定的处理之后，水印应当能够被有效地提取出来( 数字水 印之所以能够实现版权保护作用，其原因也在于此) 。这些处理包括善意的和恶 意的，最常见的善意处理比如对视频的各种压缩( 最普遍的是m p e g - x 和h 2 6 x 系列压缩) 、多次重复压缩和解压缩等；而恶意的处理包括重量化转码、帧平均、 帧提取、加噪声、裁剪以及它们与压缩标准结合起来的混合攻击等。这些攻击 常常在部分地降低视频作品视觉质量前提下使水印信息失效。一个有效的视频 水印算法，应当对这些攻击具有鲁棒性，即经过了处理之后，使用相应的水印 检测算法，仍然能够检测出水印，从而实现对版权的保护作用。针对视频版权 保护的视频水印算法，其鲁棒性越强越好。 2 实时性 水印嵌入和提取算法应该具有较低的复杂度，以满足实时应用的要求。计 算复杂度越低，水印的可实用性越强。当然，不同的应用有不同的要求。如果 用于审计追踪，每个接收端都必须提取水印，则水印提取操作复杂度应该设计 得比较低。如果为不同接收者嵌入身份标识，在大量发布的视频序列中嵌入水 印，而水印提取只是在出现版权冲突时才进行，此时为了考虑所有可能的攻击， 水印提取复杂度可以很高，而水印嵌入的复杂度应该比较低。 3 随机检测性 随机检测性是指可以在视频的任何位置、在短时间内检测出水印，此时实 时性的要求更高。如果一个水印方案能够进行实时处理，但只能从视频的开始 位置按播放顺序一步步检测水印，则该水印方案不具有随机检测性；如果跳转 到视频的任何一个位置，也能在很短时间内检测出水印，则该水印方案就具有 随机检测性。 4 盲水印方案 视频水印的提取或检测原则上不允许使用原始数据。虽然使用原始的载体 信号，更有利于提取和检测信息，但是检测时使用的原始载体信号容易暴露给 恶意的攻击者，而且在很多应用中，并不能获得原始数据。即使可以获得，由 于视频文件的数据量十分巨大，利用原始视频来检测水印也是不现实的，同时 也会影响到算法效率，降低算法的实时性。 5 与视频编码标准相结合 视频数据量巨大，在存储、传输过程中通常先要进行压缩，现在较常用的 视频数据压缩标准有m p e g 1 、m p e g 2 、m p e g - 4 和h 2 6 4 等。如果与压缩编 码标准相结合，在压缩域视频码流中嵌入水印，将能大大提高算法效率。如果 在原始视频数据中嵌入水印，由于水印嵌入是利用视频冗余数据来携带信息， 而视频压缩编码的目的是为了去除冗余数据，如果不考虑视频压缩编码标准而 盲目地嵌入水印，则嵌入的水印很有可能在编码过程中完全丢失。 2 3 视频水印系统的性能评估 本文主要研究视频水印，因此假定原始宿主信号为原始视频序列。通常， 评价水印性能优劣的参数主要有以下几种： 1 人眼的主观评价 一个好的水印嵌入与提取算法要求水印是不可见的，即加入水印后的视频 应与原始视频应没有明显的差别。显然，人眼是最快最直接的评价标准，基于 i t u rr e e 5 0 0 图像质量主观等级评判【3 1 】如表2 1 所示。 人眼的主观测试评价对最终的视频图像质量评估和测试是有实用价值的， 但是在研究和开发中，该方法的用处却并不大，实际的视频图像质量往往采用 定性定量的评价标准来分析。 袭2 - 1i t u rr e c 5 0 0 主观豳像质量等级评判表 等缓对匿像质藿静损球疆懿 5 不可察觉( i m p e r c e p t i b l e )优( e x c e l l e n t ) 4 可察觉，假不令人讨厌( p e r c e p t i b l e ，n o ta n n o y i n g ) l 亟( g o o d ) 3 轻微令人讨厌( s l i g h t l ya n n o y i n g ) 中( f a i o 2 令人讨厌( a n n o y i n g )差( p o o r ) l 非常令人讨厌( v e r ya n n o y i n g )极差( b a d ) 2 。蜂德信嗓魄p s n r ( p e a ks i g n a l - t o - n o i s er a t i o ) 视频猩传播过程中，通常是以压缩格式存在的。经过压缩后的备帧图像相 对于原始视频帧要损失一部分信患，所以通常人们用p s n r 值来衡爨压缩帧与 覆始鞍之润静辍酝发，获蠢褥窭疆缩编码对于视频视觉缓重翡影桶。弱祥，京 原始域中嵌入水印的视频，p s n r 直接反映水印对原始视频的影响；而在压缩域 中嵌入水印的视频，p s n r 反映出水印和压缩编码对原始视频的影响。因此，无 论采援臻耱方法嵌入承馥，p s n r 舔爱获承爨鼯褪频褫爨凌量豹影雅程疫，成为 衡量视频水印系统性能好坏的一个重要参数。p s n r 定义如下： 一( f , w ) = 1 0 1 0 9 l o l 磊罴糕l ( 2 - 1 )| 以l 乙硪m 舛v _ v ，h ，、”| ，h ”l 其中，是原始视频信号，是数字水印，兀是嵌入了水印的视频信号， ( m ，拧) 是巢个象素点的俊，是，或者丘象索点的个数。 p s n r 静单位是务廷( 国) ，遴常使用静耩频序到格式为唧格式( 4 ：2 ：国， 所以p s n r 值反映在三个分量的平均值上，即s n r y 、s n r u 和s n r v 。 3 比特增加率b i r ( b i ti n c r e a s e dr a t e ) 含承翻鹃流与不会瘩瘁羁滚穗魄靛鼗据增量，这个参数爰浃永露对压缩魄 的影响，冀定义如下： b i r ：w a t e r m a r k e d _ _ b r - - 亏o r i g i n a l 一_ b r 1 0 0 ( 2 - 2 ) 式中，w a t e r m a r k e db r 表示含水印码流的码率，o r i g i n a l _ b r 表示不含水印 碣流的码攀。视频水霹系统的设计虚尽量降低比特增加攀b i r 。 4 穗似度系数p 数字水印从宿主视频中提取出来后，对备个观察者而言，所提取水印逼真 度的好坏取决于各自主溉上的看法，具有很大的随意性+ 对于所提蹴水印和原 始拳鼙，这二者裙酝剿哪一静程发，需要客潞静衡量方式。为了译价掰疆蠢求 印与原始水印的相似稷度，一个舰格化的相哭系数被定义如下： 鹏奶气i 蝥掣祟 ( 2 - 3 ) 以呐2 霭蔫意 。 其中，以，z ) 和识以) 分别是原始水印和提取出来的水印，肌是数字水印的 长度( 比特序列所含有的比特位数) 。对于鲁棒水印而言，p 值越大越好；而对 于脆弱水印，p 越小越好。 5 归一化相关系数n c ( n o r m a l i z e dc o r r e l a t i o n ) 对于嵌入二值水印的情况( 水印象素值不是0 就是1 ) ，除了采用相似度系 数来评价提取水印与原始水印的相似度外，为了简化计算，通常也使用n c 系 数，来衡量提取水印与原始水印的相似性程度，则公式为： 们= 端 式中，似厅) 和坝”) 也分别是原始水印和提取出来的水印。对于鲁棒水印而 言，n c 值越大，则稳健性越好。 6 比特位错误率b e r ( b i te r r o rr a t e ) 该参数反映在水印受到攻击以后，提取出的水印与原始水印的相似程度， 也反映了水印的鲁棒性。此参数适用于所嵌入的原始水印为比特序列时，可在 水印序列提取后直接计算，其公式定义为； b e r ：e r r o _ r = _ b i 一括1 0 0 ( 2 5 ) i o t a t b i t s 其中，e r r o rb i t s 表示提取出的错误位数，t o t a lb i t s 表示总共的水印位数。： 对于鲁棒水印，b e r 值越小，则水印稳健性越好。 2 4 视频水印的嵌入方案与框架模型 2 4 1 视频水印的嵌入方案框架 水印技术只有与视频编码系统相结合才能实现其应用价值。因此，根据水 印技术与视频编码系统的不同结合方式，可以将视频水印技术大致分为三种不 同的嵌入方案【j 2 j ：前置式嵌入、内置式嵌入、后置式嵌入；同时也有三种不同 的提取方案：前置式提取、内置式提取、后置式提取。三种不同的嵌入和提取 方案对应着具体视频编码系统的不同阶段。 水印提取方案应根据水印嵌入方案而进行相应设计。前置提取方案一般对 应于后置式嵌入方案，是通过对视频的压缩码流进行分析，从中提取水印信息； 内置提取方案则对应于内置式嵌入方案，通过视频码流的部分解码信息来进行 水印信息提取；而后置提取方案则是从重建视频图像序列信息中完成水印提取 和鉴别。图2 - 1 示意性地描述了不同嵌入和提取方案与视频编解码系统的关系， 也即构成了视频水印系统的理论框架模型。 前置 嵌入 t 原始视频 水印嵌入 视频压 缩码流 内置后置 嵌入嵌入 l y j 压缩视频 水印嵌入 前置内置后置 提取提取提取 b t 压缩视频原始视频 水印提取 水印提取 图2 - 1 视频水印嵌入和提取方案理论框图 前置式嵌入方案是将水印信息直接嵌入到原始图像序列中，形成含水印的 原始视频信息，然后进行某种视频压缩编码。虽然这种方案可以充分利用多种 用于静止图像的数字水印技术和策略，且设计方案将不会影响现有标准编解码 器的使用，但水印信息引入后必然会经过视频编解码处理，这样势必造成部分 水印信息的丢失，为水印的提取和检测带来诸多不利因素。 内置式嵌入方案是将嵌入过程引入到视频编码器中，与之结合而形成整体 算法。虽然这一方案增加了引入水印算法的局限性，且一旦水印信息嵌入到编 码码流中，经编解码过程后可能对视频信号质量产生不良影响，但是，由于该 方案一般是通过调制d c t 变换或量化之后的系数完成信息嵌入过程，这样可以 通过自适应机制分配隐藏信息到视频信号之中，并依据人的视觉特性进行调制， 在得到较好的主观视觉质量的同时将得到较强的抗攻击能力。由于这种水印嵌 入方案较为实用，因此受到许多研究者的重视。 后置式嵌入方案( 也可称为码流域嵌入方案) 是直接将水印信息嵌入到压 缩码流中，其最大优点在于不需要解码和再编码过程，因此水印嵌入对视频信 号的影响较小。但视频系统对视频压缩码率的约束将限制水印的嵌入信息量， 同时可能引起帧图像运动偏移，也必然对运动补偿环路造成负面效应，因此该 类