（计算机科学与技术专业论文）h264avc视频流的信息隐藏技术研究.pdf

硕十学位论文 摘要 随着信息技术和计算机网络的飞速发展，数字产品的知识产权保护成为一个 迫切需要解决的问题。数字视频的版权保护和隐秘通信，成为多媒体技术发展的 一个迫切而现实的问题。因此，数字视频水印技术受到了广泛的重视。目前，基 于m p e g 编码标准的视频水印算法研究较多，而h 2 6 4 a v c 标准是最新的编码 标准，压缩效率高，网络适应性强，与之相适应的视频水印相对缺乏。 本文结合h 2 6 4 a v c 编码标准在编码特征工具上的特点，研究直接在压缩域 进行的h 2 6 4 a v c 视频水印与信息隐藏技术。论文的主要工作如下： 第一，简要介绍了h 2 6 4 a v c 视频编码标准，分析了视频水印，特别是压缩 域视频水印的应用领域和特点，并对现有文献中一些典型的视频水印算法进行了 归纳总结和对比分析。 第二，提出了一种基于二维映射关系的h 2 6 4 a v c 信息隐藏算法。该算法利 用构造经典的魔方矩阵来建立隐藏信息与载体d c t 中频系数之间的二维映射关 系。实验仿真结果表明，该二维映射方法与常规的一维映射相比，在相同的载体 利用率情况下能获得比常规一维映射更低的嵌入代价；该算法具有对载体的修改 率小，隐藏信息时对p s n r 值的影响较小的特点。 第三，针对h 2 6 4 a v c 编码标准的新特性，提出一种可抵抗共谋攻击的 h 2 6 4 a v c 压缩域视频水印算法。通过d c 系数的相关改变量来产生密钥从而确 定水印的嵌入位置。通过改变每个宏块的一个4 4 块的非零量化系数嵌入水印。 仿真试验结果表明，该算法在保证视频的视觉质量的前提下，有效的抵抗了共谋 攻击且水印的嵌入量相对于n o o r k a m i 等所提算法有了很大的提高。水印提取时 不需要对压缩码流完全解码，并能满足实时盲检测的要求。 关键字：信息隐藏；视频水印；h 2 6 4 ；压缩域；d c t i i h 2 6 4 a v c 的视频流的信息隐藏技术研究 a b s t r a c t w i t ht h er 印i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n dc o m p u t e rn e t w o r k s ， t h ec o p y r i g h tp r o t e c t i o no fd i g i t a lp r o d u c t sh a sb e c o m ea nu r g e n ti s s u et ob et a c k l e d i th a sb e c o m ea nu r g e n ta n dr e a l i s t i ci s s u et o p r o t e c tt h ec o p y r i g h ta n dc o n v e n c o m m u n i c a t i o no fd i g i t a lv i d e oe f f e c t i v e l y t h e r e f o r e ，d i g i t a lv i d e ow a t e r m a r k i n g t e c h n o l o g yh a sb e e nw i d e l yp r o p o s e df o rs u c ha na p p l i c a t i o n u pt od a t e ，m o s tv i d e o w a t e r m a r k i n ga l g o r i t h m sa r eb a s e do nm p e gw i t ht h ed e v e l o p m e n to fv i d e o c o m p r e s s i o ns t a n d a r d s ，s i n c eh 2 6 4 a 、厂cs t a n d a r di sb u r g e o n i n gv i d e oc o n l p r e s s i o n s t a n d a r da n di th a so u t p e r f o r m i n g c o m p r e s s i o ne m c i e n c y ，h 2 6 4 a v ci sw i d e l y a p p l i e di nv i d e oc o n l p r e s s i o n u n t i ln o 、v ，t h ev i d e ow a t e r m a r k i n gr e s e a r c hb a s e do n t h i ss t a n d a r di sn o te n o u g h i nt h i s d i s s e r t a t i o n ，c o m p r e s s e dd o m a i nv i d e ow a t e r m a r k i n ga n di n f o r m a t i o n h i d i n ga l g o r i t h mc o m b i n e dw i t hh 2 6 4s t a n d a r d sm a n ye x c e l l e n tc a p a b 订i t i e si s i n v e s t i g a t e d t h ed i s s e r t a t i o ni so r g a n i z e da sf o l l o w s ： t ob e g i nw i t h ， t h i sd i s s e r t a t i o n b r i e n y r e v i e w st h ef e a t u r e sa n dt o o l so f h 2 6 4 a v cv i d e oc o d i n gs t a n d a r d ，e s p e c i a l l yt h ea p p l i c a t i o no fv i d e ow a t e r m a r k i n g a n di t sc h a r a c t e r i s t i c s s o m et y p i c a lv i d e ow a t e r m a r k i n ga l g o r i t h m sa r er e v i e w e d t h e n ，an o v e li n f o r m a t i o nh i d i n ga l g o r i t h mf o rh 2 6 4 a v ci sp r o p o s e d t h i s a l g o r i t h me s t a b l i s h e sar e l a t i o n s h i pb e t w e e nh i d d e nm e s s a g e sa n dt h ec a r r i e r so f m i d d l ef r e q u e n c yd c tc o e f n c i e n t sb ya p p l y i n gt h ec l a s s i cm a g i cm a t r i x c o m p a r e d w i t ht h ec o n v e n t i o n a lo n e d i m e n s i o n a lm a p p i n gm e t h o d ，t h ep r o p o s e dm e t h o db a s e d o nt w o d i m e n s i o n a lm a p p i n gc a no b t a i nl o w e re m b e d d i n gc o s tw h e nt h eu t i l i z a t i o n r a t eo fc a r r i e ri st h es a m e m e a n w h i l e ，t h ep r o p o s e dm e t h o dn o to n l yh a sm i n o rr a t i o o fm o d i f i c a t i o n ，b u ta l s op r e s e r v e st h ev i s u a lq u a l i t yo ft h ev i d e ot h a nt h ee x i s t i n g m e t h o d f i n a l l y ， ac o m p r e s s e d d o m a i nv i d e o w a t e r m a r k i n ga l g o r i t h mr o b u s ta g a i n s t s e l f 二c o l l u s i o na t t a c ki sp r o p o s e db yu t i l i z i n gt h en e wc h a r a c t e r i s t i c so fh 2 6 4 a v c t h es e c u r i t yo fw a t e r m a r k i n gi sb a s e do nt h er a n d o me m b e d d i n gp o s i t i o n s s e l e c t i o n ， w 王l i c hi sd e c i d e db yt h ek e yo b t a i n e df r o mt h er e l a t e dc h a n g eo fd cc o e m c i e n t s w a t e r m a r ki se m b e d d e db ym o d i f y i n gt h en o n z e r oq u a n t i z a t i o nc o e 确c i e n t so ft h e 4 x 4b l o c k sw i t h i nam a c r o b l o c k s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e d a p p r o a c hc a ne n l a r g et h ew a t e r m a r kc a p a c i t yw i t h o u ts a c r i 矗c eo fv i d e oq u a l i t y m o r e o v e r ，i ti sn o tn e c e s s a r yt of u l l yd e c o d et h ev i d e os t r e a md u r i n gt h ew a t e r m a 伙 i i i 硕士学位论文 d e t e c t i o n ， s oi tc a nm e e tt h er e q u i r e m e n to fb l i n dd e t e c t i o nw i t hr e a lt i m e p e r f o r m a n c e k e y w o r d s ： i n f o r m a t i o nh i d i n g ；v i d e o w r a t e r m a r k i n g ；h 2 6 4 a v c ；c o m p r e s s e d d o m a i n ：d c t i v h 2 6 4 几w c 的视频流的信息隐藏技术研究 插图索引 图2 1h 2 6 4 编码器6 图2 2h 2 6 4 解码器7 图2 3当前编码块及用于预测的邻近象素8 图2 4帧内预测的8 个方向8 图2 5一个宏块中残差数据块的扫描顺序一8 图2 6宏块及子宏块分割方式9 图2 7亮度半像素位置内插1 l 图2 8亮度1 4 像素内插1 1 图2 9色度1 8 像素内插1 2 图2 1 0 相同尺寸时的邻近分割选择1 2 图2 1 1 不同尺寸时临近分割的选择1 3 图2 1 2 视频水印嵌入和提取方案理论框图1 9 图3 1基于d c t 系数的信息嵌入位置选择2 4 图3 2一维映射关系图2 5 图3 35 阶的魔方矩阵一2 6 图3 4 选取中频系数2 7 图3 5 二维映射关系一2 8 图3 6信息隐藏示意图2 9 图3 7信息提取示意图2 9 图3 8信息隐藏前后效果对比3 1 图3 9 载体修改率对比3 2 图4 1 图4 2 图4 3 图4 4 图4 5 水印算法的原理框图o 3 4 公钥生成框架图一3 5 改变宏块中一个d c 系数对视频质量的影响3 6 水印嵌入前后的对比图3 8 嵌入水印后对码率的影响一3 9 v l i 硕十学位论文 附表索引 表2 1 i t u rr e c 5 0 0 主观图象质量等级评价表1 6 表3 1比特位数选取对p s n r 的影响31 表4 1水印嵌入后不同视频序列的峰值信噪比( p s n r ) 3 8 表4 2 水印的容量分析与对比3 8 表4 3 水印提取率随帧平均变化的情况4 0 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名： 嗍：7 “月朔 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 黧喀重羔篡z 麓墨詈 导师签名：彩高池日期：少7 年衫月吵日 硕十学位论文 1 1 选题背景及意义 第1 章绪论 本课题的研究得到了国家自然科学基金项目“压缩域视频水印及其在p 2 p 流 媒体中的应用研究 ( 编号：6 0 7 0 2 0 6 5 ) 的资助。本文的主要工作是此项目的部分 研究内容。 众所周知，随着多媒体及网络技术的迅速发展，数字产品的知识产权保护成 为一个迫切需要解决的问题。数字水印和密码学同为信息安全的两大工具，不同 之处在于后者是对数据加密，加密之后数据无法使用，解密之后数据不再受到保 护，而前者则不但能隐藏信息的内容，而且能隐藏信息的“存在 ，且不影响对 象的使用价值。数字水印按照载体的不同，可分为文本水印、图像水印、音频水 印和视频水印等类型。视频水印作为数字水印技术的一个重要分支，具有不同于 其他载体类型水印的特点。与图像水印相比，视频水印除了需要满足静止图像水 印的要求外，往往还具有更高的要求。首先，要满足盲检测的要求，即水印的检 测不能够使用原始视频图像。其次，视频水印的嵌入、检测和( 或) 提取算法应该 简单、快速，满足实时性的要求，并要求水印算法与视频编码标准有良好的兼容 性。再次，若在压缩域嵌入水印信息，还必须保持视频流的比特率基本不变。 目前基于压缩域的视频水印算法研究是这一领域的热点，其主要原因是压缩 域嵌入视频水印具有如下优势：( 1 ) 、从压缩的视频流中易于得到运动、纹理等信 息，水印嵌入速度快，有助予实现实时视频水印；( 2 ) 、在不改变视频流格式的前 提下，通过适当修改语法元素，如运动矢量、d c t 系数等，可以与视频编码标准 有良好的兼容性，且可避免空间域视频水印在有损压缩时易受损的问题。但是， 压缩域嵌入视频水印也存在以下困难：( 1 ) 、视频编码后码流的冗余信息大幅度减 少，不利于视频水印的鲁棒性，可供水印嵌入的容量也相对较小；( 2 ) 、嵌入策略 通常受到相应视频压缩算法和编码标准的局限；( 3 ) 、视频流在格式( 包括编码标 准、码率、帧率或空间分辨率) 改变时，难以检测嵌入的水印信息。 自九十年代开始，数字水印( d i g i t a lw a t e r m a r k i n g ) 技术的出现对于保护多媒 体信息的版权以及对信息的合法使用提供了一种新的解决思路，并成为近年来数 字化技术的一个新热点【l 】。经过十多年的研究和发展，基于图像的数字水印技术 已经相对成熟，并取得了不少先进的研究成果，同时各大公司积极参与该技术的 研究，也推出了一些实用产品。但是，基于视频载体信号的水印方案目前相对较 少，原因是其算法的设计和实现的难度都较大。一方面，因为数字图像水印技术 h 2 6 4 a v c 视频流的信息隐藏技术研究 只是利用了视觉空间掩蔽效应的成果【2 】，而视频水印包括时间掩蔽效应特性在内 的更为精确的人眼视觉系统( h v s ) 模型【3 4 】尚未完全建立，以及视频本身不同于图 像的诸多特性，使得视频水印技术相对于数字图像水印技术发展滞后，同时现有 的视频编码标准比如m p e g 4 和最新的h 2 6 4 a v c 等又造成已有水印技术引入上 的局限性；另一方面，由于一些针对视频水印所特有的攻击形式( 如重量化转码、 帧编辑等) 的出现，为视频水印提出了一些区别于静止图像水印的独特要求。但是， 随着多媒体技术的发展及计算机处理视频数据能力的不断提高，人们对影视产品 的版权保护意识越来越迫切。因而，视频水印技术已引起工业界的浓厚兴趣并日 益成为国际上非常活跃的研究领域。水印技术存在的基础是其技术的先进性，其 归根结底是利用冗余来携带水印信息，而视频压缩的目的是去除冗余，因此好的 水印方案应该充分考虑视频压缩编码的新动向，紧密结合当前及未来的标准进行 研究。另一方面，压缩标准又会引入一些技术要求，要实现一个在鲁棒性、安全 性和水印嵌入量等方面达到均衡的水印系统，要求水印设计者必须熟悉和掌握视 频编码器的工作流程。这就迫切要求水印技术与最新的h 2 6 4 a v c 压缩标准【5 】相 融合，提升和改进现有的水印算法，以适应新的应用环境。国内外学者己进行了 大量的图像数字水印算法和基本理论的研究。但是，有关视频数字水印，特别是 结合新标准h 2 6 4 a v c 的视频水印的研究和开发还是比较有限的【6 ，7 ，弘1 2 】。本文就 是在总结前人研究的基础上，进行了进一步的探索性研究工作。 1 2 相关研究及发展现状 国际上，白1 9 9 4 年s c h y n d e l 在国际图像处理会议( i c i p 9 4 ) 中明确提出数字水 印概念以来，信息隐藏及水印技术的研究引起了广泛关注。 由于视频可以视为图像在时间轴上的扩展，视频水印算法的研究最初是从利 用图像水印的原理和算法扩展开始的，即将视频的每一帧视为一幅静止的图像， 研究每帧独立的视频水印，后来进一步拓展到空间域的视频水印【l 引。空间域视频 水印相对来说直观，易于理解。但是，嵌入水印后的视频数据在有损压缩时可能 丢失部分水印信息。对于已压缩的视频，需要先进行解码，嵌入水印后再重新编 码，这将会增加计算的复杂性并带来视频质量的降低。 鉴于空间域视频水印存在的上述缺陷，以及实际应用中输入序列往往是经过 编码的视频流，最近几年开始了直接在压缩域进行的视频水印算法的研究【l4 1 。国 际上，目前主流的研究是针对m p e g 2 视频流。w a n g 等提出了一种适合于m p e g 2 的盲视频水印算法，它可以抵抗典型的跳帧、剪裁等几何攻击。水印嵌入和提取 都是在压缩域进行的，不需要原始的像素域视频【15 1 。s a t y e n 等先将待嵌入的水印 图像分解为几幅二值图像，然后通过修改d c t 系数嵌入到视频序列的不同场景 中，从而实现了一种自适应的m p e g 2 压缩域视频水印算法。因为仅使用了d c t 2 硕 j 学位论文 系数，水印的嵌入容量有限，在码率缩减的视频转码时易受量化步长的影响i l 6 。 近三至四年来，开始了对最新视频编码标准h 2 6 4 a v c 的水印算法研究，它也是 从空间域水印和视频加密开始的。h 2 6 4 由于采用了可变分块大小运动估计、多种 帧内、帧间预测编码模式和新的熵编码方法等新的编码特征工具，压缩比更高， 导致可供水印嵌入的容量更小。s o u r a v 等在综述数字水印技术，特别是视频水印 技术的基础上，对几种常见的视频水印算法，包括扩频、c d m a 调制和3 维d f t 等 方法进行了对比分析，并简要分析了这些算法应用于h 2 6 4 的可行性i l 。p r 6 f r o c k 等提出的空间域水印算法，可抵抗压缩比约为4 0 的h 2 6 4 有损压缩。它通过改变对 象边界的位置来进行水印嵌入，并利用规范化的质心( n c g ) 来描述这些边界引。 l e e 等结合h - 2 6 4 编码标准，通过操纵d c t 系数和c a b a c 初始化表，提出了一种 低复杂度的加密和解密算法，可以分级保护视频内容【19 1 。q i u 【8 】和n o o r k a m i l 2 0 j 分 别提出了h 2 6 4 压缩域的视频水印算法，但都是对i 帧的残差进行水印的嵌入和提 取，水印的容量较小，鲁棒性较差。 在国内，1 9 9 9 年1 2 月，我国信息安全领域的何德全院士、周仲义院士、蔡 吉人院士与有关研究单位联合发起召开我国第一届信息隐藏学术研讨会( c i h w ) 。 目前已经召开了八届研讨会，c i h w 己成为国内最具代表性的信息隐藏学术交流 活动。特别是，第八届c i h w 会议于2 0 0 9 年3 月由网络与信息安全湖南省重点 实验室承办，在湖南大学召开，将进一步促进作者所在实验室的研究水平的提升。 目前，国内在信息安全领域比较有代表性的单位有：信息安全国家重点实验 室、哈尔滨工业大学计算机网络与信息安全技术研究中心、中山大学信息安全技 术研究所、湖南大学网络与信息安全实验室、北京交通大学信息科学研究所和北 京邮电大学信息安全中心等。在视频水印领域，出现了一些有代表性的成果。赵 耀提出了一种能有效抵抗几何攻击的鲁棒视频水印方案。它采用针对几何形变的 不变量平均交流能量，并使用小波变换的空一频特性和人眼视觉特性嵌入有意 义水印。在水印提取时，提出了最佳白化滤波器，并根据视频的统计特性设计白 化滤波器的参数，有效地提高检测性能【2 1 1 。刘琚等提出一种独立分量分析和镜头 分割相结合的盲视频水印方案。先通过全局直方图比较的方法将视频进行分段， 然后对这些段进行盲信号处理，在得到的主独立分量帧中采用单水印嵌入方案嵌 入版权信息【2 2 1 。朱仲杰等提出了一种m p e g 2 压缩域的自适应视频水印算法。它 将水印信息嵌入到运动矢量，根据待嵌入的水印信息和运动矢量的特征矢量，自 动调整嵌入方案，使得嵌入水印后的图像质量损失较小。同时，水印的提取算法 具有盲检功能，并且与视频压缩标准有较好的兼容性f 2 3 1 。但是，当图像组格式改 变时，水印的鲁棒性较差。王丽君等提出了一种自适应映射能量视频水印算法。 它通过选择一定的整数d c t 量化系数构造嵌入空间，利用能量映射函数嵌入水 印。为实现最优嵌入，利用三个模块( 最大匹配串模块，最小更改串模块和最小丢 h 2 6 4 a v c 视频流的信息隐藏技术研究 弃串模块) 调整嵌入后的码流，以降低对编码效率的影响。由于只在i 帧嵌入水印， 重编码时水印易受影响【2 引。z o u 等提出了一种适合于数字版权管理的h 2 6 4 视频 流加密方案。通过分析h 2 6 4 熵编码，对s l i c e 数据进行部分加密。与以往的加 密算法相比较，它可以有效地克服差错隐藏工具带来的信息泄露问题，并且在解 密器硬件设计复杂性和加密强度上进行了平衡的折衷【2 5 1 。曹华等在文献【8 】的基础 上，提出了一种基于h 2 6 4 低比特率视频流的半脆弱盲水印方法。将鲁棒水印嵌 入到帧内预测( i 帧) 的残差中，将脆弱水印嵌入到帧间预测( p 帧) 的运动矢量 残差，并将量化因子引入到嵌入过程。它取得了更好的率失真平衡，但不能抵抗 视频转码攻击【26 。 广阔的应用前景使得数字水印技术得到迅猛发展，其研究方向也从最初的文 本水印和图像水印发展到如今的视频水印，从最早将水印信息嵌入到时空域发展 到现在将信息嵌入到各种变换域，从最简单的应用发展到完善的水印认证系统。 水印技术进入了高速发展的时期，应用领域也越来越广。 1 3 研究内容和章节安排 目前，对于静止图像数字水印技术的研究比较多，而对视频信息隐藏及分支 视频水印的研究相对比较少。本文结合h 2 6 4 视频编码标准，对基于h 2 6 4 a v c 压 缩域的视频信息隐藏算法作了一些探索研究。论文的主要工作及章节安排如下： 第一章，主要介绍了研究课题的来源、选题背景、视频水印的研究现状、研 究动机以及本文的主要工作。 第二章，介绍了视频压缩编码h 2 6 4 a v c 标准的概念及新特性，系统的分析 h 2 6 4 编解码架构，并就编码过程中的帧内预测、帧间预测、变换、量化、熵编 码等关键步骤的技术实现进行了分析和研究。同时介绍了视频水印的相关特点以 及对现有的视频水印算法作了分析。这为后续章节中针对h 2 6 4 标准的信息隐藏 和视频水印算法的研究奠定了基础。 第三章，通过分析现有的基于d c t 系数的信息隐藏算法的特点和不足以及 h 2 6 4 a v c 的特点，提出一种基于二维映射关系的h 2 6 4 a v c 信息隐藏算法。并 对算法有效性进行了分析。 第四章，提出一种具有低复杂度，水印容量较大的并且可抵抗共谋攻击的 h 2 6 4 a v c 压缩域的数字视频水印算法。并对仿真实验结果进行了分析。 最后，总结全文并对本领域未来的发展进行了展望。 4 硕士学位论文 第2 章h 2 6 4 a v c 视频编码技术及视频水印基础 视频的压缩标准是视频水印的研究的基础。本章内容先从h 2 6 4 a v c 编码框 架上对其压缩编码标准进行分析阐述，对其i 、b 、p 帧的编码方式进行详述。然 后在此基础上从数字视频水印的基本特点和要求等进行研究分析，为后序章节作 基础。 2 1h 2 6 4 a v c 标准 h 2 6 4 标准是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活 动图像专家组) 的联合视频组( j v t ，j o i n tv i d e ot e a m ) 开发的标准，也称为m p e g 4 a v c ，它作为m p e g 4p a r t l o ，是“高级视频编码”。 2 1 1h 2 6 4 编码特点 与以前的视频编码标准相比，h 2 6 4 有如下特点【2 7 ，2 8 】： 1 提出n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 的概念，使之与视频编码层( v c l ) 相分离，能更友好地适应于网络的应用。 2 先进的帧间编码技术：宏块由以前标准的1 6 1 6 和8 8 模式，扩展为7 种不同大小块模式，运动矢量精度由以前标准的l 2 像素提高到1 4 像素， 色度块提高到l 8 像素。允许多参考帧，平均可采用5 个参考帧，允许b 帧作为其它帧的参考帧。 3 多种模式的帧内空间预测编码，有效提高了预测质量，从而提高了帧内 编码效率。 4 采用4 4 的整数类d c t 变换，降低了变换的计算复杂度，减小了d c t 浮点运算所带来的变换与反变换上的漂移。 5 基于上下文的自适应熵编码，包括c a v l c 及c a b a c 。 6 将自适应的循环去块滤波器用于编码器，有效提高了去块滤波的效果， 并且在一定程度上提高了帧间预测效果。 7 提出了包括f m 0 ( f l e x i b l em a c r o - b l o c ko r d e r i n g ) ，a s o ( a r b i t r a r ys l i c e o r d e r i n g ) ，s p s i ( s y n c h r o n i z a t i o n s w i t c h i n gp i c t u r e s ) 等新技术。 综上分析可知，h 2 6 4 编码标准的设计思想也是基于块的混合编码方案，但 是与先前的视频编码标准相比，不同之处在于：增强了运动预测能力；准确匹配 的较小块变换；自适应环内滤波器；增强的熵编码等。这些特征使h 2 6 4 编码器 获得了较高的编码效率。 h 2 6 4 a v c 视频流的信息隐藏技术研究 2 1 2h 2 6 4 标准编解码器 同早期的视频编码标准一样，h 2 6 4 没有明确定义编解码器。但着重定义了 编码视频码流的语法及对这种码流解码的方法。实际上，一个兼容的编码器和解 码器大致包括的功能模块，如图2 1 和图2 2 所示。除了去块滤波器以外，大部 分基本的功能模块( 预测、变换、量化、熵编码) 与以前的标准( m p e g 1 ，m p e g 2 ， m p e g 一4 ，h 2 6 l ，h 2 6 3 ) 均采用相同的原理。但h 2 6 4 标准的重要变化体现在每 个功能模块实现的细节上。 图2 1h 2 6 4 编码器 由图2 1 可知，h 2 6 4 编码器仍然采用基于预测和变换的混合编码方法。在图 中，输入的帧或场f n 以宏块为单位被处理。首先，按帧内或帧问预测编码的方法 进行处理。如果采用帧间预测编码，其预测值p 是由当前片中已编码的参考图像 经过运动补偿( m c ) 后得到的，其中参考图像用e 表示。为了提高精确度，提 高压缩比，实际的参考图像可以在过去或未来( 指显示次序上) 已编码重建和滤 波的帧中进行选择。预测值p 和当前块相减后，产生一个残差块d n 经过变换、量 化后产生一组量化后的变换系数x ，再经过熵编码，与解码所需的一些信息( 如 预测模式、量化参数、运动矢量等) 一起组成一个压缩后的码流，经n a l ( 网络 自适应层) 供传输和存储使用。 如上所述，为了提供预测用的参考图像，编码器必须有重建图像的功能。因 此，必须使残差图像经反量化、反变换后得到的d ：与预测值p 相加，得到u ( 未 6 硕i ：学位论文 经滤波的帧) 。为了去除编码解码环路中产生的噪声，提高参考帧的质量，从而提 高压缩图像性能，设置了一个环路滤波器，滤波后的输出e 即为重建图像，可 以用作参考图像。 图2 2h 2 6 4 解码器 解码器从网络提取层n a l 接收压缩码流。熵解码数据元素产生一组量化系 数x 。使用从码流中解码的头信息，调整这些系数，并反变换给出d ：( 等价于编 码器中的d ：) 。解码器创建预测的块p r e d ，等价于从编码器原预测的p r e d 。预 测p r e d 加上u ，并将其滤波产生每个块的解码r ，也就是最后解码输出的图 像。 2 1 3 帧内预测模式 在以往的视频编码标准中，帧内图像编码是直接对宏块进行d c t 变换、量化 和熵编码生成输出比特流的，帧内编码的数据量往往要比帧间编码大很多，在强 制刷新、码流控制以及增加抗误码性能时引入的帧内编码往往会造成码率的不平 稳现象。h 2 6 4 针对帧内编码作了进一步改进，引入了类似于帧间编码的帧内预 测方法，即对编码宏块进行不同模式的帧内预测，然后对预测误差信号进行d c t 变换，避免了以往帧内编码的缺陷。帧内4 4 亮度块共有9 种可选帧内预测模式， 帧内1 6 1 6 亮度块共有4 种可选帧内预测模式，而帧内8 8 色度块有4 种预测模 式，与亮度分量的4 种1 6 1 6 的预测模式相同【2 9 | 。 对于帧内4 4 亮度块的预测方式而言，主要用于对图像的细节信息进行预测。 现假定q c i f 帧中的一个亮度宏块和此宏块中一个需要预测的4 4 亮度块，该亮 度块的左边宏块和上面宏块都已编码并重建，可以作为当前4 4 亮度块的预测参 考。图2 3 表示了对该4 4 亮度块以及邻近像素所作的标号，其中大写字母a p 是已经编码并在重建后可以作为预测的像素，小写字母a p 是当前正在编码的亮 度块像素。 7 h 2 6 4 a v c 视频流的信息隐藏技术研究 对于4 4 亮度块，从模式o 到模式8 共有9 种帧内预测模式。即：模式o ： 垂直预测；模式l ：水平预测；模式2 ：d c 预测；模式3 ：左下角对角线预测； 模式4 ：右下角对角线预测；模式5 ：垂直偏右预测；模式6 ：水平偏下预测；模 式7 ：垂直偏左预测；模式8 ：水平偏上预测。图2 4 的箭头方向即表示了除去模 式2 之外的8 种不同预测方向。 mab c d e fgh i ab cd jef g h k l 】 kl lmno p 心侈二 彳n r l 6 图2 - 3 当前编码块及用于预测的邻近象素图2 4 帧内预测的8 个方向 帧内l6 16 方式主要用于对图像的平滑区域进行预测，其包括垂直预测、水 平预测、d c 预测和平面预测这4 种预测模式。 在一个宏块中残差数据以图2 5 顺序进行编码发送。如果一个宏块以1 6 1 6 的帧内模式编码，则首先发送标志为“1 ”的块，它是由每个4 4 亮度块的d c 系 数组成，接着发送编号为o 15 的16 个4 4 亮度块残差编码块( 在1 6 l6 帧内宏 块上，标号为o 1 5 的这些4 4 亮度残差块d c 系数设为o ) ，接着再发送标号为 16 和17 的两个2 2 色度块，它们分别由4 4 的c h 和c ，系数的d c 系数组成，最 后发送标号为1 8 2 5 的这8 个4 4 色度残差编码块。 2 d c 系数 a c 系数 ( a ) 4 4 亮度残差编码块顺序( b ) 4 4 色度残著编码块顺序 图2 5 一个宏块中残差数据块的扫描顺序 此外，还有一种帧内编码模式称为ip c m 编码模式。该模式下，编码器直接 硕l j 学位论文 传输图像像素值，而不经过预测和变换。在一些特殊的情况下，特别是图像内容 不规则或者量化参数非常低时该模式比起“常规操作 ( 帧内预测一变换一量化一 熵编码) 效率更高。ip c m 模式用于以下目的： 1 允许编码器精确的表示像素值； 2 提供表示不规则图像内容的准确值，而不引起重大的数据量的增加； 3 严格限制宏块解码的比特数，但不会损害编码效率； 2 1 4 帧间预测模式 在视频编码标准中，帧间预测是一种充分利用时间相关性去除时间冗余数据 的有效编码方法。宏块通常是进行预测的基本单元，一个宏块对应一个运动矢量。 在高级预测模式下，一个宏块的4 个8 x 8 亮度块各对应一个运动矢量。然而在 h ，2 4 6 编码器中，块的划分要复杂得多，它支持范围从1 6 1 6 到4 4 大小的运动 补偿亮度块尺寸，也就是说每个宏块可以划分成1 6 1 6 、1 6 8 、8 1 6 或8 8 这四 种子模式。如果选择8 8 模式，则每个8 8 块可以进一步划分成以下四种子块模 式：8 8 、8 4 、4 8 、4 4 。这种分割下的运动补偿则称为树状结构运动补偿，如 图2 6 所示。 宏块类 8 8 类型 1 6 1 61 6 88 1 68 8 8 8 目田田 8 44 84 4 目田田 图2 6 宏块及子宏块分割方式 对于宏块中的每一个块或子块都有一个独立的运动矢量，每个运动矢量必须 进行编码并通过比特流来发送，分割方式的选择也需要压缩到比特流中。对大的 分割尺寸而言，运动矢量选择和分割类型只需少量的比特，但运动补偿残差在多 细节区域中的能量将非常高。小尺寸分割运动补偿残差能量低，但需要较多的比 特表征运动矢量和分割选择。分割尺寸的选择影响了压缩性能，整体而言，大的 分割尺寸适合于平坦区域，而小尺寸适合多细节区域。 另外，对于h 2 6 4 标准，缺省的运动补偿是基于1 4 象素精度，与m p e g 1 、 9 h 2 6 4 a v c 视频流的信息隐藏技术研究 m p e g 2 、m e p g 4 以及h 2 6 l 、h 2 6 3 的整象素或半象素相比具有更高的精度。 从而使得块的匹配更加精确，运动补偿后要进行变换编码的残差数据更少。 2 1 5 整数变换与量化 与以往的视频编码标准相似，h 2 6 4 对残差采用基于块的变换编码，而且这 种变换是整数操作而不是实数运算，其过程和d c t 基本相似。这种方法的优点在 于：在编码器和解码器中可以得到精度相同的正变换和反变换，便于使用简单的 定点运算方式。也就是说，这种变换不会出现“反变换误差”，从而消除因变换精 度所引起的图像失真。变换的最小单位是4 4 块，而不是以往常用的8 8 块。由 于变换块尺寸的缩小，运动物体的划分更精确，这样，不但变换计算量比较小， 而且在运动物体边缘处的衔接误差也大为减小。为了使小尺寸块的变换方式对图 像中较大面积的平滑区域不产生块之间的灰度差异，可对帧内宏块亮度数据的1 6 个4 4 块的d c 系数( 每个小块1 个d c 系数，共1 6 个) 进行第二次4 4 块的 h a d a m a r d 变换，对每个色度的4 个4 4 块的d c 系数( 每个小块1 个d c 系数， 共4 个) 进行2 2 块的h a d a m a r d 变换。因此，h 2 6 4 标准中的变换主要有三种：4 4 残差数据变换、4 4 亮度d c 系数变换( 16 16 帧内模式下) 、2 2 色度d c 系数 变换。 h 2 6 4 协议中的量化采用分级量化原理。从整体上看h 2 6 4 变换采用了1 6 - b i t 的整数变换，在没有损失精确度的情况下，避免了反变换的失配问题。在量化过 程中还可以有机结合变换中的系数矩阵，使得变换过程中不再出现小数乘法问题， 并且在量化过程中巧妙地回避了除法运算。 2 1 6 运动矢量 帧间编码宏块的每个分割或者子宏块都是从参考图像某一相同尺寸区域预测 而得。两者之间的差异( 即运动矢量m v ) 对亮度成分采用1 4 像素精度，色度 1 8 像素精度。亚像素位置的亮度和色度像素并不存在于参考图像中，需利用邻 近已编码点进行内插而得。图2 7 中，当前帧的4 4 块通过邻近参考图像相应区 域预测。如果运动矢量的垂直和水平分量为整数，参考块相应像素实际存在( 灰 色点) 。如果其中一个或两个为分数，预测像素( 灰色点) 通过参考帧中相应像 素( 白色点) 内插获得。内插像素生成方法如图2 7 所示。首先生成参考图像亮 度成份半像素位置像素。半像素点( 如b ，h ，m ) 通过对相应整像素点进行6 抽头 滤波得出，权重为( 1 3 2 ，5 3 2 ，5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。半像素点b 的计算如公式 ( 2 1 ) ： e 5 f + 2 0 g + 2 0 5 ，+ j 6 2 ，d “刀d ( i ；一) ( 2 1 ) 1 0 碰t 学位论立 口口囚闲习口口 口口回图习口口 圉 圉匮圉圈 口口叵蓬鋈匹：j 口口 图27 亮度半像素位置内插 类似地，h 由a 、c 、g 、m 、r 、t 滤波得出。如果邻近( 垂直或水平方向) 整像素点的所有像素都计算出，剩余的半像素点便可以通过对6 个垂直或水平方 向的半像素点滤波而得。例如，j 由c c ，d d ，h ，m ，e e ，f f 滤波得h 。 半像素点计算出柬以后，1 ，4 像素点就可通过线性内插得出，如图2 8 所示。 l “像素点( 如a ，c ，i ，k ，d ，n ，q ) 由邻近像素内插而得，即 d ( 半) 图28 亮度1 4 像素内插 忑 闲 h ， 、g ，e 隧斓 、 r，r 雨 浏 n f 22 、 剩余l 4 像素点( p ，r ) 由两个对角线半像素点线性内插得出。如：e 由b 和h 获得 十日应的，色度像素需要l 8 精度的运动矢量，也同样通过整像素线性内插得出， 如图29 所示。 ：竺竺：銎：! i i ：! ! 其中 濑 蹙 悸 图29 色度1 ，8 像素内插 w 矾垫坠业兰竺竽竺盥生竺) ( 2 3 ) 当d ，足2 ，d 。是3 ，所以： 叫型坐芸堂丝) ( 2 4 ) 2 1 7 运动矢量预测 编码每个分块的运动矢