（通信与信息系统专业论文）h264avc视频编码及其差错控制技术研究.pdf

上海师范大学硕士学位论文摘要 h 2 6 4 a v c 视频编码及其差错控制技术研究 摘要 h 2 6 4 a v c 视频压缩标准是r r u - t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专 家组( m p e g ) 共同制定的最新视频压缩国际标准。与先前的视频压缩标准相比， h 2 6 4 a v c 在压缩性能上有了很大的提高，并具有较高的网络友好性，可以广泛应用于会 话( 视频电话) 和非会话( 存储、广播、流媒体) 等视频领域。 在h 2 6 4 a v c 视频编码过程中，编码时间受诸多因素的影响，如帧间帧内模式选择、 运动估计( m e ) 、率失真优化( i m o ) 等。为了以较快速度和较好质量进行编码，针对 h 2 6 4 a v c 帧内模式选择，本文提出了一种适用于h 2 6 4 a v c 帧内4 x 4 块预测的模式选 择快速算法。该算法利用帧内4 x 4 块最优预测模式与和它相邻的预测模式之间率失真代 价( r dc o s t ) 的高相关性，以及绝对变换误差和( s a r d ) 与率失真( i m ) 性能之间的 强相关性，有效地跳过一些不太可能的预测模式，从而使帧内4 x 4 块预测模式选择过程 只需进行4 次率失真代价计算即可。实验结果显示，该算法在编码性能和编码速度之间取 得了很好的折衷。 由于无线信道条件不稳定以及d 网络只提供“尽力而为服务的原因，视频信号在 无线网络和m 网络中传输极易产生包丢失等错误。本文针对i 帧视频图像，提出了一种 适用于h 2 6 4 a v c 帧内宏块的空域错误隐藏算法。该算法利用相邻块边界的方向信息， 在方向内插和线性内插( b i l i n e a ri n t e r p o l a t i o n ，b i ) 之间做出选择。其中，方向内插是为 了确保图像边缘信息得到正确恢复，线性内插是为了避免产生错误的边缘信息。实验结果 显示，该算法可以较准确地恢复出具有边缘纹理特性的区域，主客观质量均优于参考软件 中使用的加权平均错误隐藏算法。 关键词：视频编码，h 2 6 4 a v c ，帧内预测，差错控制，错误隐藏 a b s t r a c t 上海师范大学硕士学位论文 o nh 2 6 4 a v cv i d e oc o d i n ga n di t se r r o rc o n t r o lt e c h n o l o g y a b s t r a c t t h eh 2 6 4 m e p g 4a d v a n c e dv i d e oc o d i n gs t a n d a r df h 2 6 4 a v c ) i st h en e w e s tv i d e o c o d i n gs t a n d a r dj o i n t l yd e v e l o p e db yt h ei t u - tv i d e oc o d i n ge x p e r t sg r o u p ( v c e g la n dt h e i s o i e cm o v i n gp i c t u r ee x p e r t sg r o u po v 口e g l h 2 6 4 a v ch a sa c h i e v e das i g n i f i c a n t i m p r o v e m e n ti nc o m p r e s s i o np e r f o r m a n c ec o m p a r e dt op r i o rs t a n d a r d s ，a n di tp r o v i d e sa n e t w o r k f r i e n d l yr e p r e s e n t a t i o no ft h ev i d e ot h a ta d d r e s s e sb o t hc o n v e r s a t i o n a l ( v i d e o t e l e p h o n y ) a n dn o n c o n v e r s a t i o n a l ( s t o r a g e ，b r o a d c a s t ，o rs t r e a m i n g ) a p p l i c a t i o n i nt h ev i d e o e n c o d i n gp r o c e s s ，t h ee n c o d i n gt i m ei sg r e a t l yi n f l u e n c e db ym a n yf a c t o r s ， s u c ha si n t e r i n t r am o d ed e c i s i o n ，m o t i o ne s t i m a t i o n ( m e ) ，e t c i no r d e l t oe n c o d et h ev i d e o w i t hf a s t e rs p e e da n db e t t e rq u a l i t y , t h i sp a p e ro n l yf o c u s e so nt h ei n t r am o d ed e c i s i o ni n h 。2 6 4 | 斟ca n dp r e s e n t saf a s ti n t r ap r e d i c t i o nm o d ed e c i s i o na l g o r i t h mf o r4 x 4b l o c k si n h 2 6 4 a v c t h ep r o p o s e da l g o r i t h mu s e s ：( i ) h i g hc o r r e l a t i o no fr dc o s tb e t w e e nb e s t p r e d i c t i o nm o d ea n di t sn e i g h b o r h o o dp r e d i c t i o nm o d e ，( i i ) s t r o n gc o r r e l a t i o nb e t w e e ns u m so f a b s o l u t et r a n s f o r md i f f e r e n c e s ( s a t d ) a n dr a t ed i s t o r t i o n ( r d ) p e r f o r m a n c e ，e 伍c i e n t l y s k i p p i n gs o m eu n l i k e l yp r e d i c t i o nm o d e s t h u s ，i tc a nc o m p l e t e4 x 4i n t r ap r e d i c t i o nb yo n l y c o m p u t i n gr dc o s tf o rf o u rt i m e s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mi s ag o o dc o m p r o m i s eb e t w e e nt h ec o d i n gp e r f o r m a n c ea n dt h ee n c o d i n gs p e e d v i d e ot r a n s m i s s i o no v e rw i r e l e s sn e t w o r ka n di pn e t w o r kc a ns u f f e rf r o me r r o r s ，d u et o f l u c t u a t i n gc h a n n e lc o n d i t i o n s ，w h i c ha p p e a ri nt h ef o r mo fp a c k e te r a s u r e s t 1 l i sp a p e ro n l y f o c u s e so nt h ei n t r af r a m ea n dp r e s e n t sah i g h l ye f f e c t i v es p a t i a le r r o rc o n c e a l m e n ta l g o r i t h m m a tc a nb eu s e do ni n t r am a c r o b l o c k si nh 2 6 4 a v c i tu s e st h ed i r e c t i o ni n f o r m a t i o no f n e i g h b o r i n ge d g e sf o rd e c i d i n gb e t w e e nd i ( e n s u r i n ge d g ep r e s e r v a t i o n ) a n db i ( a v o i d i n gt h e c r e a t i o no ff a l s ee d g e s ) t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc a n p r e s e r v e se d g e sa n dt e x t m e da r e a sw i t h o u tc r e a t i n gn e wf a l s eo n e s ，a n dg i v eb e t t e rs u b j e c t i v e ( a n do b j e c t i v e ) q u a l i t yo v e rt h ec o m m o n l yu s e dw e i g h t e dp i x e lv a l u ea v e r a g i n g k e yw o r d s ：v i d e oc o d i n g ，h 2 6 4 a v c ，i n t r ap r e d i c t i o n ，e r r o rc o n t r o l ，e r r o rc o n c e a l m e n t 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别加 以标注和致谢的地方外，不包含其他人或机构已经发表或撰写过的研究成果。其他同志对 本研究的启发和所做的贡献均已在论文中做了明确的声明并表示了谢意。 作者签名 责吼埘_ 彤 论文使用授权声明 本人完全了解上海师范大学有关保留、使用学位论文的规定，即：学校有权保留送交 论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用 影印、缩印或其它手段保存论文。保密的论文在解密后遵守此规定。 名斟韦 上海师范大学硕士学位论文 第一章绪论 第一章绪论 1 1 课题研究目的和意义 由于计算机处理能力的不断提高，以及人们对多媒体信息需求的日益加大，近三十年 中，数字视频技术得到了飞速发展。据预测，数字音视频产业将在2 0 0 8 年超过通信产业， 在2 0 1 0 年成为国民经济第一大产业。 为了节约开发成本，并使不同制造商开发的视频产品可以互联互通，国际标准化组织 制定了一系列的国际视频压缩标准。同时，这些国际视频压缩标准的出台又极大地推动了 数字视频产业的发展与繁荣。 h 2 6 4 a v c 视频压缩标准是i t u - t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专 家组( m p e g ) 共同制定的最新视频压缩国际标准。这一标准集成了许多最新的视频压缩 技术，具有高效的压缩性能和友好的网络适应性【1 】【2 】，在现有的视频压缩标准中处于领先 地位。在相同的视觉感知质量上，编码效率比h 2 6 3 、m p e g 2 和m p e g - 4 提高了5 0 左 右【3 】，并以其卓越的压缩性能在高清晰度电视、卫星电视、存储媒体、无线多媒体应用等 方面显示出了巨大的市场潜力。 h 2 6 4 a v c 编码性能的提高以编码运算复杂度的增加为代价，在比m p e g 一4 提高约 5 0 压缩效率的同时，增加了十几倍的计算复杂度【4 】，因此为了满足实时应用的要求，必 须在其计算复杂度和编码效率之间取一个折衷，这也是h 2 6 4 a v c 视频压缩标准能否得 到广泛应用的关键。 另一方面，由于便携式消费类电子产品的不断增长以及p 网络的迅速发展，无线视 频传输和基于口网络的实时视频传输成为目前非常引人关注的研究课题。无线信道条件 的不稳定以及p 网络只提供“尽力而为”服务的原因，使视频信号在无线网络和p 网络 中传输极易引起包丢失等错误发生f 5 】【6 1 。尤其在广播和多点传送这种重传受限的条件下， 更容易发生传输错误。为了避免由于i 帧和p 帧的错误扩散，引起接收视频质量大幅度下 降，需要在视频编码端提供差错控制措施，在解码端应用错误隐藏技术，以此来提高视频 通信服务质量7 】【8 】。因此，研究视频的差错控制和错误隐藏技术具有及其重要的现实意义。 本论文第一个研究重点是h 2 6 4 a v c 的高计算复杂度问题。由于帧内预测是 h 2 6 4 a v c 计算复杂度高的主要原因之一，在对h 2 6 4 a v c 帧内预测模式选择进行了较 为深入研究的基础上，提出了一种高效的适用于h 2 6 4 a v c 帧内4 x 4 块预测的模式选择 第一章绪论 上海师范大学硕士学位论文 快速算法1 9 1 ，从而使帧内4 x 4 块预测的模式选择计算复杂度下降至全搜索的5 5 6 0 。 本论文第二个研究重点是h 2 6 4 a v c 错误隐藏技术，在对h 2 6 4 a v c 错误隐藏技术 进行较为深入研究的基础上，提出了一种基于i 帧宏块的空域错误隐藏算法，实验结果显 示，对于人物的眼、嘴、手臂等这类人眼视觉敏感、具有较强边缘细节特性的活动区域， 该算法的差错恢复性能优于h 2 6 4 a v c 参考软件中的空域错误隐藏算法。 本论文研究成果对于在视频通信领域应用h 2 6 4 a v c 视频压缩标准具有重要意义， 对其他视频编解码优化算法亦有一定的参考价值。 1 2 视频编码技术研究现状 i t u t 与i s o i e c 是制定视频压缩标准的两大国际组织，i t u t 制定的h 2 6 x 系列 和i s o i e c 制定的m p e g 系列标准是国际上应用最广、影响最大的视频压缩标准。h 2 6 x 系列标准包括h 2 6 1 、h 2 6 2 、h 2 6 3 ( h 2 6 3 + 、h 2 6 3 + + ) 、h 2 6 4 等，主要是为电信网络 的实时视频通信应用而设计的，可用于i s d n 、t 1 e 1 、p s t n 、移动无线网络以及 l a n i n t e m e t 网络等，典型应用包括可视电话、视频会议等。m p e g 系列标准包括m p e g 一1 、 m p e g 2 、m p e g 4 、m p e g 7 、m p e g 2 1 等，该系列标准对多媒体以及相关产业产生了 重大而深远的影响。 1 2 1i t u - th 2 6 x 系列标准 i t u ( i n t e m a t i o n a lt e l e c o m m u n i c a t i o n su n i o n ，国际电信联盟) 是世界各国政府的电 信主管部门之间协调电信事务方面的一个国际组织，成立于1 8 6 5 年5 月1 7 日。i t u - t 是 i t u 的电信标准化部门，成立于1 9 9 3 年，它的前身是c c i t t ( i n t e m a t i o n a lt e l e g r a p ha n d t e l e p h o n ec o n s u l t a t i v ec o m m i t t e e ，国际电报和电话咨询委员会) 。 1 9 8 9 年，c c i t t 发布了第一个数字视频压缩标准h 2 6 1 ，并于1 9 9 1 年获得正式批准。 h 2 6 1 的传输码率是p x 6 4 k b i t s ，p 取值较小时，只能传输清晰度不太高的图像，适合于 面对面的可视电话；p 取值较大时( 如p 6 ) ，可以传输清晰度较好的视频会议图像。h 2 6 1 视频压缩标准是图像压缩领域4 0 年研究成果的结晶，是第一个在国际上产生广泛影响的 视频压缩标准。 1 9 9 6 年3 月，i t u t 发布了适用于模拟电话线路传输视频会议以及连接到i n t e m e t 桌 面和移动终端的视频压缩标准h 2 6 3 1 0 】。它是在h 2 6 1 建议的基础上发展起来的，其帧率 2 上海师范大学硕士学位论文第一章绪论 为每秒1 0 帧以上，图像分辨率为1 7 6 x 1 4 4 ( q c i f 格式) 或者1 2 8 x 9 6 ( s q c i f 格式) 。h 2 6 3 是为了支持低速率的通信而制定的标准，但同时希望码流能够适应较大的动态范围，而不 仅限于低码率，能够取代h 2 6 1 。h 2 6 3 的容错能力很强，能适应误码率高的信道。 1 9 9 8 年i t u t 对h 2 6 3 进行了修订，发布了h 2 6 3 + 版本。其在h 2 6 3 的基础上增加 编码的可选项，在语法上与h 2 6 3 兼容，编码效率及抗误码性能有很大提高，适用范围更 大。主要应用于p s t n 以及无线接入的高误码率的通信环境。由于实现成本较低，h 2 6 3 + 标准得到了广泛的应用。后来，又在h 2 6 3 + 的基础上增加了三个选项( 选项u 、选项v 、 选项w ) ，该版本通常称为h 2 6 3 + + ，主要是为了增强码流在恶劣信道上的抗误码性能， 同时也是为了增强编码效掣1 1 1 【1 2 1 。 从h 2 6 x 系列标准的应用领域可以看出，这些标准主要是面向在低码率或甚低码率 下进行视频传输的需求。 1 2 2m p e g i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o i l ，国际标准化组织) 成立于1 9 4 7 年， 是国际标准化领域中一个十分重要的非政府组织。i s o i e c ( 国际电工委员会) 与j t c l ( 技术委员会1 ) 联合负责所有与计算机相关的活动。i s o i e c 的m p e g ( m o v i n gp i c t u r e e x p e r tg r o u p ，运动图像专家组) 一直致力于研究开发运动图像及其声音的数字编码国际标 准，从1 9 8 8 年成立以来，制定了一系列极具影响力的国际标准，对推动音视频产业的发 展与繁荣具有深远的意义。 1 9 9 2 年1 1 月，m p e g 1 标准正式获得批准【1 3 1 。该标准主要针对1 5 m b s 速率的数字 存储媒体运动图像及其伴音编码，提供3 0 帧c i f 格式v h s ( v i d e oh o m es y s t e m ) 质量 的图像。主要应用于光盘存储、数字便携摄像机、i n t e m e t 上的消费视频等。 1 9 9 4 年1 1 月，m p e g 2 正式发布【1 4 1 。m p e g 2 标准扩展了m p e g 1 标准，支持隔行 扫描的视频编码，支持高分辨率图像和声音，其目标是在3 1 5 m b i t s 传输速率条件下提供 广播级的图像，而且能够提供信噪比( s n r ) 、时间和空间三种分级编码。广泛应用于卫 星电视、有线电视、地面广播、高清数字电视、d v d 数字视频存储等方面。m p e g 1 和 m p e g 2 标准为v c d 、d v d 、数字电视等产业的发展打下了坚实基础，使多媒体应用深 入普通百姓生活。 2 0 0 0 年年初，经国际标准组织i t u 和i s o 审核后，m p e g 4 【1 5 】正式成为国际视频压 缩标准。m p e g 4 支持逐行扫描和隔行扫描，创造性的提出了对象( o b j e c t ) 的概念，是 第一章绪论 上海师范大学硕士学位论文 基于视频对象的编码标准，这种以内容为核心的描述方法更符合人的心理特性，从而不仅 能获得更优越的压缩性能，同时也扩展了应用范围。m p e g 4 标准既能够支持码率低于 6 4 k b i t s 的视频应用，也能够支持广播级的视频应用。主要应用于i n t e m e t 视频、交互式 视频、内容管理、专业视频、二维和三维计算机图形以及移动视频通信。 2 0 0 1 年7 月，i s o i e c 完成了m p e g 7 【l6 】标准的制定。m p e g 7 采用标准化技术对不 同类型的多媒体信息进行标准化的描述，并将该描述与所描述的内容相联系，以实现快速 有效的搜索。主要应用于数字化图书馆、广播式媒体、多媒体数据库等，使在互操作方式 下用户与网络之间方便地交换多媒体信息成为现实。 m p e g 2 1 1 7 1 是一个正在制定的标准，它的正式名称为多媒体框架。m p e g 2 1 的目标 是为从多媒体内容发布到消费所涉及的所有标准建立一个交互的多媒体框架，支持通过异 构网络和设备，使用户透明地访问各种多媒体资源，实现具有知识产权管理和保护能力的 数字多媒体内容。 在完成h 2 6 3 视频压缩标准的制定后，i t u t 开始着手制定下一代视频编码标准，即 h 2 6 l 18 1 。2 0 0 3 年3 月，i t u t 的v c e g 和i s o i e c 的m p e g 组成的j v t ( j o i n tv i d e ot e a m ， 联合视频组) ，共同制定了最新的视频压缩国际标准h 2 6 4 a v c 1 9 】。新标准正式名称分别 为：u tr e c h 2 6 4 和i s o m cm p e g 4p a r t1 0a v c ( 或1 4 4 9 6 1 0a v c ) 。h 2 6 4 a v c 极大地提高了视频压缩效率、网络友好性和差错控制性能，扩充了数字视频技术方面现有 的应用领域。 1 2 3 1h 2 6 4 a v c 视频压缩标准的发展 在提案的基础上，1 9 9 9 年8 月开始推出文档和参考代码t m l ( t e s tm o d e ll o n g t e r m ) 系列，形成t 后更名为j m ( j o i n tm o d e l ) 系列参考代码。t m l 系列共有9 个主要版本， 即t m l 1 至t m l 9 ；j m 系列从j m 1 发展到目i j 的j m 1 3 ，其中标准最终草案为2 0 0 3 年3 月在泰国发布的j m 6 版本，目前最新的参考代码版本为j m l 3 2 。 t m l 1 中采用4 阶滤波器实现1 3 像素精度的运动估计与补偿，包括1 6 1 6 、1 6 x 8 、 8 x 1 6 、8 x 8 四种宏块划分，多帧预测技术以及环路滤波器。t m l 4 中增加了6 阶滤波器 的1 4 精度像素运动补偿，基于4 x 4 块的帧内预测在t m l 4 中达到7 种。t m l 7 中增加 4 上海师范大学硕士学位论文第一章绪论 了1 8 像素精度运程补偿，采用了c a b a c 熵编码方法。j m 2 中，宏块划分为目前标准 中的树状结构宏块划分，基于4 x 4 块的帧内预测达到目前的9 种，确定了基于4 4 的类 似d c t 的整数变换。j m 3 中增加了基于1 6 x 1 6 块的帧内预测，并开始使用c a v l c 熵编 码方法。j 1 m 一4 引入了新的快速c a b a c 算法，提高了c a b a c 的编码性能，增加了f m o 模式和冗余片。j m 5 取消了1 8 像素精度运动补偿，增加了p o c ( p i c t u r eo r d e rc o u n t ， 图像序列号) ，增设了序列参数和图像参数集。j m 6 改进了f m o 解码、帧内预测模式选 择、运动矢量预测。j m 7 改进了环路滤波器、加权预测、码率控制，增加了 d r 图像选 择参数。j m 一8 增加了网络抽象层缓冲器容量，改进了s u s p 解码算法、非率失真优化编 码条件下的码率控制算法。j m 9 改进了c a v l c 熵编码算法以及对y u v 4 ：2 ：2 视频格 式的编码，支持y u v 4 ：0 ：0 格式视频信号的编解码，限制运动矢量大小，增加了最大 片的尺寸。j m 1 0 优化了快速运动估计算法，对码率输出做了改进。j m 1 1 为了实现差错 控制，在编码端增加了冗余图像。j m 1 2 增加了基于内容的自适应拉格朗日乘法器【2 0 1 ，支 持4 ：2 ：2 和4 ：4 ：4 视频格式，进一步改进了码率控制算法。j m 一1 3 改进了时域 直接模式，解决了4 ：2 ：2 和4 ：4 - 4 视频格式编码时的色度误匹配问题。 1 2 3 2h 2 6 4 a v c 视频压缩标准的应用领域 h 2 6 4 a v c 优异的压缩性能和友好的网络性能，使之可以广泛应用于从有线到无线， 从传输到存储，从低码率到高码率的数字视频通信领域【2 1 1 。主要包括以下几个方面： 1 基于电缆、卫星、c a b l em o d e m 、d s l 、陆地等媒介的视频广播； 2 基于光学或磁性设备、d v d 的交互式连续储存； 3 基于i s d n 、以太网、局域网、d s l 、无线移动网、调制解调器的会话服务； 4 基于i s d n 、c a b l em o d e m 、d s l 、局域网、无线网络的视频点播和流媒体服务； 5 基于i s d n 、d s l 、以太网、局域网、无线移动网等的多媒体信息服务。 1 2 4a v s 2 0 0 2 年6 月，中国信息产业部科学技术司批准成立数字音视频编解码技术标准工作 组( 简称a v s 工作组) 。该工作组的任务是：面向我国的信息产业需求，联合国内企业和 科研机构，制( 修) 订数字音视频的压缩、解压缩、处理和表示等共性技术标准，为数字 音视频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度激光数 第一章绪论上海师范大学硕士学位论文 字存储媒体、无线宽带多媒体通信、互联网宽带流媒体等重大信息产业应用。2 0 0 4 年， a v s 标准第二部分即视频部分【2 2 】( 第一版) 已经出台。 a v s 是我国具备自主知识产权的第二代信源编码标准，以最新的h 2 6 4 a v c 框架为 基础，编码效率比m p e g 一2 高2 3 倍，与h 2 6 4 a v c 相当，而且技术方案简洁，芯片实 现复杂度低，包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等 支撑标准，在高清晰度视频应用领域处于国际领先水平。 1 3 论文各部分主要内容 本文以新一代视频压缩标准h 2 6 4 a v c 为研究对象，在深入研究h 2 6 4 a v c 标准文 档和参考软件基础上，对其参考软件编解码器进行了优化。本文共分为五章。 绪论部分简要阐述了课题研究背景、研究目的和意义，国内外视频编码技术研究现状， 以及论文各部分的主要内容。 第二章介绍了h 2 6 4 a v c 的编解码框架，并详细分析了h 2 6 4 a v c 的关键技术，包 括帧内帧间预测、整数变换及量化、c a b a c 熵编码和环路去块滤波等。 第三章首先介绍了h 2 6 4 a v c 帧内预测模式选择算法；接着阐述了h 2 6 4 a v c 帧内 模式选择技术国内外研究现状；然后针对h 2 6 4 a v c 帧内4 4 块预测，提出了一种高效 的模式选择快速算法；最后对实验结果进行了分析和总结。 第四章概述了视频差错控制技术及h 2 6 4 错误隐藏技术；总结了h 2 6 4 a v c 错误隐 藏技术研究现状，并在此基础上提出了一种基于h 2 6 4 帧内差错宏块的错误隐藏技术；最 后对实验结果进行了总结分析。 最后一章总结本文的主要内容和工作成果，并对下一步的研究进行了展望。 6 上海师范大学硕士学位论文第二章h 2 6 4 a v c 视频压缩标准 第二章h 2 6 4 ，a v c 视频压缩标准 类似于以往的视频编码标准，h 2 6 4 a v c 的总体结构仍为基于块的混合编码，但增加 了许多新特性，如率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n , r d o ) 技术、4 x 4 整数变化、 i 帧图像的帧内预测编码、i 4 像素运动补偿、p 帧图像的多参考帧和多种块尺寸的编码、 环内去块滤波和高效的熵编码等【2 1 1 。这些新特性使h 2 6 4 a v c 比以往的视频压缩标准具 有更高的压缩效率和更强的网络友好性【3 】o 本章阐述了h 2 6 4 a v c 视频压缩标准的基本编解码框架，并详细分析了h 2 6 4 a v c 编解码主要功能模块以其关键技术。 2 1h 2 6 4 ，a v c 视频压缩标准的结构框架 为了增加设计的灵活性，增强视频信号的网络适应性，并扩展视频压缩标准的应用范 围，h 2 6 4 a v c 引入了分层的概念，将整个编码系统分为两个具有不同概念的层次，即视 频编码层( v i d e oc o d i n gl a y e r , v c l ) 和网络抽象层( n e t w o r k a b s t r a c t i o nl a y e r , n a t , ) 。 为了支持特定的编码功能和要求，h 2 6 4 a v c 定义了三个档次的视频编码，即基本档 次( b a s e l i n ep r o f i l e ) 、主要档次( m a i np r o f i l e ) 以及扩展档次( e x t e n d e dp r o f i l e ) 2 3 】。 h 2 6 4 a v c 并没有定义明确的编解码器，只是定义了编解码的视频流标准语法和一些 必须包含的功能模块，因此在编解码器的实现上有很大的自由度，也可以保证通用性幽】。 图2 - 1 的虚线部分即为视频编码标准的范围，所有的视频编码标准只对解码器进行标准 化，符合标准的编码比特流经过解码后，可以得到相同的输出。类似于先前的视频压缩标 准，h 2 6 4 a v c 也是基于预测、变换、量化、熵编码的混合编码结构，但新增的一些技术 使之在压缩效率和网络性能上优于先前的标准。 i 一一一一一 图2 - 1 视频编码标准的范围 7 第二章h 2 6 4 a v c 视频压缩标准上海师范大学硕士学位论文 2 1 1h 2 6 4 ，a v c 的分层结构 h 2 6 4 a v c 视频压缩标准的分层体系结构如图2 2 所示。 图2 - 2h 2 6 4 a v c 视频压缩标准分层结构 视频编码层是h 2 6 4 a v c 的核心部分，主要负责对数字视频进行高效编解码，提供具 有高质量、高压缩比、健壮性、可分级等特性的码流。但由于编码视频比特流对于不同的 传输网络和传输协议并不具有普遍的适应性，因此h 2 6 4 a v c 在视频编码层的外部定义了 网络抽象层。 网络抽象层主要负责将视频编码层产生的编码码流正确地、恰当地映射到不同的传输 网络中去。当视频编码层产生的视频比特流需要在某种特定网络中传输时，网络抽象层针 对这种网络及其传输协议的特性，对视频编码层的编码码流进行对应的封装。这样 h 2 6 4 a v c 就可以在面向不同的传输网络时，灵活的提供不同的封装方式，增强了网络的 适应性。网络抽象层的引入不但使h 2 6 4 a v c 对目前现存的各种不同网络具有很强的友 好性，而且使它对未来的网络同样具有很强的适应性【2 5 】- 【2 7 1 。 2 1 2 档次和级别 h 2 6 4 a v c 规定的三种档次，分别包含一组特定的视频编码工具，并支持特定的应用。 图2 3 描述了三个编码档次所包含的技术以及相应之间的关系。 1 基本档次主要包含低复杂度、低延迟的技术，主要有帧内编码、帧间编码、基于 上下文的自适应变长编码( c o n t e x t a d a p t i v ev a r i a b l e l e n g t hc o d e s ，c a v l c ) 。主要应用于 上海师范大学硕士学位论文第二章h 2 6 4 a v c 视频压缩标准 可视电话、视频会议、无线通信等实时视频通信领域。 2 主要档次支持隔行扫描( i n t e r l a c e ) 的视频序列、基于上下文的自适应二进制算法 编码( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 、采用b 片的帧间编码 和采用加权预测的帧内编码。主要应用于数字广播电视、数字视频存储等。 3 扩展档次不支持隔行扫描以及c a b a c ，支持数据分割和码流间的有效切换( s i 片和s p 片) ，改进了误码性能。主要应用于流媒体领域。 另外，编解码器在性能上的不同是通过定义一组级别来描述的，具体是从参数设置上 的不同体现的，例如，采样处理率、图像大小、编码速率及存储要求等。 e x t o n d o dp r o f i l e 图2 3h 2 6 4 a v c 基本档次、主要档次、扩展档次 2 1 3h 2 6 4 ，a v c 编码框架 h 2 6 4 a v c 的编码框架如图2 4 所示。编码器包括数据流路径：一个前向路径( 从左 向右) 和一个重构路径( 从右向左) 。 9 第二章h 2 6 4 a v c 视频压缩标准上海师范大学硕十学位论文 图2 _ 4h 2 6 4 a v c 编码器 在编码器前向路径中，待编码帧f n 被分成1 6 x 1 6 像素的宏块单元，每个宏块以帧内 或帧间模式编码。在帧内模式中，预测宏块p 由当前帧中已编码、解码、重构的宏块预测 得到( 图中，u f n 表示未经滤波的预测像素) 。在帧间模式中，预测宏块p 由1 个或多个 先前编码重构的参考帧f n 1 通过运动补偿预测得到。 当前宏块减去预测宏块p 得到残差宏块d n 。对残差进行变换、量化，对量化后的系 数进行熵编码。熵编码后的系数外加一些解码宏块所必须的信息( 如宏块预测模式、量化 步长、运动矢量信息等) ，最终形成压缩码流，并传送至网络抽象层以实现传输或存储。 在编码重构路径中，对量化后的系数进行反量化和反变换，得到残差宏块d n 。预测 宏块p 加上d n 得到重构宏块u f n 。对重构宏块进行环路滤波去除块效应，得到最终的重 构宏块并作为后续预测的参考。 2 1 4h 2 6 4 ，a v c 解码框架 为了与编码器的阐述相一致，解码器的数据流路径从右向左表示。h 2 6 4 a v c 的解码 框架如图2 5 所示。 l o 上海师范大学硕士学位论文第二章h 2 6 4 a v c 视频压缩标准 图2 5h 2 6 4 a v c 解码器 解码器从网络抽象层接收到压缩比特流，然后对这些数据元素进行熵解码、反量化、 反变换，得到重构残差d n 。利用从比特率中解码得到的头信息，解码器产生一个预测宏 块p ，这个预测宏块和编码器中形成的原始预测宏块p 是一样的。预测宏块p 与重构残差 d 。相加得到重构块u f n ，重构宏块经过环路滤波后得到解码宏块f n 。需要说明的是，编 码器中重构路径的目的是为了确保编码器和解码器都使用相同的参考帧来产生预测宏块 p 1 2 5 1 。 2 2h 2 6 4 ，a v c 的关键技术 h 2 6 4 a v c 视频压缩标准的总体结构仍为基于块的混合编码，通过帧内预测消除视频 序列中的空域冗余，通过帧间预测和运动补偿来消除视频序列中的时域冗余，经过变换编 码消除频域冗余。由于h 2 6 4 a v c 在每个模块中都引入了最新的编码技术，使性能得到 了极大的提高。例如：1 4 像素精度运动估计、多块模式的帧间预测、多参考帧、帧内预 测、环路滤波器、自适应二进制算术编码。本节将对h 2 6 4 a v c 的关键技术进行详细分 析。 2 2 1 帧内预测 视频序列通常存在大量的空域冗余，h 2 6 4 a v c 以前的视频压缩标准在做帧内编码 时，直接对编码宏块进行变换、量化、熵编码。由于每个宏块单独编码，可以防止误码扩 散，但由于没有利用到相邻宏块间的相关性，因而编码后码率较高。 为了提高帧内编码效率，h 2 6 4 a v c 引入了帧内预测技术，以此来消除视频序列的 空间冗余。它利用邻近块已解码重构的像素来预测当前宏块，对预测块和实际块的残差进 第二章h 2 6 4 a v c 视频压缩标准上海师范大学硕士学位论文 行变换、量化、熵编码，极大地降低了帧内编码比特率【2 8 1 。 由于视频序列的空间相关性远小于其时间相关性【2 9 1 ，为了产生高质量的帧内预测， h 2 6 4 a v c 提供了三种帧内预测方式：4 x 4 亮度块帧内预测、1 6 x 1 6 亮度宏块帧内预测和 8 x 8 色度宏块帧内预测，并且每一种预测方式提供多种预测模式。4 x 4 亮度块预测共有9 种预测模式，主要用在相对变化较大、包含多个不同对象、需要更小块分割和足够预测精 度的区域。1 6 x 1 6 亮度宏块帧内预测共有4 种预测模式，适合用在变化很小而面积较大的 区域。由于人眼视觉系统对色度变化的敏感度低于亮度变化，因此8 x 8 色度宏块帧内预 测预测模式也只需4 种预测模式。表2 1 、2 2 、2 3 给出了各预测模式的定义。第三章将 对h 2 6 4 a v c 帧内预测模式选择算法进行深入研究和分析。 1 2 表2 - 14 x 4 亮度块帧内预测模式 4 x 4 预测模式编号4 x 4 预测模式名称 oi n t e r4 x 4v e r t i c a l ( 垂直预测) li n t e r4 x 4h o r i z o n t a l ( 水平预测) 2i n t e r4 x 4d c ( d c 预测) 3 i n t e r _ 4 x 4d i a g o n a l _ d o w n _ l e f t ( 下一左对角线预测) 4 i n t e r _ 4 x 4 _ d i a g o n a l _ d o w n _ r i g h t ( 下一右对角线预测) 5 i n t e r _ 4 x 4v e r t i c a l _ r i g h t ( 垂直一右斜线预测) 6i n t e r4 x 4h o r i z o n t a ld o w n ( 水平一下斜线预测) 7i n t e r4 x 4v e r t i c a ll e f t ( 垂直左斜线预测) 8 i n t e r _ 4 x 4 _ _ h o r i z o n t a l _ u p ( 水平- 上斜线预测) 表2 - 2 1 6 x 1 6 亮度宏块帧内预测模式 1 6 x1 6 预测模式编号 1 6 x 1 6 预测模式名称 0 i n t r a1 6 x1 6v e r t i c a l ( 垂直预测) li n t r a1 6 x1 6h o r i z o n t a l ( 水平预测) 2i n t r a1 6 x 1 6d c ( d c 预测) 3i n t r a1 6 x 1 6p l a n e ( 平面预测) 表2 - 38 8 色度宏块帧内预测模式 色度预测模式编号色度预测模式名称 oi n t r ac h r o m ad c ( d c 预测) li n t r ac h r o m ah o r i z o n t a l ( 水平预测) 2i n t r ac h r o m av e r t i c a l ( 垂直预测) 3i n t r ac h r o m ap l a n e ( 平面预测) 上海师范大学硕士学位论文第二章h 2 6 4 a v c 视频压缩标准 2 2 2 帧间预测 h 2 6 4 a v c 视频压缩标准中使用帧间预测的帧包括p ( p r e d i c f i o n ) 帧和b ( b i d i r e c t i o n a l p r e d i c t i o n ) 帧，p 帧至多使用先前已编码重构的5 帧进行运动搜索，b 帧根据该参考帧是 在当前帧的前面或后面将参考帧分为前向参考帧( f o r w a r dr e f e r e n c ef r a m e ，f i 强) 和反向 参考帧( r e s e r v er e f e r e n c ef r a m e ，砌玎) ，进行更灵活的双向预测。 为了更准确地描述宏块的运动细节，h 2 6 4 a