（模式识别与智能系统专业论文）基于h264avc的码率控制算法的研究.pdf

基于h2 6 4 1 a v c 的码率控制算法的研究 摘要 视频传输需要比传统的文本、语音等类型的信息传输占用更多的带宽资源。 随着数字视频及图像传输业务需求的大幅增加，带宽越来越不能满足当今信息 传输的需要，因此原始视频数据必须经过编码压缩处理，才能在受带宽限制的 条件下实现传输。 早期视频编码标准的技术局限性，导致了它无法在窄带的条件下保持高质 量的视频内容传输的连贯性。h 2 6 4 a v c 是国际电信联合会( i t u t ) 和国际 标准化组织( i s o i e c ) 共同研究并发布的下一代视频压缩标准。该标准为了使 视频压缩编码在比特率受限条件下，得到最优化的压缩效率，其宏块编码采用 了率失真优化策略和码率控制技术。本文对h 2 6 4 a v c 所采用的主要编码技术 中的码率控制算法进行了研究。主要内容有： 1 在介绍了h 2 6 4 a v c 视频编码标准的基础上，分析了其采用的码率控制 算法。 2 改进了原有基于率失真优化模型的码率控制算法中的i 帧的码率控制算 法。由于使用了新的方法来估算i 帧的目标码率和失真度，改善了原算法中缓 存状态的控制和帧的复杂度的估算，优化了i 帧的量化参数q p 的计算流程，加 强了视觉的连贯性。 3 引进了一个p s n r 作为p 帧的复杂度的判别量，以提高编码p 帧时对其 复杂度的估算，从而解决了由于h 2 6 4 中对于运动预测使用的衡量标准一平均 绝对差( m a d ) 在某些情况下并不能很好的反应该帧的复杂度的问题。随后， 通过拉格朗日优化算法，找到了平衡编码量和失真大小的宏块的最佳编码模式。 4 将经过改进的h 2 6 4 a v c 的编码器整体移植到了a r m 平台上，并做了 一定的优化，满足了嵌入式系统的应用需要。然后选用一些视频序列进行模拟 测试，给出了压缩效果和测试结论。 测试结果表明，这些改进实现了对i 帧的比特数的更好的控制，能够更好地 预测p 帧复杂度以及目标比特数。从而更好地降低缓存的占用度，防止缓存的 溢出，减少了跳帧情况的发生，并且达到了更好的视觉质量。 基于h 2 6 4 a v c 的码率控制算法的研究 关键词：视频压缩编码，h 2 6 4 a v c ，码率控制，率失真优化，a r m i l 基于h 2 6 4 a v c 的码率控制算法的研究 a b s t r a c t v i d e oc o m m u n i c a t i o n sr e q u i r ev e r ym u c hb a i l d w i d m c o m p a r i n gw i t ho t h e r i n f o r m a t i o nt y p e ss u c ha st e s ta n dd a t a w i t ht h ee n o r m o u s l yg r o w t ho ft h e r e q u i r e m e n t o f d i g i t a l v i d e oa n d i m a g et r a n s f e r e n c e ，v o i c e a n dd a t a c o m m u n i c a t i o nc a l ln o t s a r i s 句t h ep e o p l ea n ym o r e i no r d e r t o a d a p tt h e b a l l d 、v i d t l l - l i m i t e dc h a n n e l s ，e s p e c i a l l yw i r e l e s sc h a n n e l s ，v i d e os o u r c em u s tb e c o m p r e s s e df i r s t l y t h ee a r l yv i d e oc o d i n gs t a n d a r dh a v em a n yd r a w b a c k so b v i o u s l yd u et ot h e t e c h n o l o g yl i m i t a t i o n s s ot h e yc a l ln o ta c h i e v eh i g hq u a l i t ya n dl o wd e l a yu n d e r n a r r o wb a n d 埘d t h n u t a n di s o i e cj o i nt oe s t a b l i s ha n dr e l e a s ean e wg e n e r a t i o n i n t e r n a t i o n a lv i d e oc o d m gs t a n d a r d ：h 2 6 4 a v c i tu s e st h er a t ed i s t o r t i o nm o d e l t oc o n t r o lt h eb i tr a t e ，a n dt oa c h i e v et h eb e s te f f i c i e n c yo fc o m p r e s s i o nu n d e rt h e s i t u a t i o nw h e nt h eb i tr a t ei sr e s t r i c t e d i nt h i st h e s i s ，t h er a t ec o n t r o la l g o r i t h mi s b e e ni n v e s t i g a t e d f i r s t l y , w ei n t r o d u c et h eh 2 6 4 a v cc o d i n gs t a n d a r da n da n a l y s e i t sr a t e c o n t r o lm e t h o d s e c o n d l y , w em o d i f yt h er a t ec o n t r o ls c h e m eo fi - f r a m e b yu s i n gan e ww a y t o e s t i m a t et h et a r g e tb i t r a t ea n dd i s t o r t i o no fi - f r a m e , w ec a l la c h i e v eb e t t e rc o n t r o lo f b u f f e rs t a t ea n dt h ec o m p l i x i t yo ff r a m e s ，o p t i m i z et h ec a l c u l a t i o no ft h e q u a n t i z a t i o np a r a m e t e ro f e a c hi - f r a m e ，a n di m p r o v et h ev i s u a lq u a l i t y t h i r d l y , w ep r o p o s ep s n ra san e wm e a s u r eo fp - f r a m et oi m p r o v et h e e s t i m a t i o no fc o m p l e x i t ya n dr e s o l v et h ep r o b l e mt h a tt h em e a na b s o l u t ed i f f e r e n c e ( m a d ) o fr e s i d u a l si sd i f f i c u l tt oo b t a i nag o o de s t i m a t eo fc o m p l i x i t yw h e nt h e s c e n ec h a n g eo rh i 曲m o t i o ni nt h eh 2 6 4 a v cs t a n d a r d t h e nw ec a l c u l a t et h e l a g r a n g i a nc o s tt ob a l a n c et h er a t ea n dd i s t o r t i o n ，b yw h i c hw ec a nf i n dt h eb e s t e n c o d i n g m o d e f i n a l l y , f o rt h eu s eo fe m b e ds y s t e m , w ep o r t a n d o p t i m i z et h ew h o l e h 2 6 4 a v ce n c o d e rt ot h ea r m 9 2 6 e js y s t e m a l s ow et e s ts o m ev i d e os e q u e n c e s i 基于h 2 6 4 a v c 的码率拧制算法的研究 o i li tt ov e r i f yt h ee n c o d eq u a l i t y t h et e s tr e s u l ts h o w st h a tw ec a na c h i e v eb e t t e rc o n 仃o lo f t h eb i t so f if r a m ea n d t h ee s t i m a t i o nt h ec o m p l i x i t ya n dt h et a r g e tb i t so f t h epf r a m e t h e nw ec a nr e d u c e t h eo c c u p a n c yo fb u f f e r ，a v o i dt h eo v e r f l o wo fb u f f e r ，e n c o d et h ev i d e os e q u e n c e w i t hl e s ss k i p p e df l a m e sa n dg e tb e t t e rv i s u a lq u a l i t y k e y w o r d s ：v i d e oc o m p r e s s i o n , h 2 6 4 a v c ，l a g r a n g i a a , r a t e c o n t r o l ， r a t e d i s t o r t i o n ，a r m 东华大学学位论文原创性声明 本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本 人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用 的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的 内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律 结果由本人承担。 学位论文作者签名茂明明 日期：h 3 ( 年7 月八日 东华大学学位论文版权使用授权书 学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有 关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以 将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存和汇编本学位论文。 保密口，在年解密后适用本版权书。 本学位论文属于 不保密口。 撇娥高铭j ) 孔叼明 搁：加。6 孕；周1 i l 寻 掰缸情元：王妊跌) j 皇8 ：加6 车；日 o 基于h2 6 4 a v c 的码率挣制算法的研究 第一章概述 视频压缩编码技术就是对数字视频信号进行压缩和解压缩的技术。当今， 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是2 0 世纪9 0 年 代以来，随着i n t e r n e t 和移动通信的迅猛发展，视频信息和多媒体信息在i n t e m e t 和移动网络中的处理和传输技术成为了当前我国信息化中的热点【l l 。 视频信息具有如直观性、确切性、高效性、广泛性等很多优点。然而视频 信息的信息量很大，其编码必须要经过压缩之后才能得到更有效应用；视频编 码压缩又会造成视频信息质量下降，这两者是相互矛盾的。因而面临的问题是， 一方面要保证有大的压缩比，同时又要保证一定的视频质量【2 】。 本章将在阐述数字压缩编码技术的背景、发展历史和应用现状的基础上， 简要介绍几种比较流行的视频编码方法的原理及特点。为后续章节打下基础。 1 1 视频压缩编码技术简介 由于在空间和时间上都采用了规范的采样过程，视频画面是一个数字化的 像素阵列，其密集程度适于表征每点最高的空间频率。然而绝大多数画面却包 含非常少，甚至不包含这种最高频率的细节。此外，在场景的运动图像中，理 想的压缩系统只需要描述场景中的物体的瞬时运动；在码流中，各符号间的相 关性会产生冗余t 3 l 。这意味着，消除了视频在时间、空间和统计上的冗余度后 所得到的新的数据量将远低于数字化采样所产生的原始数据量。 因此，尽管不同的视频压缩标准有不同的特点，它们都包含了三个主要的 功能模块：变换编码、运动补偿和熵编码。这种变换编码+ 运动补偿的结构也 被称为混和编码( h y b i r dc o d i n g ) 。对应的，各个功能模块是为了消除视频信号 中的空间冗余、时间冗余和统计冗余 4 1 。 从上个世纪8 0 年代开始，世界上有两个主要组织致力于数字视频压缩的标 准化工作：国际电信联盟远程通讯部( i t u t ) 和国际标准化组织( i s o ) 的运 动图像专家组( m p e g ) ，不断的推出一系列针对不同应用领域的数字视频编码 基于h 2 6 4 a v c 的码率控制算法的研究 标准，包括i s o i e c 的m p e g 系列和i t u t 的h 2 6 x 系列。这些标准在码率、 图像质量、实现复杂度、纠错能力以及延时特性上存在着很大的差别，从而涵 盖了各种数字图像应用的不同需求 5 1 。图1 1 是数字视频编码标准的发展过程。 1 徽黼缃 图1 1 视频编码发展历史 从上图中可以看出，i t u t 和i s o i e c 基本上是在相互独立的情况下开发各 自的系列标准，他们的应用领域是不同的。m p e g 系列主要应用于数字娱乐( 如 v c d ，d v d ，数字电视) 或视频监控领域，而h 2 6 x 系列主要应用于实时的视 频通信，包括可视电话，视频会议，无线视频广播等等1 6 1 。 1 2 视频编解码算法标准简介和应用现状 在2 0 0 1 年以前，i t u t 和i s o 分别独立开发用于视频压缩编码的规范和标 准。从2 0 0 1 年起，1 1 1 j - t 与i s o i e cm p e g 共同组成了联合开发组t ( j o i n t v i ( 1 e ot e a m ) ，合作开发新一代视频压缩标准h 2 6 4 ( 同时最终的标准也将作为 m p e g 4 的第l o 部分) 。目前，在国际上流行的视频压缩标准主要有：i t u - t 的 h 2 6 1 、h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + ：i s 0 的m p e g 1 、m p e g - 2 和m p e g 4 等。 2 0 0 3 年3 月，t 又正式推出了h 2 6 4 视频压缩标准( 原h 2 6 l ) 7 1 0 1 9 8 4 年c c i t t 第1 5 研究组发布了数字基群电视会议编码标准h 1 2 0 建议。 2 基于h2 6 4 a v c 的码率控制算法的研究 1 9 8 8 年c c i t t 通过了p x 6 4 k b i t s ( p = l ，2 ，3 ，4 ，5 ，3 0 ) 视像编码标准 h 2 6 1 建议，被称为视频压缩编码的一个里程碑。从此，1 1 u t 、i s o 等公布 的基于波形的一系列视频编码标准的编码方法都是基于h 2 6 1 中的混和编码方 法。 h 2 6 1 的目的是规范i s d n 网上的会议电视和可视电话应用中的视频编码 技术。它采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗余的 d c t 变换的混合编码方法1 8 j 。和i s d n 信道相匹配，其输出码率是p 6 4 k b i t s 。p 取值较小时，只能传清晰度不太高的图像，适合于面对面的电视电 话；p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视图像。 1 9 9 5 年，i t u t 推出h 2 6 3 标准。h 2 6 3 是在h 2 6 1 的基础上发展起来的。 h 2 6 3 系列编码标准是专门为了低于6 4 k b i t s 的低码率视频传输而制定的，如 p s t n 信道中的可视会议、多媒体通信等，已被工业界广泛采用。例如，可视 电话标准r r u t h 3 2 4 ( p s t n ) 、h 3 2 0f i s d n ) 和h 3 1 0 0 3 i s d n ) 等均采用了h 2 6 3 为视频部分的编码协议。1 9 9 6 年3 月推出h ，2 6 3 标准第一版，有4 个高级模 式。1 9 9 8 年1 月通过了h 2 6 3 第二版本，俗称h 2 6 3 + ，增加了1 2 个高级模 式，并修正了第一版中的1 个高级模式。2 0 0 0 年1 1 月，又讨论了h 2 6 3 第 三个版本，又称h 2 6 3 + + ，新增3 个高级模式。h 2 6 3 版本的升级主要体现在 增加或修改了一些高级编码模式，对旧版本保持兼容，但功能有了新的增强主 要体现在：提高视频压缩效率、增强传输鲁棒性、扩大适用范围等【9 】。 h 2 6 3 是基于运动补偿的d p c m 的混合编码，在运动搜索的基础上进行运 动补偿，然后经过d c t 变换和z 字形扫描游程( z i g - - z a g ) 编码，得到输出码 流。h 2 6 3 在h 2 6 1 建议的基础上，将运动矢量的搜索增加为半像素点搜索， 同时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和p b 帧 编码四个高级选项，达到了进一步降低码速率和提高编码质量的目的。 h ，2 6 3 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压 缩标准。与h 2 6 1 的p x 6 4 k 的传输码率相比，h 2 6 3 的码率更低，单位码率可 以小于6 4 k ，且支持的原始图像格式更多，包括了在视频和电视信号中常见的 q c i f ，c i f ，e d t v ，i t u - - r 6 0 1 ，i t u - - r 7 0 9 等等【l o l 。 h 2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧 基于h 2 6 4 a v c 的码率控制算法的研究 间编码两个部分。帧内用改进的d c t 变换并量化，帧间采用1 2 像素运动矢量 预测补偿技术，使运动补偿更加精确，量化后使用改进的变长编码表( v l c ) 量化数据进行熵编码，得到最终的编码系数【1 1 1 。其典型原理框图如下： 图1 2h 2 6 3 编码原理框图 h 2 6 3 的编码速度快，其设计编码延时不超过1 5 0 m s ；码率低，在5 1 2 k 乃 至3 8 4 k 带宽下仍可得到相当满意的图像效果，十分适用于需要双向编解码并 传输的场合( 如：可视电话) 和网络条件不是很好的场合( 如：远程监控) 。 h 2 6 3 是h 2 6 1 协议的发展，并将逐步在实际上取而代之，主要应用于通 信方面，但h 2 6 3 众多的选项往往令使用者无所适从。 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ， m o v i n g p i c t u r e e x p e r t c r o u p ) 。1 9 9 1 年公布了m p e g 一1 视频编码标准，码率为 1 5 m b i 以，主要应用于家用v c d 的视频压缩；1 9 9 4 年1 1 月，公布了m p e g 一 2 标准，用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视 ( h d t v ) 。码率从4 m b i t j s 。1 5m b i t s 直至1 0 0m b i t s 分别用于不同档次和 不同级别的视频压缩中【1 2 j 。 m p e g 1 标准视频编码部分的基本算法与h 。2 6 l h 2 6 3 相似，也采用运动补 偿的帧间预测、二维d c t 、v l c 游程编码等措施。此外还引入了帧内帧、预 测帧、双向预测帧和直流帧等概念，进一步提高了编码效率。在m p e g 1 的基 础上，m p e g - 2 标准在提高图像分辨率、兼容数字电视等方面做了一些改进， 例如它的运动矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分 ”帧”和”场”；引入了编码的可分级性技术，如空间可分级性、时间可分级性和 4 基于h 2 6 4 a v c 的码牢控制算法的研究 信噪比可分级性等【1 3 1 。 1 9 9 9 年1 2 月份，i s o i e c 通过了视听对象的编码标准一m p e g 一4 ，它 除了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。该标 准的最后版本于2 0 0 0 年1 0 月公布【1 4 1 。它旨在为视音频数据的通信、存取与管 理提供一个灵活的框架与一套开放的编码工具。这些工具将支持大量的应用功 能( 新的和传统的) 。尤为引人注目的是，m p e g 4 提供的多种视音频( 自然的 与合成的) 的编码模式使图像或视音频中对象的存取大为便利。 为适应比较宽广的应用面，m p e g 4 把各种应用中相似的功能分门剐类集中 起来，以工具和算法的形式解决这些问题，包括： 图像和视频的有效压缩； 纹理的有效压缩( 用于二维与三维网格上的纹理映射) ； 隐含的二维网格的有效压缩； 控制网格运动的时变几何参数的有效压缩； 对各种可视对象的有效随机存取； 对图像和视频序列的扩展操纵管理功能； 图像和视频基于内容的编码； 纹理、图像和视频基于内容的可伸缩性； 空间、时间和质量可伸缩性； 在易错环境下的鲁棒性。 基于内容的功能集支持内容( 即场景中的物理对象v o ) 的单独编码和 解码。 m p e g 4 的这些特性为交互性提供了有力的底层机制支持，也为在压缩域 对图像或视频的v o 内容进行灵活的表示和管理提供了有利条件1 5 1 。 m p e g - - 4 图像与视频标准统一支持传统矩形和任意形状图像与视频的编解 码。传统的图像和视频编码采用类似于m p e g - i 2 的技术，包括运动预测，补偿 及随后的纹理编码。对于基于内容的应用，输入的图像序列可能具有任意形状 和位置。这时，传统的途径可以通过附加编码形状和透明信息来扩展。形状可 以用8 位透明分量表示( 一个v o 由多个其它对象构成时) 或用一个二值掩模 描述。另外，通过对场景中每个物体采用适当的和精细的基于对象的运动预测 基于h2 6 4 a v c 的码率控制算法的研究 工具，可以大大提高某些视频序列的压缩比。 m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用，其核 心视频编码的基本框架是和h 2 6 1 一致的。其中引人注目的m p e g - 4 的“基于 对象的编码”部分由于尚有技术障碍，目前还难以普遍应用【1 6 1 。 为了克服h 2 6 3 与m p e g 4 的弱点，近一步提高编码效率以及适应不同信 道的网络传输，i t u t 于1 9 9 7 年提出的一个长期的视频标准化项目h 2 6 l ，并 在1 9 9 9 年8 月推出该标准的第一版测试模型。为了响应i s o i e cm p e g 对先 进视频编码技术的需求，从2 0 0 1 年开始，和i t u 开始组建了联合视频工作组 ( j v t ) ，在h 2 6 l 的基础上开发新的视频编码标准，2 0 0 3 年3 月，i t u t 和 i s p f l e c 正式公布了h 2 6 4 视频压缩标准，不仅显著提高了压缩比，而且具有良 好的网络亲和性，加强了对m 网、移动网的误码和丢包的处理。有人将h 2 6 4 称为新一代的视频编码标准。 目前，h 2 6 4 由于具有卓越的编码性能，众多主流编码器厂商都支持h 2 6 4 ， 并且已经进入商用阶段。在解码芯片上，b r o a d c o m 、c o n e x a n t 、t i 、s t 、s i g m a d e s i g n s 、p h i l i p s 等都已经发布了量产的h 2 6 4 新品。其中p h i l i p s 今年的h 2 6 4 s d 标清解码芯片出货量计划达到5 0 万片，1 r i 则计划达到8 0 万片。而已经推 出h 2 6 4 商用机顶盒的厂商也数量众多，包括a m i n o 、t h o m s o n 、三星电子等【17 】： h 2 6 4 在中国市场最初并不受青睐，但随着高清晰电视和i p t v 的发展， h 2 6 4 正受到越来越多的重视。虽然现在能够提供h 2 6 4 端到端解决方案的厂 商并不是很多，但主流厂商正在紧锣密鼓抓紧研发h 2 6 4 解决方案却已是不争 的事实了。随着时间的推移、各厂商方案的成熟，h 2 6 4 势必会占据主流【培1 。 1 3 本文的研究内容 作为最新的视频编码标准，h 2 6 4 的应用前景是非常广阔的。业界已经有提 议用h 2 6 4 取代原先被看好的m p e g - - 4 作为下一代数字电视的工业标准。但 同时，我们也应该看到，h 2 6 4 也存在着运算量过大的弱点。本文在深入研究 h 2 6 4 ，a 、，c 的文档，性能和计算复杂度的基础上，对其参考软件编码进行了优 化。 本文共分六章。第一章介绍了视频编码的发展和现状。 6 基于h2 6 4 a v c 的码率控制算法的研究 第二章介绍了h 2 6 4 a v c 的编码原理，对其中的主要功能模块：帧内预测、 多种块模式的帧间预测、1 4 和1 8 像素的运动估计、多参考帧、整数变换、 c a v l c 、c a b a c 和环路去块效应滤波器及其包含的新技术进行了详细论述。 第三章介绍了h 2 6 4 a v c 中的码率控制算法技术，详细阐述了其中所用到 的技术以及整个算法的流程。 第四章首先分析了h 2 6 4 a v c 中的码率控制算法技术中所存在的缺陷，然 后提出了对于i 帧的码率控制的改进算法，以及对于p 帧的复杂度和目标码率 的估算的改进算法，并分别做了局部的仿真和综合的仿真。 第五章将前文中改进了的h 2 6 4 的编码算法移植到了a r m 9 2 6 e j 平台上， 并在代码和结构的层面上作了一定的优化。 第六章为全文总结，并对下一步的工作迸行了展望。 7 基于h 2 6 4 a v c 的码率控制算法的研究 第二章视频编码标准h 2 6 4 早期的视频编码标准，如：h 。2 6 3 、m p e g 一2 、m p e g 一4 等，其技术局限 性导致了它无法在窄带的条件下，保持高质量的视频内容的传输和图像的连贯 性。国际电信联合会( i t u t ) 和国际标准化组织( i s o a e c ) 共同研究并发 布的下一代视频压缩标准h 2 6 4 a v c 中采用了众多新的视频压缩技术，使视频 压缩编码在比特率受限条件下，达到编码失真最小、压缩效率最优，并在接收 端获得更高的视频质量。宏块编码采用率失真优化策略和码率控制技术是这一 标准的主要特点。 本章将详细分析h 2 6 4 a v c 视频编码国际标准，并对其中使h 2 6 4 a v c 编 码性能得到巨大提升的关键模块进行较详细的研究和分析。 2 1h 2 6 4 视频编码标准概述 h 2 6 4 是i t u t 和i s o d e c 正在联合制定的最新编码标型5 l 【6 】，它最先由 i t u t 的v c e g ( v i d e o c o d i n g e x p e r t g r o u p ) 于1 9 9 7 年提出，当时用名为h 2 6 l ( l o n gt e r m ) ，目标是提出一种更高性能( 相对于当时的h 2 6 3 ) 的视频编码 标准，目的包括：第一，在同样的视频质量下，相对于m p e g 2 编码标准，提 供大约5 0 码率的降低。第二，提高视频的编码效率，差错控制能力，以及网 络的友好性。 2 0 0 1 年底，i s o i e c 的m p e g 加入到h 2 6 4 标准的开发过程中，与v c e g 组成t ( j o i n tv i d e ot e a m ) 。2 0 0 3 年6 月正式推出官方标准的草案。该标准 在i t u t 中被称为r e c o m m e n d a t i o nh 2 6 4 ，而在i s o h e c 中成为m p e g - 4 的第 十部分：p a r t1 0 ( a d v a n c e dv i d e oc o d i n gp r o f i l e ) 。 h 2 6 4 作为新的视频压缩标准，它除了具有目前现有标准的特点外，还具有 以下一些特点【7 】： ( 1 ) 相同的码率下提供更高质量的画面 h 2 6 4 和其他一些编码标准的比较见图2 - 2 。从图中可以看出，在相同质量 8 基于h2 6 4 a v c 的码率控制算法的研究 的情况下，h ，2 6 4 相对于h 2 6 3 的b a s e l i n e 可以节约4 0 - - 5 0 的码率。在相同 码率下，h 2 6 4 可以提供更好的视频质量。 歉姻蛐黼，c 群，饕 ： p务 e 。劳 t 竣螽 蠹而 谬 一 l 一 矿 l ，缫a 攀| 兰。 埘 | ：螽f l 叶卜m 鹂l 嬲镯蝴黼冁 i l b 毫辣f 隆阈 p 矗l | 鹫e e f 5 沲 。l 砧五 i 一a 磁 夏： ，澎誓嚣 砖 j群l f 。 ；援 群 - _ 飘 十城獬鳞黔 ；： l 擎，十瓣酗徽 竺 戳 勘撼a 豁静晦 赫醐汹蛾 b珏船 渤撼酬弑 i i r 口m 睁勰i 图2 1h 2 6 4 a v c 和其他标准的比较 ( 2 ) 数据错误丢失的鲁棒性 h 2 6 4 在设计时。针对分组交换网如l _ i i t e m c t 中的分组丢失和无线网络中比 特误码都提出了相应的工具，使得h 2 6 4 在这些网络中传播时具有更强的抗误 码性能。 ( 3 ) 不同网络环境下操作的可变性 为了适应这种应用环境的多变性，h 2 6 4 a v c 的设计包括了一个视频编码 层( v i d e oc o d i n gl a y e r ，v c l ) ，用于高效率地表示视频内容，和一个网络抽 象层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) ，用于格式化视频的v c l 内容，并提 供合适的头信息以便适应不同的传输层和储存媒介，使得h 2 6 4 的比特流 ( b i t s t r e a m ) 可以方便的在不同的网络上传输。 h 2 6 4 的良好特性决定了它的广泛应用领域。目前，该标准主要应用于以下 领域： 通过电缆、卫星、c a b l e m o d e m 、d s l 、陆地等媒介的广播；在光学或磁性 9 基于h2 6 4 a v c 的码率控制算法的研究 设备、d v d 上的交互式储存基于i s d n 、以太网、l a n 、d s l 、无线移动网络、 调制解调器的会话服务；基i s d n 、c a b l e m o d e m 、d s l 、l a n 、无线网络的视 频点播和多媒体流服务；基于i s d n 、d s l 、以太网、l a n 、无线和移动网络等 的多媒体消息服务( m m s ) 。 2 2h 。2 6 4 视频编码标准的结构框架 随着通信技术和计算机技术的飞速发展，特别是互联网和移动通信网在世 界各地的兴起和普及，编码视频的传输网络也将变得越来越复杂。如何增强编 码视频的网络适应性，扩展视频编码标准的应用范围日益成为人们关注的焦点。 为此，h 2 6 4 a v c 在设计上将整个编码系统分成视频编码层v c l ( v i d e oc o d m g l a y e r ) 和网络提取层n a l ( n c t w o f l ca b s t r a c t i o nl a y e r ) 两个具有不同概念的层 次。图2 2 为相应的方框图。 藏2 戳，嗣虻撼螺 搅绷搿霸嗣喔 桶氍秘翩嘲龌 ：- 卜- 卜羞 憩矧翻酷糯獭熊剧曛i 日隧 阿豁蕊慰嗣固豳上卓穗酾濉融脬髓口 黼 l i 搿f | 粼| | 量黝惝z t p 驯 p 勰卜一 1 k，”，e 矿 吣岔龟z 二一一7 。| ：# l 黼i | j e 5 镕i 绦i 。- * 图2 2h 2 6 4 a v c 标准的分层体系结构 视频编码层v c l 主要负责对数字视频进行高效编解码，提供具有高质量、 高压缩比、健壮性、可分级等特性的视频编码码流。这一部分也是整个 h 2 6 4 a v c 视频编码标准的核心部分，同时也是本文研究的重点。 但如同前面提到的，编码视频比特流对于不同的传输网络和传输协议并不 l o 基于h2 6 4 a v c 的码率控制算法的研究 具有普遍的适应性。为此h 2 6 4 a v c 在视频编码层的外部定义了网络提取层 n a l 。 网络提取层n a l 主要负责将视频编码层v c l 产生的视频编码数据正确的、 恰当的映射到不同的传输网络中去。当v c l 产生的编码视频比特流将在某种特 定网络中传输时，n a l 针对这种网络及其传输协议的特性，对v c l 的编码码 流进行适合该网络及其传输协议的封装。这样h 2 6 4 a v c 就可以在面向不同的 传输网络时，灵活的提供不同的封装方式，增强了网络的适应性。n a l 的产生 不但使h 2 6 4 a v c 对目前现存的各种不同网络有很强的网络友好性，而且使它 对未来的网络同样具有适应性。 图2 3v c l 编码结构框图 h 2 6 4 的v c l 层编码结构图如图2 - 4 所示。首先，对采用帧内编码的视频 帧可以通过帧内预测降低帧内的空间冗余度，通过d c t 变换进一步降低空间冗 余度。其次，对帧间编码，通过运动补偿预测减少了图像在时域上的冗余度， 对运动补偿预测的残差场进行整形d c t 变换编码。最后，利用变长编码对量化 系数、运动矢量、以及边缘信息进行熵编码。 h 2 6 4 视频编码标准支持各种分辨率的视频图像格式，包括s u b q c i f 、 q c i f 、c i f 、4 c i f 、1 6 c i f 等。数字视频信号一般都是以y u v 格式存储的， n 格式存储的视频信号其亮度信号和色度信号是分开存储的。h 2 6 4 支持 基于h2 6 4 a v c 的码率控制算法的研究 y u v 4 2 0 格式视频信号。4 ：2 ：0 格式视频信号中，亮度信号按照图像格式本 身的分辨率进行采样，色度块( c b 和c r ) 在x 轴和y 轴的采样率均为亮度信 号采样率的一半。视频输入的每一帧图像，都被分为若干个宏块。每一个宏块 由4 个8 x 8 的亮度块y 以及一个c b 块和一个c r 块组成。不同的宏块组成不同 的块组，称为片( s l i c e ) 。h 2 6 4 中提出了片组( s l i c eg r o u p ) 的概念，片组是 由不同的片组成的。片组的概念是为了灵活块分配编码提出的。 o l 珊 1 1 2 2 日b 稍 一嚣升 一瓢+ 外 + 一瓣l i 葑 图2 4 传统视频椟的片结构 在以往的视频编码标准中，只允许顺序块分配方案，即连续的多个块组成 一个s l i c e 。如，一帧q c i f ( 1 7 6 x 1 4 4 ) 的图像，分成l l x 9 个的宏块阵列，其 中每一行是一个s l i c e 如图2 5 所示。 a1o 1 d1 ala1a ld 1 l ol口1a a1稳1o 1a1a1a a1a1a 1 n1a1o o101口 1 o1o 1珏 o 1 o 1o 1 口1口1o a1n 1 a 1 a1a1口 a1a1a 1 o1口1o 口 1 a 1a 1 o1o工 o 图2 5h 2 6 4 中片组示意图 1 2 基于h ，2 6 4 a v c 的码率控制算法的研究 h 2 6 4 中允许采用片组来进行分片，所谓片组，就是把一帧的宏块划分开， 分成不同的部分，每一部分属于一个片组，然后属于一个片组内的宏块组成不 同的片。比如，一帧数据分为两个片组，其中偶数列是一个片组，奇数列是一 个片组，如图2 - 6 所示。 抛颤陴刊 口口 姨 围2 6 h 2 6 4 帧结构图 其中，所有“0 ”宏块组成片组一，所有“l ”块组成片组二。这样标有“0 ” 的宏块只能和标有“0 ”的宏块组成片。“1 ”也一样。这只是一种分法。这样的 分块结构使得编码时更加灵活。如在，视频电话时，一般都是背景不变化，而 前景在变化，而且一般前景都是在图形中央，那样就可以把周围的宏块定义成 一个片组，把中央的宏块定义成一个片组，这样在同一个片中的数据具有更大 的相关性，在编码时，会进一步降低码率。 宏块( 1 6 x 1 6 ) 的下一级是块( 8 x 8 ) ，每一个宏块包括4 个8 x 8 的亮度块， 以及一个8 x 8 的c r 块和一个8 x 8 的c b 块，其中每一块又分成4 个4 x 4 的子块。 h 2 6 4 的总体帧结构如图2 7 所示。 划侈 砀除 图2 7 i n t m 预测的方向 tl 田一 基于h2 6 4 1 a v c 的码率拧制算法的研究 2 3h 2 6 4 a v c 的关键技术 2 3 1 帧内预测 帧内预测编码是h 2 6 4 里重要的一项技术革新。传统的i n t r a 技术是直接对 原始视频块进行编码，通过对1 6 x 1 6 的宏块或者8 x 8 的块进行d c t 变换降低视 频信号的空间相关性来压缩视频数据，其好处是每个宏块单独编码，可以防止 误码的扩散。但是这种采用d c t 变换直接对视频块编码的方法虽然利用了视频 信号一帧空间上的相关性，但是却未能充分利用，因为它只利用了宏块内部像 素之间的相关性而没有考虑到相邻宏块间的相关性，因而，传统的i n t r a 编码对 视频序列空间冗余度的利用有待于改善，在h 2 6 4 中，为了提高i n t r a 模式的编 码效率，引入了帧内预测( i n t r a p r e d i e t i o n ) 的方法，它使用相邻的宏块对待编 码宏块像素值进行预测，对测残差进行变换编码。h 2 6 4 对亮度块的帧内预测 方法采用1 6 x 1 6 和4 x 4 两种块方式预测，对色度块采用8 x 8 的块方式预测。 对4 x 4 的亮度块，共有九种帧内预测模式，如表2 1 所示。其中模式0 、k 3 、4 、5 、6 、7 、8 都是方向预测模式，如图2 - 8 所示。模式2 是直流预测模式? 预测所需的像素点在图2 - 9 中给出。 表2 14 x 4 的亮度块帧内预测模式 m o d en u m b e rm o d en a m e 0 v e r t i c a l l h o r i z o n t a i 2d c 3 d i a g o n a ld o w n l e f t 4 d i a g o n a ld o w n r i g h t 5 v e r t i c a l - r i g h t 6 h o r i z o n t a l d o w n 7v e r t i c a l 1 e f t 8 h o r i z o n t a l u p 1 4 基于h2 6 4 a v c 的码率控制算法的研究 m l j k l ab c defoh f 邢 l 畦 f g h l | f j kl l 1 22 21i 图2 8i n t r a 预测便用的1 象素 为了说明帧内预测的预测方法，以预测模式o 一垂直预测为例说明。只有 当a 、b 、c 、d 几个像素值是可以得到的，才可以使用这种预测模式，那么， 预测像素的值如下： a 、e 、i 、m 的值由a 来预测 b 、f 、j 、n 的值由b 来预测 c 、g 、k 、o 的值由c 来预测 弋l 、h 、l 、p 的值由d 来预测 对1 6 x 1 6 的亮度块，共有四种帧内预测模式如表2 2 所示。对一个1 6 x 1 6 的宏块，共有3 3 个像素点可以用来作为预测值，他们是横坐标x = - i ，纵坐标 y = 一1 1 5 的1 7 个点，和纵坐标y = - i ，横坐标x = 0 1 5 的1 6 个点。以垂直预 测模式为例，当像素点p x ，一l 】，( x ：o 1 5 ) 可以得到时，预测值如下： p r e d x ，y 】= 翟 x ，- 1 】，x , y = 0 1 5 。 表2 21 6 x 1 6 的亮度块帧内预测模式 m o d en u m b e rm o d en a m e 0 v e r t i c a l 1h