（通信与信息系统专业论文）基于h264avc的码率控制算法的研究.pdf

摘要 2 0 9 3 年3 月，联合视频工作组j v t ( j o i n tv i d e ot e a m ) 正式推出了新一 代视频压缩标准h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) ，该标准是i t u t 和 i s o i e c 两个国际标准化组织继m p e g 一2 h 2 6 2 标准之后，再一次共同推出 的视频编码标准。h 2 6 4 a v c 标准支持从低带宽、高误码率的无线移动视频 通信到高码率、低延迟的视频广播及在线流媒体等多种应用，因此日益受到 业界的关注。视频压缩编码的主要目标就是在比特率受限条件下，尽量使编 码失真最小。为了取得最优化的压缩效率，确保编码数据在信道成功传输， 并在接收端获得最佳的视频质量，率失真优化和码率控制技术在视频编码中 占有重要的地位。视频编码技术研究的内容主要包括两个部分：编码模型的 建立和编码模式的选择。前者研究信源的统计特性，制定视频编码标准，提 供高效的编码工具；后者在前者的基础上为不同视频序列选择最佳的编码方 式。本文对h 2 6 4 的率失真优化技术，编码模型和码率控制算法进行了深入 的研究。 本文首先讨论了h 2 6 4 的系统组成、帧内预测、帧间预测、帧场自适应 编码、整数变换及量化、熵编码、去方块滤波、码率控制等关键技术，然后 重点分析了h 2 6 4 采用的率失真优化技术。率失真优化技术能够有效的提高 编码器的性能。本文还对率失真优化技术和码率控制技术的关系进行了深入 的研究，分析了两者的闭环关系。 其次，本文论述了码率控制的原理和编码模型，特别是针对h 2 6 4 码流 的特点，深入分析了一种基于有效比特位的编码模型。该模型能够准确的描 述实际编码的结果。 接着，本文介绍了视频编码应用中三种经典的码率控制算法，然后具体 分析了h 2 6 4 a v cj m 7 6 的码率控制算法。在以上研究的基础上，用c 语言 实现了基于有效比特位编码模型和率失真优化技术的码率控制算法。测试结 果验证了算法的可行性。 关键词：h 2 6 4 ，视频编码，率失真优化，编码模型，码率控制 a b s t r a c t h 2 6 4 a v cv i d e oc o d i n gs t a n d a r di sp r o v i d e df o r m a l l yb yj v t ( j o i n tv i d e ot e a m ) i nm a r c h2 0 0 3 ，a n di tw i l lb et h es e c o n ds u c c e s s f u l v i d e oc o m p r e s s i o ns t a n d a r da f t e rt h em p e g 2 h 2 6 2 t h es t a n d a r di s d e s i g n e dt og i v ean e wt e c h n i c a ls o l u t i o nt oab r o a dr a n g eo fa p p l i c a t i o n s ， s u c ha sv e r yl o wb i tr a t ec o n v e r s a t i o n a ls e r v i c e sa n d l o wd e l a yb r o a d c a s t ， i n t e r a c t i v ev i d e os e r v i c e se t c s ot h i ss t a n d a r do b t a i n sm u c ha t t e n t i o n f r o ma c a d e m i ca n di n d u s t r i a lf i e l d s t h em a i no b j e c to fv i d e oc o d i n gi st o m i n i m i z et h ed i s t o r t i o ns u b j e c tt oac o n s t r a i n tb i tr a t e r a t e d i s t o r t i o n a n a l y s i s a n dr a t ec o n t r o l p l a y a k e y r o l ei nv i d e o c o d i n ga n d c o m m u n i c a t i o ns y s t e m sb yp r o v i d i n gt h eb e s t o p t i m i z e dc o m p r e s s i o n p e r f o r m a n c e ，a s s u r i n gt h es u c c e s s f u ln e t w o r kt r a n s m i s s i o no ft h ec o d e d v i d e od a t a ，a n da c h i e v i n gt h eb e s t v i s u a l q u a l i t ya tt h er e c e i v e r t h e r e s e a r c ho nv i d e oc o d i n gm a i n l yi n c l u d e st w of i e l d s ：t h ed e s i g no fc o d i n g m o d e la n dt h ec h o i c eo fc o d i n gm o d e t h ef o r m e rf i n d st h es t a t i s t i c so f t h es o u r c ea n dp r o v i d e se f f i c i e n tc o d i n gt o o l si nt h ec o d i n gs t a n d a r d s ， w h i l et h el a t t e rc h o o s e st h eb e s t c o d i n gm o d e sf o r d i f f e r e n tv i d e o s e q u e n c e s t h i st h e s i sf o c u s e so nt h er a t e - d i s t o r t i o no p t i m i z a t i o n ，t h e c o d i n gm o d e la n dr a t ec o n t r o lt e c h n i q u eo fh 2 6 4 f i r s t l y , w ed i s c u s st h ek e yt e c h n i q u ei nh 2 6 4 ，i n c l u d i n gs y s t e m ， t r a n s f o r m ，i n t e r p r e d i c t i o n ，i n t r a p r e d i c t i o n ，e n t r o p yc o d i n g ，b l o c k f i l t e r i n ga n dr a t ec o n t r 0 1 a n dw i t had e e pr e s e a r c ho nr a t e d i s t o r t i o n o p t i m i z a t i o n t h er a t e - d i s t o r t i o no p t i m i z a t i o n m e t h o di nh 2 6 4c a n e f f i c i e n t l yi m p r o v et h ep e r f o r m a n c eo ft h ec o d e r w em a k ead e e p r e s e a r c ho f ft h er e l a t i o n s h i po ft h er a t e - d i s t o r t i o no p t i m i z a t i o nm e t h o d a n dt h er a t ec o n t r o li nv i d e o c o d i n g a n d a n a l y z et h ec l o s e l o o p c o r r e l a t i o no ft h e m s e c o n d l y ，t h em e c h a n i s mo ft h er a t ec o n t r o la n dc o d i n gm o d e li s d e s c r i b e d c o n s i d e r i n gt h ec h a r a c t e ro fh 2 6 4b i ts t r e a m ，w ea n a l y z ea n c o d i n gm o d e lb a s e do nv a l i d b i t n u m b e r ，w h i c hc a np r e c i s e l yd e s c r i b et h e r e s u l t so fp r a c t i c a lc o d i n g l a s t l y ，w e i n t r o d u c et h r e ec l a s s i c a lm e t h o d so fr a t ec o n t r o l a l g o r i t h m a n da n a l y z et h er a t ec o n t r o la l g o r i t h mi nh 2 6 4 a v cj m 7 6 ， w i t ht h er e s e a r c ha b o v e ，an e wr a t ec o n t r o la l g o r i t h mi sr e a l i z e db yc ， w h i c hi sb a s e do nt h ev a l i d b i t - n u m b e r c o d i n g m o d e la n dt h e r a t e - d i s t o r t i o no p t i m i z a t i o nt e c h n i q u e w er e a l i z ei ti nt h eh 2 6 4c o d e r a n dt h et e s tr e s u l t sp r o v ei t k e yw o r d s ：h 2 6 4 ，v i d e oc o d i n g ，r a t e d i s t o r t i o no p t i m i z a t i o n ，c o d i n g m o d e ，r a t ec o n t r o l i i i 此页若属实请申请人及导师签名。 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得武汉理工大学或其它教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 研究生签名：粒日期趁呸：生2 ： 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即：学校有权保窘送交论文的复印件，允许论文被查阅和借阅； 学校可以公布论文的全部内容，可以采用影印、缩印或其他复制 手段保存论文。 ( 保密的论文在解密后应遵守此规定) 研究生签名：缸导师签名尘蕈 注：请将此声明装订在论文的目录前。 武汉理工大学硕士学位论文 第1 章绪论 现代社会是一个数字信息化的社会，数字信息化几乎涉及到世界的各个 角落，改变了人类的工作、学习和生活方式。以多媒体和网络为基础的信息 技术已成为拓展人类能力的创造性工具。信息化的一个主要特征就是多媒体 技术的广泛应用，随着多媒体业务的不断拓展，多媒体技术己成为产业界和 学术界的一个研究热点。 多媒体内容丰富，包括文字、声音、图像、图形和视频等数据，信息容 量大，表达能力强，它代替单一的语音通信模式已是不可阻挡的趋势。其中 数字视频又是多媒体信息中最重要的成分。数字视频技术在通信和广播领域 获得了日益广泛的应用，特别是2 0 世纪9 0 年代以来，随着i n t e r n e t 和移 动通信的迅猛发展，视频信息和多媒体信息在i n t e r n e t 和移动网中的处理 和传输技术成了当前我国信息化中的热点。 众所周知，视频信息具有一系列的优点，如直观性、确切性、高效性、 广泛性等等。但是视频信息的信息量太大，要使视频得到有效的应用必须 首先解决视频压缩编码问题，其次解决压缩后视频质量保证的问题。这两者 是相互矛盾的，是矛盾的两方面。我们的任务是既要有较大的压缩比，又要 保证一定的视频质量。 1 1 视频编码技术的发展和现状 图像编码技术自1 9 4 8 年o l i v e r 提出p c m 编码理论，迄今己有5 0 多年 的历史，已经发展成为一个独立的研究领域。图像编码压缩技术的基本思想 是去除图像数据中各种相关性所带来的冗余。一般视觉数据存在以下几种冗 余”1 ：空间冗余、时间冗余、信息熵冗余、结构冗余、知识冗余、视觉冗余等， 各种图像编码技术就是与这些视觉数据冗余类型有关。 根据编码技术利用的冗余类型，t o r r e s 等人在他们的著作中把图像编码分 为第一代编码技术和第二代编码技术两个阶段”1 。第一代的编码技术仅考虑图 像及图像序列中的空间冗余、时间冗余和信息熵冗余。其编码方法主要以像 素或像素块作为编码实体，没有或较少考虑人类视觉系统。第一代编码方法 武汉理工大学硕七学位论文 主要有：脉冲编码调制、预测编码、变换编码、矢量编码、小波编码等。由于 第一代编码技术不能提供较高的编码效率，不能在低码率时提供良好的视觉 质量，因此在八十年代初，开始产生第二代编码技术。第二代编码技术在第 一代编码技术的基础上，进一步考虑了视觉数据中的结构冗余、知识冗余和 视觉冗余，从而获得了更高的压缩效率。代表性的第二代编码方法主要有：基 于分割的编码方法、基于模型的编码方法和分形编码等。第二代图像编码方 法建立在图像分析和合成、计算机图形学、计算机视觉等基础上，其中许多 新的编码技术还有待于进一步的研究与探索。 1 2 视频编码国际标准 目前从事视频压缩标准制定的国际组织主要有国际电信联盟i t u t 的 视频编码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际标准化组织 i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。两个标准化 组织基于不同的应用需求，采用近似的压缩编码技术，分别制定了h 2 6 x 和 m p e g - - x 系列视频压缩标准。其中l t u t 针对可视会议等应用分别制定了 h 2 6 1 ，h 2 6 2 ，h 2 6 3 ，h ：2 6 3 + ，h 2 6 3 + + ，h 2 6 l ，h 。2 6 4 a v c ；i s o i e c 相 继制定了m p e g 一1 ，m p e g 一2 ，m p e g 一4 。以上国际压缩标准尽管应用领 域不同，但是均采用了预测编码结合变换量化的混合编码模式。其中两大视 频标准化组织于1 9 9 2 年联合提出的m p e g - - 2 h 2 6 2 是现有最成功的国际视 频压缩标准。目前又再次联手提出了h 2 6 4 a 、，c 即m p e g 一4 第1 0 部分。图 1 1 给出了各个标准出现的时间及其关系。 1 9 8 8 1 9 9 0 一1 9 9 2 1 9 9 4 一1 9 9 6 一一一1 9 9 8 一- 2 0 0 0 一2 0 0 2 2 0 0 4 - 一 i t u t h 2 6 1 v 1h ，2 6 1 v 2h 2 6 3h 2 6 3 +h 2 6 3 + + s t a n d a r d j o i n tm p e g 2 h 2 6 2 h 2 6 4 m p e g - 4a v c i t u t m p e g m p e gm p e g 1m p e g 4 s t a n d a r d 图t l 视频编码标准发展历程 2 武汉理工大学硕士学位论文 h 2 6 1 是最早出现的视频编码标准，是i t u - - t 的前身c c i t t 针对可视电 话、会议电视和窄带i s d n 等要求实时编解码和低延时应用提出的一个编码标 准。它的输出码率是p x 6 4 k b i t s ，其中p 为0 到3 1 的整数，当p 小于6 时， 只能传输清晰度不太高的图像，可应用于电视电话；当p 大于6 时，可以传 输清晰度较好的图像，适用于电视会议等。h 2 6 1 采用的算法主要是帧州预测 和二维d c t 变换的混合编码方法，该标准同时支持帧间编码和帧内编码，当 帧间预测效率较低的时候，则直接采用d c t 变换。 m p e g - - 1 标准制定的目标码率是1 2 m 比特秒，对于c i f ( 3 5 2 x 2 8 8 ) 格式 图像可以达到实时播放，是为只读c d - - r o m 光盘的视频存储和播放所制定 的。类似于h 2 6 1 标准，m p e g 一1 也采用运动补偿和二维d c t 变换，量化 后的d c t 系数进行变长编码，同时每个数据块的直流分量d c 进行预测差分 编码。在m p e g 一1 标准中，图像预测类型可以分为四种情况：帧内预测、前 向帧间预测、双向帧间预测和直接预测。 m p e g 一2 的视频编码部分就是h 2 6 2 ，该标准主要针对数字视频广播 d v b ( d i 舀t a lv i d e ob r o a d c a s t ) 、高清晰度电视h d t v ( h i g hd i g i t a lt e l e v i s i o n ) 和数字光盘d v d ( d i g i t a lv i d e od i s c a r d ) 等4 9 m 比特秒运动图像的编码。 m p e g 一2 作为一个得到广泛应用的国际标准，成功之处在于提出了通用的压 缩编码方法，定义了不同的“档次”( p r o f i l e ) 和“等级”( l e v e l ) 。可满足不 同图像分辨率及相应的存储成本和处理速度的需要。m p e g 一2 标准根据不同 的档次形成了各个不同的子集，每个“档次”的“等级”则是对编码参数所 做出的进一步限制。这样以不同“档次”和“等级”设计的解码器能够对相 同或者较低档次的数据解码。其中一个主要的档次和等级组合是m p m l ( m a i np r o f i l e m a i nl e v e l ) 。 与h 2 6 1 视频标准相比，m p e g 一2 t t 2 6 2 开始使用半像素精度的运动矢 量搜索，引入了“帧”和“场”的编码方法，支持可分级性技术，包括空间 可分级性、时间可分级性和信噪比可分级性等。 h 2 6 3 是为低码率视频压缩提供的新标准，目的是支持码率小于6 4 k b i t s 的应用。在h 2 6 1 建议的基础上，h 2 6 3 进行了重要改进，采用了半像素精度 的运动矢量搜索，增加了非限制运动矢量，提出了基于语法的算术编码、先 进预测模式和p b 帧编码等多个高级选项，从而达到了进一步降低码率和提高 编码质量的目的。h 2 6 3 + 和h 2 6 3 + + 扩充了h 2 6 3 的编码可选项，提高了编码 3 武汉理工大学硕士学位论文 效率，适用范围更大，同时支持s q c i f 等多种图像格式。h 2 6 3 在增加编码 效率的同时，增强了抗误码的差错隐藏性能，将信道传输性能问题在信源编 码中加以综合考虑。 m p e g - - 4 标准既能够支持低码率的视频应用，也能够支持广播级的视 频应用。与其他标准相比，m p e g 一4 标准中引入了视听对象a v o ( a u d i o v i s u a l o b j e c t ) 的概念，这种编码模式能有效提高视频通信的交互能力和编码效率。 m p e g 一4 还采用了诸如形状编码和自适应d c t 技术以支持任意形状视频对 象的编码，以及基于内容的可分级性操作。其自然视频编码的基本框架和 h 2 6 3 标准是接近的，但是由于“基于对象的编码”尚有技术障碍，在技术专 利保护问题上迟迟难以找到有效的收费形式，因此该标准目前仍然没有得到 普遍应用。 h 2 6 4 a v c 是i t u - - t 和1 s o i e c 共同成立的联合视频组j v t 0 0 i n tv i d e o r e a m ) 共同制定的新标准。j v t 于1 9 9 8 年2 月正式开始征集协议提案，1 9 9 9 年8 月完成了第一版草案和相应的测试模型，2 0 0 1 年1 2 月，在j v t 的第1 次会议( p a t t a y a ，t h a i l a n d ) 上形成h 2 6 4 a v c 的第二版工作草案( w o r kd r a f t 2 ) ，并推出测试模型j m 一1 0 u s t i f i e dm o d e ln u m b e r1 1 ，2 0 0 2 年7 月的j v l 第 4 次会议( k l a g e n f u n ，a u s t r i a ) 上推出了h 2 6 4 a v c 的会员草案版( c o m m i t t e e d r a f t ) ，提出了相应的校验模型j m 一4 ，在2 0 0 3 年3 月召开的最后一次全体 大会( p a t t a y a ，t h a i l a n d ) ，给出了最后的冻结草案和相应的测试模型。两个月 后该标准提交给i s o i e c ，通过讨论成为m p e g 一4 第十部分，形成正式版。 h 2 6 4 a v c 仍然采用预测结合变换的混合编码方案，为了在相同的编码框 架下实现更高的视频压缩编码性能和更广泛的适用性，在每一个功能模块中 都引入了新的技术，使各功能模块的实现细节都发生了重要的改变。例如1 4 、 1 8 像素精度的运动估计、多块模式的帧问预测、多参考帧、帧内预测、环路 滤波器、自适应算术编码等，比以往标准明显提高了编码效率”3 “。 1 3h 2 6 4 a v c 码率控制技术研究的现状 在典型的h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 编码流程中，当前帧被分成 1 6 x 1 6 的宏块，然后进行运动估计和补偿，在运动补偿中有多参考帧和多达7 种块模式的选择，采用率失真优化算法选择最小代价的参考帧和模式，然后 4 武汉理工大学硕士学位论文 差分模块被分成4 x 4 的块进行整数变换和量化。在此之后，所有系数、运动 矢量、模式信息和其它开销一起进入熵编码器以形成编码的比特流。 由于码流的码率是不恒定的，所以编码器需要进行码率控制，以达到在 给定目标码率的条件下尽可能产生高质量的解码图像，因此码率控制是编码 器的一个不可缺少的部分。一般在视频标准产生后，码率控制会得到广泛研 究，例如针对m p e g 一2 ，m p e g 一4 ，h 2 6 3 等标准提出的码率控制算法o ”。 然而，对出现不久的h 2 6 4 标准的研究还不是很多，而且对h 2 6 4 的码率控 制比其它标准更加困难。这是因为在码率控制算法以及率失真优化( r a t e d i s t o r t i o no p t i m i z a t i o n ，r d o ) 中都使用了量化参数( q u a n t i z a t i o np a r a m e t e r , q p ) ，这导致了在进行码率控制时出现了下面的竞争问题：对当前帧的宏块进 行率失真优化时，需要先通过当前帧或宏块的平均绝对差( m e a na b s o l u t e d i f f e r e n c e ，m a d ) 决定每个宏块的量化参数，然而当前帧或宏块的m a d 仅在率 失真优化后才能得到。同时，编码过程中的有效信道带宽可以是恒定的或是 变化的，因此必须考虑恒定比特率( c b r ) 和变化比特率( v b r ) 两种情况。然而， 当前提出的大多数算法都是集中在c b r 情形上。”，不适用于v b r 情形。 2 0 0 2 年，m a 较早的提出了一种h 2 6 4 的码率控制算法“，采用t m 5 模 型，分为比特分配、第一次率失真优化、计算量化参数和再次进行率失真优 化四步，只是在计算宏块活动性时，用帧内预测或运动补偿后的s a d 代替以 前的宏块方差，结果更为准确；2 0 0 4 年，s h i n a 采用线性p 域码率模型提出一 种h 2 6 4 的码率控制算法“，由于采用了线性关系，该方法较为简单，而且 对于场景切换情形能产生近似恒定的比特率。同年，x u 也提出了一种高效率 的h 2 6 4 码率控制算法“，分为帧层和宏块层的控制，实际产生的比特率较 为稳定，而且比接近目标比特率，复杂度较低，只进行了一次率失真优化( m a 的算法“”及其它一些算法均进行了两次率失真优化) ，峰值信噪比( p s n r ) 较为平滑，但比m a 的算法“7 1 稍低一些；m a 于2 0 0 3 年又提出了一种自适应 的码率控制算法“，引入了基本单元的概念，分为图像组( g o p ) 层、帧层 和基本单元层三个层次的控制算法，效率较好。 武汉理工大学硕士学位论文 1 4 论文研究内容及结构安排 1 4 1 论文研究内容 本文对h 2 6 4 a v c 视频编码标准和码率控制算法进行了深入的研究。主 要的工作有： ( 1 ) 对h 2 6 4 a v c 编码器的结构和关键技术进行了详细的分析研究。 ( 2 ) 重点分析了率失真优化技术在h 2 6 4 中的应用。对率失真优化技术 和码率控制技术的关系进行了深入的研究，分析了两者的闭环关系。 ( 3 ) 论述了码率控制的原理和编码模型，针对h 2 6 4 码流的特点，详细 分析了基于有效比特位的编码模型。 ( 4 ) 介绍了视频编码应用中三种经典的码率控制算法，具体分析了 h 2 6 4 1 a v cj m 7 6 的码率控制算法。在以上研究的基础上，用c 语言实现了基 于有效比特位编码模型和率失真优化技术的码率控制算法。 1 4 2 论文结构安排 本文分为四章，章节安排如下： 第一章简要介绍了视频编码技术的发展和现状，介绍了一些常见的视频 编码国际标准和l - i 2 6 4 码率控制算法的发展现状。 第二章h 2 6 4 编码器的原理。首先介绍了h 2 6 4 编码器的特点和结构， 接着，详细分析了h 2 6 4 编码器的关键技术。 第三章码率控制技术的研究。首先介绍了码率控制技术的基本原理，接 着分析了率失真优化技术在视频编码中的应用，并分析了率失真优化技术和 码率控制技术的关系。对一种新的基于率失真优化技术和有效比特位编码模 型的码率控制算法进行了详细分析。本章的最后对这种算法进行了测试，验 证了可行性。 第四章对整篇论文进行了总结，说明下一步的工作，对未来的研究工作 进行展望。 6 武汉理工大学硕士学位论文 第2 章h 2 6 4 a v c 编码器原理 2 1h 2 6 4 a v c 的应用 h 2 6 4 a v c 的颁布在视频压缩编码的发展中具有重大的现实意义。它的 优异的压缩性能也将在数字电视广播、视频实时通信、网络视频流媒体传递 以及多媒体短信等各个方面发挥重要作用。 数字电视的优越性己是公认的，但它的广泛应用还有赖于高效的压缩技 术。例如利用m p e g - - 2 压缩的一路高清晰度电视( h d t v ) ，约需2 0 m b i t s 的带宽，有人作过初步试验，如利用h 2 6 4 a v c 进行一路h d t v 的压缩，大 概只需5 m b i t s 的带宽。众所周知，美国已公布在2 0 1 0 年( 我国约在2 0 1 5 年) 停止模拟电视广播，全部采用数字电视广播，如果那时h d t v 要获得迅猛发 展，必须要降低成本。以传输费用而言，采用h 2 6 4 ，可使传输费用降为原来 的1 4 ，这是一个十分诱人的前景，据了解，2 0 0 8 年在我国北京举行的奥运 会，也将是一个“科技奥运”，h d t v 必然将呈现在人们的眼前，一个高质量 的压缩性能优异的h 2 6 4 视频编码技术和设备的市场前景是可以想象的。 视频通信是h 2 6 4 又个重要应用领域，2 0 世纪9 0 年代初以来，会议电 视在我国获得了迅速发展，主要是利用它召开行政会议，其优点是可节约大 量旅途出差时间，节约出差费用，还争取了时间并能及时做出重大决策。短 短几年，全国从中央到省，到地市甚至县，建立了几千个会议电视室，在国 民经济的发展中发挥了重要作用。其不足之处为：( 1 ) 不方便：必须到电信局 专门的电视会议室才能参加会议；( 2 ) 价格昂贵；当时采用h 2 6 1 作为视频压 缩编码标准，压缩比不高，而且图像质量也不够好，设备价格昂贵，传输费 用也昂贵。可视电话是视频通信的另一个重要应用，人们一直把它作为实现 古人的“千里眼、顺风耳”理想的通信工具，可是直到今天，尚未很好地广 泛地得到应用，其中一个重要原因是视频质量不理想，这与视频压缩技术有 密切关系。特别是，出于互联网在2 0 世纪9 0 年代的迅猛发展，人们希望利 用i p 技术传输视频，现在人们已可看到，在网络流量不大时，人们看到的可 视电话质量尚能接受( 尽管也不是很好) 。由于i p 数据流的突发性，当流量大 时，网络会发生拥塞，这时经常发生丢包、误码，看到的图像中带有不少方 7 武汉理丁大学硕士学能论文 块，这样的视频质量是无法让人们接受的。于是对视频编码技术的要求，不 仅仅要压缩比高，而且应在恶劣的传输条件下( 包括移动网络的衰落) 具有 抗阻塞、抗误码的健壮性。h 2 6 4 不仅具有优异的压缩性能，而且具有良好的 网络亲和性。这对实时的视频通信是十分重要的。现在已有基于d s p 的采用 h 2 6 4 编码的可视电话出现在市场上进一步说明了在视频通信中h 2 6 4 的重 要应用价值。 h 2 6 4 还有一个重要应用，即网络的流媒体。众所周知，应用流媒体技 术的视频点播( v o o ) 最近有了迅速发展，韩国的宽带上网的应用中v o d 占据 了第二位。我国宽带上网用户迄今已达1 0 0 0 万户以上，而且还在继续发展， v o d 的迅速发展也是可以期待的。 多媒体短信患也是h 2 6 4 的重要应用之一，我国的短信市场正方兴未艾， 相信多媒体短信也将有巨大的发展潜力。 m p e g - - 4 技术的优点是灵活，而h 2 6 4 着重于解决压缩的高效率和传输 的高可靠性因而其应用面十分广泛。具体说来，h 2 6 4 支持三个不同档次的 应用： 基本档次：用于“视频会议”，如会议电视、可视电话、远程医疗。 扩展档次：用于网络的视频流，如视频点播。 主要档次：用于消费类电子应用，如数字电视广播、数字视频存储等。 2 2h 2 6 4 a v c 编解码器的特点及结构 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编码的视 频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此 框架下应能够互通，在实现上具有较大的灵活性，而且有利于互相竞争。 h 2 6 4 编码器和解码器的功能组成分别如图2 一i 和2 2 所示。 8 武汉理_ l 大学硕士学位论文 图2 - - 1h 2 6 4 编码器 图2 2h 2 6 4 解码器 从图2 一l 和2 2 中可见。h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、 m p e 0 1 、m p e g 一4 ) 中的编解码器功能块的组成并没有什么区别。主要的 不同在于各功能块的细节。由于视频的内容时刻在变化，有时空间细节很多， 有时大面积的平坦。这种内容的多变性就必须采用相应的自适应的技术措施； 由于信道在环境恶劣下也是多变的，例如互联网，有时畅通，有时不畅，有 时阻塞；又如无线网络，有时发生严重衰落，有时衰耗很小，这就要求采取 相应的自适应方法来对抗这种信道畸变带来的不良影响。这两方面的多变带 来了自适应压缩技术的复杂性。h 2 6 4 就是利用实现的复杂性获得压缩性能的 明显改善。由于大规模集成电路技术和工艺的迅猛进步，今天已完全具备了 实现的可能性。 编码器采用的仍是变换和预测的混合编码法。在图2 一l 中，输入的帧或 场f 以宏块为单位被编码器处理。首先，按帧内或帧问预测编码的方法进行 9 武汉理工大学硕士学位论文 处理。如果采用帧间预测编码，其预测值p r e d ( 图中用p 表示) 是由当前片 中已编码的参考图像经运动补偿( m c ) 后得出的，其中参考图像用c 一，表示。 为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来( 指 显示次序上) 已编码解码重建和滤波的帧中进行选择。预测值p r e d 和当前 块相减后，产生一个残差块q ，经块变换、量化后产生一组量化后的变换系 数x 再经熵编码，与解码所需的一些其它信息( 如预测模式量化参数、运动 矢量等) 一起组成一个压缩后的码流，经n a l ( 网络自适应层) 供传输和存 储用。为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。 因此必须使残差图像经反量化、反变换后得到的谚与预测值p 相加，得到“( ( 未经滤波的帧) 。为了去除编码解码环路中产生的噪声，提高参考帧的图像 质量，从而提高压缩图像性能，设嚣了一个环路滤波器，滤波后的输出( 即 为重建图像，可用作参考图像。 由图2 2 可知，由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。 在图2 2 中，经熵解码得到量化后的一组变换系数x 再经反量化、反变换， 得到残差反。利用从该比特流中解码出的头信息，解码器就产生一个预测块 p r e d ，它和编码器中的原始p r e d 是相同的。当该解码器产生的p r e d 与残 差谚相加后，就产生出叫，再经滤波后，最后就得到重建的，这个就 是最后的解码输出图像。 2 3h 2 6 4 a v c 的关键技术 2 3 1 帧内预测技术 帧内预测编码的基本原理是利用已解码重构的邻近块像素来实现对当前 编码块的预测，对预测块和实际块的残差进行变换，量化，熵编码。通常， 视频序列空间相邻像素之间具有强相关性，存在大量的空域冗余，特别是在 变化平缓的背景区域。 在变化相对平缓的背景区域，由于相邻像素值相近，利用帧内预测可以 大大提高帧内编码的效率。在以往的编码标准中( 在h 2 6 3 + 中，帧内预测只是 可选的编码： 具之一，而且当时采用的预测方法非常简单“”1 ，帧内编码只是 直接对像素值进行变换、量化和熵编码，编码输出的比特数很多。考虑到消 除空问冗余，降低帧内编码的比特数，进一步提高压缩比，h 2 6 4 a v c 将帧 1 0 武汉理工大学硕士学位论文 内预测作为必须的编码工具固定下来，并且进行了大量改进。 然而，图像的不同区域空间变化是不相同的。尤其是不同物体交接的边 界区域，通常是图像空间变化最复杂的地方，例如人的脸部区域。如果在这 类区域采用的帧内预测方式与背景区域相同，编码效果一定会更差。为了提 高帧内预测的质量，h 2 6 4 a v c 提供三种帧内预测方式“。4 x 4 亮度块帧内预 测；1 6 x 1 6 亮度宏块帧内预测；8 x 8 色度宏块帧内预测，并且为每一种预测方 式提供多种预测模式。 一般，图像相对变化较大的区域，需要更细小的块分割和更多可选的预 测模式，以提供足够的预测精度，因此4 x 4 亮度块帧内预测采用9 种预测模 式。而1 6 x 1 6 亮度宏块帧内预测，更适合用在变化较平缓且面积较大的区域， 预测模式也相应有所减少，只有四种。另外，由于人类视觉系统h v s ( h u m a n v i s u a ls y s t e m ) 对色度变化的敏感性低于亮度，因此8 x 8 色度块帧内预测所需 预测模式少于4 x 4 亮度块帧内预测，共有四种模式。 1 、4 x 4 亮度块帧内预测 图2 3 为4 x 4 亮度块帧内预测的像素及预测方向图。 q i j k l m n o p 心易 心5 7 、 ， 5 0 ( a )( b ) 图2 34 x 4 亮度块帧内预测和预测方向示意图 图2 - - 3 ( a ) 中大写字母a - - q 表示相邻块己解码重构的像素( 当这些像素 在图像外部或编码次序上滞后于被预测像素时称为不可得) ，小写字母a p 表示被预测的4 x 4 亮度块的1 6 个亮度像素。 由于预测模式2 为d c 预测，不包括在预测方向图中，所以图2 - 4 ( b ) c 0 所 示只是4 x 4 亮度块其余8 种预测模式的预测方向图。模式2 根据a 一0 中已 编码像素进行预测，而其余只有在所需预测像素全部提供后才能使用。对模 h gf e d d h p c c g k 0 b b f j n a a e ；m 武汉理工大学硕士学位论文 式3 8 ，预测像素由a q 加权平均而得。例如，模式4 中， d = r o u n d ( b 4 + c 2 + d 4 ) ，预测模式下的像素a - - p 的预测值计算公式可查阅参 考文献“。 九种预测模式分别为： 模式0 ：垂直预测； 模式l ：水平预测； 模式2 ：d c 预测，没有表明在图中； 模式3 ：下左对角线预测，与模式。成4 5 度角； 模式4 ：下一右对角线预测，与模式1 成4 5 度角； 模式5 ：垂直右斜线预测，与模式o 成2 2 6 度角； 模式6 ：水平下斜线预测，与模式1 成2 2 6 度角； 模式7 ：垂直左斜线预测，与模式o 成2 2 6 度角； 模式8 ：水平上斜线预测，与模式1 成2 2 6 度角。 2 、1 6 x 1 6 亮度宏块帧内预测 1 6 x 1 6 亮度宏块帧内预测共有4 种预测模式， 模式o ：垂直预测； 模式1 ：水平预测： 模式2 ：d c 预测； 模式3 ：平面预测( p l a n e ) ，采用一个线性平面函数，这在亮度变化平缓的 区域预测效果非常好。 如图2 4 所示，其中a ，b 分别表示相邻宏块己解码重建的像素。 模式0 ( 垂直)模式1 ( 水平)模式2 ( d c )模式3 ( p l a n e ) 图2 41 6 1 6 亮度宏块帧内预测模式示意图 3 、8 x 8 色度块帧内预测 武汉理_ 大学硕士学位论文 与1 6 x 1 6 亮度宏块帧内预测的预测模式相比，除了d c 预测有点细微区 别外，其他预测模式十分类似。预测模式分为 模式o ：d c 预测； 模式1 ：水平预测： 模式2 ：垂直预测； 模式3 ：平面预测。 色度宏块包含u ，v 两个色度分量宏块。在进行8 x 8 色度宏块帧内预测 时，对两者采用相同的预测模式。预测值计算公式可查阅参考文献“。 2 3 2 帧间预测技术 1 、帧间预测的方块类型 h 2 6 1 ，m p e g l 和m p e g - - 2 ( h 2 6 2 ) 只有一种1 6 x 1 6 帧间预测方块。 h 2 6 3 和m p e g 一4v e r s i o n1 增加一种方块8 8 。m p e g - - 4v e r s i o n2 有4 种 方块：1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 和8 x 8 。h 2 6 4 有7 种方块：1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ， 8 x 8 ，8 x 4 ，4 x 8 和4 4 。h 2 6 4 与现有标准一样，分块方式是同宏块同方块， 有7 种方块类型，采用一种树状结构的分块方式。把宏块分成4 个8 x 8 分区。 在完成宏块的分块后，再在每个8 x 8 分区内进行独立的分块。同分区的方块 形状相同，而同宏块内不同分区的方块形状可以不同，分区的方块类型与宏 块的方块类型独立。h 2 6 4 的方块类型如图2 5 所示。拥有最多方块类型组 合的h 2 6 4 达到最高编码效率。 宏块类型 分区类型 1 6 x 1 61 6 x 88 1 68 8 口目田田 4 x 84 x 4 口目田田 图2 5 运动补偿帧间预测的方块类型 2 、1 4 像素精度的运动估计和补偿 武汉理工大学硕士学位论文 视频编码标准的运动矢量精度不断提高：h 2 6 1 为整像素，m p e g 一1 ， m p e g 一2 ，h 2 6 3 和m p e g - - 4v e r s i o n1 为i 2 像素，m p e g - - 4v e r s i o n2 和 h 2 6 4 提高到i 4 像素。1 l 像素精度运动补偿，应用了常用的先扩展再取样 的数字信号处理技术：对帧存贮区的多个参考帧做l 倍扩展，用解码器己知 的内插滤波器在分数像素位置插值，得到的数字图像信号包络波形更加平滑； 对于当前帧的一个n m 帧间预测方块，从多个参考帧内插图像中选取一块最 佳预测的( l n ) ( l x m ) 图像块，经过1 l 取样形成n m 预测图像块， 用于预测当前帧的方块。这样处理不仅使求得的图像帧间位移更精确，而且 改善预测图像