（信号与信息处理专业论文）h264码率控制算法研究.pdf

h 2 6 4 码率控制算法研究 摘要 视频压缩信息的可变性使编码输出码率也随之可变，由于不同环境下存在 着不同信道带宽、传输机制、传输延时等限制，所以视频压缩码率必须适应传 输要求，将码率控制在一定的范围，从而实现在给定目标码率的条件下，尽可 能得到平坦的高质量的解码图像。保障编码输出码率适应传输要求的方法就是 码率控制。它是编码器不可缺少的重要组成部分，贯穿于整个编码过程中。 本文主要工作： ( 1 ) 介绍了视频压缩编码的基本原理、方法，以及视频压缩编码过程中码 率控制技术及其发展。 ( 2 ) 介绍了视频压缩标准h 2 6 4 的关键技术组成、码率控制的功能及关键 技术，对现有的h 2 6 4 码率控制及其改进算法进行了深入归纳总结，阐明了已 有算法的优缺点。 ( 3 ) 分析了经典的码率控制算法j v t - h 0 1 7 提案，针对现有的码率控制算 法中m a d 预测误差大、二次r - d 模型不准确的缺陷，提出基于s a q d 的率失真修 正模型，并在此基础上提出片级双层码率控制算法，不仅解决了率失真优化与 码率控制之间存在的“蛋鸡悖论”问题，而且新的源比特预测模型、头信息比特 预测方法和量化参数更新算法提高了码率控制的控制精度。 ( 4 ) 研究了率失真模型参数更新时，数据样本点选择过程中存在的问题和 率失真模型建立的不准确性的缺陷，分别提出了上下文自适应参数预测技术和 线性率失真模型，对s l i c e 级双层码率控制算法进行了优化。从而充分利用了 视频信源特性及其时空相关性，提高了率失真建模的有效性。另外，论证了线 性模型编码效率稍次于二次模型，且编码复杂度低，将其用于s l i c e 级双层码 率控制算法，既可以提高码率控制精度，又降低了编码复杂度。 关键词：h 2 6 4 ；视频编码；码率控制；码率分配；率失真模型；率失真优化 s t u d yo nt h er a t ec o n t r o la l g o r i t h mf o rh 2 6 4 a b s t r a c t t h er a t ec o n t r o la l g o r i t h mi nt h ev i d e oc o m p r e s s i o nc o d i n gs t a n d a r dh 2 6 4i s a ne f f e c t i v et e c h n o l o g yt om o d e r a t et h eb i tr a t eo fv i d e ot r a n s m i s s i o no nt h el i m i t e d b a n d w i d t hc h a n n e lf o ri m p r o v i n gt h ev i s u a lq u a l i t y t h em a i nw o r ki sa sf o l l o w s ： f i r s t l yt h ed i s s e r t a t i o ni n t r o d u c e st h eb a s i cp r i n c i p l e sa n dm e t h o d so fv i d e o c o m p r e s s i o nc o d i n g ，t h ed e v e l o p m e n to fd i g i t a lv i d e oc o m p r e s s i o na n dr a t ec o n t r o l t e c h n o l o g ya n dd e v e l o p m e n ti nv i d e oc o m p r e s s i o ne n c o d i n g s e c o n d l y ，i n t r o d u c e ss o m ek e yt e c h n o l o g i e si nh 2 6 4 ，t h ef u n c t i o na n dk e y t e c h n o l o g i e si nr a t ec o n t r o l ，a n ds u m m a r i z e st h ee x i s t i n gh 2 6 4r a t ec o n t r o l a l g o r i t h m a n di t s i m p r o v e da l g o r i t h mi n - d e p t h t o c l a r i f yt h ea d v a n t a g e sa n d d i s a d v a n t a g e s t h i r d l y ，f o r t h eh 2 6 4 c o d i n gs c h e m e ，p r o p o s e s an o v e l s l i c e - l a y e r d o u b l e s t a g e ( p r e p a r a t i o ns t a g ea n de n c o d i n gs t a g e ) r a t ec o n t r o la l g o r i t h m ，w h i c h n o to n l ys o l v e st h ee g ga n dc h i c k e np r o b l e mb e t w e e nr a t ed i s t o r t i o no p t i m i z a t i o n a n dr a t ec o n t r o l ，b u ta l s o d e v e l o p sn e ws o u r c er a t ef o r e c a s t i n gm o d e l ，r a t e f o r e c a s t i n gm e t h o df o rt h eh e a d e rb i t s ，a n di n i t i a t i o nm e t h o df o rq u a n t i z a t i o n p a r a m e t e rt oh e i g h t e nc o n t r o la c c u r a c y n e wr om o d e lo v e r c o m e st h ed e f e c t so f r a t ec o n t r o lm o d e lf o rh 2 6 4a n dm a k e sr a t ed i s t r i b u t i o nm o r er e a s o n a b l e ；n e wr a t e f o r e c a s t i n gm e t h o df o rt h eh e a d e rb i t ss a t i s f i e st h er e q u i r e m e n to fh i g ha c c u r a c ya t l o wb i tr a t e ；n e wi n i t i a l i z a t i o nm e t h o df o rq u a n t i z a t i o np a r a m e t e r ss t r e n g t h e n st h e p r e d i c t i o na c c u r a c yo ft h eb i tr a t e b a s e do nt h e s l i c e - l a y e rd o u b l e s t a g e r a t ec o n t r o l a l g o r i t h m ，a n e w r a t e d i s t o r t i o nm o d e la n dac o n t e x t - - a d a p t i v ep a r a m e t e rp r e d i c t i n gt e c h n o l o g yf o r r a t e d i s t o r t i o nm o d e la r ep r o p o s e d ，w h i c hm a k ef u l lu s eo ft h ev i d e oc h a r a c t e r i s t i c s a n dt h et e m p o r a la n ds p a t i a lc o r r e l a t i o n ，i m p r o v er a t e d i s t o r t i o nm o d e l i n g i n a d d i t i o n ，w ed e m o n s t r a t et h a tt h ec o d i n ge f f i c i e n c yo ft h el i n e a rm o d e li ss l i g h t l y i n f e r i o rt ot h es e c o n dm o d e l ，a n dt h ec o d i n gc o m p l e x i t yo ft h el i n e a rm o d e li sl o w e r s l i c e l a y e rd o u b l e s t a g er a t ec o n t r o la l g o r i t h mw i t hn o v e lr a t e - d i s t o r t i o nm o d e l ， c o n t e x t - a d a p t i v ep a r a m e t e rp r e d i c t i n gt e c h n o l o g ya n dt h el i n e a rm o d e lc a nn o to n l y i m p r o v e st h er a t ec o n t r o lp r e c i s i o n ，b u ta l s or e d u c e st h ec o d i n gc o m p l e x i t y f i n a l l y ，t h i sd i s s e r t a t i o nm a k e sas u m m a r ya n do u t l o o k k e yw o r d s ：h 2 6 4 ；v i d e oc o d i n g ；r a t ec o n t r o l ；r a t ed i s t o r t i o nm o d e l ；r a t e d i s t o r t i o no p t i m i z a t i o n 插图清单 图1 1 视频编码系统2 图1 2v b r 模式码率控制算法4 图1 3c b r 模式码率控制算法4 图2 1h 2 6 4 编码器一6 图2 2h 。2 6 4 解码器7 图2 3h 2 6 4 档次8 图2 4 连续视频取样格式9 图2 5 隔行视频取样格式9 图2 6n a l 单元序列一9 图2 74 x 4 亮度块预测模式1 1 图2 81 6 1 6 预测模式1 1 图2 9 宏块及子宏块分割1 2 图2 1 0 多帧参考1 2 图2 1 1 码率控制机制1 4 图2 1 2 码率控制的实现1 4 图2 1 3r d 关系曲线1 5 图2 1 4g o p 级码率控制1 8 图2 15f r a m e 级码率控制18 图2 1 6b u 级码率控制1 9 图3 1s l i c e 级双层码率控制框架结构2 6 图3 2 序列s a q d 波动图2 7 图3 3 头信息比特随q p 变化的波动图2 9 图3 4h a l lm o n i t e r 、n e w s 序列两种算法帧比特率比较3 2 图3 5e a r p h o n e 、s a l e s m a n 序列两种算法头比特比较3 3 图4 1 数据样本点的选择3 6 图4 2 模型参数的样本上下文一3 8 图4 3d m 。，对率失真性能的影响3 8 图4 4d c t 量化系数的信息熵曲线及其拟合3 9 图4 5 图像组内r p e 对比一4 2 图4 6f o r e m a n 、n e w s 序列帧级r p e 4 3 图4 7f o r e m a n 、n e w s 序列帧级p s n r 比较一4 3 图4 8f o r e m a n 、n e w s 、s i l e n t 和p a i r s 序列编码效率比较4 4 表格清单 表2 1h 2 6 4 与以往标准包含宏块类型对比l o 表2 2 预测模式描述1 1 表2 31 6 x 1 6 预测模式1 l 表3 1q 只一q p o 卜2 ，+ 2 下的p s n r 比较2 6 表3 ，2 测试条件3 1 表3 3 两种算法下的控制精度和p s n r 对比一3 2 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知；除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得 金g 曼王些厶堂 或其他教育机构的学位或 证j f 5 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：舐支穗 签字吼o m p 月矽日 学位论文版权使用授权书 本学位论文作者完全了解金胆王些太堂有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授 权金胆王些盔堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：张文碣 签字日期：) 咖年名月“日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签 签字e t 期：踟年牛月。石日 电话： 邮编： 致谢 两年多紧张而充实的研究生生活即将结束。在此毕业论文成稿之际，谨以 只言片语向两年来在各个方面支持、帮助、关心过我的人们表示真挚的谢意。 本文是在导师蒋建国教授的悉心指导下完成的。在两年多的学习生涯中， 导师在学习、生活等方面均给予了我无私的帮助与支持。在我学位课程的拟定、 研究课题的落实、论文撰写等方面给予了悉心指导和热情关怀，使我从中受益 匪浅。可以说本文得以完成，倾注了导师大量的心血和汗水。在此谨向我的导 师蒋建国教授致以崇高的敬意和衷心的感谢! 导师渊博的学识、严谨的治学态 度、科学求实的作风、忘我的敬业精神和虚怀若谷的学术作风给我留下了深刻 的印象，并将激励我在今后的科学道路上不懈攀登! 在两年多的硕士学习生活中，得到了齐美彬老师的很多指导和帮助，齐美 彬老师治学态度严谨、诲人不倦的精神给我留下了深刻的印象。他两年多对我 生活和学习方面都给予了莫大的关怀和帮助。感谢夏娜副教授、吴从中副教授、 李小红副教授、张国富老师和苏兆品老师给予我的悉心指导和帮助。各位老师 广博的知识、脚踏实地的钻研精神一直是我学习的榜样。 感谢实验室各位学长、同学、师弟师妹们的支持和帮助，和各位的同窗之 谊让我终生难忘。 我要特别感谢我的父母和哥哥姐姐多年来对我的学习和生活的支持和鼓 励。在我困难的时候，是他们给予了我战胜困难的信心和力量，使我得以顺利 完成了学业。本文凝结了他们的心血、教诲和温暖! 最后，感谢评阅论文和出席硕士论文答辩委员会的诸位专家、教授在百忙 中给予的悉心指导! 同时也对曾给予我帮助和关心我的老师、同学和朋友们表 示衷心的感谢! 作者：张文菊 2 0 10 年3 月2 0 日 第一章绪论 1 1 引言 数字视频压缩编码技术在广播、通信等领域得到了日益广泛的应用，尤其 是9 0 年代以来，随着i n t e r n e t 网络和移动通信的迅速发展，视频信息与多媒体 信息在i n t e r n e t 网络和移动网络中的处理和传输已成为我国当今信息化中的热 点技术。 视频信息具有高效性、直观性、确切性、广泛性等许多优点，但视频信息 量很大，若要充分高效地利用视频信息，必须解决视频压缩编码问题和压缩后 视频质量的保证问题。数字视频压缩技术的重要任务是既要达到较大的压缩比， 又要保证一定的视频质量。 自1 9 8 4 年c c i t t 公布第一个视频编码国际标准以来，至今二十多年的时间 里，i t u t 等国际标准化组织陆续颁布了近十个视频编码国际标准，从而大大 推动了数字电视广播与视频通信发展的步伐。2 0 0 3 年3 月，i t u t i s o 正式公 布了h 2 6 4 视频压缩国际标准，相对于以往标准，它变现出非常出色的性能， 因此被人们称为新一代视频编码标准。它与h 2 6 3 或m p e g 4 相比，在同等图 像质量下，码率能降低5 0 左右。也就是说，在同等码率限制条件下，其信噪 比具有明显的提高。由此，h 2 6 4 标准在国际上受到了日益广泛的关注和欢迎。 1 2 视频压缩编码技术及其发展 因为码率控制是视频压缩编码技术的一个重要组成部分，所以我们要想研究 和理解视频编码技术，必须先学习视频压缩编码技术。下文首先介绍码率控制 的先导知识：视频压缩编码标准的技术背景及其发展。 1 2 1 视频压缩编码技术 视频图像在时域和空域上均包含很多冗余信息，因此，视频编码必须剔除 这些冗余信息，用尽可能少的比特数去表示视频信息。这些冗余信息有时间冗 余、空间冗余和编码冗余等【lj 。时间冗余是指视频图像中前后相邻的两帧通常 包含有与当前帧相同的对象或背景，只不过因为对象的移动或摄像头的转动致 使其空间位置发生变化。所以，视频图像在时域上具有极强的相关性。空间冗 余是指在一个帧图像中，相邻的编码块间或相邻像素间存在的相关性。特别是 当这些编码块或相邻像素同属于一个视频对象，此时相关性极强。编码冗余则 指用于传输信息的编码符号的码长大于用来表示信息的信息熵，两者间差值就 构成了编码冗余。时间冗余、空间冗余以及编码冗余的大小都取决于视频数据 的统计特性，可将它们统称为统计冗余【2 】。 视频编码技术主要由预测编码、变换编码和熵编码组成 3 1 。预测编码方式 有两种：线性预测和非线性预测，它既可以在一帧图像中进行帧内预测，又可 以在多帧图像间进行帧间预测。帧内预测主要基于视频信息的空域相关性，算 法简单、便于硬件实现，但是它对误码和信道噪声很敏感，误码容易扩散，图 像质量也会大大下降。其次，帧内预测获得的编码压缩比很低。帧间预测主要 利用视频图像相邻帧间的相关性，使用了多帧参考、帧场自适应编码、运动补 偿( m o t i o nc o m p e n s a t i o n ，m c ) 及帧内插等技术。帧间预测可以获得高压缩比， 但针对不同视频图像，预测性能不一样，并且容易出现块效应。变换编码与预 测编码技术相比，其主要目的是在视频信息变换域内尽可能地去除时空相关性。 把空域像素值映射到另一个矢量空间，使视频中缓慢变化内容的能量信息集中 在变换域低频区域，而图像边缘及纹理细节信息集中在高频区域，再对变换系 数进行量化编码。变换编码常用的是正交变换编码、子带编码【4 1 以及小波编码 p 1 等。熵编码是指利用信源统计特性进行码率压缩的编码方式，又叫统计编码。 它是以随机过程的统计特性为基础，如概率分布特性的算术编码、基于相关性 的游程变长编码、h u f f m a n 编码等。理论上，算术编码和h u f f m a n 编码是最好的 编码方式，但在信源统计概率未知的条件下，算术编码优于霍夫曼编码【6 】。 视频编码系统的基本结构如图1 1 所示。 图1 1 视频编码系统 由图1 1 可见，可采用的视频编码方法与信源模型密切相关。如果是“一 个分量有几个物体构成 的信源模型，模型参数就是对象的形状、纹理及运动 情况，对这些参数进行压缩编码的技术就是基于内容的编码。如果是“一幅图 像由许多像素构成”的信源模型，模型参数就是像素点的亮度和色度，对这些 亮度和色度进行压缩编码的技术成为基于波形的编码。 1 2 2 视频压缩编码的发展 19 8 4 年，c c i t t 第十五研究组颁布了h 1 2 0 数字基群电视会议编码标准的建 议。c c i t t 于1 9 8 8 年又通过了h 2 6 1 视频编码标准的建议，它是视频压缩编码的 一个里程碑。之后，i t u t 、i s o 等公布了一系列基于波形的视频编码标准，其 编码方法采用了h 2 6 1 中的混合编码方式。 1 9 8 6 年，联合图像专家组( j p e g ，j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 成立， 它研究连续色调静止图像压缩算法。1 9 9 2 年7 月，通过了j p e g 国际标准。 1 9 8 8 年，活动图像专家组( m p e g ，m o v i n gp i c t u r ee x p e r tg r o u p ) 成立。于 l9 9 1 年，公布了m p e g 1 视频编码标准，主要应用于家用v c d 视频压缩。19 9 4 年1 1 月，公布了m p e g 2 标准，主要应用于家用d v d 、数字视频广播的视频压 缩及高清晰度电视，分别用于视频压缩的不同档次、不同级别。 1 9 9 5 年，i t u t 颁布了h 2 6 3 标准，用于低码率视频传输，如p s t n 信道中的 视频会议、多媒体通信等。随后，h 2 6 3 + 、h 2 6 3 + + 等压缩标准分别于1 9 8 4 年 和2 0 0 0 年得到了公布。 1 9 9 9 年1 2 月，i s o i e c 通过了m p e g 4 视频对象的编码标准，它不仅定义了 视频压缩编码标准，也强调了多媒体通信的灵活性和交互性。 2 0 0 1 年1 2 月，v c e g 和运动图像专家组( m p e g i s o i e cj t c1 s c2 9 w g 11 ) 组成了联合视频组( j v t ，j o i n tv i d e ot e a m ) ，研究新的编码标准h 2 6 4 a v c 。 该标准于2 0 0 3 年3 月正式获得批准。h 2 6 4 a v c 不仅事压缩比获得了显著的提 高，还具有良好的网络亲和性，增强了对移动网、i p 网的误码及丢包的处理。 h 2 6 4 a v c 被称为新一代的视频编码标准。 h 2 6 4 标准超越了以往视频编解码标准，成为各个厂商竞争的焦点。目前， 各主流厂商纷纷宣布推出产品化的h 2 6 4 。在视频广播领域，美国哈雷公司宣 布其m v l 0 0 编码器产品可以支持h 2 6 4 协议，哈雷原来的m p e g 2 编码器 m v l 0 0 硬件平台已经具有兼容h 2 6 4 能力，只需从软件升级即可。在欧洲，有 两个大用户已经选用了h 2 6 4 编码器。一个是法国的卫星及直播星运营商 c a n a l s a t e l l i t e ，它采用哈雷高性能的数字前端系统在a d s l 上传输视频业务， m v1o o 超低码率编码的特性可以实现在多种电信网上传输广播级视频节目。另 一个即将投入正式商业运营的是英国v i d e on e t w o r kl i m i t e d 。 1 3 码率控制技术及其研究现状 视频编码标准往往通过帧内帧间预测去除时域和空域相关性、离散余弦变 换量化以及熵编码去获得较高的编码效率。对视频通信而言，由于信道存在带 宽限制，需对视频编码输出码流的比特率进行控制，以达到编码码流的顺利传 输和信道带宽的合理利用的目的。 现有码率控制算法主要通过调整离散余弦变换的量化参数( q u a n t i z a t i o n p a r a m e t e r ，q p ) 来控制输出目标码率的【7 1 。q p 能够反映空间细节压缩情况，当 q p 较小时，大部分的细节就会被保留，而当q p 增大时，一些细节将会丢失，码 率下降，图像失真加强，视频质量降低。可以看出，量化参数和编码输出码率 成反比，而且这种反比关系会随着视频源复杂度的提高而变得更明显。 码率控制有两种模式：固定比特控制( c o n s t a n tb i tr a t e ，c b r ) 和可变比 特控制( v a r i a b l eb i tr a t e ，v b r ) 【8 j 。如图1 2 所示，c b r 模式是一种闭环处理， 输入为视频信号源和目标比特。它根据对视频图像的复杂度估计、解码缓存器 大小以及信道带宽来动态调整q p ，得到合适的码率。如图1 3 所示，v b r 模式 是一种开环处理，输入为视频信号源和q p 值。由于实际视频帧的图像复杂度是 不断变化的，编码比特率也会发生相应的变化。 图1 2v b r 模式码率控制算法 图1 3c b r 模式码率控制算法 目前h 2 6 4 码率控制算法提案主要有两个： ( 1 ) 由m p e g 2 中t m 5 版本改进的算法，应用于j v t - f 0 8 6 中。它采用t m 5 模型，分为帧比特数分配、第一次率失真计算、量化参数选择和再次率失真计 算四个步骤p j 。 ( 2 ) 由m p e g 4 中v m 8 版本改进的算法，应用于j v t - g 0 12 中。它提出用流 动交通模型为编码单元分配比特数，且采用二次率失真函数在宏块级计算得到 量化参数【1 0 j 。 第一种方法使用了两次率失真计算，第二种方法在解决“蛋鸡悖论”时采 用了线性平均绝对差值( m e a na b s o l u t ed i s t o r t i o n ，m a d ) 预测模型，效果较好， 但是算法复杂度过高，不适合实时编码使用。 码率控制的实现实际上是在编码质量和压缩率之间找一个折衷点。减少码 率就会牺牲质量，质量提高则会增加码率。不同算法有不同的性能，在实际应 用系统中，各大公司针对码率控制模型均做了较大的修改，也添加了很多较有 特色的技术。其中m i c r o s o f t 公司的s m a r t 技术和r e a l 公司的s u r e s t r e a m 技术 都很经典。 4 1 4 论文研究内容及结构 本文主要研究了h 2 6 4 标准及其现有的码率控制算法，总结归纳了码率控 制算法中的关键问题及解决方案，并在此基础上对其进行改进和创新，提出可 靠有效的码率控制方法，获得了更高的控制精度。为了降低计算复杂度，提高 码率控制的性能，本文通过深入论证，引入了线性率失真模型和上下文自适应 参数预测技术。最后在软件平台上进行了性能的验证。 本课题的主要研究内容： ( 1 ) 研究了视频压缩编码技术的基本原理和方法、h 2 6 4 视频编码标准以 及码率控制技术及其发展。 ( 2 ) 分析了视频压缩编码中码率控制的功能、关键技术，研究了h 2 6 4 经 典的码率控制算法：g 0 1 2 提案、h 0 1 7 提案及其改进算法，针对现有码率控制 算法控制精度低的弱点，提出了一种双层码率控制算法。 ( 3 ) 提出了一种新的率失真模型和上下文自适应参数预测技术，充分利用 了视频信源特征及其时空相关性，改进了率失真建模的有效性，获得了低复杂 度高精度的码率控制算法。 本文结构安排如下。第一章简要介绍了视频压缩编码的基本原理和方法、 数字视频压缩的发展历程，以及视频压缩编码过程中码率控制技术及其发展。 第二章研究了视频压缩编码过程中码率控制的功能、关键技术，对现有 h 2 6 4 码率控制及其改进算法进行了深入归纳总结，阐明了算法的优缺点。 在第三章中，针对h 2 6 4 编码方案，提出了s l i c e 级双层( 预备层和编码层) 码率控制算法，不仅解决了率失真优化与码率控制之间存在的“蛋鸡悖论”问题， 而且新的源比特预测模型、头信息比特预测方法和量化参数更新算法提高了码 率控制的控制精度。改进的源比特预测模型克服了h 2 6 4 的码率控制模型的缺 陷，使码率分配更合理；新的头信息比特预测方法更好的满足了低码率环境下 对头信息比特预测的高精度要求；新的量化参数初始化方法增强了码率预测的 准确性。 在第四章中，提出了一种新的率失真模型和上下文自适应参数预测技术， 充分利用了视频信源特性及其时空相关性，改进了率失真建模的有效性，论证 了线性模型编码效率稍次于二次模型，且编码复杂度低，将其用于第四章中的 码率控制中，可获得低复杂度高精度码率控制算法。 第五章对本论文做了总结和展望。 第二章h 2 6 4 编码标准及码率控制技术 码率控制是视频编码标准h 2 6 4 的重要组成部分，对码率控制的研究要建 立在h 2 6 4 编码技术基础之上。分析和理解h 2 6 4 编码的基本原理和关键技术 是研究码率控制的必备的先导知识。本章首先介绍了h 2 6 4 编解码技术，然后 论述了h 2 6 4 码率控制的体系结构和主要控制技术。 2 1h 2 6 4 视频压缩编码标准 m p e g 4 中的重点是灵活性，和m p e g 4 不同，h 2 6 4 注重的是视频压缩的 高效性和传输的高可靠性，因而得到了广泛的应用。下面介绍h 2 6 4 编码技术 的基本原理和关键技术。 2 1 1h 2 6 4 编解码器 h 2 6 4 标准没有明确规定编解码器如何实现，只是规定了编码视频比特流的 句法和该比特流的解码方法【】。各厂商的编解码器在此规定的框架下应能互 通，而实现的灵活性较大，利于相互竞争。 h 2 6 4 编码器和解码器的组成分别如图2 1 ，图2 2 。 图2 1h 2 6 4 编码器 编码器采用的仍然是预测+ 变换的混合编码方式。由图2 1 可知，编码器以 宏块为单位对输入的帧或场e 一进行处理。编码时有帧内、帧间两种预测编码 方式。若使用帧内预测，其预测值p r e d ( 图中表示为p ) 由当前片( s l i c e ) 中 已编码的参考图像单元经m c 后获得，其中用f 表示参考图像。为使预测精度 进一步提高，从而提高压缩比，实际参考图像可以从过去或未来已编解码、重 建以及滤波的图像帧中选择。 当前块与预测值p r e d 相减后，得到残差块d n ，经块d c t 变换、量化后获 得量化后的变换系数x 。x 经过熵编码后的结果与解码所需的一些边信息，如预 6 测模式、q p 和运动矢量( m o t i o nv e c t o r ，m v ) 等，组合成一个压缩后的码流， 再经网络自适应层( n a l ) 进行存储或传输。 如上所述，为了提供未编码块预测用的参考图像，编码器必须要重建已编 码图像。所以要把残差图像进行反量化、反变换，获得的d n 和预测值p 相加， 产生u f n 。为了降低编解码过程中出现的噪声，以提高参考帧图像的质量，进 而加强压缩图像性能，编码器中设置了一个环路滤波器，滤波所得输出f n 便是 重建图像，可作为参考图像。 图2 2h 2 6 4 解码器 如图2 2 所示，由编码器n a l 单元输出的一个h 2 6 4 压缩比特流经熵解码后 便是一组量化的变换系数x ，将其进行反量化、反变换后，得到残差d n 。根据 从编码比特流中解码出的头信息，获得一个预测块p r e d 。它与编码器的原始 p r e d 是相同的。如果将解码器产生的p r e d 与残差d n 相加后，便可得到u f u ， 再将其滤波，最后获得滤波后的f n 。f n 便是最后所得的解码输出图像。 从上述编解码功能框图可知，h 2 6 4 功能块的组成和以前h 2 6 1 、h 2 6 3 、 m p e g 1 、m p e g 4 标准的编解码器没有什么区别，不同之处在于各功能单元的 细节。由于视频内容是不断变化的，时而空间细节很多，时而图像大面积的平 坦。图像内容的多变性迫切需要使用自适应的技术。由于网络信道环境也是多 变的，时而畅通，时而阻塞，所以要求采用相应的自适应方法来对抗这种信道 带宽变化所带来的不良影响。以上两方面的多变增加了自适应压缩编码的复杂 度。h 2 6 4 正是以实现过程中的高复杂性为代价获取了明显改善的压缩性能。随 着大规模集成电路技术和工艺的快速发展，h 2 6 4 已完全具有实现的可能性。 2 1 2h 2 6 4 的档次和级 h 2 6 4 指定了三个档次，每个档次支持一组特定的编码功能，并支持一类特 定的应用。 ( 1 ) 基本档次：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文 的自适应的变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、 无线通信等实时视频通信。 ( 2 ) 主要档次：支持隔行视频，采用b 片的帧间编码和采用加权预测的帧 7 内编码；支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用于数字 广播电视与数字视频存储。 ( 3 ) 扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能( 数 据分割) ，但不支持隔行视频和c a b a c 。 h 2 6 4 各个档次的功能不同，如图2 3 所示。扩展档次具备基本档次的所有 功能，而不能包括主要档次。每一档次取样速率、图像尺寸、编码比特率等参 数设置得不同，便产生编解码器性能不同的级。 图2 3h 2 6 4 档次 2 1 3h 2 6 4 编码数据格式 h 2 6 4 支持4 ：2 ：0 的连续或隔行视频图像的编解码，图2 4 、2 5 所示的是缺省 的4 ：2 ：0 的取样格式。 h 2 6 4 的功能包括两层：视频编码层( v c l ) 和网络提取层( n a l ) 。v c l 数据是编码后的输出，用来表示压缩编码后的视频数据序列。在存储或传输v c l 数据之前，v c l 数据会先被映射或封装到n a l 单元中。每个n a l 单元包括一个 原始字节序列负荷( r b s p ) 、一组和视频编码数据相对应的n a l 头信息。图2 6 所示的便是n a l 单元序列的结构。 簟q ：)ooooo 噜o；噜噜4 噜。噜? 噜噜噜 噜0噜oq噜叠 噜)噜c “一 图2 4 连续视频图像取样格式 噜 叠 噜 ooooo o q 叠噜叠 “d oooooo oooooo 6 “ 圈2 5 隔行视频图像取样格式 图2 6 n a l 单元序列组成 2 14 h2 6 4 的参考图像 h 2 6 4 帧问编码时，为提高预测精度，从前面或后面已编码帧中选择与当前 编码单元最匹配的图像块作为参考图像因此复杂度大大增加，但多参考帧比 较后，可以显著提高预剁精度。h2 6 4 参考帧最多可达1 5 个。 宏块( m a c r o t l o c k ，m b ) 级依照不同的采样比例由相应个数的8 8 色度块 和1 6 1 6 亮度块构成，包含宏块类型、预测模式、编码模式、运动矢量、残差 数据等信息数据。其中，残差数据在宏块数据量中比重最大。每个视频图像以 ? o o o o 噜o e 鲁o 片为单元进行编码，一片可以是一个或多个宏块，当然也可以是一帧。设片的 目的是对误码的扩散和传播进行限制。编码片包括五种类型：i 片、p 片、b 片、 s p 片( s w i t c hp ) 和s i ( s w i t c hi ) 片。这种h 。2 6 4 的片结构与以前标准是不同的， 二者的对比如表2 1 所示【12 1 。 表2 1h 2 6 4 与以往标准包含宏块类型对比 宏块以往标准 h 2 6 4 柱i 准 类型 l 图像p 图像b 图像i 片p 片b 片 s p 片s b 片 i 宏块 _t- p 宏块 寸 b 宏块 _ s l 宏块 x - 2 1 5h 2 6 4 帧内预测 h 2 6 4 第一次采用了基于空间像素预测的帧内编码技术，以进一步提高帧内 编码的压缩率。在以前的编码标准中，只有m p e g 4 使用了两种预测模式，其 他标准都未使用帧内预测方式，而是直接对宏块实行变换、量化和编码。针对 宏块内像素的亮度，h 2 6 4 采用了4 4 和1 6 1 6 的分块预测算法，针对色度，使 用了8 8 分块预测算法。其中，亮度4 4 分块帧内预测模式包括9 种，如图2 7 所示，图中模式描述见表2 2 。亮度8 8 块预测模式与4 4 分块模式一样。因为 4 4 分块模式非常适用于图像内容细节丰富的区域，而在变化平坦的背景区域 的情况下，该模式在低码率下容易出现分块边缘突出效应，因此，提出了亮度 16 1 6 分块，它有4 种预测模式，见图2 8 ，其预测模式描述如表2 3 所示。色度8 8 分块采用的4 种预测模式与亮度1 6 1 6 分块相同，只是模式编号不同( 模式0 与模式2 互换) 。图中箭头表示各种模式的预测方向，编码时往往选择与原始图 像残差最小的预测模式。 帧内预测编码的基本流程是：编码器对4 4 亮度块或8 8 色度块先通过上 边和左边相邻块预测模式得到当前块最有可能使用的预测模式，同时以这两个 相邻块的未滤波重构块为参考块，采用9 种预测模式分别计算当前9 个预测块。 然后对当前待编码宏块和每种预测块做差，计算出绝对误差和( s a e ) 。选择s a e 最小值对应的预测模式和当前块最可能使用的模式相对比，将比较结果编入码 流。而对于l6 1 6 亮度块和8 8 色度块，采用4 种预测模式分别计算4 个预测块， 然后直接选取s a e 最小的预测模式编入码流。 各个4 x 4 块帧内预测模式必须以信号的形式传到解码端，表示该信息或许 需要大量比特，但邻近块通常具有相似的帧内预测模式，这样便节省许多比特， 只是编码复杂度有所增加。 1 0 3 “删押枷4 d - _ 女_ w 驴 图274 x 4 亮度块预测模式 表22 预测模式描述 模式 描述 模式0 ( 垂直) 由a 、b 、c 、d 垂直推出相应像素值 模式l ( 水平) 由l 、j 、k 、l 水平推出相应像素值 模式2 ( d c ) 由a d 及i l 平均值推出所有像素值 模式3 ( 下左对角线) 由4 5 0 方向像素内插得出相应像素值 模式4 ( f 右对角线) 由4 5 0 方向像素内插得出相戍像素值 模式5 ( 右垂直)由2 66 0 方向像素值内插得出相应像素值 模式6 ( 下水平)由2 66 0 方向像素值内插得出相应像素值 模式7 ( 左垂直)由2 66 0 方向像素值内插得出相应像素值 模式8 ( 上水平)由2 6 ，6 0 方向像素值内插得出相应像素值 旷 可1 厂可 厂可_ m 阼吾旷一旷叼 。卜l 。l 州。f 。 if j u 一u l y 图281 6 x 16 预测模式 表231 6 1 6 预测模式 模式描述 模式0 ( 垂直)由上边像索推出相应像素值 模式1 ( 水平)由左边像素推出相应像素值 模式2 ( d c )由上边和左边像素平均值推出相应像素值 模式3 ( 平面) 利用线形“p l a n e ”函数及左、上像素推出相应像素值，适用于亮度变化平 缓区域 216 i - i2 6 4 帧间预测 沪旷零萨 为了消除视频图像问的时间冗余，h2 6 4 采用了基于块匹配的m c 技术。在 以前标准中的p 、b 固像预测方法基础上增加了一些新功能。例如不同分块大 小的帧f f i j 预测、1 ，4 像素精度插值以及多参考帧m c 等，显著提高了预测效率和 精度。分块太小合不合适与m c 的关系极为密切。若分块太大就很难获得最佳匹 配，若分块太小又很容易受噪声影响而增加传输的m v 。所以，h 2 6 4 首次提出 了8 种m v 模式，以代替以前1 6 x 1 6 或8 8 固定大小的m v 模式。这8 种尺寸包括 1 6 1 6 、8 x8 、1 6 8 、8 x 1 6 、8 x 8 、8 4 、4 8 和4 4 。它们中的前4 种是宏 块分块方式，而后4 种为亚宏块分块方式，见图29 。