（通信与信息系统专业论文）基于h264的码率控制算法研究(1).pdf

武汉理工大学硕士学位论文 摘要 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是9 0 年代以 来，随着i n t e r n e t 和移动通信的迅猛发展，视频信息和多媒体信息在i n t e r n e t 网 络和移动网络中的处理和传输成为了当前我国信息化中的热点技术。 2 0 0 3 年3 月，i t u t i s o 正式公布了h 2 6 4 视频压缩标准，由于其相比以往 标准的出色的性能，被人们称为新一代视频编码标准。具体讲，与h 2 6 3 或 m p e g 4 相比，在同样质量下，其数码率能降低一半左右；或者说在同样码率下， 其信噪比明显提高。h 2 6 4 出色的性能得到了广大研究学者的肯定，也渐渐成为 目前的主流编码标准，并且有逐渐取代m p e g 4 的趋势，而m p e g 2 目前也已经 开始渐渐淡化出市场。 码率控制算法是视频压缩的重要部分，用来控制视频压缩的压缩比特率， 不管在哪一种视频编码标准中，码率控制算法的好坏，将直接影响到视频的质 量和传输能力。在受实际传输和处理速度限制的条件下，控制视频编码过程是 很重要的，这样才能获得最佳的压缩性能。 本文在基于对h 2 6 4 标准深入研究的基础上，首先对所有的经典码率控制算 法进行了研究，有应用在h 2 6 1 压缩算法中的r m 8 码率控制算法，应用在h 2 6 3 中的t m n 8 码率控制算法，应用在m p e g 一2 中的t m 5 码率控制算法，应用在 m p e g 一4 中的v m 8 码率控制算法，应用在h 2 6 4 中经典的f 0 8 6 和g 0 1 2 码率控 制算法，通过对g 0 1 2 仿真实现，深刻认识峰值信噪比和比特率之问的关系。并 且在此基础上提出了一种新的s p p 帧类型，用来辅助通用码率控制算法，并以 标准参考代码j m ( j o i mm o d e l ) 为蓝本，研究并以软件实现这种新的编码帧， 通过和g 0 1 2 的码率控制算法进行对比得到结论，同时还在基于h 2 6 4 的f p g a 平台上搭建外围的驱动，独立思考并解决了在搭建外围驱动的过程中所遇到的 解码内存大小控制和显示解码并行实现，以此为基础对s p p 帧进行解码验证， 对自己的想法进行了可行性验证。 关键宇：h 2 6 4 码率控制视频编码编码模型 武汉理工大学硕士学位论文 a b s t r a c t d i g i t a l v i d e ot e c h n o l o g yi s u b i q u i t o u s l y u s e di nt e l e c o m m u n i c a t i o na n d b r o a d c a s t p r o c e s s i n ga n dt r a n s m i s s i o no fv i d e oa n dm u l t i m e d i ai n i n t e r n e ta n d m o b i l en e t w o r kh a sr e c e i v e dm o r ea n dm o r ef o c u s e si nd o m e s t i ci n f o r m a t i o n t e c h n o l o g yd u et ot h er a p i dd e v e l o p m e n to fi n t e r n e ta n dm o b i l et e l e c o m m u n i c a t i o n s i n c e19 9 0 s i t u t i s or e l e a s e dh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r do f f i c i a l l yi nm a r c h ，2 0 0 3 i ti st h o u g h ta sn e wg e n e r a t i o nv i d e oc o m p r e s s i o ns t a n d a r db e c a u s eo f i t so u t s t a n d i n g p e 南n n a n c e t ob em o r ed e t a i l e d ，i t sb i tr a t ei sh a l fo fh 2 6 3o rm p e g 一4g i v e nt h e s a m ev i d e oq u a l i t y ；i na n o t h e rw o r d ，i t ss i g n a l t o n o i s er a t ei n c r e a s e ss i g n i f i c a n t l y g i v e nt h es a m eb i tr a t e h 2 6 4i sa p p r e c i a t e db yr e s e a r c h e r sa n db e c o m e sl e a d i n g s t a n d a r dc u r r e n t l y i ti sv e r yl i k e l yt h a th 2 6 4w i l lr e p l a c em p e g 4g r a d u a l l yw h i l e m p e g 2d i m i n i s h e si nm a r k e t r a t ec o n t r o l ，w h i c hi sa ni m p o r t a n tp a r to fv i d e oc o m p r e s s i o n ，c o n t r o l sb i tr a t e o fv i d e oc o m p r e s s i o n q u a l i t ya n dt r a n s m i s s i o no fv i d e oi ss u b j e c tt or a t ec o n t r o l a l g o r i t h mw h a t e v e rt h ev i d e oc o d i n gs t a n d a r di s 。i ti sv e r yi m p o r t a n t t oc o n t r o lv i d e o c o d i n gi no r d e rt oo b t a i no p t i m a lc o m p r e s s i o nu n d e rt h ec o n s t r a i n to ft r a n s m i s s i o n a n dc o m p u t a t i o np o w e ri nr e a lw o r l d ， t h i sp a p e rf i r s t l yr e v i e w st h ec l a s s i c a lb i tr a t ec o n t r o la l g o r i t h mi n c l u d i n gr m 8 i 1 1h 2 6 1 ，t m n 8i nh 2 6 3 ，t m 5i nm p e g 2 ，v m 8i nm p e g 一4 ，f 0 8 6a n dg 0 1 2i n h 2 6 4 f r o l mt h es o f t w a r ei m p l e m e n t a t i o no fg 012 ，ar e l a t i o n s h i po fy s n ra n db i t r a t eh a sb e e nr e p o r t e d s u b s e q u e n t l yan e ws p pf r a m ei sp r o p o s e dt om a k eg e n e r a l r a t ec o n t r o la l g o r i t h mm o r ee f f i c i e n t l y s o f t w a r ei m p l e m e n t a t i o ni sg i v e nb a s e do n s t a n d a r dr e f e r e n c ec o d ej m ( j o i n tm o d e l ) a n dt h e nt e s ti to nf p a g a tl a s tt h ei d e a i sv a l i d a t e dw i t hc o n c l u s i o n k e yw o r d s ：h 2 6 4 ，r a t ec o n t r o l ，v i d e oc o d i n g ，c o d i n gm o d e l 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽 我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意。 签名：么乳日期：2 鱼篮碑 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留、送交 论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用 影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 鑫虽 导师签名： 武汉理工大学硕上学位论文 1 1 引言 第1 章绪论 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是9 0 年代以 来，随着i n t e r n e t 和移动通信的迅猛发展，视频信息和多媒体信息在i n t e r n e t 网 络和移动网络中的处理和传输成为了当前我国信息化中的热点技术。人们希望 无论何时何地都能够方便快捷地获得语音、图像及视频等多媒体信息，多媒体 内容包括文字、语音、音乐、声音、静止图像、电视图像、电影、动画、图形 等。多媒体技术即计算机、视频压缩、音频压缩、数据压缩以及通信等技术， 具体包括媒体的采集、处理、存储、显示和传输等。制约多媒体技术快速发展 的两大因素包括通信带宽与媒体处理技术。 众所周知，视频信息具有一系列优点，如直观性、确切性、高效性、广泛 性等等。但是视频信息量太大，要使视频得到有效的应用，必须首先解决视频 压缩编码问题，其次解决压缩后视频质量保证的问题。这两者是相互矛盾的， 是矛盾的两个方面。我们的任务是既要有较大的压缩比，又要保证一定的视频 质量。为此，人们付出了巨大的辛勤的劳动，现在已结出丰硕的成果。从1 9 8 4 年c c i t t 公布第一个视频编码国际标准以来，至今已有二十年了。i t u t 等 国际标准化组织陆续颁布了接近十个视频编码国际标准，大大推动了视频通信 和数字电视广播的发展。 2 0 0 3 年3 月，i t u t i s o 正式公布了h 2 6 4 视频压缩标准忆1 ，由于其相比 以往标准的出色的性能，被人们称为新一代视频编码标准。具体讲，与h 2 6 3 或m p e g 4 相比，在同样质量下，其码率能降低一半左右，或者说在同样码率 下，其信噪比明显提高。 码率控制算法是视频压缩的一部分，用来控制视频压缩的压缩比特率，因 此，本文首先介绍了视频压缩标准，并重点介绍了h 2 6 4 编码压缩标准和它与以 前编码标准相比的改进之处。 码率控制算法是一个不断发展的过程，本文首先对所有的经典码率控制算 法进行了研究，有应用在m p e g 一1 压缩算法中的s m 3 码率控制算法，应用在 武汉理工大学硕士学位论文 h 2 6 3 中的t m n 8 码率控制算法，应用在m p e g 2 中的t m 5 码率控制算法，应 用在m p e g 4 中的v m 8 码率控制算法。 接下来，本文将对h 2 6 4 码率控制算法提出了一种新的编码帧类型，用来辅 助通用码率控制算法，并以标准参考代码州( j o i n tm o d e l ) 为蓝本，研究并以 软件实现这种新的编码帧，得到结论，最后通过f p g a 平台对自己的想法进行 了可行性验证。在文章最后，对实验结果和控制算法进行了总结并提出了进一 步的研究工作。 1 2 视频编码发展简介 随着编码技术的广泛应用和工业界的高度重视，为适应全球工业与经济的 飞跃发展，国际标准化组织开始将图像视频编码的研究成果转化为相应的国际 标准。当前主要的视频编码标准主要有两个系列： ( 1 ) 国际电联( i t u t ) 制定的应用于网络通讯行业的h 2 6 x 口1 系列标准， 如：用于p x 6 4 k b p s ( p = 1 ，2 ，3 0 ) 速率下的视频编解码标准h 2 6 1 ；面向甚低 码率通信的视频编码标准h 2 6 3 ；以及h 2 6 3 的后续版本h 2 6 3 + 、h 2 6 3 抖等。 ( 2 ) 国际标准化组织卯( i s o ) 运动图像专家组( m p e g ) 制定的应用 于媒体业务的m p e g x 系列标准，如：应用于v c d 业务的m p e g 一1 ；应用于 d v d 业务的m p e g 一2 ( m p e g 一2 是i t u t 与m p e g 共同完成的标准，i t u t 称这个标准为h 2 6 2 ) ；更高压缩效率与应用范围的m p e g 一4 ；以及m p e g 7 、 m p e g 2 1 等。 1 9 8 4 年c c i t t 第1 5 研究组 3 】发布了数字基群电视会议编码标准h 1 2 0 建 议。1 9 8 8 年c c i t t 通过了 p x 6 4 k b p s ( p = 1 , 2 ，3 ，4 ，5 ，3 0 ) ”视像编码标准h 2 6 1 建议，被称为视频压缩编码的一个里程碑哺1 。从此，i t u t 、i s o 等公布的基 于波形的一系列视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方法。 1 9 8 6 年，i s o 和c c i t t 成立了联合图像专家组( j p e g ，j o i n tp h o t o g r a p h i c e x p e r t sg r o u p ) ，研究连续色调静止图像压缩算法国际标准，1 9 9 2 年7 月通过了 j p e g 标准。 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ， m o v i n gp i c t u r ee x p e r tg r o u p ) 。1 9 9 1 年公布了m p e g 一1 视频编码标准，码率为 1 5 m b p s ，主要应用于家用v c d 的视频压缩；1 9 9 4 年11 月，公布了m p e g 2 标准，用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视 武汉理工大学硕士学位论文 ( h d t v ) 。码率从4 m b p s 、1 5 m b p s 直至1 0 0m b p s 分别用于不同档次和不 同级别的视频压缩中。 1 9 9 5 年，i t u t 推出h 2 6 3 标准噶1 ，用于低于6 4k b p s 的低码率视频传输， 如p s t n 信道中可视会议、多媒体通信等。1 9 8 4 年和2 0 0 0 年又分别公布了 h 2 6 3 + 、h 2 6 3 + + 等标准。 1 9 9 9 年1 2 月份，i s o i e c 通过了“视听对象的编码标准乙郴e g 4 四1 ，它 除了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。 相对于国外如火如荼的标准制定工作，国内在此方面还很落后。为了摆脱 我国多媒体产品开发和生产企业受制于国外编码标准的现状，推动我国数字电 视、激光视盘、芯片产业的发展，我国“数字视音频编解码技术标准化工作组” 于2 0 0 2 年6 月2 1 日正式宣布成立。工作组成员来自国内数十家科研单位和 家电领域的重要企业。该组织在信息产业部科技司的领导下，负责我国数字视 音频等媒体的压缩、解压缩、处理和表示等编解码技术标准( a v s ) 的制定工作， 其工作成果将由信息产业部科技司作为行业标准发布。 1 9 8 81 9 帅1 9 9 21 9 9 41 9 9 61 9 9 82 o2 0 0 22 0 0 4 麟霹瑟再零 ? i 岛鼍- 、 一j 二? n i9 岛誊羹i 嚣：；+ j ：磊j j j： 。：i ；? t = ? t 隧琴曼t a 赠a 黟霹 h 2 6 1 v 17 ，卜1 1 2 6 而2 - 1 1 一孔z 6 3 fi t 2 6 3 + 1。玉一一j l 。? - ： 、t。i ，v i v一 ，r。一一 。+ 。 j ：氇。+1+，j， 隧3 1 ；j j j j t o j i 2 n 二t “2 。j 秀- 国 ：； ；j 骑i 曩，i ? 。| _ ，j j 。| ，j，、1 ；一i ，17 。一j t 黪r r o - t m p e c 罐 。一：。卜“m p e g 。- 2 i l 2 6 2r e 2 6 4 m p e g - 4 a v c “ 卜j “。：“ 黪，一 一， 蕊 j，+。i+。j。；i 。f ” h 。 。 ；一：，一 篓：茹e g ：。i 叠 j1 fk，?“ji i j 、 ，+ 。一i， 。 、。j 扩s 协n d a r d ：臻 ，栅g lv _ ”i i 一；m p e c r - 4 j 。；。i 墨量i ， z 赫：? 。”二 。 “ 营2 ，： 。：。 = 。：、i 。，。一，。”：， 一 。 一。l 鬈：一- c h i n 彩”j 囊 。，一一? 。_ jj _ xi 二，3 。、。? ，二“? ：_ 3 j v i “ l 鎏骚ja y s 圣鸯荔 澎嚣澎菇赢麓激翁燃 图1 1主要视频编码标准发展历程 1 3h 2 6 4 a v c 标准的制定及意义 2 0 0 3 年3 月，i t u t 和i s o f l e c 正式公布了h 2 6 4 视频压缩标准川引，不 仅显著提高了压缩比，而且具有良好的网络亲和性，加强了对口网、移动网的 误码和丢包的处理。有人将h 2 6 4 称为新一代的视频编码标准。 h 2 6 4 的颁布是视频压缩编码科学中的一件大事，h 2 6 4 在同等传输质量下 比h 2 6 3 节约了5 0 的码率，大大提高了压缩比。它优异的压缩性能比将在数 字电视广播、视频通讯( 如可视电话，会议电视) 、网络视频流媒体( 如视频点播) 武汉理工大学硕士学位论文 及多媒体短信中得到重大的应用。 h 2 6 4 能取得很好的压缩性能是因为它对h 2 6 3 作了许多技术上的改进，压 缩算法更加精细，同时添加了很多新技术提高压缩后的图片质量。h 2 6 4 的技术 优点主要有下面几个方面： h 2 6 4 引入了帧内预测，同时预测块分为1 6 x 1 6 和4 x 4 两种情况，预测方式 分别为4 种和9 种，编码更加精细，提高了帧内压缩比和编码质量。 h 2 6 4 对帧间编码作了许多改进。运动补偿的块从h 2 6 3 单独的1 6 x 1 6 宏块 增加到1 6 x 1 6 ，1 6 0 ，8 x 1 6 ，8 x 8 8 x 4 ，4 x 8 ，4 x 4 共7 种块预测方式。与h 2 6 3 相比使 用不同大小和形状的块可以使码率节省1 5 以上。 在h 2 6 4 中，l u m a 分量的运动矢量( m o t i o nv e c t o rm y ) 使用1 4 像素精度。 c h r o m a 分量的m v 为1 8 像素精度，如此精细的预测精度较之整数精度可以使 码率节省超过2 0 。 h 2 6 4 支持多参考帧预测，即可以有多于一个( 最多1 6 个) 的参考帧对当前帧 进行预测d p 。这一技术会使缓存的容量和编解码的复杂性增加，但可以改善运 动估计( m o t i o ne s t i m m i o nm e ) 的性能。较之只使用一个参考帧，使用1 6 个参考 帧可以节省码率5 1 0 。 h 2 6 4 支持前向预测和双向预测。在编码序列中采用了b 帧可以进行前向和 后向双向预测，提高了压缩性能比和预测精度。 h 2 6 4 为了适应带宽的切换、图片场景的切换和提高抗误码性能，定义了两 种新的类型帧：s p 帧和s i 帧。这两种类型帧改善了h 2 6 4 的网络亲和力，支持 流媒体服务。 h 2 6 4 采用整数d c t 变换，与h 2 6 3 的浮点运算相比减少了运算量，提高 了运算精度，克服了编码器和解码器之间由于舍入误差造成的不匹配问题。 h 2 6 4 中采用的量化更精确，采用5 2 个量化步长，而在h 2 6 3 中采用了3 1 个量化步长。 h 2 6 4 对残差数据采用两种熵编码方法：c a v l c ( c o m e x t b a s e da d a p t i v ev a f f a b l el e n g t hc o d i n g ) 和c a b a c ( c o n t e x t - b a s e da d a p t i v e b i n a r ya r i t h m e t i c c o d i n g ) 编码方法。提高了编码效率和压缩比。 h 2 6 4 采用抗块效应滤波器消除经反量化和反变换后重建图像中由于预测 误差产生的块效应，即块边缘处的像素值跳变，从而改善图像的主观质量和预 测误差。 4 武汉理工大学硕士学位论文 1 4 本文研究内容及结构安排 1 4 1 本文的研究内容 本文对h 2 6 4 标准和h 2 6 4 的关键技术作了深入的研究，同时分析了现有码 率控制算法的利弊，并对现有的算法进行了改进。主要的工作有： ( 1 ) 对h 2 6 4 a v c 编解码器和h 2 6 4 a v c 的关键技术做了详细的研究。 ( 2 ) 重点分析了现有码率控制算法及各个算法中的利弊，并对g 0 1 2 算法 提出自己的改进，提出s p p 帧的概念。在以上研究的基础上，通过c 语言在j m 模型上面实现了基于s p p 帧的码率控制算法。 ( 3 ) 通过f p g a 硬件平台，搭建外围的系统驱动，对编码的h 2 6 4 码流进 行解码测试。 1 4 2 本文的结构安排 本文分为四章，章节安排如下： 第二章主要介绍h 2 6 4 的编解码器的结构和原理，同时详细分析了 h 2 6 4 a v c 的关键技术以及简要介绍了一些经典的码率控制方案。 第三章是本文的重点，首先，介绍了h 2 6 4 视频编码2 种主要的码率控制方 案，分析了各个码率控制算法的利弊；在此基础上，提出了一种新的参考帧s p p 帧，以此为对象在j m 代码的基础上面做实验，验证了可行性。 第四章首先描述f p g a 硬件环境，通过搭建自己的软件平台对h 2 6 4 进行 解码测试，进一步验证了在第三章中算法的可行性。 第五章对整篇论文进行了总结，说明了下步的工作，并对未来的工作进 行了展望。 武汉理工大学硕士学位论文 第2 章h 2 6 4 a v c 码率控制简介 2 1h 2 6 4 a v c 编解码器原理 h 2 6 4 标准中并不明确地规定一个编解码器如何实现，而是规定了一个编了 码的视频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器 在此框架下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。编 解码器的原理图h 2 3 分别如下所示： h 2 6 4 编码器如图2 1 所示： f n 一n 嵋 l ( c u r r e n 0 一7 t q r e c o r d e r e n t r o p y e n c o d e r h m 盯。 ef 矗一1 一 “m c 二 l ：, ：( r e f e r e n c e ) 爿篙尝摊凄二 p l 孥“? 一r n + 。 i 备。一g u f d 辱) 。 r ( r e c o n s t r u c t e d )：1 一”_ 匕 7 ，一 4 - - - - q _ 1 h 2 6 4 解码器如图2 2 所示： 图2 1h 2 6 4 编码器 图2 2h 2 6 4 解码器 6 武汉理工大学硕士学位论文 从图2 1 、图2 2 可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g 一1 、 m p e g 4 ) 中的编解码器功能块的组成并没有什么区别，主要的不同在于各功能 块的细节。由于视频内容时刻在变化，有时空间细节很多，有时大面积的平坦。 这种内容的多变性就必须采用相应的自适应的技术措施；由于信道在环境恶劣 下也是多变的，例如互联网，有时畅通，有时不畅，有时阻塞，又如无线网络， 有时发生严重衰落，有时衰耗很小，这就要求采取相应的自适应方法来对抗这 种信道畸变带来的不良影响。这两方面的多变带来了白适应压缩技术的复杂性。 h 2 6 4 就是利用实现的复杂性获得压缩性能的明显改善。 2 2 码率控制原理 不管是m p e g 4 还是h 2 6 4 标准，这些标准仅仅详细规定了压缩码流的语法 结构，基本的压缩算法，但是对算法的实现却没有严格控制，这种开放式的框 架使得标准既方便了不同产品的互连，又允许人们根据不同的应用背景，确定 不同的编码策略。比特率控制是编码策略中的重要内容之一。因此比特率控制 是视频传输中的重要课题。 所谓比特率控制，就是按照一定的策略决定各个编码成分占用的比特数， 然后控制各编码环节，最终调节编码器在单位时间内的输出比特数，这不仅涉 及到系统的传输延迟，而且直接影响着视频信号的恢复质量。 数字视频的压缩主要是通过采用分块d c t 变换和d p c m 技术来压缩数字 视频数据的两类不同的冗余度空间冗余度和时间冗余度。也就是首先通过 运动估计和运动补偿去除视频图像间的冗余度，即时间冗余度，然后通过d c t 将差值信号的空间冗余度去除，并使系数能量集中于低频部分。然而d c t 和 d p c m 本身并不能实现数据压缩，它是通过量化这一手段使输入取样映射到一 个有限集来实现的，该有限系数集中的各系数再通过变长码编码，从而最终达 到压缩编码的目的。 因此，量化在很大程度上决定了视频压缩的性能。一方面当量化步长较大 时，量化的输出往往变少，而少的系数在作变长编码时长度往往也要短，也就 有更高的压缩比。当量化步长较小时，对应的压缩比也小。另一方面当量化步 长大时，量化误差也大，从而在恢复系数时与实际系数之间相差较大，恢复出 来的图像质量自然也差些。而量化步长小时量化误差小，相应恢复得到的图像 质量较高，因而在视频图像压缩处理中怎样控制量化级在压缩比和图像质量之 7 武汉理工大学硕士学位论文 间寻求恰当的平衡就成了视频图像压缩技术的关键之一。 视频压缩的压缩比往往由所要求的传输码率决定，然而在视频压缩编码的 过程中，实际码字产生率不可能是恒定的，相应的，不同局部的压缩也不可能 是恒定的，为保证以恒定的码率进行传输，通常采用一个缓冲器对码字输出进 行调整，缓冲器的输入虽然不是恒速，但却可以以恒定的码率传输到信道上。 于是压缩比和图像质量的矛盾就转化为：怎样在保证缓冲器以恒速输出码 流的前提下提高图像的整体质量。这也就是码率控制的最基本任务，其基本手 段是控制量化级。 码率控制提出时，主要是针对恒定码率输出需求的，为了适应固定码率的 信道，选择合适的量化阶以权衡保证图像质量和恒定码率，同时应选择合适的 缓冲器大小以保证缓冲器既不上溢也不会下溢，同时使得起始延迟尽量小，这 种码率控制的策略是着眼于对缓冲器满溢度的控制。 图2 - 3 码率控制模块 2 3 码率控制中的关键技术 h 2 6 4 a v c 的关键技术有很多，但是在码率控制技术中，有三大关键技术起 着举足轻重的作用，它们分别是帧内编码预测，帧间编码预测以及整数变换和 量化。视频编码质量的好坏也主要是有这三大关键技术决定，下面将详细介绍 这三大技术的实现原理。 2 3 1h 2 6 4 a v c 帧内编码预测 在h 2 6 4 中采用了多种不同的帧内预测方法n 引，最大程度地减少图像空间 冗余信息，对于亮度信号，帧内预测可以分为1 6 1 6 和4 4 两种方式，其中1 6 1 6 方式有4 中可选模式，4 4 方式有9 种可选的预测模式；对色差信号则采用8 8 预测方式。 8 武汉理工大学硕士学位论文 2 3 1 14 x 4 亮度预测模式 abcdef g h 圜 易j 砀 i 。p ， f a lf b ) 图2 - 4a ) 利用像素a q 对方块中a - p 像素进行帧内4 x 4 预测b ) 帧内4 x 4 预测 的8 个预测方向 图2 4 中4 x 4 亮度块的上方和左方像素a - - - - q 为已编码和重构像素，用作编 解码器中的预测参考像素。a p 为待预测像素，利用a - - - - q 值和9 种模式实现。 其中模式2 ( d c 预测) 根据a q 中已编码像素预测，而其余模式只有在所需预 测像素全部提供才能使用。图2 5 箭头表明了每种模式预测方向。 1 ( h o r i z o n t a l )2 ( d c )3 ( d a g o r l a id e w n , l e l t ) 4 ( 6 m g e n a ld o w n - 哦) 酽f 眵i m i k l b i q d i e l f i g i h if 8 h o 瞎州d t 和) 酽酽酽 图2 54 x 4 亮度块预测模式 九种预测模式分别为： 模式o ：垂直预测 模式l ：水平预测 模式2 ：d c 预测 模式3 ：下一左对角线预测，与模式0 成4 5 度角 模式4 ：下一右对角线预测，与模式l 成4 5 度角 模式5 ：垂直一右斜线预测，与模式o 成2 2 6 度角 9 武汉理工大学硕士学位论文 模式6 ：水平一下斜线预测，与模式l 成2 2 6 度角 模式7 ：垂直一左斜线预测，与模式0 成2 2 6 度角 模式8 ：水平。上斜线预测，与模式l 成2 2 6 度角 需要特别说明的是：上述各种预测模式的选择以相邻块的像素是否可得为前 提。不同预测模式下的像素a p 的预测值计算公式可参考文献。 2 3 1 21 6 x 1 6 亮度预测模式 宏块的全部1 6 x 1 6 亮度成分可以整体预测，有4 种预测模式，分别为v e r t i c a l ， h o r i z o n t a l ，d c 和p l a n e 四种，如图2 6 所示： 1 ( h o r i z o n t a l ) 图2 61 6 1 6 亮度预测模式 2 3 1 38 x 8 色度预测模式 每个帧内编码宏块的8 x 8 色度成分由已编码左上方色度像素预测而得，两 种色度成分常用同一种预测模式。4 种预测模式类似于帧内1 6 1 6 亮度预测的4 种预测模式，只是模式编号不同。预测模式分为：模式o ，d c 预测；模式1 ， 水平预测；模式2 ，垂直预测；模式3 ，平面预测。 2 3 2h 2 6 4 a v c 帧间编码预测 h 2 6 4 帧间预测4 1 是利用己编码视频帧场和基于块的运动补偿的预测模 式。对p 帧执行前向预测，对b 帧执行前向预测和后向预测。如图2 7 所示。 与以往标准帧间预测的区别在于块尺寸范围更广( 从1 6 1 6 到4 x 4 ) 、亚像素运 动矢量的使用( 亮度采用1 4 像素精度m v ) 及多参考帧的运用等等。 1 0 武汉理工大学硕士学位论文 ，! 一7 r 一 十1 i |【网 b hp * 图2 7p 帧的前向预测和b 帧的前向预测、后向预测 2 3 2 1 高精度的亚象素运动补偿 在h2 6 4 中每个宏块( 1 6 x 1 6 像素) 可以4 种方式分割： 个1 6 x 1 6 ，两个 1 6 8 ，两个8 x l6 ，四个8 8 。其运动补偿也相应有四种。而8 8 模式的每个子 宏块还可以四种方式分割：一个8 x 8 两个4 x 8 或两个8 4 及4 个4 x 4 。这些分 割和子宏块大大提高了各宏块之间的关联性。这种分割下的运动补偿则称为树 状结构运动补偿。 m t w 8 x 8 t y p e s 苗苜苗国 曲苜亩宙 图2 - 8 运动补偿的宏块分割 2 3 2 2 运动矢量计算 在h2 6 4 中，帧问编码宏块的每个分割或者子宏块都是从参考图像某一相同 尺寸区域预测而得。两者之间的差异( m v ) 对亮度成分采用1 ，4 像素精度色 度1 ，8 像素精度。如图2 - 9 中当前帧的4 x 4 块通过邻近参考图像相应区域预测。 一 a 怪川u叫_ 1 武汉理工大学硕士学位论文 厂厂_ j ji j ou乙u 口暖 l 一 l 一j 圈口 t _ 1 一 i 耳。一用同 硅圈圈l ! 国! ! ；圜凼 口口鹰口口 口口匦口口 图2 - 9 亮度半像素位置内插 首先生成参考图像亮度成分半像素。半像素点( 如b , h ，m ) 通过对相应整像 素点进行6 抽头滤波得出，权重为( 1 3 2 ，5 3 2 ，5 8 ，5 8 ，一5 3 2 ，1 3 2 ) 。b 计算如 下： b = r o u n d ( ( e 一5 f + 2 0 g + 2 0 h 一5 i + j ) 3 2 ) ( 2 1 ) 类似的，h 由a 、c 、g 、m 、r 、t 滤波得出。一旦邻近( 垂直或水平方向) 整像素点的所有像素都计算出，剩余的半像素点便可以通过对6 个垂直或水平 方向的半像素点滤波而得。半像素点计算出来以后，1 4 像素点就可通过线性内 插得出，如图2 - 1 0 所示。1 4 像素点( 如如c ，i ，k ，d ，en ，q ) 由邻近像素内插而 得，如 b = r o u n d ( ( g + b ) 2 ) ( 2 2 ) 剩余1 4 像素点( p ，r ) 由一对对角半像素点线性内插得出。如，e 由b 和h 获得。 隘! 昼蔓! j 日i 嗵f 国 刨国i ! 二 固国团 ； ； 唧围圆 2，罩 回国团 阻佃 嘲一捆 圆圜一瑚 圈p 冒7 团 图2 1 0 亮度1 4 像素内插 1 2 量i 一 目亘困曰 武汉理工大学硕士学位论文 相应地，色度像素需要1 8 精度地m v ，也同样通过整像素地线性内插得出， 如图2 1 1 所示： 图2 1 1 色度1 8 像素内插 2 - 3 3 整数变换& 量化 h 2 6 4 中的整数变换和量化过程3 如图2 1 2 所示： i n l m t b l o c k x c h r o r n eg fi n n a 1 8 l u f 馆m 拊 图2 1 2 设x 为4 4 块d c t 输入矩阵， y = a x a 7 ： 口口 bc 口一口 c- b 口口 一c一6 一口口 b- - c 鲫l o o d o l o u t l a j i ， d e 伯r r q m t c h r o n 旧, o rl r 胁 1 6 l u r n q 。n 节 整数变换和量化 【x 】 ab 口c 口一c 口一6 口c 一口一6 一口b 口一c o u t p u t 捌绷k x ” ( 2 3 ) 武汉理工大学硕士学位论文 舯口= 6 = 层c o s c ，c = 店c o s c 争 a 中的a 、b 和c 是实数，而图像块x 中的元素是整数。对实数的d c t ，由 于在解码端的浮点运算精度问题，会造成解码后的数据的失配，进而引起漂移。 对其进行转换如下：其中，符号“圆”表示( c x c 丁) 结果中的每个元素乘以矩阵 e 中对应位置上的系数值的运算。 y = ( c x c 7 ) o e =睢 11d1 d lli d一11i ll d j。l a a ba 2 abab b2ab ( 捌) 。 l ( 2 4 ) j 其中：口= 三，6 = 信，d = i 1 ，d = c 厂b ( 。4 1 4 ) ，为了简化计算，取d 为0 5 。 同时又要保持变换的正交性，对b 进行修正，取对角矩阵c 中的第2 行和 第4 行，以及矩阵c r 中的第2 列和第4 列元素乘以2 ，相应地改造矩阵e 为毋， y = 蜒f x c ? 、圆e 产 二1 冲，i 2 - l jl l 21 1 112 l一12l _ 21 一l j 口2 a b 2 口2 a b 2 a b 2 b 2 4 a b 2 b 2 4 a 2 a b 2 a 2 a b 2 a b 2 b 2 4 a b 2 b 2 4 ( 2 5 ) 为了简化计算，圆后面的部分给划分到了后面的量化里面实现。 原始的量化过程如下所示： z i j = r o u n d ( 去 弦6 ， 是矩阵y 中的转换系数，乙是输出的量化系数，q s t e p 是量化步长。h 2 6 4 量化过程还要同时完成d c t 变换中“圆”乘法运算，它可以表述为： 1 4 。l x 1，j 。一。可。可o 武汉理工大学硕士学位论文 其中：阡= 乙删ip f 万) a 2 ( 0 ，0 ) ，( 2 ，0 ) ，( o ，2 ) ，或( 2 ，2 ) 等 ( 1 ，1 ) ( 1 ，3 ) ( 3 ，1 ) ，或( 3 ，3 ) 一a b 其它情况 2 。、。7 。 ( 2 7 ) 利用量化步长随量化参数每增加6 而增加倍的性质，可以进一步简化计 算。设：q b i t s = 1 5 + f l o o r ( q p 6 ) ，令： m f ：! 生2 撇 q s t e p 则量化最终转化为： 具体量化过程的运算为： 乙= r o u n d w 0 二 乞i = ( i 卜胛+ 厂) 9 6 加 j 忉( 乙) = 5 忉( ) ( 2 - 8 ) ( 2 9 ) ( 2 1 0 ) 如果当前处理的图像宏块是色度块或帧内1 6 x 1 6 预测模式的亮度块，则需 要将其中各图像块的d c t 变换系数矩阵w 中的直流分量或直流系数。按对应 图像块顺序排序，组成新的矩阵，再对进行h a d a m a r d 变换及量化。如图 2 1 3 所示： 武汉理工大学硕士学位论文 图2 1 3 对色度块或者1 6 x 1 6 的亮度块做量化处理 = lll1 111一 llll lll一 1111 l1一l 一 1一ll1 1一l1一 其中，是h a d a m a r d 变换结果。接着要对再进行量化输出： ( 2 1 1 ) 州哆一。o ，o ，+ 亍咖 ( 卿川) 亿1 2 ) s i g ( z o ( f ，0 = s 劬( ) ) 。 其中：其中，崛o ，0 ) 是位置为( o ，o ) 的m f 系数值 f 是用来做修正的，在i n t r a b l o c k 当中，厂= 三- ，在i n t e r b l o c k q b中，厂= 二o q _ b i u ， j 坫 jo 亮度： 1 6 武汉理工大学硕士学位论文 1 61 7 图2 1 4 对4 x 4 的亮度块做量化处理 = h ： ( 2 1 3 ) 其中，是h a d a m a r d 变换结果。接着要对再进行量化输出如下所示： ，) | ：( 1 ，l 。o ，o ，+ j 厂) 阱n( 2 ) s i g ( z 。( j ) ) = s 初( ( ，j ) ) 2 4 码率控制算法中的关键性能指标 通常在经过视频编码之后，输出的视频都会在某种程度上与原始的视频不 一样，为了衡量经过处理后的视频编码品质，我们有如下的一些关键的性能指 标来认定某个码率控制算法够不够令人满意： p s n r ：( p e a ks i g n a l t o n o i s er a t i o ) 峰值性噪比，是我们最常用性能指标。 p s n r 值的定义如下： p s n r = 1 0 * l o g ( 篙) ( 2 - 1 5 ) f r a m e s i z e ( l 一只) 2 脚= 旦量一 f r a m e s i z e 1 7 ( 2 1 6 ) 武汝理工大学硕t 学位电丑 p e a k 就是指8 b i t 表示法的最人值2 5 5 。m s e 指m e a ns q u a r ee r r o r ， 指原 始影像第n 个p i x e l 倩，指经编码处理后的影像第n 个p i x e l 值。p s n r 的单 化为d b 。所以p s n r 值越人就敷不失真越小。图2 一】5 和图2 - 1 6 为f o r m m l 的 编码第四帧截罔，为了使大家更好的看到p s n r 的影响，我们调整了q p 的参数 使得两图的p s n r 差* f 变太，其一1 - 罔2 一i5 的视频编码p s n r 二3 88 7 ，圈2 - 1 6 的 税频编码p s n r - - 2 85 t ) 。出囤我们可以清楚桷看m ，在胃l 等条件下，p s n r 值越 人就走真越小。这么大的芹