（信号与信息处理专业论文）h264码率控制算法研究(1).pdf

h 2 6 4 码率控制算法研究 摘要 码率控制技术是一项重要的技术，它可以在以一定的比特率通过有限带宽 的信道进行视频传输时通过控制比特分配以保证视频序列的最佳视觉效果 h 2 6 4 a v c 是目前最先进的视频编码标准，它反映了面向寻址的视频编码技术 的最新成果，无论是在有线或无线会话、广播还是在固定的比特速率范围的交 互式多媒体信息服务方面都有广泛的应用。视频编码器的输出比特率和视频质 量取决于些编码参数如量化参数和编码方式的选择。例如，选择较大的量化 参数会导致输出比特的下降，与此同时还会导致编码图像视觉质量的下降。如 果一帧一帧的改变冗余水平，那么比特速率也会随着发生相应的变化。码率控 制算法必须被设计应用在视频压缩的过程中以调整编码参数，避免在视觉上出 现斑点、模糊和抖动，从而使得编码视频的质量始终保持在每帧或每帧内可能 的最高质量水平。因此，码率控制的目的是保持比特速率的输出量在有限范围 内，同时达到一致的最佳的视频质量。这可以通过最佳的比特分配和精确的量 化参数的设定来实现。比特分配算法的设计是在编码单元，如帧或者宏块中预 分配比特数以使得失真最小化。而编码器精确的量化参数则是由比特预分配决 定的。 在本篇论文中，首先在第一章中简要介绍了视频压缩编码的基本原理和方 法，以及数字视频压缩的发展过程。第二章则对码率控制算法的目的和影响码 率控制的因素进行了讨论，对其中的码率控制中的关键技术一一率失真模型以 及几种典型的视频压缩标准建议的码率控制模型进行了深入分析。 接下来在第三章中，简单介绍了h 2 6 4 a v c 编码标准所使用的新技术，并对 现有的基于h 2 6 4 a v c 视频编码标准的码率控制算法进行了介绍，在深入分析的 基础上阐明了算法的优缺点，针对其缺点，引入了基于图像d c t 系数服从柯西分 布假设的率失真模型，同时结合缓冲区充盈度，提出一种改进的帧级码率控制 算法，提高了控制精度。 在第四章中，针对传统的m a d 线性预测模型计算量大且存在一定的预测误 差的缺点，提出一种新的m a d 预测方法，在提高预测效果的同时简化了计算复杂 度，在此基础上提出了宏块级码率控制算法，提高了编码效率。 最后，本文在第五章中对论文工作的作了简要总结与展望。 关键词：l - i 2 6 4 a v c ，码率控制，量化参数，率失真模型，m a d 预测 r e s e a r c hf o r t h er a t i oc o n t r o l a l g o r i t h mi nh 2 6 4 a b s t r a c t r a t ec o n b ls e i n e sa sa l li m p o r t a n tt e c h n i q u et om o d e r a t et h eb i tm t eo fv i d e o t r a n s m i s s i o no v e rac h a n n e lo fl i m i t e db a n d w i d t ha n dt oc o n t r o lt h eb i ta l l o c a t i o n sw i t h i na v i d e os e q u e n c et om a x i m i z ei t so v e r a l lv i s u a lq u a l m h 2 6 4 a v ci st h el a t e s tv i d e o d i n g s t a n d a r da n di tr e f l e z t st h el a t e s ta d v 锄c e so f 、，i d c oc o d i n gt e c l m q u c sa i m i n gt oa d d r e s s e sa b r o a dv a r i e t yo fa p p l i c a t i o n s ，r a n g i n gf r o mw i r e d w i m l e s sc o n v e r s a t i o n a l ，b r o a d c a s t , a n d i n t e r a c t i v em u l t i m e d i aa p p l i c a t i o n sf o raw i d er a n g eo fb i tr a t e s n 地o u t p u tb i tr a t ea n d v i d e oq u a l i t yo fav i d e oe n c o d e rd e p e n do ns e v e r a lc o d i n gp a r a m e t e r ss u c ha st h e q u a n t i z a t i o np a r a m e t e ra n dc o d i n gm o d e i np a r t i c u l a r , c h o o s i n gal a r g eq u a n t i z a t i o n p a r a m e t e rr e d u c e st h er e s u l t i n gb i tr a t e w h i l ea tt h e 鼠衄et i m er e d u c i n gt h ev i s u a lq u a l i t y o ft h ee n c o d e dv i d e o s i n c et h el e v e lo fr e d u n d a n c yc h a n g e sf r o mf r a m et of r a n l e , t h e o u t p u tb i tr a t ei si n h e r e n t l yv a r i a b l e ar a t ec o n t r o ls c h e m et h e nm u s tb ee m p l o y e dd u r i n g t h ev i d e oc o m p r e s s i o n p r o c e s st oa d j u s tc o d i n gp a r a m e t e rs e t t i n g st op r e v e n tv i s u a la r t i f a c t s s u c ha sb l u r r i n g , b l o c k i n g , a n dj i t t e r s ot h ee n c o d e dv i d e oq u a l i t yc o u l dc o n s i s t e n t l yb e k e p ta tt h eh i g h e s tp o s s i b l eq u a l i t yl e v e lf o re a c hf r a m ea n dw i t h i ne a c hf r a m e t h eg o a lo f 贼c o n t r o l ，t h e r e f o r e , i st ok e 印t h eo u t p u tb i tr a t ew i t h i nc o n s t r a i n e dl i m i t sa n da c h i e v e m a x i m a l l yu n i f o r mv i d e oq u a l i t y t h i sg o a lc a nb ea c h i e v e db yo p t i m a lb i ta l l o c a t i o na n d a c c u r a t eq u a m i z a t i o np a r a m e t e rd e t e r m i n a t i o n t ob em o r es p e c i f i c , t h eb i ta l l o c a t i o n s c h e m ei se m p l o y e dt od i s t r i b u t et h eb i tb u d g e ta m o n gc o d i n gu n i t e ss u c ha sf r a m e s ，o r m a c r o b l o c k si ns u c haw a yt h a tt h eo v e r a l ld i s t o r t i o ni sm i n i m i z e d 1 1 l ea c c u r a t e q u a n t i z a t i o np a r a m e t e rf o r t h ee n c o d e ri st h e nd e t e r m i n e dt om e e tt h eb i tb u d g e t i nt h i sp a p e r , t h eb a s i ct h e o r i e sf o rv i d e oe n c o d i n ga n dt h ed e v e l o p m e n to fv i d e o e n c o d i n gs t a n d a r da l ei n t r o d u c e df a s t , a n di nc h a p t e r2ii n t r o d u c et h ea i mo ft h er a t e c o n t r o la l g o r i t h ma n dt h ee f f e c tf a c t o r so ft h eb i tm t e , t h e nt h er - dm o d e lw h i c hi st h e i m p o r t a n tt e c h n i q u eo ft h er o t ec o n t r o la n daf e wt y p i c a lm e t h o d so fm t ec o n t r o la r c a n a l y z e d i nc h a p t e r3 ，t h em a i np a r t so fh 2 6 4a r ei n t r o d u c e df i r s t ，a n dt h e nii n t r o d u c et h er a t e c o n t r o la l g o d t h mo fh 2 6 4 a v c w h i c ha r et h et h e o r i e sb a s i so ft h en e wa r i t h m e t i c i n o r d e rt oi m p r o v et h ed e m e r i t ，ip r o p o s ean e wr a t ec o n t r o la l g o r i t h mi nf r a m el e v e lf o r h 2 6 4 a v cu s i n gt h ec a u c h y - d e n s i t y - b a s e dr - dm o d e la n dt h eo o c u p a n c yo ft h eb u f f e r s i m u l a t i o nr e s u l t ss h o wt h a to u rp r o p o s e da l g o r i t h ma c h i e v e sab e t t e rp e r f o r m a n c eo n v e r a c i t ya n di m a g eq u a l i t y i nc h a p t e r4 ，i no r d e rt or e d u c et h ed e m e r i tt h a tc o s t st o om a n yo p e r a t i o n sa n de x i s t s d e v i a t i o no ft h et r a d i t i o n a ll i n e a rm o d e l ，ip r e s e n tan e ww e i g h t e dm o d et op r e d i c tt h e m a d t h e nip r o p o s ean e wm t ec o n t r o la l g o r i t h mi nm a c r o b l o c kl e v e lf o rh 2 6 4 a v c a c h i e v i n gab e t t e rp e r f o r m a n c eo l lv e r a c i t y i nc h a p t e r5 ，ab r i e f s u m m e r ya n dp r o s p e c ti sg i v e 也 k e y w o r d s ：h 2 6 4 a v c ，r a t ec o n t r o l ，q u a n t i z a t i o np a r a m e t e r , r - dm o d e l ，m a d 插图清单 图2 - 2c b r 码率控制算法的峰值信噪比p s n r ( a ) 和比特率r a t e ( b ) 示意图6 图2 3v b r 码率控制算法示意图7 图2 5r - d 模型曲线9 图2 - 6t m 5 的码率控制基本框图。l1 图2 7t m n 8 的码率控制基本框图15 图2 8域线性模型控制算法示意图1 7 图3 1h 2 6 4 编码器结构框图1 9 图3 2 流媒体应用中各编码器性能的比较2 4 图3 3 视频会议应用中各编码器性能的比较2 4 图3 - 4t e m p e t e 序列中的一帧图像3 0 图3 5 柯西分布与拉普拉斯分布和实际d c t 系数分布关系比较图3 1 图3 - 6 帧级码率控制算法流程图3 4 图3 7f o r e m a n 序列示意图( a ) 和a k i y o 序列示意图( b ) 3 5 图3 81 2 8 k b p s 下f o r e m a n 序列解码图像( a ) 和a k i y o 解码图像( b ) 3 5 图3 - 91 2 8 k b p s 下f o r e m a n 序列p s n r 波动情况3 6 图3 1 01 2 8 k b p s 下a k i y o 序列p s n r 波动情况3 6 图4 1 宏块级码率控制算法流程4 1 图4 2c o n t a i n e r 序列示意图( a ) 和n e w s 序列示意图( b ) 4 2 图4 31 2 8 k b p s 下c o n t a i n e r 序列解码图像( a ) 和n e w s 解码图像( b ) 4 2 图4 412 8 k b p s 下c o n t a i n e r 序列p s n r 波动情况4 2 图4 51 2 8 k b p s 下n e w s 序列p s n r 波动情况。4 3 表格清单 表3 - 1h 2 6 4 中量化参数q p 与量化步长q s t e p 的对应关系2 l 表3 - 2 改进算法与j v t - - g 0 1 2 算法性能对比3 5 表4 - 1f o r e m a n _ q c i f 序列第6 4 帧图像m a d 值。3 7 表4 - 2 改进算法与文献【4 5 】提出的算法性能对比 4 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果据我所 知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得盒足王些太星 或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位敝储签字表炜签字聃锄町钳脚日 学位论文版权使用授权书 本学位论文作者完全了解金自b 王些太堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金8 垦王些盘 ! i ! 一可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名： 袁炜 签字日期：劬1 年岁月工。日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名： 签字日畦蟛7 年月荫 电话： 邮编： 致谢 经过数月的努力，研究生论文终于完成。在论文编写过程中，深得老师同 学的帮助，在此对所有帮助我的老师和同学深表谢意。 首先，要真诚感谢我的导师蒋建国教授，他在我攻读硕士期间给予了热情 指导与无私关怀。蒋老师治学严谨、学识渊博、思维敏锐、随和亲切，亲聆蒋 老师教诲，其时如沐春风。本人的许多研究工作中都蕴涵了蒋老师长期研究过 程中形成的创新，求实、系统的思想和许多切中肯綮的指导意见。蒋老师严谨 的治学态度和精益求精的钻研精神给我留下了深刻的印象，在今后的工作学习 中将努力笃而效之谨此对蒋建国教授的关怀、指导、帮助致以崇高的敬意和 由衷的感谢! 感谢齐美彬副教授、吴从中副教授、夏娜副教授在我学习过程中给予的悉 心指导和关怀l 齐老师、吴老师在学习上对我们严格要求，生活中又是我们的 良师益友，他们的专业精神将永远激励着我! 同时还要感谢实验室的李小红老 师、尤小泉老师，感谢他们三年来对我的关心和帮助。 感谢实验室众多朝夕相处的同学们：感谢李援博士在学习过程中的指引和 帮助：感谢包先雨、常传文、王德宝、苏兆品、蒋庆汝、徐亚东，吴琼同学， 三年来我们相互交流、取长补短共同完成了多个项目；感谢胡嘉凯、聂秋玉、 尹翔、彭兴邦、李勇、张国富、张琪、刘扬、李化雷、童卫勇、郝永杰、张锐、 安宝磊等实验室所有同学，我们在生活上互相帮助，在学习上互相勉励，共同 讨论问题，研究课题的进展，大家集思广益，开阔了视野，提高了认识，感谢 你们l 特别感谢我的家人，他们的关爱与鞭策使我从漫长的求学道路上坚持下来。 在论文得以顺利完成之际，感谢所有亲人们对我的殷切希望和无私帮助。 最后，感谢所有关心过我，帮助过我的老师和同学。 作者：袁炜 2 0 0 7 年5 月 1 1 引言 第一章绪论 现代社会中随着网络通信与多媒体技术的飞速发展，人类社会正在步入数 字信息时代。数字图像作为多媒体信息的重要组成部分，已经越来越深入到我 们的日常生活中。但是数字化的视频信息在满足人们需求的同时，对数据传输 带宽、数据存储容量提出了更高的要求。以p a l 制数字电视为例，一帧c i f 格式 的，以4 ：4 ：4 采样的图像，它的数据量达到了3 5 2 * 2 8 8 * 3 = 3 0 4 1 2 8 字节，按3 0 帧秒的播放速度，一秒钟的数据量高达9 1 2 3 8 4 0 字节。而一张6 5 0 m b 的数据光盘 ( c d - r o m ) ，也只能存放大约7 5 秒的图像数据。数字化信息尤其是数字图像信息 巨大的数据量，使得信息的存储和保护变的极为困难，成为了人们有效获取和 使用信息的瓶颈。因此，如何压缩视频数据量成为多媒体技术发展的关键问题， 图像数据压缩不仅是必要的，同时也是可能的。因为同文字，声音等信源 数据一样，图像数据具有很强的相关性，本身存在大量冗余信息，如：空间冗余、 时间冗余，以及统计冗余等。而通过数据压缩将这些冗余信息最大程度的消除， 仅保留相互独立的信息成分，可以大大减少图像的数据量。同时利用人的视觉 系统对图像内容的某些变化不敏感的特点，消除视觉冗余，可以达到进一步压 缩数据的目的。 1 2 数字视频编码压缩标准 国际上广泛应用的视频图像压缩编码标准主要是由国际标准化组织( i s o ) ， 国际电信联盟( i t u ) ，国际电工委员会( i e c ) e 家组织制定的。如j p e g ，h 2 6 1 ， h 2 6 3 ，h 2 6 4 ，m p e g 1 ，m p e g 2 。m p e g 4 等。这些标准融合了各种性能优良 的图像编码方法，对视频图像压缩和多媒体技术的广泛应用起到了重要的作用。 j p e g 标准：j p e o ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 编码标准是i s o i e c 制定 的静止图像的压缩标准，是适用于连续色调( 包括灰度和彩色) 静止图像压缩 算法的国际标准“1 j p e g 算法共有四种运行模式，其中一种是基于空间预测 ( d p c m ) 的无损压缩算法，另外三种是将于d c t 的有损压缩算法强1 1 h 2 6 1 标准：h 2 6 1 标准是i t u 针对可视电话和会议电话、窄带i s d n 等要 求实时编解码和低延时应用提出的一个编码标准9 。”。它的推出是为了在速率 为p 6 4 b i t s 的信道上传输可视电话与会议电话。其视频压缩算法是一种混合 编码方案，即基于d c t 的变换编码和带有运动预测差分脉冲编码调制( d p c m ) 的 预测编码算法的混合。h 2 6 1 主要应用与电视会议系统，借助于电信行业提供 的p x 6 4 k b s 带宽的通信线路，实现异地多方参加的电视会议。 h 2 6 3 标准：h 2 6 3 标准是i t u - t 在1 9 9 5 年总结了当时国际上视频图像编 码进展而制定的针对低比特率视频应用的编码标准“”。该标准是公认的采用第 一代编码技术的混合编码方案所能达到的最佳结果随后几年，i t u t 又对 h 2 6 3 进行了多次补充，进一步提高了压缩效率，形成了h 2 6 3 + “”，h 2 6 3 + + “”的h 2 6 3 系列标准。h 2 6 3 标准特别适合于i p 视频会议、可视电话的应用， 是i p 视频通信采用最多的一种视频压缩标准，并已被许多媒体终端标准所吸 收，如i t u th 3 1 0 ( b - - i s d n ) ，h 3 2 0 ( p s t n ) 和h 3 2 3 ( l a n 、w a n 、i n t e m e t ) 。 m p e g - 1 标准：国际化标准组织i s o i e c 的运动图像专家组m p e g ( m o v i n g p i c t u r e se x p e r t sg r o u p ) 一直致力于运动图像及其伴音编码标准化工作，并制 定了一系列关于一般活动图像的国际编码标准。1 9 9 3 年制订了m p e g 一1 标准， 可对c i f 标准分辨率( n t f s 制式为3 6 0 x 2 4 0 ，p a l 制式为3 5 2 x 2 8 8 ) 的运动图像序 列进行压缩。可以达到1 5 m b p s 的传输速率，最高可以达到4 5 m b p s ，该标准 采用了双向预测编码帧，半像素的运动搜索，并且增加了图组( g o p ) 结构，可以 应用在基于c d - r o m 的数字视频和网络视频传输中“”。 m p e g - 2 标准：随着多媒体技术的快速发展，m p e g 一1 已无法满足分辨率和传 输率等方面的要求，1 9 9 5 年m p e g 组织在m p e g 一1 标准的基础上，推出了m p e g 一2 标 准。m p e g 一2 主要针对数字视频广播( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 等应用制定的图像及伴音的编码标准。m p e g 一2 在制定过程中充分考虑了对 m p e g - 1 的兼容，对图像质量和数据传输率的多层次需求。_ i p e g - 2 不仅支持帧编 码，而且支持场编码。m p e g - 2 的另一个特点是具有可分级性( s c a l a b i l i t y ) ，这使 得它更灵活，适应性更广泛“”。 m p e g 一4 标准：m p e g - 4 标准于1 9 9 9 年完成，其本意是为了制定甚低比特率下 的视音频编码标准，但为了满足世界越来越多的视听材料要以数字形式进行相 互交换而产生的种种需求，其目标已经改变为“新功能+ 压缩”。相对于m p e g 的 前两个压缩标准，m p e g - 4 己经不再是个单纯的视频音频编解码标准，它更多定 义的是一种格式和框架，强调多媒体通信的交互性和灵活性，以及多产业领域 的融合，从而为多媒体数据压缩提供了一个更广泛的平台该标准揉和了各种 现有的多媒体技术，包括压缩本身的一些工具、算法和图像分析与合成、计算 机视觉、计算机图形、虚拟现实、语音合成等技术。标准的主要特征是基于对 象的编码和基于模型的编码，此外，为了适宜互联网和无线网等窄带视频通信、 多质量视频服务、多媒体检索等服务，m p e g 一4 提供了基于对象的分级功能，包 括时域与空域的分级及其混合分级。m p e g 一4 一方面具有高压缩率，以支持极低 速率编码的要求：另一方面又具有基于视、音频对象的交互性与m p e g 一2 标准相 比，m p e g - 4 标准具有更宽的码率范围，尤其是其低码率编码更适用于移动多媒 体通信的需求u “。 h 2 6 4 a v c 标准：i t u 与i s o 于2 0 0 1 年底开始合作制定一个新的视频编码标 准，其基本框架采用h 2 6 l 标准，i t u - t 组织将该标准定为h 2 6 4 ，而m p e g 组织将 2 该标准加入了m p e g - 4 标准中，作为其第l o 部分称为m p e g 4p a r1 0 。该标准计 划于2 0 0 3 年2 月完成。j y t 中采用了更多的新技术，如多尺寸块帧内和帧问编码， 多参考帧预测技术，4 x 4 整数正交变换，去除块效应的滤波器等，从而获得更高 的压缩比“”。 a v s 标准：2 0 0 2 年6 月成立的“数字音视频编解码技术标准工作组”联合国 内外从事数字音、视频编解码技术研发的科研机构和企业，提出了具有知识产 权的数字音、视频编解码技术标准a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 为我国数 字电视等音、视频产业自主发展，提供了一种可供选择的技术支持。 1 3 码率控制的意义及研究现状 对视频通信而言。由于通信带宽有限，必须将码率控制在一定的范围，以达 到在给定目标码率的条件下，尽可能达到平坦的高质量解码图像。因此，码率 控制是编码器不可缺少的组成部分。码率控制算法的优劣成为衡量编码器好坏 的重要指标之一 码率控制分固定码率控制( c o n s t a n tb i tc o n t r o l ，c b r ) 和可变码率控制 ( v a r i a b l eb i tc o n t r o l ，v b r ) 两种。固定码率控制是一种闭环处理，输入为视频 源和目标比特。它根据对源图像复杂度估计、解码缓冲的大小及网络带宽估计 动态调整q p ，得到符合要求的码率。这种方法实现简单，但在场景切换时容易 产生马赛克，一般适用于传输信道恒定的情况。v b r 模式是一种开环处理，输入 为视频源和一个q p 值。根据实际视频序列中的图像复杂度的不断变化、运动快 慢等等，比特率也相应变化，不固定。这种算法得到的图像质量较好，但实现 复杂，一般适用于传输信道经常波动的情况。目前，提出的基于h 2 6 4 的码率控 制算法大部分都是针对于c b r 情况。 目前h 2 6 4 码率控制算法提案主要有2 个：1 ) 由m p e g 一2 中t m 5 版本改 进的算法，应用于j v t - - f 0 8 6 中。它采用t m 5 模型，分为帧比特数分配，第 一次率失真计算，量化参数选择，再次率失真计算四步完成控制1 2 “2 ) 由m p e g 一4 中v m 8 版本改进的算法，应用于j v t - - g 0 1 2 中，提出用流量往返模型分 配比特数，并且在宏块层采用二次率失真函数计算得到量化参数 2 3 o 第一种方法使用了两次率失真计算，第二种方法在解决蛋鸡悖论时采用了 线性m a d 预测模型，效果较好，但算法复杂度过高，不适合实时编码使用。 1 4 本论文的研究内容及结构 本文以视频压缩编码中的码率控制技术为研究对象，在对各种经典的码率控制算 法深入研究的基础上，对现有的h 2 6 4 a v c 的码率控制算法深入分析其优缺点，提出 了一种改进的h 2 6 4 a v c 码率控制算法。本文的组织结构如下： 首先在第一章中简要介绍了视频演说编码的基本原理和方法，以及数字视频 压缩的发展过程，然后在第二章中对码率控制算法的目的、分类和影响码率控 制的因素进行了介绍，在此基础上对其中的码率控制中的关键技术率失真 模型以及几种典型的视频压缩标准建议的码率控制模型进行了深入分析，并指 出了这些码率控制模型的优缺点。 在第三章中。对现有的基于h 2 6 4 a v c 视频编码标准的两种典型的码率控制 算法进行了介绍，在深入分析的基础上结合h 2 6 4 a v c 视频压缩标准的特点， 阐明了两种算法各自存在的优缺点，引入了基于图像d c t 系数服从柯西分布假 设的率失真模型，并结合缓冲区充盈度，提出一种改进的帧级码率控制算法 在第四章中，针对宏块级码率控制算法中使用的传统的姒d 线性预测模型计 算量大且存在一定的预测误差的缺点，提出一种新的 , l a d 加权预测方法，再此 基础上提出了一种改进的宏块级码率控制算法。通过仿真可以看出我们的码率 控制算法能够提供更好、更稳定的性能。 最后，本文在第五章中对论文的工作做了简要总结与展望。 第二章码率控制策略 码率控制技术是视频通信系统应用中必不可少的组成部分，它可以保证视频数据 在信道内传输时充分利用传输带宽，以达到持续的好的图像质量。本章对码率控制技 术以及随着视频压缩标准的发展而出现的经典码率控制算法进行了介绍。 2 1 码率控制的目的 目前主要的国际视频编码标准( m p e o 1 、m p e g 2 、m p e g - 4 、h 。2 6 1 、h 2 6 3 和h 2 6 4 ) 基本上都采用m c + d c t 的混合编码方式，一般数字图像或残差图像需要经过d c t 、量化、 熵编码等步骤，输出编码后的比特流。由于视频序列中不同类型帧采用的编码方式不 同，各帧图像的复杂度和帧间图像的运动情况也不尽一样，最后通过可变长编码生成 的视频码流可能波动很大。”。 由于实际网络带宽和存储介质容量的限制，这种对码率无任何约束的码流对视频 通信系统的影响是灾难性的。所以无论是对于存储媒体还是通信传输的应用，都需要 采用适当的策略来控制编码器，将编码器的输出码率限制在一定的范围之内，这就是 码率控制( r a t ec o n t r 0 1 ) 。 码率控制一般通过引入缓冲区与调节量化参数来实现。将编码生成的变码率码流 先放到缓冲区，而从缓冲区以固定速率将码流输出到信道上。通过量化参数的调节以 保证缓冲区既不上溢也不下溢。其实现算法大体可分为两类：前向控制与后向控制。 前向控制是通过对各编码单位编码输出的比特数预测或用实验方法确定相应的量化 步长：后向控制方法主要是依据缓冲区状态与信道速率来动态调整各编码单位的步 长。前向控制算法不能保证预测的完全准确，而后向控制算法会引起量化参数较大的 波动，从而导致图像质量起伏。因此，在实际的码率控制策略中，往往是两种算法的 综合运用幢町。 目前视频图像压缩标准，无论是m p e g 1 、m p e g - 2 、m p e g - 4 ，还是h 2 6 3 、h 2 6 4 ， 它们都是仅仅详细规定了压缩码流的语法结构、基本压缩算法，而对算法的实现没有 限定。这种开放式的框架使得标准既方便了不同产品间的互连，又允许人们根据应用 背景，确定不同的编码策略，以提高编码效率。对视频通信而言，由于通信带宽有限， 必须将码率控制在一定的范围，以达到在给定目标码率的条件下，尽可能达到平坦的 高质量解码图像。因此码率控制是编码器不可缺少的组成部分。码率控制算法的优劣 也成为衡量编码器好坏的重要指标之一。 2 2 码率控制算法分类 码率控制算法根据应用信道的不同可分为固定比特率( c o n s t a n tb i tr a t e ) 控制算法 和可变比特率( v a r i a b l eb i tr a t e ) 控制算法两种【撕6 l 。 c b r 控制算法针对于传输信道稳定的情况下，由于传输信道速率稳定，c b r 控制算 法按图像复杂度分配码率，如果码率过低，通过填充无用比特来达到期望码率；如果 码率过高，则通过提高量化参数来降低码率，达到期望码率。它广泛应用在网络视频 会议、视频监控系统、数字视频点播、数字电视等可以认为传输信道速率恒定的场合 中。 c b r 控制是一种闭环的控制方案，输入信号为视频源和目标比特。它根据对源图 像的复杂度估计、解码缓冲的大小及网络带宽估计动态调整q p ，得到符合要求的码率。 这种方法实现简单，但在场景切换时容易产生图像质量的抖动啪。 图2 - 1c b r 码率控制算法示意图 g a t e 一一 r a g e ( b ) 示意图 i i 飙i盛雠 (a)(b) 图2 - 2c b r 码率控制算法的峰值信噪比p s n r ( a ) 和比特率 v b r 控制算法针对于传输信道波动的情况，一般指无线传输信道，这类信道传输稳 定性比较差。容易出现波动和跳变。v b r 控制算法大多应用在如：移动视频电话、无线 网络会议、移动视频点播等传输信道不稳定，经常出现波动和带宽跳变情况的无线接 入场合中。 v b r 模式是一种开环的控制方案，输入信号为视频源和一个q p 值。由于实际视频序 列中的图像复杂度是不断变化的，例如细节多少、运动快慢等等，比特率也相应变化， 不稳定。这种算法得到的图像质量较好，但实现复杂哺1 。 6 图2 - 3v b r 码率控制算法示意图 一一 t h n e t i m e (a)(b) 图2 - 4v b r 码率控制算法的峰值信噪比p s n r ( a ) 和比特率r a t e c o ) 示意图 2 3 影响码率控制的因素 为了能够比较合理的分配目标比特数，实现对编码器输出码率的良好控制，首先要 对影响输出码率的因素进行定性分析。 2 3 1 图像编码类型 在视频编码中，帧编码类型的差异将导致码流码率产生波动。在图像压缩标准中， 帧编码类型一般分成i 帧、p 帧和b 帧。 i l i ! 贞( i n t r a p i c t u r e ) 采用帧内预测编码方式，即只利用图像本身的空间相关性，没有 利用图像间的时间相关性进行压缩，因为仅使用帧内编码，而不需要参考帧进行预测， i 帧的压缩比通常很低。 p 帧( p r c d i c t c dp i c t u r e ) 和b 帧( b i d i r e c t i o n a lp i c t u r e ) 图像都采用帧间预测编码方式，即 同时利用图像空间和时间的相关性进行压缩，压缩效率一般要高于i 帧。p 帧图像参考 过去的帧内编码的图像或过去的预测图像，称为前向预测；b 帧既可以参考前一帧图 像，也可以参考后一帧图像，称为双向预测。由于使用了双向预测，b 帧能够有效地 处理目标遮挡和新场景进入问题，压缩效率高于p 帧。在大多数视频压缩标准中，不 同编码类型帧的比特数有显著差别嘲。 7 2 3 2 x d c t 用来消除视频图像空间相关性。图像数据( 在使用时域预测时，图像数据为原 始帧和预册帧之间的残差) 被分割成块，逐块实施o c t 和量化。细节较少或不包含细节 的块将产生较少的非零系数，细节较多的块产生非零系数也较多。块复杂程度不同导 致了同一帧中不同块所需的编码比特数有较大差异。若仅考虑帧内编码，每帧消耗的 比特数将随着场景的复杂程度不同而变化。复杂场景所需的比特数远大于简单场景。 在同一场景中，码率变化通常比较小；当场景切换或变化时，码率会急居4 变化。 2 3 3 运动预测 运动预测是导致压缩码流码率波动又一个原因。当采用时域运动预测时，编码数 据主要包括运动矢量和残差系数m c d p c m i l t 编码中的运动估值是建立在平移运动 模型的基础上，如果场景中仅含有较小的运动或简单线性运动( 如摄像机的镜头移 动) ，基于块的运动估计可有效地预测出运动。在这种情况下，运动矢量所占的比特 数相对较高。如果场景中含有快速或复杂运动( 如旋转、缩放或随机运动等) 时，基于 块的运动估计难以预测出实际运动，特别是在场景切换或变化时，编码帧中很多宏块 将采用帧内编码模式，使得残差编码比特数显著增加。 2 3 4 量化步长 在视频图像编码中，量化( q u a n t i z a t i o n ) 处理往往与各种变换过程结合起来以达到去 除图像空间冗余度的目的。一般情况下，变换过程可以将图像的能量在变换域集中， 然后通过量化保留对人眼较为敏感的部分去除相对不重要的成分，达到压缩数据的 目的。量化导致信息的丢失，是图像编码中引入失真的环节，因此，量化过程的优劣 直接影响图像编码质量。量化过程中，最关键的是量化系数的选择。量化系数较大， 编码用的比特数较少。随着量化系数的增大，误差也随之增加，在码率受限情况下， 导致编码图像质量下降。好的码率控制策略能在保证目标码率情况下，改善图像质量。 同时，选择量化系数时，还可以依据人的视觉特性，通过加大图像不敏感成分的量化 系数，来减少编码比特数，但又不明显降低图像主观质量。 2 4 率失真理论( r a t ed i s t o r t i o nt h e o r y ) 及其近似模型 由于传输带宽和存储空间的限制，视频应用对压缩比有较高的要求，而仅用无损 编码所能提供的压缩比远不能满足实际视频应用的需要。如果考虑人的视觉特性，采 用合适的量化处理方法，去除视频信号的生理视觉冗余信息，则可获得比无损压缩更 高的压缩比，且不会带来视频质量的显著降低。 在对编码量化参数的控制方面几乎所有的码率控制算法都是建立在某种率失真 优化模型基础之上。图像的编码比特率和编码失真度是一对互相制约的因素，随着编 码比特率的提升，编码失真度相应随之减小。采用率失真优化的方法可以在规定编码 码率的前提下优化控制编码参数使得编码失真度最小。因此，该方法从理论上能够求 得满足失真最小的最佳量化阶嘲。 信息编码中的率失真理论可以表述为嘲：假定离散无记忆信源输入为u ，接收端的 接收信息为v ，信源平均失真度为d ，允许失真度为d ，在信源和d 固定的情况下，在所 有满足保真度准则( d = d ) 的试验信道集合中，存在一个信道。使得信息率失真函数 r ( d ) 存在最小值，它反映了信源可以被压缩的极限程度由此可知r ( a ) 函数是在限定 失真为最大允许失真d 时信源的最小信息速率，a p r ( d ) 是表示不同d 值时对应的理论上 最小信息速率值。 图2 - 5r - d 模型曲线 量化的引入必然存在一定的失真，经典香农信息论中的率失真理论的研究目标 就是在尽量提高信号的压缩比的同时，降低信号的失真度( d ：d i s t o r t i o n ) 。码率控制和 率失真优化的一个主要目的是通过视频编码分析和建立率失真模型，在给定的约束条 件下，提供高质量的压缩视频。下面介绍几种常用的率失真模型。 高斯信源统计模型： 如果信源服从均值为0 ，方差为盯2 的高斯分布，失真用平方误差度量，则根据信 息论原理，率失真函数表示为汹。”： 即) ：肛g 苦胚d c r 2 假设失真d 与量化系数o 之间服从线性关系，即： d ( q ) = r t t - q ( 2 - 2 ) 则将式( 2 - 2 ) 带入式( 3 - 1 ) 得： 9 且= 口+ 肚g 西1 ( 2 - 3 ) 式( 2 3 ) 中，口= 扣t n ，= 三。 该模型中，方差矿2 可以直接从源数据中计算获得，m 的值可以通过一些方法估算 出来。但是由于经过d c t 变换得到的视频数据通常不符合高斯分布，而且o 与q 之间的 线性关系通常也不成立，尤其对p 帧和b 帧而言更是如此，从而导致该模型的适用性大 为降低口妇。 二阶率失真模型： m p e 6 - 4 的模型中使用y - - 阶率失真模型，其数学表达式为： 胄( = a i q 一1 + 4 2 q _ 2 ( 2 5 ) 其中，a t , a ：为模型参数。 指数模型： b a i 在文献 3 3 中提出了一种新的指数模型： n r ( q ) = y c o e f l ( ) + e x p - c o e f 2 ( n ) q 用 ( 2 4 ) n l i 在高码率应用中，当量化步长较小时，二阶率失真模型会产生较大的估计误差， 这时指数模型更能