（控制理论与控制工程专业论文）基于h264的码率控制算法的研究与优化.pdf

学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：媳鹃 酬年】月) 8 日 本人郑重 研究工作所取得的成果。除文中己经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均己在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 更晶晶 1 硝年2 月) pe t 摘要 摘要 h 2 6 4 a v c 是由i t u 厂r 的编码视频专家组( v c e g ) 和i s o i e c 的活动图像 专家组( m p e g ) 所组成的联合视频小组( j v t ) 制定的，于2 0 0 3 年3 月正式 公布，是未来几年视频编码技术的主要研究方向。与以往的视频编码标准相比， h 2 6 4 在性能上有了明显的改进与提高，具有更高的压缩比和更好的图像质量。 压缩算法中有一个重要的部分就是码率控制算法，其功能是控制编码压缩 的比特量，根据带宽的变化和编码器缓存的情况调整编码参数，使得编码比特 量能够适应带宽和缓存的要求，不出现跳帧情况。同时码率控制应尽量简洁， 减少编码端的计算量从而减少压缩时间，并且还可以减少码流在编码器缓存中 的停留时间，这就减少了传输延迟，提高了传输质量。但是由于目前h 2 6 4 标准 制定不久，在实际应用中，不同于早期的h 2 6 3 与m p e g 4 标准，还没有非常成 熟的码率控制模型。因此本文研究方向就在于针对h 2 6 4 标准中的视频压缩算 法，通过大量实验数据分析，建立一个理想的码率控制算法。 首先，本文对视频编码技术及其历史进行了综述，介绍了各种编码标准原 理及应用。 其次，本文分析了各种视频编码标准的码率控制机制，特别是适用于 m p e g 4 和h 2 6 4 的码率控制算法及实现方式，并分析了其优缺点。 最后，通过大量的试验分析，提出了一种改进的码率控制算法，并设计了 三种试验方案，验证了本文提出的改进码率控制算法，能够在保证编码比特率 的前提下，提高视频编码的质量。 关键词：h 2 6 4视频压缩码率控制 a b s t r a c t _ 一 a b s t r a c t h 2 6 4 a v cv i d e oc o d i n gs t a n d a r di sc o m p l e t e db yt h ej o i n tv i d e ot e a m ( j v t ) w h i c hi sf o r m e db yi t u t v c e ga n di s o f l e cm p e g a n di sp u b l i s h e df o r m a l l yi n m a r c h ，2 0 0 3 a n di tw i l lp l a yi m p o r t a n t r o l e si nv i d e oc o d i n gr e s e a r c h n e x tf e w v e a r s c o m p a r e dw i t ht h ee x i s t e dv i d e oc o d i n gs t a n d a r d s ，h 2 6 4d i s p l a y s al o to f o b v i o u sa d v a n t a g e s ，a n di th a st h eh i g h e rc o m p r e s s i o nr a t i oa n db e t t e rv i d e oq u a l i t y e n c o d e rh a sa ni m p o r t a n tp a r tw h i c hi st h er a t ec o n t r o la l g o r i t h m ；i t sf u n c t i o n i st oc o n t r o lt h eo u t p u tb i tq u a n t i t yo ft h ee n c o d e r t h er a t ec o n t r o la l g o r i t h mc a n a d j u s tt h ee n c o d e rp a r a m e t e rt oc a u s et h ee n c o d i n gb i t n u m b e ra d a p t i n gt h eb a n d w i d t hc h a n g i n ga n dt h eb u f f e rc a p a c i t yw i t h o u ta p p e a r i n gt h ef r a m ej u m ps i t u a t i o n s i m u l t a n e o u s l yt h ec o d er a t ec o n t r o ls e c t i o ns h o u l db es i m p l e a sf a ra sp o s s i b l ei n o r d e rt or e d u c ee n c o d e rc o m p u t a t i o nq u a n t i t y , t h u sr e d u c et h ec o m p r e s s i n gt i m ea n d t h ed e l a vt i m e a tt h es a m et i m et h es i m p l er a t ec o n t r o la l g o r i t h mm a yr e d u c et h e t i m et h eb i ts t r e a ms t a ya tt h ee n c o d e rb u f f e r , w h i c hc a nr e d u c et h et r a n s m i s s i o n d e l a va n di m p r o v et h et r a n s m i s s i o nq u a l i t y b u tt h eh 2 6 4i san e w l yv i d e o c o m p r e s s i o ns t a n d a r da n dn o w i th a v e n ts o m em a t u r er a t ec o n t r o lm o d e l ss u c ha s h 2 6 3a n dm p e g 4 ，s om yr e s e a r c hd i r e c t i o ni sn o w f o c u s e do nb u i l d i n gu pa ni d e a l r a t ec o n t r o lm o d e la b o u th 2 6 4t h r o u g hs a m p l ea n da n a l y z i n gal o to fe x p e r i m e n t d a t a f i r s t l y , is u m m a r i z e dv i d e oc o d i n gt e c h n i q u e sa n dt h e i re v o l u t i o nh i s t o r ya n d i n t r o d u c e dt h e i rp r i n c i p l e sa n da p p l i c a t i o n s s e c o n d l y , t h er a t ec o n t r o la l g o r i t h m s i nv i d e oc o d i n gs t a n d a r d sa r ed i s c u s s e d ， e s p e c i a l l yt h er a t e c o n t r o la l g o r i t h mi nh 2 6 4a n dm p e g 一4 t h e i ra d v a n t a g e sa n d d i s a d v a n t a g e sa r ea n a l y z e d a tl a s t an e wr a t ec o n t r o la l g o r i t h mi nt h i sp a p e ri n c l u d e dt h r e ei m p o r t a n tp a r t s a n dt h r e ee x p e r i m e n t sa r ed e s i g n e dt ov a l i d a t et h en e wa l g o r i t h m t h er e s u l t ss h o w t h a tt h ea l g o r i t h ma c h i e v e sg o o de f f e c t s k e yw o r d s ：h 2 6 4 ，v i d e oc o m p r e s s i o n ，r a t ec o n t r o l i i 第1 章 1 1 1 2 1 3 编码控制的研究现状10 1 3 1 编码控制的目的l l 1 3 2 编码的质量控制1 2 1 3 3 编码的码率控制1 3 1 3 4 码率控制概述1 3 1 3 5 传输中码率控制的必要性1 4 第2 章h 2 6 4 的基本原理和关键技术实现1 6 2 1 新一代视频压缩标准h 2 6 4 16 2 1 1h 2 6 4 视频编码标准的介绍1 6 2 1 2h 2 6 4 的主要功能目标l7 2 1 3h 2 6 4 新技术特点1 8 i i i 目录 2 1 4h 2 6 4 a v c 的主要应用领域包括以下几个领域： 2 2h 2 6 4 视频序列的具体分层结构 2 3h 2 6 4 的编码流程 2 3 1 帧内与帧间预测 2 3 2 运动估计( m o t i o ne s t i m a t i o n ) 2 3 3 变换和量化( t r a n s f o r m & q u a n t i z a t i o n ) 2 3 4 熵编码 2 3 5 其他技术 2 3 6h 2 6 4 的基本的编解码架构 2 4 本章小结2 8 第3 章码率控制基本原理2 9 3 1 码率控制的概念、使用原因和分类2 9 3 1 1 码率控制的概念2 9 3 1 2 码率控制的使用原因2 9 3 1 3 码率控制的分类3 0 3 1 4 视频编码中的c b r 与v b r 方式31 3 2 率失真理论和基于拉格朗日算法的率失真算法3 2 3 2 1 率失真理论3 2 3 2 2h 2 6 4 中的基丁二拉格朗日算法的率失真算法3 4 3 3 视频传输中经典r - d 模型分析3 9 3 4 本章小结4 0 第4 章h 2 6 4 中的码率控制算法41 4 1 经典码率控制算法4 1 4 1 1r m 8 码率控制算法4 l 4 1 2t m 5 码率控制算法4 l 4 1 3v m 8 码率控制算法4 4 4 1 4t m n 8 码率控制算法4 7 i v 4 2 4 3 4 3 4 缓冲区溢出防范措施6 0 4 4 本章小结6 1 第5 章改进的码率控制算法6 2 5 1 改进的g o p 层码率控制6 2 5 1 1g o p 初始比特数的计算6 2 5 1 2 初始量化参数的计算6 3 5 2 改进的帧层码率控制6 5 5 2 1 根据帧的不同复杂度加入比特数调节冈子。6 6 5 2 2 根据帧重要性不同的比特数调节一6 7 5 2 3 基丁m a d 的场景切换检测和处理6 7 5 3 改进的基本单元层码率控制一6 8 5 3 1 改进的r - d 信源预测模犁6 9 5 3 2 改进的率失真优化模型6 9 5 4 仿真结果7 l 5 4 1 实验一7l 5 4 2 实验二7 2 5 4 3 实验三7 3 5 5 本章小结7 7 第6 章总结与展望7 8 致 射7 9 v 目录 参考文献 个人简历在读期间发表的学术论文与 v l 表中主要列举了h 2 6 x 和m p e g 系列的视频压缩标准。 i t ut h 2 6 1h 2 6 1 h 2 6 3h 2 6 3 h 斗h 2 6 h + s t a n d a r d s v e r s i o ni )( v e r s i o n2 、 j o i n tt i t u t m p e g h 2 6 2 ，m p e g 2h 2 6 4 ，m p e g 一4a v c s t a n d a r d s 【p e g m p e g 4m p e g 4 m p e g i s t a n d a r d s ( v e r s i o n l )( v e r s i o n 2 ) iiliiiii 1 9 8 81 9 9 01 9 9 21 9 9 41 9 9 6 1 9 9 82 0 0 02 0 0 2 2 0 0 4 图1 1 视频标准发展史 从表中可以看出视频压缩标准的发展历程，主要历经了从h 2 6 1 m p e g 1 ， h 2 6 2 m p e d 2 ，h 2 6 3 h 2 6 3 + + ，到h 2 6 4 m p e g 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 等标准，从中可以看出不同的视频标准组织制定了不同的视频标准，最终两大 组织的合作促成了h 2 6 4 m p e g 一4a v c 的标准的产生。下面就每个阶段的视频压 缩标准进行简单的介绍。 1 1 1h 2 6 1 标准 表中列出h 2 6 1 标准制定时间，采用的算法以及应用场合和主要技术特点： 第l 章绪论 表1 2h 2 6 1 标准 h 2 6 l 时间1 9 9 0 年1 2 月 p 6 4 k b s 输入 1 7 6 宰1 4 4 ( q c i f ) 3 5 2 * 2 8 8 ( c i f ) 帧速率可变 _ 3 0 视频编 输出 p + 6 4 k b s ( p = - i ，2 ，3 ，3 2 ) 码标准 压缩率2 0 3 0 小于m p e g l 压缩算法运动补偿帧间预测与分块d c t 相结合的混合编码 应用可视电话，视频会议等对称应用 1 1 2h 2 6 3 标准 h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码流通信而设计的。但实 际上这个标准可用在很宽的码流范围，而不是只用于低码流应用，它在许多方 面的应用可以认为被用于取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但作了 一些改善和改变，以提高性能和纠纷能力。h 2 6 3 标准在低码率下能够提供比 h 2 6 1 更好的图像效果，两者的区别有： ( 1 ) h 2 6 3 的运动补偿使用半像素精度，而h 2 6 1 则使用全像素精度和循环滤波。 ( 2 ) 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以配置成更 低的数据率或更好的纠错能力。 ( 3 ) h 2 6 3 包含4 个可协商的选项以改善性能。 ( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码。 ( 5 ) 采用事先预测和与m p e g 中的p b 帧相同的帧预测方法。 ( 6 ) h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外还支 持s q c t f ，4 c i f 和1 6 c i f ，s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分别为c i f 的4 倍和1 6 倍。 1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 建议的第二版，它提供了1 2 个新的 可协商模式和其他特征，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频 源格式，h 2 6 3 + 允许使用更多的源格式，图像时钟频率也有多种选择，拓展应用 范围；另一重要的改进是可扩展性，它允许多显示率，多速率即多分辨率，增 强了视频信息在易误码，易丢包异构网络环境下的传输。另外，h 2 6 3 + 对h 2 6 3 中的不受限运动矢量模式进行了改进，加上1 2 个新增的可选模式，不仅提高了 编码性能，而且增强了应用的灵活性。h 2 6 3 已经基本上取代了h 2 6 1 1 】。 1 1 3m p f g - 1 标准 2 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ) 的缩写，于1 9 8 8 年成立，是为数字视音频制定压缩标准的专家组。目前，已拥有3 0 0 多名成员， 包括i b m ，s u n ，b b c ，n e c ，i n t e l ，a t & t 等世界知名公司。m p e g 组织最 初得到的授权是制订用于“活动图像”编码的各种标准，随后扩充为“及其伴 随的音频及其组合编码。后来，针对不同的应用需求，解除了“用于数字存 储媒体”的限制，成为现在制订“活动图像和音频编码”标准的组织。m p e g 组织制定的各个标准都有不同的目标和应用，目前己提出了m p e g 1 ，m p e g 一2 ， m p e g 4 ，m p e g 7 和m p e g 2 1 等标准，m p e g 1 标准于1 9 9 3 年8 月颁布，用于 传输数据传输率为1 5m b p s 的数字存储媒体运动图像及其伴音的编码。该标准 包括五个部分。第一部分说明了如何根据第二部分( 视频) 以及第三部分( 音 频) 的规定，对音频和视频进行复合编码。第四部分说明了检验解码器或者编 码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的c 语言 实现的编码和解码器。 该标准从颁布的那一时刻起，m p e g 1 取得一连串的成功，如v c d 和m p 3 的大量使用，w i n d o w s 9 5 以后的版本都带有一个m p e g 1 软件解码器，可携式 m p e g 1 摄像机等等。 1 1 4m p e g - 2 标准 表1 3m p e g 2 标准 m p e g 2 h 2 6 2时间 1 9 9 4 年1 1 月 运动图像及其 输入 3 5 2 2 8 8 - 1 9 2 0 * 1 1 5 2 伴音通用编码 采用频率为1 6 ，2 2 0 5 ，2 4 ，3 2 ，4 4 1 ，4 8 k h z 的线性p c m ， 标准 支持5 1 声道 输出 1 5 - 8 0 m b s ，8 - 6 4 0 k b s ( 音频) 压缩率 3 0 4 0 压缩算法运动补偿帧间预测( 单双向预测) + d c t ，可伸缩性， 前向兼容 应用d v d ，d v b ，h d t v m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准，以实现视音频服务与应用 互操作的可能性。m p e g 2 标准是针对标准数字电视和高清晰度电视在各种应用 下的压缩方案和系统层的详细规定，编码码率从每秒3 兆比特到1 0 0 兆比特， 标准的正式规范在i s o i e c l 3 8 1 8 中。m p e g 2 不是m p e g 1 的简单升级，m p e g 2 3 第1 章绪论 特别适用与广播级的数字电视的编码和传送，被认定为s d t y 和h d t v 的编码 标准。 m p e g 2 图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相 关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余 信息除去，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接 收机利用这些非相关信息，按照一定的解码算法，可以在保证一定图像质量的 前提下恢复原始图像。这个好的压缩编码方案能够最大限度的去除图像中的冗 余信息。 m p e g 2 的编码图像被分为三类，分别称为i 帧，p 帧和b 帧。其中，i 帧 图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时 间相相关性。p 帧和i 帧图像采用了帧间编码方式，即同时利用了空间和时间上 的相关性。p 帧图像只采用前向时间预测，可以提高压缩效率和图像质量。p 帧 中可以包含帧内编码的部分，即p 帧中的每个宏块可以是前向预测，也可以是 帧内编码。b 帧图像采用双向时间预测，可以大大提高压缩倍数。 m p e g 2 的编码码流分为六个层次。为更好的表示编码数据，m p e g 2 用句 法规定了一个层次结构。它分为六层，自上而下分别是：图像序列层( s e q u e n c e ) 、 图像组( g r o u po fp i c t u r e ，g o p ) 、图像( p i c t u r e ) 、宏块条( s l i c e ) 、宏块 ( m a c r o b l o c k ) 、块( b l o c k ) 。 1 1 5m p e g - 4 标准 表1 4m p e g 一4 标准 m p e g 一4 ( p a r t - 2 )时间 1 9 9 9 仨 m p e g - 4 v i s u a l 输入1 7 6 1 4 4 的多种分辨率格式 甚低码率活动 输出 4 6 k b s - 6 4 k b s 图像及其伴音 压缩率 1 0 0 编码标准 压缩算法基于对象的新一代编码技术，注重交互性，即可包含 自然对象，又可包含人t 合成对象 应用 可应用范围很广，目前多用丁因特网视频传输，流媒 体应用 运动图像专家组( m p e g ) 于1 9 9 9 年2 月正式公布了m p e g 4 ( i s o i e c l 4 4 9 6 ) 标准第一版本。同年年底m p e g 4 第二版本亦确定，且于2 0 0 0 年年初正式成为国际标准。 4 第1 章绪论 m p e g - 4 与m p e g 1 和m p e g 2 有很大的不同。m p e g 4 不只是具体压缩算 法，它是针对数字电视，交互式绘图应用( 影音合成内容) ，交互式多媒体( w w w 资料截取与分散) 等整合及压缩技术的需求而制定的国际标准。m p e g 一4 标准将 众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信以及应用环境 提供标准的算法及工具，从而建立起一种能被多媒体传输存储检索等应用领域 普遍采用的统一数据格式。 m p e g - 4 的编码理念是：m p e g 一4 标准同以前标准的最显著的差别在于它是 采用基于对象的编码理念，即在编码时将一副景物分成若干在时间和空间上相 互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不 同的对象分别解码，从而组合成多需要的视频和音频，这样既方便我们对不同 的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并 且这样也可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的 演播室，还可以在互联网上方便的实现相互，根据自己的需要有选择的组合各 种视频音频以及图像文本对象。 m p e g 4 系统的一般框架是：对自然和合成的视听内容的表示；对视听内容 数据流的管理，如多点，同步，缓冲管理等；对灵活性的支持和对系统不同部 分的配置。 与m p e g 1 ，m p e g 2 相比，m p e g 4 具有如下独特的优点： ( 1 ) 基于内容的交互性 m p e g 4 提供了基于内容的多媒体数据访问工具，如索引，超级链接，上下 载，删除等；m p e g 4 提供了高效的自然和合成的多媒体数据编码方法，可以把 自然场景或对象组合起来，成为合成的多媒体数据。 ( 2 ) 高效的压缩性 m p e g 4 基于更高的编码效率。与已有的或即将形成的其他标准相比，在 相同比特率下，它基于更高的视觉听觉质量，这就使得在低带宽的信道上传送 视频，音频成为可能；同时m p e g 4 还能对同时发生的数据流进行编码。 ( 3 ) 通用的访问性 m p e g 4 提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及 存储介质中的应用，此外，m p e g 4 还支持基于内容的可分级性，即把内容，质 量，复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，不 同存储容量的传输信道和接收端。 5 h 2 6 i t u 标准 标准 2 0 0 3 表1 5h 2 6 4 标准 h 2 6 4时间2 0 0 3 年5 月 m p e g - 4 ( p a r t 10 、 输入多种分辨率格式 m p e g - 4a v c 输出 p 车6 4 k b s ( p = l ，2 ，3 ，3 2 ) 压缩率压缩率最高的视频压缩标准，比m p e g 4v i s u a l 节约5 0 的码率 压缩算法基于传统框架的混合编码系统，只是做了局部优化。更 注重编码效率和可靠性 应用 视频广播，视频通信和存储媒体( c dd v d ) 等多种应用 h 2 6 4 又称为p 6 4 ，其中p 为6 4 k b s 的取值范围，是l 3 0 的可变参数，它 最初是针对i s d n 上实现电信会议应用，特别是面对面的可视电话和视频会议而 设计的。实际的编码算法类似于m p e g 算法，但不能与后者兼容。h 2 6 4 在实 时编码时比m p e g 所占用的c p u 运算量少的多，此算法为了优化带宽占用量， 引进了在图像质量与运动幅度之间的平衡折中机制。也就是说，激烈运动的图 像比相对静止的图像质量要差。因此，这种方法是属于恒定码流可变质量编码 而非恒定质量可变码流编码。 1 1 7 其他标准 ( 1 ) r e a lv i d e o r e a lv i d e o 是r e a ln e t w o r k s 公司开发的在窄带宽( 主要的互联网) 上进行 多媒体传输的压缩技术。 ( 2 ) w m t w m t 是微软公司开发的在互联网上进行媒体传输的视频和音频编码压缩 6 第1 章绪论 技术，该技术己与w m t 服务器及客户机体系结构结合为一个整体，使用m p e g 一4 标准的一些原理。 ( 3 ) q u i c kt i m e q u i c kt i m e 是一种存储，传输和播放多媒体文件的文件格式和传输体系结 构，所存储和传输的多媒体通过多种压缩模式压缩而成，传输是通过r t p 协议 实现的。 1 2 视频压缩基础知识 1 2 1 视频压缩原理 视频图像是一种有一定信息量的载体，根据信息论，信息载体的信息量的 大小可以用熵( e n t r o p y ) 来表示，视频图像的熵的表达式如式： h ( x ) = 一：尸( 薯) l o g 尸( 薯) ( 1 1 ) 式中h ( x ) 的单位为比特字符，图像像素灰度级集合x = x l ，x 2x 3 x n ) ，起始 对应的概率分别为p ( x 1 ) ，p ( x 2 ) ，p ( x 3 ) p ( x n ) ，图像熵表示为图像灰度级集合的 比特平均数，单位为比特像素( b i tp e rp i x e l ) ，也描述了图像信源的平均信息量。 按照信息论中无干扰的编码原理，在无干扰的情况下，存在着一种无失真 的编码方法，使得编码的平均长度与信源的熵任意的接近。信息量的大小与图 像信源的概率分布有直接的关系，只要信源不是等概率分布的，就存在数据压 缩的可能。因此得到一种图像数据压缩的方法，就是尽可能的改变信源的概率 分布，使得其均匀，再采用变长编码后，使图像数据得到压缩，而且压缩编码 后的信息熵接近最大值。 1 2 2 视频压缩的性能评价标准 图像压缩编码可以看作是码率和图像质量视觉感知失真之间的一种折中，图 像质量视觉感知失真的讵确评价关系到图像压缩算法的设计和优化。通常视频 压缩是有损的，为了提高压缩比而损失了图像信息，降低了图像的质量。在视 频图像通信应用系统中，人们常对压缩造成的视频图像的失真度有一定的要求， 因此必须提出一系列对图像和视频压缩性能综合评价的主客观标准。 7 第1 章绪论 常用的客观评价标准如下： ( 1 ) 压缩比：是指压缩之前的信源的数据量与压缩之后的输出数据量之比。这是 衡量压缩效率的一个重要指标。一般而言，压缩比越大，图像信息就被压缩的 越多，图像失真率就越大。 ( 2 ) 信噪比：直接反映了压缩造成的信号失真度的大小，记为s n r ( s i g n a lt on o i s e r a t i o ) 计算公式如式 s n r ( d b ) = 1 0 l 0 9 1 0 ( ) ( 1 2 ) 式中盯；为源图像的均方差值；一为源图像写重构图像之差的均方差值： ( 3 ) 图像连续性：图像画面的连续性对于视频图像压缩编码来说也是评价的一个 重要的指标。通常可以用每秒播放的图像的帧数来衡量，按照人类视觉暂留特 性，3 0 f p s 以上的帧率已经达到极好的连续性，如果视频图像每秒传输的帧数过 少，从人类的视觉特性来评价，此时的图像画面会有明显的跳跃，不连续的感 觉。因此，在许多通信应用应用领域中对此指标都有严格的要求，一般情况下， 综合性能比较好的视频压缩系统都能达到每秒5 帧以上。 在对视频图像压缩性能的综合评价中，除了采用客观指标进行定量的分析 评价外，人类的主观评价也是不可缺少的。对图像视频的主观评价有很多方式， 相应得测试标准和测试过程也不同，目前大多采用c c i r 推荐的典型分级标准。 通常，客观指标多用于对算法优劣的比较，而对最终的图像质量的评价还 是要取决于人类的视觉，也就是要依靠主观评价的结果，因此应用系统就必须 正确使用主客观标准来衡量和评价。 1 2 3 压缩编码方法的分类 编码压缩方法有许多种，从不同的角度出发有不同的分类方法，比如从信 息论角度出发可分为两大类： 冗余度压缩方法：也称无损压缩， 失真，从数学上讲是一种可逆的运算。 信息量压缩方法：也称有损压缩， 允许有一定的失真。 即解码图像和原始图像严格相同，没有 即解码图像和原始图像有一定的差别， 应用在多媒体中的图压缩编码方法，从压缩编码算法原理上可以分类为： ( 1 ) 无损压缩编码类：主要有哈夫曼编码，算数编码，行程编码等编码方法； 8 ( 2 ) 有损压缩编码类： ( 正交变换编码，子 编码，模型基编码) ， 等编码方法。 基于重要性编码( 滤波，子采样，比特分配，矢量量化) ( 3 ) 混合编码：j p e g ，m p e g ，h 2 6 1 等压缩标准中采用的编码方法。 衡量一个压缩编码方法优劣的重要指标是t 压缩比要高，压缩与解压缩的 速度要快，算法实现要简单，硬件实现容易，解压缩的图像质量要好。选取编 码方法需要考虑图像信源本身的统计特征；多媒体系统( 硬件和软件) 的适应 能力；应用环境以及视频压缩标准。 1 2 4 基本编码方法 本节简要介绍视频编码标准中的基本概念和基本技术。 1 。2 4 1 帧内和帧间编码 帧内数据是指一帧内水平和垂直方向取样点的总和，或称为图像空间。我 们把只去除空间冗余度不涉及时间域上的信息量的技术称为帧内编码技术；而 帧问编码是指同时去除空间域和时间域上的冗余度的编码技术。帧内编码相对 于帧间编码来讲实现比较简单，但是压缩比不高。 1 2 4 2 预测编码 预测编码的原理是由邻近的像素值预测当前的像素值，然后对当前的像素 和预测像素的差值进行量化和编码。考虑到高性能和复杂度之间的折中，通常 用于帧内预测的像素个数不多，因为使用更多的像素并不会显著提高预测性能； 对于帧间预测，一般使用相邻帧的对应像素值进行预测，图像的相关性越大， 预测误差就越小，压缩比就越大。 1 2 4 3 变化编码 j 下交变换的理论证明，通过某种正交变换，可以把图像的数据从空间域映 射到变化域中，总能量不变，但是其分布特性改变，集中分布在少数区域，形 成一种更为紧凑的形式。这使得图像可以在变换域中使用更少的比特数来表示， 以此获得更高的压缩比。尽管正交变换有很多种，但是大多数标准采用二维的 9 第1 章绪论 d c t 变换，主要因为其性能的优越，接近最佳的k l 变换。将一幅图像分割为多 个相邻的小方块，对每个单独的小方块进行d c t 变换。方块的大小是图像质量， 压缩比和实现难度之间进行折中而决定的。在实际应用中，常采用8 * 8 或者1 6 1 6 的大小。 1 2 4 4 变长编码 变长编码包括两个部分：二维游程编码和哈夫曼编码。图像经过d c t 变换 和量化以后形成为数众多的零系数，而且这些系数大多集中在高频部分，为了 充分利用这一特点，在进行游程编码时，对8 * 8 块的d c t 系数进行曲折扫描顺 序处理，以期获得较长的连续的零值，有利于以后的游程编码。游程编码将曲 折扫描后的系数变成若干对( 游程一幅值) 数据。这里，游程是指连续零的个数， 幅值是指非零系数的值。然后将这些游程一幅值数据对看成是一个个概率事件， 对其中较常出现的数据对使用较短的码字来表示，较少出现的数据对使用较长 的码字来表示，这就是哈夫曼编码。从总体上看，这又可以减少编码的数据量。 1 2 4 5 运动估计 为了提高图像的压缩比，在帧问预测中使用了运动估计的方法。假设在当 前帧的前一帧中有一定的运动，如果采用通常的帧间预测的方法，前后帧对应 位置的像素相减，这一部分的帧差必然很大。然后通过计算该运动物体在前后 两帧中的相对位置( 运动矢量) 来估计其运动的大小，可以使图像数据( 一般 一个块) 最接近的同前一帧的图像相匹配。这样当前帧中的运动物体和前一帧 对应的部分的帧差要比没有运动估计的情况下两帧相同位置使得小。因此，在 有运动估计的帧间预测中，图像的压缩比会有所提高。 1 3 编码控制的研究现状 就m c d p c m d c t 视频编码算法来说，其码流具有与生俱来的变码率特性， 如果在压缩过程中编码参数保持不变，不同帧之间消耗的比特数会显著不同。 由于实际网络的带宽和存储介质的容量限制，这种对码率无任何约束的码流对 视频通信系统造成的影响是灾难性的，无法保证系统的运行。 码率控制有两种模式，恒定码率c b r ( c o n s t a n tb i t r a t e ) 模式和可变码率 1 0 第1 章绪论 v b r ( v a r i a b l eb i t r a t e ) 模式。在恒定码率工作模式下，编码过程中的码率基 本保持不变；在可变码率模式下，码率可随场景变化而在一定范围内波动。这 就是说，相对恒定码率可变码率能够提供更加稳定的视频质量。 在具体实现上，码率控制大多通过缓冲机制的平滑作用完成。受解码缓冲区 大小和延时影响，编码时除了在控制码率外还要防止缓冲区溢出带来的视频质 量下降。许多学者和机构在码率控制方面做了大量的研究工作。t m 5 将码率控 制分为三个步骤：目标比特分配，基于缓冲区饱和度的码率控制和自适应量化1 3 】。 但t m 5 算法是建立在视频源信号为平稳随机过程的基础上，它存在场景切换适 应性和缓冲区一致性问题。l w a n g 和d f a r i n 针对t m 5 算法在场景切换方面的 不足，提出了动态改变g o p 机构以防止场景切换后质量下降的方法1 4 j 。h s o n g 和y h o n g 则提出了通过动态改变帧率调整码率的方法晦1 。d t h o a n g 提出了一种 基于字母顺序( l e x c o g r a p h i c ) 准则的目标比特分配方法，它能够提供更加稳定 的视频质量【6 】o t m n 8 t 7 1 和v m 8 踟则将码率控制分别建立码率一量化曲线为二阶抛 物线模型和对数模型的基础上。z h e 通过量化后d c t 系数的非零值比例和码率 之间的统计关系建立p 一域码率失真模型旧1 。y - ss a w 在u 们讨论了基于模糊准则 ( f u z z yr u l e b a s e d ) 和基于r b f ( r a d i a lb a s i sf u n c t i o n ) 的码率预测和控制方 法；对于v b r 码率控制，l t e i x e i r a ，p h w e s t e r i n k i l i i 和s e t h u r a m a n l l 2 提出了基 于r - q 模型的多通道码率控制算法。然而这种算法的编码效率太低，需要对同 一视频序列进行多次编码和分析。y y o k o y a m a 提出了一种场景自适应的单通道 码率控制算法。此外，他还提出了一种动态调整g o p 结构以适应场景切换的v b r 码率控制算法【1 3 。a j a g m o b a n 将量化因子调整和帧率调整结合起来，利用编码 统计信息完成单通道的码率控制l l 引。s t a k a m u r a i 则在视频帧复杂度恒定假设基 础上提出了一种根据r d 曲线单通道v b r 码率控制算法别。 1 3 1 编码控制的目的 对于不同的应用场合，往往有不同的视频质量要求。同时，传输信道带宽， 处理器能力等实际因素会对视频编码的比特率和图像质量形成种种限制。为了 在这些条件限制下，达到最佳的压缩性能，对视频编码过程进行控制是非常必 要的。编码控制的目标就是在实际传输比特率的限制下，以实际所能允许的计 算复杂度来获得尽可能好的图像质量。在给定的条件下( 如信道带宽和处理器 第1 章绪论 能力给定) ，此时编码比特率，计算复杂度和重建图像质量将取决于采用的视频 编码标准，输入视频和编码控制方法。不同的编码标准，如h 2 6 3 和h 2 6 4 ，将 有不同的编码结果。不同的输入视频，如缓慢运动和剧烈运动的视频，也会有 不同的编码结果。 1 3 2 编码的质量控制 在编码端，视频序列无论经过怎样的处理，都是为了能够高效的通过信道传 输，最终在解码端( 接收端) 解码播放。( 有的场合在接收端没有解码，仅把码 流存储起来了，但f 1 后用到的时候还是要解码播放的。) 当视频被采集后，都存 在一定程度的噪声干扰。噪声恶化了图像质量，使图像模糊。因此，可以在视 频送到编码器编码前，采取滤波( 或者称为图像平滑) 的方法