（计算机应用技术专业论文）视频编码码率控制策略的研究.pdf

摘要 摘要 vvu-uv 码率控制是多媒体通信中的关键技术之一，特别是在网络带宽无法预测和 控制的i n t e m e t 环境中，码率控制对多媒体系统的服务质量起着决定性的作用。 本文首先分析了视频编码关键技术，在此基础上，对编码中码率控制的关 键环节加以研究，主要包括d c t 变换、量化因子和缓冲区调整等，最后从传输 角度，研究网络带宽对码率控制的影响。提出了一种基于d c t 变换系数的码率 控制方案。 量化阶段量化因子是一个控制码率的重要参数，这个参数的设定主要是结 合缓冲区的占用容量。基于缓冲区调接量化因子码率控制可能会造成解码时的图 像抖动或一帧图像质量的差异，即一帧图像的上边质量好下边质量差。本文分析 了该技术的不足的原因，提出了一种改进方案，添加了校正环节，当出现图像质 量偏差时校正环节填充了信道空闲，提高了图像质量。 网络带宽自适应的码率控制算法是本文创新的重点，它通过先在接收端实 时探测网络带宽反馈给网络服务发送端，按照网络带宽选择编码不同的数据分 层，并进行缓冲处理，然后输出传送码流，使得网络服务在适应网络不同带宽需 求上具有灵活性，实验表明，使用本文带宽自适应缓冲技术码率控制方案，提高 了预编码的m p e g 视频流的传输质量，是一种有效的码率控制方案。 关键词： 视频编码，d c t ，量化，缓冲区，码率控制，带宽自适应 a b s t r a c t r a t ec o n t r o li so n eo ft h ek e yt e c h n i q u e so ft h em u l t i m e d i ac o m m u n i c a t i o n s e s p e c i a l l y o nt h ei n t e r a c t w h i c ht h eb a n d w i d t hc a n t b e p r e d i c t e d o rb e c o n t r o l l e d r a t ec o n t r o lp l a yad e c i s i v er u l eo nt h es e r v i c eq u a l i t yo ft h em u l t i m e d i a s y s t e m i nt h i s p a p e r , t h ek e yv i d e oc o d i n gt e c h n o l o g yi sa n a l y z e da tf i r s t a n dt h e n b a s e do nt h i s ，t h ek e y p o i n t s o ft h es t r e a mc o n t r o li nv i d e oc o d i n gh a sb e e nr e s e a r c h e d i n c l u d i n g o f d c t 、q u a n t i z a t i o n a n db u 珏c rc o n t r o le t c i nt h ee n df o r mt h e t r a n s m i s s i o n ，w er e s e a r c ht h es t r e a mc o n t r o lb yc o n s i d e r i n gt h eb a n d w i d t ha n d p r o p o s eas c h e m e o f s t r e a mc o n t r o lb a s e do nd c tc o e f f i c i e n t i nq u a n t i z a f i o n s t e pq u a n t i z a t i o ng e n e i sa ni m p o r t a n tp a r a m e t e ri nv i d e os t r e a m c o n t r 0 1 t h ee n a c t m e n to ft h i sp a r a m e t e ri sd e t e r m i n e db vb u l l e ro c c u p a n c y s t r e a m c o n t r o lb a s e do nb u f f e r - q u a n t i z a t i o n g e n ec h a n g ei st h ek e y t e c h n o l o g yo f t h es t r e a m c o n t r 0 1 h o w e v e rt h ea d j u s t m e n to ft h e q u a n t i z a t i o ng e n eb a s e d o nt h eb u f f e r o c c u p a n c ym a y b e c a u s et h eg r a p hd i t h e r i n gw h e nd e c o d e di to rt h ed i f f e r e n c eo fo n e f r a m et h a tm e a n st h eq u a l i t yo nt h et o po ft h ef r a m ei sb e t t e rt h a nt h a to fo nt h e b o t t o mo ft h ef r a m e i nt h i sp a p e lw e a n a l y z e t h el i m i t a t i o no ft h i st e c h n i q u ea n d 西v e ar e v i s e ds c h e m ei nw h i c ht h er e v i s e d p a r ti sa d d e d w h e n t h ew r a po f g r a p hi sc a u s e d t h er e v i s ep a r tw i l lf i l li nt h ef r e ec h a n n e la n di m p r o v e st h eg r a p h q u a l i t y , t h ec o n t r o la r i t h m e t i cb a s e do nb a n d w i d t h a d a p t i v et r a n s m i s s i o ni sak e y s t o n e o ft h ei n n o v a t i o ni nt h i sp a p e r a c c o r d i n gt ot h ed e t e c t i o nb a n d w i d t hi nr e a lt i m ef r o m t h er e c e i v e r , t h es e n d e rc h o o s e st h ed i f f e r e n tm o d e so fd e l a m i n a t i o nc o d i n g , s m o o t h e s t h es t r e a ma n dt r a n s m i t si tt ot h er e c e i v e r t h i ss c h e m ei sf l e x i b l et oa d a p tv a r i o u s b a n d w i d t hn e t w o r k s e x p e r i m e n t ss h o wt h a tt h es e r v i c eq u a l i t yo fm p e gs t r e a mi s i m p r o v e de f f i c i e n t l yu s i n g t h i sr a t ec o n t r o ls c h e m ea n di ti si d e a lr a t ec o n t r o ls c h e m c k e y w o r d s ： v i d e oc o d i n g ，d c t ，q u a n t i z a t i o n ，b u f f e r ，r a t ec o n t r o l ，b a n d w i d t h a d a p t i v e l i 兰二主堕望 - - _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ - - _ _ _ _ _ _ - _ - _ _ _ - _ 第一章绪论 本章介绍论文题目的研究背景、国内外研究现状、研究内容，最后列出论 文内容的组织安排。 1 1研究背景 随着计算机网络技术的飞速发展、网络规模的不断扩大，更多的人们可以通 过网络来获取信息。同时随着信息技术的发展和社会的不断进步，人类对信息 的需求越来越丰富，人们希望无论何时何地都能够方便、快捷、灵活地通过语 音、数据、图像与视频等多种方式进行通信。工厂企业用网络来实现生产的监 测、过程控制、管理和辅助决策；铁路部门可用网络来实现报表收集、运行管 理和行车调度：邮电部门可以利用网络来提供世界范围内快速而廉价的电子邮 件、传真和i p 电话服务；教育科研部门可以利用网络的通信和资源共享来进行 情报资料的检索、计算机辅助教育和计算机辅助设计，科技协作、视频会议和 远程教育；计划部门可利用网络来实现普查、统计、综合、平衡和预测等。国 防工程能利用网络来进行信息的快速收集、跟踪、监控与指挥；商业服务系统 可以利用网络实现制造企业、商店、银行和顾客间自动电子销售转帐服务或更 广泛意义下的电子商务。总之，随着人类在网络、视音频压缩等多媒体关键技 术的研究突破，多媒体视音频技术的应用越来越广泛和大众化，用户可以方便 地以多种形式交流音视频信息。可以说网络在当前的社会中已经无处不在，网 络环境的使用更加广泛。 互联网是唯一的一张让众人愿意自投罗网的“网”，而每个人落网的方式却 千差万别，即用户的异构性，包括用户接入网络设备的异构性和用户对服务质 量、业务内容需求的异构性。在接入网络设备上，如应用最广泛的拨号介入方 式p s t n ( p u b l i s h e ds w i t c h e d t e l e p h o n en e t w o r k ) ，即“拨号接入”，就是指通过 普通电话线上网。目前最高速率为5 6 k b p s ，已经达到仙农定理确定的信道容量 笫一草绪论 极限，虽然方便、普及、便宜，速率远远不能够满足宽带多媒体信息的传输需 求。其他的接入方式如i s d n ，实际速度可以达到1 0 0 1 2 8 k b p s ，测试数据表明， 窄带i s d n 也不能满足高质量的v o d 等宽带应用，虽然a d s l 1 1 这种接入方式 能够使多媒体服务成为现实，而且还将可以提供点对点的远程医疗，远程教学， 远地可视会议等服务，但是在目前这也是很有限的。当前的网络接入方式可谓 是多种多样，可以达九种之多，网络状况复杂多变，这就给网络多媒体服务提 出了不同服务质量内容的个性化服务。现有的窄带通信网或移动通信网等，虽 然可以提供有改进的语音和数据服务，但在支持宽带多媒体业务和资源的综合 优化利用等方面存在着很大的局限性，不能很好的支持较大容量的多媒体业务， 尤其是高质量的图像，视频业务更不能向不同的用户动态提供具有不同服务质量 与内容的个性化服务【2 1 。这就给当前的多媒体研究人员提出了一个新的课题：在 提供多媒体服务的时候，如何能够考虑到实际的网络接入状况及可用的传输通 道带宽来更有效的传输视频码流。 从视频序列上来看，由于各帧图像的复杂度和各帧之间图像运动的大小是 非平稳的，将导致各帧编码比特流的输出比特数可能波动很大， 图1 - 1 每帧图像编码所用的比特数( m p e g 4 ，o p = 1 5 ) 图1 - 1 所示为用m p e g 一4 编码器和固定量化步长3 0 对视频序列t a b l e t e n n i s 第一章绪论 ( q c i f ) 进行编码后的输出比特数统计结果，可以看出，图像序列经过编码之 后，输出的是一个码率不断变化的码流。即经过压缩后的码流本身是个变速码 流( v b r ) ，而大多数的视频编码器的输出信道是个恒定的位率的信道( a b r ) ， 这样的码流虽然能够提供较高的压缩比，却不适合实时地在固定码率的信道中 传输。因此要使视频压缩码流在恒定位率的信道上发送，就需要通过量化环节 调整编码后输出的数据量，需要一个缓冲存储器( 即缓冲区) 来平衡编码器输 出码流的波动，即码率控制的内容。而且，从传输的角度上，码率控制需要解 决的另外一个关键问题是如何能够动态的了解网络的实际状况，在此基础上， 再从编码的角度如何调整单位时间内视频编码数据量，即基于网络带宽适应的 码率控制。为此，可分级( s c a l a b l e ) 编码、多速率编码、速率适配、带宽自适 应码率控制等得到了研究与进一步的发展，使得一个网络终端或接收者可以根 据需要来间接控制所接受的码流，从而使视频流发送端能同时面向各种网络和 更多的用户，提供用户所需要的个性化服务。 从标准上来看，大多数视频编码标准( 如h 2 6 3 、m p e g 2 4 、h 2 6 4 a v c 等) 仅规定了编码的基本方法、比特流的语法结构和标准的解码过程。而对于 具体的编码过程则充分开放，允许实现者灵活地处置。在视频压缩编码中起重 要作用的编码控制技术也位于其中。编码参数的控制，如帧模式、宏块模式、 运动矢量、量化步长等，直接关系到编码产生的比特数，关系到重建视频的质 量，关系到视频编码器的复杂程度。因此，视频编码控制技术一直受到人们的 关注，在这方面已做出了很大的努力，并取得了长足的进展。码流速率控制算 法的选择对视频质量有很重要的影响，它是受到编码过程中多种因素制约的。 本文主要对码流速率控制技术进行研究，包括在视频编码阶段中的各个影响环 节和考虑网络状况。 1 2 研究现状 视频编码码率控制是视频编码技术和网络传输技术共同发展和不断融合的 第一章绪论 结果。一般来说，码率控制主要是从编码各个阶段调控码率和从网络传输因素 调控码率。视频编码各阶段主要是从d c t 变换、量化阶段及缓冲区调整，另外 还包括编码对象( 即编码分层，主要包括基本层和增强层) ：从网络传输因素上 考虑，主要是考虑网络状况，如网络带宽、拥塞等，反馈给编码阶段调整编码 的码率。 传输环境、处理器能力等实际因素会对视频编码的比特率和图像质量形成 种种限制。为了在这些条件限制下，达到最佳的压缩性能，获得较佳的传输效 果和实际接收质量，对视频编码过程进行控制是非常必要的。编码控制的目标 就是在实际传输b e 特率的限制下，以最小的计算复杂度来获得尽可能好的图像 质量。编码码流的比特率和计算复杂度和重建图像质量三者是密不可分，而且 它们之间的关系随着输入视频不同而变化。因此码率控制是编码策略的重要内 容之一，也是视频传输服务中重要的研究内容。 作为视频编码器方案的重要内容，码率控制策略直接调节着视频编码器的 输出比特率。待编码的视频数据量很大，要先经过量化去除冗余信息，然后要 通过一个缓冲区缓冲才被发送出去，缓冲区将引入一定的系统延迟，通常需要 把缓冲区控制在定大小之内，并且实时的根据缓冲区的占用情况反馈给前面 的量化阶段来调整量化的步长，从而调整编码后所得的视频数据量。码率控制 是防止传输缓冲区“上溢”或者“下溢”的重要手段，另外，系统传输延迟与 码率控制环节也密切相关。由于码率控制按照一定策略决定各编码成分占用的 比特数，因而直接影响着视频信号的恢复质量。 按信道的带宽是否恒定，编码器的码率控制算法可分为v b r ( v a r i a b l eb i t r a t e ) 码率控制算法和c b r ( c o n s t a n tb i tr a t e ) 码率控制算法，在文【3 中，根 据编码器与用户网络接口( u n i ) 的关系，v b r 还进一步分为u v b r ( u n c o n s t r a i n e d v b r ) 、s - v b r ( s h a p e d v b r ) 、c v b r ( c o n s t r a i n e dv b r ) 和 f v b r ( f e e d b a c k v b r ) 。码率控制是主要是通过调整量化参数来实现的，从调 整量化参数的级别上看，相应有图像层级、g o b ( 或s l i c e ) 级和宏块级的码率 控制，控制的级别越低，相应码率控制的精度就越高。已经有很多文章研究码 4 第一章绪论 率控制，在文f 4 中，采用多个量化参数进行编码，然后从中选取合适的结果。 也有采用各种模型来计算量化参数进行编码，如模糊逻辑1 5 】、动态规划【6 】、二次 曲线【7 】和指数模型【8 】等。这些算法本身复杂度就很大，并且都采用图像( 或残差 图像) 的方差作为码率控制算法的控制参量，而计算方差的运算复杂度也是很 大的。 基于d c t 编码的视频编码器中，实现比特分配的一般手段是调节各个宏块 的量化步长。最初，人们用不同的量化步长对同一个宏块进行编码，然后根据 编码效果选择量化步长，但其计算量太大，不适合于实时应用。本文在第二章 根据编码过程中d c t 这一变换的特征，提出了一种基于d c t 变换系数的视频 编码码流自适应控制策略，该策略能有效地减少、避免缓存器出现上下溢的情 况，使码流趋于稳定，并且在视频质量没有明显失真的情况下，改进了算法的 复杂度，提高了重建图像的信噪比。 在m p e g 一1 ，m p e g 2 以及h 2 6 3 等协议的基本框架下，视频信号的码流结 构大致分为图像层、宏块层和块层，因此比特率控制方案一般被分为图像层比 特率控制和宏块层比特率控制。所谓图像层比特率控制，是指一帧图像被编码 前，按照一定策略确定该帧图像“应该”输出多少个比特；所谓宏块层比特率 控制则以图像层比特率确定的输出比特率为目标，按照一定策略计算出各宏块 要使用的量化步长。m p e g 4 中的码率控制算法基于二阶率失真模型【7 l ，同时实 现了帧级、对象级和宏块级的位率控制，在低延时和缓冲区大小受限的条件下， 能够获得精确的目标位数分配。后来，人们开始研究编码器的率失真模型，并 根据可用比特数、缓冲区占用情况来选择量化步长1 9 , 1 0 l 。文献 1 0 】提出的基于模 型的比特率的控制方案被h 2 6 3 + 的t m n 8 1 9 】和m p e g 4 ( v e r s i o n1 ) 的v m 8 i l l 】 所采纳，人们一般称之为t m n 8 方案。本文第三章从图像层和宏块层上讨论了 基于缓存反馈调整量化步长的码率控制原理及实现，并分析了其存在的缺点， 对其中间缺陷进行了改进，增加了校正码率控制环节，并作了试验结果进行对 比，结果表明改进后的基于缓存反馈调整量化步长的码率控制能够避免视频场 景编码剧烈或出现奇异帧时出现的码率控制失败，充分利用了信道，提高了编 第一章绪论 码效率和重建图像的质量。 针对码流码流控制的研究中，码流分级的研究也很至关重要。m p e g 2 和 m p e g 一4 等国际标准中纳入了几种层次化可分级( l a y e r e ds c a l a b i l i t y ) 技术：s n r 可分级性、时间可分级性和空间可分级性。在层次化可分级编码技术中，视频 序列被编码成一个基本层和一个( 或几个) 增强层，基本层是在相应的网络环 境下视频信号总可以传输和解码的一个基本码流，增强层是对基本层视频质量 的增强和补充。根据网络带宽和解码端处理能力，决定传输一个或几个层次的 码流【1 2 1 。本文对对可分级编码也做了研究，并在后面提出的第四章中的基于缓 冲技术的网络带宽自适应码率控制中得到应用。 在多媒体服务中，码流服务的质量至关重要。码流传输服务中的主要的影 响因素就是网络的状况，所以，考虑网络状况主要是网络的拥堵情况、网络的 可用带宽状况是考虑码流调整的主要因素。本文依据码流控制的主要影响因素 网络带宽，提出一种基于网络带宽自适应的缓冲技术方案，先在接收端实 时探测网络带宽反馈给网络服务发送端，按照网络带宽选择编码不同的数据分 层，并进行了缓冲处理，然后输出传送码流，使得网络服务在适应网络不同带 宽需求上具有灵活性。实验表明，使用本文带宽自适应缓冲技术方案，提高了 预编码的m p e g 视频流的传输质量。 1 3 本文的工作 本文的研究目标是： 对视频编码器中的各个编码环节，主要是d c t 变换和量化阶段及缓冲区的 相应调整来研究码率控制，提高码流编码效率：从网络传输条件上，主要考虑 网络带宽的影响来实现码率控制和调整，最终提高码流的传输和重建质量，提 高服务质量。 本文的研究内容及主要贡献包括； ( 1 ) 基于d c t 变换系数的码率控制策略 第一章绪论 研究了编码器的d c t 变换算法，从其变换系数上考虑调整码流数据量， 采用一种新的衡量图像活动性的标准来决定该系数的判定和产生方式，提出 了一种基于d c t 变换系数的码率控制策略，实验表明提高了编码效率和缩短 了编码时间。 ( 2 )基于缓冲区调整量化因子码率控制改进方案 针对编码阶段码率控制的关键技术一基于缓冲区占用率反馈参数调整 量化阶段步长，分析了这种码率控制技术在实现图像层和宏块层码率控制中 存在的缺陷和不足，添加校正环节对其作改进，当原码率控制方案出现偏差 时，校正环节就会发挥作用，充分利用了信道空闲，提高了重建的图像质量。 ( 3 )对可分级编码进行研究，实现编码的分级和码流的码率的控制。 ( 4 )基于缓冲技术的网络带宽自适应码率控制方案 对码率控制的主要网络影响因素一网络带宽，提出了主要依据网络带宽 来控制码流的码率控制方案。首先实际探测出网络带宽，然后反馈给编码阶段 选择，在带宽的限制因素下灵活的进行分层编码，并且结合缓冲区处理技术的 码率自适应控制策略，提出了分层选择算法、带宽抑制缓冲处理算法，对整个 方案进行了实验及实验结果分析，对比实验结果表明提出的这种基于缓冲技术 的网络带宽自适应码率控制方案明显地具有更强的带宽适应能力，提高了网络 媒体服务质量。 1 4本文的组织 本文共分为五部分： 第一章绪论介绍研究背景和国内外研究现状。 第二章码率控制体系结构及相关技术介绍了视频编码的标准、原理及 各个编码的关键环节，码率控制体系结构和相关技术，其中主要可以调节码率 的重要环节，讨论了码流控制的主要关键技术。并针对编码阶段的d c t 变换， 提出了一种基于d c t 系数变换的自适应视频编码码率控制策略。 7 第一章绪论 第三章基于缓冲区调整量化因子的码率控制讨论了m p e g1 、2 4 以及 h 2 6 3 等协议的基本框架下中的视频编码结构大致分为图像层、宏块层和块层， 本章讨论了图像层和宏块层的码率控制基于缓冲区占用率调整量化步长 法，分析了其不足，提出了改进的校正环节，最后给出了改进方案和原算法的 对比试验和分析。 第四章基于缓冲技术的网络带宽自适应码率控制本章是结合现有的 码流控制策略，并考虑了实际网络状况，提出的一个实际的码率控制解决方案。 它给出了网络传输模型、网络带宽的探测、分层的设定和选取、码率算法思想 及最后的实验结果。 第五章总结和展望 总结论文的研究成果，并对进一步的研究提出了建 议和方向。 第二章码率控制体系结构及相关技术 第二章码率控制体系结构及相关技术 码率控制的研究是离不开视频编码技术的，前者是以后者为基础和依托的， 研究和理解视频编码技术的原理、过程和关键环节是研究码率控制的必须的理 论基础和先导知识。所以，在本章2 1 节中主要介绍了视频编码技术的内容，其 中包括视频编码的压缩标准，主要有j p e g 、m p e g 一1 、m p e g 一2 、m p e g 一4 、 m p e g - 7 、m p e g 一2 1 和h 2 6 1 、h 。2 6 3 、h 2 6 l 以及j v t 等国际编码压缩标准。 了解这些视频编码的标准是为视频编码的打基础的，因为关于视频编码技术的 原理、过程和关键环节都是制定这些标准的组织规定的，这些标准中规定了视 频编码技术的大致框架和原理。然后介绍了视频编码的原理和视频编码的框架 以及视频编码的关键技术环节，这其中包括关键环节有d c t 变换和反变换、量 化技术、熵编码、运动补偿和运动估计以及缓冲存储器( 缓冲区技术) 。最后介 绍了视频序列的质量评价。 随后，在2 1 节的视频编码知识的基础上，2 2 节介绍了码率控制的体系结 构和主要控制技术，包括d c t 变换、量化技术( 其中主要是调整量化因子来调 整视频的压缩比，进而达到调控码流比特率) 、量化和缓冲区调整、可分级编码 ( 即分层编码、精细编码) 、网络状况反馈调节编码( 主要包括网络带宽占用情 况和网络的差异性) 等过程。在研究和分析d c t 变换的基础上，并且结合视频 编码器的编码效率，本文提出了一种基于d c t 变换系数的码流比特率控制方案， 在2 3 节作了详细的算法描述和实验分析，通过实验可以看出本方法可以提高 重建图像的信噪比，尤其在图像序列出现跳帧的情况下，重建图像的信比得到 了明显的改善。 2 1 视频编码技术简介 近十年来，视频编码技术得n t 迅速发展和广泛应用，并且日臻成熟，其标 志就是几个关于图像编码的国际标准的规定，包括国际标准化组织i s o 和国际 第二章码率拄制体系结构及相关技术 电工委员会i e c 关于静态图像的编码标准j p e g 、i s o i e c 关于活动图像的编码 标准m p e g 1 、m p e g 一2 、m p e g 一4 以及后来的m p e f 7 和m p e g 一2 1 、国际电信 联盟删- t 关于电视电话会议电话的视频编码标准h 2 6 1 、h 2 6 3 和h 2 6 l 及 i t u i s o 于2 0 0 1 年底开始合作制定一个新的视频编码标准j v t 等。这些标准图 像编码算法融合了各种性能优良的编码方法，代表了目前图像编码的发展水平。 下面分别作一介绍： 2 1 1视频压缩标准 j p e g 标准：j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 是i s o i e c 联合图像专 家组制定的静止图像压缩标准，是适合于连续色调( 包括灰度和彩色) 静止图 像压缩算法的国际标准。j p e g 算法共有四种运行模式，其中一种是基于空间预 测( d p c m ) 的无损压缩算法，另外三种是基于d c t 的有损压缩算法【n 1 9 i 。 ( 1 ) 无损压缩算法，可以保证无失真重建原始图像。 ( 2 ) 基于d c t 的顺序模式，按从上到下，从左到右的顺序对图像进行编 码，成为基本系统。 ( 3 ) 基于d c t 的递进模式，指对一幅图像按由粗到细对图像进行编码。 h 2 6 1 标准：是r r u t 针对可视电话和会议电话、窄带i s d n 等要求实时编 解码和低延时应用提出的一个编码标准 2 0 - 矧。它的推出是为了在速率为 p x 6 4 k b i t s s 的信道上传输可视电话与会议电话。该标准要求输入的图像格式满 足c i f 格式或q c i f 格式，该标准将c i f 和q c i f 格式的数据结构划分为如下四 个层次：图像层( p ，p i c t u r e ) 、块组层( g o b ，g r o u po fb l o c k s ) 、宏块层 ( m b ，m a c r o b l o c k ) 和块层( b ，b l o c k ) 。 h 2 6 3 标准：h 2 6 3 标准是i t u 的第十五研究组为窄带宽应用而建立的视 频编码标准，该标准完成于1 9 9 5 年。h 2 6 3 标准的制定参考了h 2 6 1 ，因此其中 大部分编码结构和算法与h 2 6 1 相同，但由于h 2 6 3 的目标位率低于6 4 k b p s ， 所以又在许多方面对h 2 6 1 进行了改进和扩充，使其在编码算法复杂度增加很 1 0 第二章码率控制体系结构及相关技术 第二章码率控制体系结构及相关技术 码率控制的研究是离不开视频编码技术的，前者是以后者为基础和依托的， 研究和理解视频编码技术的原理、过程和关键环节是研究码率控制的必须的理 论基础和先导知识。所以，在本章2 1 节中主要介绍了视频编码技术的内容，其 中包括视频编码的压缩标准，主要有j p e g 、m p e g 一1 、m p e g 一2 、m p e g 一4 、 m p e g - 7 、m p e g 一2 1 和h 2 6 1 、h 。2 6 3 、h 2 6 l 以及j v t 等国际编码压缩标准。 了解这些视频编码的标准是为视频编码的打基础的，因为关于视频编码技术的 原理、过程和关键环节都是制定这些标准的组织规定的，这些标准中规定了视 频编码技术的大致框架和原理。然后介绍了视频编码的原理和视频编码的框架 以及视频编码的关键技术环节，这其中包括关键环节有d c t 变换和反变换、量 化技术、熵编码、运动补偿和运动估计以及缓冲存储器( 缓冲区技术) 。最后介 绍了视频序列的质量评价。 随后，在2 1 节的视频编码知识的基础上，2 2 节介绍了码率控制的体系结 构和主要控制技术，包括d c t 变换、量化技术( 其中主要是调整量化因子来调 整视频的压缩比，进而达到调控码流比特率) 、量化和缓冲区调整、可分级编码 ( 即分层编码、精细编码) 、网络状况反馈调节编码( 主要包括网络带宽占用情 况和网络的差异性) 等过程。在研究和分析d c t 变换的基础上，并且结合视频 编码器的编码效率，本文提出了一种基于d c t 变换系数的码流比特率控制方案， 在2 3 节作了详细的算法描述和实验分析，通过实验可以看出本方法可以提高 重建图像的信噪比，尤其在图像序列出现跳帧的情况下，重建图像的信比得到 了明显的改善。 2 1 视频编码技术简介 近十年来，视频编码技术得n t 迅速发展和广泛应用，并且日臻成熟，其标 志就是几个关于图像编码的国际标准的规定，包括国际标准化组织i s o 和国际 第二章码率拄制体系结构及相关技术 电工委员会i e c 关于静态图像的编码标准j p e g 、i s o i e c 关于活动图像的编码 标准m p e g 1 、m p e g 一2 、m p e g 一4 以及后来的m p e f 7 和m p e g 一2 1 、国际电信 联盟删- t 关于电视电话会议电话的视频编码标准h 2 6 1 、h 2 6 3 和h 2 6 l 及 i t u i s o 于2 0 0 1 年底开始合作制定一个新的视频编码标准j v t 等。这些标准图 像编码算法融合了各种性能优良的编码方法，代表了目前图像编码的发展水平。 下面分别作一介绍： 2 1 1视频压缩标准 j p e g 标准：j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 是i s o i e c 联合图像专 家组制定的静止图像压缩标准，是适合于连续色调( 包括灰度和彩色) 静止图 像压缩算法的国际标准。j p e g 算法共有四种运行模式，其中一种是基于空间预 测( d p c m ) 的无损压缩算法，另外三种是基于d c t 的有损压缩算法【n 1 9 i 。 ( 1 ) 无损压缩算法，可以保证无失真重建原始图像。 ( 2 ) 基于d c t 的顺序模式，按从上到下，从左到右的顺序对图像进行编 码，成为基本系统。 ( 3 ) 基于d c t 的递进模式，指对一幅图像按由粗到细对图像进行编码。 h 2 6 1 标准：是r r u t 针对可视电话和会议电话、窄带i s d n 等要求实时编 解码和低延时应用提出的一个编码标准 2 0 - 矧。它的推出是为了在速率为 p x 6 4 k b i t s s 的信道上传输可视电话与会议电话。该标准要求输入的图像格式满 足c i f 格式或q c i f 格式，该标准将c i f 和q c i f 格式的数据结构划分为如下四 个层次：图像层( p ，p i c t u r e ) 、块组层( g o b ，g r o u po fb l o c k s ) 、宏块层 ( m b ，m a c r o b l o c k ) 和块层( b ，b l o c k ) 。 h 2 6 3 标准：h 2 6 3 标准是i t u 的第十五研究组为窄带宽应用而建立的视 频编码标准，该标准完成于1 9 9 5 年。h 2 6 3 标准的制定参考了h 2 6 1 ，因此其中 大部分编码结构和算法与h 2 6 1 相同，但由于h 2 6 3 的目标位率低于6 4 k b p s ， 所以又在许多方面对h 2 6 1 进行了改进和扩充，使其在编码算法复杂度增加很 1 0 第二章码率控制体系结构及相关技术 少的情况下，能够提供更好的图像质量和更低的码率，十分适合于i p 视频会议、 可视电话应用。经过测试，h 2 6 3 在低于6 4 k b p s 速率的应用中能够提供比h 2 6 1 高3 4 d b 的p s n r 。它可以作为评价未来低速编码算法和标准性能的基准。目前， h 2 6 3 标准主要应用于可视电话和无线通信中的视频传输。 h 2 6 3 标准在1 9 9 7 年又完成了第二版h 2 6 3 + ，h 2 6 3 + 通过新增1 2 种可 选方式，增强了h 2 6 3 的功能【2 4 】；1 9 9 9 年完成的h 2 6 3 第三版h 2 6 3 + + ，通过新 增4 种可选方式，提高了该标准的网络传输与容错能力。 h 2 6 l 标准：h 2 6 l 1 2 5 j 是i t u 目前制定的最新的视频压缩标准，它继承了 h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 等标准的许多优点，同以前的标准相比，h 2 6 l 进行了 许多改进：运动估计预测的精度已经精确到“8 像素，可以进行1 4 像素的运动补 偿，能够自适应选择块尺寸的大小，量化级别精确到了宏块级，熵编码采用了 u v l c 2 5 1 ，对数据分割方面的也有相关语法语义定义。与h 2 6 3 + 或m p e g 一4 的s i m p l e p r o f i l e 相比，h 2 6 l 在大多数码率下最多可节省5 0 的码率。h 2 6 l 既能够工 作在低延时模式以适应实时通信的应用( 如视频会议) ，同时又能够很好地工作 在没有延时限制的应用，如视频存储和以服务器为基础的视频流式应用。 m p e g 一1 标准：从1 9 8 8 年5 月开始启动，编号为i s o i e c i l l 7 2 ，于1 9 9 2 年11 月达到国际标准状态，是关于1 5 m b i t s 数据传输率的数字存储媒体运动 图像及其伴音编码的国际标准。它与h 2 6 1 及h 2 6 3 原理大致相同，不同的是 m p e g 一1 主要针对媒体的存储，而h 2 6 1 ，h 2 6 3 主要针对视频的传输。故m p e g - 1 在顾及图像质量、压缩比的情况下，还要考虑对序列图像进行随机访问和编辑 的方便。m p e g 一1 标准的制定极大地促进了v c d 参业的发展。 m p e g 一2 标准：从1 9 9 0 年6 月开始启动，编号为i s 0 i e c l 3 8 1 8 ，于1 9 9 4 年 1 j 月达到国际标准状态，是针对数字视频广播( d v b ) 、高清晰度电视( h d t v ) 、 数字视盘d v d 等制定的高于1 5 m b i t s 运动图像及其伴音的编码标准。m p e g 一2 在制定过程中从分考虑了对m p e g 一1 的兼容，对图像质量和数据传输率的多层次 需求。m p e g 一2 不仅支持帧编码，而且支持场编码。m p e g 一2 的另一个特点是具 第二章码率控制体系结构及相关技术 有可分级性( s c a l a b i l i t y ) ，这使得它更灵活，适应性更广泛。 m p e g 一4 标准：m p e g4 标准于1 9 9 9 年完成，其本意是为了制定甚低比特率 下的视音频编码标准，但为了满足世界越来越多的视听材料要以数字形式进行 相互交换而产生的种种需求，其目标已经改变为“新功能+ 压缩”。相对于m p e g 的前两个压缩标准，m p e g 一4 已经不再是个单纯的视频音频编解码标准，它更多 定义的是一种格式和框架，而不是具体的算法，从而为多媒体数据压缩提供了 一个更广泛的平台。该标准揉和了各种现有的多媒体技术，包括压缩本身的一 些工具、算法和图像分析与合成、计算机视觉、计算机图形、虚拟现实、语音 合成等技术。标准的主要特征是基于对象的编码和基于模型的编码，此外，为 了适宜互联网和无线网等窄带视频通信、多质量视频服务、多媒体检索等服务， m p e g 一4 提供了基于对象的分级功能，包括时域与空域的分级及其混合分级旧。 j v t 标准：i t u 与i s o 于2 0 0 1 年底丌始合作制定一个新的视频编码标准， 该标准以合作的专家组j v t ( j o i n tv i d e ot e a m ) 来命名，其基本框架采用h 2 6 l 标准。i t u t 组织将该标准定为h 2 6 4 ，而m p e g 组织将该标准加入了m p e g 一4 标 准中，作为其第l o 部分称为m p e g 一4p a r t1 0 。该标准计划于2 0 0 3 年2 月完成 2 8 - 3 0 i 。 上述是国际标准化组织i s o 和国际电信联盟i t u 为数字视频通信制定的一系列 标准。 2 1 2 视频编码原理及关键技术 视频编码原理：视频编码是针对视频流来进行编码的，视频流是以帧为单 位的，下面介绍一下视频编码帧的结构，如下图2 - i 所示； 第一章码率控制体系结构及相关技术 图2 一l 视频编码帧结构 由于相邻图像由于其内容渐变而具有很强的相关性，所以视频编码一般分 为帧内编码( i 帧) 和帧问编码( b ，p 帧) 。i 帧图像进行帧内d c t 编码，也由 于i 帧仅作帧内压缩编码，因此数据量较大；p 帧总是参考前面的i 帧或者p 帧 进行编码，由于做正向帧问预测，数据量较小；b 帧又称双向预测帧，它通过邻 近的i 、p 帧或p 、p 帧进行编码，由于采用了双向帧间预测，因此数据量非常 小、但b 帧同时带来了编码器延时增加、复杂度增高、需要更多的缓存等缺点。 上一小节中提到了一系列常用视频编码国际标准，虽然这些编码标准制定 的组织、完成的年代、应用的背景都不相同，针对上述视频帧结构，它们所采 用的基本编码框架基本原理却是相同的，如下图2 - 2 ： 图2 2 视频编码器原理图 由上面编码器原理图中可以看到视频编码器中包括如下关键技术： 关键技术：o c t 变换、量化、熵编码、码率控制、运动估计与运动补偿等。 d c t 变换：对图像数据进行二维d c t 变换，变换的主要目的是将空域上的图 像数据转换到频域上，使图像的能量更为集中，以便于进行压缩。 量化：根据人眼的视觉特性，对经过d c t 变换之后的变换系数分别进行量 化，量化因子的选取由码率控制进行。 熵编码：对经d c t 变换及量化后的系数进行可变长编码( v l c ) ，是一种无 第一章码率控制体系结构及相关技术 损的编码方法，其原理是根据出现的概率给不同符号分配不同长度的码字，从 而使最终的平均码长最小。 码率控制：通过检测缓冲区的占空比来反馈控制量化步长的大小，实现对 编码器输出的码率进行多种线性或非线性的控制，使编码出来的比特流能够适 应不同带宽要求。 运动估计与运动补偿：运动估计与运动补偿过程是通过寻找图像之间的运 动信息来消除图像之间的相关性，从而实现图像的压缩。 上述视频编码框架具有简单、快速、高效、易于实现等特点。其中的关键 技术都是目前视频编码领域研究的重要课题。 2 1 3 视频序列的质量评价 视频压缩编码传输然后再解码重建后形成用户的得到的图象序列，有很多 评价的方法来衡量视频序列经过处理后的质量与效果。目前常用的图像质量评 价方法主要有两种：主观质量评价和客观质量评价。主观评价方法就是让一群 观察者对同一幅图像按视觉效果的好坏进行打分，并对其进行加权平均。客观 评价方法是用恢复图像偏离原始图像的误差来衡量图像恢复的质量，最常用的 有均方误差( m s e ，m e a ns q u a r ee r r o r ) 和峰值信噪比( p s n r ，p e a ks i g n a ln o i s e r a t i o ) 。m s e 的表达式为： 脱：薹狴：尘 m 其中 矗) ， 分别表示原始图像和恢复图像， p s n r 在本质上与m s e 相同，其表达式为： ( 4 1 ) 且0 s ie m ，0s js n 。而 p s n r 划叫篆) 件z ， 对视频序列，在客观质量方面主要关注p s n r 值，包括序列中各帧的平均p s n r 第二章码率控制体系结构及相关技术 值、最小p s n r 值以及p s n r 值的变化。一般，要求平均p s n r 值和最小p s n r 值越高越好，各帧的p s n r 值变化越小越好。在主观质量方面，通常做法对视 频序列中的每帧图像分别评价，然后把所有的评价结果平均。 2 2码率控制关键技术 在整个视频编码的过程中，有几个环节是码流位率控制的主要环节，主要 包括：d c t 变换、量化和缓冲区调整、分层编码( 即可分级编码、精细编码) 、 网络状况反馈调节编码等过程。 d c t 变换：d c t 变换主要的功能是实现图像表示方法的转变，使得图像处理 的数据量更切合实际处理，现