（通信与信息系统专业论文）压缩视频传输的编码方法与码率控制.pdf

四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 压缩视频传输的编码方法与码率控制 专业：通信与信息系统专业 研究生：李昌龙指导教师：何小海 摘要 中国已于最近发放了第一张i p t v 牌照这将有力地促进数字电视和流媒体 等多媒体应用市场的快速发展，再加上即将启动的3 g 应用，人们对多媒体数 据业务的广阔发展前景充满期待。巨大的市场前景使得各大公司都争先加强了 多媒体数据在网络通信和无线传输方面的研究，而压缩视频传输作为多媒体数 据通信中最重要的一部分自然更是最热门的研究方向之一。本文正是针对压缩 视频传输中的一些关键技术，如低码率下的视频编码、低延迟下的码率控制等 等，进行了充分的研究并提出了两个方面的改进算法。 在低码率下的视频编码方面，本文针对空域可扩展性编码中传统采样空间 存在的问题提出了棋盘式采样空间。压缩视频本身数据量大等特点限制了其在 网络和无线信道上的传输，再加上网络和无线信道缺乏q o s 保证。带宽又常常 在一个很大的范围内波动，更使得压缩视频的传输成为一个难题。人们提出了 多种压缩视频传输的编码方法试图解决在这种条件下的传输问题。传统的压缩 视频编码方法是基于存储的，它将视频压缩成为一个或几个固定码率的码流。 由于信道固有的异构性，这种编码方法得到的码流传输效果不好。近年来涌现 的f g s 等编码方法则不同，良好的精度可伸缩性使得它们具有了面向传输的特 点。本文在详细分析了f g s 和p f g s 等几种面向传输的压缩视频编码方法后， 提出了一种棋盘式采样的精细空域可扩展性编码方法。 四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 针对一种码率控制模型在低延迟条件下存在的跳帧问题，本文提出了对其 框架的改进，较好的解决了问题。在双向即时视频通信环境中通信系统对传输 延迟的要求很高，如何减少传输时造成的延迟就成为一个非常重要的课题。在 保证编码器缓冲区中的数据流延迟很小的前提下，还需要尽量避免严重跳帧等 容易造成视频不连续的情况出现，所以一个高质量的可以避免上下溢的码率控 制算法就显得非常重要。本文首先分析了一般码率控制算法的主要框架结构， 详细讨论了常用的几种码率控制算法，如m p e g 2 中采用的t m 5 和m p e g - 4 中的s r c 以及最新的视频压缩标准h 2 6 4 所采用的流量往返模型。然后，在分 析了流量往返模型存在的问题的基础上，提出了对其编码框架的修改，加入了 对i 帧的码率预测与分配，较好地解决了流量往返模型跳帧问题，同时也在一 定程度上提高了某些编码序列的信噪比。 关键宇：可分级性编码，码率控制，棋盘，f g s ，量化参数调整，h 2 6 4 流量往 返模型 i i 四川大学硕士毕业论文 压缩视频传输的编码方法与码率控制 t h ec o d i n gm e t h o d sa n dr a t ec o n t r o lo fc o m p r e s s e d v i d e oc o m m u n i c a t i o n m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s g r a d u a t es t u d e n t ：l ic h a n g l o n ga d v i s o r ：p m f h ex i a o h a i a b s t r a c t t h ef i r s ti p t vl i c e n s eh a sb e e ng r a n t e db yc h i n ag o v e r n m e n t ，i ti n d i c a t e st h e a p p l i c a t i o no fd i 罾t a t iv a n ds t r e a mm e s ao p e n st h ew a yt og r e a td e v e l o p m e n t ，i n a d d i t i o nt h ec o m i n g3 gp e r i o d ，t h em u l t i m e d i ac o m m u n i c a t i o nb e c o m e sp e o p l e s h o r e s te x p e c t b e c a u s eo ft h et r e m e n d o u sm a r k e t ，t h er e s e a r c h e r si nc o m p a n i e s 仃y t h e i rb e s to nt h ec o m m u n i c a t i o no fm u l t i m e d i ai n f o r m a t i o no ni n t e r n e ta n dw i r e l e 豁 c o n d i t i o n ，e s p e c i a l l yt h ec o m p r e s s e dv i d e oc o m m u n i c a t i o n , w h i c hi s t h em o s t i m p o r t a n tk e r n e lp a r to fm u l t i m e d i ac o m m u n i c a t i o n t h et h e s i sf o c u s e so ns e v e r a l k e yt e c h n i q u e ss u c ha sv i d e oc o m m u n i c a t i o nc o d i n gm e t h o d so nl o w r a t ea n dr a t e c o n t r o la l g o r i t h m so nl o w - d e l a yc o n d i t i o n ，a n db r i n g sf o r w a r dt w o i m p r o v e m e n t s o n a s p e c t o fv i d e o c o d i n g w i ml o w - r a t e t h et h e s i s i m p r o v e s t h e c h e s s b o a r d - s a m p l ew h i c hi so p p o s i t et ot h et r a d i t i o n a ls a m p l ew h i c hi sa d o p t e db y t h es p a t i a ls c a l a b i l i t yc o d i n g t h es p e c i a l t yo f h u g ed a t as t r e a ml i m i t st h ea p p l i c a t i o n o fc o m p r e s s e dd i g i t a lv i d e oo ni n t e m e ta n dw i r e l e s s ，o nt h eo t h e rh a n dt h ei n t e m e t a n dw i r e l e s sc h a n n e la r es h o r to ft h eg u a r a n t e eo fq o s ，a n dt h eb a n d w i d t hi s 四川大学硕士毕业论文 压缩视频传输的编码方法与码率控制 f l u c t u a t i n go v e rab r o a dr a n g e ，s ot h ec o m m u n i c a t i o no f c o m p r e s s e dv i d e ob e c o m e s ar e a lp u z z l e al o to fc o d i n gm e t h o d sh a v eb e e np u tf o r w a r dt os o l v et h i sp r o b l e m t r a d i t i o n a ld i g i t a lv i d e oe n c o d e ri sb a s e do i lm e m o r y , i tc o m p r e s s e dt h ev i d e od a t a i n t os e v e r a ls t r e a m0 ns e v e r a lf i x a t i o nr a t e b u tb e c a u s eo ft h eh e t e r o g e n e i t yo f i n t e m c t ，t r a d i t i o n a le n c o d e rd o e sn o tw o r kw e l l r e c e n t l y , l o t so fc o d i n gt e c h n i q u e s s u c ha sf g sa i ep u tf o r w a r da n dw o r kw e l lo ni n t e r n e tb c o a l l s eo ft h e i rc h a r a c t e ro f f i n eg r a n u i a r i t ys c a l a b i l i t y 日圮t h e s i sa n a l y s e ss e v e r a lv i d e oc o d i n gm e t h o d sw h i c h a r eb a s e do nc o m m u n i c a t i o n , a n dp u t sf o r w a r dac h e s s b o a r d s a m p l e d f i n e g r a n u l a r i t ys e a l a b l ec o d i n g t os o l v et h ep r o b l e mo fs k i pf i a m eo nt h el o w - d e l a yc o n d i t i o no far a t ec o n t r o l m o d e l ，t h et h e s i sr e w o r k st h es c h e m e ，a n dp e r f o r m sm u c hb e t t e rt h a nt i i ef o r m e r i n r e a lt i m e ，t w o - w a yv i d e oc o m m u n i c a t i o n s , t h ee n d - t o - e n dd e l a ym u s tb ec o n t r o l l e d r i g o r o u s l y , h o wt om i n i m i z et h ed e l a yf o rt r a n s m i t t i n gv i d e od a t ai sv e r yi m p o r t a n t o nt h ec o n d i t i o no fc o n t r o l l i n gt h ed e l a yp r o d u c e db yb i t si nt h ee n c o d e rb u f f e r r i g o r o u s l y , w em u s ta v o i dt h ef r a m e - s k i pt ot h eb e s to fo c ga b i l i t i e s ，b e c a u s et h e t i a n l e - s k i pw i l lp r o d u c et h eu n d e s i r a b l em o t i o nd i s c o n t i n u i t y , s oag o o dr a t ec o n t r o l a l g o r i t h mi sv e r yi m p o r t a n tt oa v o i db u f f e ru n d e f f l o w t h et h e s i sa n a l y s e st h e s c h e m eo fn o r m a lm t ec o n | a _ _ o im o d e la n di n t r o d u c e ss e v e r a lf a m o u sr a t ec o n t r o l a l g o r i t h m s ，i n c l u d i n gt m 5a n ds r ca n df l u i df l o wt r a 伍cm o d e l ，w h i c hu s e db yt h e n e w e s tc o m p r e s s i o ns t a n d a r dh 2 6 4 a f t e ra n a l y s i st h ep r o b l e mo nf l u i dc o n t r o l m o d e l 。帆i m p r o v e da o d 盯s e h c m ei sb r o u g h tf o r w a r d ；i ts o l v e st h eb a ds k i p - 细m e p e r f o r m a n c eo f h 2 6 4r a t ec e n t r e la n de n h a n c e st h ep s n ro f s o m es e q u e n c e s k e yw o r d s ：s c a l a b l ec o d i n g ，r a t ec o n t r o l ，c h e s s b o a r d ，f g s ，q u a n t i z a t i o np a r a m e t e r a d j u s t i n g , f l u i df l o wt r a m cm o d e lo f h 2 6 4 i v 四川大学硕士毕业论文 1 1 引言 压缩视频传输的编码方法与码率控制 第一章绪论 几十年来，作为多媒体和网络领域的交叉学科数字视频编码技术在理论 和工程上都得到了迅速发展。2 0 世纪9 0 年代开始，i t u 和i s o 等组织相继制 定了一系列通用的压缩视频编码标准，如h 2 6 x 系列的h 2 6 1 、h 2 6 3 ( 1 4 2 6 3 + 、 h 2 6 3 + 、h 2 6 4 和m p e g 系列的m p e g 1 、m p e g - 2 、m p e g - 4 等等，这些标 准的制定更大大推动了视频压缩技术的研究和应用。进入9 0 年代后期，i n t e m e t 的迅速发展使得多媒体内容特别是连续媒体内容( 视音频) 的需求越来越旺盛， 同时也使得视频压缩编码的目标也开始由传统的面向存储向面向传输转变。 近年来网络宽带化的发展趋势以及即将到来的第三代移动通信( 不以语音 业务而以数据业务为中心) ，甚至包括未来的宽带无线通信网络，均以提供高速 接入和多媒体服务为特征，这使得视频的网络传输日益成为研究的热点，与此 同时，多媒体领域的相应国际标准和协议对网络传输方面的重视也开始加强。 以m p e g 系列标准为例，m p e g - 2 中就定义了传输流( t r a n s p o r ts t r e a m ) ，支 持m p e g - 2 的多路码流在网络中的传输复用：m p e g - - 4 中精细可扩展性编码 f g s ( f i n eg r a n u l a rs c a l a b l e ) 和渐进的精细可扩展性编码p f g s ( p r o g r e s s i v ef i n e g r a n u l a rs c a l a b l e ) 等均是针对压缩视频在带宽有限的网络环境中传输而制定的 编码方法。人们为解决视频传输时码率分配的问题提出了许多种算法，如 m p e o 2 中的t m 5 算法、m p e g - 4 中采用的s r c 算法以及h 2 6 4 中采用的流量 往返模型。 上述方法都解决了一些的问题，但是随着多媒体标准商用化的进程，涌现出 越来越多的新兴应用，人们发现以前的方法已经越来越不能满足各种新兴应用 的要求，所以对压缩视频传输的研究时至今日仍然方兴未艾。 压缩视频数据的特点造成压缩视频传输研究困难的重要原因，下面就结合 压缩视频数据的特点阐述并分析一下压缩视频传输的难点。 四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 1 2 压缩视频传输的难点 压缩视频数据与传统数据相比有着显著的区别，其主要区别有以下几点“： 多媒体数据经过压缩后的数据量仍然远远大于传统媒体数据的数据量。 多媒体数据的播放有极其严格的实时性要求，需要在特定的时间间隔内 解码并播放特定数目的数据单元。 广泛采用的视频压缩标准造成压缩后的视频数据在传输时其码率随时间 不断变化；另外多媒体数据的部分丢失虽然会造成降质但是不至于使信息完全 不可用。 用户对多媒体数据的可操作性，例如暂停、恢复、快进、后退等。这一 点在流媒体等应用中尤为关键。 上述造成多媒体数据平均码率大而且传输时间长，因而要求有足够且稳 定的网络带宽作保障。但是，由于目前的i n t e m e t 和无线信道等传输环境都没有 提供资源预留的协议保障，而链路带宽( 比如m o d e m 一般只有5 6 k b p s ) 和路由 器( 如无法应付繁忙网络) 都可能造成带宽瓶颈( b o u l e n e c kb a n d w i d t h ) ，从而 使端到端的有效带宽远远不能满足要求。 一旦网络发生拥塞。就会产生明显的延迟而使得视频接收质量变差，最终造 成终端用户对视频接收质量不能忍受( 无论此时的p s n r 有多高) ，所以拥塞对 于和而言是致命的。同时，负责多媒体传输的网络系统中影响多媒体q o s 的因素很多除了网络带宽外启动延迟和抖动都是很重要的因素，而它们对 和都有很严重影响。另外障络还具有异构性，这要求对于不同终端能够提供 不同的服务质量。 上述造成许多多媒体码流的码率变化具有自相似特性，这一特性完全不 同于传统的能使用马尔科夫模型所描述的数据流所具有的短相关特性( 如白噪 声) ，从而严重影响到相应的带宽资源调度和控制策略。 对于压缩视频传输中迫切需要解决的上述问题，人们提出了很多方案，一 般有两种解决思路：一种是以网络为中心( n e t w o r kc e n t r i c ) ，要求路由器、交 换机为媒体流传输提供带宽、延迟、抖动、丢失率的服务质量保证，通过综合 服务模型( i n t e g r a t e ds e r v i c e ) 或区分服务模型( d i f f e r e n t i a t e ds e r v i c e ) 实现： 另外一种思路只涉及端到端系统( e n ds y s t e mb a s e d ) ，通过端到端的协议实现 四川大学硕士毕业论文 压缩视频传输的编码方法与码率控制 媒体流传输的q o s 保障功能，而不对网络提出要求。 显然第一种思路由于i n t e m e t 的普及性等原因，短期以内难以达到效果；而 第二种思路不依赖现有网络，是一种更现实的方法，也是本文的出发点。 1 3 本文的组织结构 本文的内容安排如下： 第二章首先简单讨论了压缩视频通信的各种常用流量控制机制，作为后续 内容的目录； 第三章主要研究了传统的面向存储的压缩视频编码，重点研究了可分级性 编码，为第四章打下基础； 第四章详细研究了几种适合网络传输的压缩视频编码方法，例如f g s 和 f g s s 等，并针对传统空域可分级性编码在采样方法上的缺点进行了改进，在 f g s s 的基础上提出了一种棋盘式采样的精细空间可扩展性编码： 第五章分析了低速率压缩视频传输中的比特率控制策略，并采用t m 5 为 例分析了码率控制的框架结构； 第六章详细研究了m p e g - 4 中的s c r 算法和h 2 6 4 中的流量往返模型等 算法，并针对流量往返模型不能很好处理跳帧的缺点提出了对流量往返模型框 架的改进： 第七章总结了自己工作，提出了可以继续研究的方向；介绍了当前视频编 码的一些新发展和一些热门的研究领域及方法。 1 4 本文的实验工作平台 本文的试验工作平台如下：操作系统w i n d o w s 2 0 0 0 + s p 4 ，c p up i i i1 8 g ， 内存2 5 6 m ，开发工具v c + + 6 0 ，参考代码版本j m 7 5 ；另外测试图像全部采 用标准测试视频序列。 四川大学硕士毕业论文 压缩视频传输的编码方法与码率控制 第二章压缩视频通信的常用流量控制机制 2 1 压缩视频信息源的特点 前面已经简单讨论并分析了压缩视频传输的难点，为了帮助理解各种流量 控制机制，这里归纳了压缩视频信息源的特点，其特点可归纳为：时变吞吐、 时间依赖、双向对称性；其中对流量控制而言最重要的是时变吞吐特性。 时变吞吐( t h r o u g h p u tv a r i a t i o n 、v i t i lt i m e ) 特性 根据单位时间内视频信息源输出码流是否变化，可以把信息源分为恒定比 特率( c b r , c o n s t a n tb i t - r a t e ) 和可变比特率( v b r , v a r i a b l eb i t - r a t e ) 两类。前 者通常是指信息源在各个时间周期内产生恒定数目但质量可变的视频数据，例 如c d r o m 等应用就属于此类；后者是指信息源数据速率随时间变化而变化， 但通常能够保持一个相对稳定的视频质量。在压缩视频传输的各种情况大都属 于此类，这种传输通常伴随着突变或跳变的出现。 这种突变传输的特点是在相对空闲的随机时段中散布着突变数据，信息源 在各个不同的时间周期内产生数目不定的数据。衡量突变的一种方法是求出给 定周期内最大数据传输率与平均数据传输率之比。近年来视频压缩技术的发展， 特别是各种压缩标准的广泛应用，不可避免的产生了可变比特流信息源，也是 导致这种突变传输的重要原因。 时间依赖( t i m ed e p e n d e n c y ) 显然不同的视频应用情况，会要求不同的端到端时延、等待时间控制。这 些不同的应用情况在各种流量控制算法中主要表现为对端到端延迟条件、算法 时间复杂度和缓冲区大小等要求上。 双向对称 当两个端系统通过网络连接起来，该网络的信息传输量本身很可能是不对 称的，一个信道的信息传输量可能远远大于另一个。很多实例中，正向信道是 设计用来传送数据流的逆向信道只用来传送少量的跳变数据流。当然在某系 四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 统中也有对称的信息流，比如对等性( p e e r - t o p e e r ) 电视会议。 这使得很多流量控制算法可以在编解码器之间建立某种不对称的联系，由 一端通知另一端码流情况，以方便另一端调整编解码来适应当前网络的状况。 上述三个特点说明了，压缩视频数据常常需要在带宽需求不一致且变化的 网络上传输。一方面视频编码器的输出流量过高，会导致业务拥塞以至网络阻 塞；另一方面视频编码器输出流量过低，会导致不必要的质量降级和对现有带宽 资源的低效利用。所以，为了在充分利用网络资源保证最优视觉质量的同时尽 可能避免网络拥塞，需要在压缩视频传输系统中引入流量控制机制，以获得在 质量和带宽利用上的最佳均衡，下面简单分析常用的流量控制机制。 2 2 调整编码参数的流量控制机制 由上面的分析我们知道视频传输的一个重要挑战就是当压缩视频数据在传 输中遇到网络过度延迟和高数据丢失率时仍能提供稳定的业务质量显然为避 免网络拥塞应该更多使用预防性而不是反应性的方法。对于常见的基于块变换 的编码器，可以调整以下四个编码参数来控制流量从而避免拥塞。 调整量化参数q 。这可能会造成图像降质，但是粗量化过程引起的质量 降级远不如网络阻塞引起的过度延迟和高数据丢失率对视频质量的影响严重。 每秒编码帧数，即帧率。由于帧率控制方法更多是针对视频信号的时域 冗余而不是空间冗余，所以它通常使用在单个图像质量不能降低的情况下。 只对每个宏块的一部分编码，如8 * 8 的像素块的d c t 系数的低频部分。 这虽然可能造成图像的模糊，但是考虑到大多数场景的缓慢运动的部分较多( 如 背景) ，这样的模糊多数情况下不会严重影响人眼的主观感觉质量。 设置运动检测门限。通过此门限来确定预测帧中的宏块是被编码还是跳 过。同样道理，也可以设置i n t r a 还是i n t e r 判决门限，通过这个门限也可 以控制编码宏块的输出流量。 上述四种编码参数的调整虽然都导致了p s n r 的降低，甚至是视觉质量的 下降，但是相对于网络拥塞引起的质量降级仍能有较好质量，所以它们仍然被 多数视频通信系统作为流量控制系统的一部分而采用。上述四种编码参数的调 四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 整通常是根据视频源在编码时周期性获得信道状态来实现的，这些预防性的方 法有效防止了网络拥塞现象，故称为预防性技术。 四种编码参数的调整中以对量化参数调整应用最多，所以本文先在2 4 部分 进行简单阐述，在第五和第六章会有更详细的研究；而帧率的调整机制在5 2 部分会有详细分析；而2 5 和2 6 部分分别体现了宏块部分编码和设置运动检测 门限等两种参数调整方法，在5 4 部分详细研究了一种具体的实现。 2 3 多层编码的速率控制 上述的常用流量控制方法已经被证明对减少输出速率波动很有效，然而在 给定比特率非常低的情况下，由于量化步长本身有一个上限值，而且量化步长 在一定阈值之上就会对图像重建质量影响很大，此时上述的流量控制方法效果 就不理想了。 因此在这种情况下要更有效地调整流量，除了常用的调整编码参数之外， 还需要降低分辨率机制和量化参数的速率控制方法结合使用。所以多层视频编 码机制也是一种应用很多的机制，下面先简单讨论一下其概念。 多层视频编码的输出码流由不同比特率、帧率、分辨率的多层比特流组成， 以获得可变输出率。视频码流由基本层和增强层构成，基本层对重构视频序列 质量起关键性作用，它由极低比特率下产生的低质量图像组成，通常是原图象 亚采样的结果；而增强层则通常是原始图像和编码输出的基本层图像之间的差 值，它能提高重建图像的质量。它已经应用在很多压缩视频编码标准之中，h 2 6 1 的自适应双层编码技术和h 2 6 3 中的视频伸缩性技术都是其具体体现。 更细致的阐述会3 5 在分层可扩展性编码部分展开，而第4 章详细分析了在 多层视频编码方面的集大成者m p e g - 4 中的f g s 。 2 4 可变量化步长的流量控制 改变量化步长能够控制流量，但是每帧的平均比特数并不是随量化步长线 性交化的。如图2 1 所示，当绒 5 ，同理口2 = ( 口2 + 1 6 ) 5 ； ( 2 ) 在四个斜方向上分别有： 四川大学硕士毕业论文 压缩视频传输的编码方法与码率控制 l 州：堑望掣竽堕幽，：堑塑2 等业塑 x ：型! ：二1 2 型二圣业r ：堑! ：二型坐二! ! 垄 纰32 i 一，“蛳叫2 i 一 ( 3 ) 取上面计算结果中的中值作为待求点插值结果， 即j ( j ，j ) = m e d i a r , ( a l ，口2 ，x 鲰l ，x 绚2 ，x 衄3 ，x 脚) 上面的步骤已经通过插值得到了图4 1 l 中空心圆圈所在的点的预测值，形 成如图4 1 3 所示的虚线框( 称为广义基本层) 。 然后对原始图像与上述步骤的结果相减所得的差值进行位平面编码，形成 各个增强层( 如图4 1 3 黑色实线大矩形框所示) 。 接下来分析其他帧编码情况： 基本层编码 对基本层进行帧闻预测时，用前一帧基本层和第一类增强层构成的广义基 本层( 上采样结果，如图4 1 3 所示的虚线框) 进行运动预测和补偿，如图4 1 3 红色虚线所示。 由于此时可供预铡的广义基本层上采样结果的分辨率已经与原始图像分辨 率一样，所以预测效果无疑要好得多。 棋盘式上采样( 形成低分辨率的第一类增强层) 此时除了上一种情况( g t 列第一帧) 中采用的帧内预铡外，还要再加上使 用前一帧的基本层与第一类增强层( 上采样结果，如图4 1 3 所示的虚线框) 进 行帧间预测，如图4 1 3 红色实线所示。 具体选择帧内预测还是帧间预测模式，需要考察哪种模式所需的比特数更 少。如果选择使用帧间预测，就需要将运动矢量和补偿一起形成第一类增强层 传输。 如果带宽波动，出现前一帧第一类增强层没能传输到解码端的情况，预测 下一帧的基本层和第一类增强层时也可以用图4 1 3 中黑色虚线指示的方向进行 预测，即完全按照基本层预测。 第二次上采样( 形成高分辨率下的第二类加强层) 四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 与第一种情况类似。 如果出现第二类增强层没能传输到解码终端的情况，预测下一帧时就可以 采用前一帧的广义基本层( 图4 1 3 中虚线框内的部分) 进行预测( 如图4 1 3 黑色园头虚线所示) ，这样也可以使需要传输的残差数据比使用基本层进行预测 所产生的残差少。 虽然囤4 9 所示的改进的f g s s 也对基本层使用了增强层来加强基本层的质 量，但是它加强的是低分辨率下的视频质量，也就是说通过对基本层加强后( 如 图4 9 中虚线框所示) 基本层图像与原始图像的分辨率之比仍为1 ：4 。而本节 提出的方法能够使得基本层和第一类增强层在没进行的二次采样时与原始图 像的分辨率比值已经达到i ：2 ，进行 形成广义基本层图像( 虚线框内) 后分 辨率更是与原始图像相同。这是最重要的不同点。 棋盘式采样的精细空域可扩展性编码在编码增强层时，由于广义基本层分 辨率本来就比传统f g s s 的基本层高一倍，所以基本层及第一类增强层的帧间 运动预测和补偿效果都会比f g s s 好得多，增强层的数据量也会小得多。在某 帧增强层丢失的情况下。就算带宽恢复较慢也能更加迅速的恢复图像质量。 基本层 第一类 增强层 第二类 各个增 强层 图4 13 棋盘式采样的精细空域可扩展性编码结构 四川大学硕士毕业论文 o o o o 4 7 小结 压缩视频传输的编码方法与码率控制 o oo o 图4 1 4棋盘式采样插值示意图 。待求点a 本章首先讨论了传统的面向存储的视频编码方式的不足及原因，分析了面 向网络传输视频编码方法相对于前者的优势。然后详细地研究并分析了适合网 络传输的编码方案的特点和几种具体实现，如f g s 、p f g s 、f g s s 等的不足。 在此基础上提出了棋盘式采样空间的精细空域可扩展性编码。 综上所述，编码的分层性虽然对视频传输的鲁棒性没有直接的贡献，却非 常有利于提高视频编码对信道状况的适应能力。分层编码结合不等的错误保护， 可以构成有效抗误码的信源信道联合编码。 ooooo 四川大学硕士毕业论文 压缩视频传输的编码方法与码奉控制 第五章1 氐速率视频传输中的比特率控制算法 5 1 概述 码率控制( 或称为码率分配) 是指在一定码率条件下，按照一定方法决定 编码各个成分所占的比特数，然后通过控制各编码环节调节编码器在单位时间 内的输出比特数。对于v b r 或c b r 的应用码率控制有不同的意义。在v b r 情况下编码，码率控制是一个在给定码率下如何取得最优视频质量的问题；在 c b r 情况下编码，码率控制则包含两方面含义，但是这两方面都要满足低延迟 和缓冲区约束( v a v v i d e ob u f f e t i n gv e d f i e r ) 。一方面，对于给定的总体期望编码 比特率，设法使均方误差或加权均方误差最小的情况下，尽量接近期望的总体 码率；另一方面，对于给定的期望均方误差，设法使总体编码比特率最小，同 时不超过给定的期望均方误差。 码率控制的主要方法有“区域编码( z o n a lc o d i n g ) ”和“门限编码( t h r e s h o l d c o d i n g ) ”。在区域编码中，不在某个“区域”内的所有频带都常常被丢弃或者 设置为常数，例如在d c t 系数中可以丢弃i + j 3 的所有系数。在门限编码中， 低于某个幅度门限的所有系数都量化为0 。 调整各宏块或宏块中各部分的量化步长是实现比特分配的最常用手段。调 整宏块量化步长的研究大都根据可用比特数、缓冲区占用情况( 缓冲区必须限 制在一定范围内，防止下溢或上溢) 、上一帧编码比特数、甚至当前帧的位置或 类型来决定量化步长，例如j o r d i 等人提出的基于模型的比特控制算法 2 1 被 h 2 6 3 + 的t m n 8 和m p e g - 4v 1 的v m 8 采纳，一般称之为t m n 8 。另外也有人 用不同量化步长对同一宏块中各部分进行编码，然后根据编码效果选择量化步 长0 1 ，但运算量较大，而且在绝大多数的视频编码标准都是对每个宏块使用相 同的量化步长，所以这种思路应用不多。 视频数据的码流结构一般可以分为图像层、宏块层，所以视频编码的比特 率控制方案一般也被分为图像层比特率控制、宏块层比特率控制。在下面5 3 和5 4 部分将分别讨论它们，在s 7 部分则讨论了利用码率控制实现感兴趣区域 四川大学硕士毕业论文压缩视频传输的编码方法与码串控制 优先编码的算法。 常用的码率控制算法大都建立在率失真模型的理论基础之上，下面先来研 究率失真模型。 5 2 二次方程式率失真模型 码率控制的基础是率失真理论，因此进行码率控制首先需要确定码率和失 真( r 加) 之间的变化关系，即率失真函数；率失真函数的物理意义是：对于 给定信息源，在平均失真不超过失真限度d 的条件下，允许压缩到的最小码率 月倒。 1 3 j 表明，在中高码率下，概率密度为拉酱拉斯分布和高斯分布的信源在 均匀量化下，率失真函数是d = 9 2 0 - ；e “2 2 ( 其中盯，为信号的方差s 为一个 比例系数，在拉普拉斯和高斯分布式中此系数分别为1 2 和1 4 ) ；在低码率下， 率失真函数是幂函数形式d = 盯2 足1 - “。所以假设均匀量化下，不失一般性有： r ( d ) = i n 嗉) ，其中0 d 二 通过将率失真函数中r d 的关系转化为胄一q 的关系就可以把率失真和码流 联系起来。最常用的方法是泰勒展开，忽略高次项并用垤表示1 d 。 将上式使用泰勒展开得到： 即) - ( 去- 1 ) 一互1 面1 - 1 ) 2 + r 3 ( d ) = 一古d - 2 + r ，( d ) 因为每帧运算的复杂度可以用m a d 表示，所以将上式变形为： r ：x * - m a d , + x 2 * 鬲m a d j ( 5 1 ) 9饼 其中q 是当前帧的量化参数、m a d , 是当前帧使用q 量化得到的残差，上 式( 5 1 ) 就是著名的二次方程率失真模型( q u a d r a t i cr a t ed i s t o r t i o nm o d e l ) 。 四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 5 3 图像层比特率控制 在场景切换或物体运动突然变大的情况下，如果为了保证视频质量而突然 地增加码率，很可能连续多帧图像的输出比特数总是大于期望比特数，这样连 续的跳帧现象就很容易在当前或者下一个g o p 发生，这种连续跳帧所引起的运 动不连续( u n c l e s i r a b l cm o t i o n d i s c o n t i n u i t y ) 会造成后续帧解码的困难，导致终 端用户的无法忍受。相应的，为减少输出比特率而将量化参数调整得过高，将 会造成连续多帧图像的输出比特数总是小于期望比特数，这样既浪费信道传输 带宽又会导致缓冲区下溢。因此灵活而有效的图像层比特率控制十分必要。 5 3 1 跳帧 通常视频信号按照恒定的帧频送入视频编码器，受信道传输能力、视频编 码器处理能力和缓冲区状态等因素的影响，不是所有的帧都被编码然后传输( 否 则很可能造成缓冲区上溢) 。因此编码器先根据信道速率、缓冲区满溢状态判断 是否需要“跳帧”然后才对不需要“跳帧”的当前帧进行编码。 令b 表示编码上一帧图像使用的比特数，r 表示信道速率，f 表示帧率， 二表示上一次编码后缓冲区中的比特数，w 表示当前缓冲区中占用的比特数 ( 初始时f 是第一帧图像使用的比特数，= 0 ) ： w = i l 璩x ( + - r 只o ) 在对当前帧编码前，首先计算当前缓冲区的满溢程度矿。如果大于或等 于设定阙值m ，编码器将跳过编码当前帧，一直到缓冲区满足w m 才终止跳 帧操作。 显然，每眺过一帧，缓冲区将减少r ，f 比特：设跳过f 帧，则有： w = m a x m + 口m - l r f ，o ) 在实时视频通信中，相对于其他环节产生的延迟，缓冲区引入的延迟& 是 整个延迟的主要部分。而且更易于控制，所以常用它代替整个延迟。显然舡不 能大于实时视频通信中允许的最大延迟时间，例如视频会议系统中最大延迟不 应超过15 0 m s - 3 0 0 m s 。 显然阈值肘和缓冲区延迟之间有a t = m r ，在满足址的约束条件下，可 四川大学硕士毕业论文压缩视频传输的编码方法与码率控制 以通过适当增大或减小阈值m 来相应增加或减少缓冲区延迟。 5 _ 3 2 图像层比特率控制 如果根据当前缓冲区状态等因素来判断了不需要跳过当前图像帧，就将进 入图像层码率控制阶段。图像层码率控制首先根据编码前一个帧实际使用的比 特数。结合( 5 1 ) 所示的二次方程式模型来确定该图像帧可以使用多少比特， 即当前帧图像的期望输出比特数。然后再按照当前缓冲区状态等策略调整该帧 图像的期望输出比特数。期望输出比特数为晟 b = 争黼= 弘mn = 一般取z = 0 1 ，意味着如果矿超过了m 的l o ，期望输出比特数会稍微减 少，以防止过大的延迟；否则期望输出比特数会稍微增大，改善编码质量。所 以是一个取值很小的参数，反映了缓冲区满溢程度对一帧图像期望输出比特 数的影响，有助于保持较小值但不会造成下溢，从而把缓冲区延迟维持在一 个较小范围内。 另外文献 9 中3 0 5 3 0 9 将控制理论应用到图像层比特率控制中去，把图像 层比特率控制问题看作一个标准跟踪系统，也取得了不错的效果。 5 4 宏块层比特率控制 每一帧图像中都有不同类型的宏块，例如背景宏块和运动比较剧烈的宏块， 编码它们时所采用的量化参数应该有所区别。前者运动缓慢，运动预测后待编 码的残差较小而且就算量化步长较大残差较大也不会由于累计效应而对视频质 量产生严重影响；而后者恰恰相反，待编码残差较大，如果量化参数选择较大 就容易在后续解码帧造成严重的累计效应。所以宏块层比特率控制就显得很重 要。它以该帧图像的期望输出比特数为依据，通过使用( 5 1 ) 式或线性的m a d 预测来调整每个宏块的量化参数，使该帧图像的实际使用比特数尽最接近期望 的输出比特数。 四川大学硕士毕业论文 5 4 1 比特率模型 压缩视频传输的编码方法与码率控制 【9 1 假设了图像帧运动补偿的误差d c t 系数不相关且满足方差为盯2 的拉普 拉斯分布。由于d c t 是正交变换所以帧误差的方差也是盯2 。如果d c t 系数量 化步长为q ，则误差帧的比特率r ( q ) 近似于量化系数的熵( q ) ，而h ( q ) 与q 之间满足经验公式： 日( q ) =簪多多事 瓶。， 三 去表示q 较小时低失真比特率情况，荸s 去表示q 较大时高失 真l - g 特率情况。 因为d c t 变化并没有完全去除相关性，而且编码器采用了很多技巧提高压 缩效率如对接近零的系数使用更大的量化步长等原因，所以d c t 编码器的实际 输出比特率要路低于上蕊的预铡值。但( 2 表明，上述因素钊引入一个繁数误差， 不影响整个比特率模型的结构。 根据以上分析可用( 5 3 ) 式描述一帧图像第i 个宏块使用的比特数： 耻郴套2 + c ) ( 5 3 ) 其中a 表示一个宏块包含的像素个数，比如1 6 1 6 ；常数c 表示各种头信息、 运动矢量使用的平均比特率。由( 5 3 ) 可以得到一帧图像使用的总体比特数b ： 肚姜郴蓦旧 强a ， 其中n 表示一帧图像中宏块的个数； 当一个宏块使用统一量化步长时，可以用量化参数直接描述该宏块的失真 程度： 。= 专善彳鲁 ( 5 5 ) 四川大学硕士毕业论文 压缩视频传输的编码方法与码率控制 其中磁是各宏块的失真权重，具体嘶的取法会在后面详细叙述。 5 4 2 宏块屡比特率控制 宏块层比特率控翩是以图像层比特率控制确定的输出比特率8 为约束条 件，以( 5 5 ) 为最小化目标函数，计算各个宏块的量化步长参考值。这构成了 极小化问题，利用拉格朗日法可以求解得到各个宏块的最优量化步长2 1 ： g = a k or蓼” i = 1 ，n 在n 刷8 中建议定义= m i n ( 2 嘉( 卜q ) + q ，1 ) ，旦a n 是当前帧图像的期 望比特率，当去大于o 5 ，所有的q 相同；但在低比特率情况下，q 线性逼 近吼。极端情况下，当比特率接近0 时，吼* 吒，此时所有量化参数基本相同。 5 5t m 5 算法 前面讨论了图像层和宏块层的码率控制，下面就使用m p e g 2 视频编码中 的t m 5 码率速率控制算法为例来分析一下具体的码睾控制算法流程。 t m 5 算法主要