（通信与信息系统专业论文）h264fgs与流切换结合的相关研究.pdf

上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 摘要 随着网络多媒体技术的不断提高，越来越多的人们在享受着网络多媒体给他 们带来的信息便利的同时，对网络多媒体传输的服务质量也提出了更高的要求。 由于当前的i n t e r n e t 服务是一种尽力而为的服务方式，所以当传输如视频这样的 海量数据媒体时，面临的一个重要问题就是如何提供更好的服务质量，使得用户 能够流畅地收看想看的节目。这不仅需要在网络自身提高网络带宽方面做出努 力，而且还需要在视频编码技术方面做出贡献，采用更好的策略来提供更好的网 络多媒体服务。本文主要基于后者考虑，对基于网络多媒体的视频编解码关键技 术做了相关研究，主要有两点：实时精细粒度可伸缩编码方法及无缝比特流切换 方案的研究。 基于h 2 6 4 的实时精细粒度可伸缩编码方法是根据当前残差帧的全局性与当 前残差块的局部性分布来进行分析，在全局分析中找出奇异点，并通过对奇异值 进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中 做全零块的判决。并针对通常在m p e g 4 增强层中采用的8x8 d c t ( 离散余弦 变换) 变换方法与h 2 6 4 基本层的整数变换方法不匹配的问题，我们在编码过程 中的增强层变换部分采用4 x 4 整数变换，该方法与一般的f g s 方法相比，复杂 度明显降低，解码视频质量更高，整体p s n r ( 峰值信噪比) 变化更加平滑。实验 表明，与m p e g - 4 的f g s 方法相比，在保持相近的码率条件下，本方法能够在平 均亮度p s n r 上提高o 3 7 d b ，平均编码速度快1 3 8 6 f p s ，即提高9 7 。 另外。在流媒体应用中，为了满足可用带宽的变化常需要动态地调整比特流 码率。h 2 6 4 a v c 支持同步预测( s p ) 帧，允许比特流码率在大范围内切换；m p e g - 4 支持f g s 编码，使得比特流码率在小范围内精细可调。为了充分利用两者的优 点，本文给出一种将两者融合在一起的解决方案，并采用自适应码率选择方法， 使传输的比特流既能适应网络传输带宽的大范围变化，又能灵活适应小范围的带 宽波动，且平均p s n r 值有较明显的提高。最后，从流传输系统中采用f g s 功 能的角度出发，提出一种可伸缩码流格式，它适合单线程的客户端接受可变质量 v 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 的视频流节目。 关键字：h 2 6 4 ，f g s ，s p 帧，流切换，码率选择 v i 上海大学硕士学位论文1 1 2 6 4f g s 与流切换结合的相关研究 a b s t r a c t a st h en e t - m u l t i m e d i at e c hi m p r o v i n ga n di t s l a r g e l ya p p l i c a t i o n , m o r ea n d m o r ep e o p l ea r ee n j o y i n gt h em u c hi n f o r m a t i o nw h i c hm u l t i m e d i at a k e ，a tt h es a l n e t i m e ，w ei n q u i r em u c hm o r ef o rt h en e t - m u l t i m e d i at r a n s m i s s i o nq o s b e c a u s eo f t h e c u r r e n ti n t e r n e ts e r v i c ei st h eb e s t - e f f o r ts e r v i c ew a y , w h e nt r a n s f o r ms u c ha sv i d e o d a t a ，f a c i n gw i t hai m p o r t a n tq u e s t i o nh o w t op r o v i d eam o r eq o s ，w h i c hm a k eu s e r s c a l lr e c e i v et h ev i d e ow h a tt h e yw a n ts m o o t h l ya n dq u i c k l y t h e r ei sn o to n l yi m p r o v e t h en e t - b a n d w i d t hw i t hn e t w o r ks e l f , b u ta l s om u s ta d o p tt h em o r ee f f i c i e n tv i d e o c o d e rt e c h i nt h i st e x tm a i np o i n tc a r ef o rt h el a t e r t h e r ea r em a i n l yt w or e s e a r c h p o i n t s ：r e a l t i m ef g s e n c o d em e t h o da n ds e a m l e s sb i t s t r e a ms w i t c h i n g r e a l t i m ef g se n c o d em e t h o db a s eo nh 2 6 4i s a c c o r d i n gt h e c u r r e n t e r r o r - f l a m eg l o b a lc h a r a c t e ra n dt h ec u r r e n te 】t t o rb l o c kl o c a lc h a r a c t e ra n a l y z i n g , a t t h eg l o b a la n a l y z i n gt of i n dt h eb a dp i x e l ，a n db i td o w n - s w i t c h i n gm a k et h eg l o b a l b a l a n c eo fb i t p l a n e ，b i tu p s w i t c h i n ga tt h ed e c o d e r ；a tt h el o c a la n a l y z i n gt oj u d g e t h ea l l z e r ob l o c k a n df o r t h eu n m a t c hr e s u l tw i t l la d o p t i n g8 x 8d c ti n e n h a n c e m e n tl a y e ro f m p e g - 4a n d4 x 4i n t e g e rt r a n s f o r mi nb a s i cl a y e ro f h 2 6 4 , m y m e t h o da d o p t i n g4 x 4i n t e g e rt r a n s f o r mi ne n h a n c e m e n tl a y e r , c o m p a r ew i t l lc o m m o n f g s m e t h o d ，t h ec o m p l e x i t yd e c r e a s el a r g e l y , v i d e oq u a l i t ym o r eg o o d ，g l o b a lp s n r v a r i a t i o nm o r es m o o t h l y t h ee x p e r i m e n tt e s ts h o wt h a ti n c r e a s e0 3 7 d bi np s n ra t t h es a l n eb i t - r a t el e v e l ，a v e r a g ee n c o d er a t ei n c r e a s e13 8 6 f p s ，i n c e a s eb y9 7 i no r d e rt oc o n t e n tw i t ht h ec o n s t r a i n to f a v a i l a b l eb a n d w i d t hv a r i a t i o n ，t h es & c e r n e e d st os w i t c hb i t s t r e a m sd y n a m i c a l l yi n s t r e a m i n ga p p l i c a t i o n s h 2 6 4 a v c s u p p o r t ss p - f r a m et h a te n a b l e sh i 曲e f f i c i e n c yo fs w i t c h i n gb e t w e e nt w ob i t s t r e a m s w i t hd i f f e r e n tq u a l i t i e so v e rl a r g e rb a n d w i d t h ，a n do v e rl i t t l eb a n d w i d t hf i n e g r a n u l a r i t ys c a l a b i l i t yv i d e oc o d i n gi ss u p p o r t e db ym p e g - 4 i nt h ep a p e r , f o rm a k e g o o du s eo ft h et w oa d v a n t a g ep r o p o s eas e a m l e s sb i t s t r e a ms w i t c h i n gs c h e m et h a t c o m b i n e st w ot o o l sa n dw i t hs e l f - a d a p t a t i o nb i t r a t es e l e c t i o ns c h e m et of l e x i b l y a d a p tt oh i g hb a n d w i d t hv a r i a t i o n so fn e t w o r k sa n dl o wb a n d w i d t hv a r i a t i o n s ，i ti s e f f i c i e n tf o ri m p r o v i n ga v e r a g ep s n rf r o me x p e r i e n c er e s u l t s f i n a l l y , a c c o r d i n gt o t h es t r e a mt r a n s i m i s s i o np o i n t ，w ep r o p o s eal 删s c a l a b eb i t s t r e a mf o r m a t ，i ti sf o r t h es i n g l et h r e a do f t h ec l i e n te n d i 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 k e y w o r d s ：h 2 6 4 ，f g s ，s pf r a m e ，b i t - s t r e a ms w i t c h i n g ，b i t - r a t es e l e c t i o n v i i i h 2 6 4f g s 与流切换结合的相关研究 原创性声明 本人声明：所呈交的论文是本人在导师指导下进 行的研究工作。除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已发表或撰写过的研究成果。 参与同一工作的其他同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名! ，珈犟日期丝挈：主：多 ，一l， 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文 的规定，即：学校有权保留论文及送交论文复印件， 允许论文被查阅和借阅；学校可以公布论文的全部或 部分内容。 ( 保密的论文在解密后应遵守此规定) 签名嶂导师签名：日期：一 上海大学硕士学位论文i - l 2 6 4f g s 与流切换结合的相关研究 1 1 引言 第一章绪论 自从i t u - t 颁布了h 2 6 1 、h 2 6 3 、m p e g _ 1 、m p e g 一2 、m p e g 一4 等国际标准后 极大推动了多媒体技术的应用。然而，随着新服务的大量增加和高清电视的即将 普及，以及现有传输网络如c a b l em o d e m 、x d s l 、u m t s 较低的传输带宽，迫切需 要提高视频编码效率；同时还要求视频编码标准能够适应现有或未来的网络。这 些问题为新视频编码标准h 2 6 4 的产生提供了切实的依据。 随着网络多媒体应用的增加，基于网络的视频编解码技术也相应显得非常重 要f 1 】。位平面编码是精细可伸缩性( f g s ) 编码中的关键技术，它使得增强层码流 可以在任何位置点截断，从而具有可伸缩性【2 1 。在服务器向客户端发送视频流的 应用中，f g s 的伸缩性可以根据网络带宽的变化调整码率，当网络状况差时，只发 送基本层，当网络带宽比较充裕时，传输增强层的码流，提高视频质量 3 j 【4 j 。这种可 伸缩性技术适合用在i n t e r n e t 或无线通信的环境下传输视频信息的流媒体服务。 但是由于增强层采用的低分辨率的运动信息预测，所以f g s 的编码效率较低。 对此通常有两种不同的解决方案，一是结构上的调整，例如采用多次量化或单环、 多环结构 5 】；二是对增强层的变换方法作改进，例如微软亚洲研究院j u n g o n gh a n 提出的基于m p f g - 4 的8 x8 d c t 和4 x 4 d c t 模式选择方法呒 视频流式传输( v i d e os t r e a m i n g 也称流媒体) 【8 】是其中一项迅猛发展的技 术，能够满足人们迅即的学习娱乐需求。所谓流媒体，从服务器端的角度看，压 缩后的视频按照一定的用户需求或网络限制被选取，打包，从服务器端不断地发 送到客户端；从客户端的角度来看，用户不需要把整个媒体节目全部下载到本地 设备就可以开始解码播放，而且码流的到达是伴随着播放的连续不断的过程。流 媒体传输在视频点播、视频游戏、远程教学、网上视频聊天和实况转播等方面有 着广泛的应用前景。 然而，在互联网上进行流媒体传输，对视频压缩、网络传输等提出了新的挑 斟9 1 。首先，对于不同的流媒体应用，人们对流媒体的质量、实时性、交互性等 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 方面的要求不尽相刚1 0 】【l l 】，所以需要流媒体压缩和调度具有在服务质量上的可 伸缩性1 1 2 】；第二，由于网络的异构性( h e t e r o g e n e i t y ) 和网络服务质量( o o s ) 的非确保性( b e s t e f f o r t s e r v i c e ) 【”】u 4 11 1 5 ，流媒体传输需要针对互网络传 输中可能遇到的各种问题，提供带宽适应性和某些容错功能等等：第三，用户设 备的解码能力和播放方式多种多样，要求流媒体传输具有相应的结构来方便用户 设备的解码和播放。所有这些都要求在视频压缩( e n c o d i n g ) 和视频网络传输 ( t r a n s m i s s i o n ) 等方面不断地加深理解和加强研究。上述问题在实际应用中都 是很有意义的课题。 1 2 现有的质量可调整的视频编码技术概述 国际上对于网络流媒体的专门研究是从9 0 年代开始的，根据实时性要求和 视频传输的方向基本上可以分为三大类研究【1 3 】：一类是实时交互应用r t i ( r e a l f i m e i n t e r a c t i v e ) ，例如多人网络视频游戏，是双向交互、低延时的应用； 第二类是实时流媒体传输r t s ( r e a l - t i m es 仃e a m i n g ) ，例如视频会议系统、实 况转播系统，是单向的、低延时的系统；第三类是非实时流媒体传输n r t s ( n o n e r e a l t i m es 仃e a m i n g ) ，例如视频点播，是单向的，传输开始阶段播放允许一段时 间的延迟，播放开始后视频数据需要连续不断地满足播放的要求。本文主要是针 对后两类应用，即实时和非实时流媒体应用进行分析和研究，当然相关的研究也 有助于对第一类流媒体应用的研究和应用。下面着重就流媒体传输中质量可调的 视频编码技术进行介绍【1 6 1 。 1 2 1 自适应编码( a d a p t i v ee n c o d i n g ) 为了适应带宽的变化，在视频会议这类需要实时编码的视频服务中，有一种 自适应编码的方法，其主要思想是根据信道的条件调整编码器的参数生成适当的 视频流。这类情形通常采用r t p u d p i p ( r e a 卜t i m et r a n s m i s s i o np r o t o c 0 1 u s e r d a t a g r a mp r o t o c l i n t e r n e tp r o t o c 0 1 ) 协议，发送方将压缩数据分成r t p 协议 包发送给接受方，接受方监测r t p 数据包的传输延时和丢失率，通过r t p 协议中 的r t c p ( r e a l t i m et r a n s m i s s i o nc o n t r o lp r o t o c 0 1 ) 协议将网络传输情况反 馈给发送方，发送方调整数据发送码率使之与网络带宽情况相匹配。发送方根据 2 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 反馈信息估计发送码率的方法主要包括探测的方法和基于模型的方法。当发送方 估计出发送码率后，就可以采用码率控制技术改变视频编码器的量化参数( q p ， q u a n t i z a t i o np a r a m e t e r ) 或者改变视频编码的帧率来生成适当的码流。在编码 过程中，允许通过跳帧( f r a m e s k i p ) 、调整帧率和调整量化参数相结合来达至0 码率适应。尤其是在m p g e 一4 标准中提出了视频对象( v o ，v i d e oo b j e c t ) 的概念， 通过调整不同的视频对象的量化步长和解析度，可以获得基于内容和用户交互的 更加灵活有效的码率控制。 自适应编码可以适应网络带宽的变化，但是它对服务器的要求太高。当用户 增加时，服务器的开销太大，很难用于实际系统。而且在v o d ( 视频点播) 这类 应用中，编码和传输是分开的，所以自适应编码显然不适用。 1 2 2 码流转换( t r a n s c o d i n g ) 为了避免自适应编码过度的复杂性和将编码与传输分离，人们提出了码流转 换的概念。如图卜1 所示，其思路为在服务器上保存一个质量足够好的压缩的视 频流，当需要降低输出码率时，服务器进行部分的解码和重新分配编码来实现码 率匹配。具体操作是有选择地丢弃压缩数据中部分不重要的内容( 即舍弃后不会 严重影响主观质量的部分) 例如选择性丢弃帧和丢弃压缩数据中d c t 系数的高频 部分) ，或者再进行一次量化。 码流转换的复杂度比自适应编码低得多，但是由于要进行部分解码和编码， 因此当用户数量大大增加时，服务器得负担仍然非常重，并且将码流从高码率转 换到低码率也会造成额外的视频质量损失。 勰始潮露 转斟嚣转鹦纛测艨 按投蕊缘 图1 - 1 视频压缩转码( t r a n s c o d i n g ) 示意图 上海大学硕士学位论文 h 2 6 4f g s 与流切换结台的相关研究 1 2 3 可扩展性编码( s c a l a b l ec o d i n g ) 为了适应网络带宽的变化，可扩展性编码思想被提出，其研究可以追溯到十 几年前。如图1 2 所示，分层编码( l a y e r e dc o d i n g ) 是最常见的可扩展性编 码，它是将视频数据压缩编码为多个码流。其中一个可以独立解码，称为基本层 码流，其他码流必须与基本层码流一起被解码以获得好的视觉效果或高的分辨 率，这些码流称为增强层码流。现在的许多视频编码标准中都包括了分层编码技 术。通常标准中的分层编码技术主要分为三类：时域可扩展性编码( t e m p o r a l s c a l a b i l i t y ) 、空域可扩展性编码( s p a t i a ls c a l a b i l i t y ) 、质量可扩展性编码 ( q u a l i t ys c a l a b i l i t y ，s n rs c a l a b i l i t y ) 。而且有许多研究组织都致力于分 层编码的研究，取得较好的成果的有微软研究院。由于分层编码的码流可以按层 为单位截断，所以具有一定的网络带宽适应能力。 图1 - 2 视频分层压缩编码传输示意图 在m p g e 一4s t r e a m i n gp r o f i l e 中提出了一种方案能够灵活地适应网络带宽 的波动，在这个方案中，利用f g s 编码产生一个可分级的比特流。f g s 分级编码 的主要特征是其增强层采用位比特平面编码技术，提供了比分层编码更精细的分 级特性，具体地说，f g s 编码的基本层旨在适应最低的网络带宽要求，f g s 增强 层的比特流则可以根据需要在任意比特位置截断，并且解码的视频质量与用于解 码的比特数成正比。f g s 分级编码使得视频的编码过程和传输过程得以分开，也 就是说，f g s 的编码视频流事先生成并存储在视频流服务器中的，而f g s 码流分 4 上海大学硕士学位论文i - l 2 6 4f g s 与流切换结合的相关研究 配则是流服务器在传输前根据用户请求和网络带宽实时进行的。但是是通过降低 编码效率来获得带宽的利用率的提高。 1 2 4 流切换( s t r e a ms w i t c h i n g ) 流切换方法是指将视频独立编码成几个比特率不同的非可伸缩比特流，并根 据可用带宽在关键帧处作流切换，如图1 3 所示。 h 2 6 4 引入了大量的新编码特性，其中，同步一预测( s p ) 帧是h 2 6 4 引入 的新特性之一矾。如p 帧那样，s p 帧通过运动补偿预测编码，来利用视频序列 中存在的时间冗余。但与p 帧不同的是，即便是使用不同的参考帧用于预测，s p 帧都能得到相同的帧重构结果。以往，常使用i 帧在流之间切换，但因为i 帧未 用运动补偿预测，而是在视频序列中周期性地插入i 帧，这会导致降低系统压缩 效率。以s p 帧作流切换，与i 帧相比，可显著改进压缩性能。 图l - 3 视频压缩编码流切换( s t r e a ms w i t c h i n g ) 示意图 流切换方法的主要优点是压缩效率高。然而，因为可用流的数目有限，所以 这种方法在适应变化带宽条件方面只能提供粗糙的性能。流数目有限的原因主要 有二：其一，编码器需要以不同的码率编码相同的流，这增加了系统计算复杂度， 所以需要在能够提供的流数目及系统成本之间作权衡。其二，因为所有己生成的 流都需要在流服务器端存储，存储空间也是一个限制因素。 流视频的基本应用是i n t e r n e t 和3 g 无线网络上的传输。随着网络条件的不 断变化，用户的可用带宽也随之变化，就要求服务器对压缩视频的比特率通过伸 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 缩来适应变化，然后传输给接收端。 在预编码序列的情况下，完成带宽可伸缩性的最简单的方法是：使用不同带 宽和质量的多个独立的流来表示某一个序列。然后根据用户的可用带宽，服务器 在这些流之间作动态地切换。 1 2 5 联播( s i m u l c a s t ) 联播的基本思想是流切换。即同一段视频内容被编码为不同码率的视频流存 储在服务器上。服务器根据用户的需求选择适当码率的码流来发送。如果网络发 生变化，用户可以在切换点切换到其它的码流上去，通过在几个码流间的切换达 到动态调整的目的。 联播方式中服务器的计算复杂度很低，但是要有比较大的存储空间，实际上 这种方式是将自适应编码中对计算度复杂性的要求转换为对存储空间的要求。当 编码数目较少时，适应网络带宽的能力有限；而存储的码流数目太多时，服务器 存储资源利用率太低。并且，由于服务器可能同时发送几个码流，造成带宽利用 率不高。 1 3 比特率选择方法研究现状 编码器采用码率控制作为一种手段，可以约束编码比特流的可变比特率特 性，从而可以在目标比特率下生成高质量的编码帧。在其它标准( 如m p e g 2 、 m p e g - 4 、h 2 6 3 等等) 中已经广泛地研究了码率控制【1 2 1 1 。有两类码率控制方 法。第一类码率控制方法假设“网络总是能够保证编码过程期望的带宽”【”】【1 8 】， 不需根据网络状态调整目标比特率。第二类码率控制方法利用网络提供的可用带 宽 2 “，这个网络是恒定比特率的( c b r ) 、或者是可变比特率的( v b r ) 。与第 一类码率控制方法比较，第二类码率控制方法对于不可预测的变化网络条件是自 适应的，所以第二类码率控制方法对于口上的视频来说更具吸引力 r d o 的基本思想是：在码率约束为足的条件下使失真d 最小化【2 2 】【矧。考虑 一个帧由n 个宏块组成。每一个宏块有l 种可能的参考帧，以k 种可能的宏块 6 上海大学硕士学位论文i 1 2 6 4f g s 与流切换结合的相关研究 编码模式之一进行编码。编码模式和多参考帧相结合，在给定码率约束以下使 帧的失真最小，这个问题可以用公式描述为 a r gm i nd ( r ) r 从原始图像中减去“上采样的重建基本层图像”； 对残差进行d c t 变换，并用小于基本层的量化参数进行量化； 用v l c 编码量化的比特： 由于增强层使用了较小的量化参数，它可以达到比基本层更高的质量。 基本层 解码的 视频 增强层 解码的 视频 图3 7 一个两层的空间时间可分级解码器 图3 7 画出了一个具有两层可分级性的空间可分级解码器。对于基本层，解 码器的工作与不可分级的视频解码器完全一样。对于增强层，必须接收到两层， 用v l d 解码，进行反量化和逆d c t 变换。然后对重建的基本层图像作上采样。把 上采样的重建基本层图像与增强层的细节相结合形成增强层解码视频。 3 1 3 时间可分级性 时间可分级性定义为同一个视频在不同的时间分辨率或帧率下的表示( 见图 3 - 4 ( a ) 和( c ) ) 。时间可分级性可以对不同内容的层使用不同的帧率。一般，以这种 方法对时间可分级视频进行有效的编码：利用较低层的时间上采样图像作为较高 层的预测。时间可分级编解码器的方框图与空间可分级编解码器的相同( 见图 3 - 6 和图3 7 ) 。唯一的差别是空间可分级编解码器用空间下采样和空间上采样， 而时间可分级编解码器用时间下采样和时间上采样。进行时间下采样的最简单方 法是跳帧。例如，比率为2 ：1 的时间下采样可通过每两帧丢弃一帧来实现。时间 上采样可用帧复制的方法来实现。例如，比率为1 ：2 的时间上采样可通过每帧复 制一个副本并在下一步传输这两帧来实现。在这种情况下，基本层包括所有的偶 数帧而增强层包括所有的奇数帧。对于运动补偿，基本层帧将仅由前面的基本层 的帧来预测，而增强层的帧由基本层的帧和增强层的帧都可以预测。 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 3 1 4 频率可分级性 用多个层表示视频帧的另一种方法是通过在每一层包含不同的频率分量，基 本层包含低频分量而其他层包含逐渐增加的较高频率分量。在这种方法中，基本 层将提供一个模糊的图像。加上各增强层将产生逐渐清晰的图像。可通过整帧变 换( 例如子带分解或小波变换) ，或通过基于块的变换( 例如块d c t ) 来实现这 种分解。在基于块的混合编码器中实现这个思想的一种方法是：在基本层中包括 模式信息、运动信息和每个宏块的前几个d c t 系数，而在增强层中包括其余的 d c t 系数。在m p e g 2 标准中，这称为数据分割。 3 1 5 精细粒度可分级性编码 前几节所介绍的分级编码方法生成的码流由若干层组成，基本层后面是一个 或几个增强层码流。这种类型的编码器仅能提供粗粒度的编码，只有在码率以大 的离散步长增加时才能获得质量的改善。如果在一个特殊的层中仅收到部分比 特，则再生的视频质量很大程度上取决于在前面层中接收到的比特，而不会得益 于从该层接收到的比特。在精细粒度可分级性编码( f g s ，f i n e - g r a n u l a r i t y s c a l a b i l i t y ) 方法中，编码生成的码率和图像质量都以小得多的步长在增加，在极 限的情况下，比特流可以通过每一个增加的比特提供连续的视频质量的改善。因 此，f g s 可分级编码比其他可分级编码方法能更有效地适应实际网络中的带宽变 化。图3 - 8 给出新的精细粒度可分级视频编码与传统的可分级编码方法的比较p 】。 图中阶梯状的曲线对应于传统的可分级编码方法，用户所能得到的视频质量的改 进程度是跳变的、不连续的，而且是有限的。由图可知，f g s 编码方法可以根据 网络带宽的增大而得到均匀的、连续变化的、细粒度的图像质量的提高。 上海大学硕士学位论文 i - l 2 6 4f g s 与流切换结合的相关研究 接收到的 视频质量 好 中等 差 图3 8 几种可分级性编码性能比较 f g s 视频编码方法的细粒度性是通过对d c t 系数进行比特平面编码来实现 的。下面以一个8 x 8 的块为例，详细介绍比特平面编码的方法。比特平面编码方 法主要包括以下几个步骤。 第一步，将量化后的d c t 系数差值的绝对值用二进制数表示，并标明其符 号位。如图3 - 9 所示。 图3 - 9 将d c t 写为二进制数 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 第二步：对8 x 8 的块进行之字扫描，并将扫描后的结果顺序排列。如图3 1 0 和3 - l l 所示。在图3 1 1 中，每个数字上都有一个符号位，没有符号位的为0 ， 数字是d c t 系数的绝对值。最上面的行为m s b ，最下面的行为l s b 。比特平面 的层数取决于d c t 系数绝对值的最大值，图中最大值为l o ，用二进制表示为 1 0 1 0 ，所以比特平面层数为四层。 比特平面 m s b l s b l n1 怠一夕 厂厂厂 歹 y月 旷 歹 y 砖 歹少 刀 扩 。声 门 扩 声 (么么田 图3 1 08 x 8 块的之字扫描 凰! 虢 图3 1 1 将进行之字扫描后的结果循序排列 第三步，将每一层比特平面转化为r u n e o p ( e n do f p l a n e ) 符号。每一行 从左到右扫描，每遇到一个“1 ”，计算该“1 ”前面，前一个“l ”后面“0 ”的 个数作为r u n 值，如果为最后一个“1 ”，则将e o p 置为“l ”，否则置为“0 ”， 如图3 1 2 所示。 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 瓣舻，o ) ，a 黔 l 簏 图3 - 1 2r u n - e o p 原理图 羚汹，e o 黟o m s 髂鬟 第四步，符号位的表示。在进行r u n e o p 后，每个符号位只进行一次编码， 而且按照从高层到底层第一个非零值之后放入，其中0 代表正数，l 代表负数， 如图3 1 3 所示。 藜，蠛 挚岛溉姨( 2 零骖 k ! 罐 | ! 黪磐! 蘧瓣碧囔磐簟警蠛 图3 1 3 符号位的编码 3 2 匈蠖钐蠖移蠛移嬲一鳓一脚一嬲 彩蠖彩蠛钐蠖移 一一一一一一一 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 使用比特平面编码的好处就是使得每一个系数的重要部分( 较高的位) 优先 编码，这样在码流截断时，仍可以获得重要的视频信息，从而提供了精细的可伸 缩性。 增强层的码流按照比特平面从左到右，从上至下的顺序进行r u n e o p 编码 后组成，在上例中的摆放顺序为： ( o ，1 ) ，0 ，( 2 8 ，1 ) ，1 ，( o ，o ) ，( 5 ，o ) ，0 ，( 2 ，o ) ，0 ，( 3 1 ，1 ) ，0 ，( 1 ，0 ) ，1 ，( 2 6 ，1 ) 在传输过程中，码流可以根据带宽在任意处截短，假设被截得的码流为： ( 0 ，1 ) ，0 ，( 2 8 ，1 ) ，1 ，( o ，o ) ，( 5 ，o ) ，0 ，( 2 ，o ) ，0 ， 解码可得( 如图3 1 4 所示) ： ；圄；藤凰 圈卫墨叠卫巫圈囡国圈国圈 圈卫蟹巫圈圉圈圈囤圆 圆卫皿互亚亚圈图圈围圃 图3 1 4d c t 系数截短后解码结果 可见低频系数解码结果和原始系数一致，截断码流损失的主要是高频信息 ( 即图像的细节部分) ，如果带宽足够宽，则高频信息就可恢复得越多，那么解 码的图像就足够清晰。这样就可以实现精细粒度的伸缩编码。 3 2 基于h 2 6 4 的实时精细粒度可伸缩编码方法 基于m p e g - 4 精细粒度可伸缩编码方法，由原始图像和基本层重构信息相减 获得的残差信息经过变换量化和比特移位后找最大值，最后采用比特平面编码。 这种方法可以获得较好的编码效果，但是它没有考虑在增强层编码的变换量化 之前作前端预处理，编码复杂度较大，不能达到实时编码。本文针对于此，提出 一种基于h 2 6 4 的实时精细粒度可伸缩编码方法，如图3 1 5 所示，在增强层的 上海大学硕士学位论文h 2 6 4f g s 与流切换结台的相关研究 编码中，通过前端预处理，做全局性分布统计分析和提前做全零块判决，可大大 减少编码时间并达到实时编码。并在增强层中采用4x4 整数变换以使增强层的 变换模式与基本层中h 2 6 4 的变换模式匹配，加入预处理虽然会引入些额外比特 但可大幅减少其后续的编码比特，从而总体上较明显提高编码效率。 基于h 2 6 4 i l 一一道鹾缚吐一一一一一一i 4 4 整数变换l 基本层重构值i 3 2 1 改进技术方案 本文是一种基于h 2 6 4 的实时精细粒度可伸缩编码方法，相比于基于 m p e g - 4 的f g s 编解码方法，它可以在考虑额外的开销比特的同时，提高视频 质量，大大降低编解码时间。 为达到上述目的，本文提出下述技术方案： 一种基于h 2 6 4 的实时精细粒度可伸缩编码方法，其特征在于在变换量化 之前作预处理，即对当前残差帧作全局统计分布分析和对当前残差块作局部性统 计分布分析，在全局分析中找出奇异点，并通过对奇异值进行下移位使得比特平 面数全局均衡，在解码端作相应的上移位其中奇异点是在基本层编码过程中造 成的，通常原始图像与重构图像之差超过一定值( 如3 2 或6 4 ) 时，我们把这样 的像素点称为奇异点；此外，在局部分析中做全零子块的判决；且在编码器中的 增强层变换部分采用4x4 整数变换。 全局统计分布分析是指对当前残差帧而言。全局统计分布分析中主要是找 出奇异点，且对奇异点作上移位。这样做的原因是：我们知道位比特平面编码的 最高层都是由最大值决定，奇异点将直接影响最大编码层数，从高层到底层的编 码顺序使得大量残差像素值无法正常进入编码，这将影响整体编码质量。所以为 了处理它，将奇异点作上移位处理，并在解码端作相应下移位。 局部性统计分布分析是针对当前残差块而言的。局部分析中主要是作全零 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 块的判决，一般的方法中，对于每个残差块都要进行变换量化过程，然而这一部 分又是较为耗时的，如果能够在这一部分考虑减少一些块作变换量化，这将会大 大提高编码速度。本方法提出在前端提前做全零块判决的方法，对满足全零块条 件的块，判决为全零块，与未作判决方法相比，该方法降低编码复杂度，节约编 码时间，为实时f g s 编码方法提供有力保证。 采用4x4 整数变换不仅使增强层的变换模式与基本层中h 2 6 4 的变换模式 匹配，而且该方法的实时性也可以通过对4x4 整数变换进行m m x 优化进一步提 高，我们将在下面详细分析。 实现步骤如下： a ) 对当前残差帧进行全局性分布统计，在基于h 2 6 4 的基本层的重构值与 原始值的差值中统计奇异点的分布情况，对全局奇异值进行下移位，在 头信息中对记录奇异点的位置和下移值信息进行编码； b ) 对当前残差块进行局部性分布统计，在完成a ) 后得到最大比特位数为l ， 设截取比特平面数为n ，使用条件值t = 2 。“来判决当前残差块是否为 全零子块，因为全零子块不需要做后面的变换量化，所以对全零子块的 处理可以大大节省编码时间和码率； c ) 在增强层中对非零子块采用4x4 整数变换，并对变换量化系数采用比特 平面编码； d ) 在解码端，从头信息中提取a ) 中全局部分下移位置和下移值信息，并做 相应的上移位。 上述a ) 的全局性统计分析具体步骤如下： ( 1 ) 对输入的当前残差帧全局扫描，记录奇异点值大小。 ( 2 ) 根据分布信息，确定奇异点，对奇异点绝对值下移操作，如奇异点绝对值大 于6 4 。对其下移2 位，如介于3 2 “之间，对其下移1 位。 ( 3 ) 在头信息中记录奇异点值位置( ) ( ，y ) 和下移值大小s 。 ( 4 ) 分析后得到最大值m ，则最大比特位数为l = l 0 9 2 m + o 5 1 a 上述b ) 的局部性统计分析具体步骤如下：( 图3 1 6 ) ( 1 ) 对输入的当前残差块进行循环扫描。 ( 2 ) 判断是否满足全零子块条件。全局分析完成后得到最大比特位数为l ， 设截取比特平面数为n ，使用值o = 2 l - “来判决当前残差块是否为全零 上海大学硕士学位论文h 2 6 4f g s 与流切换结合的相关研究 子块，如果这个4x4 子块为全零子块则不用做变换量化，并将当前块的 b l o c k _ c b p 设置为a l l _ z e r o ，否则设置为1 。 ( 3 ) 重复第( 2 ) 步，完成全部的全零块判决，当有一个组( g r o u p ) 为全零组，则 g r o u p _ c b p 设置为a l l _ z e r o ，否则设置为1 。这里对全零组的判决虽会 增加一些额外比特和计算量，但是可提高编码头信息的效率和整体编码 效率。 图3 1 6 全零块判决流程图 上海大学硕士学位论文 1 i 2 6 4f g s 与流切换结合的相关研究 实现时其中的两段伪码如下： 1 8 x8 块全零组判决伪码： f o r ( i = o ；i p a t 砌iw i d t h ) ； m e m o r y _ s i z e + = g e t _ m e m 2 d i n t ( & f g s _ d e l u , h - p a r a r n l h e i g h t 2 ， h p a r 锄i _ w i d t h 2 ) ； m e m o r y _ s i z e + = g c tm e m 2 d i n t ( & f g s _ d e l v , h - p a l a m i _ h e i g h f f 2 ， h - p a r a m i 州d t h 2 ) ； 得到亮度信号的残差值 f o r ( 净o ；i p 锄m i _ h e i g h t ；+ + i ) f o r ( j = o ；j p a r a m i _ w i d t h ；州) f g s _ d e l y i j = ( i n t ) ( h - f e n c - p l a n e 0 i + h - f e n e - is