（通信与信息系统专业论文）先进的小波视频压缩方法及其应用研究.pdf

摘要 在多媒体通信不断发展的今天，视频通信在通信领域占有很重要的地位，因此如何 对庞大的视频数据进行有效压缩编码至关重要，也是目前的一个研究热点。网络带宽适 应性和传输鲁棒性是视频通信划视频压缩技术提出的最具挑战性的问题。因此，对视频 编码的可扩展性和鲁棒性研究具有重要的理论和现实意义。基于小波的视频图象编码技 术不仅能提供高的编码压缩效率，而且高度支持了叮扩展性编码。奉论文丰要就视频小 波编码技术展丌研究，并且，采用多描述视频编码技术来增强视频流的传输鲁棒性。具 体内容丰要包括： 1 分析了在小波域中进行运动估计和运动补偿存在的问题并提出了解决方 法，实现了基于冗余小波变换的视频编码方法。研究了基于小波域的多分 辨率运动估计方法，提出了一种基于冗余小波域的m r m e 改进算法。并且， 基于冗余小波变换视频编码的框架，提出了干十多描述视频编码新方法， 该方法以牺牲少量编码效率为代价，来提高编码系统的传输鲁棒性。 2 研究了三维小波变换编码方法，分析了运动补偿时域滤波器( m c t f ) 的 性能。对m c t f 巾的非连接像素点，提出了一种劈分块双向运动估计的处理 方法，并且，将提升力案运用到了三维小波视频编码中，不仅加快了运算速度， 而且使半像素精度的m c i t 可逆，提高了编码压缩效率。基丁三维小波变换编码， 提出了一种多描述可分级视频编码方法，该方法能灵活地适应网络信道的动态变 化、异构以及接收端的不同状况，实时解决不可靠信道视频传输的丢包、误码等 现象，实现可分级性和鲁棒性编码。 3 研究了内容分发网络( c d n ) 技术，并且，采用多相变换多描述分解方法，结合视 频小波编码技术提出了一种适合于内容分发网络的视频编码新方法。 4 分析了r a ys p a c e 图象的数据特征，并且，根据其特征采用视频小波编码方法对 其进行压缩。研究结果表明，基于三维小波变换的r a ys p a c e 图象的数据压缩是 非常有效的。 关键词：冗余小波视频多描述编码三维小波运动补偿时域滤波内容分发网络 r e s e a r c ho i lt h e a d v a n c e dw a v e l e t - b a s e dv i d e oc o d i n ga n dt h e a p p l i c a t i o n z h a n gw e n q i n ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yd e n gy u n k a ia n dj i a n gg a n g y i w i t ht h er a p i dd e v e l o p m e n to fm u l t i m e d i ac o m m u n i c a t i o n ，v i d e oc o m m u n i c a t i o ni s b e c o m i n ga ni m p o r t a n ti s s u ei n t h er e s e a r c ha r e ao fc o m m u n i c a t i o nt o d a y s oi ti sv e r y i m p o r t a n tt oc o m p r e s st h eh u g ev i d e od a t ae f f e c t i v e l y , w h i c hh a sa l r e a d ya t t r a c t e dc o n s i d e r a b l e a t t e n t i o n sr e c e n t l y t h ei m p o r t a n tc h a l l e n g e sa s s o c i a t e dw i t ht h ev i d e oc o m p r e s s i o nt e c h n i q u e s a r et om a k es o u r c ec o d e r sb o t he r r o r - r e s i l i e n ta n dn e t w o r k - a d a p t i v e s oi ti s p r a c t i c a l l y s i g n i f i c a n tt os t u d ys c a l a b i l i t ya n dt r a n s m i s s i o nr o b u s t n e s so fv i d e oc o d i n g t h ew a v e l e t b a s e d v i d e oc o d i n gt e c h n i q u e sh a v eh i g hc o m p r e s s i o ne f f i c i e n c ya sw e l la sf u l ls c a l a b i l i t y a n dt h e w a v e l e t b a s e dv i d e oc o d i n gm e t h o d sa r es t u d i e di nt h i sd i s s e r t a t i o n ，a n dm u l t i p l ed e s c r i p t i o n v i d e oc o d i n gt e c h n i q u e sa r ea d o p t e dt oe n h a n c et h et r a n s m i s s i o nr o b u s t n e s so fv i d e o t h e m a i nw o r ki sa sf o l l o w s ： 1 t h ep r o b l e m se x i s t i n gi nt h em o t i o ne s t i m a t i o ni nt h ew a v e l e td o m a i na r ea n a l y z e d ，a n d t h er e d u n d a n tw a v e l e tt e c h n i q u e sa r ca d o p t e dt oi m p r o v et h ep e r f o r m a n c eo ft h em o t i o n e s t i m a t i o ni nt h ew a v e l e td o m a i n t h em u l t i r e s o l u t i o nm o t i o ne s t i m a t i o n ( m r m e ) i s s t u d i e d ，a n dan e wm r m e m e t h o db a s e do nr e d u n d a n tw a v e l e ti sp r o p o s e d f u r t h e r m o r e ， b a s e do nt h er e d u n d a n tw a v e l e tv i d e oc o d i n gs y s t e m ，an c wm u l t i p l ed e s c r i p t i o nc o d i n g s c h e m ei sp r o p o s e d ，w h i c hc a ne n h a n c et h et r a n s m i s s i o nr o b u s t n e s sw i t hl o wr e d u n d a n c y 2 t h r e e d i m e n s i o nw a v e l e tv i d e o c o d i n gt e c h n i q u e s a r e s t u d i e d ，a n d t h em o t i o n c o m p e n s a t i o nt e m p o r a lf i l t e r i n g ( m c t f ) i sa n a l y z e d ab l o c k s p l i tb i d i r e c t i o n a lm o t i o n e s t i m a t i o ns c h e m ei sp r o p o s e dt od e a lw i t ht h eu n c o n n e c t e dp i x e l si nm c t f a n dt h e l i f t i n gs c h e m e sa r eu s e di nm c t f , w l f i c ha l l o w sp e r f e c tr e c o n s t r u c t i o nw i t hs u b p i x e l m c y f , a n di m p r o v e st h ec o d i n ge f f i c i e n c y m o r e o v e r , am u l t i p l ed e s c r i p t i o ns c a l a b l e v i d e oc o d i n gs c h e m ei sp r o p o s e db a s e do nt h et h r e e - d i m e n s i o nw a v e l e tv i d e oc o d e r t h e p r o p o s e d s c h e m ec a ne n h a n c et h et r a n s m i s s i o nr o b u s t n e s so fv i d e oo v e ru n r e l i a b l e n e t w o r k s ，a sw e l la sa d o p tt h es c a l a b l ec o d i n gf o rt h eh e t e r o g e n e o u sn e t w o r k s 3 t h ec o n t e n td e f i v e r yn e t w o r k s ( c d n s ) t e c h n i q u e sa r es t u d i e d a n db a s e do np o l y p h a s e d o w n s a m p l i n g , an e wm u l t i p l ed e s c r i p t i o nv i d e oc o d i n gs c h e m eu s i n gt h r e e - d i m e n s i o n w a v e l e tt e c h n i q u e si sp r o p o s e df o rc d n s 4 t h ec h a r a c t e r i s t i c so fr a ys p a c ei m a g e sa r ea n a l y z e d ，b a s e do nw h i c ht h ew a v e l e t b a s e d v i d e oc o d i n gi ss t u d i e d t h er e s u l t ss h o wt h a ti ti se f f e c t i v et ou s et h r e e d i m e n s i o n w a v e l e t b a s e dv i d e oc o d i n gm e t h o dt oc o m p r e s sr a ys p a c ei m a g ed a t a k e y w o r d s ：r e d u n d a n tw a v e l e t ，m u l t i p l ed e s c r i p t i o nv i d e oc o d i n g ，t h r e e - d i m e n s i o n a l w a v e l e t ，m c t f 9 c d n 1 i 图1 1 多描述编解码示意图 图目录 图1 2 冗余率失真r r d 函数6 图2 1 一维信号小波一级分解和重构示意1 4 图2 2 提升方案的实现步骤1 4 图2 3 图象小波变换编解码原理框图1 5 图2 4 图象的一级小波变换实现原理图1 6 图2 5 图象的i 级小波变换子带分布图1 7 图3 1 小波域运动补偿的视频编码方法原理框图2 0 图3 2 信号s ( 一) 和平移信号s 0 一1 ) 2 1 图3 3 信号s 加) 年l l s ( n 一1 ) 的小波域变换系数2 l 图3 4 一维信号二：级冗余小波分解与合成2 2 图3 5 一维信号小波分解和重构示意图2 3 图3 6 一维信号二级冗余小波变换系数空间分布图2 5 图3 7 二维信号二级冗余小波变换系数空间分布图2 6 图3 8 冗余小波变换低频和高频子带系数分布图2 7 图3 9 基于冗余小波变换的视频编码方法一2 7 图3 1 0 基于低频子带平移的视频小波编码方法2 8 图3 1 1 一维信号低频子带平移二级小波分解2 9 图3 1 2 小波块的组成一 图3 1 3 多分辨率运动估计过程3 2 图3 1 4m i s s a 序列采用方案2 和方案4 各帧运动补偿图象的信噪比情况3 5 图3 1 5 基于冗余小波变换的视频多描述编解码框图3 6 v l 先进的小波视频压缩方法及心用研究：目泶 图3 16 视频信号网络传输的错误传播3 6 图3 1 7 视频乖寅传输出错瓣的解筠情况3 7 图3 1 8 双描述编码情况下的错误隐藏3 8 图3 1 9f o r e m a n 序列偶数帧描述丢失时的重建质量睛况3 9 图3 2 0s a t e m a n 序列偶数颊描述丢失辩的重建质量情况。4 0 图3 2 1m i s s a 序列偶数帧描述丢失时的重建质量情况4 0 图3 2 2s a t e m a n 序歹i 第3 0 帧蒹视频图象和爨建季凳频翻象4 l 图3 2 3m i s s a 序列多描述编码率失真性能4 2 图4 1 三维小波变换编码框图4 3 图4 2 三维小波变换的四级时域分解4 4 图4 - 3 块匹配运动估计像素间的对应关系4 6 图4 4 三维小波变换编码原理框胬4 7 图4 5 基于提升方案的h a a r 小波m c t f 4 8 图4 6m c i t 中的像素连接状态分析5 0 图4 7 劈分块双囱运动估计法5 0 图4 8f o r e m a n 序列在不耐传输率下的率失真性能比较5 1 图4 9s a l e m a n 序列在不潮传输率下的率失真性霞 0 较5 1 图4 1 0 基于空域分解的多描述可分级编码系统框图5 4 图4 1 1 基于奇偶行采样的多描述空域分解5 4 圈4 1 2 基于奇偶列采样的多描述空域分解5 4 图4 1 3 基于时域分解的多描述可分级编码系统框图 图4 1 4 基于奇偶帧采样骢多接述时域分船 图4 1 5 帧n + l 和帧n 1 之间的运动矢量一 图4 1 6 帧n 与前后两帧之间的运动矢量关系 图4 1 7m i s s a 序列单描述编码与多摇述编码编码效率比较 机群系统o p e n m p 目f 究：闵目录 图4 1 8 s a l e m a n 序列单描述编码与多描述编码编码效率比较5 9 图4 1 9m i s s a 序列多摇述编码冗余度比较5 9 图4 2 0s a l e m a n 序列多描述编码冗余度比较6 0 图4 2 1 m i s s a 序列基于空域分解的多描述可分级编码率失真性能6 2 图4 2 2 s a l e m a n 序列基于空域分解的多描述可分级编码率失真猛能一6 2 图4 2 3 m i s s a 序列基于时域分解的多描述可分级编码率失真性能6 3 强4 2 4 s a l e m a n 序弼基于时域分躲的多摇述可分级编码率失真蛙能6 3 图5 1c d n 网络及其简化模型6 5 图5 2 四个服务器和两个用户的m d c d n 系统一6 5 图5 3 蕊予多相变换的3 d 可扩琨视频多攒述编码6 7 图5 4 多相变换多描述分解6 7 图5 54 x 4 盈象多相交换多描述分解一6 7 图5 6 多描述编码描述个数丢失腾况分析6 8 图5 7m i s s a 序列采用不同错误隐藏方法重建视频序列各帧信噪 e 情况7 0 图5 8s a l e m a n 序列采弱不同错误隐藏方法重建视频序列各顿信噪比情况7 l 图5 9m i s s a 序列c d n 多描述编码率失真性能7 1 圈5 1 0s a l e m a n 序列c d n 多描述编码率失真性能7 2 图6 13 d 平面坐标系与3 dr a ys p a c e 7 4 图6 2 3 d r a y s p a c e 伊国砂) 与不筒视点的豳象7 4 图6 3 基于r a ys p a c e 的砖v 系统漉图7 4 图6 4r a ys p a c e 数据片组编码系统框图7 6 圈6 5 r a y s p a c e 数据实例中的第1 个片翻第1 4 0 个片+ 图6 6 “纸杯”多视点图象三种方法的编码性能比较7 8 图6 7 “x m a s ”多视点图象三种方法的编码性能比较7 9 图6 8 三种编码方法压缩r a ys p a c e 片序列并船码质绘制的视点图象8 0 v i i i 表目录 表3 1 不同序列采用不同运动估计方案获得的平均信噪比和复杂度情况3 4 表3 2 测试序列多描述编码与单描述编码的平均信噪比情况4 2 表5 1m i s s a 序列多描述编码与单描述编码平均信噪比情况7 0 表5 2s a l e m a n 序列多描述编码与单描述编码平均信噪比情况7 0 i x 研究成果声明 木人郑重声明，所提交的学位论文是我本人在指导教师的指导下进 行的研究工作获得的研究成果。尽我所知，文中除特别标注和致谢的地 方外，学位论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中国科学院电予学研究所或其他教育机构的学位或证书所使 用过的材料。与我一同丁作的合作者对此研究工作所做的任何贡献均已 在学位论文中作j ，明确的说明并表示r 谢意。 特此申明。 签名：强矗掺 日期：。哪，- ； 关于学位论文使用权的说明 本人完全j ，解中国科学院电子学研究所有关保留、使用学位论文的 规定，其中包括：电子所有杈保管、并向有关部门送交学位论文的原 件与复印件；电子所可以采用影印、缩印或其它复制于段复制并保存 学位论文；电子所可允许学位论文被查阅或借阅；电子所可以学术 交流为目的，复制赠送和交换学位论文：电子所可以公布学位论文的 全部或部分内容( 保密学位论文在解密后遵守此规定) 。 签 名：弧b 强 导师签名： ：邓亥李仙 f 日期：a 啷、6 1 ； 日期：州“加 1 , 1 视频图象压缩技术的发展状况 第一章引言 随着多媒体、无线通信、i n t e m e t 等技术的迅猛发展，视频图象压缩与通信成为了当 今国际上的一个研究热点。由于视频信息本身十分庞大，限制了其在网络中的传播速度。 但是原始视频信号中的大量的冗余信息是可以被压缩的：1 、在时间方向上，帧与帧之间 存在着极强的时间相关性；2 、在帧内，相邻像素之间存在着很强的空间相关性：3 、由 于被编码信号概率密度分布的不均匀，1 字在着统计冗余。因此，通过相应的处理，去除 原始视频信号巾的兀余信息，就可以达到压缩数据量的目的。此外，利用人眼的视觉特 性，将人胀不能察觉的客观信息剔除，也能够进一步提高压缩效率。 1 9 4 8 年提出电视信号数字化后，人们就开始了对视频图象压缩编码的研究r 作，至 今已有五卜多年的历史。在开始的二十年间，人们仅对帧内线性预测编码和亚拙样内插 复原法进行研究，对视觉特性也做了有限但极为可贵的工作；6 0 年代，采用二维傅立叶 变换的变换编码技术由h c a n d r e w s 等人提出，后相继出现了用其它变换方法的变换编 码，如离散余弦变换( d c y ) 和离散小波变换( d 、1 ) ；7 0 年代开始进行帧间预测编码 的研究：8 0 年代初丌始对运动估计睡动补偿技术进行研究；9 0 年代一些国际组织对视 频图象编码的成果进行了收集、整理、综合和加工，制定了一些通用的压缩编码标准。 j t c l 是目前国际上制定视频编码标准的正式组织，i t u t 的标准称之为建议，并命 名为h 2 6 x 系歹0 ，比如h 2 6 1 、h 2 6 3 等。i s o i 皿c 的标准称为m p e g x ，比如m p e g 一1 、 m p e g 一2 、m p e g 一4 等。h 2 6 x 系列标准主要用于实时视频通信，比如视频会议和可视电 话等；m p e g 系列标准主要用于视频数据的存储，广播电视和视频流的网络传输( 如基 于i n t e r n e t 、d s l 的视频，无线视频等等) 。除了联合开发h 2 6 2 m p e g 一2 标准外，大多 数情况下，这两个组织独立制定相关标准。自1 9 9 7 年，i t u t v c e g 与i s o i e cm p e g 再次合作，成立了j o i n tv i d e ot e a m ( j v t ) ，致力于开发新一代的视频编码标准h 2 6 4 。 1 9 9 8 年1 月，开始草案征集；1 9 9 9 年9 月，完成了第一个草案；2 0 0 1 年5 月，制定了 其测试模式t m l - 8 ；2 0 0 2 年6 月，j v t 第5 次会议通过了h 2 6 4 的f c d 版本；2 0 0 2 年 1 2 月，r r u t 在日本的会议上正式通过了h 2 6 4 标准，并于2 0 0 3 年5 月正式公布了该 标准。国际电信联盟将该系统命名为h 2 6 4 山w c ，国际标准化组织和国际电一 委员会将 其称为1 4 4 9 6 1 0 m p e g 4a v c 。 新一代视频图象压缩标准h 2 6 4 具有一系列优于m p e g 4 和h 2 6 3 的新特性，可适 应更高图象质量和低码率应用的需求。它引入了面向i p 包的编码机制，有利于网络中的 分组传输，支持网络中视频的流媒体传输；它具有较强的抗误码特性，可适应干扰严重、 丢包率高的无线信道中的视频传输；它对不同应用的时延要求具有灵活的适应性；它的 中周科学院硕士学位硷文先进的小波视频压缩方法及其应用聊f 究 编码和解码复杂度具有可扩展性，支持编码和解码复杂度的不等分配和扩展。 h 2 6 4 标准压缩系统 | 视频编码层( v c l ) 和网络提取层( n e t w o r k a b s t r a c t i o n l a y e r ， n a l ) 两部分组成。v c l 中包括v c l 编码器与v c l 解码器，主要功能是视频数据压缩 编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。n a l 则用于为v c l 提 供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送， 它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑 信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用 于指示当前数据不属于被参考的帧。类型标志用丁- 指示图象数据的类型。h 2 6 4 编码标 准在h 2 6 1 、h 2 6 3 等标准基础上，采用了一系列新的技术： f 1 1 增强的运动补偿性能：采用树状结构的运动补偿和1 4 像素精度的运动向量预测技 术，使预测帧更接近原始帧，减少相互间的差异，去除时间上的数据冗余，提高编码的 压缩率： f 2 ) 采用更小块进行变换编码：以往的8 x 8d c t 逆变换会引起系数失真，使重构帧与 原始帧问存在瀑筹。h 2 6 4 使用4 x 4 整型变换，保证逆变换系数不失真，并降低了运算 复杂度； ( 3 ) 采用块问滤波器提高性能：由于编码是有损的，会引起重构以后块问亮度落差大、 图象出现马赛克等现象，影响人的视觉感受。在块间使用滤波器，以平滑块问的亮度落 差，可使重构后的图象更贴近原始图象； “) 高性能的熵编码：h 2 6 4 采用两种熵编码模式，基_ 丁卜f 文的二进制算术编码和可 变长编码方式。 ( 5 ) 采用s p 和s i 帧支持视频流问切换：h 2 6 4 引入切换帧s p 和s i 的概念。解码器可 以根据当前网络的状况使用切换帧，在不同质量的视频流问进行有效切换，解决切换过 程中预测帧囚缺乏参考帧而引起的解码错误。 h 2 6 4 作为新一代的视频编解码标准，采用了成熟的技术，在追求更高的编码效率 和简洁的表达形式同时，也提供了非常好的视频质量。然而现有的视频编码技术仍然没 有达到其上限，需要不断改进现有的技术，进步提高视频编码的效率。 1 2 基于小波变换的视频压缩技术概述 基于小波的视频图象编码技术是目前国际上的一个研究热点【1 】，它不仅能提供高的编 码压缩效率，而且高度支持了可扩展性编码。j p e g 2 0 0 0 中引进了优化截断点的嵌入块编码 方法对图象进行编码，m p e g 4 在其静止图象压缩标准中采用了零树小波编码方式，新一 代视频对象编码标准m p e g 4 将基于小波的视频编码方法纳入个优选的方案。基于小波 的视频编码技术主要可分为三类： ( 1 1 空间域运动补偿后跟小波变换 这类小波视频编码方案采用空域运动估计和运动补偿技术消除时间冗余，再对其运动 第一章引言 补偿残差图象采用小波变换编码方法。与传统的基t - d c t 的混合编码算法的主要差别在 丁对残差信号的处理，它是用小波变换代替分块d c r 变换。就运动补偿残差幽象压缩， b h u t a n i 和p e a r l m a n 提出用嵌入式零树小波( e z w ) 算法对运动补偿残差帧进行编码【2 i ，取得 了 = l m p e g 1 标准更好的性能。m a r t u c c i 等在e z w 算法的基础l ，提出了自适应系数量化 编码和优化算术编码的“零树熵( z t e ) ”视频压缩编码算法1 3 j 。虽然z r e 方法失去了嵌入特 性，但其压缩率较e z w 算法有了很大的提高，同h , j 具有空间可分级性。m a r e 等人对小波 系数进一步优化分离，在改进零树映射和使用局部自适应熵编码等预处理基础e 提出了 p a c c ( p a r t i t i o n i n g ，a g g r e g a t i o n ，a n dc o n d i o n a lc o d i n g ) 视频压缩编码算法1 4 j ，p a c c 实质上是 对e z w 和多级树集合分裂算法( s p i h t ) 综合优化的结果，其压缩性能要高于z t e 方法。 另外，在空间域中，基于块的m e m c 所产生的运动矢量场往往是不连续的，不可避免会产 生块效应，导致运动补偿块之叫的不连续性，从而增加了高频信息，使得小波变换后的高 频子带系数增大，降低了编码效率。重叠块匹配运动补偿( o b m c ) 方法1 5 缓和了这个矛 盾，它使用相邻块的运动补偿预测的加权来表示当前块的预测，减少了运动补偿残差帧的 整体能量，在一定程度上也消除了块间不连续性造成的块效应。 这类编码器的关键是对预测误差的编码，在面向低比特率传输过程中取得了比较好 的性能。但由于它没有对运动补偿技术产生任何影响，而且采用全局小波变换，变换后 的系数分布比较松散，因此难以对编码性能做较大程度的改善。 ( 2 ) 小波变换后跟小波域运动补偿 这类小波视频编码方案先对视频图象进行小波变换，然后在小波变换域。p 进行运动估 计和运动补偿，最后对小波域运动补偿残差图象进一步编码。z h a n g 等人提出了一种基于 小波变换域的可变块多分辨率运动补偿( m r m c ) 视频编码方法【6 i ，它利用小波金字塔结 构每层间的相关性，来降低运动补偿过程的运算复杂度。这种多分辨率运动补偿方法能适 应人的视觉特性，有效地降低运动搜索和匹配时间，平滑的运动矢量场能较连贯地描述物 体的连续运动，较好地应用于中和高比特率传输领域。但是，小波变换的平移可变特性限 制了它在低比特率传输领域的应用效果，并且这种方法运动矢量的编码将占有比较大的比 例，在极低码率的视频通信中，是不可忽视的。 对于这类编码器，需要考虑小波变换平移可变特性给运动估计和运动补偿带来的影响， 在编码冗余度和编码效率之间寻求最佳平衡，同时需考虑运动估计的计算复杂度，以适当 减少搜索匹配时间。 0 1 三维小波变换编码 三维小波视频编码是当前的研究热点之一，这不仅是冈为具有局部时频特性的小波 基更能捕捉视频图象的非平稳信息，可以获得更高的压缩比编码，更重要的是三维小波 分解所提供的多分辨数据结构为支持可伸缩编码提供了一个良好条件。所谓的伸缩性是 指改变一个己压缩码流的分辨率或码率以满足在视频压缩时不能预见的要求的能力，伸 缩性包括空问分辨率可伸缩、时间分辨率可伸缩、码率信噪比( s n r ) 可伸缩、解码复杂 可伸缩等以及它们的组合。 中回科学院硕上学位论文先进的小波视频压缩方法及出用研究 三维小波变换是二维变换在时间轴上的扩展，通过对视频序列进行二维小波变换，消 除了其在时间和空问方向上的相关性。先对原始视频序列进行分组，t 帧为一组，每一组 为一个变换单元，进行时间、乖直和水平三个方向上的小波变换，得到不同空间一时间频率 予带。对于运动幅度较大的视频序列，在时域分解时需结合运动补偿技术。最后根据各个 了带的统计特性，分配适当的码率，以实现压缩。 三维小波视频编码器在叫扩展性能方面表现了极强的特性，能灵活地结合时域、空 域、信噪比等可分级性编码。但是三维小波变换在去除视频序列时间冗余技术上还不够 成熟，尤其在低比特率传输下，视频序列间的剧烈运动会使编码效率降低，冈此，三维 小波变换视频编码方法主要应用于中高比特率场合。 1 3 视频流在传输中存在的问题以及解决思路 视频流传输具有连续传输、数据量大、目对实时性和可靠性有一定要求等特点，然 而，互联网和无线网固有的局限性( 传输延时不确定性、丢包率不确定性、带宽随机变 化性和网络异构性等) 给视频通信系统的应用带来了很大的问题。 1 3 1 视频流传输中存在的主要问题 ( 1 ) 传输信道的不可靠、不稳定性。通常，视频，e 缩技术在减少视频序列冗余信息 的同时，也降低了视频流抗击错误的能力。不管是面向比特流的传输( 如数字视 频广播) ，还是面向分组的传输( 如基于i p 网络流媒体传输) ，视频流都不可避免 地会遭受突发性的何错误( b i t e r r o r ) 或分组丢失( 在流媒体传输中，分组到达的时 间超过一定期限一般【纽可视为分组丢失) 等错误的攻击。对于压缩视频传输业务， 传输差错不但严重影响业务质量，甚至会导致整个视频通信完全失效。 ( 2 1 目前的网络巾存在网络异构特性问题。可以分为两种情况： 1 、接收方的异构特性：指由于网络通信中同一群组中的各个用户征机器类型、 操作系统、外设性能( 如显示分辨率和颜色) 、c p u 处理能力等方而均存在 着巨大差异； 2 、通信子网的异构特性：指用于连接各用户的各段网络在带宽、延时和误码率 等方面存在着差异。 1 3 2 解决思路 ( 1 舰频传输中的差错控制技术 1 ) 传输层的错误控制，如利用f e c ( f o r w a r de r r o rc o r r e c t i o n ) 实现错误检测与校正， 利用a r q ( a u t o m a f i cr e t r a n s m i s s i o nr e q u e s t ) 百a - l 丢失和出错的数据等； 2 ) 错误恢复编码( e r r o rr e s i l i e n te n c o d i n g ) 1 7 ：通过向比特流中增加冗余信息使解码器 具有一定的错误恢复能力，如h 2 6 3 m p e g 4 标准中的错误孤立f 采用插入同步标记和数 据分割方法) 、可逆变长编码、错误恢复预测( 周期性插入帧内模式和独立分割预测) 、非 4 第一章引言 平衡错误保护的分层编码、多描述编码等； 3 ) 错误隐藏( e r r o rc o n c e a l m e n t ) i s 9 l ：在解码端利用图象和视频信号特性以及人类视觉 特性来恢复丢失或损坏的图象区域； 4 ) 编解码网络交瓦错误控 ；l j ( e n c o d e r d e c o d e r n e t w o r ki n t e r a c t i v ee r r o rc o n t r 0 1 ) 8 ：通 过接收端向发送端反馈的有关损坏或丢失帧，块的信息自适应调节编码器操作。 其中，采用非平衡错误保护的图象况频分层编码1 1 0 1 是目前抗击信道传输错误较好的 编码方法，其基本思想是基本层传输采用较强的错误保护措施，如较强的f e c 和a r q ， 以保证传输的可靠性。但这种方法也存在如下问题： 1 ) 基本层错误会导致严重的信号降质； 2 ) 要求可靠的反馈通道和足够小的往返延时； 3 ) 反复的a r q 会引起延时过度，强f e c 也会因其复杂度带来额外延时。而网络实 时视频传输如电话会议、无线视频、远程教学和医疗等对延时非常敏感，因为过度延时 将严重影响视频实时播放； 4 ) 增强层依赖于基本层，若基本层丢失，则增强层也将无用。 图象视频多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ) 是近年来兴起的一种新的面向不 可靠信道传输的编码方法i l l a 2 】，与分层编码同属错误恢复范畴，即通过冗余信息使解码 器具有一定的错误恢复能力。它假定在发送端和接收端之间有多条相互独立的信道，且 同时发生错误、数据包丢失的概率很小。原信号被分解成多个相关描述，任何一个描述 都能由边沿解码器解码得到质量可接受的图象视频信号，而多个捕述结合则可由中央通 道合成更高质量的视频信号。图1 1 为两个描述情况下的多描述编解码示意图，其中原 信号经多描述编码器编码得到码率分别为r 。和r 2 的两个描述s l 和s 2 ，解码器l ( 或解码 器2 ) 用于对单个描述s 1 ( 或) 进行解码，解码器0 则用于两个描述都收到时的解码，即 其输出的解码视频信号质量较解码器1 和2 更高。多拙述编码技术具有无需重传、延时 小、易于实时视频传输的特点，适合于不可靠网络如互联网、无线通信网络的实时视频 传输，与采用非平衡错误保护的图象视频分层编码相比，特别适合于不具有优先权的网 络实时视频传输。 多描述编码技术通过引入描述间的冗余来提高传输鲁棒性。具有两个描述的多描述 编码器可由五个参数来刻画：两个描述各自的码率月。和恐、两个描述都收到情况下的 失真率d o 以及只收到单个描述情况下的失真率d l 和d 2 。多描述编码器的性能可由如图 1 2 所示的冗余率失真( ( r r d ) r e d u n d a n c yr a t ed i s t o r t i o n ) 函数来衡量l l “。设r = r 1 + r 2 为总码率，d = ( d 】+ d 2 ) 2 为只收到一个描述时的平均失真率，r * 为获得同样失真率d 0 的单描述编码器( s d c ) 所需的参考码率，则多描述编码的冗余即为, o = r - r t 。冗余率失 真函数是固定中央失真率d 0 ( 或相同r + ) 下d f n p f l 关系函数。对于固定的d o ( 或r 4 ) ， 多描述编码的目标是使给定冗余度p 下的边沿失真d 最小。 中国科学院硕上学位论文先进的小波视频压缩方法及其应用研究 删多箍述 l 编码器 ( 码幸r i ) 描述s 1 描述5 2 ( i g - 宰r 2 ) 平街式多描述编码： r i = r 2d i = d 2 - 丁蔺薪粤锱妒 ! i 蔓! r t 叫1 ；由s l 和s 2 解码得刊的信号 三；丢lj 解码器o f = = ；”：磊i “。 ! 堂! 。广i i j 夭且卑o ll - r 1 鬲画鬲西 j 堕挈解码得刊的信号 ! l j ：( 失真幸d 2 图1 1 多描述编解码示意图 r + 置码率置 图1 2 冗余率火真r r d 函数 f 2 1 适应网络异构特性的视频编码方法 由于通信子网的异构特性，使得网络带宽波动和传输错误不可避免，所以网络视频 服务要求压缩后的视频流能够适应网络带宽的变化和具备一定的容错特性。在异构性的 网络中进行视频传输，对视频压缩技术的要求不再是单纯地追求某一固定码率下的压缩 效率，而是在保证高压缩效率的前提下，要求压缩后的视频流能够在一定的带宽范围内 都提供比较好的视频质量，即具有码率i 叮伸缩性以适应网络带宽的变化。| 一j 时还要求在 保证高压缩效率的自h 提下，生成的码流具有一定的容错特性来抵抗传输错误的影响。网 络带宽白适应性和容错性是网络视频传输对视频压缩技术提出的最具挑战性的问题，也 是保证网络视频服务质量最为关键的前提。 用户接收视频信息的设备和播放视频的方式也是多种多样的，这要求压缩后的视频 流具有相应的结构来支持多种播放设备和形式。对应些视频服务，特别是视频流服务， 一个服务器要同时支持多个用户。而这些用户的设备可能是有线的或者足无线的，宽带 的或者窄带的，高分辨率的或者低分辨率的，计算能力强的或者计算能力弱的，存储空 间大的或者存储空间小的，对功耗要求高的或者对功耗要求低的。比如一些非p c 和手 持设备，比之p c 设备，其带宽、播放视频的分辨率、计算能力、存储能力和电源持续 供电能力都比较低。这需要压缩后的视频流具有分辨率、复杂度的可伸缩性，能够同时 提供不同的解码复杂度来满足不同的要求。又比如，用户在播放一个视频流时，想现预 笫一章引言 览大致的内容，这时，他可能需要一个低质量、低帧率、低分辨率的视频流，而在最终 观看时，则希望得到一个高质量、高帧率、高分辨率的视频流，如果一个视频流能够提 供质量、帧率和分辨率的可伸缩性，必将大大节省服务器的存储空间和提高带宽的利用 率。 1 4 本文研究工作内容和论文的组织 本论文工作主要围绕以上视频传输中的两大问题展丌，主要研究视频小波压缩技术， 采用小波技术对传统的混合视频编码方法进行改进，并在此基硎；上，结合多描述视频编 码技术提出新的视频编码方法，为在带宽有限、时变、异构、误码率较高的网络信道巾 的视频传输提供新途径。 本论文共分七章，具体章节内容如下： 第一章引言部分首先介绍了视频图象压缩技术的发展状况，简要概述了基丁小波变 换的视频压缩技术，并对视频流在传输中所面临的挑战进行了论述。它为后续章节所研 究的问题限定了一个框架和应用环境，使得本论文的研究工作更具研究意义和应用价值。 第_ 章主要介绍了小波变换的基本理论知识，分析图象小波变换的一些特性，介绍 了几种典型的图象小波变换编码方法。该章为后续的研究内容奠定了理论基础。 第三章分析了在小波域中运动估计