（计算机应用技术专业论文）基于小波变换的高效可伸缩视频和图像编码研究.pdf

摘要 摘要 随着互联网的日益普及、移动通信的迅猛发展、网络传输以及各种新多媒体 业务的出现，图像视频编码技术已经成为当今信息科学与技术的研究热点。但 是网络信道具有时变、误码率以及带宽资源有限等特点，而终端设备在处理能力、 内存容量、显示能力等方面存在很大的差异，因此在网络环境下进行图像和视频 传输面临着诸多问题。 本论文对不可靠网络中传输图像视频编码进行了研究，包括可伸缩视频编 码技术、静态图像编码和多描述图像编码等的研究。 本论文已取得的研究成果有以下四点： 1 基于小波空间的运动补偿预测。可伸缩视频编码最近成为研究的热点， 运动补偿时间域滤波是关键技术。可伸缩性是从空间，时间，s n r ( 质量) 三 个方面来提供的，同时还保持了高压缩率。其中基本层视频序列是从上一层经过 下采样得到的视频序列。一次下采样后，分辨率降为原视频序列的一半，基本层 的运动向量与增强层的运动向量有很大的相关性。目前的做法是使用m p e g 滤 波器来进行下采样，层间的运动向量的关系减弱了。本文提出使用小波变换对输 入的增强层的视频序列进行下采样，基本层就是小波空间的低频部分，这样在基 本层的运动估计补偿可以通过相位平移在低频子带中预测，减少运动估计残差， 同时，增强层的运动向量可以由基本层小波空间中的运动向量给出估计值。 2 基于时间域滤波的分层静态图像编码。在无线通信环境下，图像传输因 数据包出错和丢失而导致图像质量的下降，因此需要一种可靠的传输技术，其中 分层编码是解决该问题的有效途径之一。本文提出一种新的分层静态图像编码算 法，给出了分层的算法和规则，并结合运动补偿时问域滤波( m o t i o nc o m p e n s t a t e d t e m p o r a lf i l t e r i n g , 简称为m c t f ) 进行层间的编码。实验结果表明，提出的分 层静态图像编码( s p a t i a ll a y e ri m a g ec o d i n g , 简称为s l i c ) 算法有效利用的 m c t f 编码的特点，提高了编码性能，同时对于收到单个层或部分层，解码的图 像仍能获得较好的重构图像。 、 3 基于方向小波变换多描述图像编码。在不可靠网络中图像传输问题是当 北京工业大学工学博士学位论文 前研究的热点，多描述编码是解决此类问题的技术之一传统的多描述图像编码 编码效率不是很高。因此提出了一个新的多描述图像编码方法，提出的方法基于 方向小波变换，去除了空域和频域的冗余。结果表明，提出的技术优于目前存在 的方法。 4 再生核滤波器的图像插值方法。图像插值是数字图像处理中的一个关键 问题，本文提出一种基于再生核的滤波器和全局纹理方向的图像插值方法。在 酽空间中，可以构造出再生核滤波器并推出插值公式。根据范数理论，再生 核滤波器具有良好的逼近效果。同时，用二维g - a b o r 变换计算图像纹理的局部特 征，决定图像的插值方向。实验结果表明提出的插值方法与其它方法相比，具有 良好的主观和客观效果。 关键词图像，视频编码；可伸缩视频编码；运动补偿时域滤波器；多描述图像编 码；图像插值 黝t h ep o p u l a r i z a t i o no ft h ei n t e r a c t , r a p i dd e v e l o p m e n to ft h em o b h e c o m m u n i c a t i o nt e c h n o l o g ya n dw i d ea p p f i c a t i o no fn e t w o r kw a n s m i s s i o na n d m u l t i m e d i at r a n s a c t i o n s ，i m a g e v i d c oc o d i n gh a sb e t 。o m eah o tr e s e a r c ht o p i co f i n f o r m a t i o ns c i e n c ea n dt e c h n o l o g y t h ci n t e r a c tc h a n n e l sh a v es o m ec h a r a c t e r i s t i c s u c ha st i m e - v a r y i n g ，h i g hb i te r r o rr a t e 。l i m i t e dn e t w o r kb a n d w i d t h , a n ds oo n f u r t h e r m o r e ，t h e r ee x i s t ss i g n i f i c a n td i f f e r e n c ei np r o c e s s i n gc a p a b n i t y , m e m o r ya n d d i s p l a ys i z ef o rt h et e r m i n a ld e v i c e s t h e r e f o r e ，t r a n s m i s s i o no fi m a g e so rc o n t i n u o u s s t r e a m i n gm e d i ao v e rt h ec h a n n e le n c o u n t e r sm a n yp r o b l e m s 删st h e s i sp r e s e n t st h er e s e a r c ho nt h ei m a g e v i d e oc o d i n gu n d e ru n r e l i a b l e c h a n n e l s ，i n c l u d i n gs c a l a b l ev i d e oc o d i n g ，t h es t i l li m a g ec o d i n g , m u l t i p l ed e s c r i p t i o n i n l a g ec o d i n g 皿em a i nc o n t r i b u t i o n sa r e ： 啊1 cm a i nc o n t r i b u t i n so f t h et h e s i sa r ec o m p o s e do f t h ef o l l o w i n gf o u rp a r t s ： 1 m o t i o nc o m p e n s a t e dp r e d i c t i o nf o rs c a l a b l ev i d e oc o d i n gi nt h ew a v e l e t d o m a i n s c a l a b l ev i d e oc o d i n ga l g o r i t h m h a sr e c e i v e dm u c ha t t e n t i o nr e c e n t l y m o t i o n - e o m p e n s u t e dt e m p o r a lf i l t e r i n gt e c h n i q u e ( m c t f ) i si m p o r t a n tt e c h n i q u e i ti s a b l et oo f f e rt e m p o r a l ，s p a t i a l ，f i n e g r a n u l a r i t ys n ra ts a m et i m e ，w h i l ei ts t i l l m a i n t a i n sh i g hc o m p r e s s i o ne f f i c i e n c y v i d e os e q u e n c eo fb a s el a y e ri sr e d u c e dw i t h d o w n - s a m p l i n gv i d e os e q u e n c eo fe n h a n c e m e n tl a y e ra n di t sr e s o l u t i o ni s 1 2 r e s o l u t i o no fe n h a n c e m e n tl a y e ra f t e rad o w n - s a m p l i n g t h e r ei sc o r r e l a t i o nb e t w e e n b a s el a y e ro fm o t i o ni n f o r m a t i o na n de n h a n c e m e n tl a y e ro fm o t i o ni n f o r m a t i o n t h e c o r r e l a t i o nw a sr e d u c e db ym p e gd o w n - s a m p l i n gf i l t e r w bp r o p o s e dan e w d o w n - s a m p l i n gm e t h o d w h i c hi si m p l e m e n t e dw i t hd i s c r e t ew a v e l e tt r a n s f o r m m o t i o nc o m p e n s a t e dp r e d i c t i o n ( m c p ) i sp e r f o r m e di ns u b b a n d - t o - s u b b a n dt h r o u g h p h a s e s h i f t i n gm a t r i x m o t i o ni n f o r m a t i o no fe n h a n c e m e n tl a y e ri sd e p r i v e df r o m m o t i o ni n f o r m a t i o no f b a s el a y e r 2 s p a t i a ll a y e ri m a g ec o d i n gb a s e do nm c t ff o rw i r e l e s s w ec o n s i d e rt h e p r o b l e mo fe 伍c l e n ti m a g et r a n s m i s s i o no v e rw i r e l e s sc h a n n e l s u c hap r o b l e m i n v o l v e sg o o dc o m p r e s s i o nr o t e sa n de f f e c t i v e n e s si np r e s e n c eo fc h a n n e lf a i l u r e s s p a t i a ll a y e ri san e wm e t h o dt os o l v et h ep r o b l e mo fi m a g ec o m m u n i c a t i o n t h i s p a p e rp r e s e n t san e ws p a t i a ll a y e rm e t h o df o rc o d i n gi m a g e 1 1 豫p r o p o s e da l g o r i t h m s a r eb a s e do nac o m b i n a t i o no fm o t i o nc o m p e n s a t e dt e m p o r a lf i l t e r i n gt e c h n i q u e a p p l i e dt ot h ec o n s t r u c t i o no f s o m eo f t h em o s te f l i c i e n ts c a l a b l ev i d e oc o d i n g t h e r e s u l to nn a t u r a li m a g er e v e a ls p a t i a ll a y e ri m a g ec o d i n g ( s l i c ) m a k eu s eo fm c t f t 1 l i sa l g o r i t h mi m p r o v e st h ep e r f o r m a n c eo ft h ei m a g ec o d i n g a n de v e ni fo n l yo n e l a y e r i sr e c e i v e dc o r r e c t l y , t h er e c o n s t r u c t e di m a g ei ss t i l la c c e p t a b l e 3 d i r e c t i o n a lw a v e l e tt r a n s f o t i nf o rm u l t i p l ed e s c r i p t i o ni m a g ec o d i n g i nt h i s t h e s i s , w ea d d r e s st h ep r o b l e mo fl i n a g et r a n s m i s s i o no v e ru n r e l i a b l en e t w o r k s ，s u c h a st h ei n t e r n e t , w h e r ep a c k e tl o s s e so c c u r t h em o s tr e c e n tl i t e r a t u r ei n d i c a t e s m u l t i p l ed e s c r i p t i o n ( 旧) a sap r o m i s i n gc o d i n ga p p r o a c ht oh a n d l et h i si s s u e m m 北京工业大学工学博士学位论文 t r a d i t i o n a ls p a t i a ld o m a i nm u l t i p l ed e s c r i p t i o ni m a g ec o d i n gt e c h n i q u e su s u a l l y r e s u l t si nt h ev e r yl o wc o d i n ge 伍c i e n c y 啦sp a p e rp r o p o san e wa r c h i t e c t u r ef o r m u l t i p l ed e s c r i p t i o ni l n a g ec o d i n g t h ep r o p o s e da r c h i t e c t u r ei sb a s e do nd i r e c t i o n a l w a v e l e tt r a n s f o r mt h a tr e m o v e sr e d u n d a n c ya m o n g a 吐a la n dw a v e l e td o m a i n 1 1 地 r e s u l t ss h o wt h a tt h ep r o p o s e dt e c h n i q u ei sf a rb e t t e rt h a no t h e re x i s t e dm e t h o d 4 i m a g ei n t e r p o l a t i o n b a s e do nr k fa n dt e x t u r eo r i e n t a t i o n i l n a g e i n t e r p o l a t i o ni sak e ya s p e c to fd i g i t a li m a g ep r o c e s s i n g w ep r e s e n t san o v e l i n t e r p o l a t i o nm e t h o db a s e do nr e p r o d u c i n gk e m e lf i l t e r ( r k da n dg l o b a lt e x t u r e o r i e n t a t i o n w i t ht h ek e r n e lf u n c t i o ni n 酽( 两s p a c e ，i t 锄b es h o w nt h a tt h er k fi s c o n s t n i c t e da n dao n e - d i m e n s i o n a li n t e r p o l a t i o nf u n c t i o ni sd e r i v e d a c c o r d i n gt o n o r m , t h er k fh a st h ea d v a n t a g eo fo f f e r i n gg o o da p p r o x i m a t i o no ft h ef u n c t i o n v a l u e sa n di t sf i r s td e r i v a t i v e sa tt h ek n o t s at w o - d i m e n s i o n a l ( 2 d 1g a b o rf i l t e ri s u s e dt oc o m p u t el o c a lf e a t u r e sw h i c hc h a r a c t e r i z e sd i r e c t i o n a lb e h a v i o ro ft h et e x t u r e a n dd e c i d ei n t e r p o l m i o nd i r e c t i o n s i m u l a t i o nr e s u l t so fn u m e r o u st e s ti n l a g es h o w t h a tt h ep r o p o s e dt e c h n i q u ei s s u b j e c t i v e l ya n do b j e c t i v e l yf a rb e t t e rt h a no t h e r e x i s t e dm e t h o d k e y w o r d si m a g e v i d e oc o d i n g ；s c a l a b l ev i d e oc o d i n g ；m o t i o n - c o m p e n s t a t e d t e m p o r a lf i l t e r i n gt e c h n i q u e ；m u l t i p l ed e s c r i p t i o ni m a g ec o d i n g ；l i n a g ei n t e r p o l a t i o n 插图 图1 - 1j p e g 2 0 0 0 编码结构 图1 - 2 视频编码标准进展图 图1 3h 2 6 4 a v c 编码框架 图1 4h 2 6 4 a v c 解码框架， 图1 - 5 宏块的划分。 插图 7 9 l l 图i - 6 c a b a c 原理示意图 图2 - 1 可伸缩视频编码 图2 - 2 分层可伸缩视频编码性能比较 图2 - 3 精细可伸缩视频编码 图2 - 4 p f g s 编码结构 图2 - 5 网络协议栈结构 图2 - 6 流媒体系统程序框架 图2 - 7i s o 基文件中主要盒子的结构层次 图2 - 8 流媒体服务工作过程 图3 - 1 离散小波变换 图3 - 2 小波变换的多项表示 图3 3 提升小波变换 图3 - 4 分解，a 成滤波器组的提升小波变换 图3 5 m c t f 变换结果 图3 - 6 时域可伸缩性 图3 7 可伸缩视频编码的例子 图3 - 8 。可伸缩视频编码器 图3 - 99 7 小波下采样结果从c i f 到q c w 图3 1 0 两通道准确滤波器 图3 1 1 基本层与增强层宏块分割的映射关系 图3 1 2m p e g 下采样与9 7 小波下采样视觉比较 图3 1 3m p e g 下采样与9 7 小波下采样视觉比较 图4 - l 插值结果比较 图4 - 2 再生核插值 图4 3 空域分层多描述图像 图4 _ 4 同层不同描述间的m c l l f 图4 - 5 分层编码器结构 图4 _ 6s l i c 解码过程 图4 - 7 子像素m c t f 。 图4 8 人工合成原始图像 图4 - 9 人工合成图的插值比较 图4 - 1 0 部分b a r b a r a 插值结果的比较 图5 - 1 m d c 编解码器 图5 - 2 方向预测的提升小波变换多描述图像编码 5 9 6 0 6 l 6 1 6 2 6 3 6 7 7 1 b坫甜扒”勰凹 ”弘勰剪钉钉私钻帖钉卯乾舛硒 北京工业大学工学博士学位论文 图5 - 3 算法框架。 图5 - 4 提升小波变换 图5 - 5 错位像素 图5 - 6 提升小波变换 图5 - 7 奇偶行像素实际位置 图5 - 8 2 - d 小波变换 7 3 图5 - 9 频域空间的方向小波变换 图5 1 0 方向插值 7 4 7 4 7 5 7 7 7 8 8 4 图5 1 l 增强层描述的能量 图5 一1 2 方向小波变换 图5 1 3 从2 - d 小波变换提取出的块一 图5 一1 4 单描述编码信噪比 8 5 8 7 8 7 8 8 图5 - 1 5 部分图像插值结果的比较 图5 1 6 不同口残差编码的信噪比 图5 1 7 边缘和中央信噪比曲线图 8 9 9 0 f i g u r e f 嘻1 - 2e v o l v e m e n to f v i d e oc o d i n gs t a n d a r d s f i g 1 - 3f r a m e w o r ko f h 2 6 4 a v ce n c o d 日 f i g 1 4f r a m e w o r ko f h 2 6 4 a v cd e c o d e r 9 l l 1 2 f i g 1 - 5p a r t i t i o nf o ram a c r o b i o t i c 二1 3 f i g jl - 6t h e o r yo f c a b a c 1 6 f i g 2 - is c a l a b l ev i d e oc o d i n g 2 0 f i g 2 - 3f i n eg r a n u l a rs c a l a b i l i t y f i g 2 4f r a m e w o r ko f p f g s 。2 3 f i g 2 - 5p r o t o c o lo f s t r e a mm e d i a 。2 7 f i g 2 - 7m a i ni s ob a s ef i l eb o xs u u c t u r eh i e r a r c h y f i g 3 - 1d i s c r e t ew a v e l e tt r a n s f o r m f i g 3 - 2p o l y p h a s er e p r e s e n t a t i o no f w a v e l e tt r a n s f o r m f i g 3 - 3l i r i n gw a v e l e tt r a n s f o r m 2 8 2 9 3 0 3 5 3 6 3 7 f i g 3 - 4l i f t i n gr e p r e s e n t a t i o no f a na n a l y s i s - s y t h e s i sf i l t e rb a n k 3 8 f i g 3 - 5t h er e s u l to f m c t f v i e , 3 - 6u l u s w , i l i o no f t e m p o r a ls e a l a b i l i t y f i g 3 - 7e x a m p l ef o rc o n b i n e ds c a l a b i l i t y f i g 3 - 8s e a l a b l ev i d e oc o d i l l g f i g 3 - 9t h er e s u l tf r o mc i fl oq c 球w i t h9 7w a v e l e tf i l t e r 3 9 4 1 4 1 4 4 4 5 f 培3 - 1 0 t w oc h a n n e l p e r f e c tr e c o n s t r u c t i o n 4 5 f i g 3 - iim a p p i n gm a c r o b l o c kp a r t i t i o n i n gf r o mb a s el a y e rt oe n h a n c e m e n tl a y e r 4 7 f i g 3 - 1 2v i s u a lq u a l i t yc o m p a r i s o n s f i g 3 - 1 3v i s u a lq u a r r yc o m p a r i s o n s f i g 4 - 1c o m p a r i s o n so f d i f f e r e n ti n t e r p o l a t i o n f i g 4 = 2r e p r o d u c i n gk e r n e li n t e r p o l a t i o n f i g 4 - 3s p a t i a l - l a y e rm u l t i p l ed e s c r i p t i o ni m a g e f i g 4 - 4m c t fb e t w e ) c nm u l t i p l ed e s c r i p t i o n s f i 晷4 5s p a t i c a ll a y e rc o d e c 洳t e ：t l 】 f 培4 7s u b p i x e lm c t f f i 晷4 8a r t i f i e a li m a g e f i g 4 - 9r e s u l t sw i t hd i f f e r e n ti n t e r p o l a t i o nf u n c t i o n s f i g 4 - 1 0 r e s u l t s o f a p a r t o f t h e b a r b a r a w i n l d i f f e r e n t i n t e x p o l a t i o n f i g 5 - 1m d cc o d e c 6 7 f i g 5 - 2l m m gw a v e l e tt r a n s f o r mb a s e do l ld i r e c t i o n a lp r e d i c t i o nf o rm u l t i p l ed e s c r i p t i o n 卯卯敛舛鲐卯硼n仉酡毋 北京工业大学工学博士学位论文 f i g 5 - 3a l g o r i t h mf r a m e w o r k 。7 2 。7 3 7 4 7 4 。7 5 ，7 7 。7 8 f i g 5 - 4l i f t i n gw a v e l e t st a n s f o r m f i g 5 5m i s a l i g n m e n to f p i x e l f i g 5 - 6l l i r i n gw a v e l e tt r a n s f o r m f i 昌5 - 7a c t u a lp o s i t i o n so f p i x e l si ne v e na n d o d dr o w s f i g 5 - 82 - df a s tw a v e l e tt r a n s f o r m f i g 5 - 9d i r e c t i o n a lw a v e l e tt r a n s f o r mi nw a v e l e td o m a i n f 培5 1 0d i r e c t o r i a li n t e r p o l a t i o n f i g 5 - 1 2d i r e c t i o n a lw a v e l e tt r a n s f o r m f i g 5 1 3e x t r a c t i o no f b l o c kf r o mw a v l e td o m a i m f i g 5 - 1 4r a t e - d i s t o r t i o np e r f o r m a n c eo f s i d ed e s c r i p t i o nc o o i n g f i 辱5 - 1 5 r e s u o f a p a r t o f i m a g e w i t h d i f f e r e n t i n t e r p o l a t i o n 。 f i g 5 - 1 6r a 士e d i s t o n i o np e r f o r m a n c eo f r e s i d u a lc o d i n gf o rd i f f e r e n tv a l u eo f 口 f i g 5 - 1 7s i d ea n dc e n t a lp s n rc a r v e 8 5 8 7 s 7 8 8 8 9 9 1 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 躲缉臀名：卑弛一胁 第1 章绪论 1 1 引言 第1 章绪论 随着网络技术的不断发展，网络带宽不断提高，如a d s l 和以太网线作为接 入网的宽带连接速率已经可以达到1 m b i t s ，同时在无线网络领域，第三代移动 通信技术的成熟也大大提高了无线网络带宽。因此向用户提供多媒体服务成为网 络技术应用和研究的热点 多媒体信息中图像，视频信息是包含内容最为丰富的一种媒体，能提供比文 本、声音更为丰富和形象生动的信息。但是由于图像视频的数据量非常大，难 以存储和传输，因此，高效的图像视频压缩技术一直是人们所致力研究的课题。 经过近半个世纪的不懈努力，尤其是自八十年代后期以来，数字图像，视频压缩 编码技术取得了令人瞩目的进展，已经逐步从过去纯学术研究的领域走上了标准 化、产业化的道路。数字图像视频技术和产品在今后几年将是世界上发展最快 的产业之一，并将极大地改变人们的生活方式和质量 目前视频服务主要方式有下载( d o w n l o a d ) 和流式传输( s t r e a m i n g ) 2 种方 式。在采用流式传输方式的系统中，用户不同于非流式播放那样等到整个文件全 部下载完毕后才能播放文件中的内容，而是只需经过很短的启动延时即可在用户 的终端上利用相应的播放器对多媒体文件解压后进行播放，多媒体文件的剩余部 分将在后台继续下载。实现流式传输一般都需要专用服务器和播放器。完整的流 媒体系统应该包括；1 ) 节目源。包括存贮介质上的数字模拟媒体( d 、巾、v c d 、 磁带、d v 等) 、实时广播、卫星信号、会议直播等节目源。2 ) 流媒体采集编码 制作子系统。该系统利用流媒体采集设备进行流媒体的制作与生成。它包括从独 立的视频、声音、图片、文字组合到制作丰富的流媒体工具，这些工具产生的流 媒体文件可以存储为固定的格式供服务器使用。3 ) 多媒体服务平台。流媒体服 务器把存储系统中的多媒体信息以媒体流的形式通过网络发送到相应得客户端。 为保证媒体流的高质量输出，一方面必须以恒定的速率播放，否则引起画面的抖 动；另一方面在媒体流中包含的多种信号必须保持同步，如视频要和音频同步。 一般媒体数据量很大，它在存储系统上的存放方式，直接影响服务器提供的交互 北京工业大学工学博士学位论文 服务，如快进、倒退等功能的实现。因此流媒体服务器必须解决流传输特性提出 的各种要求。流服务器响应客户的流传输请求后，从存储系统读入一部分数据到 对应的这个流的特定的缓存中，然后将缓存中的内容通过网络接口发送到客户。 当一个新的客户请求视频服务时，服务器根据系统资源的使用情况，决定是否响 应此请求。系统资源包括存储i o 的带宽、网络i o 带宽、内存大小和c p u 的使 用率等。4 ) 客户端播放器。支持实时音频和视频直播和点播，可以嵌入到浏览 器中，可以播放多种媒体格式。播放器可以自动侦测视频服务器的连接状态，选 用更合适的视频，以获得更好的效果。5 ) 流媒体的传输网络。流媒体通信阿络 大体上可以分为四类：电信网络，如公共电话网( p s t n ) ；计算机网络，如 局域网( l a n ) ；电视广播网，如有线电视网( c a t v ) ；无线网络。 1 2 图像视频编码的基础 图像，视频是人类在多媒体时代无时无刻不在接触的信息，但未经压缩的原 始视频数据其数据量之大是现在甚至很久的将来都难以接受的，无论存储、传输 都存在很大的问题。以d v d 格式的数字视频信号为例，其输入视频信号的分辨 率为7 2 0 x 4 8 0 ，采样格式为4 ：2 ：2 ，帧率为每秒3 0 帧，则视频数据码率为 7 2 0 x 4 8 0 x 1 6 x 3 0 = 1 5 8 m b p s 。一张d v d 盘的容量一般是4 7 g b ，也就是说，仅能 存储4 7 8 x 1 0 2 4 + 1 5 8 = 2 4 4 秒的原始视频信号。由此可见，无论是用于存储还是 传输，数字视频都必须经过压缩才能具有实际意义，而如何压缩视频数据就成为 多媒体技术发展的关键问题。 虽然高质量视频数据的信息量巨大，但由于视频序列中包含大量高度相关的 冗余信息，这就给应用先进技术去除冗余信息以实现对视频数据的压缩提供了可 能。一般地，视频序列中的冗余信息包括以下三个方面 1 , 2 1 。 空间和时间冗余。一方面，在同一图像中空间上相邻像素之间的相关性导致 空间冗余信息的产生。另一方面，由于视频序列中在时间上连续的图像之间的运 动变化很小，因此存在着极强的相关性，这就产生了时间冗余信息。在视频编码 中，通过帧内编码技术去除图像中的空间冗余信息，通过帧间编码技术去除图像 间的时间冗余信息。 统计冗余。指在对信息进行熵编码的过程中，若采用不同的编码方法，则编 第l 覃绪论 码每个信源符号的平均比特数有时会大不相同，即编码码字间存在不同程度的冗 余，因此编码效率有时也会相差甚远，如我们熟知的香农编码、哈夫曼码、游程 编码等，对不同的信源所表现出来的性能也是不同的。 视觉心里冗余。视觉心里冗余主要是指由于人类视觉系统特性而导致的冗余 信息。因为人眼对不同信息的敏感度是不同的，如果去除图像中人眼不敏感的信 息即视觉心里冗余，尽管会导致定量信息的损失，但从视觉角度来看，并不会明 显降低主观图像的质量。由此可见，对视频数据进行压缩是可行的。视频编码的 目标就是在保证解码图像质量的前提下最大可能的去除或减少原始视频中的冗 余信息，用较少的码字表示原始视频，从而实现对视频的压缩【3 】。 互联网为视频服务提供了一个广阔的平台，然而互联网络协议设计的初衷并 不是针对视频流服务。由于其自身设计和构造的特点，对网络上进行视频传输提 出了新的挑战t 4 , 5 】。这些特点可以概括为网络的异构性，带宽的波动性以及传输 中的不可靠性。 异构性。i n t e r n c t 是一个异构性网络，对于视频服务而言，它体现在网络中 通信子网的异构性和接收方的异构性。由于各子网的网络资源( 如处理能力、带 宽、存储以及拥塞控制策略等) 分布不均匀，服务器通过不同的通信子网传输数 据时实际的传输吞吐量、延时、丢包率等各不相同，从而造成了通讯子网的异构 性。而接收方的异构性则体现在用户不同的使用偏好，以及接收和播放设备的不 同的分辨率和处理能力上。接收方的异构性造成了视频形式的多样性。 带宽波动性。由于现在的互联网没有提供资源预留一类的协议保障，当网络 拥塞发生时，有效的带宽会突然降低。而在无线网络中，带宽的波动表现得更为 显著，当用户在不同的网络间移动或越区切换时，都有可能造成带宽的波动。 传输中的不可靠性。互联网是一种尽力服务( b e s t - e f f o r ts e r v i c e ) 的网络， 它以最大的能力传输数据。当网络过分繁忙时，网络中的主机( 路由器) 到达队 列被填满，后续到达的数据只能丢弃。另一方面，网络的数据传输会有码字错误 的情况出现，并且这种误码是随机的。由于流媒体传输对时间有严格的要求，传 统的差错控制机制，如重传和前向纠错，很难在流化视频服务中使用。因此，在 这样的传输机制下，包丢失( p a c k e tl o s s ) 和包错误( p a c k e te r r o r ) 现象是不可 避免的。 北京工业大学工学博士学位论文 上述特点给面向i n t e m c t 的视频传输技术提出了巨大的挑战嘲网络的异构 性性为例，由于传统的视频编码方法是基于固定的码率进行优化的，当多个用户 试图通过具有不同带宽的通信连接访问同一个视频内容时，就出现了困难。一种 简单的方式是通过联播( s i m u c a s t ) ，即把一个视频序列编码为多个码流，每个码 流对应于一个固定的码率，服务器同时将这些码流发送到信道上，客户端根据不 同的带宽资源选择不同的码流【7 1 。这种方法虽然简单，但是由于高码率码流中重 复了低码率码流的信息，因而非常低效。码流转换( t r a n s c o d i n g ) 允许由高码率 码流通过部分的解码和重新编码生成低码率码流i s ，一定程度上也可以解决网络 的异构问题。然而由于服务器针对每个不同的码率都要进行大量的计算，因而该 方法对服务器的处理能力要求较高，当用户数较多时，容易出现服务器负载过重 的现象，所以可扩展性比较差。 1 3 图像视频数据压缩标准概况 1 3 1 图像编码标准和技术 从1 9 4 8 年提出的电视信号数字化到现在，图像编码己经有5 0 多年的发展历 史，早期由于各方面技术的制约，图像编码仅仅停留在预测编码、亚采样以及内 插复原等简单技术上的研究。1 9 6 9 年第一届“图像编码会议”在美国召开，标 志着图像编码作为一门独立的学科诞生了。自此以后，图像编码成为多媒体及通 信技术方面非常活跃的一个研究领域。从八十年代后期开始，图像编码理论、方 法和技术的研究进展，主要体现在小波编码、分形编码、模型基编码三种具有较 大应用前景的新方法的提出及其不断完善上。在发展速度上以小波变换编码发展 最快。它给图像提供了一种有效的表示方法【9 ，1 0 1 。小波分析理论以其良好的时频 局域性和人眼视觉，二维图像经过小波变换后，绝大部分能量集中在少数低频系 数上，而少数边缘信息能量集中在大多数的高频系数上，并且这些系数值大部分 集中在零点附近。通过采用有效的量化和编码算法，可以达到很好的数据压缩的 目的。这十多年来，经过国际上众多专家、学者和工程师的努力，一系列国际图 像、视频编码标准相继产生，它们包括j p e g l l l 】 j p e g 2 0 0 0 1 2 1 。小波变