（通信与信息系统专业论文）时空域可分级的精细粒度可伸缩视频编码研究.pdf

上海大学博士学位论文 时空域可分级的精细粒度可伸缩视频编码研究 摘要 近年来随着计算机与网络技术的飞速发展，人们通过p c 或者非p c 设备接入互联网或 无线网络进行流媒体点播服务成为现实。流媒体技术彻底改变了传统的多媒体w e b 服务， 它允许用户无需等到整个多媒体文件被完全下载便可以享受在线的实时的视频点播服务。 因此，流媒体技术有着非常光明的应用前景。 网络的异构性、带宽的波动性和各类不同用户的多重服务要求对当前的视频编码技术提 出了新的挑战。视频编码后得出的码流必须能够适应网络带宽不断波动的变化。具备一定的 抗差错能力，以及能同时提供图像质量、时域、空域及解码复杂度的可分级能力。 可分级视频编码方案是解决 n t e m e t 流媒体应用中带宽波动的一种有效方法。但是，传 统的可分级编码仅能提供粗糙的可分级能力，无法精细地匹配网络带宽的变化。m p e g 4 标 准中采纳的f g s 编码方案可有效地解决精细匹配网络带宽波动问题。不仅如此，采朋f g s 方案编码后的码流还获得较好的差错复原能力和解码复杂度可分级的能力。但是f g s 获 得的所有这些特性都是以牺牲编码效率为代价的。f g s 方法的编码效率较低，因为f g s 编 码中的增强层朱使用任何运动补偿的措施来去除原始视频序列在增强层上的时域冗余。 针对f g s 编码效率较低的缺点，我们提出了两种在增强层也使用运动补偿的视频编码 方案：双环m c + f g s 结构编码方案和单环m c + f g s 结构编码方案。双环m c + f g s 和单环 m c + f g s 的编码方案虽然在实现结构上借鉴了m i h a e l av a nd e rs c h a a r 的思想，即使用图像 质量更好的增强层图像做参考，通过提高运动补偿的效率来达到提高编码效率的目的。但是 本文对此作了重要的改进。在所提出的方案中引入了接收端驱动( r e c e i v e r - d r i v e n ) 的思想使得 能根据网络的可用带宽动态地调整用于重建高质量参考帧所使崩位平面的个数，这样不仅可 妥善解决上述两种编码结构在低比特率情况下会产生预测漂移的问题，而且还进一步提高了 在高比特率情况下的编码效率。对于在无法引入接收端驱动思想的情况下，也对两种结构的 f g s 增强层中究竟使用多少个位平面来重建高质量的参考提出了解决方案。通过这些重要 改进厉，使得这两种结构的编码性能产生了质的提高，不但预测漂移的问题得以解决，而且 编码效率还得到进一步的改善。 针对时域可分级的s n rf g s ，m p e g - 4 标准中引入了f g s t ( 时域f g s ) 方案，浚方 寨实现了捏奢避域愿n r 的精缀牧度可分缀。 星楚，f g s t 方寨继零tf g s 方案缩玛效率较 低的缺陷。因此，我们把m c + f g s 与f g s t 相结合。得到种m c + f g s t 结构的编码方案， 上海大学博士学位论文时空域可分级的精细粒度可伸缩视频编码研究 提高了f g s t 结构方案的编码效率。在传输过程中，我们提出了一种有效的速率分配策略， 用来管理s n rf g s 比特流数据和f g s t 比特流数据在传送过程中的分配。 m p e g 一4 标准中的f g s 方案并未提供对空域可分级的s n rf g s 支持。因此，针对 m p e g 一4 中的这一空白，本文提出一种f g s s ( 空域f g s ) 方案，实现了混合空域s n r 的 精细粒度可分级能力。但由f g s 扩展得到的f g s s 方案同样也继承了f g s 方案编码效率较 低的缺陷，为此把m c + f g s 与f g s s 相结合，得到一种m c + f g s s 结构的编码方案，提高 了f g s s 结构方案的编码效率。 针对混合时空域可分级的s n r f g s ，本文进而又提出了f g s s t ( 时空域f g s ) 方案。 f g s s t 方案实现了混合时域，空域，卧承的精细粒度可分级能力。然后，我们再对f g s s t 方 案的编码效率较低的缺陷进行改进，把m c + f g s 与f g s s t 相结合，得到一种m c + f g s s t 结构的编码方案，它既实现了混合时域，空域，s n r 的精细可分级粒度可分级能力，又提高了 f g s s 结构方案的编码效率。 关键词：精细粒度可分级，编码效率，时域s n r 精细粒度可分级，空域s n r 精细粒度可分级、 时域空域s n r 精细粒度可分级可用带宽 本论文研究受到上海市青年科学基金项目( 0 3 a q 8 6 ) 的资助。 t 海大学博士学位论文 时空域可分级的精细粒度可伸缩视频编码研究 a b s t r a c t w i t ht h eh i g hd e v e l o p m e n to fc o m p u t e ra n dn e t w o r kt e c h n o l o g yr e c e n ty e a r s ，i ti sb e c o m i n g t r u ef o rp e o p l et oe n j o yv o df v i d e o - o n - d e m a n d ) s e r v i c eb ya c c e s s i n gn e t w o r ku s i n gp c s t r e a m i n gm e d i at e c h n o l o g yc h a n g e st h et r a d i t i o n a lm u l t i m e d i as e r v i c eb a s e do nw e b i ta l l o w s c l i e n t st oe n j o yv o ds e r v i c er e a l t i m e ，w i t h o u tw a i t i n gf o rw h o l em u l t i m e d i af i l et ob e d o w n l o a d e do nl o c a lc o m p u t e r t h e r e f o r e t h e r ei sg r e a tc o m m e r c i a lf u t u r ef o rm u l t i m e d i as t r e a m h o w e v e r , t or e a l i z es u c hv o ds e r v i c e ，i td e m a n d sg r e a tc h a l l e n g e sf o rc u r r e n tv i d e o c o m p r e s s i o nt e c h n o l o g y f i r s t l y , c u r r e n tn e t w o r ko fi n t e m e ti sh e t e r o g e n e i t y t oc o p ew i t h n e t w o r k sa v a i l a b l eb a n d w i d t hv a r y i n g , b i t - s t r e a m sa f t e re n c o d e ds h o u l dp r o v i d es c a l a b l ea b i l i t y t oa d a d tb a n d w i d t h sv a r y i n g s e c o n d l y , c u r r e n tb e s t - e f f o r ti n t e r a c td o e sn o to f f e ra n yq u a l i t yo f s e r v i c e ( q o s ) g u a r a n t e e st os t r e a m i n gm e d i ao v e rt h ei n t e r n e t t h u s ，b i t - s t r e a m sa f t e re n c o d e d s h o u l dp r o v i d er o b u s te l l o rr e s i l i e n c e f i n a l l y , c l i e n t sh o p et oo b t a i nd i f f e r e n ts e r v i c e sa c c o r d i n g t ot h e i ra v a i l a b l er e s o u r c e ，s u c ha sd i f f e r e n tq u a l i t ys e r v i c e ，d i f f e r e n tf r a m e r a t es e r v i c ea n d d i f f e r e n tr e s o l u t i o ns e r v i c e s o ，b i t - s t r e a m sa f t e re n c o d e ds h o u l dp r o v i d es n r ，t e m p o r a l ，s p a t i a l a n dd e c o d i n gc o m p l e x i t ys c a l a b i l i t i e s s c a l a b l ec o d i n gh a sa l r e a d yb e e nr e c o g n i z e da sa ne f f e c t i v es o l u t i o nt or e s o l v et h en e t w o r k ，s b a n d w i d t hv a r y i n g t h o u g ht r a d i t i o n a ls c a l a b l ev i d e oc o d i n gs c h e m e sp r o v i d es c a l a b i l i t y , t h e s c a l a b i l i t yi sc o a r s ea n dn e e de x p e n s i v ec o s t t oo b t a i nf i n eg r a n u l a r i t ys c a l a b i l i t y , m p e g 4 s t a n d a r da d o p t sf g sc o d i n gs c h e m e f g ss c h e m ep e r m i t sb i t - s t r e a m sa f t e re n c o d e db et r u n c a t e d a n dt r a n s m i t t e da r b i t r a r i l y , w h i c hm a t c h e sb a n d w i d t hv a r y i n gw e l l f g ss c h e m ea l s o p r o v i d e s r o b u s tp a c k e t - l o s sr e s i l i e n c ea n dd e c o d i n gc o m p l e x i t ys c a l a b i l i t y h o w e v e r , a l lt h ea d v a n t a g e so f f g ss c h e m ea r eo b t a i n e da ts a c r i f i c eo f c o d i n ge f f i c i e n c y t h i si sm a i n l yd u et ol a c ko fm o t i o n c o m p e n s a t i o no nf g se n h a n c e m e n t l a y e r t oi m p r o v ec o d i n g e f f i c i e n c y , at w o 。l o o pm c + f g sa n das i n g l e l o o pm c + f g sc o d i n g s 。h e m e sa r ep r e s e n t e d t h ek e yi d e ao fb o t hm c + f g sc o d i n gs c h e m e si s u s i n gh i g h e rq u a l i t y p i c t u r eo fe n h a n c e m e n t - l a y e ra sr e f e r e n c e b yi m p r o v i n gt h ee f f i c i e n c yo fm o t i o nc o m p e n s a t i o n b o t hm c + f g sc o d i n gs c h e m e so b t a i n h i g h e rc o d i n ge f f i c i e n c yt h a nf g s 1 nb o t hd r e s e n t e d m c + f g sc o d i n gs c h e m e s ，a ne f f e c t i v ea l g o r i t h mi s p r e s e n t e dt od e t e r m i n eh o wm a n yb i t d 1 a n e s 1 1 1 上海大学博士学位论文 时空域可分级的精细粒度可伸缩视频编码研究 o nf g se n h a n c e m e n t - l a y e rs h o u l db eu s e dt or e c o n s t r u c tr e f e r e n c ef r a m e t h ea l g o r i t h mn o t o n l ys o l v e st h ep r o b l e mo fp r e d i c t i o nd r i r a tl o wb i t - r o t e b u ta l s of u r t h e ri m p r o v e sc o d i n g e f f i c i e n c ya th i g hb i t r a t e t os o l v et e m p o r a ls c a l a b i l i t y , m p e g - 4s t a n d a r di n t r o d u c e sf g s ts c h e m e ，w h i c hp r o v i d e s t e m p o r a l - s n rs c a l a b i l i t y h o w e v e r , t h ec o d i n ge f f i c i e n c yo ff g s ts c h e m ei sa sp o o ra sf g s t h u s ，w ec o m b i n ef g s ta n dm c + f g sa n dd e v e l o pam c + f g s tc o d i n gs c h e m e m c + f g s t s c h e m en o to n l yp r o v i d e st e m p o r a l s n rs c a l a b i l i t y , b u ta l s oo b t a i n sc o n s i d e r e dc o d i n ge f f i c i e n c y t h e n ，w ep r e s e n tar a t e - a l l o c a t i o ns t r a t e g yt om a n a g eh o wt ot r a n s m i ts n rf g sb i t - s t r e a ma n d f g s tb i t - s t r e a m t os o l v es p a t i a ls c a l a b i l i t y , w ep r e s e n taf g s ss c h e m ef o rm p e g 一4s t a n d a r d f g s ss c h e m e e x p e n dm p e g - 4f g st os p a t i a ld o m a i n ，w h i c hp r o v i d e ss p a t i o s n rs c a l a b i l i t y o w i n gt o d e r i v i n gf r o mf g s ，f g s ss c h e m ea l s oi n h e r i t st h ed e f e c to f p o o rc o d i n ge f f i c i e n c yo ff g s t h u s ， w ec o m b i n ef g s sa n dm c + f g sa n dd e v e l o pam c + f g s t c o d i n gs c h e m e m c + f g s ss c h e m e n o to n l yp r o v i d e ss p a t i o - s n rs c a l a b i l i t y , b u ta l s oo b t a i n sc o n s i d e r e dc o d i n g e f f i c i e n c y t os o l v e s p a t i o - t e m p o r a ls e a l a b i l i t y , w ep r e s e n t af g s s ts c h e m e ，w h i c h p r o v i d e s s p a t i o - t e m p o r a l s n rs c a l a b i l i t y f u r t h e r m o r e ，w ec o m b i n ef g s s ta n dm c + f g sa n dd e v e l o pa m c + f g s t c o d i n gs c h e m et oi m p r o v ef g s s t sc o d i n ge f f i c i e n c y m c + f g s s ts c h e m en o to n l y p r o v i d e ss p a t i o s n rs c a l a b i l i t y , b u ta l s oo b t a i n sc o n s i d e r e dc o d i n ge f f i c i e n c y k e y w o r d s ：f i n e - g r a n u l a r - s c a l a b i l i t y , c o d i n ge f f i c i e n c y , t e m p o r a l s n rs c a l a b i l i t y , s p a t i a l - s n r s c a l a b i l i t y , s p a t i o - t e m p o r a l - s n rs c a l a b i l i t y , a v a i l a b l eb a n d w i d t h 上海大学博士学位论文 时空域可分级的精细粒度可伸缩视频编码研究 1 0 引言 第一章绪论 通信技术的发展使人们充分体验到通信业务给人们带来的好处。人们除了期 望得到具有很高服务质量的话音服务外，还期望获得数据及视频等多媒体信息的 通信服务。计算机技术和计算机处理能力的增强促使计算机应用范围越来越大， 计算机早已从单机处理进入到多台计算机联合来完成复杂的工作。随着i n t e m e t 网络覆盖范围和用户数的不断增加，计算机已经成为通信终端之一，越来越多的 家庭已经开始拥有了不止一台计算机。没有联网的计算机已经很少。计算机的不 断普及和i n t e m e t 网络的发展已经客观上改变了人们的工作和生活方式。i n t e m e t 的发展也使人们对该网络寄予了越来越多的期望。数字信息处理技术和骨干网络 传输带宽( s d h ) 的不断提高以及网络按入技术( 如x d s l ) 的不断进步，使得在 i n t e m e t 网络上传输宽带视频信息成为可能。人们已经成功实现了在i n t e m e t 上传 输音频信息的应用，也不断尝试在该网络上传输视频信息。i n t e m e t 作为尽力而 为的网络，本身不能保证类似在a t m 网络上提供的多媒体通信业务的服务质量。 于是借鉴计算机本身利用缓存区来提高文件运行速度的方式，考虑在播放端放置 缓冲区来解决服务质量问题就成为了流媒体技术发展的指导思想之一。 流媒体( s t r e a m i n gm e d i a ) 技术是当前非常活跃的多媒体技术，其基础就是多 媒体通信技术【l 】。【6 】口流媒体一般是指通过i p 网络传送多媒体( 如视频、音频) 的技 术总称。一般来说，流包含两种含义，广义上的流是使音频和视频形成稳定和连 续的传输流和回放流的一系列技术、方法和协议的总称，我们习惯上称之为流媒 体系统；而狭义上的流是相对于传统的下载一回放( d o w n l o a d p l a y b a c k ) 方式 而言的一种媒体格式，它能从i n t e r n e t 上获取音频和视频等连续的多媒体流，客 户可以边接收边播放，使时延大大减少。在网络上传播多媒体信息主要有两种方 式：下载和流式传输。下载方式是传统的传输方式，指在播放之前，用户下载多 媒体文件至本地，通常这类文件容量较大，依据目前的网络带宽条件，需要较长 时间，并且对本地的存储容量也有一定的要求，这就限制了p d a 等低存储容量 设备的使用。流式传输则把多媒体信息通过服务器向用户实时地提供，采用这种 上海大学博士学位论文 时空域可分级的稻纲粒厦司伸绢视频锅码研冗 方式时用户不必等到整个文件全部下载完毕，而只需经过几秒或几十秒的启动 时延即可播放，之后，客户端边接收数据边播放。与下载方式相比，流式传输具 有显著的优点：一方面大大地缩短了启动延时，同时也降低了对缓存容量的需求， 节省了本地存储器的磁盘空间：另一方面，又可以实现现场直播形式的实时数据 传输，这是下载等方式无法实现的，同时有助于保护多媒体数据的著作权。 流媒体的主要应用于远程教育、宽带视频v o d 点播、互联网直播、视频会 议等场合。流媒体技术应用的最广泛的一个实例就是远程交互教学，如图1 1 所 示。为了实现交互教学，需将一台摄像机放在教师授课的教室，摄像机拍摄的教 师授课过程实时地被传输到流媒体编码机，经过采集卡的采集、编码后再实时地 上传给流媒体服务器，再由流媒体服务器实时发布到其它教室的终端计算机，并 利用投影仪将教师的授课过程实时地播放出来，供这个网络教室的学生观看。 图1 - 1 流姊i 体技术在远程交互教学中的应用 麸1 9 9 5 年摧文第一令鬣联羁滤媒薄播藏嚣班慕，流媒傣应孺霄了瀑炸筏溪 长。据统计，目前互联网每周约有4 5 万小时的广播节日，5 8 个美困电视台提供 w e b 广播，3 4 个电褫台提供点播服务。有近半数的跨国公司在内部使用流媒体 实现w e b 广播。中国电信搂如的v n c t 互联尾空宽带项目，是垦蘸v n e t 最具有 宽带特色的嗣上应用服务，也是最能吸引用户使用宽带的亮点。正如几年前的i p 网终穗w e b 技术，浚媒体嶷瘸正楚予持续蹇速增长辩期。来叁国繇权藏瓿擒夔 调鸯显示，2 0 0 3 年在网上访问流媒体的人数增加了6 5 ，褥方网络发达国家访 2 上海大学博士学位论文时空域可分级的精细粒度可伸缩视频编码研究 曼曼曼曼曼曼曼墨曼曼曼曼曼曼i * i | i 1 1 1 皇曼曼曼曼曼曼曼蔓曼曼曼曼蔓蔓笪曼曼曼曼曼曼 问流媒体的人数已达到1 8 亿，约占网民的1 ，3 ，在亚洲流媒体的访问用户也迅 速增加到3 5 0 0 万人将近网民的1 6 。与用户增长相呼应，去年互联网上视频流媒 体技术应用增长幅度达2 5 1 。随着越来越多用户采用宽带的方式接入网络，专 家预言，流媒体业务有着非常巨大的市场潜力，它将成为未来5 年因特网上应用 的主流，实现沟通和传播的多向性，使传播不再受到时间和空间的限制。根据 e m c 资料库提供的数据，到2 0 0 3 年年底，全世界已经有超过1 3 亿用户在享受 数字移动个人通信服务，到2 0 1 0 年，全世界移动用户的数量预计将会超过1 8 亿。正是看到了这种极为迅猛的发展势头，各类科研机构、标准组织及电信制造 商都将注意力放到推动数字移动通信技术进步及开拓新型数字移动通信业务上。 而第三代移动通信网络则向人们展示了未来移动通信的发展方向及必经之路。第 三代移动通信网络( 3 g ) 是从第二代移动通信网络( 2 g ) 演化过来的，3 g 移 动网络具备了高速数据传送能力。正如国际电信联盟( i t u ) 所定义的那样，3 g 网络应具备至少1 4 4 k b i t s 的数据传送能力，根据其具体运用的传输技术，可以 实现从3 8 4 k b i t s 2 4 m b i t s 的速率甚至更高速率的数据传送，该速率足于为用 户提供实时移动流媒体服务。由此，我们可以推断出，未来移动流媒体技术有着 非常光明的应用前景。 流媒体的应用需要解决两个十分关键的技术，一是视频压缩编码技术，另一 个是i n t e r n e t 网络丢包后的差错复原技术【7 】。 1 1 流媒体应用在传输上面临的挑战 首先，流媒体系统主要用于传邀视频接息，在爨络上传输的视频信息的内容 和形式非常丰富，这对视频压缩效率和视频质量提出了更高的要求。若按目前计 算壤显示豹金屡大小6 4 0 4 8 0 ，续率3 0 f p s 、分辨率6 4 0 4 8 0 、彩色深凌为2 4 b i t 的视频需要的网络传输速攀为2 1 6 m b i t s 。考虑到目前现有的接入技术的传输带 宽，蓑将来经匿缀豹图像楼惑传送翻焉户终瑞设备来实现全屏显示楚不可德的。 圜此，需要有好的图像压缩技术对蹶始视频信息进行压缩，降低视频信息的比特 率，从而降低对用户接入阏络带宽的要求。不同的用户由予所需视频服务的种类 和晦容都不尽相同，因此对视频传输的质爨、延时、交互键盘都蠢不屈的疑求。 譬如远程医疗服务对图像威量要求非常高。这样医生才不至于因为图像细节部分 上海大学博士学位论文 时空域可分级的精细粒度可伸缩视频编码研芄 的差错而做出错误的诊断；视频会议则对延时要求较为苛刻，这样所有网络视频 会议的参与者才能顺畅地同步地进行交流；而视频点播则要求具备较强的交互能 力，这样用户可以根据自己的喜好点播自己所需的节目。由于视频服务内容的多 样化、服务要求的多种化，这就要求视频压缩编码技术能够针对不同的视频业务 特点具有相应的结构和性能，以提供更为优质的服务。不仅如此，为了让更多的 用户能进行流媒体通信，就必须使得视频压缩编码后的码流比特率低于大多数用 户接入网络的可用带宽，这就对视频压缩效率提出了非常高的要求。压缩效率越 高，编码码流码率就越低，用户准入条件就越低，服务器在相同网络带宽条件下 同时提供服务的人数也就越多。因此，视频压缩编码技术面临更大的挑战 其次，由于网络的异构性、网络带宽的波动以及不可避免的传输错误这三个 当前网络的固有特性，网络视频服务要求传输视频必须能够适应网络带宽不断的 波动和具备一定的容错能力。 1 ) 异构性( h e t e r o g e n e i t y ) 由于网络资源( 处理能力、带宽、存储能力、拥塞控 制策略) 分布及不均匀，用户通过不同通信子网( 专线、局域网、i s d n 、x d s l 、 c a b l e m o d e m 等) 接入网络传输数据时所获得的网络可用带宽、延时、丢包 率等不尽相同。这种接入网络方式的多样化，对流视频在i n t e m e t 上传输造 成很大的困难，它要求流视频信息的码率必须具备足够的变化范围，以为尽 可能多的通过不同接入方式访问网络的用户提供服务。这对视频压缩编码提 出了具体要求，即压缩编码后的码流必须具备足够的变化范围。 2 ) 网络带宽波动：带宽波动是网络的一个固有特性，同一网络在不同时刻，其 可用带宽是不断变化的，且这种带宽变化是不可预测的，一旦网络发生拥塞， 其可用带宽将急剧下降。为了保证解码端的播放的流畅性及视频的质量，视 频传输通常要求用户的可用带宽不低于一下限值( 网络在最恶劣情况下的可 用带宽) ，该下限值至少能使用户进行流畅地视频播放，当带宽恢复到正常 情况时，视频播放的图像质量能够得到增强。这对视频压缩编码提出了另一 个具体的要求，即压缩编码后的码流必须具备一定了质量伸缩性，以及时域 帧率上的伸缩性、空域视频图像分辨率上的伸缩性和编解码复杂度的伸缩 性，以满足各种不同应用场合下的特定要求，适应网络带宽的不断波动1 8 】。 3 ) 传输错误( t r a n s m i s s i o ne r r o r ) ：互联网是尽力而为( b e s t e f f o r t ) 的传输网 4 上海大学博士学位论文 时空域可分级的精细粒度可伸缩视频编码研究 络，它以最大的能力进行数据传输，本身并不提供q o s ( q u a l i t yo fs e r v i c e ) 保障。当网络过于繁忙时，网络中主机的等候处理的队列被填满，后续到达 队列的数据包因为前面数据来不及处理，队列没有空出来而被丢弃。因此， 这种传输机制下的网络丢包现象是不可避免的9 】【1 0 】。高度压缩的视频流对数 据丢失比较敏感，很少的丢包错误可能产生较严重的视频质量下降，甚至会 导致当前视频帧及以它为参考的后续视频帧无法进行解码播放。若视频压缩 编码后的码流本身具备一定的抗差错能力，则可大大降低这种丢包现象对视 频质量带来的影响。因此，也对提出了编码码流应具备一定的抗差错能力的 要求。 最后，用户接收视频信息的设备、解码能力和播放方式多种多样，这就要求 压缩后的视频码率必须具有相应的结构来支持多种设备、多种解码能力和多种播 放方式。对于流视频服务，一个服务器可能同时需要为成千上万个用户提供服务。 不同的用户使用的终端各不相同( 如p c 、p d a 、m o b i l ep h o n e 等) ，终端设备具 有的c p u 解码计算能力、所能提供的最高图像分辨率等也就不同，这就要求服 务器必须提供不同计算复杂度、不同图像分辨率的多重编码码流，从而对视频压 缩编码技术提出了相应要求。 根据以上分析可以看出，流视频在i n t e m e t 上传输所面临的各种挑战从根本 上来说都可以归纳为对视频压缩编码技术的挑战。它对视频压缩编码技术的要求 已经不再是单纯的追求某一固定码率下的压缩效率，而是在保证相当高的压缩效 率的前提下，要求压缩视频码流具备足够大且灵活的码率变化范围、并对网络带 宽波动的适应性以及码流自身有一定的抗差错的能力。 1 2 视频压缩编码技术 视频圈像信号的压缩编码从本质上来说就是去除视频信号的冗余度。视频图 像傣号最圭要豹嚣耱趸余度裁是统计冗佘( s t a t i s t i c a lr e d u n d a n c y ) 襄主瓣冗余 ( s u b j e c t i v er e d u n d a n c y ) 1 1 l 。统计冗余主要表现在时间上和空间上的冗余：在时 闽域上，邻近对溺主豹程频棱与赣之闻存褒相当高豹稳关靛，特巍楚在霄润擒祥 率( 帧率) 比较高的情况下；在空间域上，图像邻近象素问邋常存在相当高的冗余 魔，也就说说褶邻象素闻的值菲常接近。主观冗余共体表现在入眼视觉系统的视 上海丈喾祷士学毽论文 对空域瑶分缓静耱缨鹣覆哥 率鲻麓赣编弱姘究 懿域毽、室越撬豢瑗象窥慰抉速邀动物髂豹粳觉重舞性等方嚣。大部分援频数据郝 包含大量的统计冗余，这蝗统计冗余能够通过无损的方式有效地进行压缩，解码 辩解码爨豹信怠戆够完全复番窭瓣戆数蕹。然瑟，这静窝像稻援簇豹无损惩缩方 式只能提供中等以下的聪缩效率，更高的压缩效率可通过有损压缩的方式获得 2 。在裔损压缩中，解聪缩豹数据与原始数据弗不完全一致，燹离的舔缩效率 是以牺犍视觉图像质量为代价的。无损压缩通常鼹去除视频信息的统计冗余，而 商损压缩刚迸一步是去除视频信意的主观冗余。 1 2 1 筏颟圈像舔缩编磷籍潍及焚应用璐禽 数字援频逶壤标准恚癸是为竣壤毫褫鞠援颧瞧话秀发懿，麸露馒整爨缝够囱 用户提供合理价位的有效带宽终端。视频图像压缩编码标准主要有i t u 和i s o f _ | 蓠的m p e g 两个组织米镧定秘发鑫。释前，簸棱广泛使蘑的褫频压缩标准是 i t u 发布了h 2 6 1 13 1 、i t 2 6 3 1 4 】和m p e g 发布的m p e g t 0 5 】、m p e g 2 1 6 1 、m p e g 4 1 7 1 【2 2 两者联合发布的h 2 6 4 1 a v c 标准，这些标准各自有不尽相同的主要应用场合。 标准h 2 6 1 棚子i s d n 视频电视会议中的视频编码，褥h ，2 6 3 主要用予在基 于p s t n 的可视电话和视频会议以及连接到因特网的桌面和移动终端。 i s o m p e g - 1 椽准弱于在c d * r o m 上痒镳视频班及冀德消费巍频应耀系绞豹 视频编码，例如c d 、卡拉0 k 机、些数警便携摄像机和因特网上的消费 电援滋及晕麓静一些数字里艇在撵敖毫援绩弩。 i s om p e g w 2 标准用于广播和d v d 数字视频存储的视频编码，大约 2 1 5 m b p s 碣率分配绦视频帮音频编鹞编码。把码率范围扩聪到15 4 0 0 m b p 搜褥m p e g - 2 挺壤逡瓣予h d t v 鹣壤鬏镳褥。箕癜黧系统毽撩翌鬟壤巍、 蠢线惫獠、逾瘸广播、裰频编瓣帮存德敷及数字穰舔鑫。德瓣藏开始露被 鞭2 6 4 a v c 遨多取代豹趋势。 i s om p e g 。4 搽壤童簧爝予蘩予援频慰象( 锈撩彝然戆葶蠢会成鹣) 的缡鹅， 它摸了繇露广泛瓣璐攀藩豳。m p e g - 4 援频缡隅逐藏溺予嚣特瓣滚筏叛、交 曩式浚鞭、痰签餐瑷、专渡浚凝、三缎诗髯飘强形以及移动裰凝运镶中。 6 上海大学博士学位论文 时空域可分级的精细粒度可仲缩视频编码研究 曼曼量量皇量曼曼曼曼舅笪曼曼皇量曼笪鱼曼皇曼曼暑喜篁皇舅舅_ _ 曼皇皇蔓皇曼曼曼舅曼鼍邑曼曼曼曼皇曼曼寡 1 2 2 视频图像压缩编码的主要方法 目前广泛使用的视频压缩国际标准( 如m p e g l 2 4 h 2 6 1 2 6 3 2 6 4 ) 都是 采用传统的基于运动补偿和d c t 混合编码，其编码器通常的结构如图1 2 所示。 图1 - 2 混合编码的视频编码器 编码流程为： 1 对当前输入的需编码的视频帧f 。进行预处理，把它分割成若干个1 6 x1 6 的 宏块。 2 把帧f 。与参考帧进行比较，参考帧为前面已被编码帧f h 的重构图像f r 。一。 运动估计功能模块在f ，n l 中擅寻一个1 6 x1 6 的区域来匹配f n 的当前宏块( 按 照某种匹配准则) ，当前宏块位置与搜寻到的区域的偏移量就是运动矢量 m v 。 3 根据选择的运动矢量，参考f 二一l 运动补偿可计算得到当前帧宏块的预测值p 。 4 把当前宏块的值减去p ，得到当前宏块的残差宏块d 。 5 对d 进行d c t 变换：典型的做法是d 被分成8 x8 或4 4 的子块，对每个 子块单独进行d c t 变换。 6 对d c t 变换后的每个子块进行量化( x ) 。 7 对每个子块的d c t 系数进行重排和r u n 1 e v e l 编码。 8 - 晟后，霍排后的d c t 系数、运动矢量和每个宏块相应编码标准的头信息被熵 编码后得到压缩的比特流。 运动估计及运动补偿利用前后帧图像在时间轴上的相关性进行帧间预测，用 于消除视频图像在时间上的相关性。宏块的运动估计就是在参考帧的搜索范围中 于消除视频图像在时间上的相关性。宏块的运动估计就是在参考帧的搜索范围中 上海大学博士学位论文 时空域可分级的精细粒度可伸缩视频编码研究 找到一个最佳的1 6 1 6 的匹配块。当前编码帧的宏块相对找到的最佳匹配块区 域在位置上的偏移量就是运动矢量。当前需编码宏块减去最佳参考匹配块区域得 到的一个残差宏块和运动矢量，就是需要被编码和传输的源信息。 d c t 变换属于变换编码范畴，它把原始图像分成若干个块( 8 8 或4 4 ) 从空间域转换到变换域【2 3 1 。由于变换域中能量比原空间域更集中，而且能量往 往集中在少量的系数中，因而在变换域中保留少数几项能量大的系数，丢弃其他 大部分能量较小的系数，则反变换到空问域中后重建的图像质量视觉效果上仍是 很好。由于丢弃了大部分能量较小的系数，数据得到很大程度的压缩。在图像压 缩应用中，小波变换得到广泛的使用。小波变换把图像信号转换成一系列系数， 这些系数对应于多分辨率和频率分段上的分级空间表示。一般把小波系数组织为 分层的数据结构，以便可以更有效地进行比特分配和数据压缩。小波变换一般是 整体进行的，即对整幅图像进行整体的变换，它需要耗费较多的缓存空间，复杂 度相对于d c t 变换要大。尽管在图像编码中，已经证明了在压缩效率和增强特 性方面，小波变换比基于d c t 的编码技术优越得多，但大多数现有的视频编码 标准( h 2 6 1 ，h 2 6 3 ，m p e g - 1 2 4 ) 都采用了基于块的d c t 的方案进行编码。 这是因为d c t 变换比小波变换更为简单，复杂度更低，且获得非常不错的编码 性能。另一方面，由于运动估计及运动补偿补偿都是基于宏块或块进行操作的， 而小波变换是对整幅图像进行的变换，这使得运动估计及运动补偿就较难于实 现，而d c t 变换本身就是基于块的变换。 量化是把浮点数的d c t 变换系数量化成预先设定好的重建码书中的重建值 之一的整数1 2 4 1 。这个过程是不可逆的，因为它无法从量化后的整数重建出量化 前的原始浮点数。因此，量化是一种有损编码方法。 量化后的d c t 系数包含少量的非零值系数和大量的零值系数，这些系数是 稀疏排列的。因此，需要把这些疏散排列的系数进行重排，使得这些非零值系数 尽可能紧凑地排列在一起。 重排君的代表视频信愚的量讫d c t 系数通过熵编码，被转换成一系列适合 传输靼存储的压缩e 特流。熵编码瘸于无损骶缩编鹚，擐攒s h a n n o n 信息论，信 源所占有的平均信息量( 熵) 是进行无失真编码的理论极限。信息论认为信源的 冗众度甄亲龚信源攘率分毒瓣不均匀牲，又寒蠡其巍赛戆穰关瞧。凌l 藏产生了嚣 上海大学博士学位论文时空域可分级的精细粒度可伸缩视频编码研究 i i i 种具有代表意义的典型熵编码方法，即利用概率分布特性的h u f f m a n 编码和利用 相关特性的游程编码【2 5 1 。 1 2 3 适用于流视频传输的可分级视频编码技术 当许多用户试图通过不同的通信链路接入相同的视频时，会出现困难。比如， 通过高速链路( 如a d s l 调制解调器) 连接到服务器的终端上可以实现实时地 点播流视频。但若用户仅有5 6 k b p s 调制解调器则不可能实时地接收到足够的比 特流进行播放。可分级是指通过仅解码一部分压缩的比特流物理地恢复有意义的 图像或视频信息的能力。在前面的例子中，如果视频流是可分级的，则通过高速 链路连接的用户可以下载整个比特流以观看全质量的视频，而具有5 6 k b p s 连接 的用户将只能下载到一个子集，观看一个低质量的视频。从这个例子可以看出， 可分级编码提供对带宽的可分级，它很好地适应了网络的异构性及带宽波动所带 来的负面影响。应付变化的信道环境和接收能力的另一种方法是通过同时联播的 方式，它简单地把同一视频编码几次，每次具有不同的质量或分辨率设置。这种 方法尽管简单，但效率太低，因为一个较高质量或分辨率的比特流实际上重复了 已经包含在较低质量或分辨率比特流中的信息及一些附加信息。另一方面，为了 提供可分级功能，与目前的不可分级编码器相比较，编码器必须牺牲一定的编码 效率。而可分级编码的设计目标是在实现可分级要求的同时使得编码效率的降低 达到最小。因此，可分级编码十分适用于流视频编码中，且已被证明是解决网络 带宽波动的最有效的方法2 6 】 2 8 】。 可分级编码一般是通过提供一个视频的多种版本实现的，这些版本就是幅度 分辨率( 常称为质量可分级或s n r 可分级性) 1 2 9 、空间分辨率( 空间可分级性) 、 时间分辨率( 时间可分级性) 、频率分辨率( 频率可分级性，或称为数据分割) f 3 0 】一【3 5 l 或这些选项的组合。把它们选择性地组合可以达到较细的分级能力。 1 2 3 1 质量可分级 质量霹分级定义巍其菇霹变瓣彩色摸式耩度瓣援频彦列瓣表示。这黢蔗逶 过以越来越精细的照化步妖量化彩色值( 糍原始或变换域中) 实现的。因为不同 约爨铯耪震导致臻始静与不同量诧糖度的撬簇之麓燕有不瀚的p s n r ，掰戳这类 9 上海大学博士学位论文 时霉苎域可分缀的精细粒废可伸缩视频编码研究 可分级通常称为s n r 可分级。 图1 3 示出了个两级的质量可分级编解码器，攮本层比特流邋过对原始匿 像或嶷换域( 图中为变换域) 中应用个粗糙的量化器得到，得到的是一个然本 图像痰量懿魄特漉。增强层魄特淡惫会暴始麴像与基本层重建麴塑像之阚鼹爨恁 差值，使用的量化