（信号与信息处理专业论文）可伸缩视频编码与多视角视频编码的差错控制方法研究.pdf

摘要 摘要 近年来，随着网络技术及多媒体应用的不断发展，对于视频编码技术的研 究不再仅仅局限于压缩特性。由于用户终端的多样性和网络条件的异构性，用 户对视频的分辨率、帧率、质量等都有着不同的需求，这些对传统的视频编码 标准提出了挑战。目前解决这一问题的最好方法之一就是可伸缩性视频编码， 现已被正式接受为国际标准。多视角视频编码是最新制定的一个国际标准，多 个视角提高了视觉质量体验，并且视角间具有相关性，可以对其进行有效的编 码压缩。由于信道传输中大量存在的衰减、误码和数据丢失，这些错误在编码 码流中扩散，严重影响视频质量。因此，视频编码中的差错控制显得十分重要， 因此研究可伸缩视频编码和多视角视频编码中的差错控制具有一定的理论意义 和广泛的应用价值。 本文在可伸缩视频编码和多视角视频编码国际标准的框架上，研究其中的 一些差错控制技术，主要工作和创新在于： 一、提出了一种基于冗余图像的可伸缩视频编码中的错误弹性方法。 冗余图像是是一种比较有效的对抗丢包的手段，是视频编码中一个重要的 错误弹性编码方法，目前在可伸缩视频编码标准中已经作为工具使用。增加冗 余可以提高编码的传输鲁棒性，但同时也会因增加码率而降低编码效率，因而 编码时需要合理的生成和分配冗余图像。结合可伸缩视频编码传输中对于基本 层的非对称保护，本文提出通过对增强层的关键图像添加简单复制的冗余图像， 在原图像丢失出错而冗余图像存在的情况下，通过对冗余图像进行解码，阻止 错误传播。相比于其他的一些差错控制方法，该方法在没有增大编码复杂度， 没有增加过多冗余的同时，显著地提高了丢包出错情况下的错误弹性效果。 二、提出了一种基于视差映射的多视角视频编码中的差错控制方法。 本文提出的方法利用多视角视频视间运动信息的相关性，在编码端生成视 间的视差映射，再将该映射信息打包到视频码流中，从而在解码端可以依靠映 射恢复丢失帧的运动信息，再结合视内时间上的纹理信息相关性，通过已解码 帧进行运动补偿最终得到恢复出发生错误丢失的帧。 本文对所提的可伸缩视频编码错误弹性方法和多视角视频编码差错控制方 法进行了大量实验，实验结果表明，相对于以往的技术，本文所提方法显著地 提升了视频编码的抗差错性能，提高了易错环境下视频的客观和主观质量。 关键词：可伸缩视频编码多视角视频编码差错控制冗余图像视差映射错误 弹性错误隐藏 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ef a s td e v e l o p m e n to fn e t w o r k i n ga n dd i v e r s i f i e d m u l t i m e d i aa p p l i c a t i o n ，r e s e a r c ho nv i d e oc o d i n gt e c h n o l o g yi sn o to n l yi n v o l v e d w i t ht h ec o m p r e s s i o nc h a r a c t e r i s t i c h e t e r o g e n e o u sn e t w o r ks t r u c t u r ea n dv a r i o u s u s e rt e r m i n a l sr e q u i r ed i f f e r e n tv i d e or e s o l u t i o n ，f r a m er a t eo rq u a l i t y , t h e s el e a dt o g r e a tc h a l l e n g e si nt h ew o r ko fv i d e oc o d i n gs t a n d a r d s s c a l a b l ev i d e oc o d i n g ( s v c ) i s d e v e l o p e db yj v t ( j o i n t v i d e ot e a m ) o fi s o i e ca n di t u tv c e ga sa n i n t e r n a t i o n a ls t a n d a r d a tp r e s e n ti ti so n eo ft h eb e s ts o l u t i o n st ot h ea b o v ep r o b l e m i tc a np r o v i d es c a l a b i l i t i e so nt e m p o r a l ，s p a t i a la n dq u a l i t y m u l t i - v i e wv i d e oc o d i n g i sa n o t h e rv i d e oc o d i n gs t a n d a r du n d e rd e v e l o p m e n t m u l t i - v i e wp r o v i d e sb e t t e r v i s u a le x p e r i e n c e ，a n di th a sh i g hc o r r e l a t i o nb e t w e e nd i f f e r e n tv i e w s ，w h i c hm a k e s i tp o s s i b l et oc o m p r e s sm u l t i - v i e wv i d e oe f f i c i e n t l y s i n c ed e g r a d a t i o n ，b i te r r o r , a n d p a c k e t l o s su s u a l l yh a p p e ni nc h a n n e lt r a n s m i s s i o n ，a n dt h e s ee r r o r sc a nb e p r o p a g a t e dt oo t h e rv i d e of r a m e ss oa st os e r i o u s l yd a m a g et h ev i d e oq u a l i t y , e r r o r c o n t r o lt u r n so u tt ob ea ni m p o r t a n tt e c h n i q u e t h u ss t u d yo fe r r o rc o n t r o lm e t h o d s i ns c a l a b l ev i d e oc o d i n ga n dm u l t i v i e wv i d e oc o d i n gi sah o ts p o ti nv i d e o p r o c e s s i n ga n dc o m m u n i c a t i o nr e s e a r c ha r e a b a s e do nt h ef r a m e w o r ko fs v ca n dm v cs t a n d a r d ，t h i st h e s i si n v e s t i g a t e s s e v e r a le r r o rc o n t r o lt e c h n i q u e si nt h e m t h em a i nc o n t e n t sa n dn o v e l t i e so ft h i s t h e s i sa r ea sf c l l l o w s ： 1 b a s e do nr e d u n d a n tp i c t u r e ，t h i st h e s i sp r o p o s e san e we r r o rr e s i l i e n c ea p p r o a c ht o s v c t h er e d u n d a n tp i c t u r ei sa ne f f e c t i v em e t h o dd e a l i n gw i t hp a c k e tl o s si n t r a n s m i s s i o n ，a l s oi ti sa ni m p o r t a n te r r o rc o n t r o lt e c h n i q u ei nv i d e oc o d i n g a d d i n g r e d u n d a n c yt ot h ev i d e ob i t s t r e a mm a ye n h a n c e sr o b u s t n e s so f t h et r a n s m i t t e dv i d e o ， b u ti ta l s ow i l lr e d u c et h ee f f i c i e n c yo fv i d e oc o d i n g s o ，h o wt oa p p r o p r i a t e l y g e n e r a t er e d u n d a n tp i c t u r e sa n da s s i g nt h e mi si m p o r t a n t t a k i n gi n t oa c c o u n to f t h e u n s y m m e t r i c a lp r o t e c t i o nm e c h a n i s mi ns v cv i d e od a t at r a n s m i s s i o n ，t h i st h e s i s p r o p o s e san e w e r r o rr e s i l i e n c ea p p r o a c hw h i c ha d d ss i m p l ee x a c t l yc o p yp i c t u r e st o t h e k e yp i c t u r e s i ne n h a n c e m e n tl a y e r s r e d u n d a n tp i c t u r ec a ns t o p e r r o r p r o p a g a t i o na n di m p r o v ee r r o rr e s i l i e n c ew i t h o u ta d d i n gt o om u c hc o m p l e x i t y t ot h e i ! i a b s t r a c t e n c o d e r 2t h i st h e s i sp r o p o s e san e we r r o rc o n t r o la p p r o a c ho nm v cb a s e do nd i s p a r i t y i n a p t h ep r o p o s e da p p r o a c hu t i l i z e st h em o t i o ni n f o r m a t i o ns i m i l a r i t yb e t w e e n d i f f e r e n tv i e w st og e n e r a t ed i s p a r i t ym a p t h e nt h i sd i s p a r i t ym a pi sp a c k e di n t o v i d e od a t as t r e a m a tt h ed e c o d e rs i d e ，a c c o r d i n gt ot h ed i s p a r i t ym a pi n f o r m a t i o n ， m o t i o ni n f o r m a t i o no ft h el o s tp i c t u r ei sr e s t o r e da n du s e dt ou t i l i z et h et e m p o r a l c o r r e l a t i o nt og e n e r a t et h el o s tp i c t u r e an u m b e ro fe x p e r i m e n t sh a v eb e e nd o n ei n t h i st h e s i st oi n v e s t i g a t et h e p r o p o s e de r r o rc o n t r o lt e c h n i q u e so fs v ca n dm v c e x p e r i m e n t a lr e s u l t ss h o wt h a t ， t h ep r o p o s e de r r o rc o n t r o la l g o r i t h m sc a ni m p r o v eb o t ho b j e c t i v eq u a l i t ya n d s u b j e c t i v eq u a l i t yo fv i d e oc o m p a r e dw i t ht r a d i t i o n a lm e t h o d s k e yw o r d s ：s c a l a b l ev i d e oc o d i n g ，m u l t i - v i e wv i d e oc o d i n g ，e r r o rc o n t r o l ， r e d u n d a n t p i c t u r e ，d i s p a r i t ym a p ， e r r o rr e s i l i e n c e ，e r r o r c o n c e a l m e n t i v 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：纽 签字同期： 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 吸开口保密( 年) 作者签名：盔司 签字日期：型：兰：竺 导师签名： 签字同期： 盔厘鍪 丝望：兰：兰 第1 章绪论 1 1 研究背景 第1 章绪论 在过去的一二十年时间里，在飞速发展的计算机网络等技术推动下，多媒 体信息技术以其极强的渗透能力进入人类生活的各个领域，如游戏、教育、档 案、娱乐、艺术、家庭、通讯等等，对于社会的发展产生了巨大的影响。如今， 多媒体已经成为人类获取信息的最主要载体之一，同时也成为电子信息领域研 究与开发的热点。多媒体技术利用计算机把文字、图形、声音等媒体信息都数 字化，并将其整合在一定的交互式界面上，使电脑具有交互展示不同媒体形态 的能力，极大的改变了人们获取信息的传统方式，符合人们在信息时代的阅读 方式。研究表明，人类获取的信息中7 0 来源于视觉，因而视频信息在多媒体 信息中又占有着重要地位。与此同时，视频数据存在着大量的冗余，未经压缩 的原始视频数据其庞大的数据量对于当前有限的传输带宽和存储空间来说都是 难以承受的，并且随着社会的发展，视频信息总量增长十分迅猛，传输和存储 技术的发展速度也无法与之同步增长。因此，视频压缩技术一直是国内外研究 的重要内容，无论是在算法研究还是产业发展上都有了巨大的进步。国际上已 经成功地制定了面向各种应用的多个视频编码标准，还有一些正在研究制定当 中。 随着多媒体应用的扩展，现实中有很多应用场景对视频播放有着不同的要 求。比如播放设备硬件的不同：标清电视( s t a n d a r dd e f i n i t i o nt v ，s d t v ) 、高 清电视( h i g hd e f i n i t i o nt vh d t v ) 、台式电脑、笔记本电脑、手机等等，这些 硬件的解码播放能力和屏幕尺寸不尽相同，高清电视可以播放高质量的2 5 h z 的高清视频，标清电视则只能播放标清视频，性能较弱的手机也许只能播放 1 2 5 h z 的低分辨率视频，而各种电脑性能差别很大，播放能力有强有弱；同样， 不同的传输网络对于视频播放也会有影响，比如电视用户可以通过有线电视网 络进行连接，电脑用户则有光纤、d s l 、l a n 、w l a n 等各种网络连接方式， 这些网络所能提供的带宽是不同的，即使是同一网络下，也可以存在不同的服 务质量，比如电视用户可以支付更多的费用收看到高清节目；用户的偏好也对 视频有着不同的要求，比如在同一带宽下，有些用户愿意牺牲帧率来换取更高 的分辨率，而有些用户可能对画面的连续性要求更高，宁愿用低一些的分辨率 来换取高的帧率。针对不同终端用户、不同网络框架、不同服务质量( q o s ) 要求下的各种不同用户需求问题，可伸缩视频编码得到了广泛的研究，也是目 前的最好解决方案之一。2 0 0 7 年，由i t u t 和i s o i e c 联合成立的视频联合工 第1 章绪论 作组( j o i n tv i d e ot e a m ，j v t ) 正式通过了h 2 0 4 a v c 标准的可伸缩扩展 可伸缩视频编码标准( s c a l a b l e v i d e o c o d i n g ，s v c ) 。 多视角视频( m u l t i - v i e w v i d e o ，m v v ) 技术是当今视频技术研究中的另一 个热点，被广泛的认为是一个在不久的将来就可以实现并且存在着巨大市场 需求的技术方向。视频联合工作组也将多视角视频编码( m u l t i - v i e wv i d e o c o d i n g ，m v c ) 作为h 2 6 4 标准的一个扩展，正在制定相应的视频标准。多视 角视频编码一个主要的应用就是将经典的二维平面视频扩展到三维平面，其最 明显的特征就是在传统平面视频基础上增加了深度信息，增强了视觉的真实感 和逼真感，例如通过立体视频( s t e r e o s c o p i cv i d e o ) 形式向用户提供当前场景 三维深度信息的三维视频( 3 dv i d e o ，3 d v ) ，图li 是立体视频摄像机示意图。 用户在因为双目视差可以获得具有深度感的立体图像的同时，多视角视频也增 加了交互性，用户可以根据需求选择浏览合适的视角或对象，例如通过一些己 知视角的视频信息，根据计算机图形学，交互式的为用户提供一定范围内任意 视角的任意视角视频( f r e e v i e w p o i n t v i d e o ，f w ) 。图l “a ) 是一个f v v 采集 设备的例子，图12 ( b ) 是一个f v v 在某一时刻多视角记录的帧示意图。 图1 1 立体视频摄像机示意图 yi k p - ? ，- _ - ”i_o 石 一弋一一芝 矿矿浮 田1 2f v v 采集设备举例及视频帧示意图 爨爨霪嚣黧霪壁爨 第l 章绪论 1 2问题提出及研究意义 基于数据包的视频传输方式正越来越广泛的得到应用，比如基于数据包的 无线网络和i n t e r n e t 等等。在任何通信系统中，由于信道噪声的影响，信息在 传输过程中都可能发生改变或者丢失，同样，信道错误也是这种基于数据包的 传输协议中一个固有问题。包的丢失可能是网络拥塞使得路由丢弃了部分数据 包，也可能是包经过了太长的时间才到达目的地：另一种情况则是传输链路上 的物理干扰导致的比特错误。很多视频传输系统采用的都是u d p 协议，而u d p 包中的任何比特错误都将导致整个包被丢弃。丢包可以导致图像中的一部分区 域甚至整个一幅图像被破坏。这种传输过程中发生的错误，对于视频数据的影 响十分严重。这是因为目前的视频编码标准在视频压缩过程中为了提高压缩效 率充分利用视频时间及空间相关性，采用了复杂的预测编码技术，一旦发生错 误，在出现即时解码器刷新帧( i n s t a n td e c o d e rr e f r e s h ，i d r ) 将错误截断 之前，错误会在空间上和时间上都被传播丌来，引起如差错扩散、视频质量下 降甚至系统错误等各种解码端的问题，导致视频序列的主客观质量都受到很大 的损害。因此为了使出错时视频质量的下降变得相对平滑，对视频流采用一些 差错控制技术进行保护一直是视频编码中研究的一个重点，这些技术或者通过 反馈信道，或者通过在编码端加入一些冗余信息，或者通过在解码端利用未去 除的相关性将差错控制在可以接受的范围内。在编码端加入特定的冗余信息帮 助解码端恢复或者隐臧由信道出错造成的错误称为错误弹性技术，而直接在解 码端进行差错控制称为错误隐藏技术。 可伸缩视频与传统的单层视频，多视角视频与单视角视频有着许多类似的 基于视频序列本身的特征，如单层或单视角视频内部的时间空间相关性，同时 可伸缩视频和多视角视频也具有一些单层视频和单视角视频没有的特征，最明 显的如可伸缩视频对于基本层的非对称保护、层间的相关性，多视角视频不同 视角之间的相关性。可伸缩视频和多视角视频与单层视频和单视角视频的相似 性，使得单层视频和单视角视频的一些现有技术可以很好的应用于可伸缩视频 和多视角视频。同时，利用后两者具有的新特点，又可以对于现有前两者的相 关技术进行扩展，使其更加适合于可伸缩视频和多视角视频的特征。 针对可伸缩视频编码的差错控制问题，本文在s v c 上提出了一种简单但很 有效的错误弹性方法，即增强层上的冗余图像编码技术。冗余图像是一幅原始 图像或者其一部分的冗余表示。结合可伸缩视频在传输中对于基本层和增强层 的非对称保护措施以及可伸缩视频编码的帧间参考方式，再考虑到冗余数据对 编码效率的影响，提出为增强层的部分帧设置冗余图像，当解码器能够正确解 3 第1 章绪论 码原始图像时，冗余图像被丢弃，不需要解码，而当原始图像丢失，冗余图像 就可以用来替换出错的原始图像得到正确的解码。 针对多视角视频编码的差错控制问题，本文在m v c 上提出了一个新的差错 控制方法。实际应用中，由于光线差别等一些因素，要想利用纹理信息的相关 性，通常需要复杂度较高的方法，丽结构信息如运动矢量等并不会因为这些因 素产生变化。利用多视角视频视间运动信息的相关性以及视内时间上的纹理信 息相关性，首先在编码端生成视间的视差映射，再将该映射信息打包到视频码 流中传输到解码端，依靠映射恢复出丢失帧的运动信息，最后通过己解码帧进 行运动补偿最终得到了较好的差错控制效果。 1 3 本文内容安排 本文的内容安排如下： 第一章简要介绍可伸缩性视频编码和多视角视频编码的应用背景知识，继 而提出在这两种视频编码上的差错控制问题和研究意义； 第二章介绍s v c 和m v c 的一些基础，以及在视频编码标准部分的发展， 该章还介绍了差错控制技术的基础知识； 第三章、第四章分别提出了在s v c 上基于冗余图像的一种错误弹性方法， 和在m v c 上基于视差映射的一种差错控制方法，列出了实验结果并进行了分 析； 第五章对s v c 和m v c 中的这两种方法进行了总结并对未来的工作进行了 展望。 4 第2 章可伸缩视频编码和多视角视频编码基础 第2 章可伸缩视频编码和多视角视频编码基础 2 1 h 2 6 4 a v c 相关标准 为了满足日益增长的视频应用的需要，提高压缩性能，满足会话服务( 视 频技术) 和非会话服务( 存储、广播、流媒体) 多种应用的需要，由i t u - t 组 织的视频编码专家组( v i d e oc o d i n ge x p e r t sg r o u p ，v c e g ) 和i s o i e c 组织的 动态图像专家组( m o t i o np i c t u r e se x p e r t sg r o u p ，m p e g ) 共同制定了h 2 6 4 a v c 标准。h 2 6 4 a v c 是目前拥有最高压缩性能的视频编解码标准技术( w i e g a n de t a l ，2 0 0 3 ) ，现有的实验表明，在同等质量的情况下，该标准的压缩效率高出 m p e g 4 标准4 0 左右。 在编码方面，h 2 6 4 a v c 继承并发展了以往的视频编码技术，采用了双层 编码系统结构( 图2 1 ) ，一个是网络抽象层( n e t w o r ka b s t r a c tl a y e r ，n a l ) ， 实现依照网络要求对数据进行打包和传送的接口，另一个是视频编码层( v i d e o c o d i n gl a y e r ，v c l ) 实现视频内容的高效表示，即高效率编码的目标。 曩 舌 一 耋 嚣 8 v i d e o c o d i n gl a y e ri 弋一 ic o d e dm a e r o b l o e k i _ 一。1 d a t ap a r t i t i o n i n gi ”r 一一 lc o d e ds l i c e p a r t i t i o n 匝匾亟璺亟画曼! l h 3 2 0m p 4 f fh 3 2 3 i p m p e g 一2e 圮 图2 1h 2 6 4 a v c 的双层结构 注：h 2 3 0 为视听会议系统控制与显示信号标准；r t p 为实时传输协议。 h 2 6 4 a v c 标准还包含了差错控制工具，不但支持早期编码标准中( h 2 6 1 ， h 2 6 3 ，m p e g 1 2 4 ) 如帧内编码宏块帧刷新、条带编码、参考帧确认、参考 帧选择、数据分割、头信息扩展码和头信息重复、冗余图像技术这些差错控制 工具，还增加了如参数集、可变宏块顺序( f m o ，f l e x i b l em a c r o b l o c ko r d e r i n g ) 、 受限帧内预测以及参考帧标记重复等一系列新的工具。 5 第2 章可伸缩视频编码和多视角视频编码基础 2 1 1网络抽象层( n a l ) 概述 n a l 层使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、 定时信息的利用或序列结束信号等。现实中的传输系统是多样化的，其可靠性， 服务质量，封装方式等特征各不相同，n a l 这一概念的提出提供了一个视频编 码器和传输系统的友好接口，使得编码后的视频数据能够有效地在各种不同的 网络环境中传输。对于基于流的如h 3 2 0 、m p e g 等，需要按照解码顺序组织 n a l 单元，并为每个n a l 单元增加若干比特用于对齐前缀以形成字节流；对 于基于r t p u d p i p 网络，则可以直接将编码器输出的n a l 单元作为r t p 的有 效载荷；而对于同时提供多个逻辑信道的传输系统，甚至可以根据重要性将不 同类型的n a l 单元在不同服务质量的信道中传输。n a l 层包括自己的头部信 息、段结构信息和上层的v c l 数据形成的实际载荷信息。所有的数据都被封装 在一个包里，即n a l 单元( n a lu n i t s ) 。每个n a lu n i t s 第一个字节为头信 息，指明了后面有效载荷的数据类型。n a lu n i t s 分为视频编码层n a l 单元( v c l n a lu n i t s ) 和非视频编码层n a l 单元( n o n v c l n a lu n i t s ) 两种。v c l n a l u n i t s 包含视频图像的采样信息，而n o n v c l n a lu n i t s 则携带各种有关的附加 信息，例如参数集( 头部信息) 、附加信息、定时信息等。关于n a l 的详细内 容可以参考s t o k h a m m e re ta l ( 2 0 0 3 ) 的文章。 2 1 2 视频编码层( v c l ) 主要技术 h 2 6 4 a v c 标准定义了码流的解码过程，但是并未对编码过程加以限制， 因此用户可以自由地选择编码算法。h 2 6 4 a v c 采用的仍然是基于块的混合编 码方法，一个可供参考编码框图如图2 2 所示：首先判断输入的每一帧图像编 码类型，是i 帧、p 帧或是b 帧，然后经过分块编码、运动补偿预测、空间域 变换、量化以及熵编码等，最后得到的重建图像存入参考帧列表，提供给后续 帧作预测。去块效应滤波器成了标准的一部分，而不再是编解码后处理过程。 经过前面的编码预测过程，最后将得到的量化系数、运动矢量以及控制数据还 有一些可能需要的冗余采用自适应熵编码压缩成码流。 6 第2 章可伸缩视频编码和多视角视频编码基础 图2 2h2 6 4 a v c 参考编码框幽 h 2 6 4 a v c 相对以前的编码方法，以m p e g - 2 为例，采用了如下新的编码 技术： 可变块大小运动补偿：选择运动补偿太小和形状比以前的标准更灵活，最小 的亮度运动补偿块可以小到4 x 4 。h2 6 4 采用了树结构的不同大小和形状的宏 块分割与亚分割。一个1 6 1 6 亮度值宏块可以按照1 6 x 1 6 、1 6 x 8 、8 1 6 或8 x 8 进行分割：如果选择了8 x 8 分割，还可以按照8 8 、8 4 、4 8 或4 x 4 进行亚分 割，如图5 所示。这些宏块分割与亚分割的方法将会使得每个宏块中包含有许 多不同大小块。宏块分割与亚分割所产生豹每一个亮度块都有自己独立的运动 矢量。每个运动矢量都将会被编码、传送，另外分块方式也必须被编码在数据 流中。选择大的分块方式( 1 6 1 6 、1 6 x 8 或8 x 1 6 ) 也许只需要传送很少的比特 来说明运动矢量和分块方式。但是运动补偿后抽样点差值可能会比较大。迸择 小的分块方式( 8 x 4 或4 x 4 ) 也许得到的动补偿后抽样点差值很小，但是要花费 很多比特去传输运动矢量和分块方式。因此，分块的选择将会对压缩效果有着 重大影响。通常，太的分块方式用于帧内均匀的部分，而小的分块方式将有利 于图像中细节的描述。对于宏块中色度值，分割方法是和亮度一样的，但是由 于4 ：2 ：0 采样的关系，色度分割块的大小是亮度分割块的一半，而且当色度 块在利用运动矢量时，必须要将它各个分量除以2 。 第2 章可伸缩视频编码和多视角视频编码基础 8 1 6由曲田困 由e i i 田田 图2 3h 2 6 4 a y c 的宏块分割 1 似采样精度运动补偿：以前的标准最多采用1 2 精度运动补偿，首次采 用1 4 采样精度运动补偿出现在m p e g 一4 第二部分高级类部分，但 h 2 6 4 a v c 大大减少了内插处理的复杂度。这是通过利用整像素点的亮度 值进行内插得到的。内插过程先是通过6 抽头的滤波器来获得半像素精度 的样本，然后用线性滤波器来获得1 4 像素精度的样本。又由于4 ：2 ：0 输入格式的关系，色度的运动向量精度就达到1 8 像素，这也是通过线性 滤波器插值得到的。由于运动矢量之间也有一定的相关性，所以h 2 6 4 a v c 就利用已经编码块的运动矢量对当前正在编码块的运动矢量进行预测，最 后只需要编码和传输实际运动矢量与预测值的差值即可。 运动矢量可跨越图像边界：在以前的标准中，运动矢量限制在已编码参 考图像的内部。在h 2 6 4 a v c 中允许运动矢量指向图像的边晃。 多参考帧运动补偿：在m p e g 2 及以前的标准中，p 帧只可以使用当前 帧的前一帧作为参考，b 帧只使用该帧前面的i 帧和p 帧以及紧随其后的i 帧和p 帧作为参考。h 2 6 4 a v c 使用高级参考帧管理技术，可以在该帧前 后五帧的范围内选择已编码并且保留在缓冲区的图像作为预测，提高了编 码效率，此外，多参考帧也能实现更好的码流误码恢复，但需要增加额外 的时延和存储空间。后来又提出分级b 帧( h i e r a r c h a lb ) 的概念，其编码 示意图如图2 4 所示。 图2 4 分级b 帧编码示意图 消除参考图像与图像表示方法的限制：在以| j f 的标准中，b 帧图像不能 作为参考帧，而h 2 6 4 a v c 标准则无此限制，b 帧可以作为其他图像的参 第2 章可伸缩视频编码和多视角视频编码基础 考帧。 加权预测：h 2 6 4 a v c 采用新技术，允许加权运动补偿预测。在淡入淡 出场景中该技术极大提高编码效率，该技术还可用于其他多种用途。 改进的帧内编码预测：将编码图像边界进行外推作为当前帧内编码图像 的预测。 去块效应滤波器：由于量化误差的影响，当量化步长较大时，经过d c t 反变换重建的基于块的视频编码图像会出现明显的块效应。去块效应滤波 器能有效的抑制块效应，改善视频的主观和客观质量。并且经过块效应滤 波的帧可用于帧问预测，进而提高其他帧的编码效率。 除改善预测方法外，还有些其他改进编码效率的工具： 小块变换：以前的标准中的变换都是基于8 8 ，h 2 6 4 a v c 采用4 4 大小的变换，使编码器在表示信号局部时适应性更好，更适合预测编码， 减少了“铃 效应。另外图像边界也需要小块变换。 分级块变换：低频色度信号可用8 8 ，对帧内编码，可使用特别的编 码类型，低频亮度信号可用1 6 1 6 块。 短字长变换：所有以前标准使用的变换要求3 2 位运算，h 2 6 4 a v c 只 使用1 6 位运算。 完全匹配反变换：所有的标准中反变换和变换之间存在一定容限的误 差，因此，存在编解码不匹配的问题，会有小的漂移，影响图像的质量， h 2 6 4 a v c 则实现了变换和反变换的完全匹配。 基于上下文的熵编码：h 2 6 4 a v c 使用两种熵编码方法，基于上下文的 自适应变长编码( c o n t e x t a d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) 和基 于上下文的自适应二进制算术编码( c o n t e x t a d a p t i v eb i n a r ya r i t h m e t i c c o d i n g ，c a b a c ) 两种都是基于上下文的熵编码技术，并且都有着很高的熵编码 效率。c a v l c 和c a b a c 充分考虑到了视频信号的高阶统计特性，弥补了过去 视频编码标准中的熵编码技术只是依靠一个映射，将视频信号转换成比特流带 来的不足。c a b a c 相比c a v l c 虽然性能优越，但也带来复杂度的增加。通常， 实时多媒体通讯中，偏向于使用复杂度较低的c a v l c ：非实时通讯中，比如视 频点播、视频检索等，c a b a c 因为高压缩性更为合适。 2 2h 2 6 4 a v 0 编码标准的可伸缩视频编码扩展 随着多媒体传输视频服务的快速增长以及用户终端的多元化，视频编码的 目标由单纯追求高压缩率转向了使视频流更好地适应各种不同网络环境和用户 9 第2 章可伸缩视频编码和多视角视频编码基础 需求，同时还要具有一定的容错性。因而市场对可伸缩性视频编码有着巨大的 需求( o h m ，2 0 0 5 ) 。t 在现有的h 2 6 4 a v c 编码标准基础上提出了可伸缩 性视频编码扩展s v c ，它在时间、空问和质量上都支持可伸缩性。s v c 的参考 编码框图如图2 5 所示。 图2 5h 2 6 舭w c 的可伸缩扩展参考编码框图 从图中可以看出空间伸缩性的实现方式是分层编码。分层编码是指用基本 质量或基本空间分辨率的“基本层”进行编码，然后对高级质量或高级空间分辨 率的“增强层”编码。一般各个空间分层输入帧率是不同的，经过时间分解如分 级b 帧技术等首先提供了时间可伸缩性。同时，低空间层的运动信息和纹理信 息可以被用作高空间层相关信息的预测，增强层的编码是依赖于基本层的编码， 低层的运动、残差等信息单向传给高层，利用这些层间信息，尽量减少层问冗 余。图2 5 中的所示的质量可伸缩( s n r ) 是一种编码方式，通过类似空间可伸 缩的分层编码来实现质量可伸缩编码，例如粗粒度可伸缩。i 生( c g s ，c o a r s eg r a i n s c a l a b i l i t y ) 。 在下面我们将具体讨论s v c 的可伸缩概念和相关技术。 2 2 1 时间可伸缩性 s v c 时间可伸缩性的发展是通过小波变换技术中的运动补偿的时域滤波 ( m o t i o nc o m p e n s a t e dt e m p o r a lf i l t e r ，m c t f ) 技术，然后发展到分级b 帧 技术( h i e r a r c h i c a lbp i c t u r e s ) ( s c h w a r ze ta l ，2 0 0 6 ) 。 1 0 第2 章可伸缩视频编码和多视角视频编码基础 s v c 中提供了一些可供参考的分级预测技术编码结构，如图2 6 所示。 0 ：4 t o ；t 3 35 t 2t 3 27 t 1t 3 21 1 t 3t 2 1 3 1 0 t 3t 1 1 5 1 4 t 3 t 2 1 6 g ： t 3 t o ! 图2 6 支持时间可伸缩性编码的分级预测技术结构图。都以图像组g o p 为编码单元。( a ) 二进分级b 帧预测结构。( b ) 非二进分级b 帧预测结构。( c ) 无延时的分级b 帧预测结构。 每个图_ 卜面的数据显示了编解码顺序，t k 则代表了时间等级，其中k 对应着时间标识符。 图2 6 中，若某一帧图像前的所有被编码图像在显示顺序上都先于这帧图 像，那么这帧图像就叫关键帧。例如图中第o 、8 和1 6 帧就是关键帧。某一个 关键帧图像和位于其前面的最近一个关键帧之间的所有图像，合起来组成一个 图像组( g o p ) 。 视频序列中的每一帧都会分配一个时间等级，然后通过特定的参考机制， 不同时间等级的帧被逐步丢弃而毫不影响剩余帧的编码依赖项。通过丢弃不同 数目的不同时间等级的帧，可以实现不同等级的时间可伸缩性。若某视频码流 支持时间上的可伸缩性，则该码流必能分割为时间上不同层次的子码流。假设 ，l 曲，i 、 3 8 t 2 6 t 竹l佑l仃l 似l 俘l伪己 l 竹l趁l ，t嘞 9 l 8 l5 7 k 6 k 2 l 4 l 3 k o l 协k佰l似l竹l伦l b恂l 9 lo 8 l l 7 l6 己 5 l 4 l 3 b2 己，b 0 b 第2 章可伸缩视频编码和多视角视频编码基础 不同数据的时间等级由时间层标识符丁表示，最基本的时间等级t = 0 ，而其他 时间层的时间等级则依次加一。当解码端需要某个时间层k ( k 为自然数) 的数 据时，那些时间层标识符t k 的所有数据将被丢弃。这样，通过时间层标识符 的应用，就可以实现时间可伸缩性。对于混合编码模式的编码框架，时间可伸 缩性编码通过限制运动补偿预测的参考帧来实现，即只参考小于或等于当前帧 时间层标识符的参考帧。s v c 的可分级b 帧为双向预测帧而非传统的后向预测 帧，与传统b 帧不一样。可分级b 帧可以作为参考帧继续给后续的b 帧作参考。 为了保证高时间层帧的丢弃不会影响低时间层帧的解码，s v c 只允许低时间层 的数据用来单向的给大于或等于它的时间层的数据作参考用。编码的顺序也是 按照时间层标识符从低到高的顺序编码。这样就保证了当抛弃高时间层的数据 后，保留的低时间层数据没有参考帧被丢弃，不会出现丢失参考帧的现象，保 证了低时间层数据的正确解码。 在h 2 64 a v c 中，任意编码类型的图像都可以标记为用作其他图像的运动 补偿预测参考帧，并且解码图像缓存( d e c o d e dp i c t u r eb u f f e r ，d p b ) 最多可以 存储1 6 幅图像，由内存管理控制操作( m e m o r ym a n a g e m e n tc o n t r o lo p e r a t i o n ， m m c o ) 来自适应控制。d p b 中存储的这些参考图像又可以通过参考图像列表重 排序( r e f e r e n c ep i c t u r el i s tr e o r d e r i n g ，r p l r ) 命令任意选择。h 2 64 a v c 的这些技术特点使得分级b 帧编码结构在h 2 64 a v c 标准内不需要作任何修 改就可以实现，同时因为分级b 帧较好的编码性能，h 2 6 4 a v c 也引入例如这 一技术。另外t i a ne ta l ( 2 0 0 5 ) 提出的基于h 2 6 4 a v c 的子码流技术同样可以 提供时间可伸缩技术。 2 2 2 空间可伸缩性 在s v c 扩展中，空间可伸缩性采用的是分层编码的方法：如图2 7 参考编 码结构所示在输入图像的2 维下采样之前，原始视频序列通过一个下采样工具， 得到多个不同空间分辨率的视频序列，每个分解生成的视频序列都是一个空间 编码层。 下采样滤波器与m p e g 4 视觉验证模型中的滤波器b 相同。可分离的1 3 抽头滤波器h ( k ) 系数如下： h ( k ) = ( 2 ，0 ，- 4 ，一3 ，5 ，1 9 ，2 6 ，1 9 ，5 ，一3 ，- 4 ，0 ，2 ) 6 4 ( 2 1 ) 每个视频序列