（通信与信息系统专业论文）可分级视频编码层间预测的研究.pdf

可分级视频编码层间预测的研究 专业：通信与信息系统 姓名：尤伟伟 导师：梁凡副教授 摘要 随着通信网络和多媒体技术的飞速发展，音视频等多媒体已经成为人们日 常生活的一部分。然而由于网络异构性、数据丢失率、传输延迟等的存在，以 及客户终端在显示尺寸、存储容量和处理能力等方面存在的巨大差异。视频通 信应用环境的复杂性使得视频编码技术必须满足不同的需求和服务。可分级视 频编码技术提供了很好的解决方案，能够适应网络带宽的波动以及各种复杂的 应用环境。 预测技术( 帧间预测和帧内预测) 在视频压缩中起着举足轻重的作用，同 样，由于可分级视频编码中，各个层之间存在着一定的相关性，去除层间的冗 余有利于提高可分级视频编码技术的编码性能，使其朝着今后的应用可能性更 迈进了一步。因此，对可分级视频编码层问预测的研究具有重要的现实意义和 应用前景。 本文首先介绍了可分级视频编码的技术背景，重点分析了当前可分级视频 编码技术方案。然后介绍了可分级视频编码层间预测的技术背景，对是否做层 间预测进行了实验分析。最后，在此基础上，论文主要进行了以下工作：对于 层闯帧内纹理预测，根据人眼视觉敏感亮度大于色度的原理，对色度采用2 - t a p 双线性滤波器替代原先6 一t a p 滤波器；而对于亮度，通过对比不同上采样滤波器 在不同基本层q p 值下的编码性能，提出了一种自适应上采样滤波器选择方案， 使得可分级编码在编码性能基本一致的同时，降低了编码的复杂度：对于层阀 残差预测，由于标准中对亮度和色度都使用双线性滤波器，我们采用同样的自 适应上采样滤波器选择方案，来提高其编码性能。 关键词：可分级视频编码，层间预测，上采样滤波器 s t u d yo fi n t e r - l a y e rp r e d i c t i o ni ns c a l a b l e v i d e oc o d i n g m a j o r ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m n a m e ： y o uw e i w e i s u p e r v i s o r ：a s s o c i a t ep r o f l i a n gf a n a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to fc o m m u n i c a t i o nn e t w o r k sa n dm u l t i m e d i a t e c h n o l o g i e s ，m u l t i m e d i as u c ha sa u d i o ，v i d e oh a v ea l r e a d yb e c o m eo n ep a r to fo u r d a i l yl i f e h o w e v e rt h e r ee x i s th e t e r o g e n e o u sn e t w o r k s ，p a c k e tl o s s ，t r a n s f e rd e l a y a l s o ，t h ec l i e n tt e r m i n a l sm a yh a v eg r e a td i f f e r e n c e si nd i s p l a yr e s o l u t i o n s ，s t o r a g e c a p a c i t yo rc p uc o m p u t a t i o n a lp o w e r t h ec o m p l e xa p p l i c a t i o ne n v i r o n m e n to f v i d e oc o m m u n i c a t i o nt e c h n o l o g yn e e d sat e c h n o l o g yt os a t i s f ym u l t ir e q u i r e m e n t a n ds e r v i c e s c a l a b l ev i d e oc o d i n g ( s v c ) i sa g o o ds o l u t i o nw h i c hc a nd e a lw i t ht h e p r o b l e mo f d i v e r s ea p p l i c a t i o ne n v i r o n m e n t sa n db a n d w i d t hf l u c t u a t i o n s p r e d i c t i o nw h i c hc o n t a i n si n t m f r a m ea n di n t e r - f r a m ep r e d i c t i o np l a y sa n i m p o r t a n tr o l ei nv i d e oc o m p r e s s i o n s i n c es v ci si a y e r - b a s e ds t r u c t u r e ，t h er e l a t i o n b e t w e e nt w ol a y e r si sc o r r e l a t i v e i no r d e rt oi m p r o v et h ep e r f o r m a n c eo fv i d e o c o d i n g , w eu s et h ei n t e r - l a y e rp r e d i c t i o nt or e m o v et h ei n t e r - l a y e rr e d u n d a n c y a sa r e s u l t , s v cw i l la d v a n c eo ni t sa p p l i c a t i o n t h e r e f o r e ，r e s e a r c ho ni n t e r l a y e r p r e d i c t i o ni ss i g n i f i c a n ta n dp r o s p e c t i v e t h i sp a p e rc a l ld i v i d ei n t ot h r e es e c t i o n s f i r s t l y , i ti n t r o d u c e st h et e c h n i c a l b a c k g r o u n do fs v c ，a n da n a l y s e st h er e s e a r c ho ns v c s e c o n d l y , i ti n t r o d u c e st h e t e c h n i c a lb a c k g r o u n do fi n t e r - l a y e rp r e d i c t i o n , a n da n a l y s e se x p e r i m e n tr e s u l to n u s i n gi n t e r - l a y e rp r e d i c t i o n a d a p t i v e l y o rn o t f i n a l l y , if i n i s ha sb e l o w ：f o r i n t e r - l a y e ri n t mt e x t u r ep r e d i c t i o n , iu s e2 - t a pb i l i n e a ri n t e r p o l a t i o nf i l t e rt o u p s a m p l et h ec h r o m i n a n c ei n f o r m a t i o ni n s t e a do fp r e v i o u s6 - t a ph 2 6 4 a v c i n t e r p o l a t i o nf i l t e ra c c o r d i n gt ol u m i n a n c ei sm o r es e n s i t i v et h a nc h r o m i n a n c ef o r i i l 中山大学硕士学位论文 h u m a nv i s i o ns y s t e m ；a c c o r d i n gt ot h ep e r f o r m a n c eo fu s i n gd i f f e r e n ti n t e r p o l a t i o n f i l t e r sw h i l et h eq pv a l u eo fb a s e l a y e ri sv a r i a b l e ip r o p o s enn e wa d a p t i v e s e l e c t i o nf o ru p s a m p l i n gf i l t e r sw h i c hw i l lr e d u c et h ee n c o d i n gc o m p l e x i t yw h i l e c o d i n gp e r f o r m a n c ei sa l m o s tt h es a m ea st h eo l do n e ；f o ri n t e r - l a y e rr e s i d u a l p r e d i c t i o n , s i n c eb o t hl u m i n a n c ea n dc h r o m i n a n c e 豫b i l i n e a ri n t e r p o l a t i o nf i l t e r , w ea l s ou s et h ep r o p o s a lt oi m p r o v et h ec o d i n gp e r f o r m a n c e k e yw o r d s ：s v c ，i n t e r - l a y e rp r e d i c t i o n , u p s a m p l i n gf i l t e r i v 1 1引言 第1 章绪论 1 1 1视频编码的应用与需求现状 在信息技术和计算机互联网飞速发展的今天，多媒体信息技术应用日趋广 泛，涉及到社会生活的各个领域。尤其是以图像、视频、音频等为代表的多媒 体信息，已经成为计算机信息领域技术开发和研究的热点。数字化的多媒体信 息处理具有易于加密、抗干扰能力强、可再生中继等众多优点，但是同时也伴 随着多媒体海量数据的产生，这对多媒体信息存储设备及多媒体通信网络均提 出了更高的要求。 多媒体信息包括音频数据、视频数据和文字数据，而视频数据占有重要的 地位，人类获取的信息有7 0 来源于视觉。数字视频技术已经广泛地应用于社 会生活的方方面面，它将把计算机应用引入一个前所未有、几乎是无所不能的 诱人广阔领域，成为未来高新技术的主要技术之一。通过数字视频技术，人们 能够真实感受到信息技术所带来令人兴奋的新体验。数字视频技术为信息共享 的自由提供了多维化空间的交互能力，并且已经在电影、电视和文艺创作方面 已取得了可喜的成果，今后也将会越来越多地被利用来进行各个领域的创作活 动，数字视频技术将引起信息社会的一场划时代的革命。 目前，典型的数字视频应用例子有：视频点播、电子商务、实时广播、视 频监控、视频会议、多媒体通信、远程医疗、高清晰度数字电视( h d t v ) 等 等。但是，以上所有的应用都必须压缩。因为传输的数据量之大，单纯用扩大 存储器容量、增加通信干线的传输率的办法是不现实的。数据压缩技术是个行 之有效的解决方法，通过数据压缩，可以降低信息数据量，以压缩形式存储、 传输。2 0 世纪9 0 年代以来，视频压缩编码技术及其标准化工作取得了一系列 重大成就，制定了一系列音视频编码标准。例如h 2 6 1 、h 2 6 3 、h 2 6 4 、m p e g - l 、 m p e g 2 、m p e g - 4 等。视频压缩编码技术已经成为信息产业三大支柱类产业一 一通信、计算机、消费类电子产品的不可或缺的关键技术。 中山大学硕士学位论文 视频通信的一个重要特性是应用环境的复杂性，包括传输网络的复杂性和 接收设备的复杂性。数字媒体的应用很多都要通过通信网络进行传输与交互， 而现今存在着各种不同的通信网络，如有线网络中的i n t e r a c t 、a t m 网、p s t n 、 i s d n 、c a t v 网，各种接入网a d s l 、x d s l 、h f c ，无线网络g s m 、g p r s 、 3 g 、w l a n 、蓝牙、卫星通信等等。不同的通信信道具有不同的带宽，不同的 延迟，不同的误码率和q o s 保证，而且在网络传输过程中带宽等也是不断变化 的。与此同时，在接收设备方面也存在着巨大的差异。移动手机、p d a 、笔记 本电脑、投影设备等不同的接收设备对视频在尺寸上，帧率上，图像质量上等 的要求各有不同。为此，视频编码技术也必须适应这种复杂的应用环境的要求， 满足不同的需求和服务。 1 1 2 分级编码的重要性 传统的解决方法就是针对不同的需求生成多个比特流来满足不同的需求。 这种多比特流的方法在视频流式应用中被广泛应用。通常是对同一视频片断生 成几个比特流，然后根据不同应用需求进行切换。这种方法的最明显的缺点就 是没有对同一个信源的比特流之间的高度统计相关性加以利用。假设视频编码 系统需要适应以空间分辨率r 、帧率足和图像质量水平兄的空时分辨率的解 码，就必须生成个足足咒比特流来表示同一视频源。比特流和相应的存储 和带宽消耗随着需求的解码格式的增加而迅速增长，进一步显示出这种方法的 局限性和低效率。另一种方法就是通过转码来满足这一要求，单从存储角度看 这种方法是可行的，但对于视频不同环境下的实时应用来说，实时自适应的转 码并不很有效而且计算复杂度非常高【l j 。 另一种解码途径就是可分级视频编码( s e a l a b l ev i d e oc o d i n g ，s v c ) 。其基 本思想是使生成的视频码流可以在一个很大的码率范围内自适应调整，在解码 器端从接收到的部分压缩码流便可解出有意义的视频信息【2 】。对于异构网络上 的视频流传输来说，这种思想是一种简单而又灵活的解决方法。s v c 能够支持 不同码率下的解码，能够适应复杂的网络带宽波动与复杂的应用环境。对于带 宽有限及易出差错的传输环境来说，s v c 是保证q o s 的一个重要技术。s v c 可分级视频编码层问预测的研究 的众多优点使得其具有很好的应用前景，但是目前的s v c 还只是h 2 6 4 的一个 扩展部分，仍处于研究阶段，还未真正的应用到实际中。如何提高s v c 的编码 效率，降低实现复杂度，使s v c 能在不久的将来得到实际应用，是当前亟需解 决的问题。 1 2 论文工作 论文介绍了当前可分级视频编码的发展现状，具体阐述了可分级编码层间 预测的理论知识和编码方案。基于上述研究，论文工作的主要成果如下： 1 对是否做层间预测编码进行了实验分析，比较了不做层间预测、总是使 用层间预测及自适应层间预测三种情况下的结果，分析了编码器的编码性能与 编码复杂度之间的关系。 2 对层间帧内纹理预测的上采样进行分析。提出了对色度上采样采用2 - t a p 双线性滤波器来替代原先的6 - t a p 滤波器：针对不同基本层对滤波器选择的影响 不同，提出了对亮度上采样采用自适应选择2 诅p 双线性滤波器和6 - t a p 滤波器 来替代原先的6 - t a p 滤波器。实验表明，在编码性能基本一致的情况下，降低了 编码的复杂度。 3 对层间残差预测的上采样进行分析。提出了对亮度上采样采用自适应选 择2 t a p 双线性和4 诅p 双立方滤波器来替代原先的2 t a p 滤波器。实验表明， 对于运动比较剧烈的序列来说，该方案在适当增加编码复杂度的同时提高了编 码性能。 1 3 论文安排 本文的内容安排如下： 第1 章绪论。论述选题与研究的意义。相关研究的发展现状及存在的问题。 第2 章可分级视频编码。对当前标准中的可分级编码进行了介绍，着重介 绍了时域可分级编码中的两种分级技术，并通过实验比较分析了这两种时域分 级技术。 第3 章层间预测技术。对当前标准中的三种层间预测模式进行了介绍，并 通过实验比较分析了不使用层间预测、总是使用层问预测和自适应层间预测三 中山大学硕士学位论文 种方法。 第4 章自适应上采样层间预测信息。根据基本层量化参数对上采样滤波器 的选择影响，提出了改进的自适应上采样层间预测方法，并进行了实验验证。 第5 章总结。总结了论文的工作，展望未来，提出了今后工作的方向。 最后是参考文献，致谢。 4 2 1引言 第2 章可分级视频编码 可分级视频编码通常又称为可扩展、可分层视频编码，最早是为了增强在 异步传输模式下视频传输的鲁棒性而提出的。在早期的研究中发现，已编码的 视频流在传输的过程中非常容易丢失数据包。针对这一情况，可分层的概念被 提出来：将原来的视频流分为两层，其中携带最重要的信息的称为基本层，而 携带残留信息以增强基本层图像质量的则为增强层。如果遇到网络拥塞，则丢 弃增强层的数据而保留基本层。这种模式即后来为人们所熟悉的质量可分级 ( s n r ) 技术，并首次被包含到m p e g - 2 标准中的一系列可分级工具q a t 3 1 。 m p e g 2 首次提出了“可分级”的概念，并提供了数种可以支持可分级功 能的工具，包括空域可分级、时域可分级、质量可分级以及它们的不同组合形 式。h 2 6 3 也采用了类似于m p e g 2 可分级编码的基本思想和技术，支持可分 级的编码和传输。在m p e g 2 和h 2 6 3 中的可分级编码技术我们称为传统的可 分级编码技术。 2 0 0 4 年l o 月视频联合专家组( j v t ) 提出在h 2 6 4 a v c 的基础上制定可 分级编码标准，其目的是在h 2 6 4 a v c 的基础上提供完整的空域、时域、s n r 和复杂度可伸缩性工具，并准备将其作为h 2 6 4 a v c 扩展【4 1 【5 1 。s v c 标准制定 工作以m p e g 2 1s c a l a b l ev i d e om o d e l3 0 作为基础，并在2 0 0 5 年1 月公布联合 可分级视频编码模型j s v m0 ( j o i n ts c a l a b l ev i d e om o d e l0 ) t 6 1 1 7 1 8 1 。 j s v m 的基本框架如下： j s v m 编码器根据可分级的维数可以得到相应的编码器结构。图2 1 是典型 的三层空域可分级编码器的结构图1 9 1 。每一个核心的编码块由基本的 h 2 “，a v c 编码器组成，并且相应地增加了层间预测和s n r 可分级技术。 中山大学硕士学位论文 ? ”o w * 。珏酶0 ：m 一。一。麓 图2 - - l 可分级视频编码结构图 在h 2 6 4 a v c 中，视频序列的编码是基于宏块的。然而基于层的编码器使 得空域可分级，编码端采用下采样滤波器对每一空域层产生低分辨率信号。一 般来说，下采样率设置为2 ( 基本层的空域分辨率是其增强层的一半) 。扩展空 域可分级( e x t e n d e ds p a t i a ls c a l a b i l i t y ) 将下采样率设置为l 到2 之间，它将基 本层当作增强层的裁剪版本。 低层的运动信息可以作为更高层的预测，这种方式的预测可以在基于宏块 和基于块之间进行选择；帧内预测技术可以从邻近宏块或者其他层的相应位置 进行预测而不采用运动信息：此外，利用低层的残差数据作为高层的预测也是 一种高效的方法。 帧内预测或者运动补偿帧间预测得到的残差信号进行空域小波变换。假如 6 可分缓视频编码层间预测的研究 不执行层间预钡4 ，则在每个空间层上编成一个基本的h 2 6 4 码流提供该层最小 质量的重建图像。对于质量可分级来说，增强层会进行嵌入式熵编码( c o a r s eo r f i n eg r a i ns n r c g so rf g s ) 。 在j s v m 中，采用分层b 图像( h i e r a r c h i c a lb p i c t u r e s ) 来实现时域可分级， 分层b 图像提供了完全的预测结构。而运动补偿时域滤波( m o t i o nc o m p e n s a t e d t e m p o r a lf i l t e r i n g ，m c t f ) 为可选技术。m c t f 可以看成是编码端的预处理滤 波器，对于特定的序列可以提高率失真性能。 2 2 空域可分级编码 空域可分级定义为同一视频在不同空间分辨率或尺寸下的表示。在s v c 中 空域分级性通过分层方式来实现，一股地说，空域可分级性的编码输出由两个 码流组成：1 ) 可以单独解码的基本层码流，它提供低分辨率的视频；2 ) 需与 基本层码流共同解码的增强层码流，它提供高分辨率的视频。如图2 2 所示， 其中，作为空域增强层图像预测参考帧的基层图像是对原始图像进行单向( 一 维空域可分级编码) 或双向( 二维空域可分级编码) 亚采样后的编码图像，它 从一个视频源产生两个空间分辨率的视频层1 2 1 。基本层数据的编码可以不必考 虑增强层的数据，而增强层中包含基于基本层的预测误差信息，当增强层中出 错对，可以只对基本层数据解码。另外，在频繁出错且增强层数据丢失的情况 下，这种技术还可减小解码图像的非线性失真或运动抖动。基于h 2 6 4 a v c 标 准的空域可分级编码，其基本概念与视频标准h 2 6 2 m p e g - 2v i s u a l 、h 2 6 3 以 及m p e g _ 4v i s u a l 中的空域分级概念相同，唯一的不同点在于加入了层间预测 机制用以提高编码效率，有关层问预测机制在第三章中详细说明。 7 中山大学硕士学位论文 2 3 时域可分级编码 图2 2 空域可分级编码 增强层 基本层 基于h 2 6 4 a v c 标准的s v c 中包含了两种时域可分级技术：分层b 图像方 法( h i e r a r c h i c a lbp i c t u r e ) 和运动补偿时间滤波( m o t i o n c o m p e n s a t e dt e m p o r a l f i l t e r i n g , m c t f ) 。 2 3 1 分层b 图像 基于h 2 6 4 a v c 标准的s v c 采用分层b 图像作为标准模式来实现时域可分 级技术，能够与h 2 6 4 a v c 标准兼容。 图2 3 为4 阶分层b 图像的典型结构，可以提供4 个时域分级 9 1 。这里首先 给出关键帧的定义：若某一帧图像前面所有被编码的图像在显示顺序上都先于 这帧图像。那么这帧图像就叫关键帧。例如图中的第0 ，8 和1 6 帧就是关键帧。 使用分层b 图像编码结构时，视频序列的第一帧编码为i 帧，然后编码关键 帧。关键帧既可以编码为i 帧，也可以利用前一个关键帧作为参考图像编码为p 帧。图像组中的其它图像使用b 帧编码，但是编码的顺序是按照金字塔似的分 级顺序进行的。以图2 中的第一个c r o p 为例，首先编码第8 帧，然后编码第4 帧，接下来是第2 和第6 帧，最后编码第l ，3 ，5 ，7 帧。通过这样的金字塔似的 可分缀视频编码层间预测的研究 编码顺序就实现了时间可分级。所有的关键帧组成了最粗糙时间分辨率的视频 序列，随着在编码顺序上的图像的递增，时间分辨率也跟着增加，最后达到完 全时间分辨率的视频序列。 在h 2 6 4 a v c 中，任何图像都可以标记为参考图像，用作其他图像的运动 补偿预测帧。解码图像缓存( d e c o d e dp i c t u r eb u f f e r ，d p b ) ，最多同时可以储存 1 6 张图像，由内存管理控制操作( m e m o r y m a n a g e m e n tc o n t r o lo p e r a t i o n ，m m c o ) 来自适应地控制。而d p b 中用作其它图像的运动补偿预测的参考图像通过参考 图像列表重排( 建龟r e n c ep i c t u r ef i s tr e - o r d e r i n g ，r p l r ) 来进行任意地选择。 h 1 2 6 4 a v c 的这些特性使得分层b 图像编码结构在h 2 6 4 a v c 标准内不需要任 何修改就可实现，这在之前的视频编码标准中是不可能做到的。 2 3 2m c t f 图2 - 3 分层b 图像结构图，g o p - - 8 作为另一种时域分级技术，s v c 定义了基于运动补偿的时域滤波( m c t f ) 分解结构。在过去的视频标准中，当可分级技术与运动补偿和块变换结合到一 起时，编码效率就会下降，这主要是因为多重循环预测造成的漂移问题( d f i 矗 p r o b l e m ) 1 0 l 。为了解决漂移问题，o h m t l l l 率先提出了m c t f 技术，而后c h o i 和w o o d s 1 2 i 对其进行了改进。与传统的混合编码器相比，m c t f 是一种开环的 编码结构( 使用原始图像作为预测图像) ，是基于小波提升机制的。基于小波提 升机制的m c t f 有两大优点：第一，小波提升为小波变换提供了有效的实现方 法。比直接进行小波变换的计算量大约可以降低4 倍；第二，保证了这些已被 时间分解的信号在不被量化的情况下进行完美重构。 提升机制一般包括三个过程：多相分解( p o l y p h a s ed e c o m p o s i t i o n ) 、预测 9 中山大学硕士学位论文 ( p r e d i c t i o n ) 和更新( u p d a t e ) ，图2 _ 4 为基于分析一综合滤波器组的提升原理 框图【4 l 。 三章r 申i ( 毫) 蚴 l 跏n gs c h e m e i n v e r s el j f l i n gs c h e m e ( a n a l y s sf i l l e r b a n k )【s y n l h e 3 i sf n e r b a n 崎 图2 - 4 基于分析一综合滤波器组的提升原理图 在图2 - 4 ( a ) 分析滤波器端，输入视频信号s k l 首先在时间上被分解为奇采样 值s 2 k + 1 和偶采样值s 【2 明：第二步，在预测过程中，奇采样值s 2 k + 1 使用偶 采样值s 2 k l 的线性组合作为预测值，令预测算子为p ( s 2 明) ，预测残差就是分 解后的离通信号矗阿= s f 2 轴1 】一p q 【2 嗣) ；第三步，在更新过程中，将高通信号 埘明的线性组合作为更新值加入到偶采样值s 2 k ，得到分解后的低通信号，嘲 = s 【2 明+ u 七】) 。数学表达式如下： 矗陆】= s 【2 七+ l 卜p g 【2 七d w i t h p ( 4 z k d - - e p 。s 【2 ( 露+ 纠 t k - - s 【2 七】+ u o 扯d w i t h u o k d = 芝u ，h k + f 】 2 j ) f 预测和更新过程都是可逆的，相关的变换可以解释为严格采样的完美重构 滤波器组。综合滤波器可以简单地由预测和更新算子的逆顺序组成。为了对低 通和高通信号进行归一化，可以选择适当的伸缩因子日和凡。然而，在实际 中，我们把这里的伸缩因子归类于量化步长。 假设札x ，明为一视频信号，空间坐标x = o ，力7 ，时间坐标为k 。 在h a a r 小波变换的情况下，时域分解的预测和更新算子如下： p 始。g 【x ，2 七d = s i x ，2 七】 u 胁( 而【x ，尼d ：昙m x ，纠 ( 2 2 ) 二 在5 3 小波变换的情况下，时域分解的预测和更新算子如下： 可分级视频编码层何预测的研究 p 5 ，g x ，2 七d = 去0 【x 2 七】+ 虹x ，2 k + 2 】) ，( 2 3 ) u ，似【x ，七d= 帆x ，明+ 研x ，k - l 】) 扩展到运动补偿时域滤波，时域分解的预测和更新算子修改为： p 胁g 【x ，2 k d = s x + n l p o ，2 k 一2 o 】 u 脚o 【x ，j i d = ：1 矗 x + n l u o ，k + r u o 】 二 b ，3 g x ，2 膏d = 昙g x + m ，。，2 k 一2 r e 。卜缸x + m p i ，2 露+ 2 + 2 r e i 】) ( 2 - 4 ) 二 u 5 ，3 0 【x ，七d = o 【x + i 1 1 1 u o ，k + r u o 】+ h x + m ，i ，七一l r v l l ) | 式中，参数r 为参考帧序号，参数m 为运动向量。从上面的公式可以看出， m c t f 的预测过程与传统的混合编码器中帧间预测过程一致，当使用h a a r 小波 进行提升时，其预测和更新算子相当于h 2 6 4 a v c 中的单向运动补偿预测( p 帧) ；当使用5 3 小波进行提升时，其预测和更新算子相当于h 2 6 4 a v c 中的双 向运动补偿预测( b 帧) 。基于h 2 6 4 a v c 标准的m c t f 编码结构与h ，2 6 4 a v c 的主要区别是：在m c t f 编码结构中多了一个更新过程，并且m c t f 技术使用 开环的编码方法，即运动预测参考图像使用原始的输入视频，而不是经过编码、 重建后的图像。 跟单向运动补偿预测相比，双向运动补偿预测将产生更小的预测残差能量， 但同时也增加了编码运动矢量所需要的比特数。因此，在h 2 6 4 a v c 的s v c 扩 展中，自适应的选择h a a r 小波和5 3 小波编码方式，以提高压缩效率。h a a r 小 波和5 3 小波的选择以宏块或子宏块为单元进行，宏块的分割模式以及小波类型 都作为宏块的运动信息进行编码。 s v c 中以g o p 为单元进行m c t f 分解，图2 5 为c o p 大小为8 ，3 级时间 分解的m c t f 例子。输入的原始序列经过3 次m c t f 分解后得到一个低通帧 l 3 和3 组高通帧h 3 ，h 2 ，h 1 。当只传输l 3 时，解码器可重建出具有1 8 原始帧率 的序列；附加传输h 3 ，h 2 ，h 1 后，可依次重建出具有l ，4 ，l ，2 和原始帧率的序列。 中山大学硕士学位论文 e n h a n c el a y e r e n h a n c el a y e r e n h a n c el a y e r b a s el a y e r 图2 - 5 三级时间分解的m c t f 2 3 3 时域分级比较实验 m c t f 和开环分层b 图像在形式上是一致的，惟一的差别在于后者略去了“更 新”，正因为如此，对比于m c t f ，使用开环分层b 图像，高频帧的失真对整体失 真的影响要略大一些f 1 3 】。文 中对开环m c t f 技术和闭环分层b 图像技术进行了比 较分析，提出了采用闭环分层b 图像技术替代m c t f 技术，而将m c t f 作为预处理技 术来滤除时域上的嗓声。 下面我们采用闭环分层b 图像和m c t f 这两种时域可分级技术，分别对单 层编码、多层s n r 分级编码和多层空域分级编码进行了实验。测试的序列为 b u s 、f o o t b a l l 、f o r e m a n 、m o b i l e 、c i t y 、c r e w 。实验结果如下： 可分级视频编码层问预测的研究 b u s c i f3 0 h z 图2 - 6 序列b u s 的时域技术比较 c r r y c 舻3 0 p i z 图2 7 序列c i t y 的时域技术比较 实验结果表明，对于绝大部分序列，采用闭环分层b 图像技术在率失真性 能上优于采用开环m c t f 技术，如图2 - 6 所示。但是c i t y 序列例外，其采用 中山大学硕士学位论文 m c t f 技术优于采用闭环分层b 图像，如图2 7 所示。因此，我们做了进一步 的实验分析，判断其增益是由于编码端的m c t f 还是解码端的更新过程带来的。 通过实验发现，其增益主要来自编码端的m c t f ，如图2 8 所示。序列c i t y 采 用开环m c t f 优于闭环分层b 图像的原因主要是c i 够在时间轴上存在着噪声， 而编码端的m c t f 有滤除噪声的作用，其相当于一个降噪滤波器。因此，在编 码端采用开环m c t f 技术一定程度上滤除了时域上的噪声，使得最后的率失真 性能优越。 c r r y c i f3 0 h z 图2 8 序列c 时的时域技术比较，增加了只在编码端做m c t f 由于编码端做m c t f 可以滤除时域噪声，且闭环分层b 图像技术在率失真 性能上优于m c t f 技术。因此，目前的j s v m 参考软件采用闭环分层b 图像技 术来代替之前版本使用的m c t f 技术，而对于某些特定的序列而言，则先在编 码端做一次m c t f ，作为滤除时域噪声的预处理技术，然后再采用闭环分层b 图像技术进行时域可分级。图2 - 9 为序列c i t y 做一次m c t f 预处理，后采用闭 环分层b 图像技术的率失真性能比较。可以看出采用m c t f 作为预处理，使用 闭环分层b 图像作为时域分级技术在编码性能上优于只采用m c t f 或者闭环分 层b 图像技术。 1 4 可分级视频编码层问预测的研究 c r r y c i f3 0 h z 图2 9 序列c i t y 的时域技术比较，采用m c t f 作为预处理 2 4 质量可分级编码 质量可分级编码( q u a l i t ys c a l a b i l i t y ) 又称为信噪比可分级编码( s n r s c a l a b i l i t y ) ，是从一个视频源产生两个具有相同的空间、时间分辨率和不同视 频质量的视频层，基本层提供基本视频质量，而增强层被编码来增强基本层， 当把增强层加回到基本层时，它将重新产生一个高质量重建，即它们具有不同 的s n r 。 s v c 中定义了两种s n r 分级方式：c o a r s eg r a i ns n r ( c g s ) 和f i n eg r a i n s n r ( f g s ) 。 2 4 1c g s c g s 方式的实现类似于空域分级，其区别仅在于c g s 的不同层具有相同的 空间分辨率，因此进行层间预测时，运动信息和纹理信息都不需要进行缩放。 高质量层通过使用比低质量层更小的量化参数来取得更高质量的重建图像。而 所有的空域预测方式都可以在c g s 中使用。 中山大学硕士学位论文 2 4 2f g s 基于h 2 6 4 a v c 的s v c 中的f g s 通过在每个空域层中对变换系数进行逐 渐精细的量化编码来实现，其实现方式与m p e g - 4 中定义的f g s 不同。f g s 可 在一个质量基本层之上编码多个质量增强层，并且每个质量增强层的量化步长 逐渐变小。每个增强层的量化系数编码成一个单独的e 片( e n h a n c e m e n ts l i c e ) 进行传输，解码时将反量化后的系数加入到基本层和之前质量层反量化系数中， 并将结果反交换后得到当前质量层重建图像。为了使编码产生的质量增强层码 流能在任意点被截断，以满足逐渐精细的质量可分级性，s v c 对每个质量增强 层量化后的变换系数使用了类似于位平面编码技术( s u b b i t p l a n ec o d i n g ) 的修 改过的c a b a c 和c a v l c 熵编码技术，以实现s n r 的逐渐精细。 对于c a b a c ，在每个质量增强层中，s v c 将对量化系数进行两次扫描： 第一次扫描过程编码的系数，若系数在基本层或所有之前增强层中对应位 置的系数都为0 ，称为非重要系数。 第二次扫描过程编码的系数，剩余系数，即在基本层或之前某增强层中对 应位置的系数不为0 系数，也称为重要系划1 5 i 。 对于c a v l c ，采用轮转编码( c y c l i c a lc o d i n g ) ，即每一周期内，编码一个 非零以及之前的所有零系数。在这种方法中，扫描索引( s c a ni n d e x ) 指的是给 定的周期中第一个被编码系数的系数索引( c o e 伍c i e n ti n d e x ) 。 2 5 混合可分级编码 2 t 2 、2 3 、2 4 中空域可分级、时域可分级、质量可分级能够很容易地组合 到一起，使得其能同时支持各种尺度下不同的分辨率。图2 1 0 就是一个典型的 混合可分级编码的结构图，同时具有空域、时域、质量可分级性。 1 6 可分级视频编码层问预测的研究 图2 1 0 2 6 扩展的空域可分级编码 h 2 6 4 可分级扩展最初只支持二倍关系的空域可分级，即相邻空间层之间 的长和宽都是二倍关系，随着标准制定过程的深入，h 2 6 4 可分级扩展进一步 引入了扩展的空域可分级( e x t e n d e ds p a t i a ls c a l a b i l i t y , e s s ) ，即允许相邻空间 之间的关系更为一般化。在扩展的空域可分级中，空问分辨率较低的一层所表 示的图像可以是其空间增强层所表示的图像中裁剪出来的区域，而且，与该区 域的关系也可以不是二倍关系。处理扩展的空域可分级有3 个关键问题：1 ) 需 要传送裁剪区域的原始图像中的坐标；2 ) 需要传送空间相邻层之间的缩放关系 并确定相应的上采样滤波器：3 ) 需要确定层间预测时各种信息的对应关系，尤 其在裁剪区域的边界不是原始图像中的宏块边界时。图2 1 l 中表示了扩展空域 可分级编码增强层与基本层的关系【9 】【1 3 l 。 1 7 中山大学硕士学位论文 l lll l ，- 【| 0 2 7 小结 e n h a n c e m e n t $ 岫i 帅 图2 - 1 1 扩展空域可分级增强层和基本层的关系 b e 印a n i 呐 本章主要对当前可分级视频编码技术作了一个综述，根据不同的分级方式 分别介绍了空域可分级、时域可分级、质量可分级、混合可分级和扩展的空域 可分级。其中重点介绍了时域可分级，对两种时域分级技术分层b 图像和m c t f 技术进行了分析和实验比较。 3 1冗余 第3 章层间预测技术 数据压缩理论已经有了很长的历史，压缩编码的理论基础是香农信息论。 从信息论的角度看，压缩就是去掉冗余信息，即去掉确定的信息( 可以推知的 信息) ，保留不确定的信息，使用一种更接近信息本质的描述代替原有的冗余的 描述，这个本质就是信息的不确定度，或者叫信息量或信源熵，其大小即为理 论上可达到的压缩的极限。 视频序列存在着时域冗余、空域冗余、编码冗余和视觉冗余等，而可分级 视频编码是基于层结构的，层与层之间存在着一定的相关性，因此存在着层间 冗余。我们将主要介绍时域冗余、空域冗余和层间冗余。 3 1 1时域冗余 运动图像存在着很大的冗余，图像序列中前后两帧图像之间的时间相关性 很大，这反映为时间冗余。对于视频图像来说，相邻帧之间的时间间隔很小。 在1 2 5 秒或l 为o 秒的帧闾间隔内，景物运动部分在画面上的位移量很小或当场 景交替时整幅景物切换的概率极小。大多数像素点的亮度及色度信号帧间变化 很小或基本不变。在传统的视频编码技术中，运动估值( m o t i o ne s t i m a t i o n ， m e ) 和运动补偿( m o t i o nc o m p e n s a t i o n ，m c ) 是一种帧间编码的方法，其原 理是利用帧间的相关性来减小冗余度。如果将前后两帧相减( 移动物体作相应位 移) 得到的差值作编码所需的比特数要比帧内编码所需的比特数少，帧间差集中 在零附近，可以用短的码字传送。 所谓运动估值和运动补偿是指由已编码的前一帧( 前向补偿) 或后一帧( 后 向补偿) 或前后帧来预测当前帧，这个己编码的帧称为参考帧，运动补偿后得 到的残差帧称为差值帧( d f d ) 。利用运动位移信息与前面某时刻的图像对当前 画面图像进行预测的方法，称为前向预测。反之，根据某时刻的图像与位移信 息预测该时刻之前的图像，称为后向预测。 在现代视频编码技术中，图像被切割成像素块，利用块匹配算法来计算当 1 9 中山大学硕士学位论文 前帧与参考帧的块位移大小。块位移大小也就是运动矢量( m o t i o nv e c t o r ，m v ) 将会作为当前块的运动信息保存在比特流中。然后通过块匹配算法得出的最佳 匹配块减去原始块，对差值块进行变换、量化和熵编码。运动估值和运动补偿 也是视频编码中运算最为复杂的部分。 3 1 2 空域冗余 一帧视频图像相邻各点的取值往往相近或相同，具有空间相关性，图像的 空间相关性表示相邻像素点取值变化缓慢，这就是空域冗余度。去除空域冗余 主要有两种方法：变换编码和帧内预测。 从频域的观点看，意味着图像信号的能量主要集中在低频附近，高频信号 的能量随着频率的则增加而迅速衰减。通过频域变换，可以将原图像信号用直 流分量及少数低频交流分量的系数来表示，可对图像的空间冗余度进行有效的 压缩。变换编码首先将空域图像数据通过某种变换方法