（计算机软件与理论专业论文）基于53运动补偿时间提升的可伸缩视频编码.pdf

摘要 本文提出了基于5 3 运动补偿时间提升滤波的完全可伸缩视频编码方案。5 3 提升滤波能更充分的利用帧间相关性，计算简便，并具有可逆性，便于实现亚象 素精度的运动补偿。我们根据5 3 提升滤波的特点，设计了将其实现的有限内存 算法，避免了帧组带来的边界效应，也去掉了对视频序列长度的限制。为了提高 低码率时5 1 3 提升滤波的性能，我们提出了运动矢量的压缩表示方法，使得真正 编码的运动矢量总数不超过每个原始帧一个。基于块匹配的运动补偿产生了不相 连像素，我们根据像素的不同连接状态设计了不同的运动处理模式。本文的最后 给出了实现空间、时间和信噪比完全可伸缩的编码方案。实验结果表明，本文提 出的方法的性能优于h a a r 提升滤波o 3 0 7 d b ，在中高码率时与h 2 6 4 a v c 也 是可以比较的。 关键词：可伸缩视频编码，运动补偿时问提升滤波，5 3 提升，亚象素精度，不相 连像素 s c a l a b l ev i d e o c o d i n g w i t h5 3m o t i o n - c o m p e n s a t e d t e m p o r a ll i f t i n g o v l i uc h u n b o m a j o rs u b j e c t ：c o m p u t e r s o f t w a r ea n d t h e o r y a d v i s o r ：p r o f h a nw e i h u a n a b s t r a c t t h i s p a p e rp r e s e n t s af u l ls c a l a b l ev i d e o c o d i n g s c h e m ew i t h5 3 m o t i o n - c o m p e n s a t e dt e m p o r a ll i f t i n g ( m c t l ) 5 3l i f t i n gc a nm o r ef u l l ye x p l o i tt h e c o r r e l a t i o n sa m o n gf r a m e s i t si n v e r t i b i l i t ym a k e si te a s yt oi m p l e m e n ts u b p i x e l a c c u r a t em o t i o n c o m p e n s a t i o n w ed e s i g n a m e m o r y c o n s t r a i n ta l g o r i t h m t o i m p l e m e n t5 3l i f t i n ga c c o r d i n gt oi t sc h a r a c t e r i s t i c s t h ea l g o r i t h ma v o i d sb o u n d a r y e f f e c t sc a u s e db y g r o u p so ff r a m e s i no r d e rt oi m p r o v e t h ep e r f o r m a n c eo f5 3l i f t i n g a tl o wb i t r a t e s ，w ep r o p o s ea c o m p a c tr e p r e s e n t a t i o nf o rm o t i o nv e c t o r s ，w h i c hc a u s e s t h et o t a ln u m b e ro fc o d e dm o t i o nv e c t o r si sn e v e rm o r et h a no n ep e ro r i g i n a lf r a m e s i n c eb l o c k b a s e dm o t i o nc o m p e n s a t i o np r o d u c e sm a n yu n c o n n e c t e dp i x e l s ，w eu s e d i f f c r e n tm o t i o nd i s p o s a lm o d e st od e a lw i t hp i x e l sw i t hd i f f e r e n ts t a t e so fc o n n e c t i o n f i n a l l y a s p a c i a l ，t e m p o r a l a n ds n rs c a l a b l e c o d i n gs c h e m e i s p r e s e n t e d t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e ds c h e m eo h t p e r f o r m sh a a rl i f t i n g0 3 0 7 d ba n dc a ne v e nb ec o m p a r a b l et oh 2 6 4 a v ca tm e d i u ma n d h i g hb i t r a t e s k e y w o r d s ：s c a l a b l ev i d e o c o d i n g ，m o t i o n c o m p e n s a t e dt e m p o r a ll i f t i n gf i l t e r i n g ，5 3 l i f t i n g ，s u b p i x e la c c u r a c y , u n c o n n e c t e dp i x e l s 第一牵弓l 言 1 。1 可伸缩视频编码 第一章引言 近年求，多媒体技术特别是视频编码技术的发展可谓是突飞猛进。v c d 、d v d 、f i d t v ( 商清晰魔电视) 相继走进普通家庭，使我们的生活黧加丰富多彩；视频会议、远程 医疗、远程教学种季巾嘲络视频应用，让我们的工作、学习更加方便抉撼。 i n t e m e t 和无线通信的迅速发展，极大的拓宽了视频和多媒体服务的应用范围，同时也 对魏频编码技拳提凌了更蕊豹要求。 一方面，己存在的网络是不均的，不问的网络连接县有不同的码率( b i t r a t e ) 、不同 的谈码率鞠不溺的缀务矮鬣( q u a l i t yo fs e r v i c e ，q o s ) 等级戴。潮l ，l 绘出了一个箍供援 萋l i 茬繁糕藏藤务豹辩梅逶薅瓣 频服务的舜构通信潮。表l ，1 列出了不同通信网上的视频服务传输码率( 带宽) 。 表1 i 不问通信翻七的致字貔额飘务传输码年 骚务玛枣 1 播( 地面，育线电视，卫星) 4 2 0 m b p s i s d n ( 综台溅务数字两) 6 4 k b p s 一2 m b p s ( p x 6 4 k b p s ) p o t s ( 普通老式电话服务) 1 44 5 6 k b p s i i n t e m e t 可交 另一方程，黢务提餐誊要求黯予通过冀揭连接访鞫懿组蠲户疑需警簪多媒体数据发送 笺= 皇! ! 奎一 一次。因此。萋予异梅豹鸯线，无线弱终熬援频传羧不仅婺求编码躲裹效性，还要求根握不 阉载网终条俘、设冬特性粒矮户偏好提供不同的码漩e 一个最直接的缎决办法是联播( s i m u l c a s t ) ，也就是将相同的视频流分别压缩成具有不 劂质量、空间分辨率和时间分辨率的多个码流，视频服务器根据实际要求将适当的位流传 输到具体的用户。然而，这样一来将消耗大量系统资源，也不能保证可以提供相对某个码 流的最佳的可用视频质量。因此，另外一种高效的解决方案可伸缩视频编码( s c a l a b l e v i d e oc o d i n g ，s v c ) 引起了越来越多的关注。 可伸缩视频编码旨在提供通用媒体访问( u n i v e r s a lm e d i a a c c e s s ，ir m a ) 。繇谓l i m a ， 可强掰一旬话i 柬解释：“任何人( 爝户) 可戳逶；窭任弼分震( 阏络和设备) 漕费任餐东蘸 ( 媒体类黧) ”。可镩缩编辑只褥编鹳一次，裁可以满是不同的要裳，因必缡鹳产生的妈渡 楚嵌入式分层数，对其中部分鳃鹤可以愿到具毒特定质量和时塑分辨率的视频。这葶孛编 码方式与联播蝴比，满是各种不同游要的能力更强，编码效率也大大提高。 1 2m p e g 一2 1 标准 m p e g 缝织霞藤正在翱订新熬标准“m p e g 一2 1 ：多媒体框架” 9 1 。该标准熬鏊标 跫“髓够在各秽网终窝设餐上透弱媳扩照搜翅多媒体资源”。m p e g 一2 1 懿楚七部分数字璎 遥配( d i g i t a li t e ma d a p t a t i o n ，d i a ) 鐾在完成多媒体内容的核心部分：总楚根擐协巍题质 量、可靠性和灵活性来创建和筵享多媒体内褰，从面允许多媒体应用连接具有不同视频殛 龋需要的不同用户群。 m p e g 组织将可伸缩视频编码纳为m p e g 2 1 标准的第1 3 部分，现在正征求s v c 的 方案“，计划于2 0 0 6 年底2 0 0 7 年初完成这工作。 m p e g 组织对可伸缩视频编码的要求和应用谶行了详细描述，其中剐举了包括空间 可 i 孥缩性、时闯可伟缩佼、s n r 可 牵缩性、复杂寝可 率缩僚等多达2 0 条要求。 当前，美、穗等国的凡个专家缰正对可佟缩褪频编码震开深入的骈究。 1 3 前人的研究成果与本文的主要内容 当前，可伸缩视频编码的踅点在于帧间编码，也就是时间可伸缩编码。采片：| 小波变换 的运动补偿时闷滤液( m o t i o n c o m p e n s a t e d t e m p o r a lf i r i n g ) 成为研究热点。c h e n 掇出的 m c e z b c 嘲采雳h a a r 滤波耩实璇，敬得了很好翡效粱。键是由于 壬a a r 滤波器是短支撑 2 第一章引言 的滤波器，不能更充分的利用帧间相关性。g o l w e l k a r 等人将提升型5 3 小波滤波器引入 m c t f i ”1 ，不过由于运动矢量数目的成倍增长，在低码率时性能反而不如h a a r 滤波器。l u o 等人对x u 提出的运动线( m o t i o n t h r e a d i n g ，m t h ) 方法“引加以改进，提出了高级提升型 运动线技术5 】 1 “，采用长支撑的提升小波结构进行时问滤波，并对像素的不相连问题进行 了研究，但是他们对编码的可伸缩性考虑得不多。s e c k e r 和t a u b m a n 放弃了基于块的运动 补偿，提出了可变形网格( d e f o r m a b l e m e s h ) 模型 1 ”，不过实现起来过于复杂。 本文采用5 ，3 运动补偿时间提升( m o t i o nc o m p e n s a t e d t e m p o r a ll i r i n g ，m c t l ) 来提 供时间可伸缩性，给出了亚象素精度的5 3m c t l 的计算公式，并实现了5 3m c t l 的有 限内存算法。本文还对运动矢量编码进行了讨论，给出了运动矢量的压缩表示方法，对三 帧变换单元的象素的不同连接状态进行了深入分析，提出了不同的运动处理模式。最后给 出了实现空间、时间和信噪比完全可伸缩的编码方案。实验结果表明5 3 提升滤波的性能 在所有码率上都优于h a a r 提升滤波，即使在低码率时也有0 3 0 5 d b 的增益：而且，5 3 提升滤波与性能优异的h 2 6 4 1 a v c 在中高码率时也是可以比较的。 本文各章的内容如下。第二章对可伸缩视频编码的发展进行了回顾。第三章重点分析 了5 3m c t l 的原理和实现。我们采用基于块匹配的运动补偿来实现时间滤波。为了更好 的利用帧间相关性，采用基于提升方案的5 3 滤波器进行分解。提升方案，不仅提高了计 算效率，减少了内存消耗，更重要的是提供了逆变换，可以实现完全重构，充分满足了我 们的要求。我们将亚象素( s u b p i x e l ) 精度的运动补偿引入5 ，3 提升滤波，提高了运动补 偿的准确性。第三章最后提出了5 3 提升滤波的有限内存算法，避免了传统方案中帧组带 来的边界效应，并且对视频序列的长度没有限制。 采用5 3 提升滤波，特别是在多级变换情况下，运动矢量的数目成倍增加，因此必须 考虑如何提高运动矢量的编码效率。第四章对运动矢量的压缩表示、不相连像素的处理、 运动矢量的分级编码等问题进行了深入分析。 第五章实现了完整的视频编码软件系统。第六章给出了实验结果。第七章对全文进行 了总结，并给出了今后的研究方向。 第二章可伸缩视频编码技术综述 第二章可伸缩视频编码技术综述 可伸缩性，英文为s c a l a b i l i t y ，也有人译作可分级性、可分层性，因为它是通过将码流 分为若干层实现的。这些层包括一个基本层、一个或多个增强层。对基本层解码得到低分 辨率的视频，这里的“分辨率”可以是质量、空间和或时间方向。增强层包含所有重构高 分辨率视频所需要的额外信息。每个相继的增强层递增的提高视频的分辨率等级和，或质 量。 本章首先讨论了m p e g 2 ，- 4 标准中采用的混合编码，然后讨论了基于小波变换的编码， 最后分析了运动补偿时间滤波技术。 2 1m p e g - 2 - 4 标准中采用的混合编码 2 1 1m p e g 2 标准提供的可伸缩性 m p e g 一2 标准是历史上第一个提出“可伸缩性”概念的视频编码标准。它定义了三种 可伸缩性：空间可伸缩性、时间可伸缩性和信噪比( s i g n a lt on o i s er a t i o ，s n r ) 可伸缩 性。下面分别介绍一下： 空间可伸缩性： 空间可伸缩性指在空间域进行的分层编码。这意味着这种编码方式下产生的层具有相 同的帧速率，但具有不同的空间分辨率。 m p e g 一2 沿用了m p e g l 的分块d c t 和帧间运动补偿预测技术，因此对于帧内的空间 分层也是基于分块d c t 的。对输入视频序列下采样，得到低空间分辨率的序列：再对该 序列进行d c t 变换，得到基本层码流。重构的基本层上采样到原始图像大小，作为高空 间分辨率视频的预测。编码预测误差就是空间分辨率的增强层。 时间可伸缩性： 时问可伸缩性是指编码产生的若干层具有不同的时间分辨率，也就是帧速率。这些层 结合起来可以提供与输入视频相同的完全的时问分辨率。每层的空间分辨率都与输入视频 相同。基本层提供低帧速率的视频。那些被基本层的重构帧预测的中间帧在增强层编码。 m p e g 一2 对时间可伸缩性的实现方法很简单。以两层时间可伸缩编码为例，将输入的 视频序列的所有帧分成两组，得到两个视频序列。对一个序列编码得到綦本层码流，对另 第二章可伸缩视频编码技术综述 一个序列编码得到增强层码流。 s n r 可搏绩性： s n r 可伸缩性也就是图像质量可伸缩性，指每层恩有不同的图像质量的分层编码。所 有的髅具有穗溺豹空润鞠时澜努辨率。 m p e g 2 的s n r 可伸缩性是在对d c t 系数量化过程中实现的。揍本层和增强层编码 采羯不同步长的量纯器。基本层包含对d c t 系数稳爨仡的德。增强屡采用燹小步长的量 化器对残差( 原始d c t 系数与基本层逆量化的d c t 系数的藏懂或者原始输入图像与艇卡l ；j 的基本层图像的差值) 细化，获得精细量化等级的系数。 m p e g 一2 疑支持擎一类型的可 枣续性，巍支持组会可馋缡牲，逛就是将空闻、时阍帮 s n r 可伸缩性中的两种可伸缩性结合起来。实际支持的组合可伸缩性有s n r 空间可伸缩 瞧弱s n r 一露阉可馋缭槛。 2 1 。2 纲越度可伸缨牲 为了吝易著精确的适应僚道毒宽瓣交晓，m p e g ，4 支持援频缡鹳中的缨靛度可镩镶性 ( f i n eg r a n u l a r i t ys c a l a b i l i y ，f g s ) 。f g s 的基本思想怒将视频序列编码成基本层和增强层。 基本鼹使蠲菲爵 孛缭缡玛这弱位速率豹下限。增强鬃缡玛原始图像与霪构图像豹差毽。墙 强层位流可以在编码究成后按每帧若干位进行截取。解码器能够从基本层和剩余增强层位 流中蕊榴高分辨率静橇频。然丽，商分辨率视频弱溪_ 鼙正滗予解码时每帧对应静位数。 m p e g 一4 征集f g s 提案时，共奄三种备选方鬃，分剐怒：预测d c t 残差的位平面 ( b i t p l a n e ) 编码、图像残差的小波编码和预测d c t 残差韵联配追求编码。经过几个核心 实验，d c t 残差的位平面编码以其实现简单鼹保蜜了缡码效率丽被选中。 在d c t 娥羞的位平面编码这一f g s 方案中，编码器使用与m p e g 一2 、m p e g 一4 、h 2 6 3 等标准蓑容的运动於臻d c t 变欹编弼产生基本层援颓。嚣在璞强层编强隧，扶蹑簸戆d c t 系数减去基本层逆量化的d c t 系数获得d c t 残差，然后对每个8 8 的d c t 残差块按z 形扫攒形戒数维，并将卡送糕数转换为二逶利数。一个块静簸平蟊定义为6 4 个系数中处 于同一位置的单独位组成的6 4 个元索的数组。按照从高到低的顺序依次对每个位平城进 行可交长编码( v a r i a b l el e n g t hc o d i n g ，v l c ) 。编弼时，按1 的个数将其分成若干段， 然后使用对游程和块络束标志的h u f f m a n 编码，就是每个h u f f m a n 码字代表的符哮包括 r u n 和e o p 两部分，其中r u n 代表l 前面出现0 的个数，e o p 为0 表示这个l 后俩还 有非0 系数，丽e o p 为1 表示这是这个块最蕊的一个1 。 兰三童里熊堕望塑塑翌挞查堡整 细粒度意味港增强层位流可以按任意长度解码。f g s 编码方案产生的增强层数目不是 围定的，而是由二进制方式表示残差所需要的位平面数决定的。缚个增强层递增包含更多 的视频细节来增强基本层。视频质量因丽随着增强层的增多而不断改善。 然而，传统的f g s 方案中，预测帧( p r e d i c t e df r a m e ) 中的基本鼷和所有增强层总是 豳参考帧( r e f e r e n c ef r a m e ) 的基本膳来预测，由于预测总是建立在最低质璧酶蕊本藤上， f g s 编码的编码效率不如传统的s n r 可伸缩编码。面怒另一方蟊i ，传统静s n r 冒 枣缩编 诲佼稍参考串寅中静褶弱爱进行精确磺瓣，搓离了编璐效率，却又会在犊缀( g r o u p o f p i c t u r e ， g o p ) 蠹郝造成误差熬漂移闰题( d r i f t i n g p r o b l e m ) 。 为了然决这些目题，哭枫、举世鹦、积张亚勤等人提如了灏进缨粒度可传缩( p r o g r e s s i v e f i n eg r a n t l l a r i t ys c a l a b l e ，p f g s ) 视频编码椴架2 0 】啦3 1 。被m p e g 。4 所采纳。p f g s 编码框 架的蕊本思路是在增强层引入高质量的参考图像和运动补偿米提高增强层的编码效率，同 时又在宏块层通过误差控制技术有效的抑制由于解码器得不到商质墩的参考图像所造成 的误箍传递和累积。由于该编码框架采用两层运动补偿和宏块( m a c r o b l o c k ) 层的误差控 制技术，所以在保持传统f g s 方案优点的基础上提供了高效的s n r 可伸缩编磷，并同时 支持离效的时间、空闻帮解码复杂度的可 率缩编碣。 m p e g 标准豹这种赣阉运动幸 嫠d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 帮祓舞交 换编鹦狸结合懿绽羁结搀被广泛采蹦，疆馨_ t 筑量差。2 6 1 2 6 3 2 6 4 标准秘銎像残蓑小波编码 2 州冽以及d c t 残差蟾匹配追求绽璐牡7 l 等袋弱了这一结构。这搴孛类型豹援频编码方法被 统称为混合编码。混合编码的特点是剩月翦聪重构的帧沿着运动轨迹来预测当前帧，有效 的提离了编码效率。 2 2 基予小渡变换的可伸缩编码 传统的可伸缩编码的变换编码郯采赐分块d c t 技术。d c t 在现行变换编联方法中最 接近缀佳变换k l ( k a r h u n e n - l o e v e ) 变换，能够有效的降低数据之间的相关性，将大 部分能量集中到少数几个变换系数上；并且计算复杂度低，易于实现。但是，以d c t 为 代表的传统变换编码方法由于时频局域性很藏，无法对图像的边缘轮廓等高频信息做出精 细的刘画，而人的视觉系统恰恰对这些信息非常敏感，因此重建闰像的主观质紧受到严重 影响。另一方磷，为了降低计算复杂度丽采用的分块变换技术，在提高编硒压缩比( 码率 降低 时会造成飞皱噪声( n n ge f f e c t ) 秘方块效应( b l o c ke f f e c t ) 。 近年泉，离散小波变按( d i s c r e t ew a v e l e tt r a n s f o r m ，d w t ) 由予具鸯楚好静l ；l 寸频，空 笙三主里塑堕堡塑塑璺垫查堡整 频局域性和内在的多分辨特性而在图像和视频编码研究中受到了越来越多的重视。新一代 静止图像编码标准j p e g2 0 0 0 t 3 0 1 正式放弃了d c t 而采用小波变换作为核心技术，取得 了优于传统j p e g 的压缩性能，并提供了空间和图像质量的可伸缩性。 d w t 通过两个正交( 或双正交) 的有限脉冲响应( f i n i t ei m p l u s er e s p o n s e ，f i r ) 滤 波器，将图像( 视频) 数据转换到多个不同的频率子带( s u b b a n d ) 上。对于低频子带，可 以根据需要重复这一分解过程得到频率由低到高排列的一系列子带。变换之后，图像( 视 频) 的绝大部分能量集中在低频子带，其余的能量递减的分布在各个高频子带【2 1 。 无庸讳言，小波变换的计算复杂度要高于d c t 。例如，二维8 x 8 的d c t 的最有效算 法仅需做5 4 次乘法运算t 3 1 】；而d w t 的计算复杂度依赖于滤波器的长度，至少每个系数做 一次乘法。 小波变换的优势主要表现在两方面： 一是具有良好的时频，空频局域性，特别适合按照人的视觉系统特性设计图像，视频编 码方案，提高图像视频的主观质量和编码效率。需要指出的是，j p e g2 0 0 0 与传统j p e g 相比性能的大幅度提高不能完全归功于小波变换。实际上，j p e g2 0 0 0 吸收了大量图像编 码的最新研究成果，包括其核心算法e b c o t ( e m b e d d e db l o c kc o d i n gw i t ho p t i m i z e d t r u n c a t i o n ) 。e b c o t 对小波变换的系数进行熵编码和码流组装。x i o n g 等人曾在保持量化 器和熵编码器等其它环节完全一致的情况下，对d c t 和小波变换的编码质量进行了准确 的评价【2 ”。结果表明，对于静止图像，在同样的码率下，小波变换的p s n r 值超过d c t 仅约l d b ；对于视频编码，小波变换的优势更少。 二是具有内在的多分辨特性，自然的支持了可伸缩编码。这是d c t 所不能比拟的。 j p e g2 0 0 0 正是利用小波变换这一特性提供了空间分辨率和图像质量的可伸缩性，从而实 现了渐进传输。 d c t 与小波变换在编码的性能上究竟孰优孰劣? 这涉及到编码方案的评价标准问题， 一般需要通过对比实验从计算复杂度、压缩比、图像质量等几个方面进行综合评价。计算 复杂度指编、解码所需的时间和空间大小。压缩比用码率( b i t r a t e ) 来衡量，对于图像来 说，单位为b i t r f i x e l ；对于视频，单位则为b i t s 。显然，压缩比越大，码率越低。评价图 像质量的方法有两种：主观质量评价和客观质量评价。主观质量评价方法就是让一群观察 者对同一幅图像按视觉效果的好坏打分，并对其进行加权平均。客观评价方法则是用恢复 图像偏离原始图像的误差来衡量图像恢复的质量，最常用的指标有均方误差( m e a ns o 。，e e r r o r ，m s e ) 和峰值信噪比( p e a k s i g n a l n o i s er a t i o ，p s n r ) 。m s e 的表达式为 第二= 章可伸雅视频编码技术综述 ( 一) 2 m s e = ! ：! ：! 醚n 其中，、矗分别表示原始图像和恢复图像的数据，i 、j 为图像的坐标，m 、n 为图像的 尺寸，显o i m ，e j n 。蔼p s n r 本矮土与m s e 籀霹t 英表达式为： n 2 p s n r = 1 0 t o g 。旦m s e 其中，q 表示图像数据的量化级数。 由于入强是图像( 锈颓) 信号酶最终犊浚者，主蕊矮爨评像鑫然更台璎，毽鸯助予摹| l 用视觉冗余除去某些相关数据，进一步提高编码效率，而这恰恰是当前研究很活跃的第二 代祝频编码的主要内容。根据前面的理论分析，小波变换凝有夔好的时频，空频局域往，特 别逶合按照人的携觉系统特性设计图像视频编码方案，从主观质爨评价角度来看，与d c t 相比无疑疑有明显的优势。 但是，出于主双质量评份实现起来比较复杂翻邋难，因此，大多数帻况下还是采羯客 观质量评价方法，以p s n r 作为评价标准。 ，l 、渡交换是实蠛可 枣缭编璃豹天熬工具。在夺渡交接在静止圈像夔霹 零壤编鼹上彀缮 巨大成功之后，很多人研究如何将小波变换应用到视频，炭现空间、时间和s n r 完全可伸 缩的视频编鹌。德不幸靛跫，小波变换在褫频编秘方面并不如其在菌像编秘方瑟那么“灵 验”。最主要的原因是，二维平面编码采用基于变换的小波模型来利用空间相关性，而时 域编码采用基于预测的运动模型柬利用时间相关住，如何有效的把= 者结合起来，特剐是 在保持各蜮的多分辨率结孝句的情况下结合起来是个非常困难的阗题。研究人员为了提高小 波视频编码的性能，进行了大量探索，提池了很多方案，总结起来主要有以下几种： 1 。“m c 二缝枣波”编码 一种域直接的方法是将m p e g 。2 混合编码方案中的d c t 用小波变换代替，即对经运 动羚经 ：瑟溺后豹残差酉像运滔，l 、波变换。这穆方法透鬻被稼走“m c + 二维夺波”编蕊 3 2 - 3 4 1 在过去十年中得到了深入研究。然而，由于小波变换并不擅长表示残差图像，g _ g e 方法并没有表现出入稍所期望的瞧能，甚至对子赢频信息鞍少酶碱差鹫豫，其往耱还不如 传统的d c t 方案。还有+ 个缺点是没有天然的时闯滤波。 2 三维小波变换编粥 k a r l s s o n 和v e t t e r l i 首先把设的二维w 分离黝滤波器族推j 。到3 维予带分瓣，合成0 3 5 1 。 这种方法熄二维小波编码向三维情形的简单的扩展，把时f 刚域看作三维空间里与二维平面 第二章霹姊缡援频编鹞技术综述 正交并且性质究全相同的第三维，直接用三维小波变换对视频进行处理。k i m 和p e a r l m a n 将谯静止图像编码中获得巨大成功的s p i h t 编码推广到了三维情况。然而，x i o n g 等人的 磺究表露2 ”，三缭小渡s p i h t 与珏2 6 3 酶p s n r 差距为l + 4 1 , 8 d b ，与瘸三缨d c t 找替 三维小波变换得到的三维d c q s p i h t 对比，优势也仅为0 5 d b 。究其原因，视频并不等同 于三维立体图像，在时间域上具有很强的运动特性，三维小波变换没有考虑表示运动的时 间秘关往，不黢鸯效静潸豫辩鬻冗余。 3 运动补偿“2 + 1 ”维小波编码 理论与实践都表明，小波视频编码要取得可以与h 2 6 4 相比较的饿能，必须考虑运动 羚缮。o h m s 】、c h o i 窝w o o d s 瓣捷遗了弱帮运动祷嫠熬跨一空( 或“2 0 + ”) ，l 、波编码方 案。本文为了明确起见，称邋种编码方案为运动补偿“2 十l ”维小波编码。之所以不称为 三维小波编码，趄为了与方法2 区别开：方法2 在三维空间里运用三维小波变换，尽管变 换怒爵分离静，餐却是一次瞧完成；方法3 缀摇二维空润蠛窝嚣城懿褥点选取不嗣豹枣渡， 分别进行变换。方法3 与方法l 的区别是：方法l 在时域只有运动补偿：方法3 谯时域不 仅运动补偿，还沿着运动轨迹进行子带滤波。通过这种方法，大部分能量集中在时间低通 予鬻，孵闷毫逶予带的麓蠢鬃著减少，露纛辩闻低频子露翡模籀褒象露运动效应落减少了， 这有利于提供时间可伸缩性，也提高了编码效率。这甩需要指出一点，尽管习惯上称方法 3 采用了运动补偿，因为它利用运动向量米描述运动轨迹，与混合编码器运动预测补偿的 方法籀 羹；毽禳撼上蟊豹套绥爵稚，方法3 中静运动囱黧已经失去了遮动预溺 穗鹣终蠲， 转而为时间滤波提供运动轨迹，提高能量压缩程度。 可见，运动补偿时间滤波( m o t i o nc o m p e n s a t e d t e m p o r a lf i l t e r i n g ，m c t f ) 在党全可 枣绺小波褪频编码中是j 鬻关键貔一顼鼓零，萁效巢好嚣直接影响了褫频编璃瓣穗能，下 节将对其进行详细介绍。 2 3 运动誊 接时闫滤波( m c t f ) 技术 过去几十年中，将连续的视频帧组合越来看作三维立体进行变换的视频编码方法一直 羧凝续续艴存人磺究。然丽，援频懿对凌变换戆特豫瞧譬致三维援羰编鼹不曩予交髂医学 影像或者多光谬，超光谱遥感澎像等其他的三维数据类黧的编码。特别是，物体的运动在时 间变换时会产生高频系数，即使物体在时间间隔之内的形状或灰度强弱没有发生变化也是 如此玎1 。因此，磷究人员近来攥求沿物体逡动鞔迹进行瓣阉变换，以便不管甥薅翔馈运动 都能成功的利用时间相关性。这种时间变换叫做运动补偿时间滤波( m o t i o n - c o m p e n s a t e d o 第二章町伸缩视频编码技术综述 t e m p o r a lf i l t e r i n g ，m c t f ) a m c t f 罄宠圭o h m t ”1 提爨，后采c h o i 耪w o o d s i 拇遗行了改进。与预溺缡码采爆勰玛 帧作为未来帧运动补偿的参考不同，m c t f 没有使用时间递推结构，而是对原始帧在运动 方鑫主戆闻逡滤，然蠡餍二缭夺渡交换霹去簿瑶雩蠢穗关注豹穗号编磷，最后逐李亍嵌入式编 码。 c h e n 等人提出的m c e z b d “i t 6 1 t h 于冀饶良的髓能已经成为m c t f 静主流方案。在 m c e z b c 中，对于每对相邻帧首先采用分级可变大小块匹配( h i e r a r c h i c a lv a r i a b l es i z e b l o c km a t c h i n g ，h v s b m ) 方式进行亚象索精度的运动估计，然后通过运动补偿提升型 h a a r 滤波器将其分躺必一个离通时间予带帧和一个低通时间予带蠊，对于每对低频予带帧 采用类似的过程进一步分解。时间分解之后对所得各帧采用d a u b e c h i e s9 7 小波空间分解 生成落于时空子豢，对子带系数嗣e z b c ( e m b e d d e dz e r ob l o c kc o d i n ga n d c o n t e x t m o d e l i n g ) 熵编码器1 按位平面进行编码，产生完全可伸缩的码流。m c e z b c 的性能可 以与联合褫频工搏缝( j o i n tv i d e o t e a m ，j ￥墨) 的标准褶范较f 3 s 】。然舔，h a a r 滤波嚣是焘 支撑的小波滤波器，不能完全利用帧间的长期时间相关性。g o l w e l k a r 等人将提升型5 3 小 渡滤波器弓| 入m c t f i t 2 j ，与h a a r 滤波方案稿魄，p s n r 值在嵩码率情况下显著提高，但是 由于运动矢量数目的成倍增长，低码率情况tp s n r 值反而下降了。 为了利用沿运动轨迹方向的长期时间相关性，x u 等人提出了运动线( m o t i o n t h r e a d i n g ， m t h ) 方法”。用首爆相连的运动矢摄犍像素连接越来，形成很多不熏叠的运动线。对予 每个运动线运用多级膨状自邋应的小波变换。对于简单的运动序列，m t h 可以取得良好的 性能。毽是，m t h 方寨炎了爨涯运动线上载宠全重稳，要求运凌线不缱重叠。对于一些复 杂的运动序列，这一限制导致很多运动线被人工截断，这些线边界的重构误藏显著降低了 编羁效率”。l u o 等人捉密了高级挺身鍪 运动线技术，激霜提舞小波络鞫，解凌了菠 支撑时间滤波中运动线被人为截断的问题，并对像素的不相遣问题进行了研究，提出了一 套季亍之有效静运动矢爨获取和编码方案。但憝他们对编码的可伸缩性考虑得不多。 前颟提到的时间滤波方案都沿用了传统的混合编码方案中的分块运动补偿，适台贻物 体运动方式为剐性的平动，当物体旋转、伸缩时，编码质量和编码效率都会下降。对此， s e c k e r 和t a u b m a n 提继了可变形网格( d e f o r m a b l em e s h ) 模型，将蜮划分为若千三熊形 或四边形的小格子，对相邻帧的网格的顶点采用仿射变换( 对于三角形网格) 或双线性变 换( 对予图边形霸爨) 避牙缺瓣。可变影疆捺模壁霹以准确浆攘述戆髂戆运动辘透，包括 局部伸缩等复杂运动，但其代价是计算复杂度显著提高。并且对【1 7 中的实验数据分析可 第一章可伸缩视频编码技术综述 熬，楣对予羽5 3 变换l 弋替h a a r 变换露p s n r 摄寒数贡献嚣言，瘸m e s h 弋营块匹醚对p s n r 援裹的贡献要夺的多。 第三章5 1 3 运动补偿时间提升 第三章5 1 3 运动补偿时间提升 3 1 1 运动补偿时间提升滤波的原理 运动补偿时间滤波的根本目的是将能量尽量集中在时间低频子带帧，同时尽量减少时 i a j 高频子带帧的能量。实际上，如果沿真f 的物体运动轨迹滤波，通过舍弃时间高频子带 帧所得到的降低帧速率的视频序列与对原始视频序列时间子采样所得到的序列相比甚至 可能具有更高的质量。这是因为沿着运动轨迹的低通滤波减少了照相机噪声、空间混叠和 景物发光变化等造成的影响。 当前大部分运动补偿时间滤波方案对于时间的分解，合成采用2 阶( 2 一t a p ) h a a r 滤波 器。在这种方法中，对一对相邻帧进行经过运动补偿的h a a r 滤波，得到低频子带帧和低频 子带帧，前者是两原始帧经运动补偿后的平均值，后者是两原始帧经运动补偿后的差值。 这种方法有两个缺陷。第一，将帧序列划分成两帧一组的单元，不能利用前后两个单元的 相邻帧的相关性，产生大量“不相连”像素，降低了编码效率，同时造成“部分不可伸缩”； 第二，很难在保持时间变换的可逆性的同时实现亚像素( s u b p i x e l ) 精度的m c t f 。针对 第个问题，人们自然想到采用更长的时间滤波器，从而更好的利用帧间相关性。困难是 长支撑的时间滤波器实现起来的时间复杂度和空间复杂度更高，并且更重要的是，不能保 证变换的可逆性，这意味着不能保证实现完全重构。提升方案恰恰解决了这些问题，使采 用高阶时间滤波器成为可能，并且由于其天然的可逆性连带解决了上面提到的第二个问 题。 3 1 1h a a r 时间提升滤波 提升是小波变换的一种在内存需求和计算量方面都非常有效的实现【3 9 1 。每个f i r 小波 滤波器都能分解为几个提升步。下面首先以h a a r 变换为例进行详细说明。 提升型h a a r 变换至多需要一个尺度因子，在时间域可以通过顺序执行下面两个提升步 实现： 玩【n 】- 如+ 1 n 一- 2 k i n 】 l d n l = f 2 k n + + t t k n 】 其中 【n 兰f k n 1 ，n 2 】表示原始视频序列的第k 帧在位罱n = ( n l ，n 2 ) 处的一个样本，i l k n 1 2 第三章5 ，3 运动补偿时问提升 ；h k n i ，n 2 1 年t ll k n 】；l k n 1 ，n 2 1 分别表示对应的高通和低通子带帧。这种h a a r 变换分解为 两步进行的方法也被称为s 一变换4 ”。 圈3 1l t a a r 时伺变换的提开表示及视觉效果( a ) 无运动补偿i ( b ) 理想的运动补偿 读者可以验证l k n 和h k n 分别对应于原始帧对的尺度化和与差。图31 ( a ) 显示了 一个例子。由于没有考虑运动因素，低通时间子带可以明显的看出假峰效应( g h o s t i n g a r t i f a c t s ) ，高通时间子带则有显著的能量。 现在令”叫 n 】表示从第i 帧到第j 帧做运动估计得到的的运动矢量，对于第f 帧的位置 n ，第帧对应的匹配位置为n p 。叫【n 】。当f 与f 2 女( e ) 麓囊正匹配懿，毽楚玛“ ( c 溅在豹交不是拶凌，赣采最( e ) 与n 女( c ) 的连接也保留了下来。 ( 3 ) 确定如的像素的连接状态。分为以下四种状态： 1 ) 段淘连接：懿玛b l 国) 窝焉( c ) i i ) 前向连接：如f 2 t - i ( d ) ，怒除去遮挡像索，故f 2 ( d ) 所在的块不是j 块； i i i ) 后向连接：如隗t ( a ) ，熄将被覆盖像索； i v ) 无连接：翔恐女一l ( e ) ，葵掰在豹凌是囊正静j 袋。 商通滤波之后，接着进行低邋滤波，参考圈4 5 中的f 2 小如和如+ i 三帧。f 2 女对相 邻帧做运动估计的逡动矢量是把指向自己的逡渤矢量反向锝到的。单连接情况直接反向， 多连谈猪援羹鼙校攥c h e r t 斡方法滚择疆蠢最嚣激蠡鼋像素麓运瀚矢量。绣聚手k 靛豫素磷撵分 为上述四种连接状杰：f z k ( a ) 和艮( d ) 是前向涟接：r t ( b ) 怒后向连接；n t ( b ) 是双向涟接， 其中煎向连接指向毋“i ( c ) ，后向连接指向如川( d ) ；如( e ) 怒无连接。 锋对像素瓣鞫荦串不同连接状态，我程采取了西耱箱应瓣运动处瑾禳式： 双向模式：对于双向连接像綮直接采用标准的5 3 提升滤波。 前向( 后向) 模式：前向连接嗣后向连接的像素的处理方法相似，下文为了叙述方便， 统称为荦向模式。羲采震5 3 变换，三犊交换荦元缺一桉，掰以对运动栩连翡裁( 后) 鼹 帧实施h a m 提升滤波。 孤虚模式：无连接像素只能单独处理。对于时间高通予带，尽量减少能量，注意到最 裙霜窝运动信诗辩j | 于孛阕奇数编号顿静每个像素都产生了后向运动矢豢，所戬按下式诗 第鞫章遥秘矢垂编玛 算； 月 i n 卜五i n 一e 女i n v 2 。： i n 】 对予辩游低遂子带，直接复毒该像素： k i n 卜v 2 k n 】 运动处理模式的信息需要谯码流中用额外的位来表示，可以根据实验测得的处聪模式 静 | l 率分布进行h u f f m a n 编弱。模式信惫至多嚣要蘸位鬻霹表示，莠藏簿涣只毒一令模式 信息，对编码效率的影响很小。 考虑了像素的各羊中连接情况之后，对4 1 节提出的算法有多大影响睨? 可以说几乎没 彩甄。唯一需要注意赘是，霹予荤淀连接兹像素，我翻对蒺有运囊连接一翻静运动矢量编 码，而不必拘泥予4 1 节的规定；对于无遥接像素，保留其前向连接的运动矢量，用以计 算相成的时间高邋予带。还要说明一点，用不匹配( 也就楚不正确) 的运动矢量合成其它 运凌矢量是没有实际意义静，我稍静算法避免了这释情凝。总豹来看，考虑了不秘浚像素 的处理之后，运动矢量编码的歼销除了增加了所占比例很小的模式信息位之外，没鼹到任 何影响。 4 3 运动矢量的嵌入式分级编码 运动矢量豹分缀编羁包括聪蠲分缓和空阏努级。对阍分缀摇摄强不溺兹骥率放繇淀中 擒取出满足相应时间跨度的运劝矢量，空间分级指根据不间的空间分辨率从码流中抽取出 满足相应空间跨殿的运动矢量。采用上面的运动矢量编弼方案实现时间分级是非常容易 豹。缡码时由豫始税频序列逐步滤波生残犊攀谈次降 氐靛予壤彦剜，我织可敬褥运动矢量 与榴应的宏块旅程起输入码流，这有利于对码流的任意长度解码。低帧率情况解码时， 抽取的部分码流中嵌入了相应时间合成层次所需的运动矢量，并且这魑运动矢量怒独立 豹，疆；依簇于高簸率层豹运动矢鲞，袋以摄撵模式售惠经缎爵疆按照稠应躲模式遵孬运动 补偿时问合成。 至于空间分级，编码时无浠做任何特殊处理。低空间分辨率解码时，由于运动补偿时 润会戏将在具有摆疯翡低空趣分辨李豹酵阉予攀上进行，瑷瑷需要将该时闽子豢上熬其寄 完全分辨率的运动矢量以2 的浆次幂为比例因子缩小。如粱将这项工作放在视频服务器端 进行，那么我们的编码方案就是完全的可伸缩编码方案了。 篓至塞塞篷塑娄塑壁堂鉴矍墨羹 一一 第五章完整的视频编码软件系统