（通信与信息系统专业论文）基于匹配追踪的低码率视频编码研究.pdf

西南交通大学硕士研究生学位论文第l 页 摘要 目前几乎所有的视频编码核心技术都是采用运动补偿加离散余弦变换编 码的方式。然而基于离散余弦变换的视频编码在低码率下将产生严重的块效 应，虽然后来提出的重叠块运动补偿和离散小波变换编码算法减少了块效应， 但在低码率时，以上算法对块效应的有效性降低。而用匹配追踪算法代替离散 余弦变换能有效减少块效应。 相对于传统的信号分解方法，稀疏分解方法表示信号更加简洁，近几年成 为信号处理领域研究的热点。本文首先简要阐述视频编码标准和信号稀疏分解 的思想及其应用；然后研究基于匹配追踪的视频编码算法，在此基础上设计本 文的编码方案并进行仿真。 基于匹配追踪的稀疏分解是一个典型的n p 问题，计算复杂度高是其应用 瓶颈。现有的基于匹配追踪的视频编码算法采用编码字典代替过完备原子库， 一定程度上提高了编码速度，但计算量仍然很大。本文通过仿真比较选取更适 合图像信号的非对称原子库，同时分析其原子结构特性。比较遗传算法和蚁群 算法性能，选取速度更快的遗传算法；然后分析残差信号特性，设计合适的遗 传算法进化准则。 在采用遗传算法快速选取最佳原子时，结合原子能量分布集中的特性，代 替编码字典方法，有效的降低了视频编码的复杂度。最后分析每个系数的分布 规律，设计相应的量化编码方案。 仿真结果证明在低码率时，本文方案能有效的提高视频编码速度，同时保 证了视频编码质量。 关键字：视频编码；稀疏分解；匹配追踪；遗传算法 西南交通大学硕士研究生学位论文第l f 页 - _ - i - - - - _ - _ _ _ _ - - - - - _ _ - - - - - v _ - - _ _ - _ l _ - _ _ - _ _ _ _ i - _ _ - i l l l - l _ _ _ _ l _ _ l _ _ - _ - i _ _ - - i _ - _ _ - _ _ - _ _ - l _ l _ _ - a b s t r a c t c u r r e n t l y , t h ec o r et e c h n o l o g i e so fa l m o s ta l lv i d e oc o d i n gm e t h o d sa r eb a s e d o nah y b r i ds y s t e mo fm c ( m o t i o nc o m p e n s a t i o n ) a n dd c t ( d i s c r e t ec o s i n e t r a n s f o r m ) d c t - b a s e dv i d e oc o d i n gw i l lc a u s es e v e r eb l o c k i n ge f f e c tw h e ni nl o w b i t r a t e s a l t h o u g h t h e s u b s e q u e n t l yp r o p o s e d o v e r l a p p i n g b l o c km o t i o n c o m p e n s a t i o nt e c h n o l o g ya n d d i s c r e t ew a v e l e tt r a n s f o r mc o d i n ga l g o r i t h m i m p r o v e di t , t h ee f f e c t i v e n e s so ft h ea b o v ea l g o r i t h m st ob l o c k i n ge f f e c tr e d u c e sa t l o wb i t - r a t e s h o w e v e r , t h er e p l a c e m e n to fd c tb ym p ( m a t c h i n gp u r s u i 0 a l g o r i t h mr e d u c e sb l o c k i n ge f f e c te f f e c t i v e l y c o m p a r e d 、衍t h t r a d i t i o n a lm e t h o d so f s i g n a ld e c o m p o s i t i o n , s i g n a l e x p r e s s i o no fs p a r s ed e c o m p o s i t i o nm e t h o di sm o r ec o m p a c ta n db e c o m i n ga r e s e a r c hh o t s p o ti ns i g n a lp r o c e s s i n gf i l e di nr e c e n ty e a r s f i r s t l y , t h ee s s a ys t a t e s t h ed e v e l o p m e n to ft h ev i d e oc o d i n gs t a n d a r d sb r i e f l y , a n di n t r o d u c e st h ei d e aa n d a p p l i c a t i o no fs p a r s ed e c o m p o s i t i o n t h e nt h ee s s a yr e s e a r c h e sm p - b a s e dv i d e o c o d i n ga l g o r i t h m ，d e s i g n sc o d i n gs c h e m eo f t h i sp a p e ra n dp e r f o r m se m u l a t i o n t h en i p b a s e ds p a r s ed e c o m p o s i t i o ni sa ni d e n t i c a ln pp r o b l e m ，t h eh i g h c o m p u t a t i o n a lc o m p l e x i t yi si t sb o t t l e n e c k t h ec u r r e n tm p - b a s e dv i d e oc o d i n g a l g o r i t h mu s e se o d e b o o kt or e p l a c eo v e r - c o m p l e t ed i c t i o n a r ya n di m p r o v e sc o d i n g s p e e dt oac e r t a i ne x t e n t ，b u ti t sc o m p u t a t i o ni ss t i l lm a g n i t u d e t h ep a p e rs e l e c t s n o n - s y m m e t r i c a t o m i cd i c t i o n a r yt h a ti sm o r es u i t a b l ef o ri m a g es i g n a l b y s i m u l a t i o nc o m p a r i s o n , a n da n a l y z e st h ec h a r a c t e r i s t i c so fa t o m i cs t r u c t u r e t h e p e r f o r m a n c eo fg e n e t i ca l g o r i t h ma n da n tc o l o n ya l g o r i t h mi sc o m p a r e d ，a n dt h e f a s t e rg e n e t i ca l g o r i t h mi ss e l e c t e d t h e n ，t h ee s s a ya n a l y z e st h ec h a r a c t e r i s t i c so f r e s i d u a ls i g n a l ，a n dd e s i g n sa p p r o p r i a t eg u i d e l i n e sf o rt h ee v o l u t i o no fg e n e t i c a l g o r i t h m w h e nu s i n gg e n e t i ca l g o r i t h mt os e l e c tt h eb e s ta t o m t h ep a p e rc o m b i n ew i m t h ea t o m i ce n e r g yc o n c e n t r a t e dl a w sr e p l a c i n gc o d e b o o k ，a n de f f e c t i v e l yr e d u c e s t h ec o m p u t a t i o n a lc o m p l e x i t y f i n a l l y , t h ee s s a ya n a l y z e st h ed i s t r i b u t i o nr u l eo f d e c o m p o s i t i o nc o e 伍c i e n t s ，a n dd e s i g n sc o r r e s p o n d i n gq u a n t i z e d a n dc o d i n g s o l u t i o nb a s e do ni t 西南交通大学硕士研究生学位论文第| li 页 t e s tr e s u l t sv e r i f i e dt h a tt h es o l u t i o no ft h ee s s a yi sa b l et oi m p r o v ec o d es p e e d e f f e c t i v e l ya sw e l l 雒e 1 1 s u r et h eq u a l i t yo fv i d e oc o d i n g k e yw o r d s ：v i d e oc o d i n g ；s p a r s ed e c o m p o s i t i o n ；m a t c h i n gp u r s u i t ；g e n e t i c a l g o r i t h m 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密囤，使用本授权书。 ( 请在以上方框内打“ ) 嚣蛩鬻，雾畔嚣撇：剐 日期： 加。7 ，o f 口 日期： 。 j 弦识。f 。t 比- 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所 得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 1 论文将快速选取原子的遗传算法应用于基于匹配追踪的低码率视频编码方 案中，同时结合原子能量分布集中的特性，代替原基于匹配追踪的低码率 视频编码方案中的编码字典方法；并根据残差信号特性设计合适的遗传算 法进化准则。 2 分析本文方案的分解系数规律，其中投影分量采用排序差分脉冲编码；缩 放、位移、旋转参数和编码块位置索引采用自适应算术编码。 岁旃世年 加。9 o 冈 西南交通大学硕士研究生学位论文第1 页 1 1 论文选题背景 第1 章绪论 在数字化信息时代，多媒体通信已成为信息交流的重要手段。通过公用电 话网、互联网和无线来传输视频信息是视频通信发展的趋势，诸如多媒体会议、 可视电话、远程监控、视频点播和无线视频等业务。在实际中，大多数通信信 道都是低码率信道，如目前广泛应用的公用电话网( p u b l i cs w i t c h e dt e l e p h o n y n e t w o r k s ，p s t n ) 和个人通信网( p e r s o n a lc o m m u n i c a t i o ns e r v i c e ，p c s ) 等网 络，在这些网络上传输视频信息，如可视电话和现场监控等，将会带来巨大的 经济效益。然而现有的视频编码标准在这些环境下传输的视频质量不能令人满 意。因此，在有限带宽和恶劣的通信环境下，对低码率视频编码技术的研究变 得尤为重要。 近二十年来，图像视频编码技术得到了迅速发展和应用，其标志就是几个 关于图像视频编码的国际标准的制定，如关于静止图像的编码标准j p e g 、 j p e g 2 0 0 0 和视频编码标准h 2 6 1 、h 2 6 3 、h 2 6 4 、m p e g 2 和m p e g - 4 等。 这些标准融合了各种性能优良的图像视频编码算法，代表了目前图像视频编码 的发展水平，并且得到了广泛的应用。这些视频编码标准的核心技术基本都是 采用的运动补偿加离散余弦变换编码的方式；然而由于预测值的误差和对变换 系数粗糙的量化，解码的视频帧将会出现伪边缘和方块效应【l j ，在低码率情况 下更加明显。虽然提出了许多改进算法，如m o h m 和z h a n gx u d o n g 提出的 重叠块运动补偿( o m c ) 【2 】和离散小波变换( d w t ) 1 3 编码算法，但在低码 率下这些算法还是难以胜任。由于匹配追踪( m a t c h i n gp u r s u i t ，m p ) 1 4 j 优良的 特性，用m p 取代d c t 能取得较好效果。 ，稀疏分解【4 ，5 】是近1 0 多年才发展起来的一种信号表示理论，其基本思想就 是将信号在过完备原子库上分解。m p 算法原理简单、易于理解、计算复杂度 也是所有稀疏分解算法中最低的，因此也是目前应用最为广泛的稀疏分解 ( s p a r s ed e c o m p o s i t i o n ) 方法。由于信号稀疏分解的优良特性，稀疏分解已经 被应用到信号处理的许多方面，如信号去噪、微弱信号检测、阵列信号处理以 及低码率下的图像视频压缩等方面。目前国内外关于基于稀疏分解的图像压缩 西南交通大学硕士研究生学位论文第2 页 的研究己取得一定进展，而在视频编码方面的研究还处于起步阶段。 1 2 研究现状 由于通信信道带宽限制，低码率下传输图像视频一直是人们研究的热点和 难点。稀疏分解思想的提出，由于其在信号分解中表现出的良好特性，引起了 学者们关注。 r a l p hn e 行和a v i d e hz a k h o r 于1 9 9 7 年提出用m p 算法编码帧间位移残差 ( d i s p l a c e df r a m ed i f f e r e n c e ，d f d ) 信号的算法，采用编码字典代替原子库方 法，在甚低码率下与h 2 6 3 标准相比得到更好的峰值信噪比( p e a k s i g n a l - t o n o i s er a t i o ，p s n r ) 和视觉效果，其重建图像的块效应和伪边缘明显 减少，证明m p 算法在低码率视频编码的良好性能。 陆俊和阮秋琦【7 j 在r a l p hn e f f 和a v i d e hz a k h o r 的算法基础上提出一种区 域追踪匹配算法( r e g i o nm a t c h i n gp l l r s l l i t r m p ) ，通过自学习优化g a b o r 匹 配集，与n e f f 和z a k h o r 提出的算法相比，在保证视频编码质量的同时一定程 度上提高了编码效率。 2 0 0 4 年a d e lr a h m o u n e 8 】等人提出的基于三维的匹配追踪高级可分级视频 编码方案，与m p e g 4 ( f g s ) 相比，m p 3 d ( t h r e e d i m e n s i o n a lm a t c h i n gp u r s u i t ) 提供了更加灵活的可分级编码，这归功于其多分辨率的原子结构，同时可得到 更好的视频质量；与基于块的d c t 变换编码和基于小波变换编码相比，有更 少的块效应和伪边缘。 2 0 0 4 年m o s c h e t t i f 和s u g i m o t o k n 等人采用非对称原子库取代以往g a b o r 原子库编码d f d 信号，同时采用编码字典和区域匹配追踪方法，有效提高了 编码速度。与h 2 6 4 a v c 标准相比，该方法使得编码效率提高了1 0 2 0 。 2 0 0 6 年h a o x i a n gz h a n g 和x i a o p e n gw a n g 1 0 等人对h 2 6 4 a v c 的d f d 信 号先做小波变换，然后再对小波系数进行匹配追踪，与h 2 6 4 a v c 标准相比， 同样取得较高的编码效率。 2 0 0 7 年j i a n l i a n gl i n 和w e n l i a n gh w a n g 1 1 等人提出用原子库的特征函数 近似表示原子，同时结合两阶段向量量化方法来选取原子，在h 2 6 3 标准中的 无限制运动矢量和高级预测模式下仿真实现，有效提高了编码速度。 随着稀疏分解思想不断深入的研究，推动了其在低码率下的视频编码的应 西南交通大学硕士研究生学位论文第3 页 用，国内外也提出许多优良的相关算法睁1 2 1 。上述这些算法虽然在低码率情况 下获得了较好的视频质量，但是由于稀疏分解的计算复杂度非常高，在分解速 度上还有待进一步提高。稀疏分解是一种比较新的思想，还在不断的发展中， 许多快速的稀疏分解算法都未应用到低码率视频编码中。所以基于匹配追踪的 低码率视频编码还有待学者们的进一步研究。 1 3 本文主要工作 本文针对基于m p 的视频编码计算量大、系数的量化编码等问题进行深入 的学习，设计了基于遗传算法的快速m p 低码率视频编码方案和相应的量化编 码方案，主要探讨和分析快速计算m p 信号的稀疏分解算法和分解系数分布规 律。本文具体工作如下： 1 学习h 2 6 4 视频标准，熟悉相关技术及其标准测试模型( j m ) ，在标 准测试模型下仿真实现本文设计的方案。学习稀疏分解思想，理解m p 算法原 理及其应用。 2 理解现有的基于匹配追踪的视频编码算法，分析其编码原理和优缺点， 设计本文编码方案。比较非对称原子库和g a b o r 原子库的特性，根据仿真结果 选取较好的原子库。 3 分析m p 的快速算法：理解遗传算法( g e n e t i ca l g o r i t h m ，g a ) 、蚁群 算法( a n tc o l o n y a l g o r i t h m ) ，然后通过仿真比较它们的分解速度以及信号重 建的p s n r ；分析d f d 信号特性，设计合适的g a 进化准则，对d f d 信号进 行仿真。分析原子能量特性，利用该特性进一步降低复杂度。 4 分析视频信号经m p 分解后的每个系数分布规律，根据分布规律给出相 应的量化编码方案。 1 4 本文组织 本论文一共分五章，各章具体内容如下： 第一章绪论。介绍论文的选题背景，包括研究意义、国内外现状分析； 然后介绍本文主要工作，包括主要研究内容、采取的方法。 第二章视频编码标准和稀疏分解简介。首先阐述视频编码标准的发展史， 西南交通大学硕士研究生学位论文第4 页 介绍h 2 6 4 标准框架以及所用到的核心技术。最后分析h 2 6 4 标准产生方块效 应的原因，h 2 6 4 去方块效应的策略，以及本文采取的方案。然后介绍稀疏分 解的基本概念、原理和方法。最后介绍m p 算法的应用。 第三章基于匹配追踪的低码率视频编码。本章首先介绍本文低码率下基 于m p 视频编码的原理。接着分析m p 算法的常用的原子库以及本文为什么选 择非对称原子库。第三节介绍m p 的快速分解算法，着重对遗传算法、蚁群算 法进行学习，通过实验比较这两种算法的优缺点；然后根据d f d 信号特性设 计相应的g a 进化准则，结合原子能量特性进行仿真。最后给出本章小结。 第四章量化编码和仿真结果。第一节通过仿真分析分解参数的分布规律， 设计相应的量化编码方案，并对量化编码方案进行验证。第二节对本文方案进 行仿真，与h 2 6 4 a v c 和其它参考文献做比较分析。 第五章结论与展望，总结课题完成的内容，并展望进一步的工作。 西南交通大学硕士研究生学位论文第5 页 第2 章视频编码和稀疏分解简介 2 1 视频编码简介 2 1 1 视频编码标准的发展 人类获取的信息中7 0 来自于视觉，在多媒体信息中视频信息占有重要地 位。随着社会经济的不断发展，人们希望看到高质量低时延的视频画面；同时 硬件的处理性能和网络速度的提高，都推动了视频编码技术的发展。国际电信 联盟( i t u ) 和国际标准化组织( i s o ) 制定了一系列视频编码标准。其中h 2 6 1 、 h 2 6 3 、m p e g 1 、m p e g 2 属于第一代编码标准，压缩能力为5 0 - - - 7 0 倍； m p e g 4 、h 2 6 4 a v c 属于第二代编码标准，压缩效率提高到1 0 0 - - 1 5 0 倍。2 0 0 2 年，我国也开始制定具有自主产权的音视频信源标准a v s ，并于2 0 0 6 年3 月1 日起正式实施。 国际上视频编码标准主要有两大系列：国际电信联盟制定的h 2 6 x 系列 标准；国际标准化组织和国际电工委员会第一联合技术组( i s o i e c j t c l ) 制 定的m p e g x 系列标准。 2 1 1 1h 2 6 x 系列标准 h 2 6 x 是由i t u t 制定的一系列视频编码标准，包括h 2 6 1 、h 2 6 3 以及 h 2 6 4 a v c 等，其中h 2 6 4 a v c 是由i t u t 的视频编码专家组v c e g 和 i s o i e c 的活动图像专家组m p e g 共同成立的联合视频小组t 联合制定的。 h 2 6 1t 1 3 j 是针对可视电话和视频会议等业务的视频编码标准，主要是在窄 带i s d n 上实现速率p 6 4 k b p s 的双向声像业务。h 2 6 1 标准是视频编码的里 程碑，得到了广泛的应用。随后i t u t 、i s o 和a v s 工作组等公布的一系列视 频编码标准的编码方法都是基于h 2 6 1 中的混合编码方法和编码结构。h 2 6 1 中主要采用了1 6 1 6 微块的运动补偿、8 8 的d c t 、z z 扫描、游程编码和 变长编码等核心技术。h 2 6 1 制定的时候，硬件和软件处理器性能有限，因此 它的复杂度较低。然而，它的缺点是压缩率低和缺乏灵活性。 西南交通大学硕士研究生学位论文第6 页 h 2 6 3 1 1 4 j 标准主要针对低比特率视频应用，目标是为了进一步提高编码性 能。h 2 6 3 使用了半像素运动矢量和重新设计的可变长编码( v l c ) 表。此外， 更多的帧大小和可选的编码模式给应用提供了更大的灵活性。目前，h 2 6 3 已 经取代h 2 6 1 ，成为视频会议编解码的主宰。 h 2 6 4 a v c t ”】的目标是为了显著增强编码效率，为下一代视频编码提供解 决方案。h 2 6 4 a v c 减少了h 2 6 3 中一些混乱的可选模式。h 2 6 4 a v c 的主 要技术特征有：4x4 块的整数变换、多参考帧预测、多模式高精度帧间预测、 多种帧内预测模式和统一的熵编码等。与以往标准相比，n 2 6 4 a v c 压缩比更 高和信道适应性更好，它将会在视频通信领域得到广泛的应用。但是 h 2 6 4 a v c 优越性能是以计算复杂度大大增加来换取的。 2 1 1 2m p e g x 系列标准 m p e g 1 1 m 】是一个直接与数字电视广播有关的高质量图像和声音编码标 准，视频部分主要针对1 5 m b p s 的数字声像信息的存储。它通常用于能够提供 家用录像质量( v h s ) 视频节目的光盘存储系统。m p e g 1 同样也继承了h 2 6 1 标准的技术结构，同时添加了自己的技术特征：双向预测、半像素运动、片结 构编码和加权矩阵量化等。 m p e g 2 【l7 】标准为高级工业标准的图象质量以及更高的传输率而制定。它 解决了m p e g 1 许多技术要求上的缺陷，能在很宽范围内对不同分辨率和不同 输出比特率的图像信号有效地进行编码。m p e g 2 增加的新技术特征有：支持 隔行扫描视频的编码、对电视质量视频的有效编码、增加d c 量化精度、可扩 展性( 空间域可扩展性、s n r 可扩展性、数据分割) 等。m p e g 2 标准广泛应 用于高清晰电视( | 玎) t v ) 和d v d ，是工业标准d v d 的核心标准。但其压缩 率不高。 m p e g - 4 1 1 8 】标准不仅是针对一定比特率下的视频、音频编码，更加注重多 媒体系统的交互性和灵活性。m p e g - 4 采用第二代编码方法，它不同于以往的 基于像素的第一代编码方法的标准。m p e g 4 编码的基本单元是视频对象，主 要采用形状编码、纹理编码、运动信息编码和s p r i t e 编码方法。m p e g - 4 广泛 应用于数字电视、交互式的图形应用和交互式多媒体领域，然而，目前大量的 应用只使用了简单对象类型，标准中的基于内容特点的编码受到了限制。 西南交通大学硕士研究生学位论文第7 页 2 1 1 3 视频编码的中国标准：a v s 标准 a v s 1 9 , 2 0 标准是我们国家于2 0 0 2 年开始制定的国家标准。标准中涉及视 频编码的有独立的两部分：a v s l p 2 1 1 9 1 ，主要针对高清晰数字电视广播和高密 度存储媒体应用；a v s l - p 7 1 2 0 1 ，主要针对低码率、低复杂度、较低图像分辨率 的移动媒体应用。 视频通信的发展是从属于通信网的。通信网今后主要向口方向、个人通 信方向、无线通信方向、智能方向以及多媒体方向发展，这也是视频通信的发 展方向，将来的视频通信无处不在。现在有越来越多的运营商、制造商认识到 这一点，视频通信正逐渐成为运营商的一个战略重点。 2 1 2h 2 6 4 a v c 标准概述 h 2 6 4 a v c 的提出是为了满足各种应用( 如：视频会议、数字存储媒体、 电视广播、互联网络流动) 中日益增长的对运动图像更高的压缩要求的需要。 h 2 6 4 能使编码的视频显示以灵活的方式应用于多样化的网络环境。它的运用 允许运动视频可以按计算机数据格式进行处理，能够在各种存储媒体上存储， 并能通过各种网络信道进行分配、传输和接收。h 2 6 4 极大地降低了发送视频 图像所需要的带宽，并对诸如数字卫星广播、数字视频存储以及互联网传播等 一系列改进，以提高视频质量。本文的基本框架也是用的h 2 6 4 标准的编码框 架，因此下面先简略介绍该标准。 2 1 2 1 编解码器结构 h 2 6 4 a v c 没有明确定义编解码器，与以前的标准一样，而是着重定义了 编码视频位流的语法及对这种位流解码的方法。h 2 6 4 a v c 大部分的基本功能 模块与以前标准采用技术相同，包括预测、变换和熵编码等；其重要变化体现 在每个功能模块实现的细节上。实际上，编码器和解码器应能实现一些基本功 能，大致包括的功能模块如图2 1 和图2 2 所示【2 1 1 ，同时这些基本模块也需要 包含在兼容的编解码器。 h 2 6 4 a v c 是目前最优秀的视频编码标准，所以本文选取该标准为基本框 架进行仿真，沿用了它的预测模式、运动估计和运动补偿等技术。区别在于本 西南交通大学硕士研究生学位论文第8 页 文将用m p 分解替代它的d c t 变换方法，由于分解后的系数不一样，所以本 文的量化编码方案也不同。h 2 6 4 a v c 标准主要是通过量化步长来控制码率， 而本文方案需通过控制编码原子数和预测模式来达到这一目的，所以码率控制 也不同。 图2 - 1h 2 6 4 a v c 编码器 2 1 2 2 分层结构 图2 2h 2 6 4 a y c 解码器 h 2 6 4 a v c 的目标应用涵盖了目前大部分的视频服务，不同的服务所用的 网络很可能不同。为了能够适用于这些不同的网络结构，h 2 6 4 a v c 标准概念 上可分为两层：视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络提取层( n e t w o r k a b s t r a c t i o nl a y e r ，n a l ) 。 v c l 负责视频内容核心压缩编码部分的描述，而n a l 负责使用下层网络 的分段特性来封装数据，这样网络相关的信息和视频压缩信息相互独立，使网 络对于v c l 层是透明的。这样的结构能够好地适应网络数据信息的封装和对 西南交通大学硕士研究生学位论文第9 页 信息进行更好的视频流优先级分类控制。h 2 6 4 的分层编码传输结构如图2 3 【2 2 】 所示。 编码l 存取层接口解码 h 2 6 4 概念层 vc l 网络提取层ii网络提取层i nal 存取层编码接口i 存取层解码接口 区 h 3 2omp eg 2rtp i pt cp i ph 3 23 i ph 3 24 m 有线 网乏膂 1 “、 图2 3h 2 6 4 a v c 分层结构 2 1 2 3 档次与级 为了适应不同网络结构，h 2 6 4 a v c 采用了分层结构；而为了适应不同服 务需求( 主要是视频质量) ，h 2 6 4 a v c 则采用了档次与级l 2 3 j 的方法。 h 2 6 4 a v c 标准定义了三个档次( p r o f i l e ) 的视频编码，每个档次支持特 定的应用，并且每个档次规定了对相应编码器和解码器的要求。其中基本档次 支持i 片和p 片编码和基于上下文的自适应的变长编码。主要用于可视电话、 会议电视、无线通信等实时视频通信。而主要档次除了支持i 片和p 片，还增 加了b 片编码方式，同时支持自适应的算术编码和隔行视频。主要用于数字广 播电视与数字视频存储。扩展档次主要应用于是流媒体服务，这是因为它增加 了一些在进行比特流切换时有效的帧模式帧s i ( s w i t c h i n gi ) 和s p ( s w i t c h i n g p ) 帧，能够有效的提高从错误中恢复的能力。但该档次不支持交错视频和 c a b a c 。 每一个档次设置不同的参数，如取样速率、图像尺寸、编码比特率等，就 得到对应的编解码器性能的不同级别。每个级别都规定了一组对标准中语法成 员( s y n t a xe l e m e n t ) 所采用的各种参数值的限制。所有档次都使用相同的一 组级别定义，但是单独的一个实现可以对不同的档次支持不同的级别。在给定 西南交通大学硕士研究生学位论文第10 页 的p r o f i l e 下，级别通常与解码器的处理能力和内存容量相对应。 2 1 2 4 采用的新技术 与以往标准相比，在相同失真率条件下h 2 6 4 a v c 的编码效率提高了5 0 左右。之所以性能有这么大的提高，是因为h 2 6 4 a v c 继承了h 2 6 3 、m _ p e g l 、 m p e g 2 和m p e g 4 优点的同时采用了许多新技术。 首先h 2 6 4 儿w c 采用不同大小和形状的宏块分割与亚分割方法。如一个 宏块的亮度值可以按照1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 ：8 x 8 的分割又可以按照8 x 8 、 8 x 4 、4 x 8 、4 x 4 进行亚分割。对不同的分割块采用不同的预测方式，这种小尺 寸、多模式预测以及多参考帧使得预测精确度更高，大大减少了图像的时间和 空间冗余，能提高图像编码效率和质量，又可以减小变换过程中的计算量。 其次h 2 6 4 a v c 中的d c t 变换与以往的标准有所不同，它采用的变换是 基于4 x 4 块的整数操作而不是实数运算。h 2 6 4 主要采取三种方式对每一个4 x 4 块进行整数变换，即4 x 4 块残差a c 变换，4 x 4 亮度d c 系数离散哈达码( d i s c r e t e h a d m a r dt r a n s f o r i l l ，d h t ) 变换( 1 6 x 1 6 帧内模式下1 6 个4 x 4 块的d c 系数组 成的二次4 x 4 块) ，2 x 2 色度d c 系数d h t 变换。传统的d c t 变换以8 x 8 像 素块为基本单元，变换过程采用复杂的浮点运算，因取舍误差引起像素值漂移， 造成反变换失配。较大的像素块变换时不仅计算量大，还会因为邻块间相关性 降低、强度不连续而出现块效应。 第三，h 2 6 4 a v c 根据视频内容的不同，使用了以下几种熵编码方式：基 于上下文的自适应变长编码( c o n t e x t b a s e da d a p a t i v ev a r i a b l el e n g t hc o d i n g c a v l c ) 和通用变字长编码( u n i v e r s a lv a r i a b l el e n g t hc o d i n g u v l c ) 相结 合的编码，基于上下文的自适应二进制算术编码( c o n t e x t b a s e da d a p a t i v e c o d i n g ，c a b a c ) 。而以往的标准的熵编码采用变长的霍夫曼编码，码表统一， 不能适应变换多端的视频内容，影响编码效率。 这三项新技术是h 2 6 4 a v c 编码效率大大提高的原因，但是它的代价是 高度的复杂性。 2 1 3 块效应 h 2 6 4 视频编码核心技术也是采用的运动补偿( m o t i o nc o m p e n s a t i o n ，m c ) 西南交通大学硕士研究生学位论文第”页 加离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 编码的方式。基于d c t 的 视频编码在低码率下将产生严重的块效应。本文用m p 算法取代d c t 变换就 是致力于解决上述问题。 2 1 3 1 块效应产生原因 h 2 6 4 a v c 视频编码标准中，低码率时图像会出现方块效应。其产生的原 因主要有两个。其一是对基于块的预测残差的整数d c t 变换，然后用大的量 化步长对变换系数进行量化，因而反量化后恢复的变换系数存在误差，会造成 在图像块边界上的视觉不连续。第二个原因是运动补偿预测，运动补偿块是经 过预测而得，它们可能是从不同帧的不同位置上的内插样点数据复制而来。这 些经过预测内插得到的数据存在一定误差，所以就会在复制块的边界上产生数 据不连续。同时，参考帧中存在的边界不连续也被复制到需要补偿的图像块内。 若不进行处理，这种误差会随着重构帧积累下去，从而严重地影响图像的质量 和压缩效率。因此，h 2 4 6 a v c 标准引入去环路滤波器来降低方块效应。 2 1 3 2 去块效应策略 大的量化步长会造成相对较大的量化误差，这就可能将原来相邻块“接壤” 处像素间灰度的连续化变成了“台阶”变化，主观上就有“伪边缘”的方块效应。 去方块效应的方法就是在保持图像总能量不变的条件下，把这些台阶状的阶跃 灰度变化重新复原成台阶很小或者近似连续的灰度变化，同时还必须尽量减少 对真实图像边缘的损伤。 常用的去方块滤波器有两种：后置滤波器和环路滤波器。h 2 6 4 几w c 引入 了环路滤波器。相对于后置滤波器，在编码环和解码环中使用去块效应滤波系 统主要有三个优点：一是图像中由于运动补偿、变换及量化产生的虚假边界可 以被平滑，降低了图像的块效应，提高了主观视觉效果；二是滤波后的帧用于 后续帧的运动补偿预测，避免了虚假边界积累误差导致的图像质量进一步降 低；三是在解码器端没有必要再为滤波器准备额外帧缓存i l 】。 h 2 6 4 a v c 中整数d c t 变换是基于4 x 4 的，所以滤波器是以4 x 4 块为单 元处理的。首先判断是伪边缘还是图像真实边缘，若是伪边缘则按照先垂直后 水平的顺序滤波，若是真实边缘则不滤波。按照先横向后纵向，先亮度后色度 的顺序。h 2 6 4 a v c 能在几个等级上进行自适应的去方块滤波；分别是片层等 西南交通大学硕士研究生学位论文第12 页 级( s l i c el e v e l ) 、方块边缘等级( b l o c k e d g el e v e l ) 和采样点等级( s a m p l e l e v e l ) 。 环路滤波器的复杂度是很高的。即使经过优化，去除其中的乘除法，滤波 器也轻易地达到解码器计算复杂度的三分之一1 1 ，这也是h 2 6 4 a v c 高复杂度 的原因之一。 2 133 本文策略 通过以上分析在低码率时，h 2 6 4 a v c 将会产生严重的块效应，标准采取 了环路滤波，在一定程度上改善了视频质量，但在低码率时，环路滤波的效果 也不理想。这也促使人们从其它角度研究降低块效应的方法。 匹配追踪是一种稀疏分解的思想，其基本原理是用少数原子来逼近信号直 到达到一定能量阈值，同时首先得到的原子是信号在原子库上投影分量最大 的，即对图像视频而言，重要的信息可由最先的几个原子表示。由于匹配追踪 具备这些优良的特性，使得它非常适合在低码率下的视频编码。本文用匹配追 踪取代d c t 来分解视频原始信号或残差信号，实验结果表明，在同等码率条 件下，这种方案获得的图像质量更好。 2 2 信号的稀疏分解 在进行通信的过程中，为了有效地利用信号，往往需要对信号进行各种各 样的处理。其中信号分解( s i g n a ld e c o m p o s i t i o n ) 和信号表达( s i n g a l r e p r e s e n t a t i o n ) 是信号处理中的根本性问题，具有非常重要的意义。信号分解 将复杂信号分解成一些基本信号，是信号分析中一种常用、有效的手段。传统 的信号分解变换是将信号分解在一组完备的正交基上，而且这种变换必然是可 逆的，如傅立叶变换，短时傅立叶变换，小波变换等。随着现代信号处理技术 的发展，近年来信号的非正交分解引起研究者越来越多的兴趣。为了实现对信 号更加灵活、简洁和自适应的表示，在小波分析的基础上，m a l l a t 、z h a n g 【4 j 和c o i f m a n 、w i c k e r h a u s e r t 5 】提出了信号在过完备库上分解的思想，开创了信号 分析的新方向。 西南交通大学硕士研究生学位论文第13 页 2 2 1 稀疏分解思想 在信号处理的应用中，都希望找到一种稀疏的数据表示方法，更加灵活、 简洁和自适应的来表示信号。c o i l f m a n 和w i c k e r h a u s e r 等提出了稀疏分解的概 念，随后m a l l t 和z h a n g 在小波分析的基础上提出了应用过完备冗余原子库对 信号进行匹配追踪的思想。稀疏分解的基本思想就是：基函数用称之为过完备 的冗余函数取代。为了得到信号的稀疏表示，基的构造必须使得基在信号组成 的空间中足够的密。因此，基的正交性将不再被保证，所以此时的基也不再是 真正意义上的基了，而改称为原子。由这些原子组成的集合，是过完备的，被 称为过完备库( o v e r c o m p l e t ed i c t i o n a r yo fa t o m s ) ，信号在过完备库上的分 解结果一定是稀疏的。信号的稀疏表示过程称为信号的稀疏分解。由于信号稀 疏表示的良好特性，信号稀疏分解引起了人们的极大关注，信号的稀疏表示也 已经被应用到信号处理的许多方面。 给定一个集d = g k ，k = 1 ，2 ，k ) ，其元素是在张成整个h i l b e r t 空间日= r 的单位矢量，k n ，集合d 称为原子库，其元素黟称为原子。由于原子库 的冗余性( k n ) ，矢量舻不再是线性无关的。对于任意给定的长度为的 实信号厂h ，对它的一个逼近厂，如果逼近误差爿if 一厂1 1 2 ，则可以在d 中找到一个由聊个原子所组成的线性组合【2 4 】： 脚- 1 f - ：c 移一厂 ( 2 1 ) 七= 0 稀疏分解的问题就在于如何从各种可能的组合中，选出最为稀疏的一个。 然而对于一个随机的原子库来说，这是一个n p 难问题。 在稀疏分解中，过完备原子库的构建十分重要，良好的原子库结构可以使 信号表达更加简洁，原子库的大小也关系到计算复杂度。目前关于原予库的研 究还比较少，还有待进一步的研究，已经提出的较好的原子库