（信息与通信工程专业论文）基于小波变换的视频编码关键技术研究.pdf

独创性声 本人声明所呈交的论文是我个人在导师指 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：塑里 关于论文使用授权的说明 日期：丝坦生竭 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) k 签名：通乙l 导师签名：j 卜日期：施垒簟型吗 摘要 摘要 随着多媒体信息处理技术、数字通信技术以及网络技术的发展，多媒体通信 已经成为人们交互信息的重要手段。作为多媒体通信的重要组成部分，数字图像 视频编码技术一直是多媒体处理领域的研究热点，并得到了广泛应用。 目前，传统的视频编码框架都采用基于运动估计补偿+ d c t 变换( d i s c r e t e c o s i n et r a n s f o r m ) 的混合视频编码方法，如h 2 6 3 、h 2 6 4 a v c 、m p e g - 4 等国 际视频编码标准。但基于d c t 变换的编码框架也存在着一些问题，如：在低码 率情况下会出现严重的方块效应和飞蚊噪声，且编码器运算复杂度较高等。小 波变换是在傅里叶变换的基础上发展起来的一种具有良好特性的时域信号分析 方法，受到了人们的广泛关注。它因为特有的与人眼视觉相符的方向选择能力 以及能量集中的特性而被广泛应用于图像编码领域，并取得了很好的效果。因 此，众多学者把小波变换引入到了视频编码框架中，由于小波变换天然的多分 辨率特性，使得小波视频编码很容易支持时间、空间、质量等多种可扩展功能。 本文对二维_ - - 维小波视频编码所涉及的关键技术进行了深入的研究和分 析，主要研究内容包括： 首先，介绍了小波编码理论及小波变换的两种实现方法，即m a l l a t 算法和 提升方法。阐述了基于小波变换的图像视频编码的研究现状，并对几种经典的 小波图像编码算法、二维_ - - 维小波视频编码框架分别进行了重点的分析。 其次，本文实现了两种二维小波视频编码方案，即m c - e b c o t ( m o t i o n c o m p e n s a t i o n - e m b e d d e d b l o c k c o d i n g w i t h o p t i m i z e dt r u n c a t i o n ) 和 m c s p i h t ( m o r i o nc o m p e n s a t i o n s e tp a r t i t i o n i n gi nh i e r a r c h i c a lt r e e s ) 。在以上两 种编码方案的基础上，对二维小波视频编码框架中的运动估计技术、帧内帧间 残差图像编码和小波基的选择等三个关键技术进行了深入的研究，以探究每项 关键技术对二维小波视频编码框架整体编码性能的影响。 接下来，结合高性能的h 2 6 4 a v c 视频编码标准，提出了一种基于 h 2 6 4 a v c 与二维小波变换的混合视频编码框架。实验结果表明，在较低码率 条件下，无论是客观评价还是主观评价，本文算法均要好于h 2 6 4 a v c 编码； 但是，在中高码率条件下，本文算法与h 2 6 4 a v c 还有一定的差距。另外，本 文算法采用多分辨率运动估计，因此算法的运算复杂度与h 2 6 4 a v c 相比有明 显的下降。同时，本文算法还支持空间、时间等可扩展功能。 最后，本文对基于运动补偿时域滤波的三维小波视频编码的运算复杂度进 行了分析，发现运动补偿时域滤波占据了绝大部分编码时间。为了降低三维小 北京工业大学工学硕士学位论文 波视频编码的运算复杂度，本文基于视频序列的运动特征，提出了一种面向三 维小波视频编码的自适应帧组结构选择算法。实验结果表明，在保证编码性能 与固定帧组结构基本相当的情况下，对于运动剧烈的视频序列，与固定帧组结 构相比，采用本文提出的自适应帧组选择算法的三维小波编码器的运算复杂度 能够降低2 0 左右。 关键词小波变换，视频编码，h 2 6 4 a v c ，m c t f ，自适应帧组结构 a b s t r a c t a b s t r a c t w 池t h e d e v e l o p m e n t o fm u l t i m e d i ai n f o r m a t i o n p r o c e s s i n g ，d i g i t a l c o m m u n i c a t i o na n dn e t w o r k t e c h n o l o g y , m u l t i m e d i ac o m m u n i c a t i o nh a sb e c o m ea l l i m p o r t a n tm e a n so fi n f o r m a t i o ni n t e r a c t i o n d i g i t a li m a g e v i d e oc o d i n gt e c h n o l o g y , 嬲a ni m p o r t a n tp a r to fm u l t i m e d i ac o m m u n i c a t i o n ，h a sb e e nt h eh o tr e s e a r c ht o p i c i n t h em u l t i m e d i ap r o c e s s i n gf i e l d ，a n dw i d e l yu s e d a tp r e s e n t , t h em a j o r i t yo ft r a d i t i o n a lv i d e oc o d i n gf r a m e w o r k sa d o p tak i n do f h y b r i dc o d i n gs c h e m eb a s e do nt h em o t i o ne s t i m a t i o n c o m p e n s a t i o na n dd c t ( d i s c r e t ec o s i n et r a n s f o r m ) t r a n s f o r n l ，s u c ha st h ei n t e r n a t i o n a ls t a n d a r dh 2 6 3 ， h 2 6 4 a v c ，m p e g - 4 ，e t c h o w e v e r , t h et r a d i t i o n a lf r a m e w o r k sb a s e do nd c ta l s o h a v et h e i ri n h e r e n td i s a d v a n t a g e s ，t h a ti s ，s e v e r eb l o c k i n ge f f e c ta n dm o s q u i t on o i s e a tt h el o wr a t ea sw e l la st h ee x t r e m e l yh i 曲c o m p u t a t i o n a lc o m p l e x i t yo ft h e e n c o d e r a sa ne x c e l l e n tm e t h o do f t i m e f r e q u e n c ys i g n a la n a l y s i s ，w a v e l e t w a n s f o r mh a sb e e nd e v e l o p e do nt h e b a s i so ff o u r i e rt r a n s f o r m ，a n da t t r a c t s i n t e n s i v ec o n c e r n s b e c a u s eo ft h eu n i q u es e l e c t i v ea b i l i t yo ft h ed i r e c t i o nc o n s i s t e n t 、析也h u m a ns y s t e ma n dt h ec h a r a c t e r i s t i c so fe n e r g yc o n c e n t r a t i o n , w a v e l e t t r a n s f o r mh a sb e e nw i d e l yu t i l i z e di nt h ef i e l do fi m a g ec o d i n g ，a n dh a sa c h i e v e d e x c e l l e n tr e s u l t s t h e r e f o r e ，m a n yr e s e a r c hs c h o l a r si n t r o d u c ew a v e l e tt r a n s f o r mt o t h ef r a m e w o r ko fv i d e oc o d i n g d u et ot h ei n h e r e n tm u l t i r e s o l u t i o nc h a r a c t e r i s t i c s o fw a v e l e tt r a n s f o r m ，w a v e l e tv i d e oc o d i n gm e t h o d sc a ne a s i l ys u p p o r ts e v e r a lk i n d s o fs c a l a b i l i t y , s u c ha st e m p o r a l ，s p a t i a l ，q u a l i t y , a n ds oo n i nt h i sp a p e r , 2 da n d3 dv i d e oc o d i n gf r a m e w o r k sb a s e do nt h ew a v e l e t t r a n s f o r ma l ei n v e s t i g a t e da n da n a l y z e dd e e p l y a n dt h em a i nr e s e a r c hc o n t e n t so f t h ep a p e ri n c l u d e ： f i r s t ，w a v e l e tt h e o r ya n dw a v e l e tt r a n s f o r i l la r ei l l u s t r a t e d a n dt w o i m p l e m e n t a t i o nm e t h o d so fw a v e l e tt r a n s f o r ma r ei n t r o d u c e d ，w h i c ha r em a l l a t a l g o r i t h ma n dl i f t i n gs c h e m e c u r r e n tr e s e a r c hs t a t u so fi m a g e v i d e oc o d i n ga sw e l l a ss o m ec l a s s i c a li m a g ec o d i n ga l g o r i t h m sb a s e do nw a v e l e tt r a n s f o r mi sp r e s e n t e d t h e n , t h ef r a m e w o r k so f2 da n d3 dw a v e l e tv i d e oc o d i n ga r ei n v e s t i g a t e da n d a n a l y z e d s e c o n d l y , i nt h i sp a p e r , t w of r a m e w o r k so fw a v e l e tv i d e oc o d i n g a l e i m p l e m e n t e d ，n a m e l ym c e b c o t ( m o t i o nc o m p e n s a t i o n e m b e d d e db l o c k c o d i n g w i t ho p t i m i z e dt r u n c a t i o n ) a n dm c - s p i h t ( m o t i o nc o m p e n s a t i o n - s e tp a r t i t i o n i n g u i 北京工业大学工学硕士学位论文 i nh i e r a r c h i c a lt r e e s ) b a s e do nt h et w of r a n l e w o r k s ，t h r e ek e yt e c h n o l o g i e so f2 d w a v e l e tv i d e oc o d i n gf r a m e w o r ka r er e s e a r c h e d ，w h i c ha l em o t i o ne s t i m a t i o n , t h e c o d i n gm e t h o d so ft h ei n t r aa n di n t e rr e s i d u a li m a g e sa n dt h ec h o i c eo fw a v e l e tb a s i s m e a n w h i l e ，h o we a c hk e yt e c h n o l o g ya f f e c t st h ep e r f o r m a n c eo f2 dw a v e l e tv i d e o c o d i n gi se x p l o r e d s u b s e q u e n t l y , o nb a s i so fh i g hp e r f o r m a n c eh 2 6 4 a v cv i d e oc o d i n gs t a n d a r d ， ah y b r i dv i d e oc o d i n gf r a m e w o r kc o m b i n i n gh 2 6 4 a v ca n d2 dw a v e l e tt r a n s f o r m h a sb e e np r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a t ，c o m p a r e dw i t hh 2 6 4 a v c ，b o t h t h es u b j e c t i v ea n do b j e c t i v ee v a l u a t i o no ft h ep r o p o s e dm e t h o di sb e t t e rt h a n h 2 6 4 a v cs t a n d a r da tl o w e rb i tr a t e h o w e v e r , t h i sa l g o r i t h ms t i l lh a sac e r t a i n d i s t a n c ew i t hh 2 6 4 a v co nt h eh i g l lr a t ec o n d i t i o n i na d d i t i o n , b e c a u s eo fu s i n g m u l t i r e s o l u t i o nm o t i o ne s t i m a t i o na l g o r i t h m ，t h ec o m p u t a t i o n a lc o m p l e x i t yo ft h e p r o p o s e dh y b r i dv i d e oc o d i n gf r a m e w o r ki ss i g n i f i c a n t l yd e c r e a s e dc o m p a r e d 、枋n 1 t h eh 2 6 4 a v c f u r t h e r m o r e ，t h ea l g o r i t h ma l s os u p p o r t ss e v e r a lk i n d so fs c a l a b i l i t y s u c ha st e m p o r a l ，s p a t i a l ，q u a l i t y f i n a l l y , t h ec o m p u t a t i o n a lc o m p l e x i t yo f3 dw a v e l e tv i d e oc o d i n gf r a m e w o r k b a s e do nm o t i o nc o m p e n s a t e dt e m p o r a lf i l t e r i n gi sa n a l y z e d ，a n di ti sf o u n dt h a t m c t fo c c u p i e sm o s to ft h ee n c o d i n gt i m e t or e d u c et h ec o m p u t a t i o n a lc o m p l e x i t y , a na d a p t i v eg o ps t r u c t u r es e l e c t i o na l g o r i t h mb a s e do nt h em o t i o nc h a r a c t e r i s t i c so f t h ev i d e os e q u e n c e sh a sb e e np r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a t ，w h i l e a c h i e v i n gt h es a n l ep e r f o r m a n c eo fc o d i n gw i t hf i x e dg o pa l g o r i t h m ，t h ea d a p t i v e g o ps e l e c t i o na l g o r i t h mc a l lr e d u c et h ec o m p u t a t i o n a lc o m p l e x i t yo f3 dw a v e l e t v i d e oc o d i n gf r a m e w o r kb y2 0 f o rt h ev i d e os e q u e n c e sw i t hd y n a m i cm o t i o n k e yw o r d s ：w a v e l e tt r a n s f o r m ，v i d e oc o d i n g ，h 2 6 4 a v c ，m c t f ，a d a p t i v e g o ps t r u c t u r e 目录 目录 摘要。 a b s t r a c t 第1 章绪论。 i i 1 1 研究背景与意义l 1 2 视频编码研究现状1 1 2 1 传统视频编码方法1 1 2 2 小波编码的特点2 1 2 3 小波视频编码方法4 1 3 本论文研究内容5 1 4 论文结构6 第2 章基于小波变换的图像视频编码研究进展 7 2 1 引言7 2 2 小波变换基础7 2 2 1 小波变换。7 2 2 2 m a l l a t 算法8 2 2 3 提升小波变换8 2 3 基于小波变换的图像编码算法9 2 3 1s p m t 算法1o 2 3 2 e b c o t 算法。1 2 2 4 基于小波变换的视频编码研究现状。1 3 2 4 1 二维小波视频编码方法1 3 2 4 2 三维小波视频编码方法1 7 2 5 本章小结。19 第3 章二维小波视频编码框架中的关键技术研究2 1 3 1 引言2 1 3 2 运动估计技术2 l 3 2 1 运动矢量搜索2 1 3 2 2 亚像素精度运动估计2 2 3 2 3 实验结果与分析j 2 6 3 3 帧内帧间残差图像编码方法2 8 3 3 1 基于小波变换的帧内帧间残差图像编码方法2 8 3 3 2 实验结果与分析2 9 3 4 小波基的选择。3 0 3 4 1 几种常用的小波滤波器3 2 3 4 2 实验结果与分析3 4 3 5 本章小结。3 5 北京工业大学工学硕士学位论文 第4 章一种基于h 2 6 4 a v c 与二维小波变换的混合视频编码框架3 7 4 1 引言：。3 7 4 2 基于h 2 6 4 a v c 与二维小波变换的混合视频编码框架3 7 4 3 基于h 2 6 4 a v c 标准的低频子带序列编码3 8 4 3 1 h 2 6 4 a v c 视频编码标准3 9 4 3 2 分层b 帧结构一4 1 4 4 高频子带序列编码方法。4 2 4 4 1 多分辨率运动估计4 2 4 4 2 基于能量的i n t r a i n t e r 编码模式选择方法4 4 4 4 3 运动矢量编码4 5 4 4 4 分块编码4 6 4 5 实验结果与分析。4 7 4 6 本章小结一5 1 第5 章面向运动补偿时域滤波三维小波视频编码框架的自适应帧组结构选择 算j 去! ；：i 5 1 引言5 3 5 2 e n h m c e z b c 三维小波视频编码5 3 5 2 1 运动补偿时域滤波5 4 1 ；2 2 d i r e c t i o n a li b l o c k 5 6 5 2 3 f r e q u e n e yr o l l o f f 5 7 5 2 4 e z b c 算法一5 7 5 3 e n h m c e z b c 编码运算复杂度分析5 9 5 4 自适应帧组结构选择5 9 5 4 1 视频序列运动特征分析5 9 5 4 2 基于运动特征的自适应帧组结构选择6 l 5 5 实验结果与分析。6 4 5 6 本章小结6 7 结论与展望6 9 1 、论文工作总结6 9 2 、下一步工作展望7 0 参考文献7 1 攻读硕士学位期间发表的学术论文、参加的科研项目和获得的奖励7 7 致谢 第1 章绪论 1 1 研究背景与意义 第1 章绪论 近年来，随着信息技术的发展和社会的不断进步，人们对多媒体业务的需求 在不断增加。多媒体技术应用范围广泛，如网上可视会议、网上可视电子商务、 视频点播等业务。图像与视频作为多媒体信息最重要的载体之一，其具有直观性、 确切性、广泛性等特点，已经深入人们的日常工作与生活。数字图像视频处理 技术也因此成为当前多媒体处理领域的研究重点【l 捌。 虽然数字图像视频具有生动、直观等优势，但是其数据量巨大。例如，一 幅分辨率为1 0 2 4 x7 6 8 的彩色图像，每个像素用2 4 比特存储，则总的数据量约 为1 8 8 7 m b 。如果以2 5 帧s 的速度对p a l 制的数字视频信号进行传输，在未压 缩的情况下，数据的传输速率可达2 1 6 m b s 左右。如此庞大的数据量，无论是对 于存储设备的存储、通信网络的传输，还是对于计算机的处理都会带来巨大的困 难。如果单纯靠扩大存储器容量、增加通信干线传输速率的办法来解决问题是不 现实的。因此，必须根据图像视频的特点对其进行必要的压缩编码，从而提高 存储、传输和处理速度，节省存储空间。 数字图像视频编码是指在满足一定图像恢复质量的条件下，用尽可能少的 数据量来表示图像视频信息 2 1 。由于数字图像视频具有极强的相关性，也就是 说含有大量的冗余信息，这也使得视频压缩成为了可能。这些冗余信息主要包括 时域冗余、空间冗余、统计冗余和视觉冗余等，可以通过减少这些冗余来达到数 据压缩的目的。目前，通常采用运动估计补偿、变换编码、预测编码以及矢量 量化等传统编码技术来去除图像视频数据中的冗余信息，以尽可能少的码字表 示图像视频信息。 数字图像视频编码技术经过多年的研究，不仅在理论上取得了重大进步， 而且在实际应用中也获得了很大成功。这也使得数字图像视频编码技术已经成 为计算机、通信、数字消费电子三大信息支柱产业的核心技术，并具有广泛的应 用前景。 1 2 视频编码研究现状 1 2 1 传统视频编码方法 经过多年的研究，视频编码技术得到了迅速的发展和广泛的应用，并且日臻 成熟。传统的视频压缩编码主要采用帧间运动估计补偿+ d c t 变换的混合编码框 北京工业大学工学硕士学位论文 架，其中运动估计辟f 、偿可以有效地去除时间冗余，d c t 变换用于去除空间冗余。 目前，传统视频编码的相关技术已经相当成熟，并且制定了几个视频编码的国际 标准，并得到了广泛的应用【l , 2 1 。 m p e g ( m p e g ，m o v i n gp i c t u r ee x p e r to r o u p ) $ i j 定的m p e g 一1 、m p e g - 2 和 m p e g - 4 系列标准，主要应用于视频存储( 如：d v d ，d i g u av e r s a t i l ed i s e ) 、广播 电视、因特网或无线网上的流媒体等，该系列标准倾向于控制视频传输质量【3 1 。 i t u t ( i t u t ， i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n - t e l e c o m m u n i e a t i o n s t a n d a r d i z a t i o ns e c t o r ) $ | j 定的h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 抖系列标准，主要 应用于实时视频通信领域，如电视电话会议电视等，该系列标准侧重于视频信 息的数据压缩效率，以调整该系统在特定的位速率下的传输 3 1 。 2 0 0 3 年5 月国际标准化组织( i s o ，i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 与国际电信联盟电信标准化部f - ( i t u t ) i e 式成立了联合视频工作组( t ，j o i n t v i d e ot e a m ) ，致力于制定下一代的视频编码标准。之后制定了h 2 6 4 a v c 视频 编码标准，h 2 6 4 a v c 具有高效的压缩性能和易于网络传输的能力。与m p e g - 4 等以往标准相比，h 2 6 4 a v c 的编码性能有了较大的突破，在3 0 - - 3 5 d b 的解码 质量范围内，能比m p e g - 4 节约3 0 0 o - 5 0 的码率【3 】。 v p 6 4 1 是o n 2 公司v p x 视频编解码器系列中的一个版本，v p x 系列编解码 器是当今市场上最优秀的视频压缩技术之一，并得到了广泛的应用。v p 6 编解码 器作为一个私有协议，采用了一些特有的编解码技术，使其可以提供比w m v 9 和m p e g - - 4 更好的图像质量、更快的编解码速度。 虽然传统的基于运动估计席 、偿+ d c t 变换的混合视频编码框架已经获得了 出色的编码性能，但随着应用和研究的不断深入，该编码框架的缺点也逐步显露 出来。首先，由于采用了基于块的运动估计辟| 、偿技术和分块d c t 变换技术，使 得解码图像不可避免地出现方块效应和飞蚊噪声，在低码率情况下，方块效应问 题更为明显；其次，一般情况下图像信号是高度非平稳的，很难用高斯过程来刻 画，并且图像中的一些突变结构，例如细节信息远比图像平稳性重要，用余弦基 做图像信号的非线性逼近其结果不是最优的，即d c t 变换做图像的非线性逼近 并不是最优的。最后，h 2 6 4 a v c 视频编码标准之所以能获得如此高的编码性能， 都是以牺牲运算复杂度为代价的，这对于实时性有严格要求的多媒体实际应用是 无法容忍的。 1 2 2 小波编码的特点 小波变换是在传统短时傅里叶变换的基础上发展起来的一种新型变换方法， 它具有多分辨率分析的特点，在时域、频域同时具有良好的局部化特性。小波变 换对信号的高频成分采用逐渐精细的时域或空域取样步长，因此可以聚焦到对象 第1 章绪论 的任意细节。因此，它特别适合于对信号奇异点的分析，被誉为“数学显微镜 。 正是因为小波变换的这些优点，使其已经被广泛应用于图像处理、图像编码、视 频编码，以及计算机视觉等众多科学领域。 一幅图像经过多级离散小波变换后，可得到一系列不同分辨率的子图像。不 同分辨率的子图像对应的频率是不相同的，高分辨率子图像对应图像的高频分 量，表示图像的纹理和边界区域，而低频分量表示图像的平坦区域。根据小波变 换特征可知，小波图像系数具有以下几个明显的特点【2 】： 1 、小波图像的频谱划分和方向选择性 小波变换将信号频谱按倍频程分割，其结果是将原始信号划分为一个低频带 数据和多个高频带数据。对于图像数据来说，小波图像包括一个最低频子带l l a ( d 级小波变换时) 和一系列的高频子带m ，三日，h i - i j ( i = 1 ，2 ，回，并且不同高 频子带表示了图像不同方向的边缘、轮廓等信息。其中，皿，主要表示原始图像 水平方向的高频信息，三局包含了更多垂直方向的高频信息，h - j 则体现了对角 线方向的高频信息。小波图像的这一特点表明小波变换具有良好的空间方向选择 性，与人眼的视觉特性十分吻合。可以根据不同方向的信息对人眼影响的不同来 设计不同的量化参数，从而得到较高的编码效率。小波图像的这种方向选择性也 是d c t 图像不具备的。 2 、小波图像具有系数能量集中的特点 对于小波图像，高频子带表示图像的纹理和边界区域，其系数较小，而低频 子带表示图像的平坦区域，其系数相对较大。因此，小波变换将图像绝大部分能 量集中到低频子带中，只有少数能量分布在高频子带中。可以根据低频子带和高 频子带各自的特性采用不同的编码方法，从而得到很好的编码效果。同时，在小 波变换编码中，图像是作为一个整体进行小波变换和编码的，而并不像传统的基 于分块的图像编码方法那样，把整幅图像分成像素块进行变换和编码，因此不会 出现方块效应问题。 3 、小波图像具有多分辨率分析的特点 小波变换具有多分辨率分析的能力，小波图像的各个高频子带分别对应了原 图像在不同分辨率下的细节，而低频子带是对原始图像最小分辨率的最佳逼近。 正是由于小波变换天然的多分辨率特性，使得小波编码很容易实现空间可扩展编 码。从多分辨率分析的角度考虑小波图像的各个频带时，这些频带之间并不是完 全无关的。特别是对于各个高频子带，由于它们是图像同一边缘、轮廓和纹理信 息在不同方向、不同分辨率下由细到粗的描述，它们之间必然存在着一定的关系， 很显然，这些频带中所对应的边缘、轮廓的相对位置都是相同的。此外，低频子 带的边缘与同尺度下高频子带中所包含的边缘之间也有对应关系。 北京工业大学工学硕士学位论文 各子带的系数间存在着天然的塔式数据结构特点，低频子带中的每个像素点 在空间位置上也与最低分辨率下三个高频子带中的一个像素点存在着对应关系。 而除了最高分辨率下的三个高频子带外，每个高频子带中的每个像素点在空间位 置上都对应于其相邻分辨率下高频子带的四个像素点，如图1 1 所示。如果能够 充分利用小波图像这种子带内和子带间系数之间很强的相关性，可以达到很好的 编码性能。 图1 - 1 小波图像的塔式数据结构 f i g u r e1 - 1p y r a m i dd a t as t r u c t u r eo f w a v e l e ti m a g e 1 2 3 小波视频编码方法 目前，基于小波变换的视频编码框架总体上可分为两类 2 1 ：二维小波视频编 码和三维小波视频编码。其中，根据运动估计补偿在编码框架中的位置不同， 二维小波视频编码框架又可以分为基于像素域运动估计辟 、偿的小波视频编码和 基于小波变换域运动估计补偿的视频编码两种。同理，三维小波视频编码框架 也可以分为不含运动估计辟f 、偿的三维小波视频编码和含运动估计辟h 偿的三维小 波视频编码( 也可称为基于运动补偿时域滤波的三维小波视频编码) 。 在二维小波视频编码框架中，基于像素域运动估计辟h 偿的小波视频编码框 架与现有的传统视频编码标准基本相同，不同之处在于用离散小波变换w t ， d i s c r e t ew a v e l e tt r a n s f o r m ) 代替了传统的离散余弦变换( d c t ，d i s c r e t ec o s i n e t r a n s f o r m ) 。通常采用高效的小波图像编码算法对运动补偿残差信号进行编码， 可以有效地去除小波系数子带内和子带间的相关性，从而提高编码性能。而在基 于小波变换域运动估计序h 偿的视频编码框架中，通常在小波变换域进行多分辨 率运动估计( m r m e ，m u l t i r e s o l u t i o nm o t i o ne s t i m a t i o n ) ，但由于小波变换不具 有平移不变性，使得无法在小波交换域内得到精确的运动矢量，而导致编码效率 的下降。经过研究发现，l b s m e 算法( l o w - b a n d s h i f tm o t i o ne s t i m a t i o n ) 、采用 具有移不变特性的冗余小波变换( r d w t ，r e d u n d a n td w t ) 能很好地解决小波变 换移变性的问题，但是其都是以牺牲运算复杂度和更多的内存需求为代价的。总 之，对于二维小波视频编码框架来说，基于像素域运动估计补偿的小波视频编 码与基于小波变换域 但是，与h 2 6 4 a v c 对于三维小波视频编码来说，不含运动估计补偿的三维小波视频编码方法 由于没有进行运动估计辛f 、偿，对运动剧烈的序列编码不能有效地去除时间冗余， 因此重建图像质量很差。含运动估计辟 、偿的三维小波视频编码，可以有效地去 除时间相关性，已经成为近期小波视频编码领域的研究热点。因此，仅从编码性 能来看，含运动估计辟 、偿的三维小波视频编码要比二维小波编码更具优势。同 时，三维小波视频编码支持时间、空间、质量等多种可扩展功能。但是，这种编 码性能的提高和支持可扩展功能都是以牺牲计算复杂度和更大的存储空间为代 价的。 1 3 本论文研究内容 由于小波变换已经在图像编码领域中获得了成功应用，因此众多学者把小波 变换引入到了视频编码算法中，并取得了不错的效果，但同时也存在一些问题。 本文对二维- - 维小波视频编码两个编码框架进行了重点的研究与分析。 对于现有的二维小波视频编码框架来说，其编码性能与h 2 6 4 a v c 还有一 定的差距。二维小波视频编码涉及的关键技术很多，为了探究每项关键技术在整 体编码框架中所起的作用，本文对二维小波视频编码框架中的运动估计技术、帧 内帧间残差图像编码和小波基的选择等三个关键技术进行了深入的研究，重点 分析了每项技术对二维小波视频编码整体性能的影响。在以上研究的基础上，结 合高性能的h 2 6 4 | a v c 视频编码标准，本文提出了一种基于h 2 6 4 a v c 与二维 小波变换的混合视频编码框架。实验结果表明，与h 2 6 4 a v c 编码标准相比， 在较低码率条件下，无论是客观评价还是主观评价，本文提出的框架均能取得更 优的编码性能；但是，在中高码率条件下，本文算法与h 2 6 4 a v c 还有一定的 差距。另外，由于采用了多分辨率运动估计，因此本文算法的运算复杂度与 h 2 6 4 a v c 相比有明显的下降。同时，本文算法还支持空间、时间可扩展功能。 对于基于运动补偿时域滤波的三维小波视频编码方案来说，往往需要多帧作 为一个帧组( g o p ，g r o u po f p i c t u r e s ) 进行多级运动补偿时域滤波( m c t f ，m o t i o n c o m p e n s a t e dt e m p o r a lf i l t e r i n g ) 来有效地去除帧间的时间冗余，但是这样不仅大 大提高了运算复杂度，所需的内存也大大增加，无法满足实时处理的要求。为了 降低三维小波视频编码的运算复杂度，本文基于视频序列的运动特征，提出了一 种适用于三维小波视频编码的自适应帧组结构选择算法。该算法主要包括g o p 大小的自适应选择和m c t f 变换结构的自适应选择两个部分，利用m c t f 过程 中产生的运动信息和“非连接的像素点的统计特性来自适应地选择g o p 的大 小和m c t f 变换结构，因此并没有引入额外的计算。实验结果表明，在保证编 北京工业大学工学硕士学位论文 码性能与固定帧组结构基本相当的情况下，对于运动剧烈的视频序列，与固定帧 组结构相比，采用本文提出的自适应帧组选择算法的三维小波编码器的运算复杂 度能够降低2 0 左右。 本文的研究内容能够有效地提高基于小波变换的视频编码方案的编码效率， 降低运算复杂度，使编码器具有更好的性能。此外，对于基于小波变换的视频编 码框架的国内外研究工作，以及进一步的产业化发展，本文工作也具有一定的参 考价值。 1 4 论文结构 论文共分6 章，结构安排如下： 第1 章阐述了课题的研究背景与意义，叙述了国内外视频编码的研究现状， 分析了传统的基于运动估计补偿+ d c t 变换的混合视频编码框架的优缺点。针对 传统视频编码框架的不足，分析了小波编码的优势，并总结了目前基于小波变换 的视频编码方法。 第2 章首先详细阐述了小波变换基础和小波变换的两种实现方法，即m a l l a t 算法和提升方法。接着，介绍了几种经典的基于小波变换的图像编码算法，重点 介绍了s p i h t 算法和e b c o t 算法。最后，阐述了基于小波的视频编码的研究现 状，对二维