（计算机应用技术专业论文）基于三维小波变换的视频编码技术研究.pdf

基于三维小波变换的视频编码技术研究 摘要 随着i n t e r n e t 网络、无线通信技术以及交互式多媒体的迅速发展，视频 压缩自然成为当今视频通信的研究重点。目前，许多实用的图像编码算法 都是基于空间域的运动估计和补偿、预测误差的d c t 及量化以及变换系数 的熵编码的混合编码方法，如国际标准j p e g ，m p e g 1 ，m p e g 2 等。但 基于d c t 的算法有其固有的缺点，即方块效应，在压缩比较高时，图像质 量会很差，因此人们一直在努力研究寻找更为有效的编码方法。小波变换 作为一种具有优异性能的时域信号分析工具，受到了人们的广泛关注。它 在时域和频域上同时具有良好的局部性，可以将图像信号分解成不同分辨 率的字图像，能够很好地消除图像数据中的统计冗余，其多分辨率的变换 特性还提供了利用人眼视党特性的良好机制。 本文系统地研究了包含运动补偿技术的三维小波变换视频编码，取得了 一些有意义的成果。主要内容包括： 1 现有的三维小波视频编码器包括两种：不含运动估计补偿的三 维小波视频编码器和运动补偿三维小波视频编码器。将两种视频 编码器作以比较，发现它们各自的优点和不足。 2 针对r 性能较优的运动补偿三维小波视频编码器运算复杂度高的 缺点，通过分析视频序列中运动矢量的特点，了解到对于一般的 运动简单的图像序列，宏块的运动矢量基本上都集中在搜索窗口 的中心点附近；而且搜索运动矢量的时候，一定范围内的最小点 往往在当前极小点附近取得。本文提出了一种新的运动估计改进 方案具有方向性的线性搜索。 关键词：三维小波视频编码运动估计菱形搜索运动补偿s p i h t s t u d yo nv i d e oc o d e rb a s e do n 3 一d 、 ，a v e l e tt r a n s f o r m a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e m e tn e t w o r k ，w i r e l e s sc o m m u n i c a t i o n ， a n di n t e r a c t i v em u l t i m e d i a ，v i d e oc o m p r e s s i o ni sb e c o m i n ga ni m p o r t a n ti s s u e i nt h er e s e a r c ha r e ao fv i d e oc o m m u n i c a t i o nt o d a y r e c e n t l y ，m a n ya p p l i e d i m a g ec o d i n ga l g o r i t h m sa r em i x e dc o d i n gm e t h o d sb a s e do nt h es p a t i a im o t i o n e s t i m a t i o na n dc o m p e n s a t i o n ，t h ed c ta n dq u a n t i f j c a t i o no fd i s p l a c e d 疔a m e 疝强j e e n c e dj e n t r o p y o d i n gs u c ha ss o m ei n t e ma t i o n a ls t a n d a r d sj p eg ， e g 一1 ，m 口e g 一2a n ds oo n b u tt h ea l g o r i t h m sb a s e do nd c th a v et h e i r i n h e r e n td i s a d v a n t a g et h a ti s “b l o c k i n ge 行色c t ”t h eq u a l i t yo ft h er e s t o r e d i m a g e si st o ob a da tt h eh i 曲c o m p r e s s i o nr a t i o s om u c hm o r ee 丘b c t i v ec o d i n g m e t h o d sh a v eb e e ng o n ef o la sa ne x c e l l e n tm a t h e m a t i c a la n a l y t i c a lt 0 0 1 w a v e l e tt r a n s f o r ma n i a c ti n t e n s i v ec o n c e m t h em u l t i r e s o l u t i o na n a l y s i so f w a v e l e tt r a n s f o n nm a t c h e sw i t ht h e c h a r a c t e ro fh u m a nv i s i o n 1 tc a ng i v e s u b - b a n d sf b rd i f j 、e r e n t1 e v e l sa n dd i 丘e r e n td i r e c t i o n so fa ni m a g e a f t e rap e r i o do fs y s t e m a t i c a l 】yr e s e a r c ho n3 - dw a v e l e tv i d e oc o d e c w h i c hc o n t a i n sm o t i o nc o m p e n s a t e dt e c h n o l o g y ，s o m ev a l u a b l eo u t c o m e sh a v e b e e nm a d ea sf o l l o w i n g 1 g e n e r a l l ) ，w a v e l e tv i d e oc o d e rt e c h n o l o g ya r ed i v i d e di n t ot w ok i n d s 3 一dw a v e l e tv i d e oc o d e re x c l u d i n gm o t i o ne s t i m a t i o n c o m p e n s a t i o na 1 1 d m o t i o nc o m p e n s a t i o n3 一dw a v e l e tv i d e oc o d e r m a k i n gac o m p a r i s o n b e t w e e nt w ok i n d so f3 一d 、v a v e 】e tv i d e oc o d e r ，t h e i fo w na d v a n t a g ea n d d i s a d v a n t a g ei sf o u n d 2 w i t ht h ep u r p o s eo fr e s o l v i n gt h ed i s a d v a n t a g eo fm o t i o nc o m p e n s a t i o n 3 一dw a v e l 文v i d e oc o d e r ，w ea n a l y z et h ef e a t u r eo fm o t i o nv e c t o ri n v i d e os e q u e n c e s m o s to fm o t i o nv e c t o ro fm a c r ob l o c ki nt h es i m p l e v i d e os e q u e n c e si sn e a rt h ec e n t e ro fs e a r c h i n gw i n d o wa j l dw h e n s e a r c h i n gm o t i o nv e c t o r ，t h em i n i m u mp o i n ti nc e r t a i na r e a si sg o tn e a r 扭e 露u n ：e n ：t | n 主n i 砌瑚p o i n ts o a 撕n do fn e wm o t i o ne s t i m a t i o nm e t h o d d i r e c t i o n a ll i n e a rs e a r c hi sp r o p o s e di nt h i sp a p e r k e yw o r d ：3 一dw a v e l e t ；v i d e oc o d i n g ；m o t i o ne s 协n a t i o n ；d i 锄o n ds e a r c h m o t i o nc o m p e n s a t i o n ；s p i h t v 广西大掌司士掌位论文基于三维d 、波竞换的视频编码技术研究 第一章绪论弟一早 三；百下匕 1 1 课题研究的目的及意义 随着互联网和多媒体技术日新月异的发展，人与人之间信息交流的日益增加，形色 兼具的视频信息在网络传输的信息中所占据的比例越来越高。但由于视频信息本身十分 庞大，限制了其在网络中的传播速度，于是视频信息的压缩成为视频传输的一个重要的 环节。 我们可以知道视频数据或是存于c d 、d v d 等存储器件中，或是在通信网络上传输， 数字视频数据量的大小就是多媒体技术中非常重要的问题。由于原始模拟视频信号需要 很大的带宽，如果视频帧以未压缩的格式传输，不论何种网络平台，视频应用都会使通 信媒体的带宽资源紧张。例如，假定视频帧量化为离散的像素，每行1 7 6 个像素，每幅 图像1 4 4 行，如果图像颜色用两个色度帧来表示，每个色度帧的分辨率是亮度图像的一 半，那么，当每个亮度或色度分量用8 b i t 的精度，每个视频帧都需要大约3 8 k b 来表示 其内容。若视频帧不经过压缩以2 5 帧秒传送，那么原始的视频序列数据率约为 7 6 m b p s ，并且每分钟的视频数据需5 7 m b 的带宽。对于3 5 2 2 8 8 分辨率的c i f 格式 ( 公共中间格式) ，每个亮度或色度分量取8 b i t 的精度，每个色度分量以亮度分量一半 的分辨率时，每个图像需要1 5 2 k b 的存储单元来表示数字信息量。仍以上述帧率，原 始的视频数据率几乎可达3 0 m b p s ，每分钟的视频数据需2 2 5 m b 以上的带宽。因此，寻 找一种具有高压缩率的数字变换方法成为一个关键问题。 f j u r i e r 变换是信号处理领域中研究最早应用最广的分析工具。图像和视频压缩中最 常使用的工具是一种简化了的f o u r i e r 变换( 离散余弦变换) d c t 变换。基于分块 d c t 变换的压缩编码技术是已有图像和视频压缩标准的核心技术，主要是因为：( 1 ) d c t 具有良好的去相关性和能量压缩特性：( 2 ) d c t 变换存在快速实现算法。但随着 应用和研究的不断深入，分块d c t 变换编码的缺点逐步暴露出来，尤其在低比特率环 境下压缩图像不可避免地出现了方块效应和飞蚊噪声。这是因为一般情况下图像信号 是高度非平稳的，很难用g a u s s 过程来刻画，并且图像中的一些突变结构例如边缘信息 远比图像平稳性重要，用余弦基做图像信号的非线性逼近其结果不是最优【l _ 2 。因此 在2 0 世纪8 0 年代中期出现小波变换这种新时频域信号分析工具。 _ r 西大学硕士掌位论文基于三堆小波变换的视频埔码技术研究 信号压缩就是要用尽可能少的比特数表示一个信号，因此要提高信号的压缩效率首 先要给出信号的稀疏表达式。数学界和工程界在共同研究数据表示技术的过程中发展起 来的小波分析技术和多分辨率分析理论，摒弃了传统f o u r i e r 分析所必须的前提假设一 信号的平稳性，成为分析非平稳信号的有力工具。 这一理论的出现导致了我们从新的视角去研究信号压缩、噪声滤波等信号处理问 题： ( 1 ) 由于小波基的紧支性和小波分解的多尺度结构，非线性小波逼近实质上等价 于一个自适应的网格逼近，网格的分辨率在信号奇异点的邻域内被适当加细了。 ( 2 ) 由于小波基的无条件基特性，使它成为一大类信号的非线性逼近的最优基， 许多信号在小波基的表示下，都可以获得稀疏的表示式。 小波变换是8 0 年代后期发展起来的应用数学分支，由于小波变换具有d c t 变换所 不具有韵视频局部性特性，对图像舶平滑部分进行粗处理，对细节部分进行精细处理。 同时，它也能将图像分解到多个尺度上，进行多分辨分析。将小波变换应用于图像处理 等领域可取得比传统的d c t 变换更好的效果，特别是在数字图像编码领域，基于小波 变换的压缩技术可取得比基于d c t 变换更高的信噪比( 压缩比相同时) 或压缩比( 信 噪比相同时) 。在m a l l a t 等学者提出了快速小波变换的理论，特别是a t t 公司b e l l 实 验室的w j ms w e l d e n s 等学者提出了小波变换的l i 崩n g 技术后，小波变换的计算速度可 与传统的快速d c t 变换相媲美甚至更快。快速小波变换算法的逐渐成熟也使小波变换的 应用研究快速发展。这些成果己汇集成工业标准一j p e g 2 0 0 0 。在此背景下，小波视频 压缩业已成为当前视频压缩的研究热点。而且可以预见，基于小波的视频压缩技术将是 未来视频压缩标准的一项核心技术。 1 2 关于本课题的研究 本文实现了一个运动补偿三维小波视频编码器，并针对含有运动补偿的三维小波视 频编码的运动补偿部分运算复杂度高的问题，通过对各种运动估计算法的分析，提出了 改进算法。论文结构安排如下： 第二章对小波分析做了较为详细的介绍，包括小波分析的发展背景、小波变换的定 义、多分辨率分析及离散小波快速算法m a l l a t 算法这几部分内容。由于小波分析具 广西大掌项士掌位论，：基于三维d 、波变接的视频月；码技术研究 有以上这些好的性能才使得它应用于视频压缩中取得良好的效果。 第三章介绍了数字图像视频压缩编码的基础，包括图像冗余、传统的图像压缩编 码方法及视频压缩编码的关键技术运动补偿、视频质量评价标准及部分内容。这是 我们研究视频压缩编码的基础。 第四章介绍了基于小波域的图像编码。主要内容有：小波图像编码的基本思想、关 键技术、提升算法、编码方法这几方面。较详细地介绍了每一部分所包含的重要内容。 实际上，我们处理的每一帧视频都可以把它看成是一幅图像。因此，在进行视频编码之 前有必要先了解一下基于小波域的图像编码技术 第五章介绍了基于三维小波的视频编码，包括小波视频编码方案概述和本文的主要 工作。本文工作主要是通过对比不包含运动补偿三维小波视频编码和运动补偿视频小波 编码两类小波视频编码方案，了解了在三维小波视频编码中运用运动补偿的重要性，针 对运动估计中运算复杂度高的问题提出了自己的改进方案，并给出了实验结果。 第六章是结束语，对本文工作做出了总结和展望。 n 广西大掌硕士掌位论文基于兰l 赴d 、波变换的拽颊编码技术研究 第二章小波分析 小波分析( w a v e l e ta n a l y s i s ) 是传统傅里叶分析( f o u r i e ra n a l y s i s ) 发展史上里程碑 式的进展，近年来成为众多学科共同关注的热点。小波变换的数学表达同经典的傅里叶 变换是完全不同的，它来源于短时傅里叶变换。小波变换的思想是将信号通过不同的高 通与低通滤波器族，滤波器族将信号的高频与低频成分分别进行处理。本章由对小波变 换的定义做简单的介绍开始，随后解释了多分辨率分析理论和对小波变换的快速算法 一m a l l a t 算法做了分析。 。 2 1 小波分析的发展背景 自从1 8 2 2 年傅里叶( f o u r i e r ) 发表“热传导解析理论”以来，傅里叶变换一直是 信号处理领域中最完美、应用最广泛、效果最好的一种分析手段。但傅里叶变换只是一 种纯频域的分析方法，它在频域的定位性是完全准确舶( 卸频域分辨率最高) ，而在时 域无任何定位性( 或分辨能力) ，也即傅里叶变换所反映的是整个信号全部时间下的整 体频域特征，而不能提供任何局部时间段上的频率信息。相反，当一个函数用6 函数展 开时，它在时间域的定位性是完全准确的，而在频域却无任何定位性( 或分辨能力) ， 也即6 函数分析所反应的只是信号在全部频率上的整体时域特性，而不能提供任何频率 段所对应的时间信息。实际中，对于一些常见的非平稳信号，如音乐信号，在不同时间 演奏不同音符；语音信号，在不同时间对应不同音节；探地信号，在目标出现的位置对 应一个回波信号等，它们的频域特性都随时间而变化，因此也可称它们为时变信号。对 这一类时变信号进行分析，通常需要提取某一时间段( 或瞬间) 的频域信息或某一频翠 段所对应得时间信息。因此，寻求一种介于傅里叶分析和6 分析之间的，并具有一定的 时间和频率分辨率的基函数来分析时变信号，一直是信号处理界及数学界人士长期以来 努力的目标pj 。 为了研究信号在局部时间范围的频域特征，1 9 4 6 年g a b o r 提出了g a b o r 变换，之后 又进一步发展为短时傅里叶变换( s t f t ) 。但由于s t f t 时一频窗的宽度只与所选窗口 函数譬( f ) 有关，而与信号频率无关，不论频率高或低，时一频窗宽度保持不变，是一种 恒分辨率分析。在八十年代初，有科学家使用“小波”的概念来进行数据处理，比较著 名的是1 9 8 4 年法国地球物理学家m o r l e t 引入小波的概念对石油勘探中的地震信号进行 基于= l 赴d 、波变换的视频埔i 码技术研究 存贮和表示。在此之后，1 9 8 6 年，法国数学家m e y e r 成功地构造出了具有一定衰减性 r、 的光滑函数妒，使 2 j 伊( 2 一，x k 】。： 构成上2 陋) 的规范正交基，从而证明了确实存在 l j 小波正交系。后来，1 9 8 7 年，m a l l a t 将计算机视觉领域内的多尺度分析思想引入到小波 分析中，提出多分辨率分析概念，统一了在此之前的所有具体正交小波基的构造。由此 之后，小波分析的理论基础基本建立起来。这为本文在小波域内研究视频编码技术提供 了良好的前提。 2 2 小波变换的定义 2 2 1 连续小波变换 小坡变抉的含义是：把栗一被称为基本小波 也叫母小波( m o t h e r w a v e l e t ) 的函数 北) 作位移r 后，再在不同尺度d 下与待分析信号x ( ，) 作内积。它更完整的描述如下【4 ，5 ，6 】： 设z ( ，) 是平方可积函数n 己作x ( f ) 2 他) ，( ，) 是被称为基本小波或母小波的函数。 则 喝。击弦- l 等户2 ( x 呲，o ) ) ( ：) 口。日 称为x ( r ) 的小波变换。式中a ，o 是尺度因子，r 反映位移，其值可正可负。符号( x ，y ) 代 表内积，它的含义是( 上标+ 代表去共轭) ( x o ) ，y ( f ) ) = h o 。，0 ) ： f 尘二1 是基本小波的位移与尺度伸缩。式( 2 1 ) 中不但f 是连续变量，而 臼订 且a 和t 也是连续变量，因此称为连续的小波变换( c o n t i n u o u s w a v e i e t t r a n s f o r n l ，简记 c w t ) 。 关于式( 2 1 ) 的几点补充说明： ( 1 ) 基本小波( ，) 可能是复数信号，特别是解析信号。 ( ：) 尺度因于“的作用是将基本小波。) 作伸缩a 愈大( 考 愈宽，n 愈小 广西大掌硕士掌位论文基于z 维小波变，换的视频编码技术研究 矿f 三 愈窄。 口 改变a ，则改变小波变换的分析区间。或者等价地说，从时域 观点看，改变n 就改变小波变换的时域分辨率。 ( 3 ) 九，0 ) 前加因子i 吾的目的是使不同d 值下。，o ) 的能量保持相等。 ( 4 ) 式( 2 1 ) 的内积往往被不严格地解释成卷积。 下面来讨论小波变换在频域上的特点： 式( 2 1 ) 的等效频域表示是： 暇( 吖) = 害p o 砂( 。国) 扩 ( 2 2 ) 由此可见，如果( ，) 是幅频特性比较集中的带通函数，则小波变换便具有表征待分 析信号z 0 ) 频域上局部性质的能力，改变a 的值，可以分析z 0 ) 不同频域区间的性质。 当“增加对，如脚) 的中心频率低移，频带变窄，小波变换抽取的是x o ) 在低频窄带的 成分；当a 变小，妒0 。) 中心频率高移，频带变宽，小波变换抽取的是x ( f ) 在高频比较 宽的频带内的成分。这相当于小波变换在低频有较高的频域分辨率，在高频有较低的频 域分辨率。 2 2 一连续小波的离散化 由连续小波变换的概念知道，在连续变化的尺度口及时间f 值下，小波基函数。( ，) 具有很大的相关性，因此信号厂( f ) 的连续小波变换系数聊- 0 ，r ) 的信息量是冗余的，虽 然在有些情况下，其冗余性是有益的( 例如在去噪，进行数据恢复及特征提取时，常采 用c w t ，以牺牲计算量、存贮量为代价来获得好的结果) ，但在很多情况下，我们需要 考虑的是压缩数据及节约计算量，如在图像数据压缩、数值计算等领域 。从这个角 度考虑，我们希望在不丢失原信号厂( r ) 信息的情况下，尽量减小小波变换系数的冗余度。 在使用小波变换重构信号的应用中，常采用离散化处理。需要特别指出的一点是， 这里所谓的离散化处理是对尺度参数a 和平移参数r 进行离散化处理，而不是针对时间 参数，的，这与传统概念上的离散化有所区别。 广西大掌硕士掌位论文基于三雉小波变换的视频编码技术研究 尺度离散化取一个合理的值d 。使尺度因子d 只取d 。的整数幂，即d 仅取 d ：= 1 ，盘j ，口：，- 一o ； 位移离散化当尺度取a = d ；时，取位移f = f o ，各位移为“。在口= 日j 时，相 应取f = 妇；r o 。 在这些离散位置的小波伸缩平移系构成 。：j 一。j 6 一妇j r 。) l ，te z ) = a i g i ，一t r 。1 ，te z 。 这里z 表示全部整数的集合。用c w t 公式得到在离散尺度和位移处的小波变换 暇k ，t r 。) = f x ( f 圪瓤o 净 ( 23 ) 在实际应用中，用得最多的离散化小波变换就是二进小波，就是通过将离散化参数 取作a 。= 2 ，r 。= l 所得到的离散化小波 “( r ) = 2 一i 谁1 一l ，女z ( 2 4 ) 2 3 多分辨率分析 多分辨率分析( m u r e s o l u t i o na n a l y s i s ，m r a ) ，又称为多尺度分析是建立在函数 空间概念上的理论，但其思想的形成来源于工程。其创建者s m a l l a t 是在研究图像处理 问题时建立这套理论的。当时人们研究图像的一种很普遍的方法是将图像在不同尺度下 分解，并将结果进行比较，以取得有用的信息。m e y e r 正交小波基的提出，使得m a l l a t 想到是否用正交小波基的多尺度特性将图像展开，以得到图像不同尺度间的“信息增 量”。这种想法导致了多分辨率分析理论的建立口】。 m a l l a t 从函数的多分辨率空间分解概念出发，在小波变换与多分辨率分析之间建立 联系。把在f ( 尺) 空间上平方可积的函数，( f ) 看成是某一函数逐级逼近的极限情况每 次逼近都是用某一低通平滑函数对，( f ) 作平滑的结果，只是逐级逼近时平滑函数也作运 级缩放处理。也就是说，用逐级伸缩( 因而具有不同分辨率) 的平滑函数逐级逼近待分 析函数m ) 。这个低通平滑函数称为尺度函数，尺度函数逐级伸缩便具有“多分辨毫” 的含义。 基于三维4 、波变换的视频埔码技术研究 m r a 不仅为正交小波基的构造提供了一种简单的方法，而且为正交小波变换提供 了理论依据。其思想又同多采样率滤波器组不谋而合，使我们又可将小波变换同数字滤 波器的理论结合起来。因此多分辨率分析在正交小波变换理论中具有非常重要的地位。 设有子空间，它是由母函数伊( r ) 及其整数平移系生成的，这里 ， 1 ，o f 1 f 妒0 ) =j lo ，其他 对于任一z ( ) e ，有x 0 ) = a 。伊( 一) ，直观地说，圪是由单位宽度的脉冲串构 女 成的函数子空间( 或称为单位宽台阶函数子空间) 】。设矿是由函数系 ( 2 “2 妒( 2 5 f t l t z 生成的，例如，k 是由宽度为2 的脉冲串构成的函数子空间，t 是宽度为1 2 的脉冲串构成的函数子空间，不难理解这些予空间之间的嵌套关系 屹c c 匕l h 2 。 定义【5 】：一个多分辨率分析由一个嵌套的闭子空间序列组成，它们满足 kc 虼c lck 2 并且满足 ( 1 ) 上完整性u k = 三：心) m z ( 2 ) 下完整性n = 鼢 ( 3 ) 尺度不变性x ( f ) 圪曹x ( ”f ) ( 4 ) 位移不变性x ( f ) x ( r 一”) ，”z ( j ) 存在一个基妒，使得扫( f n l ”z 是的正交基。 2 4m a l l a t 算法 在小波理论中，多分辨率分析是一个重要的组成部分。多分辨率分析是一种对信号 的空间分解方法，分解的最终目的是力求构造一个在频率上高度逼近! 似) 空间的正交 广西大掌硕士掌位论文 基于三娃4 、波变换的视频埔r 码技术研究 小波基，这些频率分辨率不同的正交小波基相当于带宽各异的带通滤波器。因此，对于 一个能量有限信号，可以通过多分辨率分析的方法把其中的逼近信号和细节信号分离 开，然后再根据需要逐一研究【7 j 。 在多分辨分析的理论框架下，m a l l a t 设计出基于滤波器组的小波分解( 小波变换) 和小波重构( 小波反变换) 算法，即所谓的m a i l a t 算法。m a l l a t 算法在小波变换中的地 位相当于傅里叶变换中的f f t ，在实际应用中很重要也很普通。通过它可以实现信号多 分辨的快速分解 引。利用m a i l a t 算法进行信号的正交小波分解与合成的框图如图2 1 所 示。 一级尺度系数 二级尺度系数 分解端 合成端 图! ，l 多级小波变换的m a l l a t 算法分解和合成 f 唔! - ! m a l l a ta l g o r i t h mo f m u l 昏l e v e lw a v e l e tt r a n s f o n n y 广西大掌硕士掌位论文基于三维小波变换的视频蝙码技术研究 由上图可以看出，m a l l a t 算法通过一组分解滤波器 ( 低通滤波器，l p f ) 和茸( 高 通滤波器，h p f ) 对信号进行滤波，然后对输出结果进行下二采样来实现小波分解，分 解的结果是产生长度减半的两个部分，个是经低通滤波器产生的原始信号的平滑部 分，另一个则是经高通滤波器产生的原始信号细节部分。重构时使用一组h 和只合成滤 波器对小波分解的结果滤波，再进行上二采样来生成重构信号。多级小波分解通过级联 的方式进行，每一级的小波变换都是在前一级分解产生的低频分量上的继续，合成是分 解的逆运算。低频分量上的信息比较丰富，能量集中；高频分量上的信息分量多为零， 细节信息丰富，能量较少。另外，下二采样是指隔一取一，而上二采样则是相邻两点间 补零。 由此可见，m a l l a t 算法的实质就是一种卷积算法，信号通过低通滤波器和高通滤波 器进行分解所做的都是卷积运算，其中采用的小波滤波器都是小数形式。这样使得，当 实际的数字图像采用整数表示的时候，滤波器输出的结果就不再是整数，那么小波变换 就不能实现无失真韵重构。在第二代小波中，对这个词题给出了解决方法。本文将在第 四章做以介绍。 2 5 本章小结 小波变换作为一种新的数学工具，凭其具有的优异特性，使得小波变换编码技术越 来越得到人们的重视和广泛应用。一幅图像做小波分解后，就会得到一系列不同分辨率 的子图像，不同的分辨率对应不同的频率，最低频率的图像表示了原图像的缓慢变化部 分，与原图像具有十分相似的结构，其他高频子图像则表示了不同频段、不同方向上的 边缘部分，而且高频子图像尤其是同方向的子图像问有很强的相关性，这些都为我们后 面选择在小波域中结合运动估计和补偿进行视频图像编码奠定了基础。 基于= 维小波变换的视频编码技术研究 第三章数字图像及视频压缩技术分析 近年来，随着计算机与数字通信技术的迅速发展，特别是网络和多媒体技术的兴起， 数字图像压缩作为数据压缩的一个分支，己受到越来越多的关注。我们知道，在视频图 像压缩编码中，图像是由连续的帧形成的图像序列，也就是说，视频就是多帧图像的集 合。因此在研究视频压缩编码前，首先对传统的数字图像压缩编码方法进行分析，继而 再介绍去除视频帧间冗余( 即时间冗余) 的关键技术运动补偿的基本原理，具体的 运动估计算法将在第五章进行分析对比。 3 1 图像中的冗余 图像能够被压缩就是因为原始图像的数据量远远大于它所提供的有效信息量。也就 是说原始的图像数据文件包含大量的冗余( r e d u n d a n c y ) 信息和不相干( i 玎e l e v a n c y ) 的信息 9 l0 1 。若以d 表示数据量，出表示冗余量，则图像提供的有效信息量，为： ，= d 一咖 ( 3 1 ) 在图像数据中，根据采用矩阵方式描述图像的特点，一般存在三种的冗余。 3 1 1 编码冗余 如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了 编码冗余。 对于图像数据进行存储时，必须建立个编码体系，即建立数据与码本之间的关系。 “码本”是表示一组信息或一组事件的一系列符号。我们常用的编码系统使用自然码存 储信息，如表示2 5 6 个不同的灰度级，则用8 b i t s 的等长二进制数据来编码每一个灰度 级，这样系统的平均码长就是8 b i t s 。这种编码方式的优点是表达简单，易于实现。但 由于没有利用到不同灰度级出现的概率特征，这种系统的平均码长很大，效率不高，存 在编码冗余。编码冗余通常是为了以某个标准格式进行图像描述时产生的。 3 1 2 像素冗余 图像信号相比于其他信号有一个非常明显的特点，就是像素之间存在非常大的相关 基于三维d 、波罩：换的视频荫l 码技术研究 性。由于存在相关性，因此任何给定的像素值，原理上都可以通过它的邻接像素预测得 到。换句话说，单个像素所携带的信息相对是小的。这样，对一幅图像，如果描述每个 像素的数据量是相等的，并且是相互独立的，则由于像素相关性使得该数据量对视觉的 贡献必然存在定的冗余，称这种像素之间的内在相关性所导致的冗余为像素冗余。像 素间冗余有多种表现形式，它包括：空间冗余、时间冗余、结构冗余、知识冗余等。 3 1 3 心理视觉冗余 我们的视觉系统具有非线性、非均匀性特征，对图像上呈现的信息具有不同的分辨 率。例如，用6 b i t s 表示图像就能得到足够好的图像质量。但图像的量化等级通常为2 8 ， 也就是说要用8 b j t s 表示，采用这种表示时图像间许多微小的变化人眼无法感觉到。因 此这些多余的部分就可以认为是心理视觉冗余的，删除此类信息不会明显降低图像的视 觉质量。 由上面给出的不同类型的图像冗余可以知道，图像压缩编码的核心就是去除或减少 图像中的冗余信息。由于一幅图像存在一定的数据冗余和主观视觉冗余，因此可以从基 于数据统计特征的传统的信源编码方法和忽略一些视觉感知不太明显的微小差异进行 有损压缩两个方向来研究。 3 2 传统图像压缩编码方法 图像编码发展至今已经非常成熟了，但新颖的编码方法仍然层出不穷，不管具体编 码形式如何，它们都是力图消除图像中的一种或多种冗余。根据由压缩数据恢复的图像 与原始图像的差别，图像编码方法可以分为有损压缩和无损压缩两科，。 3 2 1无损压缩 传统的压缩编码以香农信息论为出发点，用概率统计模型描述信源。香农编码定理 指出，在不产生任何失真的前提下，通过合理的编码，对于每一个信源符号分配不等长 的码字，平均码长可以任意接近于信源的熵。在这个理论框架下，出现了几种无损信源 编码方法。 广西大掌硕- 士掌位论文基于= 维小渡变换的视频编码技术研究 3 2 1 1h u f f m a n 编码 h u 所n a n 编码是一种形成前缀变长编码的方法。它根据信源中每个符号五的出现概 率p 。进行码字分配，出现概率最小的分配最长码字。先将信源中各符号按出现概率的 大小排成列，出现概率最大的符号用x 表示，放在最顶部；出现概率最小的符号用x 。 表示，放在最底部，这个原始符号列构成最左边的一列；然后，从左向右进行码字分配。 h u f h t a n 编码在保持整数比特的码字分配这个约束下，是一种最优编码f ”。如果信 源中各符号出现的概率是l 2 的各次幂，则h u a n 编码可以达到信源的熵，但这在实 际中一般是不可能。采用这种编码方式，必须预先知道信源的概率分布，这一般是难以 做到的，通常用对大量数据进行统计后得到的近似分布来代替。但是不同的图像类型其 系数分布总有差异，这导致实际应用时无法达到最佳性能。 3 卫a 上霸蝴码 针对h u f f m a n 编码无法达到最佳性能的缺点，人们提出了通过利用输入数据序列自 适应地匹配信源概率分布的方法一算术编码。 算术编码的思想是用区域划分来表示信源输出序列，信源输出的任何一种组台，与 某数值范围内的个区域一一对应，用算术方法表示这个区域，就相当于给出了一个信 源输出序列。如果这种算术表示能用一个二进制数表示，那么这个二进制数值是这个信 源输出序列的一种编码口 。这种编码方法由于有一一对应的关系的存在，因此是惟一可 解码的，而且可以获得很好的编码效率。经过分析，可以得出这样的结论：当信源输出 序列逐渐增大的，算术编码的效率逐渐逼近l o o ，或平均码长逼近信源的熵。 3 2 1 3 行程编码 行程编码也称作行程长度编码或游程编码，是一种无失真的压缩编码方法。它是建 立在图像统计特性的基础上的，是最简单的压缩图像的方法之一。 行程编码技术是在给定的图像数据中寻找连续重复的数值，然后用两个字符值取代 这些连续值1 1 ”。例如，有一串用字母表示的数据为“a a a b b b b c c c c d d d e d d d a a ”，经过行程 编码处理可表示为“3 a 4 b 4 c 3 d l e 3 d 2 a ”。这种方法在处理包含大量重复信息的数据时可 13 r 西大学硕士掌位论文 基子三维小波变换的视御l 编码技术研究 以获得很好的压缩效率。但是如果连续重复的数据很少，则难获得较好压缩比，而且甚 至可能会导致压缩后的编码字节数大于处理前的图像字节数。因而行程编码的压缩效率 与图像数据的分布情况密切相关。 3 2 2 有损压缩 无损编码的最大压缩率只能达到下限为数据的熵。显然，当数据量很大时，无法满 足实际需要。因此需要在不影响接收方对数据恢复理解的前提下，以损失某些不重要的 信息为代价，提高图像的压缩率。 3 2 2 1 预测编码 预测编码( p r e d i c t i v ec o d i n g ) 有线性预测和非线性预测两种，它既可以在一幅图像 内进行( 帧内预测编码) ，也可以在多幅图像之间进行( 帧间预测编码) 。预测编码基于 图像数据的空间和时间冗余特性，用相邻的已知像素( 或图像块) 来预测当前像素( 或 图像块) 的取值，然后再对预测误差进行量化和编码。这些相邻像素( 或图像块) 可以 是同行扫描的，也可以是前几行或前几帧的。相应的预测编码分别被称为一维、二维和 三维预测，其中一维和二维预测是帧内预测，三维预测是帧间预测。预测编码的关键在 于预测算法的选取，这与图像信号的概率分布密切相关，实际中常根据大量的统计结果 采用简化的概率分布形式来设计最佳的预测器，有时还使用自适应预测器，以便较好地 刻画图像信号的局部特性，提高预测效率。 线性预测编码又称为差分脉冲编码调制( d p c m ：d i 能r e n t i a lp l u s ec o d e m o d u l a t i o n ) 。帧内预测编码( i n t r ap r e d i c t i v ec o d i n g ) 般采用像素预测形式的d p c m ， 其优点是算法简单、易于硬件实现。缺点是对信道噪声及误码很敏感，会产生误码扩散， 使图像质量大大下降。同时，帧内d p c m 的编码压缩比很低，因此现在已很少独立使 用，一般使用时都要结合其他编码方法 1 2 】。 帧问预测编码( 【n t e rp r e d i c t i v ec o d i n g ) 主要利用视频序列相邻帧间的相关性，即 图像数据的时间冗余来达到压缩的目的，可以获得比帧内预测编码高得多的压缩比。帧 间预测编码作为消除图像序列帧间相关性的主要手段之一，在视频编码方法中占有很重 要的地位。帧问预测编码一般是针对图像块的预测编码，它采用的技术有帧重复法、阈 值法、帧内插法、运动补偿法和自适应交替帧内帧间编码法等。其中，运动补偿预测 基于= 维小波变换的视频编码技术研究 编码现己被各种视频编码标准采用，得到了很好的结果。这类编码方法的主要缺点在于 对图像序列不同的区域，预测性能不一样，特别是在快运动区，预测效率很差。而且为 了降低预测算法的运算复杂度和提高预测精度，一般要对图像进行分块后再预测，这势 必造成分块边缘的不连续。 3 2 2 2 变换编码 与预测编码技术相比，消除图像数据空间相关性的一种更有效的方法是进行信号变 换，使图像数据在变换域上最大限度地不相关。尽管图像变换本身并不带来数据压缩， 但由于变换后系数之间相关性明显降低，图像的大部分能量只集中到少数几个变换系数 上，采用适当的量化和熵编码可以有效地压缩图像的数据量。而且图像经某些变换后， 系数的空间分布和频率特性有可能与人眼的视觉特性匹配，因此可以利用人类视觉系统 的生理和心理特点来得到较好的编码系统“j 。 变换编码通常是将空间域相关的像素点通过正交变换映射到另一个频域上，使变换 后的系数之间的相关性降低。在变换后的频域上应满足：( 1 ) 所有的系数相互独立：( 2 ) 能量集中于少数几个系数上；( 3 ) 这些系数集中于一个最小的区域内。保留少数重要的 系数就能够很好地恢复出图像，人眼几乎觉察不出那些损失的系数。 就数据压缩而言，所选择的变换方法最好能与图像信号的特征匹配，此外还应从失 真要求、实现的复杂度以及编码比特率等多方面来综合考虑。在实际编码工作中，人们 经常采用离散余弦变换( d c t ) 。 3 2 2 3 子带编码 图像的子带编码( s b c ) 是从语音的子带编码移植过来的。它将图像信号首先通过 若干个带通滤波器，从而将原始图像的频谱分成几个频率段：然后再对不同的频率段采 取不同的后续编码方法，实现对原图像的压缩。人类视觉系统对噪声的敏感程度在不同 频率段中是不同的。这种自然生理现象可被利用来对不同频率段采取失真度不同的压 缩。s b c 是对整个图像进行的，不存在方块效应。典型的s b c 是以两个滤波器( 高通、 低通) 将原图像在频率域里分成两个子带；可以将子带进一步再分成两个子带，形成多 层次、多频带的子带分解过程。 广西犬掌硕士掌位论文惑于置维小波变挟的棚懒i 蝙码技术研兜 子带编码有许多优点：可以针对各子带的统计特性及其对人眼视觉的不同积极性， 进行适当的比特分配，选择的编码方案；对各个子带可实现并行处理；误差不会在子带 间扩散。子带编码的运算复杂度低，就质量和压缩比而言，它与变换编码相接近，但它 消除了变换编码中的块效应。但当压缩比提高时，振铃效应变得明显。 3 3 视频编码的关键技术运动补偿 我们知道，不管采用何种方法采样、何种格式的数字视频信息，其数据量都是十分 惊人的。虽然表示图像和视频信号需要大量的数据，但这些数据往往是高度相关的，这 些相关性会引起信息的冗余，因此可以通过去除冗余信息来实现对视频数据的压缩。静 止图像压缩的一个主要目标是在保证一定重建质量的前提下，尽量去除图像本身存在的 空间冗余数据。而压缩视频信号，就是在去除空间冗余数据的同时，还要去除时间冗余 及其他冗余以达到较高的压缩比和较低的数码率。除了在采样域上( 空间和时间上) 存 在十分明显的空间冗余和时间冗余之外，实际上视频信号还有其他方面的冗余信息值得 我们注意，如变换域冗余、结构冗余、知识冗余，可以进一步去除这些冗余信息达到图 像和视频压缩编码的目的。本节旨在介绍运动补偿技术的基本原理，为在后续章节中说 明本文的工作打下基础。 3 3 1基本原理 运动补偿( m o t i o nc o m 口e n s a t i o n ，m c ) 实际上是对视频序列进行压缩时所使用的 一种帧间编码技术。因为在相邻帧问有较大的相关性( 时域相关性) ，所以帧间存在着 很大的帧间冗余。运动补偿的目的就是要将这种时域相关性尽可能地去除，并且得到质 量较好重建视频序列。对于视频序列图像，由于相邻帧之间存在很大的时间相关性，即 时间冗余( t e m p o r a ir e d u n d a n c y ) ，所以通过减少时间冗余，可以大幅度提高视频压缩 编码的效率。这方面一种有效的方法是基于块匹配的运动估计( m o t i o ne s t i m a t i o n ，m e ) ， 因其具有算法简单、便于v l s i 实现等优点而得到了广泛应用。其基本思想是将图像序 列的每一帧分成m 的宏块，然后对于当前帧中的每一块根据一定的匹配准则在前一 帧或后一帧某一给定搜索范围内找出与当前块最相似的块，即匹配块，由匹配块与当前 块的相对位置计算出运动位移，所得运动位移即为当前块的运动矢量。运动估计得越准 确，补偿的残差就