（信号与信息处理专业论文）基于整数小波变换的图像与视频编码算法的研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 随着计算机网络的普及和快速发展，图像和视频信息在网络传输中所占据的比例也越 来越高，但是其庞大的数据量与有限容量的存储媒体和传输带宽的矛盾更是同益突出，限 制了图像和视频信息在网络中的传播速度。图像视频压缩技术的研究取得了许多重大突 破。整数小波变换就是其中的典型代表。它克服了传统离散小波变换的图像压缩编码计算 量大的缺点，整数小波变换的计算空间和乘法运算次数都大为减少，在硬件实现上更加方 便。 本论文在研究整数小波变换的基础上做了如下主要工作： 首先研究图像编码算法，以静止图像的小波变换理论为基础，着重分析了基于整数小 波变换的s p i h t 算法，并对该算法做了相应的改进使其重构图像的峰值信噪比提高达l d b 之多。 然后研究基于三维小波变换的视频编码3 d s p i h t 算法，其优点是避免了运动估 计李 、偿的复杂计算，将整数小波变换运用到三维小波变换的视频编码上，实现了适于硬件 的基于整数小波变换3 d s p i h t 三维视频压缩算法，并获得了较好质量的重构视频序列。 最后基于a d 公司最新的j p e g 2 0 0 0 压缩芯片a d v 2 0 2 设计了j p e g 2 0 0 0 的图像压缩 模块，实现了无线视频采集传输卡。 关键词：整数小波变换，图像压缩，视频编码，s p i h t ，m o t i o nj p e g 2 0 0 0 ，a d v 2 0 2 南京邮电人学硕i ：l i 开究生学位论文a b s t r a c t a b s t r a c t w i t ht h ep o p u l a r i z a t i o na n df a s td e v e l o p m e n to f c o m p u t e rn e t w o r k s ，i m a g ea n dv i d e o i n f o r m a t i o nt a k eag r e a t e rp r o p o r t i o ni nt h ei n f o r m a t i o nt r a n s m i s s i o n h o w e v e r ，t h e c o n t r a d i c t i o nb e t w e e na m o u n to fd a t aa n dl i m i t e dc a p a c i t yo fs t o r a g eo rt r a n s m i s s i o nb a n d - w i t h a p p e a r s t ob eg r e a t e rt h a ne v e rb e f o r e ，a n dt h u st h et r a n s m i s s i o nr a t ei sg r e a t l yl i m i t e d f o r t u n a t e l y ，b r e a k t h r o u g hh a sh a p p e n e dt or e s e a r c ho nv i d e oc o m p r e s st e c h n i q u e a m o n gt h e m ， i n t e g e rw a v e l e tt r a n s f o r m ( i w di st h et y p i c a lo n e i to v e r c o m e st h es h o r t c o m i n g so ft r a d i t i o n a l d i s c r e t ew a v e l e tt r a n s f o r m a t i o n ，w h i c hr e s u l ti nl o w e rc o m p l e x i t ya n dt h et i m eo f m u l t i p l i c a t i o n w h a t sm o r e ，i tb e c o m e sm o r ec o n v e n i e n ti nh a r d w a r er e a l i z a t i o n t h em a i nt a s k si nt h i sp a p e ra r eb a s e do ni n t e g e rw a v e l e tt r a n s f o r ma n dc a nb eb r i e f l y d e s c r i b e da sf o l l o w s ： f i r s t ，t h er e s e a r c hf o c u s e do ni m a g ec o d i n ga l g o r i t h m ，s p e c i a l l ya n a l y z e ss p i h t a l g o r i t h m b a s e do ni n t e g e rw a v e l e tt r a n s f o r m ，a n dp r o p o s e sa ni m p r o v e di w ts p i h t a l g o r i t h mb yw h i c h t h ep s n ri nr e b u i l d i n gi m a g ei si n c r e a s e db ym o r et h a nld b ； s e c o n d ，r e a l i z e d3 dv i d e oc o d i n ga l g o r i t h mc a l l e d3 d s p i h tt h a ta p p l i e dt oh a r d w a r e b a s e do ni n t e g e rw a v e l e tt r a n s f o r m ，w h i c hc o u l da v o i dc o m p u t a t i o n a lc o m p l e x i t yi nm o t i o n e s t i m a t i o n c o m p e n s a t i o na n dh a v ee f f e c t u a lr e b u i l d i n g ； f i n a l l y ，i n t r o d u c e st h ep r i n c i p l ea n di n t e r f a c e so fw i r e l e s sv i d e og a t h e r i n ga n dt r a n s m i s s i o n c a r da n dd e s i g n e di m a g ec o m p r e s s i o nm o d u l eo fj p e g 2 0 0 0b yc h i pa d v 2 0 2 k e yw o r d s ：i n t e g e rw a v e l e tt r a n s f o r m ；i m a g ec o m p r e s s i o n ；v i d e oe n c o d e r ；s p i h t ；m o t i o n j p e g 2 0 0 0 ；a d v 2 0 2 i l 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：徐秀 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：徐荡 导师橼墨。囊日期：弘7 、牛2导师签名：主远日期：2 竺2 ：生2 南京邮电大学硕j ：研究生学位论文第一章绪论 第一章绪论 随着通信信道容量和计算机速度的提高，以及数字信号处理技术和通信技术的不断发 展，图像与视频信息已经成为通信与计算机系统的一种重要的处理对象。 与文字信息不同，图像和视频信息需要大的存储容量和宽的传输信道，尤其是在需要 实现大规模图像数据库或传输高分辨率实时图像序列的场合，如涉及同常生活的方方面 面，尤其在军事等特殊领域对图像信息的需求更加迫切。但是以现在的技术，仍然难以满 足原始数字图像存储和传输的需要。人类对于图像数据存储和传输的要求是无限的，因此 图像、视频压缩算法和技术较数据的存储和传输具有更为突出的实用价值和商业意义，是 近3 0 多年来非常活跃的一个研究领域。 2 0 世纪9 0 年代中后期，i n t e m e t 迅猛发展，无线通信也迅速在全球普及，开始有了在 网络上实时传输图像和视频的许多应用和大量的需求。现有的许多宽带通信网络中，由于 要传输多路信号，单路的信道带宽并不是很恒定的，特别是一些窄带网络和无线网络中， 传输数字图像视频信号，必须对图像视频信号进行大幅度的压缩编码。面向传输的视频编 码方向是低码率编码技术，更能适应现有通信网络。目前针对于视频传输的现状，基于低 码率编码的视频编码标准和视频编码算法研究都有所侧重，低码率视频编码仍然是当日i 研 究的热点。不过最新的视频编码标准渐渐把这两种码率的编码方法融为一体，在网络带宽 允许下传输高码率的视频图像，在带宽有限的情况下传输低码率的视频图像。 图像压缩是一项综合技术，包含对变换算法、量化、数据流结构、搜索算法、编码方 法等的选择与组织。对图像压缩效果的评测通常有压缩比( c r ) 、峰值信噪比( p s n r ) 或信噪 比( s n r ) 、处理速度、系统开销等指标，还要考虑是否适合并行处理与硬件实现。此外， 为了利于网络传输，数据流结构需要考虑分辨率渐进显示和图像质量渐进显示，从而允许 接收端在任意截断数据流时仍能恢复图像全貌。 表1 1 列出了典型图像压缩技术及评价方法，并简单列举了目自订图像压缩领域的热点 技术j p e g 、分形、小波以及神经网络压缩方法，并对最新进展做简要描述。 南京邮电人学硕一l ：研究生学位论文第一章绪论 表1 1 典型图像压缩技术及评价方法 熵编码( h u f f m a n 编码及其改进型：m h c 、m r c ) 算术编码 无损压缩 游程编码 l z w 编码 图像压缩预测帧内像素预测 方法编码帧间预测、运动补偿 k l 变换 有损压缩 变换d c t d s t 变换 编码w a l s h h a d a m a r d 变换 斜变换( s t ) 小波分析方法 分形理论：拼贴定理、i f s 迭代函数系统、j a c q a i na e 分形图像 最新图像压缩编码方法 压缩技术筒蝌非线性预测编码 神经网络 h o p f i e l d 神经网络图像变换编码 s o f m 矢量量化方法 小波域的分形编码方法 综合技术 分形神经网络图像压缩编码方法 压缩比( c r ) 性能评价峰值信噪比( p s n r ) 或信噪比( s n r ) 因素处理速度、实用性 系统丌销 h 2 6 1 、h 2 6 3 、h 2 6 4 j e p g 、j p e g 2 0 0 0 国际标准 m p e g 1 、m p e g - 2 、m p e g 4 、m p e g 7 其他标准：r e a lv i d e o 、q u i c kt i m e 等 2 南京邮电人学顾j ：研究生学位论文第一章绪论 在选择最适用的图像与视频编码算法时，图像视频质量和带宽通常是两个最重要的因 素。一般来说，对于给定的压缩机制，产生的比特率越高，视频质量越好。然而，在大多 数的多媒体应用中，比特率受限于传输带宽与功率。因此，为了满足视频业务的最佳性能 和所运营的网络资源的最佳利用，需要平衡网络吞吐量与主观质量间的关系。 另一方面，通常是应用的类型决定了用户对视频质量的需求，以可视电话为例，用户 需足够的视频质量，以辨识出另一端相应用户的面部特征：在监视应用中，用户仅需监测 出视景中人的大体轮廓。在远程医疗中，服务质量必须使得远程终端用户识别图像中最细 微的细节，并能高精度监测某些特征。除了应用类型外，其他一些因素和帧率、亮度和色 度的等级、图像大小和空间分辨率等，也影响着编码机制提供的视频质量和比特率。在视 频通信中，主观质量是多媒体通信网络和应用开发的设计尺度。然而，在多媒体通信中， 编码视频流在网络上传输，易受到信道差错和信息损失的影响。由于这两个因素影响着业 务质量，需要考虑视频编码算法对差错的鲁棒性，以减轻差错的恶劣影响，保证接收端有 可接受的业务质量。 1 1 图像压缩的基本原理 1 1 1 图像压缩的可能性 图像数据有极强的相关性，即图像信息有大量的冗余信息川。这是图像压缩技术赖以 发展的基础，人们就是最大限度地利用这种冗余信息，尽量减少表示图像时所需的数据来 进行图像压缩。一般来说图像数据的冗余主要有以下六点： ( 1 ) 空间冗余，也称像素间冗余；在绝大多数的图像数据中，像素与像素之间无论是 行方向还是列方向都具有很大的相关性，因而整体上数据的冗余度很大。 ( 2 ) 时间冗余；这是序列图像数据中包含的冗余，图像序列中的两幅相邻的图像之间 有较大的相关性。 r i ( 3 ) 编码冗余，也即信息熵冗余；信息熵定义为h = 一只l o g p , ，k 为码元个数，只为 t = 0 第i 个码元发生的概率；如果编码所用的码本不能使每像素所需的平均比特数达到最小， 即接近或等于日这就说明存在编码冗余。 南京邮电大学硕j ：研究生学位论文 第一章绪论 ( 4 ) 结构冗余；有些图像存在着非常强的纹理结构，其在结构上存在冗余。 ( 5 ) 知识冗余；有些图像有固定的结构组成，如人脸图像。一般人脸上都有口，口上 有鼻子，鼻子上有眼等。这些规律可由先验知识和背景知识得到，我们称此为知识冗余。 ( 6 ) 心理视觉冗余：人类视觉系统( h v s ) 对于图像场的注意是非均匀和非线性的。眼睛 所感受的图像区域亮度不只是与区域的反射光有关，也不是对所有物体有相同的敏感度。 有些信息在通常的视觉过程中相对来说不那么重要，人在观察图像时主要寻找某些比较明 显的目标特征，而不是定量分析图像中每个像素的亮度。人通过大脑分析这些特征并与先 验知识结合以完成对图像的解释过程。人眼一般只能分辨约2 8 灰度等级，而一般图像采集 采用的是2 n 灰度等级。人眼对亮度的细小变化不敏感，对静止画面的空间分辨率低于对 亮度信号的分辨率，对图像中心的失真敏感而对四周和边缘的失真不敏感。因此，允许图 像编码有一定的失真，有些场合不要求复原图像与原图一样，这种冗余我们称之为心理视 觉冗余。 正是存在诸多的冗余信息，使图像压缩成为可能，是人们研究图像压缩技术的基础。 1 1 2 图像压缩的基本过程 图像编码方法的性能指标主要有三个：压缩比或比特率、重构图像的质量以及编码算 法的复杂性。一个好的图像编码方法就是根据具体的应用要求，通过均衡上述三个性能指 标 2 1 而确定下来的。图像压缩编码一般来说主要分为三大步骤( 如图1 1 所示) ：图像的去相 关表示( 变换) ，量化，熵编码。给定一幅原始图像，其表示一般为空间像素阵列，即所谓 的空间域表示，相邻像素间存在着很强的相关性，冗余信息分布在较大范围的空间像素集 合中，直接处理比较困难，一般是通过某种变换将空间域映射到变换域中，消除图像数据 之间的相关性，产生图像的紧凑( 稀疏) 表示。量化是根据变换后所得系数的特性设计合适 的量化器以减少图像中的视觉冗余。熵编码是对量化器产生的码流进行编码以消除信息冗 余。以上三个步骤之间既相互联系又相互制约，对不同的编码技术来说，其图像的模型、 量化器的设计、熵编码所采取的措施都是不同的。而对压缩后的图像解码则是编码的逆过 程。 4 南京邮电人学硕士研究生学位论文第一帝绪论 图1 1 图像压缩编码与解码的主要步骤 一般说来对图像的去相关表示( 变换) 有两个要求，对于变换的第一个要求是将强相关 的空间像素矩阵变换成相关性很小、最好是完全不相关的系数矩阵，其中少数值较大的变 换系数代表了图像中主要的能量成分，占多数的值较小的变换系数表示不重要的图像的细 节，通过量化将小系数变成零，故可以只对大的系数进行编码，用很少的码字即可。对变 换的第二个要求是变换系数的物理意义尽可能地与h v s ( 人类视觉系统) 的特性相匹配，以 便有效地去除视觉冗余，尽可能地保留重要的视觉信息，从而达到较高的压缩比【3 1 。 最理想的去相关变换是k l 变换【4 1 。但k l 变换的基是不固定的，从而使得k l 变换 在实际中无法应用。人们发现d c t ( 离散余弦变换) 【5 6 】能很好的逼近k l 变换。而且d c t 的基固定，计算简单，使得d c t 广泛应用于图像压缩中，是变换编码部分的主要工具之 一。如图像压缩的国际标准j p e g , m p e g 1 ，2 ，4 ，h 2 6 x 等都是以d c t 为核心算法的。但是 d c t 变换编码在实际应用中为了处理的方便，图像被划分为8 x 8 或1 6 x 1 6 的小块，对每个 块单独进行处理，这就产生了“方块效应”，尤其在压缩率较高时更加明显。 随着i n t e m e t 和通信的发展，对图像的浏览和传输等有许多新的要求，如感兴趣区域 ( r o i ) 编码、多分辨率编码、渐进编码、码流的随机存取等。要求在图像压缩算法中能灵活 地提供关于质量、分辨率等的分级机制，这些用d c t 编码就很难实现。随之出现的小波 分析理论【7 , 8 , 9 , 1 0 , 1 1 , 1 2 , 1 3 , 1 4 】的发展为人们提供了一种多分辨率信号处理工具，为各种可分级图 像压缩算法奠定了基础【1 5 , 1 6 。在传统f o u r i e r 分析基础上发展起来的小波分析理论以其良好 的时、频局域性与人眼视觉特性相符的多分辨率分析能力，开辟了图像编码的一个崭新领 域，被认为是高压缩比图像编码的最佳选择之一。利用小波压缩图像至少有如下优点：与 j p e g 相比，压缩比高，图像视觉质量好，无方块效应：有快速算法，且是对称的，正反 变换具有相同的复杂度；多分辨率特性允许渐进传输和图像缩放而无需另外的存储空间。 因此在新一代静止图像压缩标准j p f g 2 0 0 0 中采用小波变换为核心算法。 南京邮电人学硕i ：研究生学位论文第一章绪论 1 2 视频编码结构 1 2 1 第一代视频编码方法 传统的视频压缩编码是以香农信息论为出发点，以概率统计模型来描述信源。编码实 体是像素或像素块，以显示器件为图像和视频系统的最后环节。这种基于数理统计的、以 消除视频数据相关冗余为目的的第l 代视频编码技术获得了巨大的成功。j p e g ，m p e g 1 ， m p e g 2 ，h 2 6 1 以及h 2 6 3 等压缩编码标准主要采用了第1 代视频编码技术，第1 代视频 编码技术主要包括：熵编码、变换编码、预测编码以及矢量量化等。 熵编码( e n t r o p yc o d i n g ) ：熵编码是纯粹基于信号统计特性的编码方法，它是一种无损 编码，解码后能无失真地恢复图像。常用的熵编码有游程编码、霍夫曼编码与算术编码类。 变换编码( t r a n s f o r mc o d i n g ) ：变换编码是将空间域相关的像素点通过变换映射到另一 个正交矢量空间( 变换域或频域) ，使变换后的系数之间的相关性降低。常用的变换有离散 余弦变换、傅立叶变换以及近年来受到广泛关注的离散小波变换等。 预测编码( p r e d i c t i v ec o d i n g ) ：预测编码可以在一幅图像内进行( 帧内预测编码) ，也可以 在多幅图像之间进行( 帧间预测编码) ，预测编码实际上是基于图像数据的空问和时间冗余 特性，用相邻的己知像素( 或图像块) 来预测当前像素( 或图像块) 的值，然后再对预测误差进 行量化和编码。预测编码分为线性预测( d p c m ) 和非线性预测两大类。帧内d p c m 的编码 压缩比很低，很少独立使用。帧间预测编码主要是利用视频序列相邻帧间的相关性，即图 像数据的时间冗余来达到压缩的目的，可以获得比帧内预测编码高得多的压缩比。公认运 动补偿效果最好，已为各种图像视频编码标准所采用。运动补偿( m o t i o nc o m p e n s a t i o n ) 实 际上是对活动图像进行压缩时所使用的一种帧间编码技术。一般情况下，相邻帧间有较大 的相关性，这种相关性称为时域相关性，运动补偿的目的j 下是要将这种时域相关性尽可能 去除。运动补偿包括两种：( 1 ) 运动补偿预测。视频的相邻帧间的运动部分具有连续性，即 当前画面上的图像可以看成是前画某时刻画面上图像的位移，位移的幅度值和方向在画面 各处可以不同。利用运动位移信息与前面某时刻的图像对当前画面图像进行预测的方法， 称为前向预测。反之，根据某时刻的图与位移信息预测该时刻之前的图像，称为后向预测。 ( 2 ) 运动补偿插值。以插补方法补偿运动信息是提高视频压缩比的最有效措施之一。在时域 6 南京邮电人学硕士研究生学位论文 第一章绪论 中插补运动补偿是一种多分辨率压缩技术。插值运动补偿也称为双向预测，因为它既利用 了前面帧的信息又利用了后面帧的信息。 矢量量化( v e c t o rq u a n t i z a t i o nv q ) ：矢量量化是2 0 世纪7 0 年代后期发展起来的一种数 据压缩技术，是将图像的每1 1 个像素看成一个1 1 维矢量，将每个1 1 维取值空间划分成若干 个子空间，每个子空间用一个代表矢量来表示该空间所有矢量的取值。图像矢量编码的性 能要优于对其标量编码的性能。矢量量化是一种有损编码，它可以获得较高的压缩比，一 般用在低比特率的场合。 1 2 2 第二代视频编码方法 第l 代视频编码技术是基于像素的，并未考虑信息接收者的主观特性、视频信息的具 体含义和重要程度等，只是力图去除数据的统计冗余。这种编码技术具有一定的局限性， 进一步提高压缩比就会造成视频信息的严重失真。真正代表视频编码方向的是基于内容的 第2 代编码技术，它所关心的是如何去除视频内容的冗余，将人眼作为视频信号的最终接 收者，充分考虑人眼的视觉特性，这是目前视频编码最活跃的一个领域。在基于对象的视 频编码中，编码的基本单元是对象，基于对象的编码主要是针对纹理、形状、运动这种信 息的编码技术。 每个输入帧在完成压缩处理之前要经过一些步骤。首先，抑制或改进输入帧的一些不 理想特征，编码器效率得到显著提高。例如，在编码前输入帧经过噪声过滤，使运动估计 过程得到更高的精度，从而产生显著的改进效果。类似地，如果解码器端的重构图像再经 过一些图像后处理增强技术，如边缘增强处理、噪声过滤、基于像块压缩机制的抑制块效 应，那么解码后的图像质量能得到显著的提高。第二步，视频帧经过数学变换，将像素转 换成不同的空间区域。离散余弦变换( d c t ) 、小波变换的目标是去除视频序列中的统计冗 余，这种变换是视频压缩系统的核心。第三步是量化，将每个变换过的象素用有限的输出 信号集表示。因此，变换过的像素可能值范围缩小，但也引入了不能恢复的质量损失。在 解码器端，逆量化过程将信号映射为相应的重构值。接下来的一步，编码过程再将码字分 配给量化和变换的视频数据。通常，无损编码技术，如h u f f m a n 编码和算术编码，是利用 每个信号发生概率的不同来编码。由于视频信号的时域活动性，并且视频压缩采用了变长 编码，视频编码器产生的比特率变化很大，为了调整编码器在实时传输中的输出比特率， 7 南京邮电人学硕j 二研究生学位论文第一帝绪论 在编码器和接收端的网络间使用了平滑缓冲器来控制流量。为了避免缓存器的溢出和流量 不足，采用了反馈控制机制，分局缓存器的占用率来调节编码过程。如图1 2 描述了一个 典型的视频编解码结构框图。 臣j j 圈一回回圊回 囱 匡乎匡乎( 至j 圃圈 图1 2 视频编码结构框图 由于低比特率的压缩导致不可避免的质量降级，所以编码算法的性能必须根据重构视 频图像的质量来评估，常通过主观和客观的方法来评价算法性能。通过简单比较原始和重 构图像质量，可评价解码的视频质量。尽管解码质量的主观评价比客观评价的数值计算复 杂得多，但对于低速和极低速的压缩来说仍然是可取的，这是由于现有定量的质量评测和 h v s ( 人类视觉系统) 之间存在差异；另一方面，在易差错的环境中，差错可能会混叠或中 断传输的视频帧，从而破坏了编码视频流。在这种情况下，使用客观的数值方法来比较原 始和重构视频序列，在对应帧( 两序列间相应的帧) 比较时，会合并一些差错，使得对编码 器性能的评价不够精确。这种情况下，对解码质量采用主观评测会更公正、更精确。 主观质量评价有两种主要的类型，称作额定量和比较方法( n e t r a v a l i ，l i m b l 9 8 0o 第 一种方法通过使用几个给定类别的一种来对图像( 通常是视频序列的最后一帧) 指定总体质 量规格；第二种方法是在原始图像中引入标准类型的质量损伤，直到观察者觉得损伤图像 和参考图像质量相同为止。 视频序列的质量可以通过使用某些数学准则来衡量，如信噪比( s n r ) 、峰一峰信噪比 ( p s n r ) 或均方误差( m s e ) 。这些度量标准可认为是客观的，因为它们取决于输入和输出视 频帧的像素亮度和色度值，不包括任何在质量评估过程中的人为的主观干预。对图像和视 频来说，客观衡量多选用p s n r ，视频编码研究组也经常利用p s n r ，尽管另外两种标准 有时也会用到。p s n r 和m s e 可分别由以下两式来定义： 南京邮电人学硕j ：研究生学位论文第一章绪论 m s n = 熹ee t x ( f ，) - x ( i ，朋2 ( 1 1 ) m 掌，；o ，；o ”。 ，气s z p s n r = 1 0 l g 兰 ( 1 2 ) m s “ 其中，m 和n 是视频帧的宽度和高度的维数；x ( i ，j ) 和x ( f ，) 是原始像素和重构像素 的( l ，) 点的亮度或色度值。 1 3 本论文的主要工作及章节安排 小波分析，无论是作为数学理论的连续小波变换，还是作为技术工作和方法的离散小 波变换，仍有许多未被开发的处女地。特别是随着适于硬件实现的第二代小波的出现，为 小波理论的发展提供了更大的动力。图像压缩编码技术目前己经成为高技术领域的汇流点 之一。作为该产业中的一项重要技术图像压缩编码技术将对现代化社会的发展起着不 可忽视的作用。正是基于此，本人针对小波变换理论和方法，主要是提升格式的整数小波 变换的内容进行了研究，并对静态图像和视频编码算法进行了探讨和改进。 本论文的主要研究工作是以整数小波变换 t s 】为基础，研究了图像和视频编码算法，据 此本人如下主要工作： 首先研究图像编码算法，以静止图像的小波变换理论为基础，着重分析了基于整数小 波变换的s p i h t 算法，并对该算法做了相应的改进使其重构图像的峰值信噪比提高达l d b 之多。 然后研究基于三维小波变换的视频编码3 d s p i h t 算法，其优点是避免了运动估 计辟h 偿的复杂计算，将整数小波变换运用到三维小波变换的视频编码上，实现了适于硬件 实现的基于整数小波变换3 d s p i h t 三维视频压缩算法，并获得了较好质量的重构视频序 列。 最后基于a d 公司最新的j p e g 2 0 0 0 压缩芯片a d v 2 0 2 设计了j p e g 2 0 0 0 的图像压缩 模块，实现了无线视频采集传输卡。 本课题对图像视频压缩算法进行研究，提高编码效率，降低算法复杂度，目的是便于 在硬件上实现。具体地说，本论文共包括六章内容，后续章节基本上是按照上述研究内容 逐一展开的： q 南京邮电人学硕士研究生学位论文第一章绪论 第二章简述了整数小波变换的研究现状，介绍了一些典型的整数小波变换方法，重点 论述了基于提升格式的整数小波变换的思想、基本原理和实现方法，讨论了其相对于传统 离散小波的优点以及在图像压缩编码应用中变换简单快速、需求存储空问少、便于硬件实 现的特点。 第三章阐述了基于小波变换图像编码的思想和影响图像压缩效果的主要因素，针对整 数小波变换在图像有损压缩时和传统的离散小波变换相比其压缩效果要差一些的情况，结 合国内外文献，利用s w e l d e n s 等人提出的第二代小波分析提升格式的整数小波变换， 变换时直接在图像空间进行二维分解，根据提升整数小波变换系数的分布特性的一种编码 算法s p i h t 算法，并在s p i h t 算法基础上提出了一些改进方法，以及对改进算法的实 验结果。 第四章介绍了现有的视频编码应用研究中的最具有发展前途之一的方法三维小 波视频编码。其优点是避免了运动估计辟p 偿的复杂计算，将整数小波变换运用到三维小波 变换的视频编码上，实现了适于硬件的基于整数小波变换3 d s p i h t 三维视频压缩算法， 并获得了较好质量的重构视频序列。 第五章在对j p e g 2 0 0 0 编码标准和a i d 公司最新的j p e g 2 0 0 0 压缩芯片a d v 2 0 2 原理 的理解的基础上实现了基于j p e g 2 0 0 0 的图像压缩模块，并在此基础上实现了无线视频采 集传输卡。 第六章是对本论文工作的总结以及对今后整数小波变换应用于静态图像和视频图像 编码前景的展望。 1 0 南京邮电大学硕上研究生学位论文第一二章整数小波变换 第二章整数小波变换 小波分析是2 0 世纪8 0 年代后期在m e y e r ，m a l l a t ，d a u b e c h i e s 7 ，8 ，1 0 1 等人的工作基础上发 展而来的- f - j 新兴学科。因其具有良好的时频局部性，从而被誉为“数学显微镜”。它应 用在信号分析、图像处理、量子物理及其他非线性科学等领域，其中最成功的应用领域之 一就是图像压缩。图像压缩应用中人们感兴趣的是图像信号局部范围的特性，如边缘、纹 理等，而传统的f o u r i e r 变换就不能刻画这些特性。 传统的d w t 都是实数域的交换，即使数字信号是整数序列，相应的小波变换系数也 是实数，而且通过截断尾数也会造成误差。由于数字图像通常都是用整数表示，如果图像 矩阵的小波变换是整数矩阵，即“整数一整数小波变换，那么图像编码速度将更快，编 码效果更好。这种变换是将整数序列映射为整数小波系数，并且是可逆的，通常被称为“整 数小波变换 ( i w t ) 。显然，它在硬件实现时具有巨大的优势，对图像压缩技术的产品化 具有重要意义，从而也推动了图像压缩技术的发展。 2 1 小波分析的基础理论 2 1 1 小波简介 我们希望找到一组函数，使得其成为在信号的函数空间上稠密的正交基，并且单纯的 由一个函数伸缩和平移所得。伸缩性的结果就是我们可以在不同的分辨率下分解信号，平 移的结果是我们可以把这组信号作为窗来观察自己关心的部分。那么这样的函数必定具有 紧支集的特点，由它生成的一组正交基就是小波函数。这样小波函数无疑是最理想的函数 了。 小波函数的定义是：如果沙( f ) r ( r ) 满足容许性条件： q = 哗国 0 是尺度因子，6 反映位移，其值可正可负。 口，b 都是连续变量，因此将信号在这个函数系上做分解，就得到了连续小波变换的定义。 定义：设( f ) r ( r ) 则对其可允许小波函数6 ( f ) 的连续小波变换为： ( ) ( 口，6 ) 2ef ( t ) v 。, b ( t ) d t ( 2 1 3 ) 此式可求得信号在固定小波函数j ( ，) i - 1 约分量，对参数口和b 进行展丌以后，就得 到了任何时刻，任意精度的频谱了。 离散小波函数可表示为：( f ) = 面7 佗( 啄7 ，一蛾) ，_ ，七z ( 2 1 4 ) 离散小波变换的系数可表示为：形j o ) = ( ，) j ( t ) d t ( 2 1 5 ) 类似傅立叶级数，其重构公式为：厂( ，) = c j 虬 ( f ) ( 2 1 6 ) 其中c 为与信号无关。如果选取的离散点满足口o = 2 ，6 b = 1 ，则称为二进小波变换。当 然，做了这种离散化后，为了小波能够正确的把信号进行分解，还要做一些限制条件。 对实际计算来讲，连续小波变换的代价太高，而离散小波变换的计算量相对来讲要低 一些。所以离散小波变换用的更广泛了。 小波变换的特点： ( 1 ) 多分辨率，也称多尺度特点，可以由粗及细地逐步观察信号。 ( 2 ) 可以看成用基本频率特性为簟o ( c o ) 的带通滤波器在不同尺度口下对信号滤波，但口越 大相当于频率越低。 ( 3 ) 适当地选择基小波，使y ( f ) 在时域上为有限支撑，矽( 缈) 在频域上也比较集中，就 可以使小波变换在时域、频域都具有表征信号局部特征的能力，这使小波变换在分析和处 理非稳态信号上具有实用性。 小波分析的主要思想是将信号厂分解为一系列基函数的和，即： 厂= 口f 奶 ( 2 i 7 ) 如果基函数能够良好的匹配所表示的信号厂的特性，那么就可以用较少的系数口， 1 2 南京邮电大学硕士研究生学位论文 第二章整数小波变换 有效的表示出信号，因而基函数彬的选择非常重要。这个基函数就是小波有限区 间上的波。因为小波具有频率可变和位置可变的特性，所以小波变换就克服上述传统傅立 叶变换的不足。小波具有良好的相关性，其表现为以下几点： ( 1 ) 小波在时域和频域都具有局部化特性，因而可以很容易地检测信号的局部特点。 ( 2 ) 小波具有多分辨率特性，所以小波可以在不同的分辨率下对信号进行分析处理。 ( 3 ) 小波的光滑度可以由它的消失矩来决定。小波的消失矩定义如下： j 如果在间隔( 口，b ) 区间，l 。f ( x ) x d x = 0 ，f - o ，l ，2 ，刀一l 则称小波具有n 阶消失矩。如果 小波的消失矩越高，其近似光滑信号的程度就越好。 2 1 2 小波的性能分析 数字图像压缩中，如何最合理、快速地选择小波基，目前这方面的研究并无定论。在 小波基的选择中，一般比较注重平滑性与消失矩、j 下交性与对称性的特性。消失矩表明了 小波变换后的能量集中程度，消失矩阶数很大时，精细尺度下的高频部分数值有许多是小 得可以忽略的( 奇异点除外) 。但是从重构图像质量角度而言，平滑性的影响要高于消失矩。 例如h a a r 小波基由于不连续，会造成恢复图像中出现方块效应，而采用其它平滑的小波基 则会消除方块效应。在实际应用中，一般要选择具有平滑特性的小波基，同时，为了简化 计算，只考虑一阶和二阶导数连续的小波基。在逼近理论框架下，样条小波非常适用于图 像压缩编码。用正交小波基由多尺度分解得到的各子带数据分别落在相互正交的子空间 中，使各子带数据相关性减小。同时，在进行多分辨分析时，可以采用m a l l a t 快速算法， 运算快捷简单，便于计算机处理。然而紧支撑的正交小波，除h a a r 小波外，都不是对称的 或反对称的。正交小波的对称与否意味着滤波器是否具有线性相位，如果滤波器具有线性 相位，或者至少具有广义线性相位，就可以避免失真。因为正交小波( 除h a a r 小波) 情形的 滤波器不具有线性相位，而样条小波的滤波器具有线性相位，因此可用样条小波来构造双 正交小波。此外，由于小波变换过程实际上是信号与滤波器卷积的过程，因此，滤波器的 长度增加将导致卷积运算量增加；并且从边界延拓来看，滤波器长度越长，延拓的点数越 多，造成图像恢复的失真也越大，应适中地选择滤波器长度。实验表明，选用b 一样条小 波基构成的9 7 双正交滤波器( 9 为高通滤波器长度，7 为低通滤波器长度) 用于图像压缩编 码，图像有较好的重构效果。 南京邮电大学硕：l ：研究生学位论文 第二章整数小波变换 2 2 提升和整数小波变换 2 2 1 提升小波变换的基本方法 用m a l l a t 算法来实现的小波变换所得的小波滤波器都是小数形式，这样当实际的数字 图像采用整数表示的时候，滤波器输出的结果就不在是整数了，此时小波变换也不能实现 无失真的重构，而且如果进行量化会产生较大的截断误差。由s w e l d e n s 等提出的提升方案 ( 1 i f ts c h e m e ) 是构造紧支集双正交小波的一种新方法，被称为“第二代小波” 1 8 , 1 9 1 。这些小 波变换运算量小，存储简单，又保留了第一代小波的特性。而使用提升法的构造完全是空 间的，因此特别适合在傅里叶变换不再适用的时候用来构造第二代小波。 提升方法构造小波的过程也就是把小波分解为提升步骤的过程，简单的说，提升步骤 ( 1 i f t i n gs t e p ) 就是先计算预测( 或校正) 值，然后再用它们计算相应的细节( 或误差) 的运 算步骤【1 9 1 。 提升方法具有如下优点【1 7 , 2 0 】： ( 1 ) 可以实现更快速的小波变换算法，一般通过提升方法可以达到比m a l l a t 算法快2 倍的离散小波分解，达到快速运算，有利于硬件的实现。 ( 2 ) 提升方法可以实现完全的同址运算，这一点与f t t 类似。 ( 3 ) 利用提升方法运算复杂度低，易于可逆变换，正向小波变换和反变换结构是非 常一致的，仅有正负号区别。 ( 4 ) 提升小波变换的描述非常简单，不需要额外的存储空间，能以比一般卷积运算 方法少的运算次数实现小波变换，而得到的小波系数与使用传统小波变换结果近似。 提升小波变换过程分为三步：分裂、预测和更新。在离散情况下，当给定数据集， 通过一个提升过程( 三步) ，得到尺度系数a t 和小波系数c i 。为了说明原理，这里下标表示 分解层。 第一步分裂过程：将分解成两个集m 厶 a t ，c ，分解方法有多种。例如将奇数点集合定 义为a t ，将偶数点集合定义为q ( 这称为惰性小波变换，l a z yw a v e l e t ) ；或将前一半数据分 给a t ，将后一半数据分给q ：或相邻两数之和分给q ，相邻两数之差分给q ( h a a r 小波) 。 分裂方式的不同，也就相当于采用不同小波基。 1 4 南京邮电人学硕士研究生学位论文第二章整数小波变换 第二步预测过程：主要是消除第一步分裂后留下的冗余，给出更紧致的数据表示，预 测的目的是用a 。预测q ，预测误差形成新的q ，即c i 譬q + 尸( 口1 ) ( 2 2 1 ) 这里尸是预测算子，它应该是独立于数据集的一个确定的运算形式。= 表示对变 量的更新而不是一个等式。当原始的q 完全可由a l 预测，且预测算子也是理想的预测器时， 新的q 是全零序列：当理想预测不存在，但原始口l 和q 相关性较大时，通过预测，使新的c l 具有很低的能量分布。这种分解过程可以进入下一级，将a i 进一步分解成口：，c ：，这个过程 一直继续下去，直到指定的1 1 级分解，形成系数集 吒，q ，q ) 。我们希望最后的系数子集 中保留口。中的某些全局性质，例如均值不变。但是由于分裂过程不一定能够使这个性质 保存下来，因此，在每一级分解中增加了第三步。 第三步更新过程：目的是使某一全局性质得以保障。定义一个标量运算器9 ( 口，) ，由 它计算一个序列的某个全局量。在当前级，更新过程要求q ( a 。) = q ( a o ) ( 2 2 2 ) 为了使正反变换一致，定义一个算子u ，使得由口i - q + u ( q ) ( 2 2 3 ) 如上所述，每一级提升由三个步骤组成，给出歹的取值在l 口纷范围内，每一级分解过 程表示为 a j + l ，巳+ i _ 呼衍( 巳) l 巳+ i 车巳+ l 一户( 乃+ 1 )r ( 2 2 4 ) 哆+ 1 _ 乃+ i + u ( 巳+ i ) j 很容易证明，反变换过程为 哆+ l ：- 巳+ - 一u ( 巳+ ；) 1 巳+ i - 勺+ l + p ( a j + i ) 孓 ( 2 2 5 ) 乃： - j o i n ( a j + l 巳+ 1 )j 分解方式与离散小波的思想是一致的，将序列分解成更紧致的表示方式，分裂方式、 预测器的不同选择，等价于选择了不同的滤波器组。 提升小波变换步骤可以通过口川的迭代来重复，从而创建了多分辨分解的多级变换。 其实现变换的一个最大优点是将小波滤波器过程分解成简单的基本步骤，且分解的每一步 都是可逆的：其重构过程是分解过程的逆过程。提升小波变换的分解和重构过程如图2 1 。 提升方法提供了一个构造产生特定的双正交小波的框架，而我们想知道的是有多少第 l 气 南京邮电大学硕 ：研究生学位论文第二章整数小波变换 一代小波可以用提升法产生。目前，已经证明所有的f i r 小波或滤波器组都能被分解为提 升步骤【1 9 】。 q _ 钏+ t 一9 由中申卓审。 l o 忡- - j 0 o d d j + l 7 图2 1 预测和校正的提升步骤原理图 2 2 2 小波变换的提升实现 1 、滤波器组重构条件i 加i 假设分析滤波器分别为石( 低通) 和季( 高通) 以及其后的下抽样( 二次抽样) 组成； 反向变换先经过上插值( 在两个相邻样本中插入一个零值) ，其后是两个综合滤波器h ( 低 通) 和g ( 高通) 构成。 精确重构的条件就由下式给出： 矗( z ) 再( z 一1 ) +