（检测技术与自动化装置专业论文）小波变换在数字视频图像压缩编码中的应用.pdf

摘要 摘要 在傅立叶分析基础上发展起来的小波技术，提供了一种自适应的时域 和频域同时局部化的分析方法。通过伸缩和平移等运算功能进行多尺度细 化分析，能够有效地从信号特别是非平稳信号中提取信息。因此，小波技 术成为数字图像处理及压缩编码的有力工具，也是近年来研究的热点。 本文首先对数字图像压缩的必要性和可行性进行了分析，并对传统压 缩编码方法进行了比较和综述。在简要介绍小波变换与时频分析后，较 详细地阐述了二维小波分析和二维图像的多分辨率分析，并对数字图像压 缩中小波基的选择问题进行了深入的探讨，其中包括小波基的性能分析和 评价小波基的标准。本文的重点是小波变换在数字图像压缩中的算法研 究，因此对嵌入式零树小波编码进行了深入的研究，并给出了试验结果。 本文设计了一种基于子块运动补偿的小波视频图像压缩方案，把多子 块运动矢量的快速计算方法运用到空间域运动补偿中，使帧间差值图像主 要集中在低频分量上，而高频子带将出现更多的零。这样，使用嵌入式零 树小波编码来对帧间差值图像进行编码，可以实现视频图像的高效压缩， 在解码时又可以得到良好的视频效果。实验结果表明，这是一种可行有效 的方法。 最后，本文对构成实时视频压缩系统的五个单元进行了芯片选型和设 计；对压缩系统的软件进行了设计；给出了以专用图像处理芯片 a d v 6 0 1 l c 为核心的实时视频压缩系统的设计方案。系统很好地完成了视 频图像的实时压缩，且压缩比高、重建图像质量好。 关键词数字图像编码；视频图像压缩；小波变换；小波基；嵌入式零树 小波编码；运动估计补偿；a d v 6 0 1 l c 燕山大学工学硕士学位论文 a b s t r a c t t h ew a v e l e tt e c h n o l o g y , w h i c hd e v e l o p e do nt h eb a s eo ff o u r i e ra n a l y s i s ， o f f e r sas e l f - a d a p t i v el o c a l i z a t i o na n a l y s i sm e t h o df o rag i v e ns i g n a li nb o t h t i m ed o m a i na n df r e q u e n c yd o m a i n t h r o u g he x t e n s i o na n dt r a n s l a t i o n o p t i o n sa n dm u l t i - s c a l ea n a l y s i s ，i t c a l le x t r a c th e l p f i l ls i g n a li n f o r m a t i o n e f f e c t i v e l yf r o ms i g n a l ，s p e c i a ln os t e a d ys i g n a l ，s ow a v e l e tt e c h n o l o g yh a s b e c o m eap o w e r f u lt o o lf o rd i g i t a li m a g ep r o c e s s i n ga n dc o m p r e s s i o na n dh a s b e e nh o td o i n ts t u d i e di nr e c e n ty e a r s t h i sp a p e ra n a l y z e st h en e c e s s i t ya n df e a s i b i l i t yf o ri m a g e sc o m p r e s s i o n a tf i r s t ，a n dt h e nm a k e sac o m p a r i s o na n ds u m m a r i z a t i o nf o rt h et r a d i t i o n a l c o m p r e s s i o nm e t h o d s t h ep a p e ri n t r o d u c e ss i m p l yw a v e l e tt r a n s f o r ma n d t i m e f r e q u e n c ya n a l y s i s ，e l a b o r a t e s2 - dw a v e l e tt r a n s f o r ma n d2 - di m a g e m u l t i r e s o l u t i o na n a l y s i si nd e t a i l ，a n dm a k e ss o m ed i s c u s s i o n so nt h ew a v e l e t b a s e ss e l e c t i o ni nd i g i t a li m a g ec o m p r e s s i o n ，w h i c hi n c l u d e st h ep e r f o r m a n c e a n a l y s i sa n de v a l u a t i o nc r i t e r i ao fw a v e l e tb a s e s t h ep a p e rs t u d i e st h o r o u g h l y e m b e d d e dz e r ot r e ew a v e l e tc o d i n gw h i c hi sv e r yi m p o r t a n ti nd i g i t a li m a g e c o m p r e s s i o nc o d i n gm e t h o d s ，a n dd i s p l a y st h ee x p e r i m e n tr e s u k s t h i sp a p e rd e s i g n st h ew a v e l e tv i d e oi m a g ec o m p r e s s i n gs y s t e mb a s e d o ns u b b l o c km o t i o n c o m p e n s a t i o n t h e f a s t s e a r c h i n g m e t h o do f m u l t i s u b b l o c km o t i o nv e c t o ri su s e di ns p a c e - d o m a i nm o t i o nc o m p e n s a t i o n ， s ot h el u m i n a n c ei m a g e sb e t w e e nf r a m e sc o n c e n t r a t em a i n l yo nl o wf r e q u e n c y a n dal o to fz e r o sa p p e a ro nh i g hf r e q u e n cy e m b e d d e dz e r ot r e ew a v e l e t t r a n s f o r me n c o d e st h el u m i n a n c ei m a g e sb e t w e e nf r a m e s ，s oi tc a nr e a l i z et h e e f f i c i e n tc o m p e n s a t i o no fv i d e oi m a g ea n dg e tt h eg o o dv i s u a lr e s u k si n d e c o d i n gi m a g e t h ee x p e r i m e n tr e s u l t ss h o w t h a ti t i saf e a s i b l ea n de f f i c i e n t m e t h o d a tl a s t ，t h es e l e c t i o no fc h i p sa n dd e s i g n ss t r u c t u r e sf o rt h ef i v eu n i t s i i a b s t r a c t w h i c hc o m p o s f f et h er e a l t i m ev i d e oc o m p r e s s i o ns y s t e ma r ed e s i g n e d ，a n d t h es o f t w a r ed e s i g nf o r t h ec o m p r e s s i o ns y s t e mi sa l s op r e s e n t e d t h ed e s i g n s c h e m ef o rr e a l - t i m ev i d e oc o m p r e s s i o ns y s t e mb a s e do nt h es p e c i a li m a g e p r o c e s s i n gc h i p - - a d v 6 0 1 l ci sd e s c r i b e d s ot h es y s t e mc a nf i n i s hr e a l t i m e v i d e oc o m p r e s s i o nw e l la n dc o m p r e s s i o nr a t ei sh i g ha n dt h er e c o n s t r u c t i o n i m a g ei sc l e a r k e yw o r d sd i g i t a li m a g ec o d i n g ，v i d e oi m a g ec o m p r e s s i o n ，w a v e l e t t r a n s f o r m ，w a v e l e tb a s e ，e m b e d d e dz e r ot r e ew a v e l e tc o d i n g ， m o t i o ne s t i m a t i o na n dc o m p e n s a t i o n ，a d v 6 0 1 l c 第1 章绪论 第1 章绪论 1 1 课题研究的背景和意义 当人类社会进入2 1 世纪，信息就是一个国家能否立足的关键所在。随 着计算机技术、现代通信技术、微电子技术、网络技术等科学技术的发展， 人们已经进入了信息化、数字化的时代。如何将信息以更加易于人们理解 和接受的形式来描述，以更加简洁的方式表达，以及如何更加快速、准确 的传输信息，是今天高速发展的时代摆在人们面前的一个热点课题。信息 是抽象的，它依附在各种媒体所表示的数据中。2 0 世纪8 0 年代开始，人们 的研究方向转为将声音、图像、图形作为新的信息载体形式，并结合计算 机技术的应用发展，形成了多媒体技术( m u l t i m e d i a t e c h n o l o g y ) t ”。于是， 对于信息的理解和感知，人们走出了仅有的黑白文本表达的年代，进入了 有声有色、图形并茂的世界。 “百闻不如一见”，在人类所接收到的全部信息中，有7 0 以上是通 过视觉得到的【2 。和语音或文字信息相比，图像包含的信息量更大、更直 观、更确切，因而具有更高的使用效率和更广泛的适应性，图像信息的处 理、存储和传输在社会生活中的作用越来越突出。图像通常来源于自然景 物等，其原始的形态是连续变化的模拟量。因为模拟信号不易于存储和传 输，而且在存储和传输的过程中易引入噪声而导致波形畸变，造成失真， 所以一般先将模拟信号进行采样和量化，以数字化的形式进行存储、传输 和重建。当图像以数字形式处理和传输时，由于可以与计算机技术相结合， 具有质量好，成本低，小型化和易于实现等优点，已经成为该领域当前和 未来的主要发展趋势。 然而图像经过采样和量化转换成数字信号后，其数据量的巨大已经成 为多媒体技术发展中一个非常棘手的瓶颈问题。尽管随着科学技术的发 展，海量存储技术、处理器的速度以及数字通信系统的性能迅猛发展，但 燕山大学工学硕士学位论文 高清晰度数字图像数据量对数据存储的能力和数据传输带宽的需求仍然 超出了现有技术的能力所及。为了使通信成为可能并尽可能地降低通信费 用，图像信号的压缩编码是必需的 3 ，4 】。人们通过对传统的图像数据进行 大量统计和视觉效果的研究表明，图像的相邻像素之间、相邻行之间或者 相邻帧之间都存在着较强的相关性，即图像信号存在着诸如空间冗余、时 间冗余、结构冗余、视觉冗余和知识冗余等冗余度，利用某种编码方法在 一定程度上消除这些相关性或冗余度，可以实现图像数据的压缩编码。 图像与视频压缩编码的成熟完善，在军事、工业、医疗、民用以及多 媒体及通讯领域中都产生了重要深远的影响。例如卫星或遥感照片的传输 处理、各种医用图像的传输处理、工业自动检测，以及近年来发展起来的 可视电话、会议电视、h d t v ( h i g hd e f i n i t i o nt e l e v i s i o n ，高清晰度电视) 、 视频点播、网络视频直播、远程监控等。但同时，我们也看到，这些技术 现在正处于起步阶段，还存在着一些急待解决的问题，比如解码后重建图 像的模糊失真、网络视频直播的图像迟钝不连续、以及图像与声音传输的 不同步等。随着因特网、电信网、广播电视网的逐步融合，图像和视频压 缩编码也成为图像通信的中心问题之一【5 ，6 】。 1 2 数字图像压缩编码的发展 1 2 1 从无失真编码到失真编码 若压缩编码过程是尽量将无用的冗余信息去除，恢复的图像与原始图 像完全一样，此过程属于无失真编码；若压缩编码是结合人眼的视觉特性， 允许恢复的图像有一定的失真，但图像的失真难以被人眼所觉察或者在人 的视觉可接受的范围内，则该过程属于失真编码。 长期以来，人们都是在传统香农信息理论的指导下进行图像压缩编码 方法的研究，即任何一组随机分布的数据信息是由其熵来表征，无失真编 码的压缩效率以此熵为界，失真编码的压缩效率也受此熵约束【7 1 。然而人 们在研究人的视觉特性与图像信息之间的关系时，发现一个明显或越来越 2 第1 章绪论 清楚的问题是：人的视觉感知特点与统计意义上的信息分布并不一致，换 句话说，在统计上需要更多信息才能描述的图像信息特征对视觉感知可能 并不重要，从感知的角度讲，无需详细表征图像某些局部特征博1 。这样 对于数字图像处理及压缩的研究开始充分利用人类视觉特性。因为突破了 传统香农信息理论的框架，注重对人的感知特性的利用，利用所谓感知熵 理论，使得图像压缩效率得以极大提高。 1 2 2j p e g 与m p e g 技术标准的发展 从1 9 4 8 年o l i v e r 提f l p c m ( p u l s ec o d em o d u l m i o n ，脉冲编码调制) 编码 理论开始，数字图像压缩编码的研究迄今已有半个多世纪的历史，人们已 经研究并提出各种各样的压缩方法。到7 0 年代末，图像编码日臻成熟，其 标志就是各种图像编码的国际标准的制定，如i s o i e c ( i s o ，i m e r n a t i o n a l o r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ，国际标准化组织；i e c ，i n t e r n a t i o n a l e l e e t r o t e c h n i c a tc o m m i s s i o n ，国际电工委员会) 关于静止图像的标准j p e g 系列，c c i t t ( c o n s u l t a t i v e c o m m i t t e ei n t e r n a t i o n a lo i l t e l e g r a p ha n d t e l e p h o n e ，国际电报电话咨询委员会) 关于电视电话会议电视的视频编码 标准h 2 6 1 i - i 2 6 3 和i s o i e c 关于活动图像的编码标准m p e g 系列。 1 2 2 ，1 j p e g 标准j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 即联合图像专 家小组，其中联合的含义是指c c i t t 和i s 0 。该专家组多年来一直致力于 标准化工作，他们开发研制出连续色调、多级灰度、静止图像的数字图像 压缩编码方法，这些编码方法称为j p e g 算法【l 。1 3 。j p e g 算法被确定为 j p e g 国际标准，它是彩色、灰度、静止图像压缩编码的第一个国际标准。 j p e g 标准是一个适用范围很广的通用标准，它不仅广泛应用于诸如卫星 图片、图像文献资料、医疗图片以及新闻图片等静止图像的保存和传输领 域，而且也被应用于电视图像序列的帧内图像编码。 j p e g 算法使用了两类压缩编码方法：无失真编码与失真编码 1 4 , 1 5 。 无失真编码主要是由熵编码实现，包括h u f f m a n 编码( 又包括固定方式和自 适应方式) 和算术编码。 失真编码主要包括：预测编码p c m ( 包括帧内和帧间预测) 、正交变换 3 燕山大学工学硕士学位论文 ( 包括离散傅立叶变换、离散余弦变换等) 、矢量量化( v q ，v e c t o r q u a n t i z a t i o n ，包括多段v q 、分离v q 和全搜索v q 等) 、分层编码( 包括位平 面法、四叉树法和逐次生成法等) 、频带分割法( 包括子带编码和块切割法) 以及模型编码。 1 2 2 2 m p e g 标准m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) b p 运动图像专 家小组，该专家组成立于1 9 8 8 年，在i s o 和i e c 的管辖下，约有3 0 0 名专家 分n 个小组进行工作。现已公布的标准【1 6 l 有m p e g l 、m p e g 2 、m p e g 4 、 m p e g 7 ，2 0 0 0 年3 月，m p e g 会议成立m p e g 2 1 工作组，进行新一代m p e g 标准的研究开发。 ( 1 ) m p e g 1 于1 9 9 3 年8 月公布，全称为“适于约1 5m b s 以下数字存储 媒体的运动图像及伴音的编码”【 】。所谓数字存储媒体( d s m ，d i g i t a l s t o r a g em e d i a ) 是指常见的数字存储设备，如c d r o m ( c o m p a c td i s c r e a d o n l y m e m o r y ) 、d a t ( d i g i t a l a u d i o t a p e ) 、硬盘、可写光盘等。该标准也适 于远程通信，如综合业务数字网、局域网等。m p e g 1 规定了一个混合 d c t ，d p c m 和运动补偿的编码方案，并改进了预测和递增过程以满足数字 存储介质的随机存取要求。 ( 2 ) m p e g - 2 于1 9 9 4 年1 1 月公布，全称为“运动图像及其伴音通用编 码”。它在m p e g 1 基于d c t 的，有运动补偿的帧间双向预测的基本结构上 有所扩展，可满足2 m b p s 3 0 m b p s 高质量的视频应用。适用于多媒体计算 机、多媒体数据库、多媒体通信、常规电视数字化、h d t v 及i t v ( i m e r a c t i v e t e l e v i s i o n , 交互式电视) 等f 1 8 】。 ( 3 ) m p e g - 4 于1 9 9 9 年1 月公布版本l ( v 1 0 ) ，同年1 2 月公布版本2 ( v 2 o ) 。 该标准旨在建立一种能被窄带、宽带网络、无线网络、多媒体数据库等各 种存储传输设备所广泛支持的通用音、视频数据格式。但在制定过程中， m p e g 组织深深感受到人们对媒体信息，特别是对视频信息的需求由播放 型转向基于内容的访问、检索和操作 1 9 , 2 0 】。从而m p e g 4 标准实现了各种 传输媒体的通用访问和表现、基于内容的交互性、可重用性、可伸缩性等 2 1 _ 2 3 1 。 ( 4 ) m p e g 一7 于2 0 0 0 年1 1 月公布，全称为“多媒体内容描述接口”，它 4 第1 章绪论 将确定各种类型的多媒体信息标准的描述方法【2 4 1 。这种描述与多媒体信息 的内容一起支持用户对其感兴趣的各种“资料”进行快速、有效的检索。 各种“资料”包括：静止图像、图形、音频、视频，以及如何将这些元素 组合在一起的合成信息。这种标准化的描述可以加到任何类型的多媒体资 料上，不管多媒体资料的表示格式如何，或是什么压缩形式，加上了这种 标准化描述的多媒体数据就可以被索引和检索了。也就是说，m p e g 7 只 规定了信息内容的描述格式，而不规定如何从原始的多媒体资料中抽取内 容描述的方法。 l 。2 3 小波理论在数字图像压缩中的应用 傅立叶( f o u r i e r ) 变换是信号处理领域中研究最早应用最广的分析工 具。图像和视频压缩中最常使用的工具是一种简化了的f o u r i e r 变换，即 d c t 变换( d i s c r e t ec o s i n et r a n s f o r m ，离散余弦变换) 。因为其良好的去相 关性和能量压缩特性以及存在着快速算法，基于分块d c t 变换的压缩编码 技术是已有图像和视频压缩标准的核心技术。但随着应用和研究的不断深 入，d c t 变换的缺点逐步暴露出来，尤其在低比特率环境下，压缩图像不 可避免地出现了方块效应和飞蚊噪声【2 5 。2 7 ，这是因为一般情况下图像信号 是高度非平稳的，很难用g a u s s 过程来刻画，并且图像中的一些突变结构， 例如边缘信息远比图像平稳性重要，用余弦基作图像信号的非线性逼近， 其结果不是最优的。 信号压缩就是要用尽可能少的比特数表示一个信号，因此要提高信号 的压缩效率首先要给出信号的稀疏表达式。数学界和工程界在共同研究数 据表示技术的过程中所发展起来的小波分析技术和多分辨率分析理论，摒 弃了传统f o u r i e r 分析所必须的前提平稳性，成为分析非平稳信号的有 力工具 2 8 , 2 9 】。它的出现导致了人们从新的视角去研究信号压缩、噪声滤波 等信号处理问题。具有“数学显微镜”之称的小波具有良好的时频域局部 化特性，小波基的紧支性和小波分解的多尺度结构，使小波能够以可变的 分辨率对信号进行分析1 3 0 - 3 2 1 。小波变换就是一种将图像分解成与人类视觉 特性相匹配的不同分辨率、不同方向特性的子带，并使能量集中在某些子 5 燕山大学工学硕士学位论文 带的变换，因此为图像的压缩提供了巨大的可能性【3 3 - 3 s 1 。如图1 1 所示， ( a ) 为原始图像，( b ) 为1 级小波分解之后的图像，图像小波变换理论将在本 文第3 章详细论述。 ( a )( b ) 图1 1 图像小波变换 f i g 1 - 1i m a g ew a v e l e tt r a n s f o r m 早在1 9 8 6 年，w o o d s 等人就构造了第一个真正意义上的小波图像编码 器，但那时在图像领域人们却把小波编码称为子带编码。因为在当时人们 还没有完全弄清楚子带编码的工作机理，更不知道它与数学领域的小波基 有着千丝万缕的联系，直到多分辨分析理论提出，信号处理领域的专家们 才从理论上统一了众多子带编码器的工作原理。子带分解其实质上就是小 波分解，基于子带的图像编码实质上是基于小波的图像非线性逼近【3 6 , 3 7 1 ， 因此后来的“子带编码”和“小波编码”两个词就不再加以区别。伴随着 数字领域的小波理论的发展和非线性逼近论研究的深入，小波图像压缩取 得了极大的进展，一个极具表现力的实证是d a u b e e h i e s 所发现的小波双正 交基立即被转化为图像分解所使用的具有线性相位多通道完全重建滤波 器组p “”。自从小波理论引入图像处理领域，图像处理工程师们就开始逐 渐从非线性逼近论和泛涵分析的角度出发，分析、设计和改进图像压缩算 法。 伴随着小波理论研究的不断深入，在小波理论的指导下的图像应用研 究取得了许多成果，这些成果正逐步标准化，汇集成工业标准 j p e g 2 0 0 0 1 4 “”。在此背景下，小波视频压缩也已成为当前视频压缩的研 6 第1 章绪论 究热点，可以预见基于小波理论的视频压缩技术将是未来视频压缩标准的 一项核心技术。 1 3 关于实时视频压缩系统的开发 实现数字图像压缩的硬件平台主要有两类：一类是基于p c 机，用软 件算法来实现编解码功能；另一类是基于各种微处理器芯片，构成专用图 像编解码电路 4 4 1 45 1 。比较而言，在p c 机上用软件实现如j p e g 、m p e g 等 压缩算法，其特点是灵活性强、软件资源丰富、开发周期短。但是，p c 机设备体积较大，使用场合有一定限制，而且p c 机更多用于后台处理， 完成非实时性的分析和计算。在某些情况下，考虑到周围环境、速度要求， 特别是实时性要求很高，或开发嵌入式系统时，需要采用由各类芯片设计 的专用电路。 基于微处理器芯片的视频压缩系统开发方式主要是采用专用芯片或 可编程器件实现图像的高速实时压缩( 如实现j p e g 的c l 5 5 0 、s t l l l 4 、 l 6 4 7 0 2 ，实现m p e g 的c l 9 5 0 、s t i 3 5 0 0 等芯片) ，其特点是实时性好、可 靠性高。a d v 6 0 1 l c 是美国a d 公司推出的一种基于小波变换的实时视频 解压缩芯片，它是一片成本低、性能高的视频数字信号处理器 46 1 。以 a d v 6 0 1 l c 为核心组成的视频编码解码单元能够对视频图像进行实时压 缩和解压缩，而且压缩比高，重建图像质量好。 1 4 本文研究的主要内容 本文以视频图像的实时压缩为核心，主要内容有； ( 1 ) 概述了数字图像压缩编码的背景和意义、数字图像压缩编码的发 展以及实时视频压缩系统的开发。 ( 2 ) 在分析了数字图像压缩编码的必要性和可行性的基础上，对几种 常用的压缩方法进行了简单说明，如熵编码、预测编码、变换编码以及视 频图像的运动估计补偿等。本章还介绍了关于图像编码方法的评价标准， 7 燕山大学工学硕士学位论文 主要包括图像质量的评价和图像编码效率的评价，这些都是评价压缩系统 性能的必要准则。 ( 3 ) 在简要介绍小波变换与时一频分析后，较详细的阐述了二维小波分 析和二维图像的多分辨率分析，并对数字图像压缩中小波基的选择问题进 行了深入的探讨。本章的重点是小波变换在数字图像压缩中的算法研究， 因此对嵌入式零树小波编码进行了深入的研究，并给出了试验结果。 ( 4 ) 在分析了运动补偿原理的基础上，对块匹配法的原理和衡量块匹 配法的最佳匹配准则进行了说明。提出了一种空间域运动补偿的小波视频 图像编码方法，着重讨论了多子块运动矢量的快速计算方法，并对基于子 块运动补偿的小波视频图像压缩方案进行了设计。 ( 5 ) 以小波变换算法为基础，以a d v 6 0 1 l c 芯片为核一t 5 ，进行了实时 视频压缩系统的设计。分析了a d v 6 0 1 l c 芯片的特点、结构和功能，对 构成视频压缩系统的五个单元进行了芯片选型和设计，以及对压缩系统的 软件进行了设计。 8 第2 章数字图像压缩综述 第2 章数字图像压缩综述 图像编码就是在保证一定重构质量的前提下，以尽量少的比特数来表 示图像信息。第一代图像编码技术是以香农信息论为出发点，用统计概率 模型来描述信源，编码实体是像素或像素块，以消除图像数据相关冗余为 目的，以显示器为图像系统的最后环节。静止图像压缩标准j p e g 的制定 及其对多媒体产业的巨大影响有力的证明了第一代图像编码技术的巨大 成功。但是，第一代图像编码技术并未考虑到信息接收者的主观特性、图 像信息的具体含义和重要程度等，只是力图去除数据冗余，这是一种低层 次的编码技术。第二代编码技术则以去除图像内容冗余为目的，考虑人眼 作为信息接收者的特性，是目前一个比较活跃的研究领域。 2 1数字图像压缩编码的必要性和可行陛 图像压缩编码的目的是以尽量少的比特数表征图像，同时保证复原图 像的质量，使它符合预定应用场合的需要。压缩数据量、提高有效性是图 像压缩编码的首要目的。图像编码是一种信源编码，其信源是各种类型的 图像信息。 计算机网络和通信的高速发展，已经深入到了世界的每一个角落。这 样使得人们对多媒体信息的需求正在以指数级速度增长。而我们知道数字 化了的图像、音频等的数据量是非常大的。例如，一幅具有中等分辨率 ( 6 4 0 4 8 0 ) 的真彩图像( 2 4 位像素) ，它的数据量约为7 3 7 兆位帧。若要达 到每秒2 5 帧的全动态显示要求，每秒所需的数据量为1 8 4 兆位，而且要 求系统的数据传输率必须达到1 8 4 兆位，这在目前是无法做到的。 由此可见数字化信息的数据量是何等庞大。这样大的数据量，无疑给 存储器的存储容量、通信干线的信道传输率以及计算机的速度都增加了极 大的压力。为了解决这一问题，单纯用扩大存储器容量和增加通信干线的 传输率的办法是不现实的。而图像压缩技术是个行之有效的方法。通过压 9 燕山大学工学硕士学位论文 缩手段把信息数据量降下来，以压缩的形式存储和传输。这样既节约了存 储空间，又提高了通信干线的传输效率。所以图像的数据压缩势在必行。 另一方面，图像压缩编码得以实现的两个依据是图像的统计特性和人 类视觉系统特性。以目前常用的位图格式的图像存储方式为例，在这种形 式的图像数据中，像素与像素之间无论是在行方向还是在列方向都具有很 大的相关性，因而整体上数据的冗余度很大。在允许一定限度失真的前提 下，能够对图像数据进行很大程度的压缩。 从信息论的观点来看，图像作为一个信源，描述信源的数据是信息量 ( 信源熵) 和信息冗余量之和。所以在图像数据的表示中存在着大量的冗 余，通过去除冗余数据可以使原始图像数据量极大的减少，从而解决图像 数据量巨大的问题。当然，冗余数据有很多种，常见的有以下几种4 7 郴】： ( 1 ) 空间冗余这是静态图像存在的最主要的一种数据冗余。一幅图像 记录了画面上可见景物的颜色。同一景物表面上各采样点的颜色之间存在 着空间连贯性，但是基于离散像素采样来表示物体颜色的方式通常没有利 用景物表面颜色的这种空间连贯性，从而产生了空间冗余。我们通过改变 物体表面颜色的像素存储方式来利用空间连贯性，达到减少数据量的目 的。 ( 2 ) 时间冗余时间冗余反映在视频图像中就是相邻帧图像之间有较 大的相关性，一帧图像中的某物体或场景可以由其他帧图像中的物体或场 景重构出来。 ( 3 ) 信息熵冗余信息熵冗余也称编码冗余，由信息论的有关原理可 知，要表示图像数据的个像素点，只要按其信息熵的大小分配相应的比 特数即可。然而对于实际图像数据的每个像素，很难得到它的信息熵，在 数字化一幅图像时，对每个像素是用相同的比特数表示的，这样必然存在 冗余。信息熵冗余、空间冗余和时间冗余统称为统计冗余，因为它们都决 定于图像数据的统计特性。 ( 4 ) 结构冗余有些图像的纹理区中图像的像素值存在着明显的分布 模式，即存在着结构冗余。 ( 5 ) 知识冗余有些图像的理解与某些知识有相当大的相关性，这类规 l o 第2 章数字图像压缩综述 律性的结构可由先验知识和背景知识得到，该类冗余称为知识冗余。 ( 6 ) 视觉冗余 事实表明，人类的视觉系统对图像场的敏感性是非均匀 和非线性的。然而，在记录原始的图像数据时，通常假定视觉系统是均匀 和线性的，对视觉敏感和不敏感的部分等同对待，从而产生了比理想编码 ( 即把视觉敏感和不敏感的部分区分开来编码) 更多的数据，这就是视觉冗 余【5 。通过对人类视觉进行大量实验，发现了以下的视觉非均匀特性： a ) 视觉系统对图像的亮度和色彩度的敏感性相差很大，视觉系统对亮 度的敏感度远远高于对色彩度的敏感度。 b ) 随着亮度的增加，视觉系统对量化误差的敏感性降低。这是由于人 眼的辨别能力与物体周围的背景亮度成反比。因此，在高亮度区，灰度值 的量化可以更粗糙一些。 上述各种形式的冗余，是压缩图像数据的出发点，图像编码方法就是 要尽可能的消除这些冗余信息，以降低表示图像所需的数据量。 2 2 数字图像的基本编码方法 图2 - 1 给出了一种多媒体数据依据压缩算法进行分类的方法 5 ”。针对 本论文所设计的实时视频压缩系统，主要用到的编码方法有：帧间预测编 码、小波变换编码、量化编码、游程编码、算术编码，以及在小波域内进 行的零树编码和运动估计补偿f 5 2 彤】。 2 2 1 统计编码( 熵编码) 原始图像经采样量化编码后的数字图像可以看成是定长码编码的图 像( 灰度图像每像素用8b “编码，r g b 图像每像素用2 4b i t 编码1 。定长码 虽然简单，但对平均比特率利用效率不高，造成数据冗余。可变长编码根 据信息概率分布的特点，通过合理的比特数分配使信息的概率与字长相匹 配，以达到减小平均字长的目的。统计编码又称熵编码( e n t r o p yc o d i n g ) ， 是一类建立在图像的统计特征基础之上的无损编码技术，编解码过程中保 持信息的熵值不变。熵编码的基本原理是给出现概率大的符号一个短码， 燕山大学工学硕士学位论文 而给出现概率小的符号一个长码，这样使得最终的平均码长很小。常用的 熵编码方法有霍夫曼( h u f f m a n ) 编码、游程长度编码r l c ( r u n - 1 e n g t h c o d m g ) 和算术编码。 多媒体数据编码算法 小波 图2 - 1 多媒体数据编码分类 f i g 2 - 1s o n i n gf o rm u l t i m e d i ad a t ac o m n g 2 2 1 1 h u f f m a n 编码h u f f m a n 编码是由霍夫曼提出的一种利用信源的 统计特性进行编码的方法，它是不等长最佳编码方法，冗余度最小，平均 码长最接近于信源的熵。虽然它不是等长码，但在接收端可以唯一地解码， 且不造成失真。但h u f f m a n 编码必须知道信源的概率分布，而这很难做到， 通常用对大量数据进行统计后得到的近似分布代替。 2 2 1 2 游程长度编码游程长度编码r l c 在图像编码中的主要方法是 将图像样值相同的连续样本串用一个游程长度( 样本数) 和一个代表值( 样 值) 来描述。例如，要传5 7 个“0 ”，用r l c 编码时改为传输游程编码代 表值“0 ”和游程长度值“5 7 ”，如图2 2 所示。 r l c 编码对于亮度值少，特别是二值图像编码( 如传真) ，效率非常高， 二维压缩比可达1 0 ：1 左右。在实际使用中，为了达到好的压缩效果，r l c 编码通常要和其它编码方法一起使用。但需注意的是，当数据的游程长度 1 2 第2 章数字图像压缩综述 较短时，图像的压缩率将大大下降。而且r l c 对误码敏感性很强，为防 止误码扩散，要采用行、列同步方法将差错控制在一行、一列之内。 ! ! ! ! ! ! ! 竺! 竺! ! ! ! ! 竺! ! ! ! ! 竺! ! ! ! ! ! ! ! ! ! 竺! ! 竺! 竺! ! 竺! 竺! 竺! ! ! 竺竺竺! 竺! ! ! 坐 5 7z e r o s ( c o m p r e s s e d ) 图2 - 2 游程编码示意图 f i g 2 - 2e x a m p l ef o rr u n - l e n g t hc o d i n g 2 2 1 3 算术编码算术编码方法就是将被编码的信息表示成实数轴0 - 1 之间的一个间隔( i n t e r v a l ，也称子区间) 。信息越长，编码表示它的间隔就 越小，表示这一间隔所需的二进制位数就越多。信源中连续的符号根据某 一模式生成概率的大小来减小间隔，可能出现的符号要比不太可能出现的 符号减小范围少，因此，只增加了较小的比特位。在传输任何信息之前信 息的完整范围是0 ，1 ) ，表示0 蔓x 0 ，时间域的窗宽 2 a l a ( v * ) 随着口一起变小，时窗 b h ( i f ，) ，b + h 4 ( y ) 】变窄( 为了方便起 见假定小波母函数的中心e ) = 0 ) ，主频( 中心频率) e 口) 口变高，检 测到的主要是信号的高频成分，由于高频成分在时间域的特点是变换迅 速。因此，为了准确检测到在时域中某点处的高频成分，只能利用该点附 近很小范围内的观测数据，这必然要求在该点的时间窗比较小；反过来， 对于较大的a 0 ，这时，对闻域的窗宽2 1 a l a ( 妒) 随着口一起变大，时窗 b 一吲( y ) ，b + h d ( y ) 】变宽，主频e 口) 口变低，检测到的主要是信号的 低频成分，由于低频成分在时间域的特点是变化缓慢。因此，为了完整 的检测在时域中某点处的低频成分，必须利用该点附近较大范围内的观测 数据，这必然要求在该点的时间窗比较宽，小波变换恰好具备这种自适应 性。这是小波变换作为时频分析方法的独到之处。体现的正是小波变换所 特有的能够实现时间局部化同时频率域局部化的时频局部化能力。这在 信号故障时间或者故障位置的诊断方面都有重要应用。 2 5 燕山大学工学硕士学位论文 由于l f ，( 础) ( f ) 的频窗是【e ) 口一d ) 忙l ，e o ) a + a ) l a | 】，而主 频或中心频率是够) ，口，显然，随着主频变高即参数a 0 的数值变小， 使频窗变宽即2 a o - ) l a j 变大，所以从频率绝对分辨率来说，主频越高则 频率分辨率越低，同时参数的离散化必须满足这样的要求。 3 2 二维小波变换及逆变换 3 2 1 二维小波分析 假设f ( x ，y ) 表示一个二维信号函数，满足f ( x ，y ) l 2 ( r 2 ) 。y ( 五y ) 为 一i 维母小波函数或基本小波，其构造可由一维母小波的张量积形成，即 1 】c ，。( 墨y ) ：三y ! 二皇，y - c )、6 、c r ，口o ( 3 - 7 ) l a l “a 则二维连续小波变换为 啦，6 ，c ) = 吉肜瓴y v 等，等) 姗 ( 3 - 8 ) 令式( 3 8 ) 中的参数a = 口0 - j i b = k l b o a o - s , c = k 2 c o a o - i , a o 、b o 、c o 为常数，岛， k 2 z ，则得到二维离散参数小波变换 d p w s ( j ，岛，砭) = f i r e , y ) e ( a g x 一毛玩，y k 2 c o ) d x d y ( 3 9 ) 将式( 3 9 ) t 9 的空间变量x 与y 离散化，即得离散空间小波变换 d s w ( j ，畸，k 2 ) = “，( ，t 妒( 刮f l _ 畸6 0 ，a g l 2 - k 2 c o ) ，乞z ( 3 1 0 ) 毛 令式( 3 - l o ) b 的常数参数a o = 2 ，= c o = 1 ，即得离散小波变换 d s w ( j ，k l ，七2 ) = 2 7 x s 4 ，之妒( 2 吼一与，2 r ：一屯) ( 3 1 1 ) ，2 如果对应于二维母小波l f ，( 工，y ) 的对偶小波为# ( 工，y ) # 小川= 南痧譬，等) ( 3 1 2 ) 第3 章数字图像处理的小波变换及其算法研究 则信号f ( x ，y ) 的重构公式为 f ( x ，y ) = t g 。k = y 。 ( 3 - 1 3 ) 或 式中 m 棚2 专聘肛咖，y 洋，学咖虎 b h q 寺蜒鳟呐： p 嘲 二维小波变换在尺厦伸缩的同时还司以进行坐标旋转，即尺度凼子矗 可以写成矩阵的形式 a = a r o ( 3 - 1 6 ) 式中 = 黑塞： p 忉 是旋转因子。因此有 嘣w ) = 由_ l ( ( ) ，( 烨) ) = i 1v r o - 1 ( 孚，等) 】 ( 3 _ 1 8 ) ( 4 6 ，c ) - - 去，( 马_ ) ，弦【百1 二，y 口- c ) d x d y ( 3 1 9 ) 。 口州峨口 实际上阡，r ( 爿，b ，c ) 应该是 吼础，6 ，萨翌bs i n 0 竺兰萎c o s 0 b z 。， 一)+ ( y c ) 1 j lj 、 2 7 燕山大学工学硕士学位论文 而且有“极化”性质，司以选择最佳“偏振”方向进行分析。 把具有旋转能力的尺度因子a 记作： 彳：lq q ：i ( 3 - 2 1 ) 再将a ，b ，c 离散化，a = 刎，b = “啊；c = 刎n 2 。式中，4 0 是取定的 非奇异矩阵，z + ；臻，h ：是离散化位移的序号。 这样二维、离散小波变换表示为 啊 蝴。奇妙o 印耐p h 拶r 硝k 州p p 吃地如( 3 2 2 ) 式中 4 = 匮组弘瞄豺 3 2 2 二维图像的多分辨率分析 假设f ( x ，y ) 是r ( 五2 ) - - 维实空间珞2 内的二维函数。把尺度a 按2 的 幂级数( d = 2 j , ，z ) 作函数空间的二剖分。要求剖