（计算机应用技术专业论文）基于三维小波变换的视频图像压缩算法的研究.pdf

西安建筑科技大学硕士学位论文 基于三维小波变换的视频图像压缩算法的研究 专业：计算机应用技术 硕士生：马宣 导师姓名：马海武副教授 摘要 随着现代通信和网络技术的极速发展，视频编码技术越来越显示出其重要性。 视频编码技术在多媒体，高清晰电视( h d t v ) ，可视电话，视频点播( v o d ) ，电 视会议等视频服务中起着至关重要的作用，因而具有广阔的应用前景和巨大的市场 价值。 小波变换在视频图像编码中，是一种非常有效的方法。小波变换同时具有良好 的空间分辨率和频率分辨率的特性，可以更好的捕捉到视频图像的非平稳信息而获 得更高的压缩比，并且它的多分辨率特性更接近h v s ( h u m a nv i s u a ls y s t e m 人类视 觉系统) 的视觉特性。更重要是它能更好地提供可分级编码的能力，有效地防止误 码传输问题，减低复杂度。 本文介绍了一些用三维小波变换进行的视频压缩算法，并提出了一种时域加强 的基于三维小波变换的视频图像序列的编码。同一般的三维小波变换编码相比，该 算法根据人类视系统的特性对视频图像对不同频率的数据进行粗细不同的量化，特 别是以均方误差( m s e ) 为准则的阈值量化方法对时间高频域的量化，解决了当图 像运动变化较大时所产生的大数据量的问题。该算法无运动估计和补偿环节，降低 了算法的复杂度。仿真实验表明该算法的有效性和可行性。 关键词：小波，三维小波变换，视频编码，阈值量化 西安建筑科技大学硕士学位论文 i i i r e s 】艮憾o nc o m 口p r e s s d i g a l g o r i i mf o rv e o c o d d i gb a s e do n3 1 ) - 姗l e t 田r a n s f o r m s p e c i a l t y ：c o m p u t e ra p p l i c a t i o nt e c h n o l o g y n l l l l m e：m ax u a n l n s t r u c t o r ：a s s o e i a t ep r o f m ah a iw u a b s t r a c t a sm o d e mc o m m u n i c a t i o na n dn e t w o r kt e c h n o l o g yd e v e l o p e dr a p i d l y , t h et e c h n i q u e o f v i d e oc o m p r e s s i o nh a ss h o w e dm o r ei m p o r t a n t ，w h i c hp l a y e dan e c e s s a r yr o l ei nv i d e o s e r v i c e ，s u c ha sm u l t i m e d i a , h i g h - d e f i n i t i o nt v ( h d t v ) ，v i d e ot e l e p h o n e ， v i d e o o n - d e m a n d ( v o d ) c o n f e r e n c et va n ds oo n a sar e s u l ti th a sw i d ea p p l i c a t i o n f o r e g r o u n da n dh u g ec o m m e r c i a lv a l u e w a v e l e tt r a n s f o r m a t i o i li sav e r ye f f e c t i v em e t h o di nv i d e oc o d i n g ，w h i c hi s c h a r a c t e r i s t i co fw e l ls p a t i a la n df r e q u e n c ym u l t i r e s o l u t i o n t h i sm e t h o dc a nc a t c h u n b a l a n c e ds t o c h a s t i cs i g n a ls ot h a ti tc a no b t a i nt f i 【g h e rc o m p r e s s i o nr a t i o ，a l s oi t s m u l t i r e s o l u t i o nt r a i ta p p r o a c ht h ev i s i o nf e a t u r eo f h v s ( h u m a n v i s u a ls y s t e m ) w h a t s m o r ei m p o r t a n ti st h a ti th a sc a p a c i t yo fs c a l a b l ev i d e oc o d i n g ，w h i c hc 0 a lp r e v e n tf r o m t h ep r o b l e mo f e r r o rc o d e st r a n s m i s s i o na n dr e d u c ec o m p l i c a t i o n t h i sp a p e rn o to n l yi n t r o d u c e ss o m ev i d e oc o m p r e s s i n ga l g o r i t h mu s i n g3 d w a v e l e t t r a n s f o r m s ，b u ta l s op r e s e n t sa na l g o r i t h mf o rv i d e oc o d i n gb a s e d o n3 d w a v e l e t t r a n s f o r m a t i o n w i 血t e m p o r a l e n h a n c e m e n t c o m p a r e d t on o r m a l3 d ，w a v e l e t t r a n s f o r m a t i o n ，t h ea l g o r i t h mq u a n t i z e dv a r i o u sd a t aa c c o r d i n gt oh u m a nv i s u a ls y s t e m e s p e c i a l l y ，t h eq u a n t i z i n gm e t h o du s i n gm s e ( m e a ns q u a r ee r r o r ) a sc r i t e r i o nt o q u a n t i z et e m p o r a lh i g h - f r e q u e n c y ，s o l v i n gt h em a t t e rt h a tt h el a r g en u m b e ro fd a t ai s c r e a t e dw h e nm o t i o ni sa c u i t y f u r t h e r m o r e t h ea p p r o a c hw i l ln o tb ec o n c e m e dw i t l l m o t i o ne s t i m a t i o na n dm o t i o nc o m p e n s a t i o n t h es i m u l a t i o ne x p e r i m e n ts h o w st h a ti ti s v a l i d i t ya n df e a s i b i l i t y k e yw o r d s ：w a v e l e t3 d w a v e l e tt r a n s f o r m ，v i d e oc o d i n g ，t h r e s h o l dq u a n t i z e r i i 西安建筑科技大学硕士学位论文 英文术语 a c ：a r i t h m e t i cc o d i n g算术编码 c c i t t ：i n t e r n a t i o n a lt e l e g r a p ha n dt e l e p h o n ec o n s u l t a t i v ec o m m i t t e e c i e ：i n t e m a t i o n a lc o m m i t t e eo ni l l u m i n a t i o n c i f ：c o m m o ni n t e r m e d i a t ef o r m a t c o d e c ：c o d e ra n dd e c o d e r c r ： c o m p r e s s i o nr a t i o c 、 丌：c o n t i n u o u sw a v e l e tt r a n s f o r m d c c ：d a t ac o m p r e s s i o nc o n f e r e n c e d c t ：d i s c r e t ec o s i n et r a n s f o r m d v ：d i g i t a lv i d e o d w t ：d i s c r e t ew a v e l e tt r a n s f o r m d p c m ：d i 仃b r e n t i a lp u l s ec o d em o d u l a t i o n e z w ：e m b e d d e dz e r o t r e ew a v e l e t g i f ： g r a p h i ci n t e r c h a n g ef o r m a t h d t v ：h i g h d e f i n i t i o nt e l e v i s i o n h v s ：h u m a nv i s u a ls y s t e m i s o ：i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i t u ：i n t e r n a t i o n a lt c l e c o m m u n i c a t i o nu n i o n i p e g ： j o i n t p h o t o g r a p h i c e x p e r t sg r o u p m p e g ：m o v i n g p i c t u r e s e x p e r t g r o u p m r a ： m u l t i - r e s o l u t i o n a n a l y s i s m s e ： m e a ns q u a r ee r r o r p i c ：p r o g r e s s i v ei m a g ec o m p r e s s i o n p s n r ：p e a ks i g n a lt on o i s er a t i o q c i f ：q u a r t e rc o m m o ni n t e r m e d i a t ef o r m a t q m f ：q u a d r a t u r em i r r o rf i l t e r s p i h t s e tp a r t i t i o n i n gi nh i e r a r c h i c a lt r e e s s v c ： s c a l a b l ev i d e oc o d i n g v o d 二v i d e oo nd e m a n d v q - v e c t o rq u a n t i z a t i o n v 国际电报电话委员会 国际照明委员会 通用中间格式 编解码器 压缩比 连续小波补变换 数据压缩会议 离散余弦变换 数字视频 离散小波变换 差分脉冲编码调制 嵌入式零树小波 图形交互格式 高清数字电视 人类视觉系统 国际标准化组织 国际电信联盟 联合图片专家组 活动图像专家组 多分辨率分析 均方误差 渐进图像压缩 峰值信噪比 1 4 通用中间格式 正交镜像滤波器 等级树集分割 分级视频编码 视频点播 矢量量化 声明 本人郑重声明我所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含本人或其他人在其它单位已申请 学位或为其他用途使用过的成果。与我一同工作的同志对本研究所做的所有贡献 均己在沦文中做了明确的说明并表示了致谢。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者躲乃蛊 隰辱修 关于论文使用授权的说明 本人完全了解西安建筑科技大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 内容和部分内容，可以采用影印、缩印或者其它复制手段保存论文。 ( 保密的论文在论文解密后应遵守此规定) 撇：乃丘彩铡脚 厂 注：请将此页刚在论文首页。 西安建筑科技大学硕士学位论文 1 1 数据压缩简介 第一章绪论 近年来，随着现代通信技术和网络技术的迅猛发展，数据压缩技术的研究越来 越受到人们的重视。特别是图像和语音等多媒体信息的广泛应用，使得当今的时代 成为了信息“爆炸”的时代。由于网络资源和存储媒质的限制，数据压缩技术就成了 必然的解决方法。数据压缩主要由于两个方面【l 】【1 8 1 ：( 1 ) 传输，通过压缩发送端的 原始数据，并在接受端将压缩数据解码恢复，这样可以减少数据传输时间，增加网 络资源的利用率；( 2 ) 存储，在存储数据时，将原始数据进行压缩，而在使用时再 将数据解压，这样可以大大增加存储介质的存储量。 这两个方面主要表现在以下几个应用场合： 1 高清晰度电视( h d t v ) ，在典型的i - i d t v 系统中，画面的格式为7 2 0 x 1 2 8 0 像素，如果每像素用2 4 位真彩色表示，每秒6 0 帧，它具有6 倍于传统电视系统的 空间分辨率和画面动感，这种改进的时一空域分辨率明显改善了观赏者的临场感。 美国联邦通信委员会( f c c ) 规定，为了使用有限的频带带宽，不重新对已有的信 道重新分配。在美国，任何( h d t v ) 系统必须使用目前电视系统所使用的6 m h z 的带宽。在典型的h d t v 中，原始数据速率约为7 2 0 x 1 2 8 0 x 2 4x 6 0 = 1 3 2 7 1 0 4 0 0 0 b i f f s = 1 2 4 g b i t s ，而按照目前的数字传输能力，通过6 m h z 的带宽，只能达到2 0 m b i d s 的传输速率，很显然这需要高效的数据压缩方法。 2 可视电话。这是一种基本的图像通信服务。它不像以往的电话，它能同时提 供同步的图像和声音。这种设各的基本要求是图像、语音信息可以通过普通的电话 信道或基本的数字线路传输。根据公用交换格式c f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 标准，用于低速率传输的数字图像格式为，一帧图像包括2 8 8 线的亮度信号和1 4 4 线的色差信号，每线抽样点是：亮度信号为3 6 0 点，色差为1 8 0 点帧频为3 0 h z ，且每 亮度值或色差都使用8 b i t 表示。那么，c i f 的比特率约为3 7 m b i t s ，而目前的电话信 道的传输速率为5 6k b i t s , 如果试图将这样的彩色信号通过目前的电话信道传输，且 分别将2 8 k b i f f s 的带宽用于图像和声音，很显然，对图像信号来说，需要高达 3 7 x 1 0 2 4 2 8 = 1 3 5 3 倍的压缩。一般的压缩算法很难达到这样高的压缩比，在实际的 可视电话系统通过降低图像分辨率，如采用q c i f ，或降低帧频，如5 1 0 h z 来降低 压缩要求。 西安建筑科技大学硕士学位论文 3 大存储量的应用。随着计算机在科研中的广泛应用，产生了大量的原始数据， 如卡通制作的图像序列、c t 图像序列以及地球资源卫星摄取的科学图像序no 在这 些应用中，迫切需要压缩原始图像。 除了以上三种数据压缩的应用之外，还有许多其他的应用系统，表1 1 给出了几 种典型的数据通信系统的压缩要求【l ”。 以上对图像压缩的必要性作了说明，当然我们注意到，随着光纤网和光盘设备 等宽带信道和大容量存储介质的采用，信道带宽及存储量变得越来越大，但数据量 的增加远远快于带宽和存储量的增长。高效数据压缩仍是不可缺少的。 表1 1 典型数据通信设备的压缩要求 应用带宽 空间分辨率帧率( 帧s )总比特率压缩比标准 1 8 0 x 1 4 4 或 模拟可视电话系统5 6k b i t s5 - 1 01 5 1 2m b i t s5 4 - 4 3 2皿e g4 3 6 0 x 2 8 8 电视会议系统 3 8 4 k b i t s3 6 0 2 8 8 1 5 3 01 8 3 6m b i t s4 8 - 9 6h 2 6 1 交互式多媒体系统 l 一2 m b i t s 3 6 0 x 2 8 81 5 3 01 8 3 6m b i t s9 - 3 6口e g l h d t v2 0 , d 【b i t s 7 2 0 ) ( 1 2 8 06 01 3g b i t s6 5m 口e g2 数据压缩的研究已有几十年的历史i 2 ”，其间，人们提出了各种各样的压缩算法， 有人统计，各种各样的数据压缩方法可达3 0 4 0 种。在分类上，也存在几种不同的方 法，有人按编码失真程度将数据压缩编码分为两种类型：无失真压缩编码和有失真压 缩编码；有人按编码建模的不同将数据压缩分成模型基编码和波形基编码两大类；而 有人又将数据压缩分成第一代压缩编码和第二代压缩编码等等。目前，较为认可的 是第一种分类方法l l ”。 一、无失真压缩。原始数据可由压缩数据完全恢复出来。这种压缩方法的基本 思想是对于小概率的输人符号使用长码字表示，而对于大概率的输人符号采用短码 字表示。常用的无失真压缩技术有：哈夫曼( h u f f m a n ) 玉, 缩，l z 编码和算术编码等。通 常情况下，这类方法的压缩比不高，一般介于1 7 2 1 之间。 二、有失真压缩。其原始数据不能由压缩数据完全恢复出来，恢复数据只是某 种失真度下的近似。这类编码方法在图像通信系统和视频娱乐设备中得到了广泛的 应用。目前大多数压缩方法都属于这一类。一般说来，这种方法可达到2 ：1 1 0 0 0 ：1 的压缩比。 按照这种分类方法，主要的数据压缩方法及其分类如图1 1 所示 西安建筑科技大学硕士学位论文 图1 1 数据压缩方法的分类 1 2 视频压缩编码技术概述 1 2 1 视频压缩编码技术的必要性 n g ) 随着通信技术的不断发展，中国已经成为世界上规模最大的通信大国。固定电 话的普及率为3 2 ，移动电话的普及率为3 9 ，宽带用户的普及率已经达到1 7 。 2 0 世纪9 0 年代以来，多媒体技术，万维网( w w w ) 获得了巨大的发展，高清晰电 视( h d t v ) ，可视电话，视频点播( v o d ) ，电视会议，电子商务，电子游戏等如雨 后春笋。通信业务也已经从电话，传真，电报发展为可视电话，视频点播( v o d ) ， 电视会议等即由音频发展到一视频为主的多媒体通信。而视频信息的信息量同声音 等其他信息相比是非常巨大的，如图1 2 所示。如果不进行压缩将不可能在网络上传 输和存储。 西安建筑科技大学硕士学位论文 c d2 0 0 i u s 图1 2 各种多媒体视频信号的原始码率 1 2 2 视频图像编码的标准化进程 对于d t v 有关图像编码的国际标准化组织有：国际标准化组织i s o 和国际电工委员会 i e c ，其中i s o 和i e c 又成立了i s o i e c 联合技术委员会( j o i n tt e c h n i c a lc o m m i t t e e i ，j t c i ) ，他们制定的视频编码标准主要是m p e g x 系列；国际电信联盟i t u ，主 要是h 系列，他主要针对多媒体通信中的视频编码【1 4 1 。 二十世纪八十年代中期，c c i t t 第1 5 研究组发布了数字基群电视会议编码标准 h 1 2 0 建议。1 9 8 8 年c c i t t 通过了视频图像编码标准h 1 2 1 建议。从此，i t u t 、 i s o 等公布了一系列的视频编码标准，其编码方法都是基于混合编码方法。 活动图像专家组( m p e g ，m o v i n gp i c t u r ee x p e r tg r o u p ) 是由i s o i e c 联合技术 委员会在1 9 8 8 年成立的，并且该组织在1 9 9 1 年公布了m p e g 1 视频编码标准，其码 率为1 5 m b i t s ，主要用于v c d 的压缩，值得一提的是该标准的音频压缩编码取得了 巨大成功，即现在最为流行的m p 3 ；1 9 9 4 年1 1 月，该组织公布了m p e g - 2 ，它主要 应用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视( 玎) t v ) ，码 率从4 m b i t s 、1 5m b i t s 直到1 0 0m b i t s 分别用于不同档次和不同级别的视频压缩中。 1 9 9 5 年i t u t 推出h 2 6 3 标准，用于低于6 4 k b i t s 的低码率视频传输，如p s t n 信道中的视频会议、多媒体通信等。1 9 8 4 年和2 0 0 0 年由分别公布了h 2 6 3 + 、h 2 6 3 + + 等标准。 1 9 9 9 年1 2 月份，联合技术委员会通过了“视频对象的编码标准，_ 一m p e g 一4 ， 它除了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。后来的 西安建筑科技大学硕士学位论文 标准m p e g 一7 定义了声音和视觉的多媒体特征，主要应用于大型的数据库的浏览等 领域。 2 0 0 3 年3 月，i t u - t 和i s o i e c 正式公布了h 2 6 4 视频压缩标准，不仅显著提高 了压缩比，而且具有良好的网络亲和力，加强了对i p 网、移动网的误码和丢包处理。 1 2 3 视频压缩编码技术的基本结构和分类 视频编码系统得基本结构如图1 3 所示 图1 3 视频编码系统得基本结构 视频编码方法与所采用的信源模型有关。视频编码可以分为两大类：基于波形 的编码和基于内容的编码。 若信源模型的参数就是每个像素就是每个像素的亮度和色度的幅度值，对这些 参数进行压缩编码的技术称为基于波形的编码。该编码方法采用把预测编码和变换 编码组合起来的基于块的混合编码方法。自1 9 8 9 年发布的第一个数字编码标准 - h 2 6 1 以来，以后陆续发布的h 系列、m p e g 系列的视频编码标准都采用了基 于块的混合编码方法，都属于基于波形的编码方法。 如果采用一个分量有几个物体构成的信源模型，他的参数是各个物体的形状、 纹理、和运动。对这些参数进行编码的技术称为基于内容的编码。m p e g 一4 中部分编 码页采用了基于内容的编码方法。 1 3 小波变换用于图像压缩 小波变换应用在很多的领域【3 l 】【3 6 】，其最成功的应用之一就是用于图像的压缩。 小波变换具有良好的时一频局部化特性，使变换系数的能量同时在空间上和频率上 集中于少量的变换系数，以达到去除冗余的作用。因此，2 0 0 0 年国际标准化委员会 制定出基于小波变换的j p e g 2 0 0 0 静止图像压缩标准，以及m p e g 4 中的静止图像 的国际标准，以及美国f b i 所存储的大量的指纹图像，也是用小波变换压缩的，即 w s q 压缩方法。 西安建筑科技大学硕士学位论文 传统的视频图像压缩方法是离散余弦变换d c t ，它同小波变换在变换域的能量 集中和去相关性上都具有优良的特性，但是对这些优良性的获取，在不同的环境中 是大不一样的。d c t 仅对相关性较强的平稳信号才特别有效，而应用小波变换的限 制条件就相对弱一些。在分块编码中，小波压缩克服了d c t 压缩固有的块效应和蚊 式( m o s q u i t o ) 噪声，并且小波图像压缩的重构质量也明显好于d c t 彼变换方法。 学者d e v o t e 、j a w e r t h 和l u c i e r 证明在所有可能的基函数中小波基是最佳基函数。 1 4 本文的主要内容 本文概括性地总结了传统的变换编码技术，以及如今比较流行的压缩方法，并 对它们进行了分析、比较和研究。根据这些方法中的不足，本文结合人类的视觉特 性对这些方法进行了深入的研究，并提出了一种压缩效果更为有效的编码方法。 第一章大概地介绍了数据压缩的概念、方法和意义；以及视频图像压缩编码技 术的发展、分类和国际标准化的进程；还有小波变换方法用于图像压缩的优势和意义。 第二章首先，介绍人类视觉特性，以及视觉对失真的感知特性。接着阐述 了小波变换的理论基础，以及小波变换的频带特性，以及离散小波变换所表现的 时一频域局部化分析方法；小波变换的多分辨率分析特性，使得小波变换编码易 于予带编码。 第三章简要的介绍了几种视频图像的压缩方法；以及小波变换应用于图像压 缩编码的一般步骤和基本的压缩原理，并论述了小波压缩算法相对于其他编码方法 的优越性。 第四章论述了三维小波变换编码用于视频图像压缩的基本原理和算法。并且详 细地讨论了两种目前比较行之有效的三维小波压缩算法，并对它们进行了比较，指 出了这两种算法的优点和不足。 第五章提出了一种新的基于三维小波变换的视频压缩算法。用m a n a b 仿真试 验得出试验结果，并同另外的压缩算法进行比较，证实其有效性和可行性。 第六章为结束语。总述了全文的研究成果，提出了三维小波压缩方法的前景。 并提出了进一步的研究方向。 西安建筑科技大学硕士学位论文 第二章人类视觉特性和小波理论 2 1 人的视觉感知特性 视觉是主观对客观的反应，是人类获取外界信息的主要方式。在图像通信中， 我们所传输的视频图像最终还是要供人们去看得。人们利用眼睛来对外界事物的图 像进行观察和理解获取其中的信息。因此，研究人眼的视觉特性对视频图像的压缩 是非常有必要的【1 2 1 【1 4 1 ，通过了解视觉对图像失真的感知特性可以使我们找到更为 有效的视频图像压缩方案。 从视觉生理学( p s y c h o p h y s i c s ) 的角度，人的视觉系统可以看成一个输入和输 出的系统，输入是事物的图像对人眼的视刺激( v i s u a ls t i m u l i ) ，输出是人们对事物 的感觉，而视觉系统完全可以用一个传递函数来表示。 2 1 1 亮度的感知特性 在研究图像压缩技术的时候，人们首先要考虑的是人眼是否能够觉察到图像经 过压缩而引入了图像的失真。当这种失真很小时，人眼是不会觉察到的，像模拟视 频( 如广播电视) 这样高质量的压缩图像更是如此。因而，对视觉阈( v i s i b i l i t y t h r e s h o l d ) 的研究是非常有必要的。 视觉阈是指在给定的亮度条件下，人眼刚好能够区分的两个相邻区域的亮度差 别的最小值。视觉阈的大小和观察条件( 如周围环境的亮度、邻近区域的亮度变化 图2 1 视觉阈的测量 等) 有关。实验表明，视觉阈主要取决于背景亮度。设环境亮度即背景亮度为岛， 西安建筑科技大学硕士学位论文 邻域亮度为厶，当k = z s 时，视觉阈a l 几乎随k 线性增长，即址k 为一个常数， 这就是著名的韦伯定理( w e b e r sl a w ) 如图2 1 所示。韦伯定理说明人眼区分图像 亮度差别的能力与它邻近区域的背景亮度有关，背景亮度越高，人眼对于亮度的辨 别能力越弱。根据韦伯定理，上为亮度 竽：常数( 2 1 ) 三 、。 我们可以知道人眼对光的主观视觉增量与客观亮度的对数增长成线性关系，即 图2 1 中的直线部分。 5 0 0 5 0 0 慧瑚 糕 镱1 0 0 岛 簇z o o 1 0 0 亮度的对数 图2 2 眼睛的亮度感觉曲线 由于人眼的特殊构造，当背景亮度高时视网膜的锥状细胞起作用，当亮度低时 杆状细胞起作用，而在某些亮度时两者同时起作用。图2 2 是由实验得到的人眼对 不同亮度的主观亮度感觉级数曲线。式( 2 2 ) 定义了眼睛所能感觉到的亮度级差为 对比度阈，常称为韦伯比( w e b e r s r a t i o ) 。 占= 了a l ( 2 2 ) 韦伯比表示相对某个亮度感觉差别所必需的最小相对亮度变化。在图2 2 中韦伯 比大致是个定值，约为o 0 2 。当亮度很大或者很小时，万值很快的变大，这表示力 度的分辨能力变弱；当比较的图像画面不均匀，亮度差别大时，艿值也会变大。因 而，在对视频信号的亮度分量进行a d 转换时，通常是根据视觉阈的效应来选择合 适的量化级数。 人眼对亮度是有一定的适应性的。图2 2 中可以看出人眼的视觉范围是很宽的， 可以观察到亮度范围在l o 。一1 0 7 c d m 2 的光，其亮度差别有1 0 ”。因而，人眼为适应 西安建筑科技大学硕士学位论文 这么大范围的光，需要时间来自我调节和适应。另外，当人眼适应某一个景象时， 它的视觉范围很变小。由于人眼的这种适应性，使得人对明暗的感觉是相对的。同 一亮度在某种平均亮度下给人以白的感觉，而在更高的平均亮度下却给人以暗的感 觉，电视就是利用了这个原理。 2 1 2 空问频率的感知特性 空间频率是指单位视角内所含黑和白的条纹数。若人眼的视觉系统是一个线性 系统，已知该系统的冲击相应，则可以计算出给定亮度下的视觉阈值。根据视觉阈 值和空间频率的关系可得到对比灵敏度函数( c o n t r a s ts e n s i t i v i t y f u n c t i o n ) ， u x ，y ) = l o - t - 七c o s ( 2 丌五( x c o s p y c o s p ) ) c o s 2 z 再f( 2 3 ) 其中k 是背景亮度，矗使空间频率，口是空间频率偏离纵轴的角度，矗是时间 频率，k 是调制电平。对比灵敏度是指在平均背景亮度厶与测试信号达到视觉阈时， 与调制电平的比值，即厶女。图2 3 是人们的各种实验得出的对比灵敏度函数曲线， 并得出了一些重要的结论。由图2 3 可以看出在空间频率方向上，人眼对亮度的变化 作用相当于个带通或低通滤波器。 3 0 0 1 0 0 鏊3 0 麒 丑1 0 靛 空间频率 图23 对比灵敏度函数 通过研究空间【频率和对比灵敏度函数之间的关系，人们通过实验得到了视觉对 彩色信号变化的频率响应，如图2 4 所示，彩色信号用y c r c b 三色表示。由图2 4 可见，人眼对亮度空间分辨率明显高于对比色度的分辨率。因而，在视频图像压缩 时，可以用较少的数据流来表示色度信号。此外，人眼很容易辨认红色色差c r 信号， 西安建筑科技大学硕士学位论文 对于大面积的事物，正常的视觉是三色觉的；当过渡到较小细节时，就变成了二色 觉的；当细节更小的时候，则完全成为了黑白的。 赵 婚 麒1 0 0 羞 莨 空间频率 图2 4 彩色视觉的对比灵敏度 视觉的掩蔽效应( s p a t i a lm a s k i n g ) 是指当背景亮度变得不均匀时，视觉的对比 灵敏度会变低，视觉闽会变高。视觉的空间掩蔽效应是一种局域化的效应。现代视 频压缩编码技术中都运用了这种效应，如d p c m 的不均匀量化步长；图像噪声在亮 度变化剧烈处，不易被察觉，而在亮度变化平坦的地方噪声明显。 马赫效应( m a c he f f e c t ) 是指在边界感知到的亮度变化，当亮度变大时，视觉 上会感到边缘的较亮侧更亮一些，而较暗一侧更暗一些，这意味着一种微分运算， 起着边缘增强的作用。通过马赫效应可以用来估计视觉系统的冲击响应。 图25 马赫效应 西安建筑科技大学硕士学位论文 2 1 3 视觉的视域特性 人类在时间上的感知特性对于视频图像的压缩具有非常重要的意义。人眼的时 间响应系统类似于一个带通滤波器，当中间频率点到达一定的频率后，会迅速的下 降。若让观察者按时间上重复的亮度脉冲，当频率不够高时，人会有一闪一闪地感 觉，这称为闪烁( f l i c k e r ) 。当重复的频率足够高时，闪烁感刚好消失时的频率称为 临界闪烁频率( c r i t i c a lf l i c k e rf u s i o nf r e q u e n c y ) 。人们将临界闪烁频率广泛地应用 于图像和视频处理中，视频采集和输出设备的频率都必须大于临界闪烁频率。 2 1 4 视觉对失真的感知特性 根据人眼的视觉感知特性1 5 j ，本文总结出了一些视觉对失真的感知特性的结论： ( 1 ) 失真知觉的特性：不易觉察随时间变化快速的失真和空间上高频率失真。 ( 2 ) 与画面图案的关系：在静止图像的情况下，易于发觉图像平坦部分的失真， 而不易发觉轮廓部分的失真；而在视频图像的情况下，正好相反。 ( 3 ) 与图像动作的关系：当图像动作达到一定的速度视线跟不上运动时，视觉 对失真的敏感度变低。 ( 4 ) 与场景切换的关系：在画面切换变化很快时，即使分辨率下降较大，也不 会感到有明显的失真。 ( 5 ) 与画面亮度变化的关系：同等级别的图像失真，画面越暗，失真感就越明 显。 ( 6 ) 色度信号与亮度信号：与亮度信号相比，色度信号的失真更不易被发觉。 因而，间隔地抽掉一些色度信号样本点，并不会影响重构图像的彩色质量。 2 2 小波理论基础 小波变换【l5 j 最早是由法国的地球物理学家m o r l e t 在2 0 世纪8 0 年代初在分析地 球物理信号时，作为一种信号分析的数学工具而提出来的，到了8 0 年代中期有了快 速的发展，已经成为了一个数学上的分支。如今，小波分析已经广泛应用于信号处 理、图像压缩、模式识别、语音识别、c t 成像、计算机视觉、航空航天技术、故障 监视和诊断、通信和电子系统等各个学科和领域。 小波分析是在f o u r i e r 变换的基础上发展起来的，但它比f o u r i e r 变换在时一频 分析方面有着本质性的进步。小波方法提供了一种自适应的时域和频域同时局部化 的方法，无论是高频还是低频信号，它都能自动地调节时一频窗。小波分析在时域 西安建筑科技大学硕士学位论文 和频域的这种特性，使得它能够聚焦到信号的时域和频域上的任何细节，因而小波 分析被喻为数学显微镜。小波分析具有完善的理论体系，它是众多学科知识完美结 合的结晶。因而，有必要对小波理论作一个大概的介绍。 2 2 1 小波的定义 令r ( r ) 表示在实轴上定义的，所有可测的，且具有有限能量的函数的集合，这 类函数表示为s ( x ) r ( 且) 。这些函数满足式( 2 4 ) ，我们把集合r ( r ) 常称为 e i 厂( 刮2 d x 0 是尺度因子，b 是平移 因子，且6 r ：1 口是归一化因子，保证y ( f ) 的能量与d 和6 无关。尺度因子口的 作用是对基本的小波进行伸缩，口越大，矿( 丢 越宽，a 越小，( 考 越窄。1 n 与 角频率等价。改变a 的值就是改变小波变换的时间分辨率。平移因子b 的作用是让小 波变换抽取x ( f ) 在f = b 附近的某一频率成分；因而，小波变换是一个时频联合分析 工具。 小波变换作为一种积分变换，只有当它能够作逆变换时才有意义。因而，并不 是所有的函数都可以作为小波函数。要成为小波函数必须满足容许性条件 ( a d m i s s i b l ec o n d i t i o n ) ，即当一个函数】| f ，( f ) ，若它的频谱痧( m ) 满足式( 2 7 ) 时， 函数y ( f ) 被称为容许小波函数。驴。( ) 是函数妒( f ) 的傅立叶变换。 西安建筑科技大学硕士学位论文 q = 亡咩舨。 亿， 由式( 2 7 ) 可知，巴应是有限的正数。要使式( 2 5 ) 的积分变换有意义，- ；8 面i 容许小波函数必须满足式( 2 4 ) ，这就要求妒( f ) 具有快速的衰减特性；另一方面， 由矿( ) 的连续性和式( 2 7 ) 可推知矿( o ) = 0 ，( 如矿( o ) o 则妒( 国) 1 2 在珊= o 处 会等于+ 0 0 ) 再由傅立叶变换公式可得 p ( f ) 西= 0 ( 2 8 ) r 这表明 f ，( f ) 具有波动性。因而妒( f ) 可以描述为像波一样衰减的函数。 2 2 2 小波变换的时频域分析 在小波变换中，小波函数虬。( f ) 是窗函数，它的时一频窗表现了小波变换的 时一频局部化的能力。记f 为时窗中心，a ，为时窗的半径，为频窗中心，a 。为频 窗半径；当用小波函数作为窗函数时，小波变换能在时一频局部范围内分析信号， 此时： 时一频窗中心为 频窗的宽度为 a = 2 a = 1 2 + a ) ，n 西 时窗的宽度为 2 a ，= 2 a 。a 2 a 。= 2 a a p ；时一频窗面积为 2 a l 2 a 。= 4 a y a p 图2 6 小波变换式一频窗示意图 图2 6 所示为小波时一频窗，当小波的时域被拉宽时，它的频窗宽度被压窄，频窗 中心也变小；对同一个时窗中心而言，随着频窗中心的上移，小波函数的频窗宽度 被拉宽，同时时窗宽度被压窄。 西安建筑科技大学硕士学位论文 由以上讨论可以归结小波变换的时一频局部化机理【1 5 】如下： 对于参数口固定、参数6 变化的情形，小波变换阡卫( n ，b ) 是关于变量6 的时域函 数；由于护。( ) 是窗函数的缘故，小波变换实际上是被限制在 频窗2 口砖一口，口西+ 口p ( 2 9 ) 这个子频带范围内的时域函数。 对于参数和参数都固定的情形，由于丸( 缈) 是窗函数和虬。( f ) 是时窗函数的缘故， 小波变换的时域和频域表现实际上被限制在的范围内。 时一频窗= 日西铂西埘，叱( 和) 一a ，丢( 柚) 十爿( 2 1 0 ) 根据小波变换的时一频局部化机理，我们来观察小波变换在信号处理上特性。 如图2 6 所示，当a 比较大时，频窗中心自动地向高调整，此时的时一频窗形状自动 地变为“瘦窄”状，而高频信号正是在频域内变化大，时域的范围很小。因而该时一 频窗的局部化特性适合于高频信号：当a 很小时，频窗中心下移，时一频窗形状自动 地变为“扁平”状，而低频信号的特点正是在很宽的时域范围内有很低的频率含量。 因而，小波变换的时一频窗非常灵活。 h e i s e n b e r g 测不准定理 对于小波变换根据它在时域和频域上的局部化特点，我们是否可以达到任意的 分辨率呢? h e i s e n b e r g 测不准定理告诉了我们答案。设窗函数( ，) 和它的傅立叶变 换丸( 0 9 ) 的宽度分别为，和，且它们的时域和频率域的中心都在原点，则存在 不等式 1 p i 三 ( 2 1 1 ) 已经证明，只有当窗函数。( f ) 为高斯窗时等号才成立，即 y ( f ) ：下1 e 一 、，石 ( 2 1 2 ) 测不准定理告诉我们，不可能在时域或者频率域上都获得任意精度的分辨率。 要想得到高的时间分辨率就必须以牺牲频率分辨率为代价。在小波变换中，低频区 包含了更多的频率细节，在高频区有更多的时间细节。 4 西安建筑科技大学硕士学位论文 2 2 3 离散小波变换及其频带特性 连续小波变换存在信息冗余，而且为便于在计算机中实现，就必须将其离散化。 离散小波是将尺度因子口和位移因子6 离散化。即将缈。( f ) 表示为 。 吩，。( t ) = 2 j n 妒( 2 f 一) ( 2 1 3 ) 相应的离散小波变换为 d 嘎( ，) 2 肌) 矿撕p2 ( x ( f ) ，( r ) ) f 2 1 4 、 离散小波，；( t ) 是由小波函数经2 。整数倍放、缩放和经整数t 平移所生成的函数族 y 肚( f ) ，z 。离散小波变换实际上把信号x ( r ) 的频率范围限制在 l f - o + 一。，f - t ) + + 。i 子频带内，小波变换结果是这个频带内的时域分量，小波”，。( f ) 是 一个带通函数，小波变换在频域方面的局部化作用由j 调节，在时域方面的局部化作 用由k 调节。 2 2 4 多分辨率逼近和正交小波基 小波变换提供了一种自适应的时一频局部化分析方法，其中最为重要的两点是： 第一，如何将时域信号分解为代表子频段特点的时域分量之和；第二，是如何确定 构造小波函数的统一方法j 小波变换的框架理论解决了这些问题。 1 框架理论 由一个函数系 办( f ) ) ，定义一个线性变换【a 】，= ( x ( f ) ，办( f ) ) ，使其满足 ( 1 ) 唯一性 如果五= x 2 ，则t x l = t x 2 。 ( 2 ) 正变换连续性 如果 与恐很接近，则碣与啦也很接近，这要求： 陆硝墨喇1 2 o b m ( 2 1 5 ) ( 3 ) 反变换的连续性 当【强】，= ( x 。，办) 和【a ：】，= ( x ：，办) 充分接近时，x 1 与x