（应用数学专业论文）图象质量评价方法的研究与实现.pdf

浙江大学硕士学位沦文 摘要 对酬象质量评价的研究已成为图象信息t 程i t 重要的基础研究课题之一。它不仪有 重要的理论价值，而且有广泛的麻川背景，使其得到越来越多的关注。特别是幽象h 缩 技术的迅速发展大大促进了对图象质量评价方法的研究。 文章介绍了“图像质量”的概念，并以人眼的视觉特性为出发点，基于小波理论提 出了新的图象质量评价方法，并证明了该方法的有效性。 首先，文章明确了“图像质量”的概念，指出了“图像质量评价”的重要意义，并 给出了图像质量评价方法发展的历史和分类。作者还通过分析多种有代表性的图像评价 方法，对现有方法的特点和优劣进行了总结和比较。 文章的主体给出了一种新的基于小波变换的图象质量评价方法。在第三章首先从低 级的视觉感觉和高级的视觉- 1 5 理角度，深入地描述了人眼的视觉特性。并在第四章介绍 了本文提出方法所基于的理论基础一一小波变换，对其概念以及相关性质进行了阐述。 第五章详细论述了基于小波变换的图象质量评价方法。该方法通过提取图象的亮度，清 晰度，相似度，尺度失真度等多剩一指标来综合评价图象质量。与传统的质量评价标准相 比，该方法对图象质量的评价更全面、更符合人眼的视觉感受。最后，通过实验证明了该 方法的有效性。 关键词：图象质量评价方法小波变换，亮度，清晰度，相似度，多尺度 浙江大学颤。i 岸位论文 a b s t r a c t r e s e a r c h e so ne v a i u a t i o no fd i g i r a ii m a g eq u a ii t ya r ei n e a n i n g f u ia n db a s i c f o r t h ei m a g e p r o c e s s i n ge n g i n e e r i n g i tn o to n l y i se s s e n t i a io n t h e o r y i m p o r t a n c e ，b u ta i s oh a st a k e na ne x t e n s i v ea p p ii c a t i o nb a c k g r o u n d ，w h i c hm a k e s t h ee v a i u a t i o nb ep a i dm u c ha t t e n t i o nt o e s p e c i a il y ，t h er a p i dd e v e i o p m e n to f i m a g ec o m p r e s s i n gt e h n o l o g ya c r e i e r a t e sr e s e a r c h e s0 nq u a ii t ye v a i u a t i o no f d i g i t a ii m a g e s t h ed i s s e r t a t i o ni n t r o d u c e st h ec o n c e p to f “i m a g eq u a ii t y ”f r o mt h ep o i n t o fv i e wo fp e o p i ee y e s v i s u a ic h a r a c t e r i s t i c s an e wm e t h o dt oe v a i u a t ei m a g e q u a ii t yb a s e do nt h ew a v e l e tt h e o r yi sp u t sf o r w a r da n dt h e ni t se f f i c i e n c yi s p r o v e n a tf i r s tt h ea u t h o rd e s c r i b e st h ec o n c e p to f “i m a g eq u a ii t y ”d e t a il e d l y p o i n t so u t t h eg r e a ts e n s eo f “i m a g eq u a ii t ye v a i u a t i o n ”a f t e rt h ed e s c r i p t i o n o ft h ed e v e i o p m e n th i s t o r ya n dc l a s s i f i c a t i o no ft h em e t h o d so fi m a g eq u a ii t y e v a i u a t i o ns o l n e t y p i c a l m e t h o d si s a n a i y z e d ，t h e irc h a r a c t e r i s t i c s ，g o o d q u a ii t i e sa n ds h o r t c o m i n g sa r ec o m p a r e da n ds u g a r i z e d t h em a i ng o a io f t h i sd i s s e r t a t i o nst op r e s e n tan e wm e t h o do fi m a g eq u a ii t y e v a i u a t i o nb a s e do nw a v e l e tt r a n s f o r m i nc h a p3p e e p i ee y e s v i s u a c h a r a c t e r i s t i c sa r ed e s c r i b e da c c u r a t e l ya n dd e e p i y f r o mi o w c l a s s v i s u a if e e ii n g t oh i g h - c l a s sv i s u a l p s y c h o i o g y 1 a v e i e tt r a n s f o r m t h et h e o r e t i cb a s eo ft h e n e w m e t h o di si n t r o d u c e c li nc h a p4w i t hi t sc o n c e p ta n ds e i n ep r o p e r t i e se x p l a i n e d nc h a p5t h ed i s s e r t a t i o nd i s c u s s e st h en e wm e t h o do fi m a g eq u a li t ye v a i u a t i o n b a s e do nw a v eie tt r a n s f o r m t h em e t h o dd e s c rb e sa n de v au a t e st h eq u ait yo f i m a g et h r o u g hw a v e i e tt r a n s f o r me x t r a c t i n gi u m i n a n c e ，d e f i n i t i o na n dc o r e i a t i o n c o m p a r e dw i t ht h et r a d i t i o n a im e t h o di t se v a i u a t i o ne f f e c tw i b em o r e c o m p r e h e n s i v ea n dc o n s i s t e n tw i t hh u m a np e r c e p t i o n i nt h ee n d ，t h ee x p e r i m e n t a i r e s u i t sp r o v et h a tt h em e t h o d sa c c u r a t ea n de f f i c i e n t k e yw o r d s ：t h em e t h o dt oe v a i u a t ei m a g eq u a ii t y ，w a v e i e tt r a n s f o r m i u m i n a n c e ，d e f i n i t i o n ，c o r r e i a t i o n ，m u i t i s c a ii n g i i i 浙江大学硕1 7 学位沦文 第一章绪论 1 1 应用背景 前，以计算机技术为旗础的信息化浪潮席卷全球。多媒体技术以其更人性 化、更友好和巨大的信息含量得到人们的肯昧。而计算能力的不断提高，也为多 媒体技术提供了可行的硬件摹础。于是，作为多媒体核心技术的图象以及视频的 处理技术迅速发展起来。 在幽象信息技术应用的诸多场合，需要进行图象质量的评估t 作。图象压缩 技术因为可以大大减少图象对存储空问和传输带宽要求，被迅速发展并广泛应 用。但是，评价算法的优劣以及算法的选取，需要在压缩率、幽象质量损失、执 行效率等多种性能指标问选取。同样，幽象自动采集仪器也需要要通过图象质量 的判定来调整参数，以取得最优的采集效果。 在图象信息技术被广泛应j t 的情况下，对巨i 象质量的评估变成一+ 个广泛而綦 本的问题。图象质量是指人们对图象视觉感受的评价。由于幽象处理和信息技术 的迅速发展，人们希望能够用客观的，可定量分析的数学模型表达出人对图象的 这种主观感受，因此，图象质量评价的研究成为幽象信息工程一i i 重要的基础研究 课题之一。 1 2 图象质量的定义 幽象质量最基本的含义是指人们对一幅图象视觉感受的主观评价。由于，对 幽象质量的评价是一种主观评价，当然以人自身对图象评价为最准确的。例如： 主观质量评分法( m o s ) 就是通过对观察者的评分归一化来判断图象质量。主观 评价方法是最准确的表示人们视觉感受的方法。但是，主观评价方法无法应刖数 学模型进行描述，在工程应f f 不但费时费力，而且很多情 毵下根本无法采j h 。 由于图象信息技术的迅速发展，人们希望能够用客观的，可定量分析的数学模型 表达出人对图象的这种主观感受。因此，在本文r rr 以讨论客观评价方法为主， 主观评价方法会做简单介绍。 浙江大学颂：卜学位论文 1 3 图象质量评价方法的分类 幽象质量的评价可以分为柑对质量评价和绝对质量评价。对图象进行相对幽 象质量评价是指在有标准图象的情7 兄下，川被测幽象与其比较以判断其质量。而 绝对幽象质量评价是指在无标准的参考i 箜象情7 兑下，米削断被测l 型象的质量。如 果，把幽象作为信息载体，而对质量评价就是对其表现的信息的保有程度，那么 相对幽象质量为： q m p = i i f o 。，i 咖啦， u 1 1 其hq 为千i j 对i 到象质量， 坳嘛为被测图象1 ”所绒信息，见向咖为标准 幽象中所绒信息。 绝对图蒙质量为： q a b s = i n f o 。i n f o 。“ ( 1 2 ) 其，p ：q 。为绝对幽象质量，l n f o 。为被测图象巾所绒信息，i n f o , 。为观察者 所希望得到的信息。 从上述公式可知； 。 1 、图象质量与图象所承载有效信息成正比而并非是图象本身的存储容量， 这是图象压缩的理论基础：即刚尽量少的存储容量表现更多的有效信息。 2 、图象所承载的信息是一个完全主观的概念。对于不同的人对同一幅图象 希望得到的信息不尽相同。作为客观的图象质量评价方法将着重于评价 人们对图象信息获取其的共性。由于对图象的信息获取完全依赖于人的 视觉所以在本文t 川哿对人的视觉特性专门加以分析介绍。 3 、绝对酗象质量含有更多的丰观成分，由于并无参照图象，观察者所希望 得到的信息是一个更加主观，而不易评估的因素。 冈此，客观幽象质量评价方法可以分为绝对质量评价和相对质量评价两大部 分。由于，绝对图象质量难度较大，发展也很慢，传统的绝对质量评价方法通常 为以下形式 4 】： o f ( i ，_ ，) ) 其t 1 1 f ( i ，j ) 代袁在坐标( i ，j ) 处的灰度值。o 为某种操作a ( 1 3 ) 浙江大学硕 ：学位论艾 ：_ 前流行的幽象质量评价方法通常都是指相对质量评价。相对质量评价大致 可分为传统质量评价乃。法，皋于视觉感受模型的评价力法以及挞于感兴趣区域的 评价方法。 传统质量评价方法以m s e ( 均方误差) 、p s n r ( 峰值信噪比) 为代袋。由十它 们计算方便、方法直观，至今仍被广泛采川。由于其在某些情7 兄下q 视觉感受并 不致，于是不少改进方法被柏继提出。这些方法可以分为两大类：基于视觉感 受模型的评价方法和举于感兴趣区域的评价力法。在第二章f f 将会详细介绍这些 方法。 1 4 本文的结构与组织 本文共分为六章： 笕章即本章，介绍图象质量评价方法的廊川背景以及幽象质量的概念以及 方法分类等等； 第二章r 1 介绍图象质量评价的发展历史以及有代表性的评价方法； 第三章为介绍人眼的视觉特性，这是图象质量评价的重要基础： 第四章1 1 1 ，对小波变换进行简要介绍，这是本文所提出质量评价方法的理论 糍础； 第五章提出了基于小波变换的图象质量评价方法，并通过实验对其测试表明 其在各方面优于或者相当传统的图象质量评价方法。 第六章，对图象质量评价工作进行总结和展望。 另外，在本文讨论的图象质量评估是以数字化形式存在的幽象，以2 5 6 级的 灰度图象为标准。虽然平时应用的更多是彩色图象，但是，篓白图象可以简化处 理条件容易构造柑应数学模型，同时也易于推广到彩色图象的评价方法中去，所 以在本文一”只考虑黑白图象。一幅黑包幽象是川二维离散函数f 所代表，其一 f ( i ，j ) 代表在牮标( ij ) 处的灰度值。 浙江大学钡l 学位沦义 第二章图象质量评价方法概述 村幽象进行质量评价是幽象处理的个基本阐题。它不仪有其理论意义，更 重要在于实际廊川- lr 也有广泛的需求。尤其是随着幽象胜缩算法的迅速发展，其 i i t 对胝缩的效果进行评价的个重要指标就是在有损胝缩造成图象质量退化的 程度。冈瓶大大促进了蚓象质量评价研究t 作的发展。 最初，人们川传统的质量评价方法如u s e ( 均方误差) 、p s n r ( 峰值信噪比) 等方法通过与标准图象比较来象素的灰度差异米评价图象质量的退化程度。后 来。发现这矛l 评价方法与主观感受并不是。一致的。冈为，在幽象质量退化过程i h 图象的不同区域所其作用并不相同。这样，人们开始寻找哪些区域对质量影响的 程度大，而哪些小一些，并基于这种思想提出不同的判别方法。 这些方法通常可以分为两类：一类是基于视觉感受模型( h v s ) 的一4 些特性， 比如研究表明视觉对边缘失真很敏感。另一类基于感兴趣区域的一些特性比如 它提出人眼更倾向于关注对比度高的区域。这两类方法都使图象质量评价的准确 度和与主观的致性得到提高，使质量评价方法进一步得到发展。 在本章 - i ，将介绍质量评价发展过程中有代表性的一些方法，以回顾剀象质 量评价的发展过程。 2 1 主观图象质量评价方法 由于对图象质量评价最终取决于观察者的感觉，因此最可靠的评判就米源 于人的评价。对图象质量进行评价最直接也最自然的觯决方法就是利 1 人们自身 的判断。于是，一些主观评价方法应运而生。 主观质量评分法( 帅s ) 就是具有代表性的主观评价力+ 法。它是通过对观察 者的评分归化来判断幽象质量。它有两类度量尺度，即绝对性尺度和比较性尺 度。打分的一般步骤是先用某些原始标准幽象建立起质量等级标准，然后由观察 者观看被评价的图象，并与标准图象质量等级作比较，得出被评价图象的等级。 最后对试验者的打分进行规一化平均，绝对尺度是将图象直接按照视觉感受分级 评分，表2 1 显示了一利t 分级方法以及两利评分方法。 浙江大学母! i ：学位沦义 优良1 1 1差劣 4321o 21o一12 表2 1 主观捧价方让的绝砧k 地 相对尺度是在一盔【图象1 1 一按该组幽象的相对优劣进行分级，如农2 2 所示 l “组- i - 最好的该组i i t 偏好的该组i l i 等水平偏差该组，l i 最差的 i 54321 表2 2 土观p f 价方法的比较性尺度 有的丰观评价方法在进行比较性评价时采取冒泡排序将需评价的一组图片 按质量感觉好坏排序为一个线性表，然后进行相应评分。有的方法为了消除被观 察者的主观差异，将观察者分为两类：类为普通观察者，只是刚普通人视觉感 受米评分；另一类为专家观察者，这些人通常有图象处理、质量评估、图象压缩 方面的知识和t 作经历，能够以更深入的压缩算法的角度来评价图象质量的优 劣。这样有助于消除对观察者知识背景不同而造成的评价差异。 主观评价方法是最准确的表示人们视觉感受的方法，但是，丰观评价方法 缺乏稳定性，并且不能保证评价的可重复性，这是由于： 1 、实验条件( 如：光线条件、显示设备) 不同，可能造成不同的评价结果； 2 、由于观察者的条件( 知识背景，观察动机) 不同的影响； 3 、观察者自身的不稳定性( 如情绪变化) 另外，主观评价方法在工程应，i j 叫一费时、费力，而且有些情况下根本无法 采川。由于图象信息技术的迅速发展，人们希望能够刑客观的，稳定的数学模型 来表达幽象质量。由于主观评价方法在表达人们视觉感受r ”的权威作：j ，它经常 作为。些客观评价方法的参照和效果评价标准。 2 2 传统图象质量评价方法 由于主观评价方法的上述不便，人们期望川客观的方法米表示视觉对图象的 主观感受，显然利j 1 j 数学模型来描述主观感受有很多优点： 浙江大学颐士学位论文 1 、快速，利川计算机快速的计算能力可以迅速得到幽象质量指标； 2 、稳定，不会有因人而异，冈时而界的情况发牛： 3 、易于被量化，并容易j i j 于各利- 评价比较以及各种研究。 传统的质量评价通常龋于与标准图象的灰皮差异越大质量退化越严重的思 想。具有代表性的方法有m s e ( 均方误差) 、p s n r ( 峰值信噪比) 等。 传统质量评价方法通常有以下特点： 1 、基于空域的方法： 2 、利肌弓标准图象的灰度差异大小进行度量： 3 、采川二范数测度进行失真度量，质量指标通常为一个数值表示和标准幽 象在质量空问的距离； 4 、计算简单、运算速度迅速。 均方误差法k l s e 的表达式如下 ( 石一石) 2 m s e = ! ! 坚! ! ! ! 坚 m x n ( 2 1 ) 峰值信噪比p s n r 的表达式如下： p s n r ：i 0 1 9 l x l( 2 2 ) m s e 。 注：l 代表图象灰度范围值，在这坐l 为2 5 6 上述方法虽然看起来简单直观，数学表达严格：但是其表示往往和人们的主 观感受效果不一致，如图2 1 中的三幅图象： 浙江大学颐 ? 学位论文 c 璺| z 1p s 帆幽象质景评价 a 幽作为标准图象，b 图只是在亮度上做轻微调整，从视觉感觉上米说摹本 没有什么变化，而c 图加入高斯噪声，可以明显看到质量的退化。但是，厂hp s n r 计算得到b 幽质量为：1 7 0 4 ( d b ) ，而c 幽为：1 8 8 8 ( d b ) 。 显然，这是与视觉感受不一致的。另外，在对恢复的压缩图象质量评价时， 由于传统的评价方法不能有效估计局部模糊和块状化对质量造成的衰退，也造成 了和丰观感受不一致的情况。这是因为均方误差法和峰值信噪比法是从总体上反 映原始图象和恢复图象的差别，并不能反映少数象点有较大灰度差别和较多象点 有较小灰度差别等各利r 情况。显然，对幽象巾各个象点同样对待，是不符合人眼 的视觉特性的。 另外，传统质量评价方法大多用较简单的数学模型，因此通常试幽用一利参 数来评价图象。但是，实际的视觉感受非常复杂，很难用一种参数来描述出来， 所以造成传统的评价方法和主观视觉感受有诸多的不一致之处。基于这种隋况和 实际的需求，近来又有很多新的评价方法被提出来。 2 3 基于视觉感知的图象质量评价方法 因为传统的图象质量评价方法和主观感受的不一致，不能满足质量评价t 作 的要求。于是，人们开始寻找新的质量评价方法。为了能更好地逼近主观感受， 就要进一步了解视觉的感知过程。如果说传统的方法只是考虑到视觉对亮度( 灰 度) 的感受部分，那么进一步的研究应该着重于视觉心理的层面上展开。视觉心 理是一个很复杂的系统，当前还没有办法为人们所完全认识。因此，许多人依据 视觉的些特性提出了不同的简化模型，而一些新的幽象质量评价方法就是参考 浙江大学颤f ：学位论文 这些视觉特性的模型以期评价效果更吻合主观的感受。这些方法大致可以分为两 大类： 。类是基于视觉感知模型的，在本文z ir 称做龋于视觉感知的蚓缘质量评价方 法。这类方法认为：不同的区域的亮度( 灰度) 变化对视觉的感受起的作川是不 同的。这是由于视觉的敏感区域不同，在些区域的变化会比另些区域更容易 使眼睛觉察。 另类是基于视觉兴趣区域模型的，该类方法认为视觉在个时刻能看到的 视野较宽阔，但是注意到的的区域只是视网膜t l 、心凹所感知的个很小区域。而 眼睛在不停的运动，以看清整个幽象。虽然它也认为：不同的区域的亮度( 灰度) 变化对视觉的感受起的作川是不同的。但是，它认为这是由于眼睛的运动造成的。 眼睛关注点每1 0 0 - - 5 0 0 毫秒就发生一次快速切换。神经t ir 枢以一利r 并行的工作 方式不断寻找重要区域或未知区域米决定下次关注点的切换。因此，该方法认为 应该找到这些重要区域，因为它们得到更多的关注，特别是它们的细节变化对图 象质量影响比其他区域更大。 当前，已经提出了很多摹于视觉感知的图象质量评价方法而基于视觉兴趣区 的评价方法相对来说比较少，下面在两类方法各取一个具有代表性的方法加以介 绍。下面首先介绍一种基于视觉感知的评价方法h o s a k a 分块法 3 】。 h o s a k a 分块法主要用于在有损幽象压缩时，对恢复图象和原图象进行比较， 以判别压缩算法使图象退化的程度。该方法认为对图象质量评价不应当逐个比较 象素问灰度的差异，而是象素之问的关系和所在区域有关。因此，该方法先将标 准图象分块，在依据分块的情况进行比较和评价。具体方法如下： 1 、原图象分块。设原幽象为正方形，而且边长为2 的整数幂。从图象本身 作为一个块开始，重复下面步骤： 如果个块边长大于2 ，且满足以下任意一个条件那么耐该块从l | 1 问进 行四分： a ) 边长大于1 6 ： b ) 方差仃2 大于闽值： 2 、将原图象和恢复图象均按上述方法分块，并以块的大小进行分组，分为 边长为2 、4 、8 、1 6 共4 个组，并对每组求得： 浙江大学硕：卜学位论文 a ) 块的标准方差的平均值； b ) 组内块的灰度均值的平均减去所有组的灰度均值的平均。 对原图象和恢复幽象的每个组求得上述参数，然后计算绝对误差。川极坐标 表示图象质量如下： 1 6 圈2 2h ji t o s a k a 分块法对幽象作质量评价 上图r h 左边为标准方差的各组绝对误差值，右边为灰度均值的绝对误差值。 所有罔得的面积表示图象的质量。当面积大时说明误差大，表明质量退化严重； 反之表明质量很好。 从h o s a k a 方法中可以看出，它对不同的区域给予了不同的评价权值。以2 为边长的块通常为高频部分，如细节部分或者边缘：而以1 6 为边长的块通常为 低频部分。在h o s a k a 方法- - l ：i 明显给高频部分以更多的关注，而这是符合人的视 觉特性的。另外，该方法不是以一个参数而是多个参数来反映图象质量，这样不 仪在图象质量退化时给出退化的原因。比如：在评价压缩方法时，可以看出由于 高频( 或是低频) 部分误差引起图象质量的退化以及误差的程度。这利，多参数表 示图象质量的另一个优势就是当发现某种参数对图象质量影响较大或者较小时， 可以通过权值蒯整，灵活地变更米吻合主观感觉。 e s k i c i o g l u 测试了1 4 种图象质量评价方法 1 】，结果表明h o s a k a 分块法明 显优于传统质量评价方法。图2 3 是h o s a k a 方法在不同的h 缩方法和觚缩率之 问作之问评价的比较。从图2 3i h 我们可以清晰的看成各个h 缩方法在不同的 不同的块问质量退化的情况。既可以对压缩方法进行评估，也可以在选取压缩方 法时，做适当参考。 浙江大学硕一l ：学位沧文 ：斗： ：幺 ， r 一百葡 h 。 f ，- 。，7 铲 # 一 - ： _、 2 ， m 辫n 1 。i j 竹i 闰2 3h o s a k a 分块沾对不同的压缩方法、压缩率的质罱评价 5 】 2 4 基于视觉兴趣区域的图象质量评价方法 与摹于视觉感知模型的质量评价方法相比，基于视觉兴趣区的评价方法还初 于研究初期，理论研究很初步，提出的方法也并不多。在这里介绍o s b e r g e r 等 7 】提出的一种方法。 该方法认为引起视觉兴趣的别为：对比度、尺寸、形状、位置和前背景等 五个要素。它首先对图象进行分块以一致的灰度特性为标准进行分块，每一个块 不小于1 6 个象素。然后对每个块进行评估感兴趣度，方法如下： 1 、对比度： 乞。( r ) = g l ( r ) 一g ，( r m 。) ( 2 3 ) 其| 。g l ( r ) 是区域量的灰度均值，g z ( r , 。) 是与r i 相邻的其他区域 一 。 、。 一 1 。，幂： 。 。 k ， 浙江大学硕_ _ i = 学位沦文 的灰度均值。 2 、尺寸网素： 。( 尺，) = m a x ( 兰掣，1 o )( 2 4 ) 月m a l 其l h4 ( r j ) 为区域尺，的象素数代表其面彰 ，a 。，为整个图象象素数的1 这样做是为了控制尺寸冈索占有太大的权重。 3 、形状冈素： k ( 驴等 ( 2 5 ) 其l i - ：b p ( r ) 9 为区域r 与别的区域相邻的象素数，s p 为常数1 7 50 这样细 长的彤状将会有更高的取值。 4 、位置因素： k ( 驴舞铲 ( 2 6 ) 其 ：c e n t r e ( r ，) 表示区域足在屏幕中心2 5 区域内的象素点数。 5 、前背景因素： k ( r ) = 1 0 - m x ( 考塞淼，1 0 ) ( 2 7 ) 其中：b o r d e r p i x ( r g ) 是区域中为图象边界点的数量，t o t b o r d e r p i x 为图象所 有的边界点数。 这样得到每个区域五个因素的取值然后对他们进行规范化，使之取值在 0 ，1 范围内，然后综合为： 5 i 吖( 量) = ( ( r ) ) 2 ；【 其l f l 根据k 的取值不同表示5 个因素。 ( 2 8 ) 于是，对于任意一个点( x ，y ) er ，则有删7 ( x ，y ) = i m ( r ) 。将该值弓 感知模型p d m 共同作川带入m s e l t ： 浙江大学颐：f ：学位培文 i m ( x ，) + p d m ( x ，y ) + ( 一：；) 2 m s e l = 塑竺坐生一 ( 2 9 ) m x n 则形成兼顾感知和感兴趣区域的曲利特性的质量评价力法。o s b e r g e r 指出 该方法能和m o s 方法取得很好的致，1 _ f i 是在区域划分过程，l i ，需要太多运算， 速度无法进步提高使该方法的应j f j 受到限制。 2 s 小结 以上介绍了一些具有代表性的图象质量的评价方法，主要着重于客观的相对 质量评价方法。这些方法也摹本上代表了图象质量的发展过程，从这个过程，我 们可以看出幽象质量评价工作也是一个不断认识视觉机制的过程。如果说把瞒e 和p s n r 方法看作是从视觉低级的感光特性出发。之后的改进方法就更着重于从 视觉的心理特性来考察主观的感受。由此可以看出，对视觉机制的认识直接影响 了质量评价方法的优劣。在下一章，将对视觉特性进行介绍，从而更好地、更深 入地理解主观感受的本质以及图象质量评价目的与任务。 浙江大学硕| ：学位沧文 第三章人的视觉特性 由于图象质量是人们的主观视觉感受，而客观的图缘质量评价方法是川数 学模型米模拟这剥t 丰观感受。冈此我们应该埘视觉系统有必要的了解。在这一章 h 将介绍视觉感知物理结构，光觉感知特性以及有关视觉的心理学的些研究 结果。这些知识可以使我们更好地认识视觉感知的过程，而对影响图象质量的阕 素有更深入地认识。 3 1 视觉感知的物理结构 人的视觉系统是由眼球、神经系统及大脑的视觉中枢构成。从神经生理学 的观点来看，入射光首先经过瞳孔和水晶体的调节、聚焦，使景物在视网膜上成 像，由视网膜上的神经元将光信号转化成电脉冲发送到大脑，由眼一脑系统实现 大脑对图像的感知过程( 见图3 ，1 ) 。 眼 球 视视觉 a感 输入 光 卜、 卜 图象 光能量j 网 电能撬j 通道 、 学 膜 1 知 系 叫 统 j 感知过程处理过程 幽3 1 人的观觉感知和信息处理通道 视网膜不仅接受光学信号而且将光学信号转化成电脉冲信号，并作初步的 信息处理。视网膜由锥状细胞和杆状细胞、双松细胞、水平细胞、无足细胞和神 经节细胞组成，主要的光接收器是锥状细胞和杆状细胞。 每个眼内有6 0 0 万到7 0 0 万个锥状细胞。它们对颜色很敏感。人类借助这些 细胞区分细节因为每个细胞都连到它自己的神经末梢。锥状细胞只有在光线明亮 的情况下才起作j ，具有辨别光波波长的能力，冈此对颜色 分敏感。它通常被 浙江大学硕i ：学位沦义 称为亮视觉( p h o t o p i cv i s i o n ) 。锥状细胞比较集- i - 的分布在视网膜t d 被称为中 央凹( f o v e a ) 的地方，这里眼内最敏锐的区域。 柱状细胞的数量要比锥状细胞大的多，在视网膜裘面上大约有l 亿3 千万个 柱状细胞。它们分布面大且几个柱细胞联到同。个神经末桶，使得柱状细胞的分 辨率比较低。柱状细胞丰要是提供视野的整体视象，它们不感受颜色并对低照度 较敏感，被称为暗视觉。例如在日光下鲜艳的彩色物体在月光下变得只是灰度， 就是由于在暗淡的地方只有柱状细胞起作川的缘放。 3 2 光觉感知特性 视觉的感知过程是对视觉信号的低级处理，也就是对入剁光的感觉和处理过 程。产生光的感觉必须有一定量的光进入眼睛，把产生光觉的最小亮度叫做光觉 门限，光觉门限值大约为l 1 0 “n i t ，其。| il n i t = l c d c m 2 。人眼感光范同非常大， 最大值和最小值之比达到1 0 以上。光觉门限是指产牛光觉的最小值，而辨别门 限是指辨别亮度差别而必须的光强度差的最小值。这个值最小值随背景光强 ，变化。设c ：掣，我们将c 称为对比灵敏度，则c 与背景光强i 之间有图。3 2 的关系： u 笆 釜 联 蔓 簧 亮度i ( n i t ) 幽3 2 对比灵披度与些戚亮度关系幽 浙江大学颁。j ：学位| 它文 由上图可知，在宽阔的常川背景亮度变化范嗣内，人眼的对比灵敏度为常数。 背景亮度上较强或较弱时，人眼的对比灵敏度增大，则人恨分辨亮度差异的能 力下降。 另外，人们研究发现人眼慰亮度还有以下性质： 亮度的丰观恒定性：虽然在不同场合亮度有很大差异，比如在太阳下和普通 的灯光下实际亮度差别很大，但是我们看到的物体并不觉得亮度有很大差别，这 种物理亮度变化而感觉却保持致的倾向叫亮度的恒定性。亮度恒定性实际是基 于亮度和对比度的互相转化来实现的，可以推测在人眼处理亮度时通常是将其转 化为瓦相之问的对比度米处理的。 马赫( m a c h ) 效应：在，一幅明暗幽象。h。边暗一边亮，q = i 问的过度是缓 慢斜变的，当观看这样的型象时，视觉的感觉时亮的一边更亮，暗的边更暗， 同时靠近暗的一边的亮度比远离暗的一边要亮，而靠近亮的+ 边比远离亮的一边 显得更暗。如图3 2 所示，这利r 主观亮度和实际亮度不一致的情况称为马赫效应。 水平方向 幽3 2 马赫效戍示意| 芏| 3 3 视觉心理特性简介 视觉的心理特性是视觉的高级特性，它直接影响到人们对图象的认知。在传 统的图象质量评价方法r f i 就是因为没有考虑视觉的心理特性。只是从低级的亮度 ( 灰度) 感知差异进行评价，造成了弓主观质量评价不。致的情况。在一些新的 幽象质量评价方法t h 人们引入了对视觉心理特性的研究成果，在质量评价与主 浙江大学颐l 学位沦_ 立： 观评价的一致上取得了进步的提供。但是，由于视觉的心理特性太复杂，当前 人们还无法完全认识它。冈此，有许多不同的简化模型基于粹自所研究不同的视 觉心理特性米描述视觉心理活动。下面通过视觉感知的不同侧面米描述视觉心坪 几个特性，以期对视觉感知的高级过程做尽可能全面的了解。 、多频率通道特性 在视觉心理学中，多频率通道( m u l t i f r e q u e n c yc h a n n e l ) 模型f 。分成功地解释 了视觉感知的低级生理过程。为一- 个函数展开成多个频率通道提供了种介于空 问和傅立叶描述之问的表示方法。人们经过长期的探讨，对人的视觉通道的并利 神经细胞作川的研究，在视觉感知机理方面得到了深入的认识。 在计算机视觉巾，多频率通道信号表示通过多分辨表示米实现。多分辨表示 提供了一个简单的解释图像信息的分层框架。通常分层不同，则幽像高频成份表 示场景的物理结构不同。初级分层上的高频成份表明图像信息的大结构，此结构 提供幽像的内容。因此，首先在初级分层上分析图像高频成份，然后逐渐增大分 层值。这利，由粗到细的策略对模式识别算法相当有效，已广泛j j 于级图像处理的 研究当中。 小波变换的多分辨特性正好与视觉感知多尺度特性相一致。通过金字塔结构 的小波分解达到多尺度分析。在本文中，正是利用小波变换这利t 良好的特性来评 价图象质量，使之与主观视觉达到一致。 二、掩盖效应 通过对人眼视觉现象的长期观察，并结合视觉生理、心理学的研究成果，人 们发现了各利t 视觉掩盖效应。由于这些掩盖效应的存在，在图象中有些失真会被 忽视对图象总体质量不会造成影响，而另1 部分会被强化而使图象质量严重退 化。因此，在图像质量评价中应当利川人眼的这些视觉掩盖效应，对不同情况进 行不同处理，从而得到更趋近与主观感觉的评价结果。所以，在图象质量评价t 作巾，对这些掩盖效应的研究是很有意义的。研究表明： i 、人眼对图像边缘、轮廓信息的失真很敏感。 2 、人眼对图像纹理细节的敏感度与它所处的背景亮度有关，对高、低亮度 背景r 1 的纹理细节人眼敏感度较低，而对- | 1 高亮度背景叫1 的纹理细节敏感度 较高。 浙江大学颈 ：学位沦文 3 、人眼对不同方向的幽像细节信息具有不同的敏感度，对水平方向上和垂 直方向上的细节敏感度大于其他方向的敏感度。 4 、人眼对低频端的敏感度高于高频端。 三、视觉注意区域规律 虽然人的视野j p 常广泛，但是注意力集r i t 的范同却很小，只有被一l i 心凹所感 知的小i 苤域为人的注意力集t l l 地带。冈此，为了准确观察周同的环境，眼睛需要 不停的运动。据调查，眼睛关注点每1 0 0 - - 5 0 0 毫秒就发生次快速切换。神经 小枢以种并行的丁作方式不断寻找重要区域或未知区域米决定下次关注点的 切换。 往评价剀象质量时，对视觉关注点的研究是很有必要的。因为，同样对图象 发生变化，在关注j 皇还是非关注点变化对质量影响有很大不同。因为我们通常在 关注点投入更多的时问，并获取更多的细节信息。 调查发现影响眼睛运动和注意力切换的因素分为高级因素和低级因素两类。 高级因素通常涉及到以往的经验，记忆，f = 标的检测等复杂视觉活动，而低级因 素通常为快速简单的处理。影响眼睛运动和注意力切换的低级因素有： 1 、对比度，由于视觉处理的早期阶段就将亮度转换为对比度。因此，对 比度是r 个强烈的视觉吸引因素。人的眼睛通常倾向于更关注对比度高的区 域。 9 ，1 0 】 2 、 区域大小，f i n d l a y 9 在他的调查中显示区域的大小也是影响注意力的 一个重要因素。更大的区域通常更容易得到关注。 3 、形状，通常细长的形状比圆形更有吸引力 1 0 ，11 4 、色彩，某些特定的颜色f 如：红色) 更容易被眼睛所关注。另外，当前景 与背景有明显差异时容易得到关注( 该特性与对比度因素有相同之处) 。 1 2 ，1 3 5 、运动，通常运动的物体容易引起人们的注意 1 3 】。 其他的低级冈素还有亮度，方向等等。 影响眼睛运动的高级因素有： 1 、位置；眼睛跟踪实验表明观测者的眼睛大多直接看到图象巾问的i 4 的 区域内： 1 4 】 浙江大学硕十学位论立 2 、前景背景；观测者更多被前景吸引而不是背景；【1 2 3 、人物以及特定f i 标；许多研究表明我们更多把注意力投向场景巾的人物， 特别时他们的脸庞和眼睛 1 1 ： 基于以上思想，o s b e r g e r 提出了基于感兴趣区的幽象质量评价方法，已经在 上一章进行介绍。该方法利用视觉注意区域规律来评价图象质量取得了良好的效 果。 3 4 小结 综合以上对视觉构造以及特性的了解，可以知道：人眼是个多频率通道的 接收器。其中，分布在中心凹区域的锥状细胞能够有效地感受小区域内的细节信 号，有丰富的高频成分；分布在视网膜表面的柱状细胞感受整体视象，以低频成 分为主。由于中心凹所能感受的范围较小，在一次只能感受到很小区域内的，需 要通过眼睛的不断运动才能得到所有图象中重要细节。这样就形成了整体的低频 通道和若干重要区域内的高频通道的多频率通道的接收器。由于中心凹一次感受 区域有限，所以眼睛需要不断运动寻找重要区域和自己感兴趣的区域。对其他区 域将会被忽略，这就是区域不同对图象质量影响也不相同的原因。因此，研究人 眼的移动规律或者说研究对图象质量贡献大的区域对质量评价工作的意义是重 大的，总体来说人眼会更关注下列区域： 1 、特定的目标。比如人物，景物等等，人所认知的事物都形成模板保存在 记忆巾。当看到一幅图象时，通常会寻找图象中所认识的事物。同时，把图象根 据事物的位置划分为不同的区域。而人眼关注点的运动轨迹通常是从一个目标跳 跃到另一个目标。换句话说，人把图象用自己已有的知识已经划分成有意义的不 同逻辑区域。 由于受图象处理发展水平的限制，当前还无法通过利用计算机搜寻图象中所 有的日标。当前对一些特定日标的搜索( 如：人脸，车牌) 虽然日益成熟，但是， 达到对所有目标进行搜索，还并不现实。因此，虽然该类区域对人的关注起作用 很大，但是由于处理复杂没有被人采用。 另外，在目标之间也存在不同的关注程度。比如，人们通常会更注意靠近中 心的，较大的口标。当然，这剃r 关注程度也冈人而异，和观看者的兴趣，知识背 浙江大学硕士学位论文 景都是相关的。 2 、对比度高的区域。各利- 研究都表明人眼在对比度高的区域更为敏感。马 太效应清楚地显示了人眼强化对比度区域的性质。而通常对比度强地区域大多为 目标边界，轮廓信息以及细节丰富的区域。寻找对比度高的区域来判别感兴趣区 域简单易行，计算迅速，在本文中提出的质量评价方法就是也利用该性质，使质 量的评价更准确、更迅速。 感兴趣区域得到了更多的关注，于是其他区域就将丧失更多细节的反映，造 成这些区域更多的高频信息的丢失，所以说人眼的多频率通道是空间位置和频率 相结合的。基于这种情况，引入小波变换的方法来解决图象质量评价问题变得自 然。 在第五章将提出利用小波变换的来进行图象质量评价的具体方法。当前，小 波变换在图象处理的诸多领域均有出色的表现，这是和小波变换本身的一些性质 同视觉处理非常相似。因此，利用小波变换容易得到符合人眼主观感受的质量评 价方法。在下一章，将对小波变换理论、发展及其性质做一个简单的介绍。 浙江大学顾士学位论文 第四章小波变换 4 1 小波变换发展简介 小波分析是当前应用数学和工程学科中个迅速发展的新领域，经过多年的 探索研究，重要的数学形式化体系已经建立，理论基础更加扎实。与f o u r i e r 变 换、g a b o r 变换相比，小波变换是空间( 时间) 和频率的局部变换，因而能有效 地从信号中提取信息。它通过伸缩和平移等运算功能对函数或信号进行多尺度细 化分析，解决了傅立叶变化所不能解决地许多困难问题。小波变换联系了应用数 学、物理学、计算机科学、信号与信息处理、图象处理、地震勘探等多个学科， 在诸多科研领域取得有意义和应用价值的成功。 小波变换是空间( 时问) 和频率的局部化分析，它通过平移运算和对信号( 函 数) 逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动 适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了f o u r i e r 变换 的困难问题，称为继f o u r i e r 变换以来在科学方法上的重大突破。因此，有人把 小波变换称为“数学显微镜”。 小波分析继承和发展了g a b o r 变换的局部化思想，基本思想来源于可变窗口 和伸缩和平移。其方法的提出可追溯至1 9 1 0 年h a a r 提出的h a a r 基，其实这就 是最简单的小波基。由于h a a r 基的不连续性，它没能得到广泛的应用。1 9 3 6 年 l i t t l e w o o d p l e y 对f o u r i e r 级数建立了l p 理论。l p 理论在频域内有以任意尺度 分析函数的能力，可以说l p 理论是多尺度分析的雏形。1 9 5 2 1 9 6 2 年， c a l d e r o n z y g m u n d 建立了奇异积分算予理论与l p 理论的高维推广，1 9 7 4 年， c o i f m a n 对维h 4 空问给出了原子解，1 9 7 5 年，c a l d e r o n 用c a l d e r o