（通信与信息系统专业论文）基于结构相似度的图像质量评估研究.pdf

华北电力大学硕士学位论文 摘要 图像质量评价的研究已成为图像信息工程中重要的研究课题之一。传统的基于 误差敏感度的质量评价方法，虽然物理意义清晰，运算简便，但与人类视觉感受不 一致。最近提出的结构相似度准则s s i m ，能够更好地反映人类视觉特性。但它对模 糊图像及噪声污染图像的判定与人类主观感受存在偏差。 本文提出一种新的基于双尺度边缘结构特征的图像质量评价算法d e s s i m ，充 分考虑边缘信息在结构信息中的重要性，通过增加边缘结构的失真度量来综合评价 图像质量。同时还对图像质量评价的发展历史和研究现状进行了总结归纳，并讨论 了人类视觉系统的特性。通过对数据库中大量图片进行评价，实验结果分析表明， d e s s i m 算法对于更广泛一类的图像评价与主观感受保持较好的一致性。 关键词：图像质量评价，结构相似度，双尺度边缘结构，主观感知质量 a b s t r a c t r e s e a r c h e so ni m a g eq u a l i t ya s s e s s m e n ta r em e a n i n g f u la n db a s i cf o rt h ei m a g e p r o c e s s i n ge n g i n e e r i n g c o n s i d e r i n gt h el o wc o m p u t a t i o nc o m p l e x i t yo f t r a d i t i o n a l i m a g eq u a l i t ym e a s u r e s ，t h e ya r ew i d e l yu s e d b u tt h e yc a nn o tk e e pc o h e r e n c ew i t h s u b j e c tv i s u a lq u a l i t y t h es t r u c t u r es i m i l a r i t yi n d e x ( s s i m ) w h i c hi sp r o p o s e dr e c e n t l y ， c a nr e f l e c th u m a nv i s u a lc h a r a c t e r i s t i cb e t t e r b u ti ts h o w ss o m ed e f e c t sw h e ne v a l u a t i n g t h eq u a l i t yo fb l u ri m a g e sa n dn o i s ei m a g e s ，t h er e s u l t sd o n tm a t c ht h eh v s s y s t e m i nt h i sp a p e r ，an e wi m a g eq u a l i t ya s s e s s m e n ta l g o r i t h mb a s e do nd u a l - s c a l ee d g e s t r u c t u r e s i m i l a r i t y ( m d e s s i m ) i sp r o p o s e d t h ee d g ei n f o r m a t i o n i sa p p r e c i a t e d s u f f i c i e n t l yd u r i n gt h es t r u c t u r ei n f o r m a t i o ni nt h i sa l g o r i t h m t h ed i s t o r t i o nm e t r i co f e d g es t r u c t u r ei si n c l u d e di nt h ea s s e s s m e n to ft h ei m a g eq u a l i t y t h eh i s t o r ya n dc u r r e n t s t a t eo fd e v e l o p m e n ta n dr e s e a r c ho ft h ei m a g eq u a l i t ya s s e s s m e n ta r ea l s oi n t r o d u c e d a n dt h ec h a r a c t e r i s t i c so fh u m a nv i s u a ls y s t e ma r ed i s c u s s e d t h el a s te x p e r i m e n t r e s u l t sd e m o n s t r a t et h ed e s s i ma l g o r i t h mc a nk e e pb e t t e rc o n s i s t e n c yw i t hs u b je c t i v e p e r c e p t i o nf o rt h ew i d e r k i n d so fi m a g e s c h e ny a n ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) directed b yl i a ob i n k e yw o r d s ：i m a g eq u a l i t ya s s e s s m e n t ，s t r u c t u r es i m i l a r i t y ，d u a l - s c a l ee d g e s t r u c t u r e ，s b b j e c t i v ep e r c e p t u a lq u a l i t y 华北电力大学硕士学位论文 摘要 图像质量评价的研究已成为图像信息工程中重要的研究课题之一。传统的基于 误差敏感度的质量评价方法，虽然物理意义清晰，运算简便，但与人类视觉感受不 一致。最近提出的结构相似度准则s s i m ，能够更好地反映人类视觉特性。但它对模 糊图像及噪声污染图像的判定与人类主观感受存在偏差。 本文提出一种新的基于双尺度边缘结构特征的图像质量评价算法d e s s i m ，充 分考虑边缘信息在结构信息中的重要性，通过增加边缘结构的失真度量来综合评价 图像质量。同时还对图像质量评价的发展历史和研究现状进行了总结归纳，并讨论 了人类视觉系统的特性。通过对数据库中大量图片进行评价，实验结果分析表明， d e s s i m 算法对于更广泛一类的图像评价与主观感受保持较好的一致性。 关键词：图像质量评价，结构相似度，双尺度边缘结构，主观感知质量 a b s t r a c t r e s e a r c h e so ni m a g eq u a l i t ya s s e s s m e n ta r em e a n i n g f u la n db a s i cf o rt h ei m a g e p r o c e s s i n ge n g i n e e r i n g c o n s i d e r i n gt h e l o wc o m p u t a t i o n c o m p l e x i t yo f t r a d i t i o n a l i m a g eq u a l i t ym e a s u r e s ，t h e ya r ew i d e l yu s e d b u tt h e yc a nn o tk e e pc o h e r e n c ew i t h s u b j e c tv i s u a lq u a l i t y t h es t r u c t u r es i m i l a r i t yi n d e x ( s s i m ) w h i c hi sp r o p o s e dr e c e n t l y ， c a nr e f l e c th u m a nv i s u a lc h a r a c t e r i s t i cb e t t e r b u ti ts h o w ss o m ed e f e c t sw h e ne v a l u a t i n g t h eq u a l i t yo fb l u ri m a g e sa n dn o i s ei m a g e s ，t h er e s u l t sd o n tm a t c ht h eh v s s y s t e m i nt h i sp a p e r ，an e wi m a g eq u a l i t ya s s e s s m e n ta l g o r i t h mb a s e do nd u a l - s c a l ee d g e s t r u c t u r es i m i l a r i t y ( m d e s s i m ) i sp r o p o s e d t h ee d g ei n f o r m a t i o ni sa p p r e c i a t e d s u f f i c i e n t l yd u r i n gt h es t r u c t u r ei n f o r m a t i o ni nt h i sa l g o r i t h m t h ed i s t o r t i o nm e t r i co f e d g es t r u c t u r ei si n c l u d e di nt h ea s s e s s m e n to ft h ei m a g eq u a l i t y t h eh i s t o r ya n dc u r r e n t s t a t eo fd e v e l o p m e n ta n dr e s e a r c ho ft h ei m a g eq u a l i t ya s s e s s m e n ta r ea l s oi n t r o d u c e d a n dt h ec h a r a c t e r i s t i c so fh u m a nv i s u a ls y s t e ma r ed i s c u s s e d t h el a s te x p e r i m e n t r e s u l t sd e m o n s t r a t et h ed e s s i ma l g o r i t h mc a nk e e pb e t t e rc o n s i s t e n c yw i t hs u b je c t i v e p e r c e p t i o nf o rt h ew i d e rk i n d so fi m a g e s c h e ny a n ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) directed b yl i n ob i n k e yw o r d s ：i m a g eq u a l i t ya s s e s s m e n t ，s t r u c t u r es i m i l a r i t y ，d u a l - s c a l ee d g e s t r u c t u r e ，s u b j e c t i v ep e r c e p t u a lq u a l i t y 声明尸明 本人郑重声明：此处所提交的硕士学位论文基于结构相似度的图像质量评估 研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作 和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名： 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权 保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或 其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅：学校 可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同 媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名： 日期： 导师签名： 苴卜叫 日 期：丝删 华北电力大学硕士学位论文 1 1 研究背景 第一章绪论 当前，以计算机技术为基础的信息化浪潮席卷全球。多媒体技术以其更人性化、 更友好和巨大的信息含量得到人们的青睐。而计算能力的不断提高，也为多媒体技 术提供了可行的硬件基础。于是，作为多媒体核心技术的图像以及视频的处理技术 迅速发展起来i 。 在图像信息技术应用的诸多场合，需要进行图像质量的评估工作。例如在图像 压缩技术中，图像质量的评估工作发挥着重要作用，因为评价算法的优劣以及算法 的选取，需要在压缩率、图像质量损失、执行效率等性能指标问选取。同样，图像 自动采集仪器也需要通过对图像质量进行判定来调整参数，以取得最优的采集效 果。 在图像信息技术被广泛应用的情况下，对图像质量的评估变成一个广泛而基本 的问题。图像质量是指人们对图像视觉感受的评价。由于图像处理和信息技术的迅 速发展，人们希望能够用客观的，可定量分析的数学模型表达出人对图像的这种主 观感受，因此，图像质量评价的研究成为图像信息工程中重要的基础研究课题之一。 1 2 图像质量评价的现状及发展方向 1 2 1 图像质量的定义 图像是用各种观测系统以不同的形式和手段观测客观世界而获得的，可以直接 或间接作用于人眼并进而产生视知觉的实体；图像是反映客观事物或过程某些与空 间、时间有相互关联的特征量的信息阵列1 2 1 。而图像质量的含义主要包括两个方面： 图像的逼真度和图像的可懂度。图像的逼真度是指一幅图像与参考图像之间的相似 程度，例如，图像经过处理或者传输以后通常会发生失真或者遭遇干扰等，它与原 始图像比较后就能反映出处理或传输系统在图像质量方面性能的优劣。图像的可懂 度是指图像与人们的某种目的的符合程度，例如，美观、清晰、层次丰富分明、目 标突出、特征体现出价值等方面的情况。 1 2 2 图像质量评价与图像系统的关系 由于图像信息具有的重要性，人们对图像信息的需求带动了其相关技术的飞速 发展。图像通信的最终信宿是人，而且图像系统输出的图像一般是给人观察和评价 的，因而图像质量评价的研究是图像信息工程的重要技术之一，图像质量评价的意 1 华北电力大学硕士学位论文 义实际上就是对图像通信及图像处理技术质量的评价。图1 - 1 给出了图像通信和图 像质量关系的模型。 图1 - 1 图像通信和图像质量关系模型 在图像通信工程中，将原始的光学图像传送到接受端，经由光电变换、传输、 处理、记录及其他变换等过程，最终输出可接受的图像，这时评价该图像系统质量 的好坏主要是看输出图像的质量好坏以及输出图像与输入图像之间的差异大小而 定，而所有这些技术的优劣都会归结为图像质量评价。例如，图像处理中的压缩编 码技术，就是在保证编码图像一定质量的前提下，利用图像数据中存在的大量冗余 度，以尽可能少的码字来表示图像，以便节省信道容量和存储空间，减少图像传输 和处理时间；图像增强就是为了改善图像的主观视觉显示质量；图像复原则是用于 补偿图像的降质，使复原后的图像尽可能地接近原图像质量。那么这些技术的好坏 直接影响到输出的图像质量，而传输等过程中产生的噪声也必然会对输出图像的质 量产生影响。所有这些都要求有一个合理的图像质量评价方法。 1 2 3 图像质量评价与视觉心理 如果把图像信息简单地看成是二维平面上具有亮暗和色彩变化的若干单个像 素信息的集合，那是非常初步的认识。应该说，对图像的认识或评价是由感觉和心 理状态决定的，即与图像内容和观察者的视觉心理因素有关。从图像信息传输角度 出发，图像系统评价的真正尺度应该是发信者的意图被收信者所理解的程度，而不 是对发信者发出的图像像素信息集合的简单接受。 在图像质量评价方法中，主观评价方法的基础就是视觉心理测量学，它主要包 括心理常数和心理尺度两种参量： 1 心理常数 心理常数是用常数值表示的心理参量。其中，人眼刚能感觉的l 临界值称为刺激 阈，如光子探测。人眼刚能分辩的两物体或物理量的临界值称为鉴别阈，如极限分 辨率、对比灵敏度和图像探测阈等。还有在客观上不相同的物体或物理现象，但人 眼会有等同的视觉效果，这时两者响应的物理量值称为主观等效值。 2 心理尺度 2 华北电力大学硕士学位论文 心理尺度是相对于某一物理量的实际变化量所产生的人眼视觉主观感觉的变 化，然后对此感觉变化进行尺度化。通常，物理量的变化及与之相应的视觉感觉的 变化之间并非都是线性关系。例如，在正常亮度范围，人眼的主观亮度感觉与客观 亮度之间为对数关系。心理尺度既可以采用绝对质量尺度( 打分尺度) 或相对尺度( 顺 序尺度) ，也可以采用质量尺度( 用图像质量指标衡量) 或干扰尺度( 用图像受干扰程 度衡量) 来评价图像质量。 1 2 4 图像质量评价的现状 1 图像质量的表现形式、 图像质量主要表现在以下两个方面： ( 1 ) 图像的逼真度( f i d e l i t y ) 用经过传输后显示的被评价图像与原图像或标准图 像之间的偏差表示，偏差愈小，逼真度愈高。 ( 2 ) 图像的可懂度( i n t e l l i g i b i l i t y ) 表示传输后图像为人或机器提供信息的能力。图 像的可懂度不仅与图像系统的应用要求有关，而且常常与人眼视觉的主观感觉有 关。如果图像的逼真度高，或者是可懂度大，则称图像的质量高。 2 图像质量评价方法的分类【3 】【4 j 参照文献【3 】的分类，图像质量评价的方法从原则上分为客观评价方法和主观评 价方法两种。 ( 1 ) 客观评价 图像质量的客观评价是根据给定的测量标准，对测量出的构成图像的有关物理 特性参量进行评价，就是通过定义的一些数学公式，建立起与图像质量含义相关的 数学模型，然后对待评价的图像进行运算，得到一个唯一的数字量作为评测结果， 这种方法最常用于对图像的相似性评价。根据评价标准的不同，客观评价方法又可 分为以下两种： ( a ) 以图像逼真度为评价依据 通常以被评价图像与原图像间的统计误差如峰值均方误差( p m s e ) 或信噪比 ( s n r ) 来度量和评价。 ( b ) 以标准波形和测试图案为评价依据 对电视系统，通常用电子测试波形或由摄像机摄取测试图案卡片来观察其性能 变化，以进行图像质量测试和评价。 ( 2 ) 主观评价 图像质量的主观评价是人眼直接观测图像，按照某种规定标准或图像样品，由 人的主观感觉和统计结果对图像质量的优劣做出评定。就是由观察者依据自己的感 觉对图像质量进行评价。在具体做法上，可在一定的光照、视距、分辨率大小等条 3 华北电力大学硕士学位论文 件下，由一组专家和非专家观察者分别对所评价的同一图像进行打分，然后按照一 定的规则得出一个总的评价结果。应该指出，与以下所讨论的客观方法相比，主观 方法是最有说服力的，因为图像最终的服务对象是人的眼睛。 主观评价的观察者应考虑这样两类人： ( a ) 未受过训练的“外行 观察者，即普通观察者，他们只是用普通人的视觉感 受来评价； ( b ) 训练有素的“内行观察者，即专家观察者，他们通常有图像处理、质量评 估、图像压缩方面的知识和工作经历，能够以压缩算法的角度来评价图像质量。 主观评价大体上又可分为两种类型： ( a ) 绝对评价，是由观察者根据事先规定的评价尺度或自己的经验，对被评价图 像提出质量判断。 ( b ) 相对评价，是由观察者将一批图像由好到坏进行分类，即对图像进行相互比 较得出好坏并给出分数。 图像质量标准是评价图像相关系统及算法优劣的一个重要指标。一个好的客观 评价图像质量的标准应该反映图像处理中各个方面的损失。在图像编码和计算机视 觉领域中，经常使用简单的基于原始图片和编码图片偏差的标准，例如均方误差标 准( m s e ) ，峰值信噪比( p s n r ) 以及加权均方误差( w m s e ) 等。p s n r 和w m s e 可以 很好地衡量随机误差，但是对于结构误差和相关性误差，效果很差。然而在图像编 码中，结构误差是经常碰到的，而且这些局部特征的损失比随机误差多。所以一个 好的图像质量标准应该着重考虑图像的结构误差。 在衡量编码图片质量的时候，也经常使用主观评价方法【5 1 【6 l 【7 1 ，然而一个好的 主观评价方法在实际中是非常困难和耗时的，其结果往往受到观察者本身的知识背 景、情绪以及疲劳程度等因素的影响。而且最主要的是，主观评价标准不可能直接 用于设计系统。 随着人们对图像信息要求的不断提高，极大地促进了图像处理技术的应用和发 展。图像系统输出的图像质量好坏直接影响到人的视觉接受效果，也直接关系到评 价图像系统质量的好坏。因此对图像质量的评价既应客观准确，又应符合人眼的视 觉效果。但是传统的图像质量评价方法却做不n - 者的结合与统一，尤其在图像编 码追求低码率、高压缩比的今天，图像质量的主观评价和客观评价结果不相吻合甚 至相互矛盾的现象愈发明显，传统的图像质量评价方法也愈发成为图像信息工程中 的薄弱环节。 1 2 5 图像质量评价的发展方向 面对传统图像质量评价的现状及存在的问题，面对飞速发展的图像处理和压缩 4 华北电力大学硕士学位论文 编码技术，如何使图像质量评价既客观精确又符合人眼实际观测质量，又如何使图 像质量评定过程简单而易行，已成为迫切的不可回避的研究课题。 1 新一代图像编码技术 进人二十世纪八十年代中后期以来，图像编码技术取得了引人注目的发展，这 表现在：第一，图像编码国际标准的制定工作发展迅速，c c i t t 和i s o 组织已制 定出针对不同领域的三种国际标准，如j p e g , m p e g , h 2 6 1 3 ：第二，v l s i 技术的 迅猛发展促进了高速、高性能数字图像压缩与处理芯片的开发；第三，许多学者结 合模式识别、计算机视觉、神经网络理论、小波理论和分形理论等开始探索图像编 码的新途径；同时人的视觉生理心理特性的研究成果也开拓了人们的视野，给从事 图像编码与处理的学者带来了新的启迪。各种考虑h v s 特性和基于场景的新一代 数字图像压缩编码方法不断涌现，其中有代表性的有m k u n t 8 j 【9 l 和w i l l i a m e g l e n n l l o 】等学者提出的“第二代一图像编码方法，如模型基编码，小波变换编码， 分形编码以及神经网络理论用于图像压缩编码等。 之所以称上述为“第二代开图像压缩编码，m k u n t 等学者认为：第一代图像 编码是以信息论和数字处理技术为理论基础，旨在去除图像数据中的线性相关。这 类技术去除客观和视觉的冗余信息的能力已接近极限，其压缩比不高( 1 0 ：1 ) 左右。 而第二代图像压缩编码技术不局限于s h a n n o n 信息论的框架，要求充分利用人的 h v s 特性和图像信源的各种特性，从而在获得很高压缩比的同时仍可保证一定的图 像质量。例如在新一代图像编码技术中的小波变换编码1 1 1 】1 1 2 儿1 3 j ，能够恰当地分解 包含图像主要能量的低频分量和代表图像边缘细节的高频分量，同时小波变换编码 还具有与h v s 特性相结合的良好特质，从而可在同样的平均码率下、获得主观质 量更好的重建图像；或者在相同的主观质量下，得到更高的图像压缩比，其压缩比 达到1 0 0 ：1 也是可能的。如果对此类图像仍然采用传统的图像质量评价方法，则必 然导致客观评价结果与实际主观视觉的严重脱节。 2 探索和建立新的图像质量评价方法 近十几年来，生物领域对人类视觉系统感知机理的研究推动了图像质量准则的 发展，基于人类视觉系统( h v s ) 的图像质量标准己经引起了很多研究者的关注。其 基本的方法就是根据人类视觉系统的空间掩蔽效应，即人眼对图片中变化比较剧烈 的区域的误差比对平坦区域的误差不敏感的特性，对己有的准则进行修改，或者是 综合多种准则，利用多重回归分析对主观评价等级( m o s ) 进行拟合，最近也有人将 人类视觉感知系统的多通道模型用于图像质量评价中【1 4 】【1 5 】【16 1 。但是现有的这些方 法都存在某些方面的缺陷，例如文献【1 7 】中提出的p q s 标准在适用范围上对图片质 量的要求、类型和编码图像的比特率等都有很多限制。 最近提出的基于图像内在结构相似度【1 8 】【1 9 】【2 0 ( m s s i m ，m e a ns t r u c t u r a ls i m i l a r i t y i n d e x ) 的质量评价方法得到广泛关注。该算法的重要意义在于改变了传统的基于逐 s 华北电力大学硕士学位论文 像素误差指标的图像评价算法，而是采用图像结构信息相似度s s i m 这种新的失真度 量准则，其相关实验结果表明该算法要比p s n r 指标更符合人类的视觉特性，而且算 法思想简单，计算复杂度不高。然而，通过对该算法进一步研究分析发现，m s s i m 在对模糊图像以及高斯噪声等失真类型的图像评价不尽如人意，主要反映在对模糊 图像的评判值过高，而对噪声图像评判值过低，其原因在于文中给出的图像内在结 构信息的度量指标不够准确。所以，追踪不断发展的图像质量评价研究成果，探索 和建立新的图像质量评价方法意义十分重大。 1 2 6 图像质量评价的应用 随着成像技术的发展，更多种类的传感器被用于成像，各种传感器具有更多可 成像的参数。对同一事物的不同侧面特征也有了更多的图像进行观察和分析。近年 来，关于图像质量评价算法的研究很多，各种算法也都有其各自的特点。图像质量评 价技术的应用是多方面的，毫不夸张地说，凡是在图像处理技术应用的地方都可以 应用图像质量评价技术。 1 图像质量评估在数字视频应用中的作用。 第一，它可以应用于动态监控和调整图像质量。例如网络数字电视服务可以检 测视频传输质量，来控制和分配流资源。第二，它可以应用于图像处理系统中优化 算法和参数设置。例如，在视觉通信系统中，质量度量在编码时有助于预滤波和码 流分配算法的优化设计，在解码时有助于优化重建、错误隐藏、加速滤波算法。第 三，它可以应用于图像处理系统和算法中的基准问题。 2 图像质量评估在空间遥感应用中的作用。 1 9 9 9 年1 0 月1 4 日，我国与巴西联合研制，也是我国的第一颗地球资源卫星一中 巴地球资源一号卫星( c b e r s 2 1 ) 发射成功并进入预定的轨道，自此，大量的卫星数据 源源不断地传向地面，这标志着我国的空间遥感应用进入了一个崭新的阶段。基于 中国资源卫星应用中心提供的中巴地球资源一号卫星红外多光谱扫描仪( i r m s s ) 4 个波段零级图像数据，首先综合运用各种有效方法进行了图像预处理( 包括错位纠 正、辐射校正、去噪声、清晰化、几何精校正等) ，然后在此基础上选择图像信噪比、 地面分解力、清晰度、辐射精度、反差等5 个指标对图像进行了全面的质量评价。 3 图像质量评估在医学中的作用。 通过医用器械得到的人体断层图像，不仅可以反映形态学的信息，还可以从 图像中得到与病理有关的信息，其图像质量的好坏将直接影响着医护人员对病人 的诊断结果，因此对医用图像质量进行准确评估尤为重要。多年以来，众多临床工 作者在该领域进行了深入研究，同时也取得了长足进展。 6 华北电力大学硕士学位论文 1 3 本文的主要内容与结构 本文主要对基于结构相似度的图像质量评价方法进行深入研究，并且提出一种 新的基于双尺度边缘结构特征的图像质量评价算法d e s s i m ，下面结合论文的内容 安排加以简单介绍。 第一章为绪论部分，简单介绍图像质量评价的背景，图像质量评价的现状和发 展方向。在本章的最后，介绍了论文所做的主要工作和论文的内容安排。 第二章简要介绍了图像质量评价的概念以及各种算法。在本章中首先介绍了主 观质量评价算法。然后介绍传统的质量评价算法。最后介绍了几种研究者新提出的 质量评价方法。 第三章介绍了人类视觉系统。由于客观质量评价方法是建立数学模型模拟人类 视觉系统的过程，所以了解视觉系统是必要的。其中包括视觉感知的物理特性，光 觉感知特性和视觉的心理特性。 第四章介绍了基于结构相似度的质量评价方法。首先指出了基于误差敏感度的 质量评价方法的缺点，然后对基于结构相似度的质量评价方法的提出过程以及建模 方式进行了详细阐述。 第五章详细阐述了本文提出的基于双尺度边缘结构相似度的图像质量评价方 法，并进行了大量的实验，实验结果表明该方法与人类主观视觉感知有较好的一致 性。 第六章为总结与展望，对全文的工作做出了总结，并对今后进一步的研究工作 进行展望。 7 华北电力大学硕士学位论文 第二章图像质量评价概述 对图像进行质量评价是图像处理的一个基本问题。它不仅有其理论意义，更重 要在于实际应用中也有广泛的需求。尤其是随着图像压缩算法的迅速发展，其中对 压缩的效果进行评价的一个重要指标就是有损压缩造成图像质量退化的程度。因而 大大促进了图像质量评价研究工作的发展。 最初，人们用传统的质量评价方法如均方误差( m s e ) 、峰值信噪i 七( p s n r ) 等方 法通过与标准图像比较像素的灰度差异来评价图像质量的退化程度。后来，发现这 种评价方法与主观感受并不是一致的。因为，在图像质量退化过程中，图像的不同 区域对其作用并不相同。这样，人们开始寻找哪些区域对质量影响的程度大，而哪 些小一些，并基于这种思想提出不同的判别方法。 这些方法通常可以分为两类：一类是基于视觉感受模型( h v s ) i 拘- - 些特性，比 如研究表明视觉对边缘失真很敏感。另一类基于感兴趣区域的一些特性，比如它提 出人眼更倾向于关注对比度高的区域。这两类方法都使图像质量评价的准确度和与 主观的一致性得到提高，使质量评价方法进一步得到发展。 在本章中，将介绍质量评价发展过程中有代表性的一些方法，以回顾图像质量 评价的发展过程。 2 1 主观图像质量评价方法 由于对图像质量评价最终取决于观察者的感觉，因此最可靠的评判就来源于人 的评价。对图像质量进行评价最直接也最自然的解决方法就是利用人们自身的判 断。于是，一些主观评价方法应运而生。 主观质量评分法( m e a no p i n i o ns c o r e ，m o s ) 撇有代表性的主观评价方法。 它是通过对观察者的评分归一化来判断图像质量。它有两类度量尺度，即绝对性尺 度和比较性尺度。打分的一般步骤是先用某些原始标准图像建立起质量等级标准， 然后由观察者观看被评价的图像，并与标准图像质量等级作比较，得出被评价图像 的等级。最后对试验者的打分进行规一化平均。绝对尺度是将图像直接按照视觉感 受分级评分，表2 - 1 显示了一种分级方法以及两种评分方法。 表2 - 1 主观评价方法的绝对尺度 优良中差劣 4321o 210 12 8 华北电力大学硕士学位论文 相对尺度是在一组图像中按该组图像的相对优劣进行分级，如表2 2 所示： 表2 2 主观评价方法的比较性尺度 一组中最好的该组中偏好的 该组中等水平 偏差 该组中最差的 54321 有的主观评价方法在进行比较性评价时采取冒泡排序将待评价的一组图片按 质量感觉好坏排序为一个线性表，然后进行相应评分。有的方法为了消除被观察者 的主观差异，将观察者分为两类：一类为普通观察者，只是用普通人视觉感受来评 分；另一类为专家观察者，这些人通常有图像处理、质量评估、图像压缩方面的知 识和工作经历，能够以更深入的压缩算法的角度来评价图像质量的优劣。这样有助 于消除对观察者知识背景不同而造成的评价差异。 主观评价方法是最准确的表示人们视觉感受的方法，但是，主观评价方法缺乏 稳定性，并且不能保证评价的可重复性，这是由于： 1 实验条件( 如：光线条件、显示设备) 不同，可能造成不同的评价结果： 2 由于观察者的条件( 知识背景，观察动机) 不同的影响； 3 观察者自身的不稳定性( 如情绪变化) 。 ， 另外，主观评价方法在工程应用中费时、费力，而且有些情况下根本无法采用。 由于图像信息技术的迅速发展，人们希望能够用客观的，稳定的数学模型来表达图 像质量。由于主观评价方法在表达人们视觉感受中的权威作用，它经常作为一些客 观评价方法的参照和效果评价标准。 2 2 传统图像质量评价方法 由于主观评价方法的上述不便，人们期望用客观的方法来表示视觉对图像的主 观感受，显然利用数学模型来描述主观感受有很多优点： 1 快速，利用计算机快速的计算能力可以迅速得到图像质量指标； 2 稳定，不会有因人而异，因时而异的情况发生； 3 易于被量化，并容易用于各种评价比较以及各种研究。 传统的质量评价通常基于与标准图像的灰度差异越大质量退化越严重的思想。 具有代表性的方法有均方i 吴差( m s e ) 、峰值信噪l i , ( p s n r ) 等。 传统质量评价方法通常有以下特点： 1 基于空域的方法； 2 利用与标准图像的灰度差异大小进行度量： 3 采用二范数测度进行失真度量，质量指标通常为一个数值表示和标准图像 在质量空间的距离； 4 计算简单、运算速度迅速。 9 华北电力大学硕士学位论文 均方误差法m s e 的表达式如下： o s 泛o 至肘( 勺一勺y m s e 。壁苎= ! 三丝壁型三丝：! m x n 峰值信噪比p s n r 的表达式如下： ( 2 - 1 ) lxl p s n r 一1 0 xl g ( 2 - 2 ) m s e 注：l 代表图像灰度范围值，在这里l 为2 5 6 。 上述方法虽然看起来简单直观，数学表达严格；但是其表示往往和人们的主 观感受效果不一致，如图2 - 1 中的三幅图像： ( a )( b )( c ) 图2 1p s n r 图像质量评价 ( a ) 图作为标准图像，嘞图只是在灰度上做轻微拉伸，从视觉感觉上来说基本没 有什么变化，而( c ) 图加入高斯噪声，可以明显看到质量的退化。但是，用p s n r 计 算得到( b ) 图质量为：2 6 8 0 ( d b ) ，而( c ) 图为：2 7 0 3 ( d b ) 。 显然，这是与视觉感受不一致的。另外，在对恢复的压缩图像质量评价时，由 于传统的评价方法不能有效估计局部模糊和块状化对质量造成的衰退，也造成了和 主观感受不一致的情况。这是因为均方误差法和峰值信噪比法是从总体上反映原始 图像和恢复图像的差别，并不能反映少数像点有较大灰度差别和较多像点有较小灰 度差别等各种情况。显然，对图像中各个像点同样对待，是不符合人眼的视觉特性 的。 另外，传统质量评价方法大多用较简单的数学模型，因此通常试图用一种参数 来评价图像。但是，实际的视觉感受非常复杂，很难用一种参数来描述出来，所以 造成传统的评价方法和主观视觉感受有诸多的不一致之处。基于这种情况和实际的 需求，近来又有很多新的评价方法被提出来。 1 0 华北电力大学硕士学位论文 2 3 基于视觉感知的图像质量评价方法 因为传统的图像质量评价方法和主观感受的不一致，不能满足质量评价工作的 要求。于是，人们开始寻找新的质量评价方法。为了能更好地逼近主观感受，就要 进一步了解视觉的感知过程。如果说传统的方法只是考虑到视觉对亮度( 灰度) 的感 受部分，那么进一步的研究应该着重于视觉心理的层面上展开。视觉心理是一个很 复杂的系统，当前还没有办法为人们所完全认识。因此，许多人依据视觉的一些特 性提出了不同的简化模型，而一些新的图像质量评价方法就是参考这些视觉特性的 模型以期评价效果更吻合主观的感受。这些方法大致可以分为两大类： 一类是基于视觉感知模型的，在本文中称作基于视觉感知的图像质量评价方 法。这类方法认为：不同的区域的亮度( 灰度) 变化对视觉的感受起的作用是不同的。 这是由于视觉的敏感区域不同，在一些区域的变化会比另一些区域更容易使眼睛觉 察。 另一类是基于视觉兴趣区域模型的，该类方法认为视觉在一个时刻能看到的视 野较宽阔，但是注意到的区域只是视网膜中心凹所感知的一个很小区域。而眼睛在 不停的运动，以看清整个图像。虽然它也认为：不同的区域的亮度( 灰度) 变化对视 觉的感受起的作用是不同的。但是，它认为这是由于眼睛的运动造成的。眼睛关注 点每1 0 0 5 0 0 毫秒就发生一次快速切换。神经中枢以一种并行的工作方式不断寻找 重要区域或未知区域来决定下次关注点的切换。因此，该方法认为应该找到这些重 要区域，因为它们得到更多的关注，特别是它们的细节变化对图像质量影响比其他 区域更大。 当前，已经提出了很多基于视觉感知的图像质量评价方法而基于视觉兴趣区的 评价方法相对来说比较少，下面在两类方法各取一个具有代表性的方法加以介绍。 下面首先介绍一种基于视觉感知的评价方法h o s a k a 分块法1 2 。 h o s a k a 分块法主要用于在有损图像压缩时，对恢复图像和原图像进行比较，以 判别压缩算法使图像退化的程度。该方法认为对图像质量评价不应当逐个比较像素 间灰度的差异，而是像素之间的关系和所在区域有关。因此，该方法先将标准图像 分块，在依据分块的情况进行比较和评价。具体方法如下： 1 原图像分块。设原图像为正方形，而且边长为2 的整数幂。从图像本身作 为一个块开始，重复下面步骤： 如果一个块边长大于2 ，且满足以下任意一个条件那么对该块从中间进行四分： ( a ) 边长大于1 6 ： ( b ) 方差o r 2 大于阈值； 2 将原图像和恢复图像均按上述方法分块，并以块的大小进行分组，分为边 长为2 、4 、8 、1 6 共4 个组，并对每组求得： 1 1 华北电力大学硕士学位论文 ( a ) 块的标准方差的平均值； ( b ) 组内块的灰度均值的平均减去所有组的灰度均值的平均； 对原图像和恢复图像的每个组求得上述参数，然后计算绝对误差。用极坐标表 示图像质量如下： 424 图2 - 2 用h o s a k a 分块法对图像作质量评价 上图中，左边为标准方差的各组绝对误差值，右边为灰度均值的绝对误差值。 所有圈得的面积表示图像的质量。当面积大时说明误差大，表明质量退化严重；反 之表明质量很好。 从h o s a k a 方法中可以看出，它对不同的区域给予了不同的评价权值。以2 为 边长的块通常为高频部分，如细节部分或者边缘；而以1 6 为边长的块通常为低频 部分。在h o s a k a 方法中明显给高频部分以更多的关注，而这是符合人的视觉特性 的。另外，该方法不是以一个参数而是多个参数来反映图像质量，这样不仅在图像 质量退化时给出退化的原因。比如：在评价压缩方法时，可以看出由于高频( 或是 低频) 部分误差引起图像质量的退化以及误差的程度。这种多参数表示图像质量的 另一个优势就是当发现某种参数对图像质量影响较大或者较小时，可以通过权值调 整，灵活地变更来吻合主观感觉。 e s k i c i o g l u 测试了1 4 种图像质量评价方法【2 引，结果表明h o s a k a 分块法显优于 传统质量评价方法。既可以对压缩方法进行评估，也可以在选取压缩方法时，做适 当参考。 2 4 基于视觉兴趣区域的图像质量评价方法 与基于视觉感知模型的质量评价方法相比，基于视觉兴趣区的评价方法还处于 研究初期，理论研究很初步，提出的方法也并不多。在这里介绍o s b e r g e 等【2 3 】提出 的一种方法。 1 2 华北电力大学硕士学位论文 该方法认为引起视觉兴趣的分别为：对比度、尺寸、形状、位置和前背景等五 个要素。它首先对图像进行分块以一致的灰度特性为标准进行分块，每一个块不小 于1 6 个像素。然后对每个块进行评估感兴趣度，方法如下： 1 对比度： 乙( r ) 一g l ( r , ) - g l ( r , 。嘲h 。) ( 2 3 ) 其中：虿( r ) 是区域r 的灰度均值，虿( r 。删。) 是与r 相邻的其他区域的灰度均值。 2 尺寸因素： 乙 ) m m a x 喘 ( 2 - 4 ) 其中：么 ) 为区域r 的像素数代表其面积，彳一为整个图像像素数的1 ，这样做 是为了控制尺寸因素占有太大的权重。 3 形状因素： u 咖等 ( 2 - 5 ) 其中：b p ( r ) 单为区域r i 与别的区域相邻的像素数，印为常数1 7 5 。这样细长的形 状将会有更高的取值。 4 位置因素： ，一( 剐= 号挚 ( 2 - 6 ) 其中：c e n t r e ( r , ) 表示区域r 在屏幕中心2 5 区域内的像素点数。 5 前背景因素： k ( r ) - 1 0 - m a x b 謇f d f o r d e r p 删i x ( r e , 伊) 眈, 1 0 ) ( 2 7 ) 其中：b o r d e r p i x ( r ；) 是区域中为图像边界点的数量，t o t b o r d e r p i x 为图像所有的边 界点数。 这样得到每个区域五个因素的取值，然后对他们进行规范化，使之取值在【0 ， 1 】范围内，然后综合为： i m ( r ；) = 妻( ，。( 尺；”2 ( 2 8 ) 其中根据k 的取值不同表示5 个因素。 1 3 华北电力大学硕士学位论文 于是，对于任意一个点o ，y ) r ，则有i m ( x ，y ) 一肼( r ) 。将该值与感知模型 p d m 共同作用带入m s e 中： 。兰丝。邑竺竺：兰! ：! 竺竺：兰! ：! 垒二垒!(2-9)mse。一q 型：型q 型：型 m n 则形成兼顾感知和感兴趣区域的两种特性的质量评价方法。o s b e r g e r 指出该方 法能和m o s 方法取得很好的一致，但是在区域划分过程中，需要太多运算，速度 无法进一步提高使该方法的应用受到限制。 以上介绍了一些具有代表性的图像质量的评价方法，主要着重于客观的相对质 量评价方法。这些方法也基本上代表了图像质量的发展过程，从这个过程，