（电路与系统专业论文）基于结构相似度的图像质量评价方法研究[电路与系统专业优秀论文].pdf

浙江大学硕士学位论文 摘要 数字图像在实际的应用中会引入各种各样的失真，有必要研究客观图像质 量评价算法用于评价各种应用算法引起的图像降质，图像的接收终端都是人眼， 评价结果必须与人眼的视觉效果相吻合。 本文在分析了当前图像质量客观评价技术和人类视觉特性，从图像质量评 价的流程两个方面出发，提出了两种改进的结构相似度的评价方法：基于小波 分解的区域划分的方法w rs s i m 和基于图像内容加权的方法w cs s i m 。 基于小波分解的区域划分的方法w rs s i m ，考虑h v s 的一些特性，将小 波引入到结构相似度的评价方法中。它首先进行一级的小波分解，采用分解后 的近似分量建立单尺度的结构相似度评价映像，然后用水平分量和垂直分量的 组成的幅傻进行简单的区域划分，使得对于各种不同类型的失真获得更好的评 价性能。 基于内容加权的改进算法则从评价流程的汇聚角度出发，考虑了不同图像 内容对于人眼的视觉兴趣，从而赋予不同的权值，同时修正了单尺度结构相似 度中结构分量为负值的不合理情况。基于a r c c t g 曲线的权值函数考虑了人眼对 变化范围非常大的区域重视程度相当，权值变化并非无限增长的情况，权值更 加合理， 通过在l i v e 图像库上与峰值信噪比，单尺度结构相似度，多尺度结构相 似度仿真比较，实验结果表明，改进的算法提高了对于不同失真类型的评价性 能。 关键字 图像质量评价，结构相似度，多尺度结构相似度，人类视觉系统 浙江大学碗士学位论文 a b s t r a c t a sd i g i t a li m a g e sa r es u b j e c tt oaw i d ev a r i e t yo fd i s t o r t i o n sd u r i n gi m a g e p r o c e s s i n ga p p l i c a t i o n , i ti sn e c e s s a r yt od e v e l o po b j e c t i v ei n a g eq u a l i t ym e t r i ct o e v a l u a t et h ed e g r a d a t i o na u t o m a t i c a l l y c o n s i d e r i n gi m a g e sa l ep r e p a r e df o rh u m a n e y e s , t h er e s u l to f i n d e xm u s t c o n s i s t e n tw i t hv i s u a lr e s u l t s t k sp a p e ra n a l y s i sp r o p o s e de v a l u a t i o na l g o r i t h m s , h u m a nv i s u a ls y s t e m a n d t w o a s p e c t s o f q u a l i t y a s s e s s m e n tf l o w , t h e np r e s e n t st w o i m p r o v e d s t r u c t u r a l s i m i l a r i t yb a s e di m a g eq u a l i t , a s s e s s m e n t ：m e t r i co fr e g i o n - p a r t i t i o n e d b a s e do nw a v e l e t ( w rs s n v oa n dc o n t e n d - b a s e dw e i g h t e dm e t t l e ( w c _ s s i m ) 。 w rs s i mc o n s i d e r ss o m ec h a r a c t e r i s t i co fh u m a nv i s u a ls y s t e m , p r e s e n t sa w a v e l e td o m a i ni m a g es i m i l a r i t y 矗l e a 羽鹏i tm a k eu s eo f t h ec o e 伍c e n t st oc o n s t r u c t t h es s i mi n d e x , t h e nu s et h ev e r t i c a la n dh o r i z o n a lc o e f f i c e n t st op a l i t i t i o nt h e r e g i o n t h en e w i n d e xc a ne v a l u a t i o nv a r i e t yo f d i s t o r t i o n sm o r ee f f i c e n t l y w c s s i mc o n s i d e ra n o t h e ra s p e c to f t h ee v a l u a t i o nf l o w t h es p a t i a l s t r a t e g i e s ，a s s i g nv a r i e t yw e i g h ta c c o r d i n gt oi m a g ec o n t e n t sw h i c hh a v ed i f f i c n t s e n s i t i v i t i e st oh u m a ne y s i tr e v i s et h es s i mi n d e xw o u l db eu n d e rz e r o 谢t h s o m ec o n d i t i o n t h en e ww e i g h tf u n c t i o nb a s e do n a r c c t g c u r v e ，c o n s i d e rt h e s i t u a t i o nt h a ts i g n i f i c a n c ef o re y e so ft h o s er e g i o nt h a th a v eg r e a tv a r i a n c ea l e a l m o s tt h es a m e ，i tm e a n st h ev a l u eo fw e i g h tf u n c t i o ni sf i n i t ew h i c hi sm o r e c o n s i s t e n tw i t l lh u m a nv i s u a ls y s t e m a n dm o r ea c c e p t a b l e e x p e r i m e n t a lc o m p a r i s o n sw i mp s n r , s s i m ，m s _ s s i mo o l i v e q u a l i t y a s s e s s m e n td a t a b a s es h o w st h a tn e w l yp r o r o s e di n d e xc a na c h i e v eh i g h p e r f o r m a n c ew h e ni tc o m e st ov a r i e t yt y p e so f d i s t o r t i o n s k e y w o r d s i m a g eq u a l i t ya s s e s s m e n t ，s t r u c t u r a ls i m i l a r i t y ( s s i m ) ，m u l t i s c a l e s u c t u r a l - s i m i l a r i t y ( m s - s s l m ) ，h u m a nv i s u a ls y s t e m ( h v s ) 一l l 浙江大学硬士学位论文 图表目录 图2 1 快速小波变换框图。7 图2 2 小波分解过程。8 图2 - 3 重构过程 图2 4 视觉系统简易模型9 图3 - 1 图像质量评价一般流程1 1 图3 2 基于差错敏感性的评价方法框图 图3 - 3 自项向下评价方法框图 1 2 图3 - 4 模型预测分与m o s 散点图。1 5 图3 - 5m i n k o w s k 汇聚 1 5 】 图3 - 6p q s 结构图【1 6 】 1 6 1 7 图3 7d v q 模型框图【9 】1 8 图4 1 基于小波分解的质量评价流程框图2 1 图4 2l e n a 图像一级小波分解2 1 图4 3w rs s i m 流程图2 3 图4 - 4 多尺度结构相似度测量系统框图2 4 图4 5 多尺度测量近似框图2 5 图4 6 各种模型的预测分与m o s 的散点图2 8 图5 1 原始参考p l a l 3 e 图【2 0 l 3 l 图5 2 不同区域模糊处理3 2 图5 3 基于图像内容加权的工作流程图3 3 图5 _ 4 加权算法与其它模型结果比较3 6 图5 5 一组测试例子4 2 浙江大学硕士学位论文 1 1 研究背景及意义 第1 章绪论 数字图像就是以数字形式的数据进行存储处理的图像。数字图像处理，就是 对图像进行各种加工以改善图像的效果，为图像分析获取相关信息做准备，完成 普通图像处理技术无法达到的效果，它是图像到图像的过程。随着计算机技术， 多媒体技术，通信技术迅速发展，数字图像的应用越来越广泛，广泛应用于众多 的科学和工程应用，如医学，气象，通信，影视，数字图像处理技术逐渐成为计 算机应用的一个分支。 数字图像处理的各个环节中，如采样，处理，编码，压缩，存储，传输过程， 虽然是图像到图像的过程，但不可避免的会使图像处理前后发生变化，因此会造 成处理前后图像之间的差异，也就是在处理过程中引入失真，这些失真体现在人 类的视觉感知上就是图像质量的改变。各种压缩编码技术，都是在一定的图像质 量损失前提下，利用图像中存在的冗余信息，以尽可能少的码流来表示图像，以 节省存储空间传输信道，减少图像处理的时间和复杂度；同样图像传输过程中由 于噪声等原因也会导致图像质量下降。另外一些图像处理技术则会提高图像质 量，例如图像增强将图像中感兴趣的特征有选择的突出，而衰减不需要的特征， 提高图像的可懂度，改善图像的主观视觉显示质量；图像复原则通过建立”降质 模型”，再利用该模型，补偿输出的图像，恢复原始图像也提高了图像质量。在 这些数字图像处理系统当中，采用不同的技术方案，会有不同的系统消耗，也会 产生不同质量的图像。由于图像信息的接收终端是人，而且图像系统输出的图像 一般也是给人观察和评价的，所以各种图像处理技术及相应的应用系统，终极目 标都是希望可以获得好的视觉效果。图像质量也就成为验证所采用的图像处理技 术是否得到符合技术要求的指标，因此有必要研究图像质量评价方法，用于评估 各种处理技术引起的图像质量变化。 研究图像评价方法，具有广泛的现实意义。建立相应的评价模型，同时将 模型应用到各种图像处理系统当中，首先，它可以快速自动的评估图像处理技术 造成图像质量变化，确定图像处理技术的可行性；第二，它也可以用于评估同类 处理过程的不同技术方案的性能效果；第三，它可以进行性能评估作为判别基准， 以确定采用何种处理技术 1 】。由于图像信息的重要性，图像质量评价是图像信 息工程的重要技术，图像质量评价实际上就是对图像处理技术质量的评价，研究 图像质量评价方法，可以推动各种处理技术的蓬勃发展，同时也促进了各种处理 技术的应用，对于图像处理技术发展及应用具有重要意义。 浙江大学硕士学位论文 1 2 图像质量评价方法概述 图像质量评价方法分为两种：主观评价法和客观评价法。主观评价方法就是 让观察者根据一些事先规定的评价尺度或自己的经验，对测试图像按视觉效果提 出质量判断，并给出质量分数，对所有观察者给出的分数进行加权平均，所得的结 果即为图像的主观质量评价；客观评价方法则是通过建立数学模型，进行图像处 理后得到量化指标或参数来衡量图像质量【2 】。 在实际应用中，人眼是图像接收处理的终端，评价的结果必须符合人类视觉 系统( h v s ) 的视觉特性，最合理的评价法应该是主观评价法，一般采用m o s ( m e a n o p i n i o ns c o r e ) 或d m o s ( d i f f e r e n t i a lm o s ) 指标。但是主观评价法需要一定的样 本空间，必须组织观察者对待评价图像进行评分，汇总得到每幅图像的质量分， 费时费力，成本较高且不能自动应用于数字图像处理系统中，因此课题研究的主 要集中在客观图像质量评价方法。 在评价过程中，根据是否具备原始参考图像( 理想图像) ，客观评价方法可 以分成全参考( f u l l - r e f e r e n c e ) ，部分参考( r e d u c e d r e f e r e n c e ) ，无参考 ( n o r e f e r e n c e ) 三种方法i t 。 全参考质量评价方法 全参考质量评价方法，是指具有相对于失真图像的理想图像，它由高质量的 采样获得，而且要避免由于压缩存储传输引发的错误。但是由于这样的图像获得， 相比普通的失真图像，需要有更多的资源代价，因此客观质量评价方法应用于实 际的系统中不现实，更多的是用于图像处理算法的测试上。 部分参考质量评价方法 部分参考质量评价方法，是指不具备完整的原始参考图像，但可以通过 s k l e c h a n n e l 获得理想图像的部分信息，结合失真图像进行质量评估。部分参考的 质量评价方法的基本框图和全参考质量评价方法是基本相同的，所不同的输入的 不是完整图像，而是从图像中抽取的特征，可以灵活采用哪一个及多少特征信息 进行评价。它的计算复杂度降低了，但精确度显然不如全参考的方法，而且一般 针对于某种特定的降质。引起图像降质的因素很多，目前很多部分参考的方法都 是针对基于d c t 的压缩编码如j p e g 引起的图像降质。 无参考质量评价方法 无参考质量评价方法是指在没有原始参考图像的情况下对图像的质量进行 评价p 9 。由于它不需要原始图像的信息，该方法可以用在无法取得原始图像的 场合，如网络传输，或者根本不存在原始图像的场合，如用数码相机获得的图像。 由于无参考评价方法不需要参考图像，模型相对比较复杂，为了得到比较准确的 质量预测，花费的代价也比较大，因此应用也比较有限。 一1 一 浙江大学硕士学位论文 1 3 研究现状 目前，国外一些专门机构和企业如视频质量专家组v q e g ( v i d e oq u a l i t y e v a l u a t i o ng r o u p ) 【3 】，他们在1 9 9 8 年1 月的会议上制定了测试视频质量客观评价 模型性能的总体计划和过程，并向全世界广泛征集具有较好性能的客观视频质量 评价模型。共有来自不同国家的1 0 个模型被提交。2 0 0 0 年3 # j v q e g 完成测试并 给出结果，其中的几个模型的性能统计相等，他们的量度都能在大部分测试条件 下与主观评价有很好的相关性；但有3 个模型由于技术或者软件的原因，不能产 生正确的结果，在2 0 0 3 年进行了第二阶段的测试。国内，北京大学等科研院校 已经从事该领域的研究，并取得部分成果【4 】。但总体来说，图像质量评价仍然 很不成熟，存在着很多问题等待解决。 相对于全参考的图像质量评价方法来说，部分参考和无参考的质量评价方法 研究得比较少，直到近年来这个课题开始引起人们的关注，v q e g 在他们的测试 计划报告中提出了部分参考质量评估框架作为评价数字图像视频质量的方法之 一，已经把部分参考和无参考的视频质量评价方法的标准化作为未来的工作方 向。但是全参考的质量评价方法，能够广泛应用于图像处理技术算法测试上的， 对于研究新的图像处理技术，仍然具有重要的研究意义，本文中的研究主要是针 对全参考的评价方法。 作为最简单的全参考评价方法，均方差( m s e ) 和峰值信噪比( p s n r ) ，由于 模型简单，计算方便、物理意义清晰，成为广泛采用的方法。但这些模型将数字 图像看成了孤立的点的集合，忽略了组成图像结构的各个点之间很强的关联性， 同时将信号错误明显度与感知的视觉失真直接联系，这与人类视觉系统( h v s ) 的 视觉特性不相符合 5 。因此后来的一些研究，基于人类视觉系统( h v s ) 的特征建 立模型，如d a l y 的视觉差异预澳i v d p ( v i s i b l e d i f f e f e n c epr e d i c t o r ) 模型、t e o 和 h e e g e r 的矩阵模型、w a t s o n 的d c t 矩阵模型、b r a d l e y 的小波域模型w v d p 等 6 ，7 ，8 ，9 ，1 0 这些模型，基于h v s 的视觉特性，在评价之前对图像进行一些处理， 试图模拟人眼接收图像之后一些前期的行为特性，以提高评价性能，使结果更加 符合人类的视觉效果。这种自底向上建立的模型，由于h v s 的复杂以及非线性， 人类对它的认知有限，在模拟h v s 的特性上仍然存在很大的不足，而且都是基于 一定的假设前提下进行的，因此得出的评价结果仍然不理想。 最近，z h o uw a n g 等人提出了一种全新概念的自顶向下的客观评价方法：结 构相似度( s s i m ) 的图像质量评价方法，其基本思想是：人类视觉系统的主要 功能是从视觉区域提取图像的结构性信息 1 】。它比较两幅图像的相似度，而不 是差值，获得图像的结构相似映像，将图像分成了亮度，对比度，结构分别进行 一3 一 浙江大学硕士学位论文 比较，然后进行加权乘积，从而得到客观预测质量分。 1 4 本文主要研究工作 本文在分析了基于结构相似度的全参考客观图像质量评价方法基础上，从如 何创建更好的评价映像图和将评价映像图转化成一幅图像单一的评测质量分两 个角度，结合人类视觉系统特性和小波变换的良好特性，提出了两种基于结构相 似度全参考客观图像质量评价方法：( 1 ) 基于小波分解的区域划分评价方法 w r _ s s i m ：( 2 ) 基于图像内容加权评价方法w c _ s s i m 。基于小波分解区域划分的 改进算法w r _ s s i m 将数字图像进行区域划分，结构相似度；加权的改进算法则 考虑到人眼对于不同纹理区域有不同的敏感程度，在获得结构相似映像之后，采 用更加合理的权值函数，得到原始空间域的加权的结构相似度评价方法 w c _ s s i m 和一级小波分解后的加权w ws s i m ，使模型的评价性能与人眼的特性 更加吻合，效果更好。 1 5 本文结构 本文的结构安排：第二章主要介绍一些关于数字图像的相关概念，人类视觉 系统的特性，小波变换；第三章则介绍了图像质量评价的一般流程，评价指标以 及当前的全参考数字图像质量评价方法；后面两章则提出了两种新的基于结构相 似度改进的质量评价方法，并对算法进行阐述，实验及结果分析，最后则是对本 文的工作总结和展望。 一矗一 浙江大学硕士学位论文 2 1 基本概念 第2 章基础理论 数字图像及其表示 数字图像就是以数字形式的数据进行存储处理的图像。一幅图像可以定义为 一个二维函数f y ) ，其中x ，y 是空间坐标，而f 在任意一对坐标( x ，y ) 处的幅度称为 改点出图像的亮度或灰度，当，y 和f 的幅值都是有限的离散值是，则为数字图像。 对于一幅m 行n 列的图像，一般通过如下m x n 矩阵表示： f ( m ，功= f ( 0 ，0 )f ( o ，1 ) f ( 1 ，0 )f ( 1 ，2 ) f ( m - i ，0 ) f ( m 一1 ，2 ) f ( m ，o ) f ( m ，2 ) f ( 0 , n - 1 ) ，( 1 ，n - 1 ) 厂( 坍一l ，栉一1 ) f ( m ，行一1 ) 厂( 0 ，玎) f ( 1 ，玎) f ( m - i ，m f ( m ，疗) ( 2 - i ) 均方差 对大小为m x n 的图像f ( m ，玎) ，均方差m s e 的定义为： 一岛) 2 旌e = 些坚坐一 (22)mx n 、7 其中 ， 分别表示原始图像和处理后的图像，m ，n 表示图像的高与宽。 峰值信噪比 峰值信噪 ：i ：；p s n r ，本质上与m s e 相同，定义为： 脚= 1 。地。面2 5 5 x 2 5 5 ( 2 。3 ) 峰值信噪比反映的是整个图像的失真程度，一般情况下，p s n r 越大的图 像其质量越高。 小波变换 小波变换是空间( 时间) 和频率的局部变换，因而能有效地从信号中提取信 息。它通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析，解决了傅 立叶变化所不能解决地许多困难问题它的定义如下： 设r nl l ，且a rc a 不等于0 ) ，b r ，则下式组成的函数族 1 ，b o 0 对应的离散小波变换可由下式 定义： 卫m ( f ，) = 砰 f ( t 肿一峨冲( 硐 为了便于计算机处理，对平移时间进行离散化，且保证小波为标准正交的， 选择8 0 = 2 ， 6 0 = 1 ，则离散小波变换转化为 卫m 竺 ( e ) = 22 “懈2 一呲 ( 2 7 ) ，1 7 、 具有整数平移，二进值尺度，可进一步推广到二维小波变换 快速小波变换 一般采用的小波核具有可分离性，尺度可变性和平移特性，可用三个可分 的二维小波来表示： ( x ，y ) = ( x ) 纵y ) ( 2 8 ) 妒( x ，y ) = 烈x ) ( y )( 2 - 9 ) y o ( x ，y ) = 妒( x ) ( y ) ( 2 - 1 0 ) 其中妒”( x ，y ) ，( x ，y ) ，y o ( x ，y ) 分别称为水平，垂直和对角小波，并且 一个二维可分的尺度函数是 烈x ，y ) = 妒( x ) 认y ) ( 2 - 1 1 ) 快速小波变换( f w d 是一种利用d w t 系数间的关系，实现离散小波变换 ( d w t ) 的高效计算，基于m a l l a t 算法的框图如下： 一6 一 浙江大学硕士学位论文 图2 - 1 快速小波变换框图 其中i 为输入，hv ( ) 为高通滤波器，h 9 ( ) 为低通滤波器，a 为通过两个 低通滤波其产生的分量，因此称为近似系数：h ，v ，d 分别为对应水平，垂直， 对角线细节系数。 2 2 数字图像处理与小波变换 数字图像处理主要是利用计算机对图像进行分析处理，以达到改善图像质 量，获取相关的图像特征信息的目的，可简单的划分为：低级，中级和高级处理。 低级处理包括原始操作，如降低噪声的图像预处理，对比度增强和图像锐化，它 是简单的图像到图像的过程；图像的中级处理涉及诸如图像分割将图像分为区域 或对象，然后对对像进行描述，以便把它们表示成适合计算机处理的形式，并对 对象进行分类( 识别) ，它图像输入到特征( 边缘，轮廓等) 输出的过程；高级 处理则执行与人类视觉相关的感知函数，来对识别的对象进行确认。 在早期的图像分析处理中，较多采用傅里叶分析的方法。傅里叶分析解释了 时域与频域之间内在的联系，反应了信号在整个时间范围内的全部频谱成分，虽 然具有很强的频域局域化能力，但并不具有时间局域化能力。小波变换是空间( 时 间) 和频率的局部化分析，它通过平移运算和对信号( 函数) 逐步进行多尺度细化， 最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求， 从而可聚焦到信号的任意细节，解决了f o u r i e r 变换的困难问题。当对数字图像进 行多分辨率观察和处理时，离散小波变换( d w t ) 不但具有有效，高度直观的描述 框架及意多分辨率图像存储，还有利于深入了解图像的空间域和频域特性，而傅 浙江大学硕士学位论文 里叶变换仅显示图像的频率特性。 小波分析也可以表示成如下图： a 2 h 2 i a 1 l ) h 1q 均h 1 v 2d 2 v 1 ( h l )d 1 ( h i - i )v 1d 1 图2 - 2 小波分解过程 从小波分解的过程，可以容易发现小波分析具有的良好特性： 1 多尺度分析。每当输入i 通过小波分析的滤波器组时，输入便会被分解成4 个较低分辨率( 或低尺度) 的分量a ，h ，v ，d ，分别对应于通道l l , l h ，h i _ , h h 的输出。 2 方向敏感性。小波变换具有方向敏感性，二维小波分解可以看成图像在一 组独立的，具有空间方向性的频道上的分解，其中l l 对应于最低频成分，相对于 原始突袭那个的低通滤波；l h 给出水平方向的高频成分和水平方向的低频成分； h l 给出水平方向的高频成分和垂直方向的低频成分；h h 给出水平方向的高频成 分和水平方向的高频成分。 3 局部分析特性。对应小波分解图，输入i 经小波分解后转化为a ，h ，v ，d ，其中 l h 输出h 表征的是图像的水平边缘信息，而h l 贝j 是垂直边缘信息。 同样的可以通过1 分解出来的4 个通道分量，进行重构得到1 7 a 2 h 2 h 1 a 1 ( l l )h 1 ( l 固 v 2d 2 i v 1d l v 1 ( h l )d 1 ( 蛐田 2 3 人类视觉系统特性 图2 - 3 重构过程 随着人们对人类视觉系统( h v s ) f l 3 研究，逐渐获得了一些人眼的视觉特性， 其中研究较多的是多通道特性，对比敏感度，掩盖效应，视觉非线性。人类视觉 系统的简易模型如下图所示： 一8 一 浙江大学硕士学位论文 图2 - 4 视觉系统简易模型 1 多通道特性。心理生理学的研究得到，视觉皮层神经元，会对中心值附 近一定区域的空间频率和方向作出响应，具有多个通道，因此可以用一组具有不 同方向，不同频率带宽的滤波器组表示。 2 视觉非线性。表示人眼对亮度光强变化的响应是非线性的，如韦伯- 费赫 涅尔定理( w e b e r - f e c h n e r ) 论述的，感知的亮度s 为： s = k l n b + k o = 定】妒+ k ( 1 2 ) 其中k = k l n l 0 ，k 为常数，k 为与整个图像的平均亮度相关的常数，b 为客 观亮度。式( 2 - 4 ) 说明了人眼感知亮度与实际亮度b 的对数成线性关系。 3 对比灵敏度函数( c s f ) 。人眼对对比度的敏感度与激励的颜色，空问和时 间频率相关，它的时空分离特性使得我们可以近似用时空可分离的部分线性组合 来表示。m a n n o s 和s a k r i s o n 等人通过大量的实验建立了c s f 的表达式，以及对应 的c s f 曲线 i i ，2 3 。 = 2 6 ( 0 1 9 2 + 0 1 1 4 f ) e x p - ( o 1 1 4 f ) 1 】 ( 2 1 3 ) r ： 其中，空间频率f = + 力，f x ，分别为水平，垂直方向的空间频率。 4 。掩盖效应。当一个原本可感知的激励，由于另一个可感知的激励的存在而 变得不容易被感知，这种激励之间的相互作用的现象就是掩盖效应。 5 合并。图像信息在经过人眼视觉系统的前期处理之后，存在于不同通道的 信息会在脑部汇聚合并成总的感知映像。 另外，人眼还具有刚辨知( j n d , j u s tn o t i c ed i f f e r e n c e ) 的视觉感知特性 3 0 】， 也就是说人眼对于感知的信号具有一个阙值范围，只有落在这个范围内才容易被 人眼感知，反之则会被人眼所忽略。 人类的视觉系统的多通道特性，可以获取图像的整体印象，同时也可以获取 细节部分，而图像的整体和细节刚好分别对应于低频和高频成分。小波变换的多 分辨率特性，刚好可以通过逐级变换，获得不同尺度下不同的特性，提供多通道 的解析结果。图像在不同分辨率或不同尺度下所表现出来的特性不同，在高分辨 率主要集中在图像的细节特征上，而在低分辨率主要集中在图像的宏观结构上， 因此研究图像时可以利用不同的分辨率来全面描述图像。 9 浙江大学硕士学位论文 人眼对图像的纵向和横向敏感于其它方向，而小波变换具有方向敏感性，二 维小波分解可以看成图像在一组独立的，具有空间方向性的频道上的分解， l l ，l h ，h l ，h h 分别给出了水平垂直方向的高低频成分。 人眼的视觉很容易从图像中提取出其中的边缘信息，小波变换同样具有提取 图像边缘这样的局部分析特性，在小波分解中l h ( 垂直方向的高频成分) 给出 水平边缘信息，而h l n 给出垂直边缘信息( 水平方向的高频成分) 。 由于小波的良好特性，被广泛应用于图像压缩，特征提取，图像分析等图 像处理过程中，而且从上面的分析可以看出，小波分析具有与人类视觉系统的 相匹配很多特性，因此小波分析也逐渐被应用于图像质量评价方法，以获得与 视觉效果更加符合的性能结果。 2 4 小结 本章主要介绍了数字图像及图像处理的一些基本概念，叙述了小波变换的概 念，详细分析了小波变换的分解过程，进一步分析y d , 波变换特性和人类视觉系 统的特性，以及二者之间的一些相关性，指出结合小波变换能够更好的进行图像 质量评价。 一1 0 一 浙江大学硕士学位论文 第3 章图像质量评价技术分析 3 1 图像质量评价的一般流程 3 1 1 评价流程 对于全参考的图像评价方法，根据输入的参考图像和待评价图像，将图像分 块比较得出每部分的结果，获得对应于图像的质量映像图( q u a n t y m a p ) ，然后根 据质量映像得到量化的预测质量分。流程图如下： 获褥蕨壁映像 一! i 图3 - 1 图像质量评价一般流程 整个流程主要集中在两个方面： 1 如何针对图像构建一个好的图像质量映像； 2 采用什么汇聚策略将质量映像转化成图像量化的预测质量分。 图像质量评价流程主要可以分为自底向上和自顶向下两种方法。基于对人类 视觉系统的学习，传统的图像质量评价流程就是建模人类视觉系统功能模型的过 程，典型的差异敏感性的评价方法的框图如- f 2 7 ： 图3 - 2 基于差错敏感性的评价方法框图 它将输入的2 幅图像进行预处理，然后利用对比度函数( c s f ) ，多通道分析， 差错归一化处理，差错汇聚最后得到图像质量失真的评价。这种自底向上的方法， 通过对人类视觉系统特性的认识，采用各种预处理过程，来模拟人类视觉系统得 各种特性，使整个系统与视觉系统的功能接近，提高评价结果的客观合理性。最 近的一些研究，大都采用自顶向下的方法，利用人类视觉系统的功能特性，提取 图像中的特征信息，进而建立相应的评价模型，而不是具体化到利用某一个处理 过程进行模拟。它的工作流程图如下： 一1 1 浙江大学硕士学位论文 图3 3 自顶向下评价方法框图 如最近w a n gz h o u 提出的基于结构相似度评价方法，基于一个假设：人类视 觉系统的主要功能是从视觉区域提取图像的结构性信息。因此在评价中，首先提 取参考图象和评价图像的结构信息即亮度，对比度，结构，然后构造相应的评价 函数，获得整幅图像的评价映像，然后采用某种汇聚策略得到评价结果。由于小 波分析的特性与人类视觉系统特性的良好吻合，可以在评价流程上进行一些改 进，将小波分解应用到评价流程中评价映像的建立，同时根据人眼的视觉特点也 可以调整汇聚策略，以得到更加符合视觉特性的客观合理的评价结果。 3 1 2 汇聚策略 对于图像质量评价方法的研究，早期一般都是只考虑评价流程的第一阶段， 也就是如何构建图像质量映像，但是随着研究的深入，特别是h v s 特性的认识， 人们发觉，通过采用不同的汇聚策略，可以得到更加合理有效的评价效果，更符 合人眼的视觉效果。目前常用的汇聚策略有：m i n k o w s k i ，基于局部质量失真加 权，基于图像内容加权【1 2 】。 m i n k o w s k i 汇聚 假设m f 表示对于评价映像中第i 个位置的质量失真值，贝z j m i n k o w s k i 汇聚表 示如下： 1 m = 告m ， ( 3 一1 ) r j ， i = 1 其中n 表示评价的质量，失真映像中采样点数目，p 为权重。作为一个例子，我们 假设胁j 表示图像间的像素点的灰度差值，那么- 当p = t 时，表示的就是平均绝对 误差m a e ( m e a na b s o l u t ee r r o r ) ，当p = 2 时，这种汇聚就转化成均方差方式 m s e ( m e a ns q u a r e de r r o r ) m i n k o w s k i 虽然计算简单，物理意义清晰，但是它只是简单的将每个位置的 值平均拼凑起来，没有考虑差异性，实际上人眼在观察时，像高失真区域的点容 易受注意，因而必须赋予高的权值。以增加其重要性。 基于局部质量，失真加权汇聚 一】2 一 浙江大学硕士学位论文 在汇聚过程中，不同的位置的值有不同的重要性，基于m i n k o w s k i 平均汇聚 的思想不满足这个特性，人们考虑了加权的思想，由此产生了基于局部质量，失 真加权汇聚。 wf m ， m = 上号一 w ， f；l(3-2) 它通过对不同位置的点赋予不同的权值1 峨，以达到区分不同位置处点的重 要性。对于的m 定义一般从垅i 本身出发，即 n = f ( n t ) ( 3 - 3 ) 如果所i 表示失真评价值，那么厂( ) 则是一个随朋f 增加而增加的增函数； 反之如果m f 表示质量值，那么厂( ) 将是随所f 变化的减函数，以符合对于高失 真应该具有更高的权重要求。 基于图像内容加权 基于局部质量失真加权汇聚考虑了不同质量，失真所具有的不同权重，但是 它的权值函数，( ) 的选取是基于评价值朋，自身，更多的权值函数的选取，体现 的是权值与评价值m j 之间的一个大致关系。这就启发人们从图像本身出发， 考虑图像内容与权值函数的选取。假设x 表示原始图像，y 表示待评价的失真图像， j 和咒分别为从图像中提取出来的内容信息，新的权值函数 嵋2 9 l 薯，乃j( 3 珥) 在 1 3 】中就提出了一种基于能量加权的汇聚策略，权值函数的选取就是基于 这种思想的。它的权值函数为 g ，力= + 弓+ c( 3 一s ) ，r，r 其中。，和。y 表示x ，y 的方差，c 为一个常量。它从高能量或高方差图像区 域的包含更丰富的图像信息出发，表明这些区域必须赋予高的权值，因为它们更 能吸引人眼的注意。 一1 3 一 浙扛大学硕士学位论文 本节从图像质量评价的一般流程出发，讨论了评价流程中两个阶段，从如何 构建评价映像，到将评价映像转化成客观预测质量分的汇聚策略。但是评价映像 和汇聚策略并不是对立的过程，相反的统一的过程，采用什么样的思想进行评价 映像的建立，决定了汇聚策略的考虑，同样汇聚策略也制约着评价映像的建立， 像传统的m s e p s n r 方法这两个阶段是统一的过程，将两个阶段分开讨论只是为 了使图像质量评价的流程更加清晰。 对于算法评价指标，主要是针对建立的模型是否能够有效的评价图像质量， 所得到的图像客观预测质量分，与人类视觉的效果是否相符合，这是由与图像 信息的最终接收端是人眼决定的。因此在考虑客观评价方法的算法评价上，有 必要针对主观评价方法进行阐述。 3 1 3 算法评价指标 主观评价指标 主观质量评价方法是主观质量分m o s ( m e a no p i n i o ns c o r e ) 。它有2 类度量 尺度，即绝对性尺度和相对性尺度【1 4 】。 对于绝对性尺度，首先它用某些原始标准图像建立起质量等级标准，如分为 优，好，中，差，劣；然后，组织观察者观看待评价的图像，并与标准图像质 量等级作比较，得出待评价图像的等级；最后，对实验者的等级转化成打分， 进行归一化平均，采用5 分制。绝对性尺度和相对性尺度的一个例子 3 1 1 如下： 绝对性尺度 5 优 4 好 3 中 2 差 1 劣 相对性尺度 一群中最好的 好于该群平均水平的 该群平均水平 差于该群平均水平的 一群中最差的 客观评价指标 客观评价指标我们采用v q e g 提出的评价方法，包括量化指标和客观预测 质量分与m o s 或d m o s 的散点图【3 ，3 2 ，3 3 1 。其中量化指标包括c c ，s r o c c ， r m s e ，m a e ，o r 。一般来说，性能指标中相关系数c c ，s r o c c 越大越好， r m s e ，m a e ，o r 则越小越好。 模型客观预测质量分与m o s 散点图如下所示： 一1 4 浙江大学硕士学位论文 o = o 图3 4 模型预测分与m o s 散点图 其中非线性回归曲线采用v q e g i i ( 2 0 0 3 ) 报告中的l o g i s t i c 函数。图中每个 标记( 号) 代表一幅测试图像，水平、垂直轴分别表示各模型客观预测质量分和 主观分( d m o s ) 3 2 图像质量评价分类方法 3 2 1m s e ，p s n r 均方差方法( m s e ) 或峰值信噪比( p s n r ) 作为早期比较常用方法，它基于 m s e 的最小值，通过逐像素点比较参考图像和待评价图像像素点之间差值，它是 基于m i n k o w s l d 汇聚策略的评价方法，对于式( 3 - 1 ) ，当取值为2 ，所f 对应于参 考图像与待评价图像之间的像素点灰度差值时，实际上就转化为如下的m s e 计算 式： 一厶) 2 m s e = 坚缈幽，_ 一 ( 3 - 8 ) m n 其中 ，办分别表示原始图像和处理后的图像，m ，n 表示图像的高与宽。从m s e 评价式( 3 - 2 ) 可以看出，m s e 模型简单，计算复杂度小，而且物理意义清晰。但是 从3 - 2 我们也可以发现，m s e 方法只是将图像看成了孤立的点之间的集合，通过 一1 5 浙江大学硕士学位论文 计算两幅图像每个点的差异值，然后利用m i n k o w s k i 式的汇聚策略，得到每幅图 像的评测分。 这种方法忽略了组成图像的每个点之间具有很强的关联性，正是这些点之间 的关联性组成了图像的结构，而自然图像又是高度结构化的，因此评价的结果与 人类视觉系统的特性不相吻合。后来的一些研究中通过对人类视觉系统的学习， 在评价的前期阶段，将图像先通过预处理变换，这些变换具有很小或基本没有造 成视觉信息损失，同时能达到消除输入信号之间的相关性，主要采用的是多尺度， 带通，方向性的线性变换，但事实上经过线性变换处理过程，仍然存在着很强的 关联性，因此必须采用复杂的非线性变换来进一步消除相关性。 同时m s e 方法将两幅图像之问的差异与可感知的视觉失真相联系，同样的差 异值也就代表着相同的视觉失真，对应于同样的图像降质，获得的质量评测分也 就相同，事实上在很多情况这与实际不相符合，作为例子，给出一组简单的图片 如下，中间作为原始图像，左右两边为分别添加差错信号后的图像，左边为全l 的值，右边的值也为1 ，只是符号随机在+ ，- 之间变化，可以看到，相对中间的参 考图像，左边的图像与右边的相比，图像质量的效果没有多大变化，但是右边的 的形状却与原始图像差异很大。 刚啸洲榭 图3 - 5m i l i l c o w s k 汇聚【1 5 】 差错信号1 与信号2 的得出的m i n k o w s k i 是一致的，但是效果差别较大。这仅 仅只是一个粗糙的简单的示例，真正的图像远比这复杂的多，而且不是这样简 单的点的集合，但是已经能够体现，对于m s e p s n r 这种以m i n k o w s k i 汇聚的 方法，同样的差值不意味着有同样的效果。根本原因是，这种基于对随机误差 进行统计平均的客观质量评价方法，没有考虑到人的视觉感知特性，用他们所 求得的结果常与人们主观视觉效果不一致，这是因为均方误差和峰值信噪比从 总体上反映原始图像和恢复图像的差别，并不能反映局部像点有较大灰度差别 一1 6 浙江大学颈士学位论文 和较多像点有较小灰度差别等情况，显然，这样对图像中所有像点同等对待， 不能很好反映人眼的视觉特性。 3 2 2 基于h v s 的评价模型 由于开始的一些像m s e p s n r 这些模型，缺少对于人眼视觉特性的考虑， 因此后来展开了一些基于h v s 特性的评价模型的研究。一些研究综合考虑了视 觉的基本特性和误差的结构与分布特征，提出了基于h v s 的评价模型。如 m m i y a h a r a 等人提出了编码图像的质量尺度即p q s ( p i c t u r e q u a l i t y s c a l e ) 2 3 就集中了基于h v s 图像质量评价的大部分主流算法。p q s 算法的思想是：首先 对误差进行预处理，再对误差信号进行分类，计算不同种类的失真因子，通过 主成分分析法，得到相关矩阵及特征值，去掉失真因子间的相关性，误差信号 的能量集中在3 个最大的特征值上，再通过多重线性回归分析，得出评价结果， 结