（信号与信息处理专业论文）无参考图像模糊度估计.pdf

摘要 摘要 视觉信息是人类获取信息的最主要途径，它通过人自身的视觉感知系统获 取，其中图像信息是最主要的组成部分。随着个人计算机、数字通信、多媒体和 网络技术的发展，数字图像和数字视频日益成为信息最重要的载体之一，已经深 入到人们的日常生活，普及到干家万户。在数字图像的获取、处理、编码、存储、 传输和重建的每一个步骤中，通常都会对图像的质量产生影响，如何评价图像质 量成为图像处理和计算机视觉领域的一个基本而又富有挑战性的问题。本论文研 究无参考图像质量评价中一个重要组成部分无参考图像模糊度估计。 本文在研究图像模糊失真特点、模糊过程建模、边缘信息提取、h v s 系统 的显著性特性基础上，提出了基于模板匹配法的无参考图像模糊度估计方法和基 于视觉显著性加权的图像模糊度估计方法。 本论文的研究内容主要围绕图像中的边缘类型分析、高斯模板匹配法和视觉 显著性特性等关键技术进行研究工作。主要的工作和创新成果总结如下： 1 ) 将模板匹配法用于图像模糊度估计中，提出了基于模板匹配法的图像模糊度 估计方法。设计了自适应的断裂边缘连接法优化了边缘检测。建立一个高斯模板 集，通过模板集里的模板与边缘梯度轮廓曲线做模板匹配，计算最佳信噪比情况 下的边缘梯度曲线的标准差。通过所有边缘梯度轮廓曲线标准差的分布计算图像 全局的模糊度。模板匹配法的原理是匹配滤波，匹配滤波具有最大信噪比信号检 测的优点。可以将模板集里的模板视为信号，把边缘梯度轮廓曲线视为滤波器， 滤波器输出的是最佳匹配的模板，用最佳匹配模板的标准差作为该边缘梯度轮廓 曲线的标准差。 2 ) 将图像显著性理论应用到图像模糊度估计中，优化图像模糊度估计结果，使 得估计的图像模糊度和主观模糊度之间具有更高的线性度。图像显著性是指人眼 在观看一幅图像的时候，视点总是会集中在一些有意义的区域，一般而言，这些 有意义的区域是信息量较大的区域。本文引入多尺度的显著性区域提取算法，对 显著性区域赋予更大的权值，增加这些区域的模糊度在图像整体模糊度中的贡 献，从而优化了基本的模糊度估计。 关键词：模糊度估计模板匹配线扩展函数点扩展函数显著性区域 a b s t r a c t a b s t r a c t v i s u a li n f o r m a t i o ni st h em a i nm e a n so fh u m a na c c e s st oi n f o r m a t i o n i ti s o b t a i n e dt h r o u g hh u m a nv i s u a lp e r c e p t i o ns y s t e m i nv i s u a li n f o r m a t i o n ，i m a g e i n f o r m a t i o ni st h em o s ti m p o r t a n tp a r t a l o n gw i t ht h ed e v e l o p m e n t so fp e r s o n a l c o m p u t e r s ，d i g i t a l c o m m u n i c a t i o n s ，m u l t i m e d i aa n dn e t w o r kt e c h n o l o g y ，d i g i t a l i m a g e sa n dv i d e o sa r ei n c r e a s i n g l yb e c o m i n go n eo ft h em o s ti m p o r t a n tc a r r i e ro f i n f o r m a t i o n ，h a sp e n e t r a t e di n t op e o p l e sd a i l yl i v e s ，r e a c hm i l l i o n so f h o u s e h o l d s i n t h ed i g i t a li m a g ea c q u i s i t i o n ，p r o c e s s i n g ，c o d i n g ，s t o r a g e ，t r a n s m i s s i o n a n d r e c o n s t r u c t i o no fe a c hs t e p ，i m a g eq u a l i t ya lei m p a c t e d ，h o wt oa s s e s st h ei m a g e q u a l i t yh a sb e c o m eaf u n d a m e n t a la n dc h a l l e n g i n gp r o b l e mi ni m a g ep r o c e s s i n ga n d c o m p u t e rv i s i o n a sa ni m p o r t a n tp a r to fn o r e f e r e n c ei m a g eq u a l i t ya s s e s s m e n t , n o r e f e r e n c ei m a g eb l u re s t i m a t i o ni st h et o p i ci nt h i st h e s i s b a s e do nt h es t u d i e so f i m a g ed i s t o r t i o nc h a r a c t e r i s t i c s ，i m a g eb l u rp r o c e s sm o d e l i n g ，e d g ee x t r a c t i o n ，h u m a n v i s u a ls y s t e m ( h v s ) a n ds a l i e n c yf e a t u r e s ，t h i st h e s i sp r o p o s e dat e m p l a t em a t c h i n g b a s e dn o r e f e r e n c ei m a g e sb l u re s t i m a t i o nm e t h o da n dav i s u a ls a l i e n c e - w e i g h t e d b a s e dm e t h o di m a g eb l u re s t i m a t i o n t h i st h e s i sw i l lf o c u so na n a l y s i so ft h ee d g et y p e si nt h ei m a g e s ，g a u s s i a n t e m p l a t em a t c h i n gm e t h o da n dv i s u a ls a l i e n c yc h a r a c t e r i s t i c s t h e m a i nw o r ka n d i n n o v a t i o na r es u m m a r i z e da sf o l l o w s ： 1 ) a p p l yt e m p l a t em a t c h i n g m e t h o dt ot h ei m a g eb l u re s t i m a t i o n p r o p o s e da t e m p l a t em a t c h i n gb a s e di m a g e b l u re s t i m a t i o nm e t h o d d e s i g n e da d a p t i v 6 c o n n e c t i n gm e t h o df o rf r a c t u r e de d g e s d e s i g n e dag a u s s i a nt e m p l a t es e t ，u s e e a c ht e m p l a t ei nt h i ss e tt om a t c h i n gw i t ht h ee d g eg r a d i e n tc u r v e sf o rg e t t i n g e d g eg r a d i e n tc h i v ea tp e a ks i g n a lt on o i s er a t i o d r a wp r o b a b i l i t yd i s t r i b u t i o n f u n c t i o n ( p d f ) c u r v eo fg r a d i e n tc u r v es t a n d a r dd e v i a t i o n s ( s t d e v ) ，b yt h e p o s i t i o no fp e a kv a l u eo fp d f c a l c u l a t et h ei m a g ep o i n ts p r e a df u n c t i o ns t a n d a r d d e v i a t i o n 。t h et h e o r yo ft e m p l a t em a t c h i n gi sm a t c h i n gf i l t e r i n gw h i c hh a st h e a d v a n t a g eo fd e t e c t i n gs i g n a lu n d e rb e s ts i g n a lt on o i s er a t i o s u p p o s et e m p l a t e s i ng a u s s i a nt e m p l a t es e ta ss i g n a lt od e t e c ta n de d g eg r a d i e n tc u r v e sa sf i l t e r , t h e o u t p u to ff i l t e rw i l lb eb e s tm a t c h e dt e m p l a t ea n d t h es t d e vo ft h i st e m p l a t ei s t h es t d e vo ft h ee d g eg r a d i e n td e v i a t i o n i a b s t r a c t 2 ) a p p l yi m a g es a l i e n c yt h e o r yt oi m a g eb l u re s t i m a t i o n , a n do p t i m i z e dt h ei m a g e b l u re s t i m a t i o na l g o r i t h m i tm a k e se s t i m a t e db l u rd e g r e ec o r r e l a t ew e l lw i t h s u b j e c t i v ei m a g eb l u rm a r k s i m a g es a l i e n c yi sam e c h a n i s mo fh v s ，t h a tw h e n h v sv i e w i n gi m a g e ，s o m ei n t e r e s t i n ga r e aw i l la t t r a c tm o r ea t t e n t i o n i ng e n e r a l ， t h e s ea r e a sa r em o r es t r u c t u r e d b a s e do nt h em u l t i s c a l ei m a g es a l i e n c yt h e o r y t h i st h e s i sp r o p o s e da no p t i m i z e di m a g eb l u re s t i m a t i o na l g o r i t h m k e yw o r d s ：i m a g eb l u re s t i m a t i o n , t e m p l a t em a t c h i n g ，l i n es p r e a df u n c t i o n ，p o i n t s p r e a df u n c t i o n , s a l i e n c y 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 签字日期地耻 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学 位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 团公开口保密( 年) 作者签名：蓥塞壶翮签名：选塾 签字日期：型塑氆生蛆签字日期：二匕“么二互j 第1 章绪论 1 1 研究背景 第1 章绪论 图像处理领域处理的图像视频据通常是和人的消费产品有关的，比如 i n t e m e t 上的图像服务。消费者观看到的一幅图像或一段视频往往已经经过了多 个阶段的处理，每一个阶段的处理都可能引入失真，这些失真可能会降低图像或 视频的质量。比如，摄像头采集到的图像或视频可能会受到光学镜头、噪声、颜 色校正、摄像头运动等因素的影响。为了节约带宽和存储空间，采集到的图像或 视频会被压缩，为了获得较高的压缩比，通常都会允许这些压缩算法产生一定的 失真。与此类似，数据在传输时产生的比特错误也会产生失真。最后，图像或视 频在显示的的时候可能由于显示器的分辨率太低、错误的颜色校正等因素也会产 生失真。这些不同阶段引入的失真最终会导致图像质量的严重下降。 测量图像的质量，给出图像失真的一个度量，成为一个迫切需要解决的问题。 一种评价图像质量的方法是通过测试者对图像进行主观评分，毕竟这些图像或视 频的最终用户是人。然而这个方法并非简单可行，其原因在于，主观评分费时费 力，效率低下，且我们往往需要的是能够嵌入到系统里面对图像或视频进行质量 评价的算法，以便系统能够实时地调整参数获得最佳质量的输出图像或视频。由 此开辟了客观图像视频质量评价这一研究领域。严格来说图像质量评价不同于 视频质量评价，视频序列的每一帧就是一幅图像，视频质量评价也是基于视频帧 的质量评价为基础的。因此学术界一般将客观图像视频质量评价统称为客观图 像质量评价。 广义的图像质量评价包括单幅图像的质量评价和视频质量评价两个方向 1 ，2 。着两个方向的应用场合不同，但研究方法类似。视频质量评价研究也是以 图像质量评价为基础，对视频序列的每一帧图像做质量评价，最后综合视频中所 有帧或部分帧的图像质量作为视频序列的质量评价。本文涉及到的图像质量评价 主要是针对单幅图像的质量评价。 客观图像质量评价是一种计算机算法对图像或视频的质量进行评价，无需人 为介入，因此实现了高效、实时。这领域的研究兴趣在于开发能够自动测量和 评价图像视频质量的计算机算法。一般来说，客观的图像质量评价可以应用于 诸多领域，诸如图像获取，压缩，传输，显示，打印，恢复，增强，分析和图像 水印。首先，客观质量评价算法可以动态地监视和调节图像质量。其次，它可以 第l 章绪论 用于图像处理系统的算法优化和参数调整。再次，它可以作为图像处理系统或算 法的标尺，既衡量系统或图像处理算法的优劣。 客观图像质量评价算法必须满足两个基本条件可靠性和有效性。可靠性是指 算法能够“准确”地估计图像的质量。这里的准确是指能够获得和人的主观判断 一致的评价结果，具体可以又多个指标来描述“准确”，在本文后面部分将会重 点叙述。有效性是指算法能高效实时地运行。在质量评价算法的应用场合往往需 要实时评价图像的质量， 简而言之，相对于人工的主观质量评价而言，客观图像质量测量致力于计算 机算法自动评价图像或视频的质量。客观图像质量评价研究的目的在于设计算 法，且力争使该算法能够获得与人的主观评价相一致的评价结果。客观图像视 频质量评价( i m a g e v i d e oq u a l i t y a s s e s s m e n t ，q a ) 的方法可以划分为三类： 全参考图像质量评价( f u l l r e f e r e n c eq a ，f r q a ) ，f r q a 算法评价“失真 图像”的质量时可以获得无失真的“理想图像”作为参考图像。无失真的“理 想图像”通常由高质量的图像采集设备获得，且没有经过压缩，传输等任何 会引入失真的处理。 部分参考图像质量评价( r e d u c e d r e f e r e n c e ，r r q a ) ，r r q a 算法评价“是 真图像”的质量时可以获得有关“理想图像”的部分信息作为参考。通过边 信息，比如数字水印，可以获得参考信息。部分参考图像就是通过这种有关 理想图像部分参考信息来评价图像的质量。 无参考图像质量评价( n o - r e f e r e n c en r q a ) ，n r q a 算法无法获得任何有 关“理想图像”信息，只能通过“失真图像”本身来估计质量。由于n r q a 不需要任何参考信息，在任何图像视频质量测量的应用中都适用。然而， n r q a 算法的复杂性也相应地很高。最初的研究人员为了简化无参考图像质 量评价的难度，将无参考图像质量评价分解为多种特定失真类型的无参考图 像质量评价，如无参考j p e g 压缩图像质量评价，无参考j p e g 2 0 0 0 压缩图 像质量评价，无参考模糊图像质量评价等等。 数字图像的模糊是影响图像质量的主要原因之一，也是图像质量评价研究领 域的一个重要组成部分。因此图像模糊度估计需要在图像质量评价的大框架下进 行研究。本文遵循图像质量评价的理论、路线和方法展开图像模糊度估计研究。 2 第1 章绪论 1 2 研究现状 1 2 1 图像质量主观评价 第1 章绪论 测试者受图像内容的影响很小。在d s c q s 测试中，参考图像和失真图像视频同 时都被提供，测试者要同时对两幅图像视频序列打分。两个分值之差作为主观 质量分值。如图1 2 和图1 3 所示的d s c q s 方法的测试过程图解。 图1 2 双刺激连续质量测试过程a 表示参考图像或视频，b 表示失真图像或视频 e x c e l l e n t g o o d f a l r p o o r b a d e c e l l e n t g o o d f a i r p o o r b a d 图1 3 双刺激连续质量评价尺度 1 2 2 无参考图像质量评价 正是由于在很多情况下无法获得“理想图像”的参考信息，或者获取这些信 息的代价太高，无参考图像质量评价方法在近年来获得了广泛的关注，虽然目前 已经有了一些研究进展，但还远远不能满足实际的需求，且还远未成为一个成熟 了的研究领域。目前，无参考图像质量评价己成为研究热点。视频质量专家组 ( v i d e oq u a l i t ye x p e l sg r o u p ，v q e g , h t t p ：w w w v q e g o r g ) 将无参考图像质量评 价的标准制定和模型评价作为下一阶段的工作方向。 无参考图像质量评价不同于全参考和部分参考图像质量评价，它无法获得 “理想图像”的任何信息，仅仅是根据“失真图像”本身作出质量评价，因此无 参考图像质量评价算法的设计是一项充满挑战的工作。除了无法获得参考信息之 外，无参考图像质量评价的难度和复杂度还来自于人的审美、认知、学习、视觉 内容等多种因素，这些因素是无法量化的。因不同的人对图像的主观印象不同， 引入了差异性。然而，无参考图像质量评价可以基于以下假设的框架中进行，既 任何图像或视频的质量都是完美的，除非在采集、处理和重现的过程中引入了失 4 tii十il十ll+il-+上btll十ii+ii_+ii上上a 第1 章绪论 真。因此，无参考图像质量评价简化为图像的失真度量。从而有效地将无法量 化的因素从客观图像质量评价中分离掉。既任意“原始图像”或“理想图像”的 质量都被认为是完美的，不考虑认知、审美和图像的视觉内容的影响 3 ，4 。 无参考图像质量评价仅根据“失真图像”本身来评价质量，这对于没有先 验信息、认知和审美能力的计算机来说是一个很大的挑战。为了降低无参考图像 质量评价的难度，最初的研究者将无参考图像质量评价划分为针对特定失真类型 的质量评价【5 】，如无参考模糊图像质量评价( 模糊度估计) 、无参考j p e g 压缩 图像质量评价( 块效应估计) 、无参考j p e g 2 0 0 图像质量评价( 模糊度估计，振 铃效应估计) 等等，从而降低了无参考图像质量评价的难度。且针对特定失真 类型设计的质量评价算法非常有效。目前，特定失真类型的无参考图像质量评价 成为了研究热点。 在特定失真类型的无参考图像质量评价领域，有一项重要的研究就是模糊 图像质量评价图像模糊度估计。图像模糊可有多种因素导致，一般有成像物 体的运动、散焦、大气扰动、抗混叠滤波、图像压缩、去噪、重采样等。模糊是 数字图像主要的失真类型之一，因此图像模糊度估计具有广泛的需求，比如，成 像自动对焦系统，遥感图像按质量等级的分类系统，模糊图像的盲恢复等等。 对于模糊图像而言，图像的模糊度估计和图像的点扩展函数估计息息相关。 在涉及数字图像恢复的时候，图像模糊度估计一般是指图像的点扩展函数估计。 图像的点扩展函数在一定程度上反映了图像的模糊程度。点扩展函数估计是数字 图像处理领域里一个非常经典的问题。迄今为止，已有3 0 多年的研究历史。很 多学者已经提出了各种点扩展函数估计的方法。一般有傅里叶方法 6 ，7 】、自回归 移动平均模型( a u t or e g r e s s i v em o v i n ga v e r a g e ，a r m a ) 参数估计方法 8 ，9 】、基 于图像中边缘的方法 1 0 ，1 l 】。傅里叶方法的原理是根据傅里叶频谱中零点出现位 置的周期性来估计点扩展函数的参数。该方法只适用于散焦图像的点扩展函数估 计，因为散焦图像的点扩展函数被建模为圆柱形模型。如式( 1 1 ) 所示： 揪棚= j 专厢臼( 1 - ，) 【0x 2 + j ，2 ， 对应的频域零点是功率谱图上周期性的圆环，周期约为r 。这种基于频域周期性 零点的点扩展函数估计方法对噪声非常敏感。在没有噪声的情况下能获得较为准 确的估计结果。为了增加该方法对噪声的鲁棒性，采用双倒谱代替功率谱，这 个方法有效地抑制了噪声影响，但只对较大尺寸的图像( 至少5 1 2 x 5 1 2 ) 才有较 好的效果。由于计算简便且可靠，基于频域零点的方法是非常著名的，已被广泛 第1 章绪论 应用。其主要的局限在于需要己知一个参数模型，既模糊过程的模型。另外对于 很多应用，如x 光图像或遥感图像，其点扩展函数通常是高斯型的。并不存在频 域的零点。对于这种情况，a r m a 的方法可以被采用。 a r m a 模型参数估计法的原理是指，将原始清晰图像建模为自回归模型，将 点扩展函数建模为移动平均模型。基于这样的建模，模糊图像可以看成是自回归 移动平均模型( a r m a 模型) 。通过a r m a 模型的参数可以获得点扩展函数的 参数。在这一类方法中，各种不同的方法的主要区别体现在a r m a 模型参数的 估计。基于二阶统计量的方法，如最大似然估计法、g e n e r a l i z e d c r o s s v a l i d a t i o n ( g c v ) 等是比较成功的两个参数估计方法。该方法实现复杂且需 要基于a r m a 模型的假设，因此应用场合也受到限制。 近年来，研究者更倾向于直接根据图像中边缘来估计图像的模糊度。基于边 缘的方法认为清晰图像中的边缘包含了模糊过程的部分信息，可以根据这些信息 来恢复点扩展函数或直接进行感知模糊度估计。这一类方法主要有，r o o m 在文 献 1 2 中提出基于小波变换的图像的点扩展函数估计方法。通过在小波域计算图 像的李氏指数( l i p s c h i t ze x p o n e n t ) 得到点扩展函数的参数。李氏指数是信号平滑 程度的度量，实际上也是图像中某点处的可导阶数。h h u 在文献 1 3 】中提出采用 两个不同参数的高斯模板和待求图像做卷积，得到两幅进一步模糊的图像，分别 计算这两副图像与待求图像之间的差异。差异的比值确定了目标图像的点扩展函 数参数。 由于图像中边缘的扩散程度直接反应了图像的模糊度，近年来出现了很多方 法直接根据边缘的扩展程度来估计图像模糊度。如文献 1 4 】提出采用边缘处法向 的平均梯度值作为图像模糊度的测度。文献 1 5 】采用图像中边缘处的平均灰度变 化率作为图像模糊度测度。m a r z i l i a n o 在 1 6 ，1 7 】中提出使用图像中边缘的平均宽 度作为图像模糊度测度，沿着边缘的法线方向在边缘点两边分别寻找极大值和极 小值，两个极值之间像素距离既为边缘宽度。e l d e r 在文献 1 8 中提出对图像求 二阶导，图像中边缘处会出现过零点，过零点两边的极值之间的距离作为边缘的 模糊度。对图像中所有边缘的模糊度求平均得到图像全局的模糊度。文献 【1 9 ，2 0 ，2 1 也是以边缘宽度作为基本的模糊度测度，并引入了h v s ( h u m a nv i s u a l s y s t e m ) 特性优化模糊度测度。【1 9 ，2 0 考虑了局部对比度对模糊度感知的影响， 从而提出了j n b ( j u s tn o t i c e a b l eb l u r ) 概念，以局部对比度对边缘宽度加权作为模 糊度测度j n b m ( j n bm e t r i c ) 。【2 1 】引入显著性区域加权优化模糊度测度。显著性 区域加权的概念是指，人眼在观看图像的时对不同区域的关注度不同，如果将关 注程度作为权值对模糊度测度进行修正，能够得到更加符合人眼视觉特性的测 度。这些方法并没有实现准确的模糊度估计。主要的原因在于1 ) 边缘宽度或平 6 第1 章绪论 均梯度并不能很好地度量图像的模糊程度。文献中提出采用沿着边缘点的梯度方 向寻找极值点，边缘点两边的极值点之间的像素距离作为边缘宽度。边缘附近的 邻域边缘和细小纹理影响了极值点检测的准确。2 ) 自然图像中存在前景和背景 的差异。受景深影响，一幅清晰图像中的背景区域也存在模糊的边缘，如果背景 中边缘也参与到图像的模糊度估计中，则会引起错误的估计结果。 1 2 3 客观图像质量评价的有效性验证 随着研究的深入，越来越多的质量评价算法被提出。因此这些算法各自的优 缺点自然成为了一个重要的问题。然而遗憾的是，并没有文献专门用于比较各种 质量评价算法的性能，特别是需要严格的实验条件、大范围的失真类型、失真程 度图像的主观评价实验。主要原因在于质量评价算法的有效性验证耗时耗力且需 要大量的经费支持，除此之外，很多质量评价算法的文献描述的不清楚难以去实 现 2 2 】。在此背景之下，美国德州大学奥斯汀分校l i v e 实验室的图像质量评价 研究人员提供了公共的测试数据集并制定了相应的图像质量评价模型的评选标 准。l i v e 实验室是根据国际电信联盟( i t u ) 下属的一个视频质量专家组( v i d e o q u a l i t y a s s e s s m e n tg r o u p ，v q e g ) 制定的视频质量评价标准而指定的图像质量评 价标准。 视频质量专家组成立于1 9 9 7 年，目的是开发、验证和标准化新的视频质量 测量方法。该组织由全世界各个领域和组织的专家组成。他们的研究领域是全参 考、部分参考和无参考图像视频质量评价。 v q e g 已经在2 0 0 0 年完成了第一阶段的全参考视频质量评价算法的测试和 验证工作1 1 ，2 。在第一阶段，1 0 种质量评价模型( 包括多种普遍使用的方法， 如p s n r ) 参与了比较。比较的内容是每种评价模型和主观数据库中的主观数据 进行比较。该主观数据库包含多种失真类型的视频序列。l i v e 实验室结合视频 质量评价标准制定了图像质量评价模型预测性能三个方面的属性： 预测准确性模型以低误差预测主观质量的能力 预测单调性一一模型的预测结果和主观质量相对幅度之间的一致性 预测一致性模型对各种失真类型的视频序列质量预测结果的一致性 客观质量评价模型的输出是估计的图像或视频质量，又称之为预测质量，用 v q r ( v i d e oq u a l i t yr a t i n g ) 表示。主观数据库包括两部分数据，分别是测试图 像和主观测试者对这些测试图像质量的打分数据。v q e g 的主质量评价方法采用 的是d s c q s ，因此主观分值是平均差分主观质量分值( d i f f e r e n c em e a no p i m o n s c o r e sd m o s ) 。由于主观质量评价实验中会引入非线性的因素，v q r 和d m o s 之间不要求具备线性关系。最重要的是两者之间的一致性关系和数据集的误差。 7 第1 章绪论 一致性关系和误差决定了模型预测的可用性。为了纠正非线性关系，可以对v q r 数据和d m o s 数据进行非线性回归。非线性回归是拟合 d m o s ，v q r 数据集， 且要求在v q r 的整个取值范围之内是单调的。可以采用如式( 1 2 ) 所示的l o g i s t i c 函数 2 3 】： d m o s 一2 而而砑0 i 而 1 2 ) 非线性回归函数的功能是将v q r 数据转换成预测的m o s 数据d m o s ， v q r 数据做非线性变换得到d m o s ，后，就可以根据实际的主观数据d m o s 和预测质量d m o s 。计算多个参数来评价模型的预测性能。v q e g 指定的测试计 划指定了6 个参数用来评价客观质量评价模型的预测性能。它们分别是： 参数1 ：模型预测准确性d m o s 。和d m o s 之间的p e a r s o n 相关性系数 参数2 ：模型预测单调性s p e a h n a n 等级相关性系数 参数3 ：模型预测一致性离群数据点比例( o u t l i e rr a t i o ) o u t l i e r r a t i o = 总的离群数据点个数总数据点个数 离群数据定义为：a b s q e r r o r i 】 2 木d m o s s t a n d a r d e r r o r i 】。 既两倍的d m o s 标准差作为离群数据点的定义阈值。 参数4 ：i 洲s 误差 参数5 ：分辩能力 参数6 ：分类误差 1 3 本论文的主要工作 本论文研究重点围绕图像模糊过程的建模、边缘类型建模，结合h v s 特性 提出了基于模板匹配法的图像模糊度估计方法、基于显著性区域加权的图像模糊 度估计方法。具体而言，本文的主要工作和创新之处有以下几点： 将模板匹配法应用到图像线扩展函数标准差的估计中，通过线扩展函数 的标准差来计算图像中每一条边缘处的模糊核函数的标准差。 提出基于模板匹配法的图像模糊度估计算法，采用图像中所有边缘的标 准差的分布特性来计算图像的整体模糊度程度。 将图像显著性理论应用到图像模糊度估计中，优化的了模板匹配法的图 像模糊度估计算法。 第1 章绪论 1 4 本论文结构 本论文共分为五章，各章的内容安排如下： 第一章介绍无参考图像质量评价的研究背景和研究现状，本文主要工作和文 章结构安排。 第二章主要介绍无参考的图像模糊度估计相关的背景知识、现有的几种具有 代表性的图像模糊度估计方法。其中背景知识重点介绍h v s 模型，通过对h v s 模型和现有的具有代表性的文章分析的基础上，提出一些观点，希望获得新的启 示； 第三章是本论文的核心章节，在该章中，重点分析了影响图像模糊的各种因 素，对图像模糊度过程建模和边缘建模，阐述了图像中的边缘对图像模糊度估计 的重要作用。最后提出了模板匹配法的图像模糊度估计算法的原理和实现细节。 第四章中，对h v s 特性的人眼视点转移特性做了介绍，引入了显著性区域 理论，通过图像中不同区域的显著性对基于模板匹配法的图像模糊度估计算法做 了优化。 第五章是结束语，对本论文的工作进行总结，并探讨的未来继续深入研究的 方向。 9 第2 章无参考图像模糊度估计方法概述 第2 章无参考图像模糊度估计方法概述 在过去的研究中，学者们提出了多种客观的图像模糊度估计方法 【2 4 ，2 5 ，2 6 ，2 7 ，2 8 ，2 9 ，1 7 ，3 0 ，3 1 。从使用方法的类型进行分类，一般可以分为以下几 类： 基于傅里叶谱估计的方法； 基于小波变换的方法，小波域提取图像模糊度的参数； 基于多个模糊副本的方法； 基于边缘的方法： 本小节主要分析和讨论最具代表性的几种图像模糊度估计方法，并重点讨论 基于边缘的图像模糊度估计方法； 2 1 图像模糊度估计的应用 在过去3 0 年中，出现了大量模糊度估计的方法。几乎所有的方法都只是在 某种应用场合下或者说满足某种假设的前提下有效。这些应用主要有三类： 模糊图像恢复 成像系统自动聚焦 模糊图像质量评价 对于模糊图像恢复应用而言，常常可以知道模糊类型或者说模糊核的点扩展 函数形式。如，散焦模糊的模糊核一般被建模为圆周对称的圆柱形和高斯型。遥 感图像受大气扰动的影响，模糊核被建模为高斯型。运动模糊根据成像系统和目 标的相对运动类型被建模为多种类型，匀速直线运动被建模为一维直线段函数， 变速直线运动被建模为一维曲线函数，曲线运动被建模为二维曲线函数。在确 知模糊核类型的前提下，模糊度估计就简化为模糊核或点扩展函数的参数估计问 题。这一类模糊度估计问题需要做到与图像内容无关。基于傅里叶频谱的方法、 基于图像中阶跃边缘的方法、基于a r m a 的方法都属于这一类。 对于成像系统的自动聚焦而言，只是针对一副特定内容的图像估计模糊度， 因此不需要考虑图像内容的影响。在这个前提下，模糊度估计可以通过估计高频 分量所占比例来实现，或者通过对比度大小来实现。如基于边缘峰度的方法 3 2 】、 基于频率分量的方法 3 3 】、基于图像全局平均方差的方法等等。 第2 章无参考图像模糊度估计方法概述 2 2 基于谱估计的模糊度估计算法 基于谱估计的方法，如基于傅里叶功率谱中零点的周期性的方法【2 4 】，基于 倒频谱中零点周期性的方法 2 5 】等。这些方法的算法简单，物理意义明确，是模 糊度估计方法里面最稳定可靠的方法。本小节仅讨论基于傅里叶功率谱中零点周 期性的方法来评价此类方法的优点和缺点。 该方法主要是针对散焦模糊图像的模糊度估计，散焦图像的点扩展函数一般 建模为圆柱形的模型 3 4 ，3 5 ，3 6 ，3 7 】，如式( 2 - 1 ) 所示： 1 0 矿x 2 + y 2 r 以五力- 1 去矿厢尺 q 。 模糊后的图像可以表示为式( 2 2 ) ： b ( x ，y ) = a ( x ，y ) o l ( x ，y ) + n ( x ，y )( 2 2 ) 其中i 表示原图，d 表示点扩展函数，n 表示加性噪声，b 表示模糊后的图 像，o 表示二维卷积。如图2 1 所示，左上部分是原图，右上部分是模糊图像， 右下部分是模糊图像的傅里叶功率谱，从傅里叶功率谱中可以看出点扩展甬数产 生了周期性的圆环，如图2 1 圆柱形点扩展函数模糊图像的傅里叶频谱图所示。 设圆环之间的间距为r ，有r 哎i j t ，m o h s e n 在文献 3 7 q h 给出了r 和r 之间的 数学关系式( 2 3 ) ： di - - 0 0 0 0 9 r 嵋+ 0 1 0 1 r “一4 0 8 8 r + 5 4 2 0 7 fr 1 7 ，1 ，、 l - 0 0 0 1 2 r h + 0 1 4 0 4 r ”一5 0 3 7 3 r “一7 0 6 2 3 r 一3 1 9 2 4 1e l s e 、 = i ，一- 第2 章无参考图像模槠度估计方法概述 固2 1 圆柱形点扩展曲数模糊圈像的傅里叶频谱圈 该方法只适用于点扩展函数为圆柱形的模糊情况，对于其他类型的图像，如 航空图像，其点扩展函数为高斯型，该方法将不再适用。如图2 2 可以看出高斯 波形信号的傅里叶功率谱中不存在周期性的零点。因此无法根据零点的周期性来 估计点扩展函数的参数。另外，该方法受噪声的影响非常大。因此仅适用于无噪 声、圆柱形点扩展函数的模糊图像模糊度估计。 第2 章无参考闰像模糊度估计方法概述 “。fs ”es 1 f m 0 1 w ) 帆：s i ( 帆哪 蚓z2 截新 渡信号和高斯信号的傅里n f 频谱削 2 3 基于小渡变换的模糊度估计方法 基于小波变换的方法主要有l i p s c h i t z 指数法和边缘类型分析法等。l i p s c h i t z 指数法 2 7 的原理是，先对图像做小波变换，在小波域计算图像的l i p s c h i t z 指数。 l i p s c h i t z 指数是图像中某个点出的平滑程度，宴际r 也是图像中某点处的可导阶 数。l i p s c h i t z 指数值跟图像的模糊度有关，跟图像的内容没有关系。闵此通过 l i p s c h i t z 指数可以获得网像模糊度的测度。 基于边缘类型分析法的原理是基于h a r t 小波分析图像中的边缘，通过边缘 来进行模糊度估计。不仅能够判定图像是否模糊，而且能够汁算模糊的程度。阿 像中的边缘傲可分为四种类型：狱拉克型( d i r a c ) 边缘，阶跃型f s t e 口) 边缘，斜 坡型( s l a n t ) 边缘屋脊型( r , x , 0 1 2 6 。如图23 所示。对于斜坡型边缘和屋脊型边 缘，参数口( o ( 口 t h r e s h o l d ，则( 七，) 标记为相应尺 度的边缘点，否则标记为非边缘点。通过实验发现，对图像做h a r r 小波变换后， 四种边缘的强度在三个尺度上表现出截然不同的变化特性。这使得我们能够区分 边缘的类型。详细见表2 1 不同类型边缘在多尺度下的变化特性 表2 - 1 不同类型边缘在多尺度下的变化特性 e m a x le m a x 2e m a x 3 d i r a c 高 中 低 s t e p 商中低 s l a n t 低 中 局 r o o f 低中商 h a r r 小波的另一个重要特性是能够恢复模糊图像中边缘的清晰度：既，在精 细尺度下，r o o f 边缘和s l a n t 边缘将变得陡峭，因此恢复了边缘的清晰度。因此， h a r r 变换的上述2 个重要特性可以总结为以下几条： 第一： 如果e m a x i ( 七，) t h r e s h o m或e m a x 2 ( 七，) t h r e s h o l d 或 e m a x 、( 七，) t h r e s h o l d ，那么( 七，) 是一个边缘点。 第 二 ：对于任何一个边缘 点 ( 后，) ，如果 e m a x i ( 七，) e m a x 2 ( 七，) e m a x3 ( 七，) ，则( 足，) 是d i r a c 或s t e p 型边缘。 第 三：对于任何一个边缘 点( k ，)，如果 e m a x i ( 七，) e m a x 2 ( 七，z ) e m a x3 ( 足，z ) ，则( 七，f ) 是一个r o o f 或s l a n t 边缘点。 第四：对于任何的s l a n t 或r o o f 边缘点( 七，) ，如果e m a x ，( 七，) r r f i n z e r o ，则该图像是清晰的，否则是模糊的。这 里的r r f l n z e r o 是一个接近于0 的正常数。 s t e p 7 计算模糊的r o o f 和s t e p 边缘的比例：b l u r e x t e n t = 以，这里的 b l u r e x t e n t 就是图像的模糊度。 该方法非常依赖于图像中各种边缘的出现情况，因此与图像中的内容有关。 实际上图像中边缘的类型远远多于上面四种，且在很多情况下，并非各种类型的 图像都存在。因此该方法不能准确地估计图像的模糊度。 2 4 基于多个模糊副本差异的方法 基于多个模糊副本的方法的原理是对待估计图像做一次或多次模糊处理，从 这几幅不太成都的模糊图像中提取某个特征，根据这些特征之间的比值来确定待 估计图像的模糊度。 f r e d e r i q u ec r e t e 在 2 9 q h 使用图像中像素点与领域