（模式识别与智能系统专业论文）无参考型自然图像质量评价算法研究.pdf

摘要摘要人类从外界获得的信息约有7 5 是从图像中获得的。随着计算机科学技术的发展，图像工程已经广泛地应用于国民经济中的各个领域。虽然图像技术取得了迅速的发展，但目前有限的硬件资源使得在具体应用中仍需要在图像处理算法和设备的设计中做出某些折衷，如算法的有效性与网络带宽的折衷等。折衷的结果势必会影响到重建图像的感观效果。为了取得最优的选择，有必要知道折衷的结果会给图像感观造成怎样的影响。通过对图像质量进行客观评价，可以对图像处理方法进行有效的评估，最终得到较好的图像视觉效果。在各种图像质量评价方法中，由于无参考型方法具备无需任何参考图像信息，可以直接应用于系统终端的优点，受到广泛而深入地研究。本文主要对图像质量评价领域中针对自然图像的无参考型方法进行了系统而深入地研究。首先，对小波变换以及自然图像在小波域的统计特性进行了简要介绍，在此基础之上提出了一种基于小波域统计特性的无参考型自然图像质量评价算法。其次，将小波扩展到一种更为有效的图像表示方法叫o n t o u r l e = t ，根据自然图像在c o n t o u r l e t 域特有的统计特性，更为精确地建模图像质量特征，从而得到一种基于c o n t o u r l e t 域统计特性的无参考型自然图像质量评价算法。该算法从多尺度多方向的角度来准确描述自然图像的质量特征，通过捕获不同失真对c o n t o u r l e t系数之间关系的影响来表示视觉质量。实验结果表明该算法与主观实验结果具有较好的一致性。最后，将变换域图像建模进一步扩展到隐马尔可夫模型，提出了一种基于小波域隐马尔可夫树的无参考型自然图像质量评价算法。该方法利用隐马尔可夫模型这一有力的数学工具，在小波域内通过刻画小波系数在子带内、子带间以及尺度间的关系来准确地表示图像信息的失真。实验结果证明了所提出算法的可行性和有效性。关键词：图像质量评价无参考型图像建模自然图像隐马尔可夫树a b s t r a c ta b s t r a c ta b o u tt h r e e - q u a r t e ro fa m o u n to fi n f o r m a t i o no b t a i n e db yh u m a ni se x t r a c t e df r o mi m a g e si nt h eo u t s i d ew o r l d w i t ht h ed e v e l o p m e n to fc o m p u t e rs c i e n c et e c h n o l o g y ,i m a g ee n g i n e e r i n gh a sb e e nw i d e l ya p p l i e dt oe v e r yd o m a i no fn a t i o n a le c o n o m y h o w e v e r , a l t h o u g ht h e r ea r eg r e a ti m p r o v e m e n t si ni m a g et e c h n o l o g yd o m a i n , t h ec o m p r o m i s eb e t w e e ni m a g ep r o c e s s i n ga l g o r i t h ma n df a c i l i t ) ，d e s i g ni ss t i l ln e e d e di np r a c t i c a la p p l i c a t i o n s ，s u c ha st h a tb e t w e e ns p a t i a lr e s o l u t i o na n di m a g ed i m e n s i o n s t h ev i s u a lq u a l i t yo fr e c o n s t r u c t e di m a g et h e nw o u l db ea f f e z t e db yt h ec o m p r o m i s e t h e r e f o r e ，i no r d e rt og e tt h eu l t i m a t er e s u l t s ，i ti sn e c e s s a r yt ok n o ww h a ta n dh o wt h ei n f l u e n c ei s e m p l o y i n go b j e c t i v em e t r i c so fi m a g eq u a l i t ya s s e s s m e n t ，w ec o u l de v a l u a t et h ei m a g ep r o c e s s i n gm e t h o de f f e c t i v e l ya n du l t i m a t e l yg e tb e t t e rv i s u a lq u a l i t y a m o n ga l lk i n d so fq u a l i t ym e t r i c s ，n o r e f e r e n c ei m a g eq u a l i t ya s s e s s m e n tm e t h o d sh a dg a i n e de x t e n s i v ea n di nd e p t hr e s e a r c h ,b e c a u s ei td o e sn o tn e e da n yr e f e r e n c ei n f o r m a n t i o na n dc o u l db ed i r e c t l ya p p l i e dt ot h et e r m i n a lo fs y s t e m s t h i sp a p e ra i m st od e e p l ya n ds y s t e m a t i c a l l ys t u d yt h en o r e f e r e n c en a t u r a li q a( n r n i q a ) a tf i r s t , ab r i e fi n t r o d u c t i o no ft h ew a v e l e ta n ds t a t i s t i c a lc h a r a c t e r i s t i c so fn a t u r a li m a g ei nw a v e l e td o m a i ni sp r e s e n t e d ，a n dt h e naw a v e l e td o m a i ns t a t i s t i c sb a s e dn r - n i q am e t h o di sp r o p o s e d s e c o n d l y , w a v e l e ti se x p a n d e dt oc o n t o u r l e tw h i c hc o u l dr e p r e s e n ti m a g em o r ee f f e c t i v e l y b a s e do nt h en a t u r a li m a g es t a t i s t i c si nc o n t o u r l e td o m a i n ，t h ei m a g eq u a l i t yf e a t u r e sc o u l db em o d e l e dp r e c i s e l y , a n dt h e nac o n t o u r l e td o m a i ns t a t i s t i c sb a s e dn r - n i q am e t h o di sp r o p o s e d t h i sa l g o r i t h md e s c r i b e st h eq u a l i t yf e a t u r e so fn a t u r a li m a g ef r o mt h ep o i n to fm u l t i r e s o l u t i o na n dm u l t i d i r e c t i o n , a n dr e p r e s e n t sv i s u a lq u a l i t yb yc a p t u r i n gt h ei n f l u e n c eo fd i s t o r t i o no i lt h er e l a t i o n s h i po fc o n t o u r l e tc o e f f i c i e n t s e x p e r i m e n t a lr e s u l t ss h o wt h a ti th a sag o o dc o n s i s t e n c yw i ms u b j e c t i v ee v a l u a t i o n f i n a l l y , i m a g em o d e l i n gi nt r a n s f o r md o m a i ni se x p a n d e dt oh i d d e nm a r k o vm o d e l ，a n daw a v e l e td o m a i nh m tb a s e dn r - n i q am e t h o di sp r o p o s e d i te m p l o y st h ep o w e r f u lm a t h e m a t i c a lt o o 卜h m tt oc a p t u r et h er e l a t i o n s h i po fw a v e l e tc o e f f i c i e n t sa n dr e p r e s e n ti m a g ev i s u a lq u a l i t y e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h ef e a s i b i l i t ya n dv a l i d i t yo fi t k e y w o r d s ：i m a g eq u a l i t ya s s e s s m e n tn or e f e r e n c ei m a g em o d e l i n gn a t u r a li m a g eh i d d e nm a r k o vt r e e西安电子科技大学创新性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：叠坐日期：丝：墨! ：圣西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解密后遵守此规定)本人签名：导师签名：日期：叫惶第一章绪论第一章绪论1 1 。研究背景与意义人类从外界获得的信息约有7 5 是从图像中获得的，数字图像作为一种信息传递和交流的重要媒介已经广泛地深入到了人们生活的方方面面。进入2 1 世纪以来，随着信息技术的迅猛发展，数字图像处理技术也得到了长足的进步。因为图像处理方法的效果很大程度上依赖于图像视觉质量的好坏，所以在许多图像处理系统中，图像质量的评价标准是非常关键的。图像质量评价的问题涉及到图像处理技术许多方面，例如压缩、传输、增强、存储、水印等。一个有效的评价标准可以有如下三种应用：首先，可以在质量控制系统中检测图像质量。例如图像采集系统利用其来自动调整系统参数，从而获得最好的图像数据；其次，可以用作衡量图像处理系统和算法的标准。例如有若干图像降噪和恢复的算法用来提高数码照片的质量时，质量标准便可以用来确定哪个算法可获得最好的结果；最后，可以嵌入到图像处理系统中来优化系统和参数设置。例如在视频通信系统中，质量标准既能辅助编码端的预滤波和比特分配算法的设计，又能辅助解码端的最优重构、误差消除和后滤波算法的设计【l 】。相对于传统的模拟图像而言，数字图像在获取、压缩、传输、存储和重构等过程中会引入更多类型的失真【2 】【3 1 。在获取图像时，不合适的焦距、曝光以及照相机的抖动都会带来失真。还有光线的小孔衍射、透镜的模糊和色散、相机的内部反射、感光器的噪声、采样噪声等等都会使图像失真。另外，为了能够在有限的介质和带宽下存储和传输更多的图像，有损压缩技术得到广泛的应用，如j p e g 、j p e g 2 0 0 0 等。在这些压缩标准中，图像系数的量化会带来失真，包括块效应、模糊、振铃效应等。此外，传输信道特性( 比特率、丢包率等) 的不稳定也会影响接收图像的质量。当压缩数据在噪声敏感信道( 如无线网络) 或者包交换网络( 如i n t e r n e t ) 中传输时，信道堵塞会导致数据丢失，从而产生传输差错，继而使得接收到的图像质量下降。最后，当图像通过显示设备呈现给人类观察者时，显示器的非线性特性和分辨率的限制，以及色度丢失和亮度校准等都会带来图像视觉效果的失真。由此可见，对图像系统而言，有必要去捕获和量化这种系统内的降质，从而可以管理、控制、甚至提高图像质量。图像质量的这种重要性，要求设计者能够在视觉质量和系统成本上取得很好的折衷，从而在最低成本的基础上提供最好的图像质量。一个最优化的图像系统可以利用前沿的知识和先进的技术降低成本而2无参考型自然图像质量评价算法研究又提升质量。在实际应用中，端到端的实时质量评价也是很重要的，因为所得到的质量依赖于许多时变的量，例如场景内容、编码比特率、解码差错隐藏策略等。有效的图像质量评价方法对图像系统及其它相关应用都是很重要的。1 2 国内外研究现状图像质量评价( i q a , i m a g eq u a l i t ya s s e s s m e n t ) 方法可以用来指导图像处理系统的构建和调整，还能够优化处理算法和参数设定。目前的i q a 方法可以分为主观评价【4 】【5 j 和客观评价【6 】。前者是由人类观察者在实验中直接打分；后者则利用计算模型自动地评价图像质量。在大多数情况下，人是图像视觉信息的最终接受者，故利用主观实验来评价图像质量是最准确和最有效的方法。然而在实际中，需要实验的数据量非常大，并且每次做出新的设计选择时都要重新进行实验，而主观评价实验只能测试有限数量的图像样本。因此主观图像质量评价方法不仅昂贵而且费时费力，不适用于许多应用中，比如实时系统【6 】【7 】。目前取而代之的是客观图像质量评价方法。该方法力求与主观实验方法的结果取得一致，从而能够利用计算机自动地评价图像质量。根据对原始图像的参考程度，图像质量的客观评价可分为三类：全参考型( f f u l lr e f e r e n c e ) 、部分参考型( i 状，r e d u c e dr e f e r e n c e ) 和无参考型烈rn or e f e r e n c e ) 。1 2 1 全参考型图像质量评价全参考型图像质量评价伊r 。i q a ) 方法就是在全部原始和失真图像信息已知的条件下，通过计算二者之间的差异以获得相对评估的指标值，并根据这些指标值评估图像质量，准确性高。该方法通常分为两步，首先计算原始与失真图像之间的误差，然后综合这些失真得到全图的质量分数。传统上最常用的f r - i q a 方法是均方误差( m s e ，m e a ns q u a r ee r r o r ) 和峰值信噪比( p s n r , p e a ks i g n a l t o - n o i s er a t i o ) 。二者因为简明的数学意义和简单的计算方法而得到了人们的青睐。但是由于其舍弃了图像内容和位置信息，仅仅计算像素间的相关性，故并不能很好地符合人眼对于图像质量的感知特性。因此，人们提出了基于误差敏感度的算法，用来分析和度量误差信号中刺激人眼视觉误差感知特性的部分。m a n n o s 和s a k r i s o n为这一领域的早期发展做出了杰出的贡献【g 】，其成果在后续时期被其他学者不断扩充和完善。d a l y 在1 9 9 2 年提出了视觉差分预测器的概念，用来计算原始图像与失真图像之间可察觉到的概率映射【9 】；b r a d l e y 在1 9 9 9 年提出了一种基于小波的视觉差分预测器，大大简化了d a l y 的方法【1 0 】；d a m e r a - v e n k a t a 等人将图像的退化模型第一章绪论3看作线性频率失真和加性噪声的叠加来量化图像恢复系统的效果【l 。但是基于误差敏感度的图像质量评价算法只能考虑某种特定类型的图像失真，由于不同的失真类型对图像质量的感知具有不同的效果，这种方法仅在已经理解并能表示出失真类型时有效。另外线性通道分解无法完全去除信号间的结构冗余，使得分解系数彼此之间仍旧存在很强的相关性。z h o uw a n g 等人分析了以上方法的不足，从图像的结构信息入手，提出了一种基于结构相似度( s s l m ，s t r u c t u r a ls i m i l a r i t y ) 的图像质量测度【1 2 1 。这种方法基于“人类视觉系统主要用于且非常适用于从视场中提取结构信息 的理念，把图像质量评价的标准从对误差的度量变成了对于结构失真的度量，并将图像的退化看作图像结构信息的丢失。该方法能有效避免客观质量评价方法的缺陷，且与人的主观感受一致，计算简单，易于系统实现。此外，美国德州大学图像与视频工程实验室( l i v e ，l a b o r a t o r yf o ri m a g ea n dv i d e oe n g i n e e r i n g ) 的h a m i d 在2 0 0 5 年提出了一种利用自然场景统计模型( n n s ，n a t u r a ls e n c 跫s t a t i s t i c s ) 来评价图像质量的信息保真度准贝u ( i f c ，i n f o r m a t i o nf i d e l i t yc r i t e r i o n ) t 1 3 】。他认为人们生活中最常见的就是自然图像，而这种图像中的自然场景具备特定的统计特性，可以通过建立自然场景模型和失真模型，利用原始图像和失真图像之间共有的统计特征来确定接收者能够得到的图像信息，从而客观地评价失真图像的质量。他在 1 4 1 中对i f c 进行了深入拓展，提出了视觉信息保真度i f ，v i s u a li n f o r m a t i a o nf i d e l i t y ) 算法。该算法结合n s s 建立图像的信源模型和失真模型，利用原始图像与失真图像的互信息表征图像质量。仿真实验表明该算法与主观实验结果极为接近，优于目前的其他f r i q a 方法。f r i q a 方法最大的优点是对失真图像质量预测准确，然而因为该方法是基于原始与失真图像对应区域的比较，无论是在空域还是频域，都需要原始图像完整的先验知识，存储和传输的数据量较大，这无疑限制了其在许多实际领域中的应用。例如在无线广播或者窄带网络里，并没有额外的带宽来传输原始图像信息，或者传输的成本很高。为了能够在这种情况下仍能够较好地评价接收图像的质量，部分参考型图像质量评价方法成为人们研究的热点之一。1 2 2 部分参考型图像质量评价部分参考型质量评价( r r i q a ) 方法仅利用原始图像的部分信息来估计失真图像的视觉感知质量。其只需要提取原始图像的特征( 数据量很少) 传递到系统的输出端，与处理过的图像( 压缩或经传输) 对应特征进行比较以获得相对评估的指标值，并根据这些指标值评价图像质量，准确性介于全参考型和无参考型之间。目前v q e g ( v i d , oq u a l i t ye x p e r t sg r o u p ) 已经将其作为未来发展的一个方向【”】。在某些应用领域r r 型图像质量评价方法十分有用。例如，在实时视频通讯系统中，4无参考型自然图像质量评价算法研究可以通过监控图像质量来控制码流资源，从而满足不同的需要。一个成功的r r 图像质量评价方法必须在r r 特征数据率和图像质量的预测精度上取得很好的平衡。这是因为，如果r r 特征数据率越大，能包含参考图像的信息就越多，得到的预测就会越精确，但传送这些参数也会给系统造成很大负担；相反，数据量越小越易于传送，但最终的预测也会越差。目前一些典型的i 讯i q a 算法主要有：( 1 ) 基于降质特征提取的方法i l6 1 ，该方法认为图像的失真是由传输差错或者压缩机制造成的，通过综合考虑图像的各种失真，提取其降质特征来评价失真图像的质量。但是这种方法需要事先知道图像的降质途径；( 2 ) 基于谐波强度的方法【1 7 】，该方法将图像的块效应和模糊失真联合考虑，通过在频域中进行谐波强度分析，利用块效应和模糊失真的相关性进行失真图像质量的评价。这种方法在评价具有块效应和模糊失真的降质图像时最为有效，甚至可以用作无参考的图像质量评价；( 3 ) 基于w a v e l e t 域统计模型的方法【l8 1 ，该方法通过统计原始图像和失真图像小波系数的边缘分布，利用二者的k l 距离来评价失真图像的质量。这种方法不仅具有很好的通用性，广泛地适用于多种失真类型，而且用于表示部分特征的码率低、计算效率高且实现容易。另外，由于是基于小波系数的边缘分布，该方法对类似平移、旋转和按比例缩放等几何失真并不敏感；( 4 ) 基于嵌入式图像信息失真的方法【l9 1 ，该方法在对原始图像进行特征提取后，利用信息隐藏技术将所提取的特征作为隐藏信息嵌入到原始图像中，与其一起传输。然后在接收端解码出隐藏的特征信息，通过将其与从失真图像中提取的特征信息比较来评价图像质量。s h a w a n g 等人【2 0 】提出的利用数字水印的失真来表征图像降质情况的方法也属于此类。该方法首先在原始图像经过离散小波变换后的小波域内嵌入数字水印，并根据不同图像的小波系数分布自适应地调整水印的鲁棒性，然后在接收端提取出失真后的水印，通过计算水印的失真来评价图像质量；( 5 ) 基于多尺度几何分析( m g a ，m u l t i s c a l eg e o m 酏呵a n a l y s i s ) 的方法【2 1 j ，该方法利用m g a 提取原始与失真图像的特征信息，利用二者大于视觉感知阈值的部分之间的相关性来度量图像质量。实验表明该方法具有结构简单，传输数据量小，计算复杂度低，与主观评测一致性好的优点，可用于对图像处理方法进行有效性评测。r r i q a 方法最大的优点是在减小所需传输信息量的基础上，保证质量评价方法具备较好的准确性，但与f r - i q a 方法类似，其仍需要传输原始图像的部分信息。在大多数实际应用中，原始图像的信息根本无法获得，或者获取的成本很高，而且由于人类进行图像的主观质量评价时，即使不知道参考图像也能很轻松地判断一幅图像质量的优劣，因此，无参考型质量评价方法才是真正意义上理想的图像质量评价方法。第一章绪论51 2 3 无参考型图像质量评价无参考型图像质量评价( n r i q a ) 方法是一种不需要原始图像的任何先验信息，直接对失真图像进行质量评价的方法。在过去的十几年内，如果说全参考型和部分参考型图像质量评价方法取得了有限的成功，那么毫无疑问，设计和实现无参考型质量评价算法是更加困难的，这主要是由于人们目前对人类视觉系统和相应的大脑认知过程的有限理解。目前无参考图像质量评价的难点在于：曲图像理解水平仍然比较低，利用图像的统计信息获取相应的模型和知识表示是一个关键，做到这一点是很困难的。b ) 由于许多非量化因素，比如审美观、认知联系、知识、视觉上下文等在人类对图像质量评价中起着重要的作用，这些因素会导致基于个人主观印象的人类观察者的一些感知变化，而同时又无法利用可参考信号对比，使得无参考质量评价的问题变得更加复杂。一般可以认为【l 】：除非在图像的获取、处理或者重建中引入了失真，否则所有的图像都可视为无失真的。因此，无参考型质量评估的任务就简化为在图像的获取、处理或者重建过程中可能引入的失真的盲估计。不考虑审美观、认知等心理因素，为某类失真或应用建立模型，能有效分解图像质量中非量化因素的影响，使无参考图像的质量评价真正可行。而且对于某些失真类型来说，盲评估是很适用的，比如块效应，甚至在某些场合只能采用盲估计，比如成像系统。虽然人们在没有任何参考图像的情况下，也能从主观上很容易地判断图像的质量，但由于人们视觉心理、生理的许多非量化因素，使得无参考的客观图像质量评价非常困难，因此研究者往往只探讨某一种类型的失真或应用。比如针对j p e g压缩图像的块效应，z h o uw a n g 等人在 2 8 1 中先对j p e g 图像沿水平线计算差分信号，通过块边缘的平均差分估计块效应，使用图像差分信号的过零点比率来确定块的活跃性，结合块效应估计图像的模糊程度，垂直方向做同样处理之后得到三个指标，使用非线性回归分析获得最佳参数，最后对这些指标加权求和得到质量分数；针对j p e g 2 0 0 0 压缩图像的模糊和振铃效应，s h e i k h 等人在 2 9 】中提出利用自然场景的统计信息评价j p e g 2 0 0 0 图像，基于图像压缩量化后比自然图像产生更多的零系数，利用小波系数的统计模型来计算特征。有些方法不完全依赖图像信息，而是借助于嵌入图像的水印信息，根据提取水印信息的质量状况来评估输出图像的质量状况，从不需要输入端原始图像的角度来看，这种评估方法也是无参考的。p c a m p i s i 等 3 0 提出一种适于无线多媒体通讯应用的跟踪水印算法，采用了脆弱性数字水印，而殷晓丽等在 3 1 中采用的则是半脆弱数字水印算法。此外，也有学者试图提出一种更加通用的评价指标。在 3 2 】6无参考型自然图像质量评价算法研究中t h a n g h a n g 提出的算法不需要特定失真的先验知识和表示方式，利用学习方法直接获得图像质量。视觉研究表明，峰值信噪比是基于亮度的保真度指标，与h v s特性并不一致，人类h v s 的响应依赖于对比度。ys u s u 等【3 3 】根据峰值信噪e g ( p s n r )的概念，提出了一种基于对比度信噪l l ( c s n r ) 的图像质量评价方法。近些年国内也提出许多视频和图像质量评价的方法，如北京工业大学信号与信息处理研究室，提出一种基于视觉兴趣性的图像质量评价方法【3 4 1 ，作者认为人眼对同一幅图像中的不同区域往往具有不同的感兴趣程度，即人眼具有视觉兴趣性特性，并在充分利用视觉兴趣性特性的基础上，针对只存在一个感兴趣区的图像，提出了一种简化的图像质量评价方法。该方法近似地认为人眼对感兴趣区的兴趣程度与其面积成反比，当图像中感兴趣区的面积为零时，该文方法将退化为客观质量评价方法，也就是说客观质量评价方法是该方法的特例。南京理工大学的丁绪星、朱日宏和李建欣提出一种基于人眼视觉特性的图像质量评价方法【3 5 1 。作者利用小波变换与h v s 的多通道特性相匹配的特点，结合对比敏感度函数的带通特性，同时考虑计算的复杂性，给出了一种与人对图像质量评价保持良好一致的图像质量评价算法。国防科技大学的魏崇奎和成礼智通过分析h v s 的视觉非线性、多通道及掩盖效应等特性，建立起相应的图像视觉处理模型，并将原始图像与降质图像变换到感知域进行误差分析。在处理h v s 模型的多通道中，将图像的空间频率按视觉系统的掩盖效应特点，分成5 个子带分别进行滤波，以模拟人眼对图像的主观质量评价特性，提出一种基于掩盖效应的感知域图像质量评价方法【3 6 1 。北京理工大学的杨守义和罗伟雄提出一种基于高阶统计量的图像质量客观评价方法1 37 1 ，该方法用平均高阶细节累积量作为衡量图像质量的指标，无需原始图像作参考，特别适合于多媒体图像通信及无法得到原始图像的场合对图像质量进行评价。上述国内研究的方法在与主观评价在一定程度上能达到一致，但其方法大多没有完整有效的图像质量主观评价体系，其主观评价数据往往数量少，没有统一的标准，这不利于评价其客观方法与主观评价的一致性。此外，大多数图像质量测度只是对于某一种图像降质类型有效，对于多种降质类型的有效性说明较少。综上所述，n r i q a 型方法最大的优点就是无需任何原始图像的先验信息，无需辅助信道传输数据，相对于f r i q a 和r r i q a 方法而言具有先天的优势。这就使得其可以嵌入到接收端直接进行图像质量的评价，从而适用于许多实际的工作环境，大大提高i q a 算法的实用价值。随着i q a 领域的发展以及对人类认知过程的进一步研究，n r i q a 这一难题终究会得到满意的解答。1 3 论文研究内容及章节安排本文主要针对无参考型自然图像质量评价( n r n i q a ，n or e f e r e n c en a t u r a l第一章绪论7i m a g eq u a l i t ya s s e s s m e n t ) 算法进行研究，在原始图像信息未知的情况下，解决图像质量的客观与主观评价分数的差异问题。在前人工作的基础上，根据自然图像在变换域内固有的统计特性建模图像特征信息，由浅入深地研究利用自然图像模型为质量评价提供参考信息，从而描述图像的视觉感知效果。提出了一些新的思想和方法，并且取得了较好的结果。概括起来说，本文所取得的主要研究成果如下：( 1 ) 根据自然图像w a v e l e t 域的多尺度统计特性，利用w a v e l e t 系数尺度间的关系反映图像质量。在分析i q a 原理的基础上，针对无参考型i q a 的问题，采用图像建模的方法，利用图像模型的变化捕获不同程度的失真。根据自然图像在w a v e l e t 域的对数特性，采用w a v e l e t 系数尺度间关系随失真的变化来评价图像质量。( 2 ) 在小波域n r - n i q a 的基础上，提出了一种基于c o n t o u r l e t 的n r - n i q a 方法，有效地扩展了算法适用的图像失真类型，提高了与主观实验结果的一致性。n r - n i q a 的关键是准确建模图像特征信息，利用尽可能精确的特征量的变化来表示视觉质量的变化，图像的c o n t o u r l e t 系数及其之间的相互关系能够更为准确地反映质量下降对内容的影响。利用自然图像在c o n t u o u r l e t 域内的统计特性，确定划分特征量的阈值，继而选取表示图像失真的特征量来表示视觉质量。( 3 ) 针对图像建模过程中的准确性问题，选择隐马尔可夫树模型捕获系数间的关系变化，提出基于w a v e l e t 域h m t 的n r - n i q a 算法。在自然图像w a v e l e t 域统计特性的基础之上，选取隐马尔可夫树模型这一有力的数学工具，以树状的形式准确地描述w a v e l e t 系数之间的相互关系，采用多尺度阈值的分析方法，然后利用阈值划分后得到的特征量的非线性变换求和来表示图像质量，取得了较好的实验效果。全文共分为五章，具体的章节安排如下：第一章介绍了图像质量评价的基本原理及方法。第二章阐述自然图像在w a v e l e t 域的统计特性，并在此基础之上选择特征信息，以特征信息的变化反映质量的变化，从而评测图像质量。第三章详细分析了自然图像在c o n t o u t r l e t 域的统计特性，介绍了c o n t o u r l e t系数之间的相互关系，在准确描述图像降质对c o n t o u r l e t 系数互信息影响的基础上，结合自然图像的统计特性，提出了一种c o n t o u r l e t 域的n r n i q a 算法，该算法适用于多种图像失真类型，且与主观质量评价实验结果一致性较好。第四章根据图像降质影响其变换域系数之间的相互关系的特点，利用隐马尔可夫树( h m t , h i d d e nm a r k o vt r e e ) 模型建模多尺度图像特征信息，提出一种基于w a v e l e t 域h m t 的n r - n i q a 方法，实验结果表明，该算无参考型自然图像质量评价算法研究法中的模型能够较好地反映图像失真，提高了质量评价的准确性。第五章在简要回顾论文工作的基础上，对无参考型图像质量评价方法的未来发展方向给出一些个人的拙见。第二章基于w a v e l e t 域统计特性的n r - n i q a 方法9第二章基于w a v e l e t 域统计特性的n r n i q a 方法2 1 引言小波( w a v e l e t ) 3 8 】【3 9 】是传统傅里叶分析发展史上里程碑式的进展，近年来已经成为众多学科共同关注的热点。一方面，小波分析被看作是调和分析这一数学领域半个世纪以来工作的结晶；另一方面，它已经广泛应用于图像分析、图像编码、分形计算、计算机视觉、模式识别、语音识别与合成、地震信号分析、c t 成像、以及量子场论等众多科学领域。在许多使用传统傅里叶分析的地方，都可以用小波取代。其优于傅里叶变换的地方在于，它在时域和频域同时具有良好的局部化性质，而且由于对图像信号的高频成分采用逐渐精细的时域或空域取样步长，从而可以聚焦到对象的任意细节。这一特点使小波特别适用于对信号奇异点的分析，被誉为信号分析中的“显微镜”。由于小波变换应用上的潜在价值，小波理论与方法的不断发展和完善，得到了不同领域众多学者的积极参与并取得突破性进展，为其应用奠定了坚实的理论基础【4 0 】【4 l 】。在图像质量评价领域，w a v e l e t 毫无例外地成为了图像质量特征分析的首选工具，特别是在结合人眼视觉系统( h v s ，h u m a nv i s u a ls y s t e m ) 和信息统计分析进行质量评价的方面。小波变换的本质是多分辨率或多尺度地分析信号，非常适合模拟h v s 对频率感知的多通道和对数特性。另外，其可以很好地消除图像数据中的统计冗余与视觉冗余，符合人眼视觉中稀疏表示图像的特性。例如，z h o uw a n g在其提出的s s i m 质量评价方法的基础上，根据复小波能够捕获图像平移或旋转造成形状失真的特点，又提出了一种基于复小波域内结构相似度的i q a 方法【4 2 】，从而进一步完善了基于结构的i q a 方法。在基于h v s 视觉心理学的i q a 方面，b r a d l e y在小波域模拟h v s 的多通道模型，提出了一种基于小波变换的视觉差分预测器【4 3 1 ，通过度量失真与原始图像的视觉差分来评价图像质量。在基于自然图像统计特性的i q a 方面，s h e i k h 提出针x ；j j p e g 2 0 0 0 1 羽像基：t - n s s 模型的n r i q a 方法【2 9 和z h o uw a n g 提出的基于小波边缘分布的r r i q a 方法【l 剐都是利用图像在小波域的统计特性进行质量评价。本章在研究了自然图像在小波域内所呈现的统计特性的基础上，利用自然图像小波系数的尺度延续性，结合h v s 对频率感知的对数特性，提出了一种基于w a v e l e t统计特性的无参考型自然图像质量评价算法。1 0无参考型自然图像质量评价算法研究2 2w a v e l e t 变换在过去的二十年里，w a v e l e t 变换以其完善的理论框架和完美的数学结构得到了众多领域研究者的青睐。在图像处理领域，研究人员已经提出了许多基于w a v e l e t的图像增强、去噪、融合、恢复等算法，而w a v e l e t 域图像建模也是快速发展的一个方面。图像经过w a v e l e t 变换后的w a v e l e t 系数具备许多重要的统计特性，例如边缘分布的非高斯性【州、联合分布的相似性【4 5 】、层间和层内的相关性【蛔等，这些都是准确建立图像模型的重要因素。一个准确的图像模型就为后来的n r - n i q a 方法提供了强有力的理论基础。下面简单介绍一下w a v e l e t 变换的理论框架。2 2 1 传统w a v e l e t 变换w a v e l e t 通过利用其所构造w a v e l e t 基函数的伸缩和平移对信号或图像进行多尺度分析，从而达到“变焦距 的效果。小波分析的正分解框架如图2 1 所示。图中1 ，表示分解和重构的信号或者图像，h 和g 分别为小波分解滤波器，其中h 为低通滤波器，g 为高通滤波器。图中的s 和d 分别表示低频子带和高频子带，磊和蚕分别为h 和g 的重构对偶滤波器。滤波器办、g 、磊和；必须满足完全重构条件： ( z ) 卿+ g ( z ) 9 9 ) = 2 ，( 2 - 1 )h ( z ) h ( - z ) 4 - g ( z ) g ( - z ) = 0 小波基函数的伸缩和平移分别由尺度因子和偶整数2 j 、2 k 调整，从而保证满足完全重构条件：五h ( z ) = a z 2 j h ( z ) = a - l z - 2 j 五( g 等1 麓p 2 ，五( z )z )一( z ) ：一z 2 七蚕( z )、。第二章基于w a v e l e t 域统计特性的n r - n i q a 方法112 2 。2 提升w a v e l e t 变换为了保证信号的完全重构和降低计算的复杂性，s w e l d a a s 提出了提升w a v e l e t变换【47 1 ，与传统w a v e l e t 相比具有不依赖于傅里叶变换，易于实现等优点。任何紧支撑的具有有限冲激响应的小波变换都可以由提升方案表示出来。提升方案可以用一系列的预测滤波器和更新滤波器来描述。如图2 2 所示为小波分析的提升框架，其中，p 1 、p 2 、为预测滤波器，”l 、“2 、为更新滤波器。经过滤波过程后，利用尺度因子足。和如对k 和k 分别进行调整。对于反变换，去掉尺度因子k 。和髟，把正变换中的相加变成相减，然后把滤波的步骤按反顺序排列即可。图2 2 小波分析提升框架对于现实中的许多信号，其低频成分相当重要，因为低频分量里常蕴含着信号的主要特征，而高频成分则给出信号的细节或差别。在小波分析中常用到近似与细节。近似表示信号的高尺度，低频率成分；而细节表示的是低尺度，高频率成分。小波分解过程可以通过不断的迭代分解过程，将近似信号连续分解，就可将信号分解成许多低分辨率成分。图2 3 为一个小波分解示意图，其中l 代表低频，h代表高频，l l 代表水平方向和垂直方向的低频分量，l h 代表水平方向的低频分量和垂直方向的高频分量，h l 代表水平方向的高频分量和垂直方向的低频分量，h h水平方向和垂直方向的高频分量，下标1 、2 表第一、二级小波分解。u l 2h l 2l l l肌1肌1u i - i h 2原图像lhl h lh h ll h ih h i图2 - 3图像小波分解示意图无参考型自然图像质量评价算法研究2 3自然图像w a v e l e t 域统计特性自然图像是人们日常生活中最常见的视觉场景，包括户外景色、室内场景、城市风光等等。在所有图像中，自然图像只占了其中的很少一部分，但由于人类长期生活在这样一种环境下，它们可以为我们所识别、观察，咀及得到关于生活的丰富信息，因此在以人眼为虽终接收者的图像中，它们是最重要的一部分。所以对这一部分图像进行质量评价是最重要的，也是最有意义的。2 3 1 无失真图像的w a v e l e t 域统计由于自然场景内本身具备大量的平坦区域和丰富的边缘和轮廓信息，其频率分布是有一定规律的。早在上个世纪八十年代，f i e l d 就指出自然场景的统计信息与人类大脑皮层细胞的响应呈对数关系m 。而在w a v e l e t 域，这种对数关系就表现为图像的w a v e l e t 系数幅度在对数域内沿尺度线性递减的关系。图2 _ 4 给出了每个子带的w a v e l e t 系数幅度的对数域均值m e a 一( 崦，( i c i ) ) 随尺度的变化情况，其中的c 表示w a v e l e t 系数。由于w a v e l e t 分解的水平方向子带与垂直方向子带能量相近，故将二者合并。( 曲为w a v e l e t 分解的子带示意图以及子带序号，( b ) 为一副图像的 细一( 1 0 9 ，( i c | ) ) 随尺度递增而递减的曲线图，( c ) 为l i v e 质量评价数据库中，所有原始图像的 细n ( 1 0 9 ，( c i ) ) 随尺度递增而递减的曲线图。可以看出自然图像w a v e l e t系数均值在对数域内，随尺度增加而近似线性递减。制ssfe自然图像的小波分解及其抛一( “9 2 ( c 【) ) 随尺度变化示意图2 3 2 失真图像的w a v e l e t 域统计对自然图像而言，其失真主要来自于图像的获取以及处理系统所引入的失真，这些失真使得那些图像在为观察者所接收时，看起来显得有些“不自然”。而这种“不自然”便可以通过自然图像在小波域的统计特性所表现出来。由于w a v e l e t很好地模拟了h v s 的多通道和对数特性，自然图像经过w a v e l e t 分解后，不同部分惠、一=一rf：【t=第二章基于w a v e l e t 域统计特性的n r - n i q a 方法1 3的失真都在w a v e l e t 的多尺度或者多分辨率的框架下体现出来。图2 5 给出了图像经由不同的失真类型产生不同程度失真时，w a v e l e t 子带系数均值在对数域沿尺度递增的分布情况，红线表示无失真图像子带系数均值逼近的直线。由图2 5 可以看出，由于失真类型不同，自然图像中不同部分的失真程度也有所不同，从而使得其在w a v e l e