（通信与信息系统专业论文）立体图像质量客观评价方法的研究与实现.pdf

摘要 立体图像的生成、压缩、传输、显示技术已经成为国内外研究热点，与观看 平面图像相比，立体图像更能带给人身临其境的感受，目前尚未有一种完整的立 体图像质量客观评价体系来评价立体图像处理效果的好坏，因此，急需提出一种 准确高效的立体图像质量客观评价方法，作为衡量立体图像处理效果的手段和标 准。 本文从理论和实验两个角度入手，深入分析了入眼视觉特性和立体成像原 理，在此基础上，建立了体现人眼亮度幅度非线性特性、对比度敏感度特性、带 通特性和掩盖特性的视觉模型；提取出反映亮度、信噪比、立体感的左右视图结 构失真度量指标、左右测试视图亮度对比度指标、左右视图人眼视觉信噪比指标、 匹配点个数比指标共六个评价指标。为了验证所提评价指标与主观评价的致 性，本文将所提六个评价指标拟合为一个合理的总评价指标。实验结果表明：本 文所提评价指标与主观评价有较高的一致性，相关度可达9 0 左右，能够正确反 映立体图像的质量。 为了使本文所提指标更加实用化、操作更加便捷，本文开发了用于立体图像 质量客观评价的软件系统。此系统既可以在界面上直观显示被测试图像的质量等 级，又可以将评价指标结果进行直接存储，方便了数据分析。 关键词：立体图像：质量评价；人眼视觉特性 a b s t r a c t t h e g e n e 随t i o n ， c o m p r e s s i o n ，t r a n s m i s s i o n 锄d d i s p l a yt e c h n o l o g ) ， o f s t e r e o s c o p i ci m a g e sh a sb e c o m ef o c u sa th o m ea n da b r o a d c o m p a r e dw i t hv i e w i n g 2 一di m a g e s ，am o 陀i m m e r s i v ee x p e r i e n c ec 锄b eg i v e nb yv i e w i n gs t e r c oi m a g e s y e t ， t h e 陀h a sn o tb e e nac o m p l e t es t e 他oi m a g eq u a i i t ya s s e s s m e n ts y s t e mt 0e v a l u a t e 、h e t h e rt l l eq u a i i 妙o ft h es t e r e oi m a g e si s9 0 0 do rn o t 1 r h e r c f 0 陀，i ti ss i g n i f i c 明tt 0 p r o p o s e 锄a c c u r a t e 锄de 衔c i e n to b j e c t i v eq u a i 时嬲s e s s m e n tm e t h o df o rs t e r e o i m a g e s ，弱am e 锄so rs t a n d 删t 0m e 嬲u r et l l ee f f e c to f s t e r c oi m a g e p r o c e s s i n g w ed e 印i ys t u d i c dh u m 锄v i s u a lc h 撇r i s t i c s 孤ds t e r e oi m a g i n gt h e o 巧b 勰e d 伽t h e o r c t i c a ls t u d y 锄dp 仡c t i c a le x p “m 朗t s ，e s t a b l i s h e dah u m 锄v i 鲫a lm o d e l u ，h i c h 陀n e c t c dl u m i n 粕c es e n s i t i v i 妣c o n t i 镪t n s i t i v 时，mu l t i - c h 锄n e le 仃e c t sa n d m a s k i n ge 仃b c t s ，卸de x t r a c t e ds i 】c o n c r c t ee v a l u a t i o nm e t r i c s 陀f l e c t c dl u m i n a n c e ， s i g n a lt 0n o i s er a t i o 锄ds t e r e os e n s e i no r d e rt 0v e r i 矽t h e c u r yo ft h eh u m 彻 v i s u a lm o d e la n dw h c t h 盱t h em e t r i c sc o u l d 代f l e c tt h es t e r e oi m a g eq u a l i 劬w e p r o p o dar e a $ o n a b l et o t a le v a l u a t i o nm e t cb y 印p r o p r i a t ew e i g h t e dm e t h o d t h e 他s u hs h o w e dt h a tt h eo b j e c ts c o r c l c u l a t e db yo u rm e t h o dh a dah i g hc o r 陀l a t i o n w i t hs u b j e c t i v e s c 0 他，锄dt l ec o r 佗l a t i o nw 私u pt o9 0 ，w h i c hc o u l dr e f l e c ts t e r e o i m a g eq u a l i t ) ，c o r 他c t l y 1 no r d e rt 0m a l ( et l l i ss t e r e oi m a g eq u a l t ya s s e s s m e n tm e t h o de a s y 锄dp m c t i c a l t 0u s e ，w ed e v e l o p e das o r w a 代s y s t e m ，w h i c hc o u l dd i s p l a yi m a g eq u a l i t yd i r e c t l y o nt h es c r e e n 彻da l s oc o u i d 鼢v et h em e 仃i c si naf i l ef o rd a t a 柚a l y s i s i 江yw o r d s ：s t e 佗oi m a g e ；q u a l i t ya s s e s s m e n t ；h u m 锄v i s u a lc h a r a c t e r 第一章绪论 1 1 研究背景及意义 第一章绪论 目前，平面图像的压缩、传输和显示技术日趋成熟，然而随着超宽带技术的 发展，为了满足人类体验立体事物身临其境感觉的渴望，国内外学者力求采用立 体图像处理技术，再现真实场景。立体成像技术必将成为未来信息技术发展的趋 势。 立体图像处理技术主要研究立体图像的生成、传输、压缩和显示等，已逐渐 成为国内外相关领域的研究热点，其应用前景非常广泛，可以用于3 d t v 、自由 视点t v ( f r e ev i e w p o i n tt v ，f t v ) 、3 d 照相机、3 d 电影、3 d 家庭影院、电脑游戏、 电脑绘图、运动、远程教育、医疗、军事、工业、商业、虚拟视点合成等诸多方 面吲。然而，立体图像处理效果的好坏，需要一种系统且有效的立体图像质量 评价方法和标准，用来说明所生成立体图像的逼真度和立体感，压缩算法对立体 图像的损伤程度，传输过程引入的噪声对立体图像质量干扰的程度，以及立体图 像显示的自然感等。 立体图像质量评价是指人们在观看立体图像时，通过视觉捕获以及大脑分析 整合后产生的感觉来综合评判立体图像质量的好坏。参考对平面图像的评价方 法，立体图像质量评价一般分为两种：主观评价“1 和客观评价1 。主观评价方法 就是让评估者佩戴或不佩戴立体眼镜，在立体图像显示设备前观看立体图像，根 据事先制定的评价规则，对测试图像按主观感知判断质量好坏，并给出质量分数。 工作人员根据特定的统计方法对有效评估者给出的分数进行加权平均，所得结果 即为图像的主观质量评价结果。尽管主观评价方法能够较好地反映出图像的直观 质量，但主观评价方法往往受到评价者本身的知识背景、情绪以及疲劳程度等因 素影响，且无法应用数学模型对其进行描述，不可能直接用于设计系统。相反， 立体图像质量客观评价方法是采用数学公式或模型来描述人类对立体图像的主 观感受，以反映立体图像的质量。客观评价省时省力，但其评价结果的准确度直 接制约着评价系统的好坏，因此研究一套能够准确反映立体图像质量的客观评价 标准，具有重要意义。 根据评价过程中是否需要参考标准图像可将客观评价方法可以分为三种阳】： 完全参考评价( f u l l r e f e r e n c e ，f r ) 、无参考评价( n o r e f e r e n c e ，n r ) 和部 分参考评价( r e d u c e d r e f e r e n c e ，r r ) 。f r 提供最精确的评价结果盯1 ，n r 适用于 第一章绪论 实时系统随3 ，r r 是f r 和n r 的折中，但它没有充分考虑整体特征及相邻像素的特性 阳1 。本文采用f r 方法对立体图像质量进行评价。 1 2 立体图像质量评价技术的国内外发展现状 目前，平面图像的处理技术日臻完善，j p e g 、j p e g 2 0 0 0 得到了广泛应用， 传统的平面图像质量客观评价方法有均方误差( m e a ns q u a r ee r r o r ，m s e ) 和峰 值信噪比( p e a ks i g n a ln o i s er a t i o ，p s n r ) 。改进的平面图像质量客观评价方 法有：基于人眼视觉特性的评价法n 引，该方法主要考虑人眼视觉系统( h 删a n v i s u a ls y s t e m ，h v s ) 的亮度幅度非线性特性、对比度敏感度特性、多通道效应 等，可以较好的模拟人眼视觉特性；基于结构失真( s t r u c t u r a ls i m i1 a r i t y ， s s i m ) 评价法纠刀，该方法主要考虑亮度比较、对比度比较、结构相似性比较因 素，得出结构失真度评价指标等，基于感兴趣区域的评价法n 8 1 ，该方法对视场中 发生显著变化的区域感兴趣，如亮度或纹理，对感兴趣区域赋予较大的权值，而 其它区域设置的权值较小，通过计算加权后图像的m s e 和信噪比评价图像质量。 与传统的m s e 和p s n r 相比，改进的方法与主观评价方法具有较好的一致性。 然而，立体图像和平面图像在构成和性质上有很多不同。如：对平面图像和 立体图像采用相同的压缩算法、进行相同比例的压缩，平面图像质量损伤较大。 这是因为立体图像对的左右视图有很大相关性，在一定范围内，单幅图像质量降 低，几乎不影响立体图像的深度信息n 引，因此，简单的把平面图像质量评价方 法简单的移植到立体图像质量评价中，是欠妥的。 目前，国内外对于立体图像质量客观评价方法的研究为数不多，还没有形成 一套完整的立体图像质量的客观评价标准。2 0 0 6 年，p i e t e r 提出3 d t v 主观质量 评价应该从图像质量、图像深度、立体感舒适程度、立体感是否存在、立体感是 否自然、立体感是否符合视觉经验等方面进行评价啪】。2 0 0 7 年，p a 仃i z i o 提出了 一种立体图像主观质量评价方法他，被测者佩戴立体眼镜，使用f m n c et e l e c o m r & d 的s e o v q 人机交互界面进行主观评测，并用平均差异分数( d i 疏r e n c em e a n o p i n i o ns c o r c ，d m o s ) 表示评价结果。在文献 2 1 中，p a t r i z i o 将多个二维图像 评价指标s s i m 、u q i ( u n i v e r s a lq u a l t yi n d e x ) 2 2 】、c 4 【2 3 】、r r l q a ( r e d u c e d r e f e r e n c ei m a g eq u a l 时a s s e s s m e n t ) 州用于对立体图像的评价，在分别评价了左、 右图像质量的基础上，用加权求和的方法给出评价结果。这种方法有借鉴价值， 但是未考虑相应的立体视觉机理。2 0 0 8 年，a l e x 踟d r e 提出了一种基于视差的立 体图像客观质量评价方法心蝴1 ，分别计算出平面图像质量失真和视差失真，然后 再将二者加权。视羞失真通过原图像对和测试图像对深度图的相关系数计算得 2 第一章绪论 出，平面图像质量失真利用平面图像评价方法分别计算左图像与右图像间的失真 指标，再求出平均值。但是，在a l e x 锄d r e 的方法中用原图像对和测试图像对深 度图的相关系数表征立体信息特征，只能从整幅图的角度给出一个总体认识，不 能明显的反映出局部视差失真给图像质量评价带来的影响。文献 2 6 通过提取边 缘、角点、高频分量的匹配点，用这些匹配点的亮度表征图像质量，评价指标单 一，且没有考虑基于人眼视觉特性的图像感知亮度。文献 2 7 提出一种基于视 差分割区域特征评价压缩立体图像质量的方法，但是无参考图像的质量评价，模 型参数和权重矢量设置比较麻烦，与本文全参考评价思路不同。 在国内，2 0 0 8 年宁波大学提出了一种基于相似度的立体右图像质量评价方 法心蝴1 ，该方法将视差用于右图像的质量评价中，其实质只评价了单视点图像质 量，并非真正意义上的立体图像质量评价。文献 3 0 ，3 1 提出了一种基于p s n r 的立体图像质量评价方法，在对单眼平面图像质量评价的基础上，增加了对立体 感质量的评价，该方法通过分析视差分布情况对差值图像进行加权，给出了立体 感评价指标。虽然考虑了h v s ，但对立体图像质量的评价还是p s n r ，没考虑相 邻像素之间的相关性。 目前，可以查到的立体图像质量评价方法都是在平面图像质量评价理论和方 法的基础上，引入视差特征。国内外尚未提出一套完整的立体信息评价理论和方 法，且大都是从仿真角度验证，没有开发出一套评价系统软件，其次，没有合适 的视觉模型可以借鉴，而且用于评价的立体素材非常有限，不能满足评价指标普 遍适用的基本要求。 1 3 图像质量主观和客观评价方法概述 1 3 1 图像质量主观评价方法 1 3 1 1 平面图像质量主观评价方法 目前， i t u t ( i n t e m a t i o n a l1 e i e c o m m u n i c a t i o nu n i o n - t c l e c o m m u n i c a t i o n ) 已经发布相关标准b t 5 0 0 ，就平面图像质量主观评价过程中的测试序列、人 员、距离以及环境做了详细规定，并综合考虑了影响视觉感知的分辨率、自平衡 等因素。它是指在受控的测试环境下，评价者观看测试图像序列，并记录打分， 然后统计打分结果，得出平均分( m e a no p i n i o ns c o r e ，m o s ) 。通常采用五级 标度法表示图像质最的好坏。常用的主观评价方法有：双刺激损伤分级法( d o u b l es t i m u i u sl n j u 叫s c a l e ，d s i s ) 、双刺激连续质量分级法( d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a i e ，d s c q s ) 、单刺激方法( s s ) 、单刺激连续质量评价法( s j 3 第一章绪论 通过佩戴立体眼镜，让测试者随时播放或停止视频，并给出评价分数。最后， 根据d | 膨= 峨，一心，计算最终得分剧啪艿。其中，d m ( d i 仃e r e n c e m e 锄o p i n i o ns c o r e ) 是差异平均评价分数，m a 艿“( h i d d e nr e f e r e n c em o s ) 是 参考图像评价分数，m 是第f 幅测试图像的评价分数。 但是主观评价方法往往受到评价者本身的知识背景、情绪以及疲劳程度等因 素的影响，所得到的结果引起质疑。而且，主观评价标准不能直接用于设计系统。 本文参考已有的主观评价方法，制定了一套合理可行的立体图像主观评价准 则，将在第四章进行详细阐述。 1 3 2 图像质量客观评价方法 立体图像质量评价现在仍处于研究阶段。但从p a t r i z i o 【2 1 1 、a l e x 卸d r e 【2 睨5 】等 学者的文献中看到，他们参考借鉴了平面图像质量评价方法，例如：将立体图像 对的左右视图采用平面评价方法分别评价，得出评价结果然后再将此评价结果 和立体评价指标进行加权得出最终结果。因此，有必要先总结一下平面图像质量 评价方法，再分析现阶段提取立体指标及与平面指标融合的方法。 1 3 2 1 传统的图像质量客观评价方法 下面是几种典型的传统客观图像质量评价方法。 ( 1 ) m s e p s n r 方法 均方误差( m e 卸s q u 疵e 咖lm s e ) 和峰值信噪比( p e a l ( s i g n a ln o i 辩 r a t i o ，p s n r ) 是传统的质量评价方法。其表达式为： ( 1 ，( m ，玎) 一x ( 玳，珂) ) 2 脚= 竺血型一 mxn 觥= l o l g 丝 。m s e 其中，】，( 聊，刀) 表示标准图像，x ( 聊，刀) 表示测试图像，图像大小为膨。 ( 2 ) 平均误差法( a v e r a g ed i 疏陀n c e ，a d ) ( 1 2 ) nm 肋= f ( f ，) 一，( 】删 ( 1 3 ) j i l ，i l ( 3 ) 结构内容法( s “u c t u 豫ic o n t e n t ，s c ) 5 第章绪论 i n g i es t i m u l u sc o n t i n u o u sq u a i i t ys c a l e ，s s c q e ) 、l 司步双刺激连续评估方法( s d s c e ) 以及视频主观评价方法( s u b i e c t i v ea s s e s s m e n tm e t h o d o l o g yf o rv i d e o q u a l i t y ，s a m v l q ) 等。本文总结了几种常见的i t u r 标准规定的质量主观评 价方法在选材、评分等级、评价方法等方面的规定，详见附录a 。 国际上通常采用质量尺度和妨碍尺度两种五级标度计分方法。化。，如表卜1 所示。一般来说，对专业人员采用质量尺度法，对非专业人员采用妨碍尺度法为 宜。本文采用质量尺度的五级标度评分方法。 表卜l 评价结果五级标度法 质量尺度妨碍尺度 级别评价结果级别评价结果 0非常好 b 无察觉 4 好 4 察觉但不讨厌 3一般：3略微讨厌 2 兰 2 讨厌 l非常差1非常讨厌 以l 方法可以采用法国电信研发部的s e o v q 用户交互界面，兼容w i n d o w s m e d i a 、r e a lv i d e o 、q u i c kt i m e 、d i v x 和e n v i v i o 五种播放器，但都不能播放立 体图像和视频。 1 3 1 2 立体图像质量主观评价方法 针对立体图像质量主观评价，a 1 e x a n d r e 等学者在用于平面视频质量主观评价 方法s a m v l q ( s u b j e c t i v ea s s e s s m e n tm e t h o d 0 1 0 9 yf o rv i d e oq u a l i t y ) 的基础上，根据i t u b t 5 0 0 1 1 设定环境标准，制作能播放立体图像和视频的o p e n g l 播放器心4 | 。如图 卜1 所示。 陶卜l测试者配戴眼镜进行立体罔像质量主观评价 第一章绪论 一_ nm nm l = 【盹朋【f ( 】 ( 1 4 ) ( 4 ) 交叉相关法( n c r o s s c o r r e l a t i o n ，n k ) 肷：兰兰，( j f 沙( f ，) 兰兰 f ( f ，) 】2 ( 卜5 ) f l l l l f l i ，霉i ( 5 ) 相关性质量法( c o r r e l a t i o nq u a i i t y ，c q ) c q = 兰兰f ( f ，妒( f ，) 兰兰，( f ，) ( 卜6 ) ，- i ，宣l f l l i i ( 6 ) 最大误差法( m a x i m u md i 侬i r e n c e ，m d ) 坳= 肱硝i ，( f ，_ ，) 一f 。( f ，) i ) ( 7 ) 图像保真度法( 1 m a g ef i d e l i t ) ，i f ) ( 1 7 ) 立l 旦 nm 俨= 1 ( 【，( f ，) 彳( f ，) 】2 芝艺【f ( f ，_ ，) 】2 ) ( 卜8 ) ( 8 ) 拉普拉斯均方差法( l a p l a c i 锄m e 锄s q u a 他e m r ，l m s e ) 丝j 丛二i ，一i | l ，一1 懈= 善善【d f ( f ，朋_ d ，( f ，川】2 芝艺【d ，( f ，肼】2 ( 卜9 ) 其中，d f ( f ，) = ，( f + l ，j ) + f o l ，j f ) + ，( f ，+ 1 ) + ，( f ，j f 1 ) 一4 f ( f ，_ ，) ) 。 ( 9 ) 峰值均方差法( p e a l ( m e 粕s q u a r ee n 0 r ，p m s e ) 僦= 击善姜m 力川例2 【抛删 ( 1 - 1 0 ) ( 1 0 )n 绝对误差法( n a b s o l u t ee 盯0 r ，n a e ) 上 ， m = 善萋【d f ( f ，川一d 伊( f ，肼】芝艺jd f ( f ，) ) i ( 卜1 1 ) ( 1 1 )n 均方差法( n m e a ns q u a r ee r ，n m s e ) 6 第一章绪论 n mnm 2 7 凇= 【d f ( i ，) 一d ，( 1 ，j ) ) 】2 i d f ( f ，) ) l ( 1 1 2 ) f - i 产i扣l - i ( 1 2 )l p n o 咖法 t 2 赤善副州，力币。( f ，川户) p ( 1 - 1 3 ) 其中，( p = 1 ，2 ，3 ) ； 此外还包括：h o s a l ( a 画图法( h o s a l ( ap l o t ) 等。 其中，公式( 卜3 ) 一( 卜1 3 ) 中，图像大小为m ，m 为宽，n 为高。，( f ，) 为 原图像的灰度，f ( f ，_ ，) 为测试图像的灰度。 在n a e 、n m s e 中，d f ( f ，- ，) ) 有3 种定义方法：d f ( j ，_ ，) = f ( f ，_ ，) ； d f ( f ，- ，) = f ( f ，丹；d f ( ”，d ) = 片 2 + v 2 ) “2 f ( “，v ) ，余弦变换域处理 ( i nc o s i n et i 锄s f o 咖d o m a i n ) 。 这些传统的图像质量客观评价方法都是基于统计特性，没有考虑人眼视觉特 性或者图像自身的结构特性，会导致传统的图像质量客观评价指标不能真正或者 全面的表征图像的质量。 人眼视觉特性决定了人眼感知会削弱或者加强某些失真对图像质量产生的 负面影响，例如：在图像编码或传输过程中，可能导致的失真大致有：混叠效应、 孔阑效应、过冲效应、边缘模糊与畸变、振铃效应、平坦区的颗粒噪声、方块结 构、伪轮廓以及上述失真的综合1 ，这些失真引起的视觉妨碍程度不同。如：虽 然正交变换中的方块结构与子带编码中的振铃效应具有相同的m s e ，但方块结构 比振铃效应更加影响主观视觉质量，而且实验表明，模糊效果比颗粒噪声更影响 主观视觉质量泓1 。 1 3 2 2 改进的平面图像质量客观评价方法 ( 1 ) 基于人眼视觉特性的平面图像质量客观评价法( c 4 ) n 幻 人眼是一个复杂光学系统，目前研究表明，人眼具有亮度幅度非线性、多通 道效应、对比度敏感度特性和掩盖效应等特性，亮度幅度非线性使人眼对于亮 度的变化有一个感知阈，多通道效应表现在感知图像的带通性质，视觉分辨率与 对比度敏感度有关，掩盖效应使得某些激励的作用加强或者减弱；马文波等人2 1 提出了基于人眼视觉特性的感知图像视频质量评价模型。图卜2 给出了基于人 眼视觉特性的评价方法原理。 把标准图像和测试图像依次经过空间校准、色彩空间转换、显示校准、亮度 调节等预处理后，再进行亮度幅度非线性变换，然后用小波变换或离散余弦变换 第一章绪论 模拟多通道效应，将视觉激励分解成不同的空域和时域子带，接着用c s f 响应函 数对不同子带进行滤波，最后求取标准图像和测试图像在不同频带的误差，并用 m i n k o w s k i 公式对不同通道的失真进行非线性合并，来表示最终图像质量评价效 果。 标准图像h 预处理h 幅度非线性 _ 1 c s f 带通滤波 多通道效戍和掩盖效应 求空间频率h 求鬻应h 分段滤波器 测试图像h 预处理h 幅度非线性卜叫c s f 带通滤波 图l - 2 基于对比度敏感度的评价法原理图 基于人眼视觉特性的评价方法因考虑了人眼视觉特性，从而与主观评价方法 有较好的一致性，成为平面图像质量客观评价中的一个典型方法。立体图像质量 评价可以借鉴这种平面图像的基于人眼视觉特性的客观评价方法。 ( 2 ) 基于结构失真的平面图像质量客观评价法( s s i m ) n 4 1 7 1 w 舳gz h o u 经过多年在图像处理、图像压缩及图像质量评价领域的深入研 究，在2 0 0 2 年首次提出结构信息乜3 1 的概念，并逐渐形成了基于结构相似性的图 像质量评价方法哺1 5 1 。其基本思想是：人眼视觉的主要功能是在视觉区域范围内 提取图像背景中的结构信息，且人眼视觉系统能自适应的完成这一任务，所以说 对图像结构失真的度量是图像感知质量的最好近似。 该方法把评价指标分为测试图像和原始图像之间的亮度比较、对比度比较和 结构相似性比较，然后把三个指标的比较结果相乘，来表示图像质量评价的总指 标，原理如图l _ 3 所示。 图卜3 基于结构失真的评价法原理图 8 第一章绪论 具体评价方法为： 已知：原始图像x 和测试图像y ，图像大小为m 州，原始图像和测试图像的 平均亮度分别为“，、“，标准差分别为吒、仃，协方差为，( x ，) ，) 为亮度比 较函数，c ( x ，y ) 为对比度比较函数，j ( z ，y ) 为结构相似性比较函数，s s i m 为结构 失真的评价值。具体计算公式为( 1 _ 1 4 ) ( 卜2 2 ) 。 ”击善善而 ( 1 1 4 ) m 驴赤善善 ( 1 。15 ) 纠赢粪姜c 铲幸 叫高喜姜c ，一 ( 1 1 6 ) ( 1 1 7 ) - = 面梳喜姜( 嘞飞弛飞) ( 卜1 8 ) ，( x ，y ) = 端，( c l = ( k 三) 2 ) ( 1 一1 9 ) c ( 五y ) = 糕，( c 2 = ( k ：三) 2 ) ( 1 2 0 ) q + 盯p + 。 蛳) = 糟 ( 1 - 2 1 ) q 盯v + l 3 & s ：附= 【，( 五y ) r “c ( 五y ) r p ( 五y ) r ( 1 2 2 ) 其中，口，屈y 0 这3 个参量将对亮度、对比度和结构相似度进行权值调整。 s s i m 法较适用于平面图像的质量评价，但存在对于两组测试具有相同的 s s i m 值、但主观质量仍有差别的情形。立体图像质量评价方法也可借鉴这种方 法。 ( 3 ) 基于感兴趣区的平面图像质量客观评价法n 8 3 因为光敏细胞在视网膜黄斑区分布密集，所以人眼只能对一幅图像的部分区 域具有良好的分辨力，人眼通过眼球运动把感兴趣区域成像在黄斑区才能看清； 且人眼具有局部对比度敏感特性，视觉只对视场中( 亮度或纹理) 发生显著变化 的区域感兴趣，因此在观察图像时，存在“视觉感兴趣区”，而将亮度均匀的平 9 第一章绪论 滑区域或空间频率相近的纹理区忽略掉。 设图像中有块视觉感兴趣区a ，( 汪l ，2 ，) ，其面积分别s ，( f = l ，2 ，) ， 去除感兴趣区之外的不感兴趣区为a ，其面积为s ，图像总面积为s ，感兴趣 区的加权系数为只( f = l ，2 ，) ，不感兴趣区的加权系数为只，厂( 聊，疗) 为标准 图像，厂。( 聊，刀) 为测试图像，且懈汇为误差，劢呕胀为信噪比，则客观质量评价 方法可由公式( 卜2 3 ) 和( 1 2 4 ) 表示： ， b 厂( m ，刀) 一厂( 掰，刀) 】2 + 只【厂( 聊，刀) 一厂( m ，刀) 】2 一= 1 斯而旆 一+ ( 1 2 3 ) 丘嗍= l o l g 二兰，_( 卜2 4 ) h m s e 此方法引入了人眼视觉感兴趣区域的概念，而且针对不同频带有不同的加权 系数，考虑了人眼视觉特征，但在目前的立体图像评价方法中未有应用。 1 3 2 3 立体图像质量客观评价方法 ( 1 ) 引入深度信息的立体图像质量客观评价方法 以上主要是平面图像质量客观评价方法，针对立体图像，有学者提出引入视 差失真、计算标准立体图像对和测试立体图像对深度图相关系数的方法，将 作为一个评价指标乜崩3 。 视差是因双眼观看角度不同引起的，视差反应深度信息，产生立体感。如果 测试图像对的对应点视差发生变化，深度图就会改变，从而影响图像观看质量。 将左右视图分别采用s s i m 或c 4 进行评价，然后与玩加权，得到总评价值。 具体做法有如下两种。 a ) 总体视差失真法 图卜4 给出了总体视差失真法的原理。根据s s i m 或c 4 分别计算左右视图的 评价值，计算左右视图的算数平均值肘；然后计算深度失真信息玩，将左右视 图的算数平均值m 和深度失真信息p 由加权得到最终值。其中，m 和取值范 围都为 o ，1 ，o 为最大失真，l 为无失真。最后提出三种m 和玩的加权方法， 如式( 卜2 5 ) ，并将其作为最终评价值。 1 0 第一章绪论 原立体 降质立体 原左视 降质左视 原右视 降质右视 图卜4 总体视差失真法原理图 p 纂， 最终评价值 ( 1 2 5 ) b ) 局部视差失真法 图卜5 给出了局部视差失真法的原理。分别采用s s i m 或c 4 评价左右视图， 得到左右视图各个像素的结构信息肘唧一坳( p ) 、膨唧一嘲。( p ) ；然后计算d 妇，将 分别与膨呷一蚴( p ) 、膨唧一恸，( p ) 加权得到d ( p ) 、( p ) ，求取左右 视图的算数平均值得出总评价值嘲，如公式( 卜2 6 ) 和( 卜2 7 ) 。公式( 卜2 6 ) 以左 视图为例，表示m 唧助( p ) 和的加权方法。 ( p ) ：一哪( 朋一望唑笔螋咝) ( 1 - 2 6 ) 硼= 三( 专莓眈( p ) + 专莓眈，( p ) ) ( 1 2 7 ) 图卜5 局部视差失真法原理图 最终评价值 此方法针对立体图像质量评价融入了视差、深度图这两个关键因素，具有重 要的意义。但立体图像对还具有其他的特征，例如：两幅图像亮度差距较大时， 人眼也会产生不舒适感；人眼有一个舒适融像的视差范围，舒适融像是指立体图 第一章绪论 像对能够在人脑内再现立体图像感觉，同时不会产生疲劳、眩晕感。因此，进一 步研究h v s 特性及大脑舒适融像的原理，建立合适的数学模型，提取典型的评 价指标，具有重要意义。 ( 2 ) 立体带宽受限对比度( s t e r e ob a n dl i m i t e dc o n t r a s t ，s b l c ) 评价法矧 s b l c 算法根据人眼对图像高频区域的亮度变化，来评价立体图像质量。使用 提升( s i r ) 和r a n s a c 算法哺提取图像对的边缘点、角点和高频区域特征点，并 且找到立体图对左右视图在边缘点、角点和高频区域特征点的匹配点，再用( 卜2 8 ) 计算每个匹配点及匹配点周围m 以区域中每个像素的亮度i ：然后根据 m i c h e l s o n sc o n t r 髂tf o m u l a ( 卜2 9 ) 分别计算左右视图中对应的此匹配点及周围 朋木门区域中的差异亮度c 左和c 右，并且根据公式( 卜3 0 ) 计算这个匹配点的亮度 对比度c ( x ) ，采用相同的方法计算每个匹配点的亮度对比度。 j = 0 2 1 2 6 r + o 7 1 5 2 g + 0 0 7 2 2 b( 1 2 8 ) c = 土塑【鱼 ( 1 2 9 ) 眦+ 响 c ：刍刍 ( 1 3 0 ) 2 整个图像( 大小为m ) 左右视图的平均亮度分别用公式( 卜3 1 ) 求出，并 用公式( 卜3 2 ) 求出这个立体图像对的平均亮度。 上= 磊南j ( x ，y ) ( 卜3 1 ) 2 5 5 肋v 鲁乞一 工= ( k + 三右) ( 1 3 2 ) 运用公式( 卜2 8 ) ( 卜3 2 ) 分别计算标准立体图像对和测试立体图像对的亮 度对比度c ( x ) 和图像对平均亮度l ，并根据公式( 卜3 3 ) 求出评价指标s b l c 的值。 蹴c = 咕妻警，一咕套警， 3 3 ， 其中，p 是每个立体图像对匹配点的个数。 此算法的局限性在于只能评价压缩图像的质量，且只评价指标单一。公式 ( 卜3 3 ) 中认为标准图像对和测试图像对的匹配点个数是相同的；但事实上，测试 图像经过压缩，可能导致边缘点、角点和高频区域特征点减少，匹配点个数也会 随之减少。 第一章绪论 1 4 本文工作及结构安排 1 4 1 本文工作 ( 1 ) 总结国内外典型的图像质量主观和客观评价的主要方法； ( 2 ) 根据人眼视觉特性建立人眼视觉模型，提取立体图像质量客观评价指标； ( 3 ) 通过实验数据分析，证明了本文提出的评价方法与主观评价结果有较高的一 致性； ( 4 ) 编程实现了立体图像质量客观评价的软件系统，可以在界面上直观显示测试 立体图像的质量等级，也可以保存评价指标数值，用于实验数据分析。 1 4 2 结构安排 第一章是绪论，介绍了研究背景及意义，立体图像质量评价技术国内外发展 现状，总结了典型的主观和客观图像质量评价方法，以及本文完成的工作。 第二章是基础知识。讲解了本文需要用到的人眼视觉特性及立体成像原理。 主要介绍了人眼视觉的亮度幅度非线性、多通道特性、对比度敏感度以及掩盖效 应特性；分析了立体成像原理，尤其是对立体感影响最大的水平像素差因素；简 单介绍了本文选用的对应点匹配方法。 第三章是人眼视觉模型建立及客观评价指标提取。介绍了包括亮度幅度非线 性变换模块、多通道效应模块、对比度敏感度及掩盖效应模块的人眼视觉模型， 使通过模型处理的立体图像更符合人眼主观感知；并详细介绍了本文提取的亮 度、信噪比、匹配点三大类共六个评价指标的算法，以及总指标的加权方法。 第四章是主观评价准则。介绍了本文制定的主观评价准则，选用素材所做的 预处理。 第五章是实验数据分析。给出对测试图像的主观评价分数，以及利用本文提 出的评价算法运算得出的客观评价数据，并对实验数据进行分析，证明此评价算 法的可行性。 第六章是立体图像质量客观评价软件系统的实现。介绍了软件系统的评价界 面，软件开发的环境配置、软件工作原理以及调试和版本发布。 第七章是总结和展望。总结了本文所完成的工作，以及今后的研究方向。 1 3 第二章基础知识 2 1 人眼视觉特性 第二章基础知识 人类观看立体图像依赖于人眼对于图像信息的捕获以及大脑对于图像信息 的分析整合。人眼视觉系统( h u m 卸v i s u a ls y s t e m ，h v s ) 结构复杂，包括很多 特性，目前对于h v s 尚无一个全面的理论认识，但生理学及心理学实验在此方 面的研究已经取得了一系列的发现。目前，研究比较成熟透彻的人眼视觉特性包 括亮度幅度非线性特性( l u m i n 锄c es e n s i t i v 时，又称：韦伯一费赫涅尔定律 ( w 曲- f e c h n e rl a w ) ) 、视觉对比度敏感度带通特性( c o n t m s ts e n s i t i v 时) 、多通 道特性( m u l t i c h 觚n e l ) 及掩盖效应( m a s k i n ge 艉c t s ) 等。 2 1 1 亮度幅度非线性特性 实验表明，图像像素相对亮度的变化决定了视觉系统分辨细节的能力，与 整幅图像的背景亮度无关。用表示绝对亮度，缸表示相对亮度，即恰可识别 差异( j u s tn o t i c e a b l ed i 腩r e n c e ，小d ) ，s 表示亮度感觉的增量值，则可以用 相对亮度的增量来度量亮度感觉的增量，如式( 2 1 ) 所示。 ， 丛= k 竺 ( 2 1 ) l k 为常数，与整个图像平均亮度有关。图像平均亮度较暗或较亮时，选择较 小的k 值，通常，人眼正常亮度范围，k 可取值为1 。 对式( 2 1 ) 积分，得到感觉亮度s s = 足l n 厶+ k = k i g + k ( 2 2 ) 其中，x = k l n l 0 ，瓦为常数。 由式( 2 2 ) 可知，感觉亮度s 与图像实际亮度三成对数线性关系，这就是 亮度幅度非线性特性，即韦伯一费赫涅尔定律。式( 2 2 ) 的对数函数特征表明： 人眼并不能感知出每一个像素的绝对亮度，对于灰度图像，感知亮度增加的速率 随着亮度值( o - - 2 5 5 ) 的增加趋于平缓。即：人眼对很黑或很亮的区域都不敏感。 陆洋、明军等人1 通过实验验证了视觉系统的亮度掩盖特性，根据实验得出 人眼可分辨的亮度层次。他采用联想l x b f 1 7 0 6 9 h b 型号的显示器，在色温 9 3 0 0 k ，亮度8 0 ，对比度7 0 ，分辨率1 0 2 4 7 6 8 条件下进行测试，可观察到的灰 第二章基础知识 度级最多为4 6 ，且在该条件下得到不同灰度级人眼可分辨亮度层次数，如表2 1 所示。 表2 1 人眼可分辨亮度层次表 图像灰度级 0 1 0 01 0 1 2 0 32 0 4 2 5 5 最小变化灰度 323 可识别亮度层次 l 一3 43 5 8 58 6 1 0 2 由表2 1 同样证明了人眼不能感知每一个像素亮度的变化。从这个角度讲， p s n r 中把原视图和测试图对应像素直接作差并求取均方差的方法来表征误差 是不恰当的，测试图中像素亮度的变化若未能引起人眼感知，是不会影响图像主 观质量的。 由以上分析得知：在对图像进行客观评价时，应该首先依照公式( 2 2 ) 对 灰度图像的每个像素的亮度值进行变换，得到感知亮度。 2 1 2 多通道特性 7 0 年代，c a m p b e l l 和b l a k e m o 他发现了人眼存在空间频率通道刀，证明了视 觉系统通过若干平行的空间频率通道来传输观看到的事物信息。 心理生理学研究指出：视觉皮层神经元相当于一组方向性带通滤波器，它 会对空间频率中心值附近一定范围区域的空间频率和某几个方向上做出响应。通 常，灰度信号可分解为4 6 个频带和4 8 个方向带，彩色信号分解为2 3 个方向 带。多通道特征恰好与小波分解相匹配，因此，可采用小波分解来模拟人眼的多 通道特性，用小波分解将图像数据分解成各个方向、空间频率带宽受限的信号。 2 1 3 视觉对比度敏感度带通特性 2 1 3 1 视觉对比度敏感度带通特性定义及其数学模型c s f 对比度敏感度( c o n t r a s ts e n s i t i v i t y ) 用于表征静态图像不同空间频率下 不同亮度等级感知敏感度的差异，其中，空间频率m 3 ( s p a t i a lf r e q u e n c y ) 是 指单位视角中对比变化的次数，其单位为c y c l e s d e g r e e ，其中，两条相邻的光 栅称作一个c y c l e ，把视角作为衡量空间大小的度量，其单位是d e g r e e ，所以单 位视角内光栅越密，空间频率越大。 图2 1 是用光栅测试对比度敏感度的示意图。横坐标方向上光栅的密疏表示 空间频率的大小，总坐标方向上表示对比度敏感度，每个空间频率下恰好能够分 辨出黑白光栅的界限，就是这个空间频率下的对比度敏感度。为了更清楚的看出 第章基础知识 图2 1 光栅测试对比度敏感度示意图图2 2 增强黑白光栅对比度的示意图 从图2 一l 中可以看出，两条相邻的光栅从下到上亮度对比度逐级降低。显然，对 于同一空间频率，随着亮度对比度降低，人眼能恰可分辨相邻两条光栅的能力下 降；空间频率不同，人眼的恰可分辨差异亮度对比度的阈值不同，形状大概如图 2 2 中蓝色曲线所示。 对比度敏感度因人而异，但都呈现图中曲线的带通趋势，一般人可以感知 2 5c y c l