（通信与信息系统专业论文）立体图像质量客观评价方法的研究.pdf

摘要 立体成像技术主要研究生成、处理、传输和显示立体图像的方式，探索能使 观众产生身临其境新感觉的最佳方法。该技术已经成为国内外相关领域的研究热 点，其应用前景非常广泛，然而，无论是立体图像的生成，还是立体图像的处理、 传输和显示，都需要一种系统且有效的立体图像质量评价方法和标准，或用来说 明所生成的立体图像的效果，或用来说明处理、传输技术对立体图像的损伤程度， 或用来说明立体显示技术的正确性。因此，迫切需要一种统一、客观、有效的立 体图像评价标准，来对与立体图像相关的技术进行评价。 本文研究如何对立体图像质量进行客观评价，在对人类立体视觉特性和已有 平面图像质量及立体图像质量评价方法深入研究的基础上，提取出了人眼视觉信 噪比、客观保真度、深度保真度三个立体图像质量客观评价指标，对立体图像质 量进行综合评价，并建立具有自适应学习能力的神经网络模型，验证立体图像质 量评价指标的正确性。 对2 0 0 幅不同质量的立体图像对进行了实验，首先对图像进行主观评价分级， 将图像分成五级；然后利用m a t l a b 7 5 0 提取每幅图像的三个评价指标；选取 1 0 0 幅图像作为训练样本输入支持向量机网络，再利用未参加过训练的1 0 0 幅图 像进行测试，与主观实测的符合率为7 2 。可见，所提指标基本符合人眼实测效 果，同时克服了主观评价方法费时费力、不可重复的缺点。对促进立体图像质量 评价的发展具有一定的参考价值和实践意义。 关键词：立体图像；客观质量评价；视觉特性；神经网络 a b s t r a c t a c q u i r i n g ，p r o c e s s i n g ，t r a n s m i s s i o na n dd i s p l a yo fs t e r e o s c o p i ci m a g e sa r e r e s e a r c h e db y3 di m a g i n gt e c h n o l o g y , w h i c he x p l o r e st h eb e s tw a yt om a k ea u d i e n c e f e e li m m e r s i v e 3 - dt e c h n o l o g yh a sb e c o m eah o tr e s e a r c hf i e l da th o m ea n da b r o a d ， a n di t sa p p l i c a t i o np r o s p e c ti sv e r ye x t e n s i v e h o w e v e r , as y s t e m a t i ca n de f f e c t i v e q u a l i t ye v a l u a t i o nm e t h o do rs t a n d a r di sr e q u i r e di ne a c ho ft h ei m a g ep r o c e d u r e ， i n c l u d i n gg e n e r a t i o n ，p r o c e s s i n g ，t r a n s m i s s i o na n dd i s p l a y t h i sm e t h o di su s e dt o s h o ww h e t h e rt h em e a s u r eo fs t e r e oi m a g e sg e n e r a t i o ni se f f e c t i v e ，o ri n d i c a t e d a m a g ed e g r e eo f t h ep r o c e s s i n ga n dt r a n s m i s s i o nt e c h n o l o g yt ot h es t e r e oi m a g e s ，o r e v e nd e s c r i b ea c c u r a c yo fs t e r e od i s p l a yt e c h n o l o g y t h e r e f o r e ，au n i f o r m ，o b j e c t i v e a n de f f e c t i v ee v a l u a t i o nm e t h o do fs t e r e oi m a g e si si ng r e a tn e e d i nt h i sp a p e r , h o wt oe v a l u a t et h eq u a l i t yo fs t e r e oi m a g e sw a sr e s e a r c h e d b a s e d o nd e e ps t u d yo nh u m a nv i s i o np r o p e r t i e sa n d e x i s t i n gm e t h o d s f o r2 - di m a g eq u a l i t y e v a l u a t i o n ，t h r e eo b j e c t i v ee v a l u a t i o ni n d i c a t i o n so fs t e r e oi m a g eq u a l i t y w e r e a b s t r a c t e d ，i n c l u d i n gh u m a nv i s u a ls i g n a lt on o i s er a t i o ，o b je c t i v ef i d e l i t ya n dd e p t h f i d e l i t y c o m p r e h e n s i v eq u a l i t y e v a l u a t i o no ns t e r e oi m a g e sh a db e e nd o n e f u r t h e r m o r e ，j u s t i f i a b i l i t yo ft h e s ei n d i c a t i o n sm e n t i o n e da b o v ew a st e s t e d a n d v e r i f i e db yu s i n gn e u r a ln e t w o r k e x p e r i m e n t so n2 0 0s t e r e op a i r sw e r ec a r r i e do u t f i r s t l y , t h e s es t e r e op a i r sw e r e d i v i d e di n t o f i v ec l a s s e sb yu s i n gs u b j e c t i v ee v a l u a t i o nm e t h o d s e c o n d l y , t h r e e i n d i c a t o r so fe a c hs t e r e op a i rw e r ea b s t r a c t e db ym a t l a b 7 5 o ：t h i r d l y , 10 0s t e r e o p a i r sw e r es e l e c t e da st r a i n i n gs a m p l e sa n ds e n ti n t os u p p o r tv e c t o rm a c h i n en e t w o r k , a n df i n a l l yt h er e m a i n e d10 0s t e r e op a i r sw e r et e s t e d r e s u l t ss h o w e dt h a tt h e c o n s i s t e n tr a t ei s7 2p e r c e n t c o n c l u s i o n sw e r em a d et h a tt h ei n d i c a t o r sa b s t r a c t e d m a i n l yk e p tw i t hr e a l i t y , a n do v e r c o m es h o r t c o m i n go fs u b j e c t i v ee v a l u a t i o nm e t h o d t h i sm e t h o dh a sr e f e r e n c e dv a l u ea n dp r a c t i c a l s i g n i f i c a n c e t op r o m o t et h e d e v e l o p m e n to fe v a l u a t i o nm e t h o do fs t e r e oi m a g e sq u a l i t y k e yw o r d s ：s t e r e oi m a g e ；o b j e c t i v ee v a l u a t i o no fi m a g eq u a l i t y ；v i s u a l p r o p e r t y ；n e u r a ln e t w o r k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤凄盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：王1 移 签字日期：训刁年月弓日 学位论文版权使用授权书 本学位论文作者完全了解丞洼盘堂有关保留、使用学位论文的规定。 特授权墨盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：三 导师签名：奄衲 的年臼 f 多日 第一章绪论 1 1 研究意义 第一章绪论 人类获取信息最有效的途径是通过视觉，对于视觉信息加工系统特点的研究 不仅在理解人类空间认知行为方面具有重要的理论意义，而且还具有十分重要的 应用价值。由于人的双眼看到的是自然界中真实的三维景物，因此能够在屏幕上 再现这种真实的三维景物一直是人类梦寐以求的理想。随着二维图像压缩、传输、 显示技术的日趋完善，人类追求再现真实自然景物的下一个目标就是再现景物的 立体信息。正是由于这样的原因，立体成像技术已经成为国内外相关领域的研究 热点，其应用前景非常广泛，可以用于科研、军事、教育、工业、医疗等诸多领 域1 1 。 然而无论是立体图像的生成，还是立体图像的处理、传输和显示，都需要一 种系统且有效的立体图像质量评价方法和标准，或用来说明所生成的立体图像的 效果，或用来说明处理、传输技术对立体图像的损伤程度，或用来说明立体显示 技术的正确性。正是基于上述原因，本文主要研究内容是立体图像质量的客观评 价方法。论文中提出了三个有效的客观评价指标，并运用支持向量机网络对指标 的合理性进行了初步验证，实验结果表明基本符合主观实测效果。 在对立体图像质量评价方法进行讨论之前，我们首先介绍一下立体感是如何 产生的，以及立体成像技术的相关知识。 1 2 立体图像 由于人的左右眼之间存在视差异，两眼之间平均相距约6 5 c m ，两只眼睛从 不同的角度观看世界，左右眼看到的同一物体之间有细微的差别。大脑根据这两 个有细微差别的场景进行综合处理，产生精确的三维物体，并在场景中对该物体 进行定位，这就是具有深度的立体感。 但是，当摄像机拍摄真实景物时，通常以二维平面图像的形式显现。那么， 如何人为生成具有视差的立体图像对，并使人能够通过观看本身平面的图像而产 生出立体的效果呢? 这就有赖于立体图像的获取和显示。 第一章绪论 1 2 1 立体图像的获取 获取立体图像的方法主要包括：用立体摄像机对拍摄立体图像，用深度摄像 机拍摄立体图像，以及通过平面图像生成立体图像【2 1 。 1 用立体摄像机对拍摄立体图像 使用立体摄像机对，分别拍摄独立的左、右视图以模拟人类双眼感知立体图 像的方式。立体摄像机对包括平行配置和会聚配置两种结构。 平行配置立体摄像机对拍摄左右视图的方法为：两部摄像机模拟人的双眼， 在水平方向分隔一定的距离，这两部摄像机的变焦、会聚、及视频记录都严格地 同步，并对所获取的两路视频信号以某种方式进行记录。会聚配置立体摄像机对 不同于平行配置摄像机对的地方在于，两部摄像机的摄像机光轴相交于一个会聚 点，一个现实世界点在摄像机感应器上的投影要比平行配置复杂些。 2 用深度摄像机拍摄立体图像 使用深度摄像机，拍摄具有深度映射图的二维视图是一种快速的获取立体图 像素材的方法。其将一个红外线激光雷达系统的扫描器集成在传统二维摄像机 中，该扫描器产生一面光墙( 1 i g h tw a l l ) ，通过物体对光的反射，产生物体的印记， 以记录反映物体的深度信息。由这些来自该印记的物体深度信息，可重建出物体 的深度映射图。该深度图实际上是一个二维函数，它以一个与图像相关的函数形 式，给出了相对于摄像机位置的二维视图上点的深度。 3 通过平面图像生成立体图像 平面图像中蕴含着大量的三维信息，通过一定的方式可以将许多平面图像转 换成立体图像。当一个摄像机相对静止物体平行运动，或者围绕静止物体运动时， 可以从拍摄所得的平面图像中，得到物体的立体深度信息；而当摄像机静止不动， 物体相对于摄像机作简单线性运动时，也可以根据拍摄所得的平面图像，获得物 体的立体深度信息。 1 2 2 立体图像的显示 观看者是如何通过平面的图像得到立体感的呢? 其原理是通过空间复用方 式( 两眼同时看，但进入左、右眼的画面不同) 或时间复用方式( 两眼分别先后 观看到不同的画面) ，让左眼看到左视图而右眼看到右视图，从而获得立体感。 根据观看时是否需要使用辅助设备，立体显示技术可分为戴眼镜和不戴眼镜 两种方式。 1 戴眼镜的观看方式 使用立体眼镜或头盔显示器等辅助设备，选择进入人眼的图像，利用双目视 2 第章绪论 差，产生立体感捌。如图1 - 1 所示，常用的辅助设备包括：双色光过滤眼镜、l c d 开关眼镜、极化眼镜和头盔显示器等， 0 钳 面移 图1 - 1 各种立体显示辅助设备 2 不戴眼镜立体显示方式 从光学原理上讲，不戴眼镜立体显示方式利用各种光学面，无需眼镜即可观 看立体图像，因此被称为自由立体( a u t o s t e r e o s c o p i c ) ”显示方式。如图1 2 所示， 常用的光学面包括：透镜柱板( l e n t i e u l a r p l a t e ) 、视差栅栏( p a r a l l a x b a m 口) 、菲涅 尔透镜( f r e s n e l l g ，i i s ) 、光栅阵列( i p l e n s a r r a y ) 、可变形屏幕( a n 踟o r p m cs c r e e n ) 、 全息屏幕( h o l o g r a p h i cs c r e e n ) 等q 。 h1 童1 一。孙、 图1 - 2 各种立体显示所用的光学平面 第一章绪论 1 3 立体图像质量评价 立体图像质量评价是指人们在观看立体图像时，从视觉感觉的角度对图像好 坏的综合评判。目前，对立体图像的质量评价国内外都处于研究的初期阶段，还 没有系统的方法。参考对平面图像质量的评价方法，立体图像质量评价一般分为 两种：主观评价和客观评价。 1 3 1 主观评价 由于对立体图像质量的评价最终取决于观察者的感觉，因此最可靠的评判就 来源于人的评价。对立体图像质量进行评价最直接最自然的解决方法就是利用人 们自身的判断。 主观评价方法就是让观察者根据一些事先规定的评价尺度或自己的经验，对 测试立体图像按视觉效果提出质量判断，并给出质量分数，对所有观察者给出的 分数进行加权平均，所得结果即为立体图像的主观质量评价。主观评价主要有两 种度量尺度，即绝对尺度和相对尺度。 绝对评价是将图像直接按照视觉感受分级评分，表1 1 列出了国际上规定的 平面图像的5 级绝对尺度，包括质量尺度和妨碍尺度。对一般人来讲，多采用质 量尺度；对专业人员来讲，则多采用妨碍尺度。对立体图像质量评价本文将参考 平面图像的这种评价方法。 表1 1 绝对评价尺度 分数妨碍尺度质量尺度 5 分丝毫看不出图像质量变坏非常好 4 分能看出图像质量变化但不妨碍观看好 3 分清楚看出图像质量变坏，对观看稍有妨碍 一般 2 分对观看有妨碍差 1 分 非常严重的妨碍观看 非常差 相对评价是由观察者将一批图像从好到坏进行分类，将它们互相比较得出好 坏，并给出分数。相对尺度如表1 2 所示。 评价的结果可用一定数量的观察者给出的平均分数求得。尽管主观评价方法 能够较好地反映出图像的直观质量，但无法应用数学模型对其进行描述，从工程 应用的角度看，过于费时费力。在实际应用中，图像质量的主观评价方法受到了 4 第一章绪论 严重限制，甚至根本不适合于某些应用场合，如实时图像传输等领域。 表1 2相对评价尺度与绝对评价尺度对照 分数相对测量尺度对应的绝对测量尺度 5 分一群中最好的非常好 4 分好于该群中平均水平的好 3 分该群中平均水平的一般 2 分差于该群中平均水平的差 1 分该群中最差的非常差 1 3 2 客观评价 立体图像质量客观评价是用可以做定量分析的数学模型来描述人对立体图 像的主观感受。其做法是：先定义一些客观指标或参数，然后对被测的立体图像 质量进行公式化的评价。 平面图像质量客观评价方法【i l 】的特点是：以评价图像和参考图像之间的差异 作为主要参数来进行评价。为了使平面图像的质量评价更符合人眼的视觉特性， 相继出现了基于视觉特性的评价方法。故，本文提出的立体图像质量的客观评价 方法是在深入研究平面图像质量客观评价方法及人眼立体视觉特性的基础上提 出的。 1 4 图像质量客观评价研究现状 1 4 1 平面图像质量客观评价研究现状 为了更好的研究立体图像的质量评价，首先介绍一下平面图像质量客观评价 的研究现状。 平面图像质量客观评价方法的代表方法为均方误差m s e 方法和峰值信噪比 p s n r 方法。峰值信噪比p s n r 的定义1 2 1 如下：给定一幅大小为m x n 的评价图 像厂( j c ，j ，) 和参考图像丘( 工，川，则图像厂的p s n r 为 厂2 p s n r = lo lg丁胃二塑l一l a , - - i v - - i 面刍缶y ) 一f o 圳2 ( 1 1 ) m s e 1 3 1 的表达式则为 第一章绪论 厂( 工，y ) - f o ( x ，y ) 】2 m s e = ：! ：= ! m n ( 1 - 2 ) 所以 一= - 吨鑫 m 3 ， 其中，厶是函数厂( 工，y ) 的最大灰度值，例如，常用的8 b i t 的灰度图像厂雠 的值为2 5 5 。 这两种方法直观、严格、算法简单，因此成为应用最广泛的图像质量评价手 段。但由于它们只是对评价图像和参考图像间的纯误差的数学统计，所以难以反 映某些视觉差别。在目前对平面图像质量要求越来越高的情况下，传统的m s e 、 p s n r 有些无能为力。因此人们一直在努力寻找可以取代m s e 、p s n r 的更接近 主观评价的平面图像质量评价方法，并期望把它标准化。 目前就平面图像质量评价的研究进展来看，评价方法主要分为两类：基于视 觉兴趣的评价方法和基于视觉感知的评价方法。 基于图像内容的编码技术【1 4 】启示了人们对基于视觉兴趣的图像质量评价方 法的研究。从视觉心理学角度看，视觉是一种积极的感受行为，不仅与生理因素 有关，还在相当大的程度上取决于心理因素。人们在观察和理解图像时往往会不 自觉地对其中某些区域产生兴趣，这些区域被称为“感兴趣区( r o i ，r e g i o no f i n t e r e s t ) ”。整幅图像的视觉质量往往取决于r o i 的质量，而不感兴趣区的降质有 时不易觉察。文献【l5 】提出了一种基于视觉兴趣的图像质量评价方法：通过对图像 中不同区域的加权突出人眼对r o i 的兴趣程度。近似认为人眼对r o i 的兴趣程度 与其而积成反比。 设被评价图像中只有一个感兴趣区4 ，其面积为s ，不感兴趣区4 的面积 为s ，图像的总面积为s = s + s 2 。评价公式为 i m s e = l 矗( ( z ，y ) - f o ( x ，y ) ) 2 峨( 厂( w ) 一f 0 ( x , y ) ) 2 l 1 - 4 ) u l x ，vj e s l ( x v 坨s 2 i 其中，五、五分别为4 和4 的加权值，并满足s = 五s + 五是，加权值a 越大， 表示人眼对该区的兴趣程度越大。由上式可看出，当s = o ，五= 1 或足= 0 ，五= 1 时，i m s e 就退化为m s e ，因此传统客观质量评价方法是该方法的特例。实验结 果证明，该方法能较好地与人眼的主观视觉相符。 图像降质对人眼视觉的影响是由人眼视觉系统的灵敏度决定的，而视觉灵敏 度是由人眼的视觉细胞决定的【m 】，人眼视觉系统的灵敏度还受到图像空间频率的 影响；影响像素误差可视度的因素是误差周围的局部区域环境，而不是整个图像 的背景环境。根据上述视觉特性，人们建立了各种h v s 模型，用以评价图像的质 6 第一章绪论 量。最典型的h v s 模型如图1 3 所示，它模拟了视觉感知的3 个显著特性，即视觉 非线性特。陛( w e b e r 定律) 、视觉敏感度带通和视觉多通道及掩盖效应。 h v s 模型 输入 图像 视觉ll 视觉敏感度 非线性h带通 视觉多通道 和掩盖效应 图1 - 3 典型人眼视觉系统模型 输出测量 结果；日不 另外，基于刚辨差( j n d ，j u s tn o t i c ed i f f e r e n c e ) 的视觉感知测量方法是较早的 也是较成功的方法之一。该方法根据人眼分辨亮度差异的能力与背景亮度有关而 达到对图像质量定量测量的目的。在宽阔的常用背景亮度变化范围内，人眼的 j n d 为常数；当背景亮度较弱或较强时，人眼的j n d 增大，即人眼的分辨能力减 弱。s l k a r u n a s e k a 等人【17 】针对图像的方块效应提出了一种感知测量模型。通过调 整边缘幅度、边缘长度、背景亮度以及背景活跃度4 个参数，测出边缘损伤的视 觉敏感度。w e n x u 等人【l8 】提出了基于误差分割的测量方法，根据视觉感知差异 将图像损伤分为三类：表示边缘的误差、表示奇异性的误差和除此之外的剩余误 差。研究表明人眼的感知具有方向性和多尺度特性，n j a y a n t 等人【l9 】的方法是： 首先对图像进行子带分解，然后分别对不同频率成分的子带进行屏蔽。文献【2 0 】 在考虑人眼视觉所具有的亮度屏蔽和空间频率屏蔽特性的基础上，给出了一种感 知测量方法，在整个屏蔽过程中体现了人眼视觉所具有的非线性特性。文献【2 l 】 中给出了一种将人眼视觉系统( h v s ) 与图像余弦变换和图像质量评价相结合的 基于h v s 的评价方法。在文献【2 2 】中作者n 胁j a nd a m e r av e u k a t a 等人于2 0 0 0 年在 i e e et r a m i m a g ep r o c e s s i n g 上提出了一种基于失真模型的图像质量评价方法， 分别从空间距离、空间频率、图像尺寸对比度的变化以及对比度掩盖效应等方面 分析了图像的失真情况。这种方法把基于误差分类和基于h v s 的两种方法结合起 来，对频率失真和噪声对人眼的作用分别进行了研究。文献【2 3 】中作者h a m i d r a h i m s h e i k h 从图像信息和视觉质量的角度出发研究了图像质量的评价方法。文 献2 5 _ 6 _ 7 1 中，作者z w a n g 等人分别从图像亮度、对比度和结构失真的角度 出发，根据相关性提出了一种基于结构失真的图像质量评价方法。文献【2 8 】通过分 析人眼视觉系统( h v s ) 的对比度敏感度特性，利用小波变换提取影响图像质量的 相关因素。这些平面图像客观质量评价方法，都可以被分析、借鉴用于立体图像 质量的客观评价中。 7 第一章绪论 1 4 2 立体图像质量客观评价研究现状 当前针对平面图像质量评价的方法不断被改进，各种思路层出不穷，性能也 逐渐优化，但针对立体图像质量的客观评价方法的研究却很少，目前还处在初期 阶段。文献【2 9 】将一些现有的平面图像的客观评价指标，主要有s s i m ( s t r u c m r a l s i m i l a r i t y ) 2 4 1 ，c 4 2 5 1 ，u q i ( u n i v e r s a lq u a l i t yi n d e x ) 3 0 】和r r i q a ( r e d u c e dr e f e m c e i m a g eq u a l i t ya s s e s s m e n t ) 3 1 用于立体图像的质量评价，与主观评价结果相比较， 作者发现，没有任何指标能很好的评价经过模糊处理的立体图像的质量。具体来 说，r r i q a 方法在对模糊处理的立体图像的质量评价方面优于其它方法，但对 经过压缩处理的立体图像没有得到令人满意的结果。而在对经过j p e g 和 j p e g 2 0 0 0 压缩处理的立体图像进行质量评价时，c 4 指标达到最佳的性能。 立体图像唯一不同于平面图像的地方，也即立体感产生的原因主要是来自于 视差，因此当前针对立体图像质量客观评价的研究热点是衡量待评价左右视图对 的视差与参考图像视差的相关性或差异。文献 3 2 , 3 3 中，将平面图像质量评价指标 与视差失真结合起来，提出了一种针对立体图像质量的客观评价方法，其中视差 失真的表征是通过计算参考图像对和评价图像对深度图的相关系数的方法，将深 度图的相关系数作为一个评价指标。 该文献中将立体图像对的左右眼视图分别采用s s i m 进行评价，然后与深度 失真信息玩加权，得到最终结果。具体做法有如下两种： 1 局部视差失真法 、 采用s s i m 评价左右视图，分别得到左右视图各个像素的结构信息 m 唧一坳( p ) 、m 唧一嘲，( p ) ；计算p 喀，将p d 窖分别与m 唧一蚴( p ) 、m 唧一嘲，( p ) 加 权得到d d l 助( p ) 、，( p ) ，总评价值d 幽由左右视图的平均值得出，如公式 ( 1 - 6 ) 。公式( 1 - 5 ) 以左视图为例，表示m 唧蚴( p ) 和的加权方法。 d d l 蚴( p ) ：m 。p 愀( p ) ( 1 x d i s p o r ( p ) 2 - 。d i s p d g ( p ) 2 ) ( 1 5 ) d 以= 寺( 寺d ( p ) + 吉，( p ) ) ( 1 - 6 ) 二vnv n 其中o r 代表原始左图像。 2 总体视差失真法 根据s s i m 分别计算左右视图的评价值，取左右视图的平均值m ；然后计算 深度失真信息玩，将左右视图的平均值m 和深度失真信息玩加权得到最终值。 其中，m 和玩取值范围都为【o ，l 】，0 为最大失真，1 为无失真。并提出了三种 m 和玩的加权方法，如( 1 - 7 ) 式，作为最终评价值。 第一章绪论 d l = mx 瓜 d 2 = m ( 1 + 压) ( 1 - 7 ) d 3 = 此方法针对立体图像质量评价融入了视差这一关键因素，具有重要的意义。 此外，文献【蚓介绍了一种立体视频在传输或存储过程中无右视图原始参考图 像的情况下，采用模糊结构原理，利用重建的左视图代替原始右视图作为参考图 像，对立体视频右视图质量评价的方法。该方法基于的理论是，大多数立体图像 处理系统中，高质量的左视图容易获得，且左视图包含了大量与它对应右视图相 同或相似的信息。文献【3 5 】提出了深度，自然度，表现度和感观四个评价指标来针 对立体图像进行主观评价。 同为天津大学通信研究实验室立体图像研究组的杨嘉琛老师在文献【3 6 】中以 平面图像的客观评价方法p s n r 为基础，分析人类立体视觉，提出了一种立体图 像质量评价方法。具体做法是：首先对图像质量进行客观评价( 单眼平面图像评 价) ，即借鉴平面图像质量评价的p s n r 方法；然后，进行视点对之间立体感觉 客观评价，这部分利用差值图来对立体感觉进行客观评价。 本文是基于对现有平面图像质量评价和立体图像质量评价分析研究的基础 上，结合人眼立体视觉特性，提出了针对立体图像质量评价的三个客观指标。其 中，借鉴了平面图像质量评价的峰值信噪比，并在此基础上考虑了人眼对比敏感 性；借鉴了平面图像质晕评价中典型的客观保真度的评价方法，即考虑图像的结 构相似性度量；最后，通过测量视差失真度进行立体感的客观评价，其中视差失 真度的测量，以提取立体图像对的左右视图相匹配的特征点的视差的相关系数代 替当前已有的通过计算整幅左右视图的深度图或差值图衡量立体图像对视差失 真度的方法。该方法克服了整幅图匹配时由于左右视图的角度变化、遮挡、相似 区域等问题带来的误匹配所导致的视差失真度计算误差大的缺点，能够更好的衡 量图像的视差失真度。 1 5 论文的主要工作及组织结构 本文通过研究现有平面图像质量评价方法及立体图像质量评价方法，在考虑 人眼立体视觉特性的基础上，提出了针对立体图像质量评价的人眼视觉信噪比、 客观保真度、深度失真度三个客观指标。 论文的结构组织如下： 第1 章“绪论”：阐明本文的研究意义和研究内容，概述了立体图像的获 9 第一章绪论 取和显示以及立体图像质量评价方法的内容和发展现状，并介绍了本文的主要工 作和论文的组织结构。 第2 章“人眼视觉特性”：分析研究了人眼的立体视觉特性，简单介绍人 眼的生理结构，及人类针对立体图像的生理、心理各方面的视觉特性，以便结合 视觉特性设计评价指标的提取。 第3 章“小波分解及支持向量机网络”：就提取指标需要用到的小波分解 和验证指标用到的神经网络的原理进行简要概述，便于对后面相应内容的理解。 第4 章“立体图像质量客观评价指标的提取”：针对立体图像，考虑人眼 视觉特性，分别提取立体图像的人眼视觉信噪比、客观保真度及深度保真度三个 评价指标，并利用支持向量机网络对所提指标的合理性进行验证。 第5 章“总结与展望”：总结本文已经完成的工作，并指出不足之处及今 后改进的方向。 1 0 第二章人眼立体视觉特性 第二章人眼立体视觉特性 大量平面图像质量评价的研究表明 于没有考虑i - i v s 的评价方法m ，因此 也要充分考虑到h v s 。 基于人眼视觉系统( h v s ) 的评价方法优 对本文所研究的立体图像的质量评价， 在这一章里，将对人眼视觉系统的基本构造及其特性作一些讨论，这些知识 可以使我们更好的认识人眼视觉感知的过程，从而对影响立体图像质量的因素有 更深入的认识。 21 人眼的生理结构 人的视觉系统 瑚由眼球、祝神经和大脑视觉中枢构成。眼球是一个极其复杂 且精密的光学系统，它的外形呈球状直径约为2 5 毫米，其内部结构 3 9 】如图2 1 所示： 姥津一一彳亨 图2 - i 眼球的内部结构 外界光线首先透过角膜进入眼睛，角膜是由角质构成的半球状壳，厚度约为 o5 5 毫米，折射率为1 3 7 7 1 。水晶体是由多层薄膜构成的一个j 叹凸透镜，借助水 晶体周围肌肉的作用，可以使它的前表面的半径发生变化，从而改变水晶体的焦 距，使物体成像在视网膜上。视网膜由视锥细胞( c o n ec e l l ) 和视杆细胞( r o d c e i l ) 两种感光细胞组成。视锥细胞主要在明亮的视觉环境下起作用，而视 第二章 眼立体视觉特性 杆细胞主要是在黑暗的视觉环境下起作用，同时还负责察觉物体的运动。 园此，常将视锥细胞称为明视觉细胞，将视杆细胞称为暗视觉细胞。 位于视眄膜接近视轴中心的地方，有一个椭圆形的小区域，是黄斑区，在黄 斑上有一个不大的凹坑，称为中央凹。在中心凹处密集着大量感光细胞，它是视 网膜上视觉最灵敏的区域。视网膜上距离视轴0 0 1 5 0 的范围内，密集分布着大 量视锥细胞，1 5 。以外，视锥细胞迅速减少，一直分布到7 0 0 8 酽：人类视觉 的中央凹没有视杆细胞，只有视锥细胞。视网膜上距离视轴1 5 。3 0 。，分布 着大量视杆细胞，越远离这一区域，视杆细胞越少。眼睛注视某一物体时，使物 体的像自动成像在黄斑上。 黄斑上的中心凹和水晶体光心的连线称为视轴。在眼球内，可认为水晶体到 网膜的距离是不变的。观察不同距离的物体，水晶体的焦距自动改变，使像清晰 地成在网膜上。对于近处的物体，由于眼肌的用力，使水晶体曲率变大；对于远 处的物体，眼肌放松，水晶体的曲率变小。眼睛观察物体时，远物感觉小，近物 感觉大。眼睛对不同尺度的感觉是取决于物体在网膜上所成的像的大小，像的大 小决定于物体对人眼的张角。 2 2 视觉的形成 外界的光线聚1 4 视网膜上后，视网膜对光信号进行加工，加工后的信息将由 神经节细胞层的视神经以电脉冲的形式向脑中传输，如图2 2 所示。 & 3 。 一i 彩 图2 - 2 视觉信号的传输路径 第二章人眼立体视觉特性 左右眼的两条视神经在到达大脑之前有一个交叉，即左边来的视神经纤维有 一部分通向右边，右边来的则有一部分通向左边，这一交叉部位称之为视交叉。 网膜上的视神经交叉后的视束终止于外侧膝状体，然后由这里的神经元接替将信 息传入大脑。侧膝体的纤维形成视放射进入到大脑枕叶皮层，首先到达初级枕叶 皮层( v 1 或1 7 区) 。h u b e l 和w i e s e l 研究认为双眼的立体视觉发生还在1 7 区 之上，m i c h k i n 和他的同事发现：1 7 区沿着两条主要路线向上伸展。背支向着项 叶，涉及v 1 、v 2 等，直到顶叶皮层，分析安排和运动有关的信息。腹支则经过 v 1 、v 2 和v 4 等，是向着颞叶走向的，它分析理解物体的图形、大小、颜色等 信息。o w e nm t h o m a s 通过试验证实，v 2 对于立体视差有着特殊的作用【矧。 左右视野在脑中的投射出现一种有趣的分布。左视野的景物正好投射到左眼 网膜的鼻侧和右眼网膜的颞侧，于是就全部到了大脑的右半脑皮层，而右视野的 景物正好投射到右眼网膜的鼻侧和左眼网膜的颞侧，于是就全部到了大脑的左半 脑皮层，通过胼胝体联系两半球的神经束的作用，左右半脑的信息可以进行 交流，从而获得完整的景物信息。 2 3 视觉基本特性 2 3 1 视觉空间频率特性 人类的视觉有其本身特有的空间频率特征，e w c a m p b e l l 早在1 9 7 4 年发表 的“空间信息通过视觉系统的传输”一文中就指出，视觉系统是呈多频道性，每 对 比 灵1 0 0 敏 度 1 0 空间频率( c d e g ) 图2 3 对比灵敏度函数曲线 第二章人眼立体视觉特性 频道对应不同的空间频率调制，且各频道带宽不超过一个倍频程。形成视觉系统 的这种带通特性，并不是眼球的屈光系统，而是视网膜。其中视网膜中y 型神 经节细胞对空间频率呈低通特性；而x 型神经节细胞也呈低通特性，但低频部 分下降很快，高频部分延伸，截止频率提高。大脑视区中简单细胞是呈窄带通， 复杂细胞是呈宽带通特性，人眼的对比敏感度函数( c s f ) 曲线具有带通滤波特性， 如图2 3 所示。 2 3 2 视觉对亮度反应的非线性 视觉对亮度反应的灵敏度是非线性的。例如：人眼视觉系统对黑暗背景的微 小亮度变化比较敏感，而对明亮背景下的微小变化则很难察觉到，这就从一个侧 面反映出h v s 也有其特定的亮度反映曲线，并且这条曲线是非线性的。 2 4 心理立体视觉 心理立体视觉是人类长期对自然景物进行观察而得到的一种立体视觉记忆 和立体视觉经验，依靠这种视觉记忆和经验，观察者能够从没有深度信息的平面 图像中准确地提取出物体间的相对位置和相对深度4 1 1 。心理立体视觉主要是由遮 挡、透视、阴影、纹理梯度、色调暗示等因素构成。 2 4 1 遮挡 遮挡( s u p e r p o s i t i o n ) 是指一个物体遮蔽了另一个物体的一部分。我们只能 通过遮挡来判断深度秩序，而不能判断事物间的距离。遮挡在前面的物体被感知 为近些。图2 4 所示为遮挡的情况，下面的矩形由于遮挡了上面的矩形，而使它 看似较近。 2 4 2 透视 透视( g e o m e t r i c a lp e r s p e c t i v e ) 是指平面上的刺激物，根据视角原理，近处 的对象面积大，占的视角大，看起来较大：远处的对象占的视角小，看起来较小， 如图2 5 所示。根据透视的原理，相同尺寸的同一物体，距离观察者较近时在视 网膜上所形成的像较大，较远时在视网膜上形成的像较小。这样，具有同样基本 形状特征的物体出现在视网膜上的几何尺寸大小就能够提供一种心理深度暗示。 1 4 第二章人眼立体视觉特性 图2 - 4 遮挡 2 4 3 阴影 图2 5 透视 阴影是由不透明或半不透明物体对光线的阻碍所引起的表面照度的变化。物 体投射在自己上面或是投射到其他物体上的阴影被称作分离阴影( d e t a c h e d s h a d o w ) 。分离阴影可以作为物体和它所投射到的表面间相对距离的线索。 图2 6 相对深度和投射的阴影 图2 6 就是一个例证，当球和它的阴影同时沿着对角线从左边移向右边，球看 似贴着表面在移动，且变得越来越大( 上图) ；当球沿着对角线移动，而它的阴 影水平移动时，球看似慢慢地离开了表面，并且维持同样的大小( 下图) 。 2 4 4 纹理 视野中对象重复而众多的成分，构成一种视觉表面纹理，距离愈远，纹理愈 细愈密。纹理梯度携带立体视觉感知所需的各种信息，例如关于一个平面上的物 体的大小和距离的信息，关于两面所成夹角的信息，甚至有关形状的感知也可以 据此加以解释。总的表明，纹理结构的梯度乃是判断空间轮廊的信息资源。 第二章人眼立体视觉特性 2 4 5 频率 在焦平面上的物体总是最清晰的，远离焦平面上的物体清晰度会逐渐减弱。 这样在平面图像中距焦平面较近的物体具有较高的频率分量，而距焦平面较远的 物体则具有较低的频率分量，分析一幅图像中的高频成份和低频成份，也可以得 到不同的深度暗示。 2 5 生理立体视觉 生理立体视觉是指由人眼的晶状体调节、双眼会聚和双眼视差异等因素构成 的立体视觉 4 2 , 4 3 1 ，不同的生理立体视觉因素将对立体成像产生的影响不同。 2 5 1 晶状体调节 在观察物体的时候，眼睛的晶状体有调节作用，晶状体的调节是通过睫状肌 的放松和收缩运动来完成的i 当观察远处的物体时，睫状肌放松，观察近处的物 体时睫状肌收缩，以保证视网膜上获得清晰的像。眼睛的调节活动传递给大脑的 信号是估计物体距离的依据之一。在眼睛的调节作用中主要是靠视网膜上的像的 清晰度来感知距离的，当眼睛注视空间的某一点时，这一点的像清楚地聚焦在视 网膜上，而所有远于这一点的像都是模糊的。清晰像和模糊像是分化距离的线索。 许多实验都证明，眼镜的调节作用只在2 米的距离范围内起作用，对于远距离的 物体，调节的作用便失效了。 2 5 2 双眼会聚 人是用两只眼睛来观察自然界景物的。在观看景物时，双眼首先会聚焦在感 兴趣的物体上，两眼的视轴会在被观察物体的某一点上相交，该点的视像会落在 两只眼睛的中央凹位置上，这被称为双眼会聚，或简称会聚。当人希望注视某一 物体时，大脑就将这个信号传递到眼肌，眼肌控制眼球将双眼会聚到注视的点。 被注视点距观察者越远，即会聚距离越大，会聚角越小，眼肌也就越放松；当注 视点距观察者很近时，会聚角变大，眼肌也变得紧张起来。因此，双眼的会聚角 及眼肌的紧张程度与被注视景物的距离形成了一定的关系。大脑可以根据眼肌的 紧张程度和会聚情况来判断被注视物体与观察者之间的距离，即双眼会聚可以提 供一种生理深度暗示。 1 6 第二章人眼立体视觉特性 2 5 3 双眼视差 双眼视差异是人眼最强烈的生理立体视觉因素，是一个完整的立体视觉生理 功能。由于两只眼睛在水平方向存在距离，大约相距6 5 c m ，使得双眼视网膜上 的像形成差异，这个差异被称为双眼视差异，双眼视差是感知物体前后相对距离 的重要线索。借助于双眼视差比借助上述各种线索更能精细地感知相对距离。特 别是在缺乏其它线索来估计对象距离的时候，双眼视差更为重要。 在视网膜上形成的两个二维图像经过双眼的视神经网络分别传递到大脑视 区，由大脑视区中的双眼视差异检测细胞检测出其差异值并将其“翻译”成相应 的空间距离感觉，这就是双眼立体视觉。 2 5 4 潘诺立体融像区 早在1 8 5 8 年p e n a m 就指出，当人的双眼注视一个外界对象时，另一远于或 近于双眼单视界的物体，虽然没有刺激到左、右眼视网膜的对应点上，但只要刺 激在两个视网膜对应点附近的一定范围内，也可以在大脑中产生单一的视觉。视 网膜对应点附近这个很小的范围被叫做潘诺( p e n a m ) 立体融像区。如果几个物 体刺激在两个视网膜上形成的物像视差异较大，便会出现复视，即不能把该物体 在左、右眼两个视网膜上形成的像在大脑中融汇成单一的视觉。p e r t a i n 融像区说 明并不是所有的在两个视网膜上形成的含有双眼视差异的图像都能在大脑中形 成单一的立体视觉，只有满足一定双眼视差异条件的图像对才能被融合成单一的 立体图像。因此符合人眼的这一视觉特征，必须控制全部景物的双眼视差异使其 构成的两个图像能够在大脑皮层中融合成单一的图像。 2 6 小结 本章从人眼的生理结构，视觉系