基于人眼视觉特征的立体图像质量客观评价方法

1、第42卷 第7期 2009年7月 天 津 大 学 学 报 Journal of Tianjin University Vol.42 No.7 Jul. 2009基于人眼视觉特征的立体图像质量客观评价方法杨嘉琛，侯春萍，雷建军(天津大学电子信息工程学院，天津300072)摘 要：在充分利用人类视觉特性的基础上，模拟人眼感知立体图像的方式，提出了一种立体图像质量客观评价方多通道结构和掩盖特性等多种人眼视觉特性在处理HVS模型的多通道中，将图像法。该方法考虑了对比度敏感度、的空间频率按视觉系统的掩盖效应特点分成5个带分别进行滤波，以改变原始图像的空间频率实验结果表明，所提出的方法与主观评价结果基本一

2、致，能够反映图像质量以及立体感的优劣 关键词：人类视觉系统；立体图像；立体感中图分类号：TP391.4 文献标志码：A 文章编号：0493-2137(2009)07-0622-06Objective Quality Evaluation Method of Stereo Image Basedon Human Visual CharacteristicsYANG Jia-chen，HOU Chun-ping，LEI Jian-jun(School of Electronic Information Engineering，Tianjin University，Tianjin 300072，Ch

3、ina)Abstract：Through analyzing the characteristics of human visual system and simulating human visual perception of stereo image，an objective quality evaluation method of stereo image was proposed in this paper. The method took into considera-tion the contrast sensitivity function，multi-channel stru

4、cture，masking effect and so on，the main properties of human visual system. During the processing of the multi-channel in the HVS model，the spatial frequency of image is divided into five bands to vary spatial frequency of the initial image according to the characteristic of masking effect. The exper

5、imental resultsshow that the proposed method is in accordance with subjective evaluation and can reflect the image quality and les stereo-scopic.Keywords：human visual system；stereo image；stereo sense人类获取信息最高效的途径就是依赖平行地长在前额下方的那双眼睛由于人眼看到的是自然界中真实的三维景物，因此能够再现这种三维景物的立体感一直是人们的梦想但立体图像的数据量比平面图像要大好多倍，所以研究高速、

6、高效和高质量的立体图像压缩算法具有较大的实用价值但压缩后立体图像的质量评估是一件十分困难而且艰巨的工作立体图像质量评估可分为主观质量评定和客观质量评定2种方法考虑到有510的人属于视差立体感视盲，在主观评估前，首先必须证明测试员具有正常的视差立体感，这也就给主观评测增加了收稿日期：2008-07-17；修回日期：2009-02-26.难度主观的图像质量评分更接近人的真实视觉感受，但需耗费人力和时间，成本较高，客观质量的测定方法速度快、易实行最常用的测试平面图像质量的标准是峰值信号与噪声比(peak signal-to-noise ratio，PSNR)，但这种方法往往不会符合人眼的视觉感受，只

7、能粗略地估计平面图像质量近年来，随着对人眼视觉系统研究的不断深入，人们对客观质量评价方法的研究也由传统的误差统计方法转到考虑视觉感知特性的方法上来，出现了许多基于人眼基本视觉特性的感知平面图像质量评价模型1-3基金项目：国家高技术研究发展计划（863计划）资助项目（2007AA01Z304，2008AA01A320）；国家自然科学基金资助项目（60672077）；天津市科技支撑计划资助项目（08ZCKFJC27900）.2009年7月 杨嘉琛等：基于人眼视觉特征的立体图像质量客观评价方法 ·623· 但这些方法只能评价同一个视点编码前与解码后的图像质量关系，而立体图像在相邻

8、视点之间存在人眼标准视差的高度相关性，如果2个相邻视点各自的图像质量值都比较高，但是视点间视差成分减少甚至反相，人眼能欣赏到图像的立体感将大打折扣，一种压缩编码如果导致立体感的严重损失，甚至造成观察者的眼疲劳，显然它不适合立体图像的应用因此，很有必要建立一个基于人眼视觉特性的立体图像质量客观评价标准，笔者正是针对这一课题开展了相关研究工作1 人眼基本视觉特性1.1 色彩空间人眼之所以能辨识颜色，是由于眼睛内存在3种能辨色的椎状细胞，这3种椎状细胞分别能吸收不同波长范围的光，分别是红、绿、蓝但人脑内部是依靠对比度来感知信息的，3种颜色进入人脑后会转变为对比度信息，Poirson和Wandell4

9、研究了三通道模型与空间频率的关系，把任意的颜色变化分解为黑白、红绿、黄蓝等对立色，并建立了彩色独立模型 模式 1.2 多通道特性视觉心理学和生理学实验表明人类视觉系统(human visual system，HVS)包含独立的空间频率处理单元，也称作通道例如，文献5提出人眼黑白视觉中在30°到60°之间存在几个倍频程的通道；人的彩色视觉中相似的视觉通道在60°到130°之间也被发现这些独立通道的存在好像把视觉激励做了子带划分再进行处理 1.3 对比度灵敏度函数对比度是对亮度相对变化的一种量度，一般来讲对比度与激励信号的相对亮度幅度成正比6人眼对比度的敏感

10、度与激励的颜色、空间和时间频率有关，对比度灵敏度函数(contrast sensitive function，CSF)通常被用来定量描述这些相关的程度，它被定义为对比度门限的倒数当时域频率为0 时，人眼视觉系统的空间对比度敏感性也称为调制转移函数(modulation transfer function，MTF)对MTF 的研究表明，HVS对静止图像的空间频率响应呈带通特性 1.4 视觉掩盖效应对CSF 的研究中为了简化问题的分析，默认了一种假设：视觉激励或者是一个单一的频率信号，或者是一个常量事实上，当人们观察一幅图像的时候，图像对人眼的激励是若干幅值的若干频率信号的组合此时人眼对一个激励的

11、响应已经不仅仅受限于这个激励本身，还要受到其他激励信号的影响视觉掩盖效应是指在一个视觉激励存在的情况下，人眼视觉系统对另一个激励可见阈值提升(或可见性的降低)的现象 1.5 合并以上描述的对信息的处理过程都是在初级视觉皮层或其之前发生的，而存在于不同通道的信息会在脑部区域聚合这个过程模拟了人脑对来自各个视觉通道的神经信号的总体处理和认知结果 Minkowski合并是目前常用的一种非线性合并规则M=(1)式中：Si为不同通道的损伤强度；为合并参数2 人类立体视觉人类的立体视觉由生理立体视觉与心理立体视觉组成7生理立体视觉是指由人眼的晶状体调节、双眼会聚和双眼视差等因素构成的立体视觉其中，双眼视差

12、是人眼最强烈的生理立体视觉因素Julesz8利用随机点图已经证明，在排除一切心理立体视觉之后，一组完全无异议的视觉刺激，只要具备视差条件，就能经双眼产生深度上的感觉这说明双眼视差可以与任何视觉经验无关双眼视差9(binocular disparity)简称视差，两眼从稍有不同的个角度去观察客观三维世界的景物，由于几何光学投影到观察者两眼间距离不同，景物像点落在左右两眼网膜上的像就不在相应位置上这种两眼视网膜上位置的差异就称之为双眼视差，它反映了客观景物的深度人能够感知深度，这个视差是一个很重要的因素视差经脑部区域融合，产生立体视觉，双眼视差的大小由双眼视差角的大小决定心理立体视觉是视觉经验和视

13、觉记忆的一种体现当观看一张平面彩色照片时，人们可以根据照片上内容去判断照片上各个物体、人物之间的距离关系，这种判别通常是十分准确的心理立体视觉主要是由遮挡、阴影、几何透视和结构级差等因素构成影响生理立体视觉与心理立体视觉的诸多因素中，绝大部分(晶状体调节、双眼会聚、重叠、透视、阴影、纹理梯度和色调暗示等因素)是由人类个体视觉经验、视觉记忆、眼睛结构和用眼习惯决定的而与立体图像有直接关系的只有双眼视差由此可见，影·624· 天 津 大 学 学 报 第42卷 第7期响人眼立体视觉的外界因素主要是立体图像中的双眼视差信息3 基于视觉特性立体图像质量评价模型人眼观看立体图像与平面图

14、像有很大的区别在观看平面图像时，人的两只眼睛看到的是同一幅图像；而观看立体图像时，人的两只眼睛看到的是幅略有不同的图像(视点对)本文分个方面对立体图像质量进行评价：首先对图像质量进行客观评价；然后，对视点对之间立体感进行客观评价因此，本文提出的对立体图像质量客观评价的指标分为个部分，一个是图像质量，一个是立体感觉 3.1 图像质量客观评价近些年，很多研究人员从事基于视觉特性的图像质量客观评价的研究工作Lukas和Budrikis10提出了第一个基于人眼视觉时域、空间域特性的复杂图像质量评价系统Daly11在评价模型中模拟了幅度非线性、对比度灵敏度、单视觉通道内掩盖的人眼视觉特性Foley12提

15、出了一种比较重要的利用人眼多个视觉通道相互掩盖特性的评价模型此后，Lambrecht13和 Winkler3先后改进了前人的结果，形成了视觉损伤评价模型(perceptual distortion metric，PDM)，并最终提交给视频图像质量专家组 (video quality experts group，VQEG)这些图像质量评价模型都有共同的框架结构，如图1所示Fig.1图 1General 基于视觉系统的图像质量客观评价框图evaluation based on HVSflow chart of objectiveimage quality本文的图像质量客观评价也延用了这个框架结人眼

16、是通过对比度感知图像信息的，而大多数对对比度的研究是在B-W 色度空间实现的4，为了利用已有的研究成果，很多图像质量评价模型都首先将图像的色彩表示变换到B-W、R-G 和B-Y 空 间上Fig.2 Flow chart of objective image quality evaluation图2 图像质量客观评价框图用一组分层结构的滤波器来模拟人眼的视觉多通道特性滤波器组的作用是仿照人眼视觉感知通道的构造，把一幅图像中的激励信号分解到不同的多个空间频率和方向上的子带中，这样每一个独立的子带信号就好像是图像对人眼视觉系统不同感知通道的激励Steerable金字塔滤波器分解符合人眼的视觉多通道特性，并且具有旋转不变性、自反性(self-inverting)和最小的子带间混迭，它受到了几个视觉质量评价模型的青睐本文的立体视觉模型也是基于Steerable 金字塔频域分解的参照Winkler3提出的PDM 模型，利用分别调制到0°、45°、90°和135°的Steerable金字塔滤