（计算机科学与技术专业论文）人脸图像质量评价方法研究.pdf

声 t ，i o o0 tq at h e s i si nc o m p u t e rs c i e n c ea n dt e c h n o l o g y r e s e a r c ho ff a c e i m a g eq u a l i t ye v m e t h o d b yh o uy e m a o s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rh a nc h u n y a n a s s o c i a t ep r o f e s s o rg a o x i a o x i n g n o r t h e a s t e r nu n i v e r s i t y j u n e2 0 0 9 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 ：蕾 思o 学位论文作者签名：纠菠 日期：2 0 0 睥多闷 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位 论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文 的全部或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口两年口 学位论文作者签名：斛艿乙 签字日期：如。罗年了日 翩签名：嘞希乏 签字日期：，z o d 兄斧嗣 东北大学硕士论文 摘要 人脸图像质量评价方法研究 摘要 随着计算机科学的飞速发展，计算机相关领域的应用已经深入到人们牛活的各个方 面，并起着十分巨大的作用。其中，图像工程是计算机科学研究中比较前沿的研究课题。 人脸图像质量评价是图像工程的重要内容之一，在人脸识别，人脸定位和人脸跟踪系统 中起着举足轻重的作用。评价方法一般来说可分为客观质量评价方法和主观评价方法。 文中分析了传统的全参考图像质量评价方法及其一些缺点，在分析图像信息和相关性理 论基础之上，通过对基于结构失真的人脸图像质量评价方法的深入分析，提出了一种无 参考图像质量评价方法。 本文主要阐述了一种将人脸图像的相关参数，人脸图像的小波系数和人脸图像的特 征提取相结合的思想。首先，通过人脸检测方法得出人脸图像的区域。然后，通过v c 抖 与o p e n c v 联合编程的方式得出人脸图像并将其保存。之后，本文通过对人脸图像的相 关参数进行分析得出影响图像质量的相关参数；再后，采用二维小波变换得出小波系数 的均值，方差，能量分析它们对于人脸图像质量的影响；然后，通过提取人脸特征根据 人脸的大小，位置和角度对人脸进行评价；最后通过人脸图像相关参数，小波系数和人 脸特征相结合的方式求出影响人脸图像质量的参数。 通过对大量的人脸照片进行质量评价，测试得出结论：所提出的改进方法与人的主 观视觉质量具有一致性。 关键词：熵，灰度对比度，灰度适宜度，边缘突出度，小波系数，人脸特征 i i 东北大学硕士论文 a b s t l a c t r e s e a r c ho ff a c ei m a g eq u a l i t ye v a l u a t i o n m e t h o d a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rs c i e n c e ，c o m p u t e r r e l a t e df i e l d sh a v e b e e nd e e pi n t oa l la s p e c t so f p e o p l e sl i v e sa n dp l a ya ne n o r m o u sr o l e a m o n gt h e m ，t h e i m a g ep r o j e c ti sm o r ec u t t i n g e d g er e s e a r c hi nc o m p u t e rs c i e n c e f a c ei m a g eq u a l i t y e v a l u a t i o ni sa ni m p o r t a n ta s p e c to ft h ei m a g ep r o j e c t ，w h i c hi nt h ef a c er e c o g n i t i o n ， f a c el o c a t i o na n df a c e - t r a c k i n gs y s t e mp l a y sa ni m p o r t a n tr o l e e v a l u a t i o nm e t h o d si n g e n e r a lc a nb ed i v i d e di n t oo b j e c t i v ea n ds u b j e c t i v eq u a l i t ye v a l u a t i o nm e t h o d s t h i s p a p e ra n a l y z e st h et r a d i t i o n a lf u l l - r e f e r e n c ei m a g eq u a l i t ye v a l u a t i o nm e t h o d sa n ds o m e 0 fi t ss h o r t c o m i n g s b a s e do nt h ea n a l y s i so fi m a g ei n f o r m a t i o n t h eb a s i st h e o r yo ft h e r e l e v a n c ea n dd e p t ha n a l y s i so ft h ee v a l u a t i o nm e t h o do ft h ei m a g eq u a l i t yo fs t r u c t u r a l d i s t o r t i o n ，an o n - r e f e r e n c ei m a g eq u a l i t ye v a l u a t i o ni sp r o p o s e d i nt h i sp a p e r , a ni m a g eo ft h er e l e v a n tp a r a m e t e r s ，t h ew a v e l e ti m a g ec o e f f i c i e n t s a n df a c ef e a t u r ea r ec o m b i n e d f i r s t l y , t h r o u g ht h ef a c ed e t e c t i o nm e t h o d ，d r a wi m a g e s o ft h er e g i o nf a c e s e c o n d l y , b yt h ej o i n tp r o g r a m m i n go fo p e n c va n dv c + + g e tf a c e i m a g ea n ds a v ei t t h i r d l y , b ya n a l y s i s i n gt h er e l e v a n c ep a r a m e t e r so ft h ef a c ei m a g e t h i sa r t i c l eo b t a i n sf a c t o r sw h i c ha f f e c tt h e i m a g eq u a l i t y f o u r t h l y , a f t e r t h e t w o d i m e n s i o n a lw a v e l e tt r a n s f o r mo b t a i nm e a n ，v a r i a n c ea n de n e r g yo ft h ew a v e l e t c o e f f i c i e n t sa n da n a l y s i st h e m f i f t h l y , b ye x t r a c t i o no ff a c ef e a t u r ea c c o r d i n gt of a c e s i z e ，l o c a t i o na n da n g l e ，e v a l u a t ef a c ei m a g eq u a l i t y l a s t ，b yc a l c u l a t i n gi m a g e c o r r e l a t i o np a r a m e t e r s ，t h ew a v e l e tc o e f f i c i e n t sa n df a c ef e a t u r e s ，o b t a i nt h ep a r a m e t e r s w h i c hi st h ei m p a c to ff a c ei m a g eq u a l i t y p a s s i n gt h et e s t s ，c o m et ot h ec o n c l u s i o n ：t h ep r o p o s e dm e t h o di sc o n s i s t e n c ya s t h es u b j e c t i v ev i s u a lq u a l i t y k e yw o r d s ：e n t r o p y , g r a yc o n t r a s t ，g r a yf i t n e s s ，e d g eh i g h l i g h t i n gd e g r e e ，w a v e l e t c o e 伍c i e n t s f a c ef e a t u r e i i i 东北大学硕士论文目录 目录 独创性声明i 摘要i i a b s t r a c t i i i 第l 章引言1 1 1 人脸图像质量评价的意义及现状1 1 2 人脸图像质量的客观评价方法的种类及其应用2 1 2 1 人脸图像质量的客观评价方法的种类2 1 2 2 应用情况6 1 3 人脸图像质量评价的困难7 1 4 论文的研究内容与安排8 第2 章相关理论及关键技术1 1 2 1 数字图像处理的基础知识j 1 1 2 1 1 数字图像处理的特点1 1 2 1 2 数字图像处理的方法1 2 2 1 3 数字图像的颜色模式1 3 2 2 小波变换在图像处理中的应用1 6 2 2 1 小波变换16 2 2 2 小波变换在图像处理中的应用1 8 2 2 3 小波变换用于图像处理的优势2 1 2 3 图像信息的相关参数介绍2 2 2 3 1 均值一2 2 2 3 2 空间细节信息2 2 2 3 3 光谱信息2 3 2 4 人脸特征的提取2 4 2 4 1 候选特征的提取2 5 2 4 2 双眼的定位2 5 2 5o p e n c v 简介及基本编程方法2 5 2 6 本章小结2 6 第3 章人脸图像质量评价方法分析2 7 3 1 图像相关参数对人脸图像的评价2 7 i v 东北大学硕士论文 目录 3 1 1 图像的熵2 7 3 1 2 图像的灰度对比度2 8 3 1 3 图像的适宜度2 9 3 1 4 图像的边缘突出度2 9 3 1 5 测试分析3 0 3 2 小波系数对人脸图像的评价3 2 3 2 1 二维离散小波变换3 2 3 2 2 适用于应用环境的快速算法3 3 3 2 3 小波系数的显示3 5 3 2 4 小波系数的统计特性3 6 3 2 5 小波系数的均值，方差和能量3 8 3 2 6 不同分辨率级相同方向上小波系数的关系3 9 3 2 7 同一分辨率级不同方向的小波系数对图像主观质量的影响4 0 3 2 8 小波系数对人脸图像的评价结论4 0 3 3 人脸特殊性对人脸图像的评价4 1 3 3 1 人脸大小评价算法4 l 3 3 2 人脸位置评价算法4 1 3 3 3 人脸角度评价算法4 2 3 4 本章小结4 2 第4 章人脸图像质量评价系统实现4 3 4 1 系统方案4 3 4 2 人脸检测与定位算法的实现4 4 4 2 1 基于相似度计算的方法4 4 4 2 2 基于皮肤区域、头发区域的方法4 6 4 2 3 人脸区域的划分4 7 4 2 4 保存人脸图像一4 9 4 3 人脸图像质量评价方法实现5 1 4 3 1 人脸图像的小波系数5 1 4 3 2 人脸图像的熵。5 2 4 3 3 人脸图像的灰度对比度5 4 4 3 4 人脸图像的适宜度5 5 4 - 3 5 人脸图像的边缘突出度5 5 4 3 6 人脸图像的特征检测5 7 4 4 测 式5 8 v 4 5 本苹小结6 0 第5 章总结与展望6 1 5 1 本文结论6 1 5 2 展望。6 2 参考文献6 5 致谢6 9 攻读硕士期间发表的论文二7 1 v i 东北大学硕士学位论文第1 章引言 第1 章引言 人类社会已步入信息时代，作为信息社会基础设施的计算机、通信和网络技 术得到了迅猛发展。随着这些科技的不断发展和日益普及，正极大地影响着人们 的生活方式乃至整个社会的生产方式，而这一切的发生和发展都是建立在一块共 同的基石之上信息的交换与传递。 人们获取信息的途径无外乎是通过自身的生理感官得来，即视觉、听觉、触 觉、味觉及嗅觉。而人们通过感觉器官日常收集到的各种信息中，最丰要的是视 觉信息和听觉信息。据有关学者统计，视觉信息约占全部信息的6 0 ，听觉占2 0 ， 触觉占1 5 ，味觉占3 ，嗅觉占2 。这就意味着在获得的各种信息中，有一半 以上是视觉信息，即图像信息。与听觉信息相比，图像信息具有如下一些优点【l j ： ( 1 ) 确切性 同样的内容，通过听觉和视觉获取信息的效果是不同的。后者显然比前者容 易确认，不易发生错误。 ( 2 ) 直观性 同样的内容，看图显然要比声音更为形像直观，印像更为深刻，易于理解。 也就是说，图像信息产生的效果更好、更直接。 ( 3 ) 高效率性 由于视觉系统具有很高的图案识别能力，人们能在很短的时间内，通过视觉 接受到比听觉多得多的大量信息。俗话说，百闻不如一见正说明了这个道理。 ( 4 ) 多种业务的适应性 随着人们生活水平质量的提高，对信息业务也必将提出多样化的要求，而利 用视觉得到的图像信息更易于满足信息检索、生活指南、传真通信、会议电视、 电子邮件等各种各样业务的要求。 1 1 人脸图像质量评价的意义及现状 虽然图像技术取得了迅速的发展，但在目前的技术水平下仍需要在算法和设 备的设计中做出某些折衷，如时间分辨率与噪声敏感度之间的折衷( 采集) ，空间 分辨率与图像尺寸的折衷( 传输和存储) ，和亮度的范围与阶数之间( 显示) 。当在 其中做出某种选择后，将会影响到重建图像的感观。为了取得最优的选择，有必 东北大学硕士学位论文 第1 章引言 要知道这些选择的结果怎样，会给重建图像的感观造成怎样的影响。那么一个核 心的问题就是图像质量的研究。 目前的数字图像质量的研究可以分为两种完全不同的方法：主观评价和客观 评价。 第一种主要是用主观实验来评价方法【2 ，3 】。一个典型方法是国际电信联盟 ( i t u i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n ) 提出的电视图像的主观评价方法【3 】，主 观评价的基本方法是，在一定的条件( 图像源、显示设备和观看条件等) 下，给观 看者同时提供两幅图片，其中一幅是原始图像，另一幅是失真图像。原始的图像 是没有任何损伤的，失真图像可能有失真也可能没有，即失真为零。对于观看者 应包括普通人和图像专业人员和非专业人员。最后还要对大量的评分数据进行统 计( 均值、标准偏差、9 5 置信度区间等) 。主观评价的结果有两种表示方法：一 种是绝对评分表达m o s ( m e a no p i n i o ns c o r e ) ，即表示失真图像的绝对质量；另一 种是差值表达d m o s ( d i f f e r e n c em e a no p i n i o ns c o r e ) ，即表示失真图像与原始图像 评价成绩的绝对差。 图像是为人所观看的，因此主观实验评价方法是评价图像质量最准确和最有 效的方法，但是其中存在严重的缺点，即主观评价实验十分耗时。实际中，需要 实验的数据量非常大，并且每次作出新的设计选择时都要重新进行实验，而主观 评价实验只能测试有限数量的图像样本，因此很难在实际中应用。人们迫切需要 设计客观的图像质量评价方法来近似反映主观感受，这就是第二种数字图像质量 的评价方法数字图像质量客观评价方法。本文则主要对此进行研究。数字图 像质量客观评价方法种类繁多。大致可以分为三类：全参考模型，部分参考模型 和无参考型。本文着重研究无参考模型。本文提出了从熵、灰度对比度、适宜度、 边缘突出度、小波系数的均值、方差、能量来刻画图像质量的方法，并且提出了 用不同的数学方法来检测各种噪声从而评价图像。 1 2 人脸图像质量的客观评价方法的种类及其应用 1 2 1 人脸图像质量的客观评价方法的种类 数字图像质量的客观评价已经越来越为人们所重视，并已形成了许多完整有 效的算法体系。从现有研究成果来看，根据对原始图像的参考程度，图像质量的 客观评价可分为三种：全参考型( f r ，f u l lr e f e r e n c e ) 、部分参考型( 腿r e d u c e d 2 图1 1 参考图像 f i g 1 1r e f e r e n c ei m a g e 图1 2 失真图像 f i g 1 2d i s t o r t i o ni m a g e 3 东北大学硕士学位论文 第1 章引言 图1 3 图像i 、口j 的像素差片与视觉差异 f i g 1 3p i x e ld i f f e r e n c e sb e t w e e ni m a g e sa n dv i s u a ld i f f e r e n c e s 均方误差( m s e ，m e a ns q u a r e de 仃o r ) 和峰值信噪( p s n r ，p e a ks i g n a l - t o - n o i s e r a t i o ) 是较简单的全参考型图像质量测度，其公式如下： m s e = 万1 善n ( ) 2 ，一= 1 0 l o g l 0 ( 篇) ， 其中i n 和p n 分别为原始图像和失真图像中第n 个像素的灰度值，n 为图像的 像素点个数( 参考图像和失真图像尺寸相同) 。由于计算简单，因此得到了广泛的 使用。但是，m s e 或p s n r 都是基于两幅图像的各像素差异来计算的，往往实际 中其评价结果与人眼对图像的视觉感知相差较大，如图1 1 1 3 ，图1 2 相对于图 1 1 的像素灰度的绝对差值在天空处较小，在花园和房屋处较大，而实际在视觉上， 天空中的视觉差异却更容易被察觉到。 近些年来，人们开始利用已知的一些人类视觉系统o j v s ，h u m a nv i s u a l s y s t e m ) 的特性来研究图像质量评价的新方法，其中有代表性的两个模型是d a l y v i s i b l e d i f f e r e n c e sp r e d i c t o r 和s a m o f fv i s u a ld i s c r i m i n a t i o nm o d e l 。这两种模型丰要是通 过生理和心理学实验获得人类视觉系统的前端特征构建出视觉模型，从而模拟人 的视觉来对图像质量进行客观评价。其基本模型主要包括：预处理、对比度感知 函数( c s f , c o n t r a s ts e n s i t i v i t yf u n c t i o n ) 滤波【4 】、通道分解、误差标准化和综合五个 模块。其中预处理主要是对图像的进行像素重排，颜色空间转换等操作；c s f 是 反映人眼对空间频率的相对敏感程度，该模块可放在通道分解前也可放在之后的 误差标准化模块中；通道分解是把图像分解成各个频率和方向上的子带，每一个 4 东北大学硕士学位论文 第1 章引言 子带做为一个通道。常用的分解变换有w a v e l e t l 5 1 、o a r b o r 小波【6 】、s t e e r a b l e 塔型 分解【7 ，8 】以及c u r v e l e t l g j o 和c o n t o u r l e t | 1 1 】等变换，s t e e r a b l e 塔型分解在频域上的划 分( 灰色部分为各个被选取的子带通道) 误差标准化是计算失真图像与原图像对 应各子带上的系数差异，并将其转换成标准误差单位j n d ( j u s tn o t i c e a b l e d i f f e r e n c e ) 1 2 】；最后综合所有通道中的这种误差，从而得到失真图的像质量。但这 种方法与p s n r 比的效果相比并没有显著的改善【1 3 1 。主要是因为，基于人类视觉系 统的方法是建立在许多很强的假设基础上的，存在诸多不足。z h o uw a n g 等分析了 以上方法的不足，从图像信息的结构入手，提出了一种于结构相似度( s s i m ， s t r u c t u r a ls i m i l a r i t y ) 的图像质量测度( m s s i m ，m e a s t r u c t u r a ls i m i l a r i t y ) ，实验表明这 种方法确实与主观评价有较好的相关性【4 , 1 4 】，但该方法只是从对图像信息的一个方 面去分析了图像质量问题，许多新的图像信息表示方法值得研究，从而应用于图 像质量的评估上来。总之，随着人们对人类视觉的不断认识，以及对图像理解的 不断加深，全参考图像质量评价仍值得去深入研究。 ( 2 ) 部分参考型( r r ) 琢始幽 发送粕 li 拔收鲻 i 降质蹬像 l 降质通邋特缸握敬 峰r r 质赫分机 l：一 i i l r r 特童0 ： ：l 特征捉驳 1 辆舫趣递 i l 质鲢溪度 图1 4r r 犁图像质量评价模犁 f i g 1 4r r b a s e di m a g eq u a l i t ye v a l u a t i o nm o d e l 由于参考图像的数据量往往比较大，在一些情况下不便于传输和存储，特别 是在通信领域，对带宽的要求很高。为了能在这种情况下仍能较好地评价图像的 质量，r r 型图像质量评价成为人们研究的热点之一。部分参考型是介于全参考型 和无参考型之间的一种图像质量评价方法，这种方法只利用部分的原始图像的信 息来估计失真图像的视觉感知质量。目前，v q e g ( v i d e oq u a l i t ye x p e r t sg r o u p ) 已 经将其作为未来发展的一个方向【l5 1 。在某些应用领域r r 型图像质量评价方法十 分有用。例如，在实时视频通讯系统中，可以通过监控图像质量来控制码流资源， 从而满足不同的需要。 5 东北大学硕士学位论文第1 章引言 部分参考型图像质量评价模型。在这个模型中，在发送端有一个特征提取过 程，所提取的特征一般数据量远远小于原始图像数据，并通过辅助通道传输到接 收端。辅助通道一般认为是没有误差的，虽然实际上做不到绝对没有误差，但相 对于原始图像，特征数据量少，其误差更容易控制，而且即使在有误差的情况下， 其对图像质量评价也是非常有用的。一个成功的r r 图像质量评价方法必须在r r 特征数据率和图像质量的预测精度上取得很好的平衡。这是因为，如果r r 特征数 据率越大，能包含参考图像的信息就越多，得到的预测就会越精确，但这也会给 传送这些参数造成很大负担；相反，数据量越小越易于传送，但最终的预测也会 越差。目前一些典型的r r 图像质量评价算法主要有基于降质特征提取的方法i l 州， 基于谐波强度【1 7 】的方法和基于w a v e l e t 域统计模型【1 8 】的方法等。 ( 3 ) 无参考型( n r ) f r 和r r 的共同点在于该模型全部或部分地依靠一个原始的且无失真的图像 作为参考，然而在许多情况下，这种原始的无失真的图像很难获得，但即使没有 参考图像，人通过观察降质图像仍能评估图像的质量。近些年来，n r 型图像质量 评价被越来越多的学者所关注。由于对人类视觉系统( h v s ) 7 解的有限性，大多数 现有的n r 图像质量评价算法主要集中在度量图像的失真上。在这种度量中，图像 质量测度被描述为图像的失真程度。通常，n r 评价算法的流程1 1 9 是：1 ) 找到一些 有辨别力的图像局部特征；2 ) 用这些特征建立图像失真测度；3 ) 平均整幅图像的局 部失真测度得到一个整体的失真测度；4 ) 用该测度预测图像的感知质量。其中1 ) 和2 ) 两步是整个算法的两个关键的步骤。现有大多数的方法主要集中在图像的模 糊，分块效应和铃振效应( r i n g i n g ) 。例如，文献【2 0 ，2 1 1 中，作者提出用块差分和图像 信号的活跃性作为分块和模糊效应的局部特征，并用一种二者的非线性联合来建 立局部模糊测度；文献【2 2 , 2 3 1 中，作者提出用图像边缘伸展作为局部失真测度；文 献【2 4 】中，提出用小波系数作为j p e g 2 0 0 0 压缩图像中的模糊和铃振效应的局部特 征。由于n r 型图像质量评价是真正意义上模拟人来评价图像质量的方法，其应用 范围也将会非常广，因此这是一个非常有意义的研究方向。 1 2 2 应用情况 图像是用各种观测系统以不同形式和手段观测客观世界而获得的，可以直接 或间接作用于人眼并进而产生视觉的实体。人类从外界获得的信息约有7 5 是从 图像中获得的，这既说明图像信息量巨大，也表明人类对图像信息有较高的利用 6 东北大学硕士学位论文 第1 章引言 率。随着信号处理理论和计算机科学技术的发展，图像工程也成为一门内容丰富 且发展迅速的学科。一个图像( 处理和分析) 系统包括图像的采集、显示、存储、 通信、处理和分析1 2 5 ，广泛地应用于国民经济中的各个领域，如：科学研究、工 业生产、医疗卫生、教育、娱乐、管理和通信等领域，对推动社会发展，改善人 们生活水平都起到重要的作用。 1 3 人脸图像质量评价的困难 由于图像的最后观察者总是人眼，因此，人们一开始便研究图像质量的主观 评价测试方法。通过主观测试得到的平均主观得分( m e a no p i n i o ns c o r e ，m s e ) 被认 为是比较准确而且可靠的评价结果，但是主观评价测试不仅繁琐、耗时而且实行 起来相当昂贵。这使得在很多情况下进行丰观测试成为不可能的。于是人们又转 而研究能够自动评价图像质量的客观评价模型，这些模型一般通过提取一个或者 多个图像质量量度指标来衡量图像质量的好坏。一般来说，客观评价模型可以用 数学公式加以描述，实施起来也比较方便。 从是否需要原始参考图像( 认为是无失真的或者是具有“完美”质量的) 的角 度来说，可以将图像质量评价方法分为二类：全参考( f u l lr e f e r e n c e ，f r ) 图像质量方 法需要提供完全的原始参考图像的信息；部分参考( r e d u c e dr e f e r e n c e ，r r ) 图像质 量方法不需要提供完整的原始参考图像信息，只要求得到原始参考图像的某些特 征信息；无参考( n or e f e r e n c e ，n r ) 图像质量评价方法则完全基于当前的失真图像， 不参考任何的原始图像信息。 目前研究的客观图像质量方法大部分都是全参考的方法，例如最简单的 m s e p s n r ，结合人眼视觉系统特性的评价模型，基于图像之间结构相似性s s l m 等。由于人眼是一个非常复杂的系统，到目前人类无法给出完整而准确的图像质 量评价过程中从眼睛到大脑神经系统所发生的一系列复杂的活动和反应。所以目 前全参考的客观图像质量方法取得的成果也很有限，标准化的进程也并未完成。 而更加具有实际应用价值的部分参考和无参考图像质量评价方法的难度更加大， 因此取得的成果也更少。 在国际组织和研究机构中，视频质量专家组( v i d e oq u a l i t ye x p e r tg r o u p ， v q e g ) 代表了图像和视频质量评价研究这个课题的最新方向，他们由来自各个不 同地区和不同专业的研究学者组成，致力于评测和标准化客观视频质量评价模型。 由于虽然感知模型多种多样，但用来检验这些量度和主观评分相关性的测试却很 7 东北大学硕士学位论文第1 章引言 少；这些测试需要对一套视频序列同时进行主观和客观评价。因此v q e g 在1 9 9 8 年5 月的会议上制定了测试图像质量客观评价模型性能的总体计划和过程，并向 全世界广泛征集具有较好性能的客观视频质量评价模型。共有来自不同国家的1 0 个模型被提交。2 0 0 0 年3 月，v q e g 完成测试并给出结果：其中的7 个模型的性能 统计近似，他们的量度都能在大部分测试条件下与主观评价有很好的相关性；但 有3 个模型由于技术或者软件的原因，不能产生正确的结果。而这些评价模型也 多是属于全参考性质的。 1 4 论文的研究内容与安排 在沈阳市拓展科技有限公司的资助下，本文对现有的各种数字图像质量客观 评价算法研究的基础上，选择目前作为丰流研究方向无参考型( n r ) 图像质量客观 评价与小波系数相结合进行研究。结合人类视觉特性，本文分析并提出了提高客 观评价算法的主观一致性的新方法。首先，对图像的相关信息进行分析找到适合 衡量图片质量的相关参数。其次，通过相关方法对参数进行优化。达到衡量图片 质量的最佳算法。再次，对小波系数进行研究提取小波系数的均值，方差和能量 对图像质量进行进一步研究。最后，对人脸照片进行特殊评价方法的研究。 本文主要研究成果： ( 1 ) 对图像质量指标引入小波变换和人眼的视觉系统结合的方法进行参数的 寻找工作。 ( 2 ) 对人脸图像提出了一种自适应的算法来评价人脸图像的质量指标体系。 本文的主要工作内容的章节安排如下： 第一章是论文的引言部分，阐述了项目的研究背景和意义，介绍了图像质量 评价系统的总体结构，介绍了图像质量评价方法的分类情况及不同方法的差异； 指出了图像质量评价系统应用的优势及特征提取中的难点问题，最后列出了本文 的主要工作和文章的结构安排。 第二章介绍了与图像质量评价相关的技术及基础知识。首先介绍了一些图像 处理方面的基础知识；然后讲解了与本文图像质量评价方法相关并使用到的小波 变换的基础知识；最后对一些比较经典的图像信息进做了简单地介绍，为后续的 具体实验内容提供理论依据和技术支持。 第三章首先阐述了在前人的基础上所提出的新的图像相关参数的质量评价方 法，之后详述了在相关参数的阈值，总结出计算公式提出了图像评价参数，最后 8 东北大学硕士学位论文第1 章引言 对模糊图像与原始图像进行进一步对比得出实验数据。对小波系数对图像质量影 响进行进一步的阐述。强调了该部分在系统中的重要作用。由于本文采用了小波 变换实现小波系数的均值，方差和能量的提取，所以在本章首先介绍了小波变换。 然后提出了本文的小波系数图像质量的影响的具体实现过程。还对人脸的特殊性 进行了进一步的研究工作。得出人脸大小，人脸位置和人脸角度的评价标准。 第四章是对本文阐述的所有算法的实现部分，通过对第三章的图像相关参数 的质量指标体系的评价方法和小波系数对图像质量的影响的设计实现，实现了一 个完整的人脸图像质量评价系统。 第五章是对本文的总结和展望。 9 东北大学硕士学位论文第2 章相关理论及关键技术 第2 章相关理论及关键技术 2 1 数字图像处理的基础知识 计算机只能处理离散的数据【2 6 】，图像数据若需要用计算机来存储、显示或处 理，首先需要进行数字化，即转变成二进制数。计算机图像又称数字图像，代表 离散化后的图像数据。 最重要的数字化为x ，y 方向的网络化和光强度i 的量化。光栅扫描已经实现 了图像在垂直方向上的离散化，图像像素数据的数字化是对一维电信号再作等间 隔采样。网络化是二维空间的数字化，用于确定图像数据的采样，就像在图像上 覆盖一组等间隔的水平线和垂直线，采样点就取在其交点上。量化则是将采样点 处的光亮强度离散化，对于黑白灰阶图像而言，通常每个分量分成2 5 6 个等级， 即数字量8 位，用一个字节表示。 2 1 1 数字图像处理的特点 ( 1 ) 信息量大 数字图像是二维数据，其信息量很大，如：一帧黑白的电视图像由5 1 2 5 1 2 个像素组成，其灰度级如用8 比特的二进制数表示，则有2 s ：2 5 6 级灰度。因此一 帧电视图像的信息量为2 5 6 k 。( 如公式2 1 ) 5 1 2 5 1 2 8 = 2 0 9 7 1 5 2 b = 2 5 6 k ( 2 1 ) 对于大的信息量，一方面可以由此获得较多的有用信息；另一方面，存储时 则需要较大容量的存储介质。动态图像的信息量更大，因为其在通信线路上传输， 所以实时传输时需要较宽的带宽。 ( 2 ) 相关性大 数字图像中各个像素的灰度并不是独立的，其间的相关性很大。在图像画面 上，经常有大批像素具有相同或相近的灰度。就电视画面而言，同一行中相邻两 个像素或相邻两行间的像素，其相关系数可高达0 9 以上；而相邻两帧之间的相关 性，比帧内相关性还大。因此图像需要进行压缩，也有可能进行压缩。 ( 3 ) 识别网难 图像的识别十分困难，图像处理时定量容易，定性难。要计算机计算图像上 某区域的面积可以很快达到目的，并且十分精确。但要计算识别某区域是什么东 东北大学硕士学位论文 第2 章相关理论及关键技术 西，则十分困难。计算机对图像的识别能力许多方面目前可能还不及一个婴儿。 因此，尽管图像处理这门学科已经有半个多世纪的历史，目前还没有比较通用的 处理算法，各种处理算法大多是针对具体情况，适用面比较窄。 2 1 2 数字图像处理的方法 数字图像处理【2 刁内容主要分为四个部分：图像编码、图像增强复原、图像分 析和图像重建。 ( 1 ) 图像编码 图像是一种重要的信息载体，经常需要保存起来，因此需要按一定的格式存 入到计算机的硬件介质中。数字图像的一大特点是数据量大，存储常常耗费大量 的存储空间，硬件资源和传输时间。为节省各方面的资源浪费需要有专门的编码 技术来对数字图像进行压缩。 ( 2 ) 图像增强复原 图像增强目的是改善人观看图像的主管质量，而不一定追求图像质量下降的 原因。直方图修正，边缘增强等是常用手段。由于接受者是人，处理结过质量的 好坏就受观看者的心理、爱好、文化素质等因素的影响，结果的评价只能是相对 的。 图像复原则是需要找出图像降低质量的原因，并尽可能消除，使图像恢复本 来面目。常用的方法是纠正几何失真和从已知图像信号与噪声的传统特性出发， 用滤波方法来改善图像的信噪比等。 概括地说，图像增强以清晰为目标，图像复原则以逼真为目标。 ( 3 ) 图像分析 图像分析是计算机描述数字图像，提取图像信息的重要方法。图像分析一般 分为分割、描述和分类等步骤。 分割是将图像中的敏感图像信息从图像中提取处理，并有针对性地对提取出 来的图像进行进一步的处理；描述是在分割的基础之上，通过分析分割出来的图 像信息和知识，将向相应的图像信息进行说明；分类是在图像分割和图像描述的 基础之上，对采集分割而来的图像数据根据其描述的信息进行分类，从而为未来 图像数据的匹配识别打下基础。 ( 4 ) 图像重建 图像重建2 8 1 是计算机利用其他手段获取的关于图像来自于各个角度的描述信 1 2 东北大学硕士学位论文第2 章相关理论及关键技术 息或投影图，通过分析计算获得图像的内部信息，并进行信息整合，从而实现图 像的重建。 2 1 3 数字图像的颜色模式 ( 1 ) r g b 颜色模式 以红、绿、蓝为3 原色的加色系统是使用最广泛的颜色模式，是扫描仪、数 码相机、计算机监视器以及其他许多电子设备的自然颜色“语言”，都是通过发射 光线而不是通过反射光线或吸收光线来再现颜色的。 图2 1r g b 颜色模式 f i g 2 1r g bc o l o rm o d e r g b 模式( 如图2 1 ) 一般称为加色空间，因为颜色是通过彩色光的相加而产生 的，因而所产生颜色的亮度总高于产生它们原色的亮度。在r g b 颜色空间中，最 高强度的红、绿、蓝相加就产生白色；等值的红、绿、蓝组合在一起就会产牛自 然的灰色阴影，低值则产生深灰色，而高值则产生浅灰色。图2 1 为r g b 颜色模 式【2 9 】的颜色立方体。 ( 2 ) y i q 颜色模式 y i q 色度空f 日- 1 1 3 0 l 是n t s c 制式的光亮度和色度模型，其中y 分量代表图像的 亮度信息，i 和q 两个分量则携带颜色信息，1 分量代表从橙色到青色的颜色变化， 而q 分量代表从紫色到黄绿色的颜色变化。这样，在y i q 空间中，亮度和颜色分 开了。亮度和颜色分离，使得在处理图像的亮度成分时不致影响颜色分量。 r g b 到y i q 空间的变换如公式2 2 ： 1 3 东北大学硕士学位论文 第2 章相关理论及关键技术 三=。0：259996三毫0i28775三0：31241g0212 5 2 30 311 br c 2 2 ， l ，l = 1 一一 1 ii( 2 2 ) lqli o 一 lii 刚暴巍巍 f 司 亿3 ， 妻=一0譬29；978二0三：5三8言7三；一00：1毒14。3主 c 2 4 ， y e s 色度空间【3 2 】由s m p t e ( s o c i e t yo fm o t i o np i c t u r ea n dt e l e v i s i