（计算机软件与理论专业论文）彩色人脸图像中的眼睛定位及边缘轮廓提取方法研究.pdf

摘要 人脸自动识别是一种利用计算机分析人脸图像特征以实现人的身 份验证的技术，是近二十年来图像处理、模式识别和计算机视觉领域中 极富挑战性的研究课题之一。多年来，人们对人脸识别技术中的许多问 题都进行了深入的研究，并且已经研制出了不少有效的算法，然而，由 于不同的人脸具有内在的相似性，而同一人脸的不同图像则常常因为姿 势变化、表情变化和光照变化而表现出巨大的差异性，因此，现有的人 脸识别技术仍然无法满足实际应用的需要。 本文重点研究人脸中双眼定位问题和人脸边缘轮廓提取的问题。眼 睛的位置是实现人脸图像几何归一化的必要条件，双眼的定位因而成为 全自动人脸识别中非常关键的一环；而人脸边缘轮廓作为人脸的重要特 征，是许多分类识别处理的基础，对人脸识别也有着很重要的使用价值。 本文主要做了以下两个方面的研究： 第一，提出了一种基于眼睛灰度分布特征的眼睛区域搜索方法。该 方法首先利用图像的水平灰度投影确定人眼在图像中的大致区域，然后 利用眼睛的灰度分布特征进一步确定更小的眼睛分布区域，在此基础上 利用点h o u g h 变换精确定位眼睛。 第二，基于传统的边缘提取算法提出了一种自适应搜索轮廓线算 法，首先基于人脸检测结果确定内外轮廓及搜索路径，然后对于每一条 搜索路径提取出真正的轮廓点，最后利用人脸轮廓的平滑性通过曲线拟 合完成轮廓线提取。 本文在已建立的人脸图像库上作了大量实验。结果数据表明本文所 提出的眼睛定位算法易于实现而且具有较好的光照鲁棒性。而人脸边缘 轮廓的提取算法能在保持边缘检测精度的情况下，克服噪声对轮廓特征 提取的影响，对姿态、光照有较强的适应性。 关键字：肤色检测；眼睛定位；边缘提取；自适应搜索算法 中图分类号：t p 3 9 1 r e s e a r c ho ne y el o c a t i o na n df a c ee d g e e x t r a c t i o ni nc o l o ri m a g e y a nj u n b i n ( c o m p u t e rs o f t w a r e & t h e o r y 、 d i r e c t e db yp r o f l ir u a b s t r a c t a u t o m a t i cf a c er e c o g n i t i o n ( a f r ) i sat e c h n o l o g yf o rp e r s o n a u t h e n t i c a t i o n b yu s i n gt h ed i g i t i z e d f a c i a lf e a t u r e s f o rt h ep a s tt w o d e c a d e s ，i th a sb e c o m eo n eo ft h em o s tc h a l l e n g i n gr e s e a r c ht o p i c si nt h e f i e l do fi m a g ep r o c e s s i n g ，p a t t e mr e c o g n i t i o na n d c o m p u t e rv i s i o n a u t o m a t i cf a c e r e c o g n i t i o n h a v eb e e n i n t e n s i v e l yi n v e s t i g a t e db y r e s e a r c h e r sa n dm a n yu s e f u la l g o r i t h m sh a v eb e e nd e v e l o p e d s i n c ef a c e so f d i f f e r e n ts u b j e c t sa r eo f t e ns i m i l a rw h i l ef a c ei m a g e sf r o mt h es a m ep e r s o n o f t e nd i f f e r q u i t es i g n i f i c a n t l y d u et o p o s e 、e x p r e s s i o nv a r i a t i o n s a n d l i g h t i n gc o n d i t i o n s ，c u r r e n tf a c er e c o g n i t i o ns y s t e m s c a n n o tm e e tt h e r e q u i r e m e n t so fm a n yp r a c t i c a la p p l i c a t i o n s t h i st h e s i sf o c u s e so nt h er e s e a r c ho fh u m a ne y el o c a l i z a t i o na n dt h e e d g ee x t r a c t i o na l g o r i t h m so ff a c ew i t hg o o dr o b u s t n e s s t h ep o s i t i o n so f t w oe y e sa r ec o m m o n l yu s e df o rt h eg e o m e t r yn o r m a l i z a t i o no faf a c ei m a g e e y el o c a t i o ni st h u sav e r yc r u c i a ls t e pf o rt h ee s t a b l i s h m e n to fa nf a f r s t h es e c o n dr e s e a r c hf o c u so ft h i st h e s i sw a se d g ee x t r a c t i o na l g o r i t h mo f f a c e a st h ei m p o r t a n tc o n t e n to ff a c e ，t h ef a c ec o n t o u rl i n ei sab a s eo f m a n yc l a s s i f i c a t i o nm e t h o d s i np a r t i c u l a r ，t h i st h e s i sm a k e st w om a i n c o n t r i b u t i o n sd e t a i l e db e l o w ( 1 ) a n e wm e t h o df o rt h el o c a l i z a t i o no fh u m a ne y e si sp r e s e n t e d t h e m e t h o di sb a s e do nt h ec h a r a c t e rt h a te y e sh a v eh i g h e r d e g r e eo fc o m p l e x i t y f i r s t l y , as e a r c ha r e ao ft h ee y e si sd e t e r m i n e db yu s i n g t h er e s u l to f h o r i z o n t a lp r o j e c t i o no fg r a y s c a l e s e c o n d l nal e s s e ra r e ai sd e t e r m i n e db y u s i n gt h ed i s t r i b u t i n gc h a r a c t e ro fe y eg r a y s c a l e f i n a l l y , ap o i n th o u g h t r a n s f o r mi sa p p l i e dt ol o c a t i o nt h ee y e sp r e c i s e l y ( 2 ) an o v e le d g ee x t r a c t i o na l g o r i t h mo fa d a p t i v es e a r c h i n gb a s e do n t r a d i t i o n a le d g ee x t r a c t i o na l g o r i t h mi sp r o p o s e d f i r s t l y , b a s e do nt h er e s u l t o ff a c ed e t e c t i o n ，as e a r c hr a n g ea n ds e a r c h i n gp a t h s a r ed e t e r m i n e d s e c o n d l y ，f o re a c hs e a r c h i n gp a t h ，a d a p t i v es e a r c h i n gs c h e m e s a r ed e s i g n e d t oe x t r a c tt h et r u ec o n t o u rp o i n t f i n a l l y , s i n c et h ef a c ec o n t o u ri ss m o o t h ， b yc u r v ef i t t i n g ，f a c i a lc o n t o u rc a nb ee x t r a c t e da c c u r a t e l y a n dt h e nf a c i a l c o n t o u ri sg a i n e da c c u r a t e l yu s e dt h ec o l o rf a c i a li m a g ed a t a b a s ei nt h e p a p e r w ei m p l e m e n tt h ea l g o r i t h m sa n de x p e r i m e n ti no u rf a c et e s t i n gs e t t h er e s u l t ss h o wt h a tt h em e t h o df o rt h el o c a l i z a t i o no fh u m a ne y e si se a s y t or e a l i z ea n dh a si l l u m i n a t i o nr o b u s t t h ee d g ee x t r a c t i o na l g o r i t h mo f f a c e o v e r c o m e st h ei n f l u e n c eo fn o i s ef o re d g ee x t r a c t i o na n ds t r o n g l ya d a p t i v e t ov a r i a n tp o s ea n dd i f i e r e n ti l l u m i n a t i o n k e y w o r d s ：s k i nc o l o rd e t e c t i o n ；e y el o c a t i o n ；e d g ee x t r a c t i o n ； a d a p t i v es e a r c h i n gs c h e m e s 第一章引言 第一章引言 1 1 选题的背景和意义 随着社会的发展和科学技术的不断进步，人们对于快速、便捷、有效的身份识 别技术有着日益增长的需求。传统的方法诸如密码、印章、证件等因易忘记、易伪 造、易丢失，常常给人们的生活和社会的管理带来不便。因此，近年来，生物识别 技术日益引起人们的关注，并逐步渗透到大家的日常生活和工作中。和指纹、视网 膜、虹膜、基因、掌形等其他人体生物特征识别系统相比，人脸识别系统更加直接、 友好，使用者无任何心理障碍，并且通过人脸的表情姿态分析，还能获得其他识别 系统难以得到的一些信息。 显然，用户的可接受性在很大程度上决定了一个产品的应用范围和市场前景。 简单、自然、尽可能少的用户参与，会使一个生物识别系统显得更为友好和方便， 因此，尽管人脸识别系统目前的性能还不如指纹识别系统，但人脸特征很可能是未 来最常用的生物识别特征“1 。人脸识别系统除了可以应用于其它生物识别系统应用 的场合，比如在需要用户专门配合的法庭举证、持证人核对、计算机登陆、网络访 问、重要建筑物和边境口岸的进出控制等，它还可用于无需用户刻意配合的视频监 控、视频流的自动剪辑等领域，在罪犯缉拿、视频检索等许多方面都有广泛的应用 前景。 1 2 人脸识别研究领域中的国内外研究现状 目前，世界上很多国家的高校都有专门的人脸识别研究小组，比较有名的如麻 省理工学院( m i t ) 的由a p e n t l a n d 领导的研究小组、耶鲁大学( y a l e u n i v e r s i t y ) 由d j k r i e g m a n 领导的包括e n b e l h u m e u r 等人在内的研究小组、密歇根州立大学( m s u ) 由a k j a i n 领衔的小组、德国r u h r 大学由c v o nd e r m a l s b u r g 和l w i s k o t t 等人 组成的研究小组、德国m a x p l a n c k 研究所由vb l a n z 领导的小组、英国曼切斯特大 学由工fc o o t e s 、gj e d w a r d s 和c j t a y l o r 等人组成的小组等，日本、韩国、新 加坡以及香港的许多高校和科研部门也有不少人在专门从事人脸识别研究。 我国在人脸识别技术研究方面起步较晚，在国际上的影响也较小。目前致力于 这方面研究的主要有微软亚洲研究院、中国科学院计算技术研究所、清华大学、南 京大学、南京理工大学等，其它很多高校也有专门的人脸识别小组，但规模较小。 可喜的是，近年来，随着我国在该项目上科研经费的逐年增加，我国科研人员取得 彩色人脸匣像中的眼睛定位及边缘轮廓提取方法研究 的研究成果也不断增加，在国际上高等级的学术刊物和专业会议上发表的论文数也 在逐年增多。2 0 0 2 年1 1 月由中科院计算所承担的“面像检测与识别核心技术”这 一国家8 6 3 项目通过专家鉴定，在受控条件下，人脸识别率达到9 6 以上。2 0 0 4 年8 月由清华大学电子系丁晓青教授领衔开发的人脸识别系统在第17 届国际模式 识别会议( i c p r 2 0 0 4 ) 组织的人脸认证竞赛( f a t 2 0 0 4 ) y _ ，在所有三个单项的比赛中均 获得第一名。1 。 1 2 1 人脸识别的研究内容 人脸识别( f a c er e c o g n i t i o n ) 一般可描述为：给定一幅静止或动态图像，利用 已有的人脸数据库来确认图像中的一个或多个人。从广义上讲，其研究内容包括以 下五个方面0 3 ： ( 1 ) 人脸检测( f a c ed e t e c t i o n ) ：即从各种不同的场景中检测出人脸的存在并确 定其位置。这一任务主要受光照、噪声、头部倾斜度以及各种遮挡的影响。 ( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：即确定表示检测出的人脸和数据库中的已 知人脸的描述方式。通常的表示方法包括几何特征( 如欧氏距离、曲率、角度等) 、 代数特征( 如矩阵特征矢量) 、固定特征模板、特征脸、云纹图等。 ( 3 ) 人脸鉴别( f a d e i d e n t i f i c a t i o n ) ：即通常所说的入脸识别，就是将待识别的人 脸与数据库中的己知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸 表示方式与匹配策略。 ( 4 ) 表情分析( f a c i a le x p r e s s i o n a n a l y s i s ) ：即对待识别人脸的表情进行分析，并 对其加以分类。 ( 5 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的物理特征进行分类， 得出其年龄、性别、种族等相关信息。 1 2 2 人脸识别的理论研究 人脸识别的研究已有很长的历史，甚至可以追溯到上个世纪，c a l t o n 就曾经用 一组数字代表不同的人脸侧面特征。人脸识别的输入图像通常有3 种情况：正面、 倾斜、侧面。由于实际情况的要求，对人脸正面模式的研究最多，它的发展大致可 分为三个阶段。 第一阶段以b e r t i n o na l l e n 和p a r k e 为代表“1 ，主要研究人脸识别所需要的面部 特征。在b e r t i n o n 的系统中，用一个简单的语句与数据库中的某一张脸相联系，同 时与指纹分析相结合，提供了一个较强的识别系统。为了提高脸部识别率，a l l e n 为待识别人脸设计了一种有效和逼真的摹写，p a r k e 则用计算机实现了这一想法， 2 第一章引言 并产生了较高质量的人脸灰度图像模型。这一阶段的工作特点是识别过程全部依赖 于操作人员，显然这不是一种完成自动识别的系统。 第二阶段是人机交互识别阶段。代表性工作有g o l d s t i o n 、h a r m o n 和l e s k 用几何特征参数来表示人脸正面图像“1 。他们采用2 维特征矢量表示人脸面部特征， 并设计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 则采用了统计识别方 法，用欧氏距离来表征人脸特征，如嘴唇与鼻子之问的距离，嘴唇的高度等。更进 一步地，t k a n a d 设计了一个高速且有一定知识导引的半自动回溯识别系统，创造 性地运用积分投影法从单幅图像上计算出组脸部特征参数，再利用模式分类技术 与标准人脸相匹配。k a n a d 的系统实现了快速、实时的处理，是个很大的进步。 相比之下，b a r o n 所做的工作较少为人所知：他先将图像灰度归化，再用四个掩 模( 眼、鼻、嘴及眉毛以下的整个脸部) 表示人脸，然后分别计算四个掩模与数据库 中每幅标准图像的相应掩模之问的相关系数，以此作为判别依据。总的来说，这类 方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。 第三阶段是真正的机器自动识别阶段。近十余年来，随着高速度性能计算机 的发展，人脸模式识别方法有较大的突破，提出了多种机器全自动识别系统“1 。 1 3 人脸识别的实现过程 一个人脸自动识别系统包括三个主要技术环节，如下图所示： 输八图像广 广 厂 输出结果 f 人脸检测与定位卜_ 叫特征提取卜_ 叫人脸识别卜卜 l ，_ j i ，一【。j 图1 1 人脸自动识别系统构成 下面就这三个过程作初步介绍： 首先是人脸检测与定位，是指对于任意一幅图片，确定其中是否包含人脸，如 果有，确定人脸的数目、位置和大小。人脸检测和定位是人脸识别的前提，它的重 要性曰益受到关注。 在某些场合，拍摄图像的条件可以控制，比如警察拍罪犯的照片时要他们将脸 的某一部分靠近标尺，这时人脸的定位很简单。普通证件照片的头部占据了照片中 央的大部分地方，定位也比较容易。但在另- 些情况下，人脸在图像中的位置预先 是未知的，比如在一些复杂背景中拍摄的照片，这时人脸的检测与定位将受以下因 素的影响： 人脸在图像中的位置、旋转角度和尺度不固定： 彩色人脸图像中的眼睛定位及边缘轮廓提取方法研究 发型和化妆会遮盖某些特征； 图像中出现的噪声。 人脸检测和定位的过程可分为2 步：第一步是自动分割，即寻找人脸和眼睛、 鼻子、嘴的区域；第二步是定位，即将人脸与背景中其他种类的模式区分开。 其次是特征提取，特征提取之前一般需要做几何归一化和灰度归一化的工作。 其中前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指 对图像进行光照补偿等处理，以克服光照变化的影响。 具体的特征形式随识别方法的不同而不同。比如在基于几何特征的识别方法 中，这一步主要是提取特征点，然后构造特征矢量；在统计识别方法中，特征脸方 法是利用图像相关矩阵的特征矢量构造特征脸，而隐马尔可夫方法则是对多个样本 图像的空间序列训练出一个隐马尔可夫模型，它的参数就是特征值；模板匹配用相 关系数做特征；而大部分神经网络方法直接用归一化后的灰度图像作为输入，网络 的输出就是识别结果，没有专门的特征提取过程。 最后是人脸识别，是指基于已知的人脸样本库，利用图像处理和模式识别技术 从静态或动态场景中，识别或验证一个或多个人脸。数据库里预先存放了己知的人 脸图像或有关的特征值，识别的目的就是将待识别的图像或特征与库里的进行匹 配。 识别的任务主要有两个：一个是人脸辨认，即确定输入图像为库中的哪一个人， 是一对多的匹配过程；另一个是人脸证实，即验证某个人的身份是否属实，是一对 一的匹配过程。 根据输入图像的性质，可以将人脸识别分为静态图像的人脸识别和动态图像序 列的人脸识别两大类。前者主要是用静态图像如：从证件照片、罪犯照片、场景照 片上扫描的图像等进行识别；后者则是用摄像机摄取的时间图像序列进行识别。 通常识别处理后可得到的基本信息包括人脸的位置、尺度和姿态信息。利用特 征提取技术还可以进一步抽取出更多的生物特征，如：种族、性别、年龄等。 1 4 人脸识别中一些典型的方法及其效果分析 1 4 1 基于几何特征的正面人脸自动识别方法 这类识别方法将人脸用一个几何特征矢量表示，用模式识别中的层次聚类的思 想设计分类器达到识别目的，这就要求选取的j l 何特征矢量具有一定的独特性，能 够反映不同人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、光照等的 第一章引言 影响。几何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量，其分量通 常包括人脸指定两点间的欧氏距离、曲率、角度等。例如，p o g g i o 和b r a n e l l 用改进的 积分投影法提取出用欧氏距离表征的3 5 维人脸特征矢量用于模式分类。 p o g g i o 采用的3 5 个几何特征分别为： 眉毛厚度及眉毛与跟睛中心的垂直距离； 眉毛弧度的1 1 个描述数据； 鼻宽及鼻子的垂直位置： 嘴巴宽、上下唇厚度及嘴的垂直位置： 下巴形状的l1 个描述数据； 鼻孔位置的脸宽； 半脸宽( 鼻孔与眼睛中间位置的脸宽) 人脸的各个器官分别对应于不同的积分投影方式产生的波峰波谷，根据人脸 结构的先验知识，可以得出入脸各器官之间的几何位置关系。p o g g i o _ 币1 b r u n e t l i 的系 统获得了9 0 以上的识别率。他们还牲 b a r o n 的模板匹配法加以改进，设计了一种自 动模板匹配识别系统，并与基于几何特征的识别系统做了性能比较。h u a n gc h u n g l i n 和c h e nc h i n g w e n 使用了另一种几何特征提取机制，即采用动态模板与活动轮廓模 型提取出人脸器官的轮廓。动态模板是参数化的简单图元模型，根据先验知识定义 的能量函数及相应的图像约束条件指导其收敛过程，主要用于提取眼睛和嘴巴轮廓。 而活动轮廓则是能量最小化的曲线，有能量函数指导其收敛到局部边界，主要用于 提取眉毛和下巴轮廓。在此之前，y u l l e 等首先利用动态模板进行特征提取，c l h u a n g , 1 进一步提出了用动态模板与活动轮廓进行人脸j l 何特征细提取的算法。用动 态模板与活动轮廓提取出的人脸器官轮廓，对人脸具有较为精确的描述能力，为几 何特征矢量的生成打下了坚实的基础。 另外，g l o r i ac h o w 和x i a o b ol i 采用了自适应霍夫变换( a d a p r i b eh o u g ht r a n s f o r m ) 与动态模板相结合的方法。同c l h u a n g 类似，动态模板的作用是提取眼睛与嘴巴的 轮廓，而霍夫变换则主要用于确定跟球、下巴的轮廓。 1 4 2 基于代数特征的正面人脸自动识别方法 这类识别方法仍然是将人脸用特征矢量表示，只不过用的是代数特征矢量，人脸 图像在由“特征脸”张成的降维子空间上的投影。s i r o v i c h 和k i r b y 首先将k l 变换用 于人脸图像向特征子空间作投影，可以获得一组坐标特征矢量，称作“特征脸”。这 样，产生了一个由“特征脸”矢量张成的予空间，每一幅人脸图像向其投影都可以 彩色人脸图像中的眼睛定位及边缘轮廓提取方法研究 获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置，实验表明其具有 较强的稳定性，可以作为人脸识别的依据。m a s s i m ot i s t a r e l l i s f e l e n r i c og r o s s o n 认 为“特征脸”法有一个局限：脸部不同区域对识别的影响不同，“特征脸”方法却对 整个图像区域( 甚至背景) 采用统一的高分辨率。在文献 5 中m a s s i m ot i s t a r e l l i 和 e n r i c og r o s s o 采用了以下方法解决这个问题： 1 对数据库中每个人采用n 个不同的视角，每个视角由p 幅不同的图片组成，分别 对应于不同的脸部重要特征( 如眼睛、嘴唇等) 。这与人脸视觉系统的功能类似：人脸 视觉系统就是通过直接把观察点定位到脸部重要特征的方式来减少处理时间。由每 一个视角图片集( p 幅不同的图片) 产生一个一维特征矢量，计算其与所有对象矢量平 均值之差： 以：步。一甲，甲：上y 步， 圪2 矿一甲，甲2 玄莩儿 其中，m = n * k ( k 为不同人脸类别数目) 。 2 用m 个矢量圪作为列，生成矩阵a ，脸空间( f a c es p a c e ) 则由协方差c = a a 的特 征矢量张成。为减少运算量，m a s s i m ot i s t a r e l l i 和e n r i c og r o s s o 仅采用主分量特征 ( 即去掉小特征值对应的特征矢量) 定义人脸空间。然后，计算人脸图像向脸空间 的投影，并以此作为不同人脸图像的编码： 彬= u v ，f _ 1 ，2 ，m 由同一个人训练集中的不同视角图片得到的投影量取平均，得到矢量 q 。= ( w l ，毗。) 将此矢量存储在数据库中，作为此人的脸部标准特征。分类器采用最小( 欧氏) 距离分类器，即将待识别人脸图像的代数特征与数据库中的标准特征比较，距离最 近者为所求。此时需对距离值设定一个上限，如果拒绝识别则表明此人脸不在数据 库中。 1 4 3 基于连接机制的正面人脸自动识别方法 这类识别方法将人脸直接用灰度图( 二维矩阵) 表征，利用了神经网络的学习分类 能力“3 。这种方法的优势在于保存了人脸图像中细微的形状信息。同时避免了较为复 杂的特征提取工作。而且，由于图像被整体输入，符合格氏塔( g e s t a l t ) 心理学中对人 类识别能力的解释。与前两种识别方法相比，基于连接机制的识别法具有两个咀显 的不同： 信息处理方式是并行而非串行； 第一章引言 编码存储方式是分布式。 k o h o n e n ”1 率先运用自相关记忆( 全互连神经网络) 存储和重建人脸图像。利用简 单h e b b i a n 学习律，人脸图像的自相关记忆将被创建并存储在全互连神经网络权值 中。实验表明，在噪声存在甚至人脸图像被部分遮挡的情况下，该网络能有效的重 建人脸图像。这表明了自相关神经元具有识别能力。m i l l o w a r d 矛l j o 。t o o l e r ”1 利用的则 是w i d r o w h o 疗学习律，同样证明了自相关神经元具有识别能力。 c o t t r e l l 等j t l f l e m i n g ”1 采用了不同的网络拓扑结构非线性前馈神经网络。该 网络经b p 算法训练后，用于人脸灰度图像的识别。他们采用的前馈式神经网络具有 4 0 9 6 个输入单元，8 0 个隐层单元。神经元的响应函数为s i g m o i d 函数。该网络实际上 实现了对多幅人脸图像的压缩编码( 编码信息同样储存在权值中) ，对人脸识别与生 理分类均具有较高的准确率。 1 5 本文的主要内容 尽管人们在人脸识别领域取得了长足的进步，包括开发了大量的人脸识别算 法、建立了许多可供算法性能评估的人脸图像库、制订了一系列算法和产品性能评 估协议等，然而，仍有许多问题有待进一步深入研究和探索。比如，人脸有效特征 的选择、表征和提取问题，高鲁棒性人脸检测和定位问题、非可控( 即存在任意的光 照变化和人脸姿势、表情变化) 条件下人脸的识别问题等等，这些问题有些属于图像 处理、模式识别和计算机视觉的范畴，有些则可能与生理学、心理学、人体解剖学、 认知学、数学、物理学等学科的研究和发展有关。 本文将重点研究人脸特征提取中的两个问题，一个是人脸彩色图像中眼睛的定 位问题，另一个是人脸边缘轮廓提取的问题。对于前者，由于多数人脸识别算法需 要利用双眼的位置实现人脸图像的位置、尺度和方向归一化，因而在f e r e t 测试。1 、 f a t 2 0 0 4 竞赛和f a c 2 0 0 4 竞赛中，是否具备眼睛自动检测定位能力便成了区分全自 动人脸识别系统和半自动人脸识别系统的唯一依据。而人脸轮廓作为人脸的重要特 征和后续分类识别处理的基础，对人脸识别也有着很重要的使用价值。 全文的结构安排如下： 第一章：简单介绍人脸识别的研究概况、研究内容和人脸识别系统的组成。 第二章：介绍了目前常用的颜色模型，并利用颜色模型建立了一个肤色模型来 进行人脸区域的检测。 第三章：提出了一种基于图像灰度分布信息的人眼定位方法，该方法利用眼睛 彩色人脸图像中的眼睛定位及边缘轮廓提取方法研究 的灰度比值分布特征确定眼睛分布区域，最后利用点h o u g h 变换准确定位眼睛。 第四章：在传统的边缘提取算法基础上，提出人脸边缘轮廓自适应搜索算法 设计弗实现了一种利用初始轮廓线逐渐完善得到最佳轮廓线的新方法。 第五章：总结全文，并对以后的工作进行展望。 第二章基于图像灰度信息的人脸检测 第二章基于图像灰度信息的人脸检测 肤色是人脸的重要信息，它不依赖于面部的细节特征，对于旋转、表情、姿 态等变化情况都能适用，具有相对的稳定性，并且和大多数背景物体的颜色相区别。 在通常的光照条件下，人脸肤色会集聚在色彩空间中某个特定的区域内，通过对肤 色采样建立一个分布函数或寻找肤色分布的合适闽值，就能够将肤色区域提取“ 出来。 下面先简单介绍一下色彩空间的基础知识，然后在此基础上建立肤色模型，进 行肤色检测的处理。 2 1 色彩空间及其转换 从物理学角度来说，颜色是人的视觉系统对可见光的感知结果，感知到的颜 色由光波的频率决定。光波是一种具有一定频率范围的电磁辐射，其波长覆盖的 范围很广。电磁辐射中只有一小部分能够引起眼睛的兴奋而被感觉，其波长在 3 8 0 r i m - 7 8 0 n m 的范围里。 根据计算机色彩理论，对一种颜色而言，在计算机中有不同的组织和表示方 式，这样就形成了各种不同的色彩空间( c o l o r s y s t e m ) ，也有人称之为颜色模型、 颜色度量体系等。当然各种色彩空间只不过是颜色在计算机内不同的组织和表达形 式而已，每一种色彩空间也都有其各自的产生背景、应用领域等。主要的色彩空间 有以下几种： 2 1 1r g b 色彩空间 这是最常用的色彩空间。在该空间里，每个颜色的主要光谱中都有红( r ) 、 绿( g ) 、蓝( b ) 的成分。国际照明委员会( i n t e r n a t i o n a lc o m m i s s i o no i li l l u m i n a t i o n ， c i e ) 采用r 、g 、b 三单色作为该空间的三个分量，三维空间中的三个轴分别与红、 绿、蓝三基色相对应，原点对应于黑色，离原点最远的顶点对应于白色，而其它颜 色则落在三维空间中由红、绿、蓝三基色构成的彩色立方体中。由于多数图像采集 设备都是以c c d 技术为核心，直接感知色彩的r 、g 、b i 个分量，这使得三基色模 型成为图像成像、显示、打印等设备的基础，具有十分重要的作用。 2 1 2 亮度归一化的r g b 色彩空间 在r g b 色彩空间中，三个分量不仅表示了颜色，还包含了亮度信息。为了消除亮 度变化的影响，可以对其进行归一化处理。归一化后的颜色定义为： 彩色人脸图像中的眼睛定位及边缘轮廓提取方法研究 其中r + g + 6 = 1 。因此在亮度归 立的，这也说明该色彩空间是二维的。 2 1 3y c b c ，色彩空间 r r + g + b g = _ 一 ( 2 1 ) 6 r + g + 曰 7 b 月+ g + b 一化的r g b 色彩空间中，只有两个色度坐标是独 川淼暴黝刘 z ， 第二章基于图像灰度信息的人脸检测 f 0矿m a x = 0 8 = tm a x - m i n e 船 lm a x 令，：墨坠二生g ：里生、b ：竺生令r = _ ，= _ ，= _ 6 圩= u n d e f i n e d l g 5 + b 3 一b l + r ) 一， 3 + g i j s = 0t h a t i s v = 0 矿m a x = r ，m i n ( r ，g ，b ) = b fm a x = r ，m i n ( r ，g ，b ) = g 矿m a x = g ，m i n ( r ，g ，b ) = r ( 2 - 3 ) fm a x = g ，m i n ( r ，g ，b ) = b 矿m a x = b ，m i n ( r ，g ，b ) = g 矿m a x = b ，m i n ( r ，g ，b ) = r 2 1 5h s f 色彩空间 h i s 雠i n 1 是m u n s e l l 色彩空间的简化形式，是以色彩的色调( h u e ) 、饱和度 ( s a t u r a t i o n ) 、亮度( i n t e n s i t y ) 为三要素来表示的。它同人对色彩的感知相一致，是适 合人的视觉特性的色彩空间。将r g b 空间转换n h s i 空i n 后，它将亮度( i ) 与反映色彩 本质特性的两个参数一色调( h ) 和饱和度( s ) 分开。r g b 空间n h s i 空间映射的关系如 下： f 脚( r ，g ，b ) 一m i n ( r ，g ，b ) s = 殂x ( r ，g ，b ) 1 0 h = f b + g 1 + ) 7 7 3 m a x ( r ，g ，b ) 一m i n ( r ，g ，b ) f r + b 14 玎3 m a x ( r ，g ，b ) 一m i n ( r ，g ，b ) f g + r 1 4 月3 m a x ( r ，g ，b ) 一m 1 n ( r ，g ，b ) u n d e f i n e d 当m a x ( r ，g ，b ) 0 当m a x ( r ，g ，b ) = o 当只= m j ( r ，g ，b ) ( 2 - 4 ) 当g = m a x ( r ，g ，b ) 当b = m a x ( r ，g ，b ) 当r = g = b ，= m a x ( r ，g ，b ) 在彩色人脸分割算法中，为了把人脸区域从复杂背景中分离出来，需要使用适 合不同光照条件下的可靠的肤色模型。研究表明，尽管不同民族、不同年龄、不同 性别的人脸肤色看上去不同，但是这种不同主要集中在亮度上，在去除亮度的某些 色彩空间中，不同人脸的肤色分布是一致的，而且集中在一个较小的区域里，即具 彩色人脸图像中的眼睛定位及边缘轮廓提取方法研究 有聚类性。但是大多数彩色录像机、数码相机等图像采集设备都采用r g b 模型来表 示颜色，而r g b 色彩空间表达中，色度信息与亮度信息是混合在一起的。由于周围 环境光照的改变，亮度可能使人脸的检测变得更加复杂，使得肤色分割的结果不可 靠，因此r g b 色彩空间并不是理想之选。为了充分利用肤色在色度空间中的聚类特 性，需要把颜色表达式中的色度信息与亮度信息分开，所以必须将r g b 色彩空间进 行转换以达到该目的。 2 2 实验及结果 为了获得比较集中的肤色值变化范围，使得在此阈值范围内的非肤色象素越少 越好，本文从i n t e r a c t 上获得了亚洲及欧美人种的6 0 幅光照均匀、色彩鲜艳逼真的人 像图片，手工裁剪出非重叠的肤色区域1 0 0 块，共计2 9 2 0 3 9 个肤色象素。将这1 0 0 块 肤色图像变换n h s v 空间和h i s 空间进行肤色分布的分析，确定出肤色的分布范围。 ( 1 ) 对于r g b 色彩空间：在正常的光照下，满足r g b ，当光线过暗时，有r b g ： 在极少的情况下会有r g 或r b ，并且平均每个像素r g 的值基本上落在区间 1 0 ，1 3 。 ( 2 ) 对于h s v 色彩空削：色调h 的值基本上落在区间 0 0 3 ，0 1 2 8 ，饱和度( s ) 的值基 本上落在区间 0 1 0 ，0 4 0 。 ( 3 ) 对于h s i 色彩空间：色调( h u e ) 的值基本上落在区间 o 5 2 ，o 6 3 、饱和度 ( s a t u r a t i o n ) 的值基本上落在区间 0 1 0 ，0 4 0 。 因此，对于图像中的每一点象素，当它所对应的r 、g 、b 的值和转换后的h 、s 、 i 以及h 、s 、v 满足以下关系时，则将该点象素判别为肤色： 0 5 2 h u e 0 6 3 0 1 0 s a t u r a t i o n 0 4 0 1 0 r g 1 3 或 o 0 3 h 01 2 8 0 1 0 s 0 4 0 10 r g 1 3 利用文献 1 5 中的自适应区域归并算法对肤色区域进行归并，就可得到人脸区 域。经过阈值分割，将在闽值范围内的象素置为l ，其余象素置为0 ，得到分割后的 二值图像，如图2 1 所示。 第二章基于图像灰度信息的人脸检测 det 图2 1 肤色分割结果 上面我们通过混合( r g b + h s i ) 及混合( r g b + h s v ) 相结合的方法分别对不同类型 的人脸图片进行检测，即对普通光照、实验室条件下( 光线较暗) 、自然光下以及经 过特殊光效处理的四种人脸图片进行检测。实验证明，将三种颜色空间相结合的人 脸检测方法还是具有较好的肤色识别能力( 如图2 1 中a - d 所示) 。但是，在实践 中也发现了它的不足。当背景光过强、人脸上有大面积高光区，或者当肤色与背景 色的对比度不强的时候，这种方法的识别效果就不好了( 如图2 1 中e f 所示) 。 同时，因为本实验所针对的只是黄色人种的肤色图片，所以，对于其他肤色的人脸检 测，需要适当地调整各空间的判断闽值。以上这些都是利用肤色信息进行人脸检测 领域中一直有待解决和完善的问题。 1 1 彩色人脸图像中的眼晴定位及边缘轮廓提取方法研究 第三章基于灰度信息的眼睛定位方法 3 1 眼睛定位在特征提取中的重要性 人脸由眼睛、鼻子、嘴巴、下巴等器官构成，正因为这些部件的形状、大小和 结构上的各种差异才使得世界上每个人脸千差万别。因此对这些器官的形状和结构 关系的几何描述，可以作为人脸识别的重要特征。几何特征提取即是用适当的方法 对眼睛、鼻子、嘴巴、下巴等器官的形状、大小和结构关系进行几何描述，比如眼 睛、鼻子和嘴的位置和宽度，眉毛的厚度和弯曲程度等，以及这些特征器官之间的 关系。其中眼睛这一器官有着举足轻重的作用，对眼睛进行几何描述势必先要找到 眼睛的位置，即先要进行眼睛定位。而且只要眼睛被精确定位，则脸部其他器官， 如眉、鼻、嘴等，可由潜在的分布关系比较准确地定位。 在人脸正面图像识别过程，不管是利用人脸的全局特征还是局部特征，是采用 图像的几何特征，还是图像的统计特征，人脸方位的变化对识别的结果都有显著的 影响，所以在特征提取前必须先对人脸图像进行预处理如：对人脸方位进行调整使其 规范化；对人脸图片的拍摄距离进行归一化。在人脸方位调整中对眼睛的准确定位 是必不可少的步骤，这是因为两眼中心间距受光照或表情变化的影响最小，双眼中 心连线的方向随人像的偏转而偏转，可以作为图像旋转的依据。而且若以两眼之间 的距离对抽取的各个特征值进行归一化，则这些特征值具有平移、旋转和尺度上的 不变性“。 正因为眼睛定位在人脸识别中具有如此重要的地位，于是人们研究各种算法来实 现眼睛定位，常用的跟睛定位算法有以下几类：霍夫变换法“”、变形模板法”1 、边 缘特征分析法。“2 ”和对称变换法”2 1 ”3 等。本文基于人眼在人脸图像中比其他人脸器官 具有更大的复杂度这一特征，提出了一种人脸识别中眼睛区域搜索和定位的新方法。 3 2 灰度预处理 由于输入图像的获取条件不同，其质量会有很大差异，其中影响最大的是光照 条件。例如各种方向，不同强度的光线下拍摄的照片在某种程度上遮蔽了人脸的共 同特征。本文输入图像是彩色图像，先要对其进行灰度预处理。 目前广泛采用的颜色信息表达方法都是建立在t y o u n g - f 1 8 0 2 年提出的理论基 础之上的。该理论指出，任何彩色都可以用三种基本颜色按不同的比例混合而得到， 即： c = 口+ c 1 + 6 + c 2 + c +