（计算机软件与理论专业论文）人脸识别系统中眼睛定位方法的研究.pdf

山东师范大学硕士学位论文 摘要 生物识别技术是利用人自身具备的生物特征进行身份鉴别的技术。与其他的生物 认证技术相比，人脸识别具有更直接、友好、方便的优点。因此，人脸识别技术有着 广泛的应用前景和迫切的现实需要，是当前模式识别领域最热门的研究方向之一。多 年来，人们对人脸识别技术中的许多问题都进行了深入地研究，并且已经研制出了不 少有效的算法。然而，由于不同人脸具有的内在相似性，而同一人脸的不同图像则常 常因为一些因素的影响而表现出巨大的差异性，因此现有的人脸识别技术仍然无法满 足实际应用的需要。 一般情况下，一个完整的人脸识别系统由人脸检测、特征提取、人脸识别等几部 分组成。其中，特征提取的好坏将直接影响到识别的效果。而在脸部的所有特征点中， 眼睛是最重要的器官，眼睛定位的准确与否将影响到特征提取的效果。因此人眼的快 速准确定位被学者视为提高人脸识别准确率和人脸识别走向实用化的关键和瓶颈所 在。 本文以实现眼睛的准确定位为目标，探讨了基于脸部的肤色、灰度和几何特性的 眼睛定位方法。整个过程可以分为两个阶段，第一阶段研究了从图像中检测定位人脸 的方法；第二阶段又研究了在脸部区域进行眼睛定位的方法。论文的研究工作主要包 括以下内容： 第一，分别研究了适用于两种不同情况的脸部区域检测算法，算法根据其不同的 应用特点进行了不同的处理。对于特定场合背景较简单的情况，采用投影法对图像进 行了处理，然后通过分析其投影曲线的特征，进行脸部的粗定位。这种方法简单易实 现，且计算复杂度小，非常适合处理一些实时的任务。而对于复杂背景的情况，则根 据肤色对尺寸、姿态、表情不敏感的特性，采用基于肤色信息的方法来进行人脸检测。 首先对不同的色彩空间进行分析比较，并选取y c b c r 空间进行研究，然后通过大量肤 色样本建立的高斯模型进行肤色分割，最后通过脸部的几何特性对分割出来的肤色区 域进行优化处理。实验证明，文中针对两种不同情况采用的方法，在各自的应用场合 中都取得了较好的效果。 第二，在检测到的脸部区域内进行眼睛定位阶段，本文提出了一种有效的眼睛精 确定位方法。由于眼睛区域具有复杂的灰度变化特征，所以根据其灰度信息通常可以 实现准确的定位。本文的方法是先对图像进行形态学处理从而粗定位到候选的眼睛 山东师范大学硕士学位论文 点；而眼睛的精确定位过程采用的是一个复合的眼睛检测器，该检测器由两个不同的 方差滤波器级联构成，通过构造的检测器和先验知识的验证，可以判定出眼睛的精确 位置。实验证明，本文采用的眼睛定位方法容易实现，且具有较好的鲁棒性。 关键词：人脸检测；灰度投影；肤色分割；眼睛定位； 中图分类号：t p 3 9 l n 山东师范大学硕士学位论文 a b s t r a c t b i o m e t r i ci d e n t i f i c a t i o nt e c l l l l o l o g yi sak i n do f t e c l l l l o l o g yu s i n gi n d i v i d u a lb i o m e t r i c c h a m c t e r i s t i c st ov e r i f y i d e n t i t ) ，c o m p a r e dw i t ho t h e rb i o m e t r i c st e c h n o l o g y ，f a c e r e c o g n i t i o ni sm o r ed i r e c t ，衔e n da n dc o n v e n i e n t s ot h et e c l l l l o l o g yo ff a c er e c o g i l i t i o ni s o n eo ft h eh o t t e s tr e s e a r c hd i r e c t i o n sf o ri t sw i d ea p p l i c a t i o na l l d u r g e n td e m a n d f a c e r e c o g n i t i o nh a sb e e ni n t e n s i v e l yi n v e s t i g a t e db yr e s e a r c h e r sa 1 1 dm a n yu s e 如la l g o r i t h m s h a v e b e e nd e v e l o p e d s i n c ef a c e so fd i f f e r e n ts u b j e c t sa r eo r e ns i m i l a r ，w h i l ef a c ei m a g e s 舶mt h es 锄ep e r s o no r e nd i f f e rq u i t es i g i l i f i c a n t l yd u et ot h ei m p a c to fc e r t a i nf a c t o r s ， c u r r e n tf a c e r e c o g i l i t i o ns y s t e m sc 黜l o tm e e tt h er e q u i r e m e n t so fm a n yp r a c t i c a l a p p l i c a t i o n s u s u a l l yac o m p l e t ef a c er e c o g n i t i o ns y s t e mi n c l u d e sf a c ed e t e c t i o n ，f e a t u r ee x t r a c t i o n a n df a c er e c o g n i t i o n t h eq u a l i t yo ff e a t u r ee x t r a c t i o nw i l lb ea f 梵c t e db yt h er e c o g n i t i o n e f f e c t sd i r e c t l y t h ee y ei st h em o s ti m p o r t a l l to r g a l lo ff a c e a st h ea c c u r a c yo fe y e d e t e c t i o nw i l la f f e c tt h eq u a l i t yo ff e a t u r ee x 仃a c t i o n ，r a p i da n dp r e c i s ee y ed e t e c t i o ni s c o n s i d e r e dt h em o s tc r u c i a lw o r kt ob ed e a l tw i t h i nt h i sp a p e r ，i no r d e rt ol o c a t et h ee y e e x a c t l y ，t h em e t h o d sb a s e do nt h ef a c i a lc o l o r ， g r a y n e s sa 1 1 dg e o m e t r i cc h a r a c t e r i s t i c sa r es t u d i e d t h ew h o l ep r o c e s sc a nb ed i v i d e di n t o t w op h a s e s ，t h a ti s ，f a c ed e t e c t i o na 1 1 d e y el o c a t i o ni nt 1 1 ef a c er e g i o n t h em a i n c o n t r i b u t i o n sa i es u m m a r i z e da sf o l l o w s ： f i r s t l y ，i nt h i sp a p e rt w oa l g o r i t h i l l so ff a c ed e t e c t i o nt od i f f e r e n ts i t u a t i o n sa r e s t u d i e d ，a 1 1 dt h e yd oc o r r e s p o n d i n gt r e a t m e n t sa c c o r d i n gt ot h ed i 虢r e n ta p p l i c a t i o n s f o r t h es p e c i f i co c c a s i o n so fs i m p l eb a c k g r o u n d ，g r a yp r o j e c t i o ni s a d o p t e dt op r o c e s st 1 1 e i m a g e s f a c ec a i lb el o c a t e dr o u 曲l yt h r o u 曲锄a l y z i n gt h ec h a r a c t e r i s t i c so f 也ep r o j e c t i o n c u e t h i sm e t h o di se a s yt oi m p l e m e n ta i l dc o s t ss m a uc o m p l e x i t y ，s oi tc a nb ea d a p t e d t od e a l 晰t hs o m er e a l t i m et a s k s f o rc o m p l e xb a c k g r o u l l d ，b e c a u s et h es k i n c o l o ri sn o t s e n s i t i v et os i z e ，p o s ea n d e x p r e s s i o n ，t h em e m o db a s e do ns k i n c o l o ri su s e dt od e t e c tt h e f a c e b yc o n l p a r i n gt h e d i f 五习e n tc o l o rs p a c e ，y c b c rc o l o rs p a c ei s a d o p t e d t h e n g a u s s i a i lm o d e li se s t a b l i s h e dt os e g m e n tt h ei m a g ea i l df a c er e 酉o nc a nb ev a l i d a t e d a c c o r d i n gt og e o m e t r i cc h a r a c t e r i s t i c s t h er e s u l to fe x p e r i m e n ti n d i c a t e st h a tt h e s et 、v o a l g o r i t i h n sa r ea j le f i f e c t i v e 1 1 1 e na ne 蔬c t i v ee y el o c a t i o na l g o r i t h 】 1 li nt h ef a c e r e 西o ni sb r o u g h tf o r 、v a r d b e c a u s eo ft h ec o m p l e xg r a yo ft l l ee y er e g i o n ，t i l e s ec h a r a c t 嘶s t i c sc a i lb eu s e dt ol o c a t e i i i 山东师范大学硕士学位论文 t h ee y e se x a c t l y e y ec a n d i d a t e sc a i lb ef o u l l dt h r o u 曲m o 印h o l o g yo p e r a t i o n ；e y ed e t e c t o r i sd e s i g n e d ，a n di ti ss t m c t u r e dw i t l lt w od i f f e r e n tv a r i a n c en l t e r s t h ee y e sa r ea c c u r a t e l y 1 0 c a t e dw i t ht h ed e t e c t o ra i l dp r i o rk n o w l e d g e t h ee x p e r i m e n t a lr e s u l t sp r o v et h a tt l l e a l g o r i t h li se a s y ，e m c i e n ta n dr o b u s t k e y w o r d s ：f a c ed e t e c t i o n ；舀a yp r o j e c t i o n ；s k i ns e g m e n t a t i o n ；e y el o c a t i o n ； c l a s s i f i c a t i o n ：t p 3 91 i v 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得( 注：如没有其他需要特别声 明的，本栏可空) 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：刍卜啬乳矽令导师缔馁了蒡灾 学位论文版权使用授权书 本学位论文作者完全了解堂撞有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权兰 盈可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：；) 、啦刀拿 导师擀f 氧乏灾 签字日期：2 0 0 莎年j ，月孑9 日签字日期：2 0 0 莎年厂月扣日 山东师范大学硕士学位论文 1 1 研究背景和意义 第一章绪论弟一早 珀了匕 随着社会的发展和科学技术的不断进步，人们对于快速、便捷、有效的身份识别 技术有着日益增长的需求。而生物特征识别技术因其自身所具备的一些特性日益引起 人们的关注，并逐步渗透到人们的日常工作和生活中。与传统的方法诸如钥匙、密码、 印章、证件等身份鉴定手段相比，基于生物的身份识别技术有着不易遗忘或丢失、防 伪性能好、“随身携带”等很多优点。 人体生物特征识别技术，又称生物测定学，是指通过计算机将人体所固有的生理 特征( 如指纹、虹膜、面部、掌纹等) 或行为特征( 如书写、声音等) 收集并进行处理， 来进行个人身份鉴定的技术【l 】。这种技术使用个体的生物特征作为唯一标识，对个体 进行辨识，有较高的安全性、可靠性和有效性。近年来由于人工智能、图像处理及模 式识别技术的飞速发展，人们对生物鉴别技术的需求也日益增长，使得生物识别技术 已经得到了很大的发展和应用。 目前比较常用的生物特征识别技术有人脸识别、指纹识别、声音识别、虹膜识别、 笔迹识别等。其中，人脸识别技术是通过计算机提取人脸的特征从而进行身份验证的 一种技术。与其他生物识别技术相比，人脸识别是一种更为优越的识别技术。因为从 人机交互的方式来看，人脸识别系统具有更多优点f 2 】： ( 1 ) 可以隐蔽操作，尤其是用于安全监控 人脸识别是唯一不需要使用者配合的生物识别方法，操作隐蔽性强。这一点特别 适合于重要的安全防范、罪犯监控与网上抓逃等应用，这是指纹、虹膜、视网膜等其 他人体生物特征识别技术不能比拟的； ( 2 ) 非接触式采集，没有侵犯性，容易被接受 不会对用户造成生理上的伤害，另外也比较符合一般用户的习惯，不会给人造成 不适的感觉，容易被大多数的用户接受； ( 3 ) 具有方便、快捷、强大的事后追踪能力 基于人脸的身份验证系统可以在事件发生的同时记录并保存当事人的面像，从而 可以确保系统具有良好的事后追踪能力。例如，用于考勤系统时，管理人员就可以方 便地对代打卡进行事后监控和追踪。这是指纹、虹膜等生物特征所不具有的性质( 一 山东师范大学硕士学位论文 般人不具备指纹、虹膜鉴别能力) ； ( 4 ) 图像采集设备成本低 目前，中低档的u s bc c d c m o s 摄像头价格已经非常低廉，基本成为标准的外 设，极大地扩展了人脸识别技术的实用空间；另外，数码相机、数码摄像机和照片扫 描仪等摄像设备在普通家庭的日益普及进一步增加了其可用性。 人脸识别作为一种典型生物特征识别技术，以其自然性、高可接受性等优点受到 人们的青睐，因而有着十分广泛的应用前景【3 】： ( 1 ) 视频监控：这是人脸识别的主要用途之一。将一些犯罪嫌疑人或是要寻找 的人的照片预先存放在数据库中，然后在一些重要场所，如机场、火车站、地铁、银 行等场所安装上摄像机和人脸识别视频监控软件。这样，如果被查找的人出现就能自 动报警进而做出相应的处理。 ( 2 ) 身份验证：应用于信用卡、驾驶证、护照、身份证等身份验证中，进行身 份的鉴别。现在很多证件如身份证、驾驶证、社保卡等都有照片，而这些证件大都是 采用人工验证，效率极低。如果采用人脸识别技术，这项工作就可以交给计算机自动 完成，从而实现自动化管理。另外，现在使用的一些证件是用符号或条形码标记的， 比如信用卡、自动提款机等，这类卡的安全系数比较低，因为这类卡容易丢失，密码 也容易遗忘或是被窃取。如果在这一类卡上加上人脸的一些特征信息，通过密码和人 脸的双重验证，这样就可以提高安全性能。 ( 3 ) 犯罪嫌疑人的辨认和搜索：公安部门获得罪犯的照片后，可以利用人脸识 别技术，在照片数据库中找出与罪犯最相像的人作为嫌疑犯。由于照片数据库常常很 大，一般都由数十万甚至几百万张照片组成。因此，如果搜索工作由人工完成，不仅 效率低，而且容易出错，而由计算机来自动完成就相当的容易。 ( 4 ) 入口控制( a c c e s sc o n t r 0 1 ) ：入口控制的范围相当广，如个人计算机的使用 权限控制，一些重要的军事部门、政府的重要部门、银行金库、监狱、重要楼宇入口 处的门卫检查等。在这些地方，现在普遍采用的手段是核查证件，当人员出入比较频 繁时，核查证件是比较麻烦的一件事。如果采用人脸识别技术，就可以大大降低工作 强度和提高工作效率。另外在一些保密要求比较高的部门除了用证件，还需要加上其 他的一些辅助验证手段，如指纹识别、掌纹识别和虹膜识别等，人脸识别与之相比具 有直接方便等优点。 此外，人脸识别技术还可以用于视频会议、自动考勤系统、照片比对、数字娱乐 2 山东师范大学硕士学位论文 等。鉴于人脸识别具有广泛的应用，人脸识别技术成为模式识别和机器视觉领域近来 研究的一个热点问题。 1 2 国内外研究历史和现状 人脸识别的研究已经有很长的历史，近3 0 年发展的速度很快，可分为以下几个 阶段： 第一阶段是机械式的识别阶段h 】【5 】。以b e n i l l o n ，a l l e n 和p a r k e 等为代表，主要 研究人脸识别所需要的面部特征。在b e n i l l o n 系统中，用一个简单的语句与数据库中 某一张脸相联系，同时与指纹分析相结合，提供了一个较强的识别系统。为提高脸部 识别率，a l l e n 为待识别脸设计了一种有效且逼真的摹写【6 1 。p a r k e 则用计算机实现了 这一想法，并产生了较高质量的人脸灰度图模型【7 1 。这一阶段工作的特点是识别过程 全部依赖于操作人员，显然这不是一种可以完成自动识别的系统。 第二阶段是人机交互式识别阶段。这一阶段产生了人脸识别的基本方法，形成了 较为系统的体系，已经有基于特征和基于统计的识别方法之分。主要有g o l d s t i o n ， h 锄o n 和l e s k 用几何特征参数来表示人脸正面图像【8 】。k a y a 和k o b a y a s h i 则采用了 统计识别方法，用欧氏距离来表征人脸特征【9 】。t k a i l a d ( m n a g a o ) 设计了一个高速且 有一定知识导引的半自动回溯识别系统，创造性地运用积分投影法计算出一组脸部特 征参数，再利用模式分类技术与标准人脸相匹配【1 0 1 。k a n a d 的系统有快速、实时处理 的特性。相比之下，b a r o n 所做的工作少为人知：他先将图像灰度进行归一化，然后 用4 个掩模表示人脸，计算掩模与数据库中图像相应掩模之间的互相关系数【l l 】。总的 来说，需要利用操作员的某些先验知识，仍然摆脱不了人的干预。 第三阶段是自动识别阶段。2 0 世纪9 0 年代以来，随着高速度高性能计算机的出 现，人脸识别方法有了重大突破，进入了真正的机器自动识别阶段，人脸识别研究也 得到了前所未有的重视。 根据人脸的表征方式的不同，通常可以将人脸自动模式识别技术分为三类：基于 几何特征的识别方法、基于代数特征的识别方法和基于连接机制的识别方法。 ( 1 ) 基于几何特征的人脸自动识别方法 这类识别法将人脸用一个几何特征矢量表示，用模式识别中层次聚类的思想设计 分类器达到识别目的。这就要求选取的几何特征矢量具有一定的独特性，能够反映不 同人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、光照等因素的影响。 3 山东师范大学硕士学位论文 几何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人 脸指定两点间的欧氏距离、曲率、角度等。 ( 2 ) 基于代数特征的人脸自动识别方法 这类识别法仍然是将人脸用特征矢量表示，只不过用的是代数特征矢量，即人脸 图像在由“特征脸”生成的降维子空间上的投影。s i r o v i c h 和k i r b y 首先将k l 变换用 于人脸图像的最优表示。n 放和p e n t l a l l d 进一步提出了特征脸方法【1 2 】，该方法以 训练样本集的总体散布矩阵为产生矩阵，经k l 变换后得到相应的一组特征矢量，称 作“特征脸”。这样就产生了一个由“特征脸 矢量生成的子空间，每一幅人脸图像 向其投影都可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置，实 验表明其具有较强的稳定性，可以作为人脸识别的依据。 ( 3 ) 基于连接机制的人脸自动识别方法 这类识别法将人脸直接用灰度图表征，利用了神经网络的学习能力及分类能力 【1 3 】。这种方法的优势在于保存了人脸图像中的材质信息及细微的形状信息，同时避 免了较为复杂的特征提取工作。而且，由于图像被整体输入，符合g e s t a l t 心理学中对 人类识别能力的解释。 目前，世界上很多国家的高校都有专门的人脸识别研究小组，比较有名的如麻省 理工学院( m i t ) 的由a p e n t l n a d 领导的研究小组、耶鲁大学( y a l eu n i v e r s i t ) r ) 由 d j k f i e g m a j l 领导的包括p n b e l h u m e u r 等人在内的研究小组、密歇根州立大学( m s u ) 由a k j a i n 领衔的小组、德国m 虹大学由c v o nd e rm a l s b u r g 和l w i s k o t t 等人组成 的研究小组、德国m a x p l a i l c k 研究所由v b l a n z 领导的小组、英国曼切斯特大学由 t f c o o t e s 、g j e d w a r d s 和c j t a y l o r 等人组成的小组等，日本、韩国、新加坡以及 香港的许多高校和科研部门也有不少人在专门从事人脸识别研究。定期召开的国际会 议i e e ei n t e m a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea i l dg e s t l l r er e c o g l l i t i o n 和 i n t e m a t i o n a lc o n f e r e n c eo na u d i oa n dv i d e o - b a s e db i o m e t r i cp e r s o na u t h e n t i c a t i o n 是专 门供人脸及其它生物特征识别技术进行经验交流和最新成果展示的。而在模式识别、 计算机视觉、图像处理等领域中最权威的国际会议上每届也都有专门的人脸图像分析 和识另i j 专题，如i e e e 、i c c v 、i e e e c v p r 、i e e e i c i p 、i e e e i c a s s p 、i c p r 、e c c v 。 国内关于人脸识别的研究始于2 0 世纪8 0 年代【1 4 】，主要是在国际上流行方法基 础上作了发展性工作。目前致力于这方面研究的主要有微软亚洲研究院、中国科学院 计算技术研究所、清华大学、南京大学、南京理工大学等，其他很多高校也有专门的 4 山东师范大学硕士学位论文 人脸识别小组，但规模较小。不过近年来，随着我国在该项目上科研经费的逐年增加， 我国科研人员取得的研究成果也不断增加，在国际高等级的学术刊物和专业会议上发 表的论文数也在逐年增多。 1 3 人脸识别系统的主要构成 通常情况下一个人脸自动识别系统主要包括人脸检测、特征提取、人脸识别三个 技术环节，其大致结构如图卜1 所示： 图卜1 人脸自动识别系统结构图 人脸检测即从各种不同的场景中检测出人脸的存在并确定其位置。在某些情况下 由于图像的获取环境是可以人为控制的( 如身份证照片等) ，因而人脸的定位可以轻易 地做到。但在大多数场合中由于场景较复杂，人脸的位置预先是不知道的，因而首先 必须确定场景中是否存在人脸，如果存在人脸，再确定图像中人脸的位置。脸部毛发、 化妆品、光照、噪声、面部倾斜和人脸大小变化以及各种各样遮挡等因素会使人脸检 测问题变得更为复杂。人脸检测的主要目的是在输入的整幅图像上寻找人脸区域，把 5 山东师范大学硕士学位论文 图像分割成两个部分人脸区域和非人脸区域，从而为后续的应用作准备。作为人 脸识别的一部分，人脸检测有着非常广泛的应用，例如，可用于保安系统、案件侦破 系统以及涉及人机交互的领域；另外还可广泛应用于人的跟踪、监测等系统。人脸检 测的结果直接影响着整个系统的性能，经过多年的发展，人们己经提出了多种人脸检 测方法。现有的方法大致可分为两大类：一类是基于人脸各部分特征的检测方法；另 一类是把人脸作为一个整体来考虑的检测方法。第一类方法主要是先检测出人脸的局 部特征，然后确定人脸的存在和位置，这类方法的主要优点是能给出主要特征的位置， 便于应用，缺点是鲁棒性较差，应用范围窄。第二类方法则不考虑各细节特征，从而 可以较充分地考虑人脸的整体信息，因而鲁棒性较好，应用范围广，但缺点是一般运 行时间较长，还不能较好的应用于实时系统中。 人脸的特征提取就是将现实空间的图像映射到机器空间的过程。人脸的表征具有 多样性和唯一性，只有保持这种多样性和唯一性，才能保证图像的准确描述和识别。 特征提取通常的表示方法有几何特征、代数特征等。几何特征是以人脸器官的形 状和几何关系为基础的特征，包括几何特征曲率和面部几何特征点。几何特征曲率是 指人脸的轮廓线曲率。面部几何特征点包括眼睛、鼻子、嘴巴等各个器官，以及它们 之间的相对位置和距离，这些特征具有位置、视点、大小等不变性。要求选取几何特 征具有一定的独特性，能够反映不同人脸之间的差别，同时又具有一定的弹性以消除 时间跨度、光照等因素的影响。代数特征是将人脸图像用特定的变换方法投影在降维 子空间，形成人脸的代数特征。如经过奇异值变换得到奇异值特征、经过k l 变换得 到特征脸特征、小波变换后得到的小波特征等。 人脸图像信息数据量巨大，为了提高检测和识别的运算速度，提高图像传输和匹 配检索速度，必须对图像进行数据压缩，降低向量维数，即用尽可能少的数据表示尽 可能多的信息。人脸的特征定位与提取，是人脸识别系统中最关键性的问题。 人脸识别就是将待识别的人脸与已知人脸进行比较，得出相似程度的相关信息。 这里所指的人脸识别是狭义的识别，是统称的广义人脸识别的一个子过程。人脸识别 中主要有下面的几个任务： a ) 确认( v e r i f i c a t i o n ) 。识别系统确定受怀疑的人脸图像和声明的个体身份是 否匹配，也就是回答问题：你是不是你本人的问题。 b ) 辨认( i d e n t i f i c a t i o n ) 。识别系统将受怀疑的人脸图像与数据库中的已知实体 的图像匹配，来确认受怀疑的图像是谁，也就是回答问题：你是谁。 6 山东师范大学硕士学位论文 近年来逐渐发展起来的表情姿态分析和生理分类也开始成为人脸识别中的重要 研究内容。所以广义上人脸识别的研究还可以包含表情姿态分析和生理分析等部分 【1 5 】。表情姿态分析就是对待识别人脸的表情( 快乐、悲伤、恐惧、惊奇等) 或者姿 态信息进行分析，并对其进行分类。生理分析就是对待识别人脸的生理特征进行分析， 得出其年龄、性别、种族等相关信息。 1 4 本文的主要研究内容和结构安排 计算机人脸识别是近年来非常活跃的研究领域，具有广阔的应用前景。论文在分 析了人脸识别系统的基本构成和相关技术的基础上，对系统中的部分关键问题进行了 探索性研究。论文的主要工作是以实现人脸部最重要的特征眼睛的准确定位为目 标，结合人脸部的肤色特征、灰度信息和几何特性展开研究，设计并实现一个完整的 眼睛定位算法。整个过程可以分为两个阶段，首先研究了从图像中检测脸部区域的方 法，然后结合形态学和方差滤波器的理论提出了一种有效地在脸部区域中准确定位眼 睛的方法。 本文的主要章节安排如下： 第一章，主要介绍了论文所研究领域的背景和发展现状，讨论了人脸识别系统的 基本构成及各部分的主要工作，并概述了本文的主要研究内容和结构安排。 第二章，首先分析了眼睛定位在整个人脸识别系统中的重要意义，然后对传统的 眼睛定位方法进行研究，讨论了模板匹配法、h o u g h 变换法、对称变换法、面部几何 模型法等算法，并对它们的性能进行分析比较。 第三章，对脸部区域的定位方法进行了研究。针对应用场合的不同分别研究了两 种不同情况下的人脸检测方法，首先探讨了基于投影的脸部区域粗定位方法，通过对 投影曲线的分析，大致定位出人脸区域。然后又详细研究了基于高斯模型的肤色分割 方法，并在此基础上结合脸部的几何特性进行复杂背景下的人脸检测。 第四章，研究了方差滤波器的基本理论，并在其基础上提出了一种有效的眼睛定 位方法。通过构造复合的眼睛检测器，对形态学处理得到的候选点进行检验，最终实 现眼睛的精确定位。 第五章，对本文所做的工作进行总结，阐述了这种方法中仍然存在的一些问题， 并指出了今后的努力方向。 7 山东师范大学硕士学位论文 第二章眼睛定位的基本理论研究 2 1 眼睛准确定位的重要性 人脸主要由眼睛、鼻子、嘴巴、下巴等器官构成，正因为这些部件的形状、大小 和结构上的各种差异，才使得世界上每个人脸千差万别，因此对这些器官的形状和结 构关系的几何描述，可以作为人脸识别的重要特征。 通过前一章对人脸识别技术的发展和现状的研究我们可以知道，现在几乎所有的 人脸自动识别系统都需要首先进行人脸部件的特征定位和提取。几何特征提取即是用 适当的方法对眼睛、鼻子、嘴巴、下巴等器官的形状、大小和结构关系进行几何描述， 比如眼睛、鼻子和嘴的位置和宽度，眉毛的厚度和弯曲程度等，以及这些特征器官之 间的关系。其中眼睛这一器官有着举足轻重的作用，对眼睛进行几何描述势必要先找 到眼睛的位置，即先要进行眼睛定位。而且只要眼睛被精确定位，则脸部其他器官， 如眉、鼻、嘴等，就可以很容易的根据脸部器官的分布规律准确地标定。 在人脸正面图像识别过程，不管是利用人脸的全局特征还是局部特征，是采用图 像的几何特征，还是图像的代数特征，人脸方位的变化对识别的结果都有显著的影响， 所以在特征提取前必须先对人脸图像进行预处理，如对人脸方位进行调整使其规范 化。在人脸方位调整中对眼睛的准确定位是必不可少的步骤，这是因为两眼中心间距 受光照或表情变化的影响最小，双眼中心连线的方向随人像的偏转而偏转，可以作为 图像旋转的依据。而且若以两眼之间的距离对抽取的各个特征值进行规一化，则这些 特征值具有平移、旋转和尺度上的不变性【1 6 】。 此外，利用人眼定位的结果可以进行人脸姿态表情分析，在人脸姿态及表情分析 中，可以通过面部器官的相对位置及形状进行分析来确定，眼睛定位是姿态表情分析 的前提；实现人脸图像的自动跟踪，也需要有快速而又精确的人眼定位算法。通常情 况下人脸图像的自动跟踪可以利用面部特征定位的方法，对视频图像中的人脸图像进 行自动跟踪，眼睛的定位可以基于其他方法的人脸跟踪算法提供人脸器官的初始位 置。 因此，人眼的快速精确定位被一些学者视为提高人脸识别准确率和人脸识别走向 实用化的关键和瓶颈所在。 8 山东师范大学硕士学位论文 2 2 眼睛定位的基本算法研究 基于眼睛定位在人脸识别系统中具有如此重要的地位，于是人们开始研究各种各 样的算法来实现眼睛定位。在过去的几十年中，对人眼检测和定位方法的研究取得了 很大进展。 其中，使用红外光照明的主动检测方法【1 7 1 在驾驶员疲劳检测系统中得到了广 泛应用。这种方法利用的是人眼的基本生理特点，即视网膜对不同波长的红外光能够 反射量的不同使所得到的图像中突出显示瞳孔的位置，用于定位眼睛。这种方法的优 点是较为简单，且能够获得比较高的眼睛定位和跟踪精度，特别是在室内环境中。但 它需要使用特制的装有红外光源的摄像机采集人脸图像【1 9 】【2 0 1 ，且眼睛定位成功与否 还主要取决于图像的亮度和瞳孔的大小，而瞳孔的大小又往往取决于人的视角方向、 外界光照情况以及人与摄像机之间的距离。换句话说，该方法的主要缺点是需要相对 稳定的光照条件以及要求人靠近摄像机，尤其是在户外环境下的误检率会有所增加。 现实中我们使用最多的是基于图像的方法，这种方法主要是利用人脸图像中眼睛 的灰度、颜色或者形状信息。下面详细介绍一下常用的眼睛定位算法。 2 2 1 模板匹配法 模板匹配法是一种有效的模式识别技术，它能利用图像信息和有关识别模式的先 验知识，更加直接的反映图像之间的相似度。传统的模板匹配法需要首先收集到左右 眼睛模板图像，然后从输入人脸图像的各个位置上分割出和模板图像同样大小的子图 像，计算该子图像和眼睛模板之间的相关系数，取相关系数最大的两个位置作为眼睛 的位置。这种简单的模板匹配法虽然使用方便，但是计算量大，且定位准确率低，鲁 棒性较差，因为它无法处理眼睛在尺度、表情、旋转以及光照方面的变化。 r b m l l e l l i 等在他们的研究中引入了多尺度模板的概念f 2 1 1 ，首先将原始模板图像 按比例缩放成5 个不同的尺寸，然后使用不同尺寸的模板进行搜索比较，部分解决了 其中的尺度变化问题。 可变形模板法【2 2 】是由a l y u i l l e 等提出的适用于人脸部件提取的方法。为了检测 眼睛，该方法首先根据眼睛形状的先验知识，定义了一个由1 1 个参数描述的眼睛模 板其中上下眼皮的形状各用一条抛物线来描述，虹膜的形状用半径为，、中心为 t = ( ) ( 。，y c ) 的圆来描述，整个眼睛的中心用元= ( x t ，y t ) 描述，眼白的位置用点p l 9 山东师范大学硕士学位论文 和点p 2 来描述，眼睛的角度用口描述，也就是说，总共1 1 个参数描述了一个位置、 大小、形状和旋转方向可变的眼睛，如图2 一l 所示。 图2 1 司。变形眼模板 在该方法中，眼睛的上述参数的值是通过将模板与图像的灰度分布特征及其中的 边缘、峰、谷等动态交互地适应来修正的。具体地讲，根据眼睛图像的先验知识，先 建立一个能量函数，它反映了眼睛模板和眼睛图像的拟合程度，通过使能量函数极小 化，确定这些参数的取值。a l y u i l l e 等将能量函数e 定义为： e c = e v + e e + e i + ep + e 蛐r q 心 其中，e ，反映的是图像中谷的能量，定义为： e = 一高l 厶吼 ) 谢 q 2 e 。反映的是图像中边缘的能量，定义为： 巨；一青薏1 j 麓m c ) 幽一雨鼍1 厶m e ( i ) 西 ( 2 3 ) e 。反映的是原始灰度图像的能量，定义为： 互2 青l 厶m 如) 幽一高j 厶由肛) 姒 ( 2 4 ) e 。反映的是峰的能量，定义为： e | p = c 6 m p ( t + p l 毛) + 西，( 甏+ p 2 砭) ( 2 5 ) e p r 。，反映的是先验能量，或者称为内部能量，定义为 1 0 山东师范大学硕士学位论文 = 每忱一爱6 2 + 等慨一p ：一( ，+ 6 ) 】2 + 每( 6 2 r ) 2 + 等一2 口) 2 + ( 口一2 力2 】( 2 6 ) 符号，和垂v 、西矿m 口分别代表亮度图像及其通过形态学操作生成的谷图像、边缘 图像和峰图像，也、r 。、豫。、披，分别代表虹膜区域、眼白区域、虹膜的边界以 及眼白的边界，它们的面积或者长度分别用i 死l 、ir 。i 、ia 心i 、l 积。i 表示，彳和j 分别表示面积和弧长，磊、砭是两个方向单位矢量，即 或= ( c o s p ，s i n 口) ，砭= ( 一s i n 口，c o s 口) ( 2 7 ) a l y u i l l e 等利用梯度下山法使能量函数最小化，并且设计了一个由八个步骤组 成的串行算法，以得到上述模板参数的最佳值。 可变形模板法的优点是不仅能实现眼睛的定位，而且还能同时得到眼睛的大小和 形状信息。但该方法实际上仅仅是一个眼睛的精定位方法，因为它没有解决模板初始 参数如何确定的问题，而且，能量函数优化过程是否收敛，很大程度上取决于模板初 始位置的选择；另外，该方法还存在处理速度慢的缺点。 2 2 2h o u 曲变换法 h o u 曲变换是图像处理中常用的利用图像全局特性而将边缘像素连接起来组成 区域封闭曲线的一种方法。在预先知道区域形状的条件下，利用h o u 曲变换可以方 便地得到边界曲线而将不连续的边缘像素连接起来，因此，它常用于图像中直线、圆 等简单曲线的检测。 h o u g h 变换的基本原理是利用了像素点在图像空间和参数空间的对偶性。比如， 对于直线的检测，它利用的是点线的对偶性，即在图像空间中共线的点对应在参数 空间里是相交的线，反过来，在参数空间中相交于一个点的所有直线，在图像空间中 都有共线的点与之对应。利用h o u 曲变换检测圆周的原理与此类似，由于圆的方程 为： ( x 一口) 2 + ( y 一6 ) 2 = 广2 ( 2 8 ) 因此，在检测时，首先在参数空间里建立一个三维的累加器组彳，其元素为么o ，6 ，) ； 然后估计出参数a ，6 的大致范围，让它们按一定的步长进行变化，用图像中的点( x ，y ) 根据上式算出其对应的，值，并对彳( 口，6 ，厂) 进行累加，即彳( 口，6 ，) = 彳( 口，6 ，) + l ；最 后根据么( 口，6 ，) 的值，就知道图像中有多少个点共圆，即么( 口，6 ，厂) 的值就是在( 口，6 ，厂) 山东师范大学硕士学位论文 处共圆的点数，而圆的方程也由( 口，6 ，) 给出来了。 在用h o u 曲变换具体进行眼球检测之前，通常先使用c 锄y 边缘检测算子提取 出边缘点，然后再进行圆检测。 该方法检测和定位眼睛是基于虹膜为圆形这个形状特征，其优点是简单通用，缺 点是要求眼睛张得较开，虹膜没有被上下眼眶遮住。另外，由于该方法是从二值边缘 图像中定位眼睛，因此，其性能和二值边缘图像提取过程中所采用的阈值有密切关系。 2 2 3 对称变换法 在计算机视觉研究中，对称性被认为是物体的基本性质之一，通常用于将物体从 背景中分割出来后，用来简化物体形状的描述或物体的近似。目前研究最多的是点对 称( 也叫中心对称) 和轴对称，对人脸而言，眼睛、嘴巴、鼻子等都具有很强的点对称 性，因而以色列学者d r e i s f e l d 等提出一种广义对称变换g s t ( g e n e r a l i z e ds y m m e t r ) r t r a n s f o r n l ) 【2 3 1 用来描述物体的点对称。 广义对称变换是针对梯度图像的一个局部算子，用来描述图像上各个像素的点对 称性。设p = ( ，儿) 为图像上任意一个点，其中后= 1 ，2 ，k ，k 为图像上的像素总 数。点仇的方向梯度定义为： 并记梯度模： 吼一e 仇，言仇)d xd v = 1 0 9 ( 1 + l i 即。1 1 ) ( 2 9 ) ( 2 1 0 ) 梯度角： 吼：a r c t a l l ( 兰p 兰p t ) ( 2 1 1 ) o l xd 1 ， 记a ，p ，为图像上的任意两点，其连线与水平线的逆时针夹角为口l ，其取值范围为 【o ，巧】。以点p 为连线中心的对称点集合为： ) = ( 枷l 半叫p ，一乃卜 ( 2 1 2 ) 其中尺度因子厂限制点p 的邻域大小，于是p ，p 处于以p 为中心，为半径的一个圆形 区域内 距离因子： 1 2 郫。击唧c 一哼， 亿嘲 山东师范大学硕士学位论文 方向因子： 尸俐= 【l c 。s 伊f + 目_ ，一2 a ，】【l c 。s 徊f 一口歹月 ( 2 1 4 ) 于是，像素p 的对称强度定义为：s = ( f 归( p ) ) d ，( i ，j ) p ( i ，j ) i l ：i ( 2 1 5 ) 广义对称变换法描述了物体的点对称性，应用于眼睛定位具有较高的精确度，并 且对人脸的轻微偏转、表情变化及光照变化具有一定的鲁棒性。但它应用于眼镜反光、 眼睛张开程度较小等成