（电路与系统专业论文）人脸特征定位和人脸识别方法的研究.pdf

上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 摘要 人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y ，f r t ) 是近2 0 年发展最为快速 的一种识别技术，也是当前人工智能、模式识别和计算机视觉等领域的研究热点。 鉴于它的非接触性和易用性，因而比指纹识别、d n a 识别具有更广的应用。尤 其是在2 0 0 1 年美国发生的9 1 1 事件后，人们对自身安全的考虑，使得更加迫切 此技术能够早日实现应用。 f r t 研究的思路是：通过摄像头或数码相机等工具获取人脸图像，对图像进 行人脸检测，去除背景并将人脸面部区域提取出，通过人脸定位算法获得各个主 要特征区域，提取出它们的主要特征进行相似度计算，设置一定的阂值来判断识 别结果。f r t 可分为四个步骤：人脸检测、人脸定位、特征提取和人脸识别。 本论文在实现整个f r t 仿真实验的同时，在人脸特征定位和人脸识别两部分 提出自己的方法。主要贡献有以下两个方面： 1 针对不同人种的人脸面部各个部位的位置比例不是相同的，如果只是根据先 验面部比例来定位各个区域，得到的正确率较低，所以提出用人脸灰度图像 的灰度积分投影结合人脸一定的比例关系来定位眼睛和鼻子区域；考虑嘴唇 的颜色特点，即红色分量最多，蓝色分量最少，提出应用它们的比值来确定 嘴巴的区域，此方法对人脸的小角度偏转以及光照变化都不很敏感，有着较 好的适应性。 2 对提取的众多特征组成一个特征向量，用计算特征的相似度来判断两个特征 向量是否匹配，以达到分类的目的。其中计算相似度的系数是个难点，神经 网络等方法需要复杂的运算和很长的时间，因此提出了基于方差计算来决定 相似度的系数，这个方法具有着快速和简单易行的优点。实验得到的识别结 果较理想，说明此方法是可行有效的。 关键词：人脸识别，人脸特征定位，灰度积分投影，肤色分量比，方差计算 上海大学硕士学位论文 人脸特征定位和人脸识别方法的研究 a b s t r a c t f a c er e c o g n i t i o nt e c h n o l o g y ( f r t ) h a sb e e naf a s t d e v e l o p e dr e c o g n i t i o n t e c h n o l o g yi nt h ep a s t2 0y e a r s ，i ti s ac u r r e n th o tr e s e a r c hp o i n ti na r t i f i c i a l i n t e l l i g e n c e ，p a t t e r nr e c o g n i t i o na n dc o m p u t e r v i s i o nf i e l d s b e c a u s ef r ti s n o n t o u c h e da r i dt ob eu s e de a s i l y , i tw i l lh a sm o r ew i d e s p r e a da p p l i c a t i o nt h a n f i n g e r p r i n tr e c o g n i t i o n ，d n ar e c o g n i t i o na n ds oo n o u to fs e c u r i t y , p e o p l ea r em o r e u r g e n t l yw i s ht h ef r t t ob er e a l i z ee a r l y , e s p e c i a l l ya f t e rt h es e p t e m b e r11t e r r o r i s t a t t a c k so nt h eu m t e ds t a t e si n2 0 0 1 t h er e s e a r c hc o n t e n to f f r ti sc a p t u r et h ef a c ei m a g e sb yv i d e oc a m e r ao rd i g i t a l c a m e r a ，g e tr i do ft h eb a c k g r o u n da n de x t r a c tt h ef a c er e g i o n s ，t a k eo u tt h em a i n f e a t u r e s r e g i o nb yt h ef a c el o c a l i z a t i o na l g o r i t h m ，c o m p a r et h ef e a t u r e se x t r a c t e d f r o mt h ef a c ei m a g e s ，a n ds e tat h r e s h o l dt oe s t i m a t et h ef a c er e c o g n i t i o nr e s u l t f r t c a nb ed i v i d e di n t of o u rp a r t s ：f a c ed e t e c t i o n ，f a c el o c a l i z a t i o n ，f e a t u r ee x t r a c t i o n ，a n d f a c er e c o g n i t i o n t h en o v e l t ym e t h o d sa r ep r o p o s e di nt w op a r t s ，f a c i a lf e a t u r el o c a l i z a t i o na n d f a c er e c o g n i t i o n ，w h i c hh a v eb e e nd o n ei nw h o l ee x p e r i m e n to ff r t t h em a i n a c h i e v e m e n t si nt h i sd i s s e r t a t i o na sf o l l o w s ： f i r s t ，a st h ef e a t u r e s p o s i t i o n a lp r o p o r t i o no fd i f f e r e n te t h n i ci sn o tt h es a m e ，s oi t i sn o ta c c u r a t et ol o c a l i z et h ef a c ef e a t u r e so n l yb yt h ef o r m e r - k n o w nf a c i a ll o c a t i o n r a t i o t os o l v et h i sp r o b l e m ，w ep u tf o r w a r dt ot h ew a yt h a ti su s eh u m a nf a c eg r a y i n t e g r a lp r o j e e t i o na n ds o m er a t i oo ff a c el o c a t i o n st ol o c a l i z et h ee y e sa n dn o s e c o n s i d e r i n gt ot h el i pc o l o ri sc o n t a i n i n go fl a r g em o u n to fr e dc o m p o n e n ta n ds m a l l m o u n to fb l u ec o m p o n e n t ，w ea d o p tt h es k i nc o l o rc o m p o n e n tr a t i ot ol o c a l i z et h e m o u s e t h ee x p e r i m e n t ss h o wt h i sw a yh a sg o o da d a p t a b i l i t y , a n di n s e n s i t i v i t yt ot h e l i t t l ea n g l er o t a t i o no ff a c ea n di l l u m i n a t i o nc h a n g e s e c o n d ，e x t r a c tt h em a n yf e a t u r e st oc o n s t i t u t eaf e a t u r ev e c t o r , c o m p u t et h e f e a t u r e s s i m i l a r i t yt oj u d g et h em a t c ho ft w of e a t u r e s i ti sd i f f i c u l tt oc o m p u t et h e w e i g h t so fs i m i l a r i t y , w h i c hi sr e q u i r e dc o m p l i c a t e dc o m p u t a t i o na n dl o n gt i m et ou s e i l r 海大学硕士学位论文人脸特征定位和人脸识别方法的研究 n e u r a ln e t w o r k t od e c r e a s et h ec o m p l e x i t ya n dr u n t i m eo fc o m p u t a t i o n ，w ep r o p o s e o n em e t h o dt h a tu s e st h ev a r i a t i o no ff e a t u r e st od e c i d et h ew e i g h t so fs i m i l a r i t y , a n d t h eh i g hr e c o g n i t i o nr a t es h o wi ti st h ee f f e c t i v et ob ea p p l i e di nf a c er e c o g n i t i o n k e y w o r d s ：f a c er e c o g n i t i o n ，f a c i a lf e a t u r e sl o c a l i z a t i o n ，g r a yi n t e g r a lp r o j e c t i o n ， s k i nc o l o rc o m p o n e n tr a t i o ，v a r i a t i o nc o m p u t i n g l i i 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人己发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：董塞笙日期：兰兰! 1 2 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：童盟导师签名：勉邀日期： 泸6 3 f 7 e 海大学硕十学位论文 人脸特征定位和人脸识别方法的研究 1 1 人脸识别技术 第一章绪论 1 1 1 人脸识别技术的研究意义和概况 近年来，随着计算机的功耗逐步降低和功能的逐步强大，计算机辅助设计迅 速发展。在计算机视觉领域，先进的技术能够识别并且跟踪目标，出于安全方面 的考虑，逐渐被应用到识别人、汽车和其它人类活动。高性能的计算机可以解决 大量的复杂运算和减少运算时间，使得此领域得到很大的关注。 众所周知，对于一个很熟悉的人，我们可以很快地辨认出来，即使面部有胡 须、带了眼镜或画妆之后，也可以很简单地识别出来。但是，如果让计算机来做 到这一点其实是非常困难的。这是涉及到数字图像处理、模式识别、人工智能、 计算机处理和认知学等领域。虽然在近三十年，在这些领域的科学家和研究学者 作了大量的研究，也提出许许多多的识别方法，在众多的人脸库中作了实验，使 得识别率得到了进一步的提高，识别时间也得到了进一步的缩短。但是理论和实 际还是有很大差别的，目前还没有很好的实际应用。 人脸识别技术是利用已有的人脸库，可以将一个人从众多的人中找出来。人 脸识别分为四个步骤：人脸检测、人脸定位、特征提取和人脸识别。 竺全苎钎硼_ 仄蕊司_ 陌丽_ 冈砑邴竺些兰墨 图1 一1 人脸识别的四个步骤 人脸检测：就是检测一幅图像中是否有人脸。如果有，则进入人脸定位环节。 如果在复杂的背景中，或者人脸不完整时，那么就很难检测出人脸是否存在了。 人脸定位：是在确定有人脸存在时，确定人脸的位置、大小等信息，以及分 割后的各个主要区域的位置、大小。这个是很关键的一步，定位的准确是为特征 提取提供保障。 特征提取：具体的特征形式随着识别的方法不同而不同。在几何特征的识别 中，主要是提取人脸主要区域的一定量特征点，构造出特征矢量；在统计识别中， 是利用图像相关矩阵的特征矢量构造出特征脸；在模版匹配方法中，是提取出相 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 关系数作为特征的；而多数的神经网络中，是直接用归一化后的灰度图像作为输 入，识别结果作为输出。特征提取对识别结果起了很大作用。 人脸识别：是将待识别的人脸图像特征与数据库里的进行比较配对。又可分 为人脸辨认和人脸鉴别两种模式。人脸辨认是一对多的模式，是根据输入的人脸 图像，确定是人脸库中的哪一个人；人脸鉴别是一对一的模式，是一种身份确认， 将输入的人脸图像与已有的人脸图像进行比较一确认是否是这个人。 在静态图像的人脸识别中，是利用相机获得人脸图像，或者直接用身份证照 片，建立一个人脸库。用人脸识别系统进行工作时，只要人脸图像被拍到就行， 并不需要事先通知测试者，也不需要测试者给予配合。这与指纹识别、d n a 识 别、虹膜识别、掌纹识别等不同，有着更加直接和非接触性的好处。鉴于这些， 人脸识别的应用可以不断地拓展，应用前景也越来越广泛，可以分为以下几类： 刑侦破案，公安部门可以根据现场的证人所描述的人脸图像，在原先所建立的人 脸数据库中进行查找确认，可以很大地提高侦探的准确度和减少查找时间；证件 检验，在机场、码头等场所证件检验是验证身份的常用手段，我国的第二代身份 证制作中，里面含有一个芯片，储存了包括相片等重要信息，可用机器读出来进 行身份识别，速度快且准确度高；入口控制，主要用在私人住宅和单位的入口处。 普通的保安检测证件，准确性不高而且速度慢，使用计算机进行人脸识别则解决 这些问题；视频监控，在许多银行、公司、公共场所等处都设有2 4 小时的视频 监控系统，当有异常情况或陌生人闯入时，需要实时跟踪、监控、识别和报警。 这需要人脸的检测和识别技术。另外，人脸识别还应用在信用卡验证、医学、档 案管理、视频会议、人机交互系统等多个方面。 1 1 2 人脸识别技术的研究历史【1 】 人脸识别的研究已有很长的历史。追溯到1 9 世纪后期，f r a n c i sg a l t o n 就做 了研究，他采用一组数字代表不同的人脸侧面特征来进行识别。人脸识别的输入 图像有3 种情况：正面、侧面、倾斜。由于实际情况的要求，对人脸正面模式的 研究较多，它的发展大致可分为3 个阶段： 第1 阶段以b e r t i l l o n 、a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面 部特征。在b e r t i l l o n 的系统中，用一个简单的语句与数据库中某一张脸相联系， 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 同时与指纹分析相结合，提供了一个较强的识别系统。为了提高脸部识别率， a l l e n 为待识别脸设计了一种有效和逼真的摩写，p a r k e 2 】则用计算机实现了这一 想法，并产生了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全 部依赖于操作人员，显然这不是一种可以完成自动识别的系统。 第2 阶段是人机交互式识别阶段。代表性工作有：g o l d s t i o n 、h a r m o n 和l e s k 用几何特征参数来表示人脸正面图像【3 。他们采用2 1 维特征矢量表示人脸面部 特征，并设计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 则采用了 统计识别方法【4 】，用欧式距离来表征人脸特征，如嘴巴与鼻子之间的距离，嘴唇 的高度等。更进一步地，t k a n n a d ( m n a g a o ) 设计了一个高速且有一定知识导引 的半自动回溯识别系统【”，创造性地运用积分投影法从单幅图像上计算出一组脸 部特征参数，再利用模式分类技术与标准人脸匹配。k a n a d 的系统实现了快速、 实时的处理，是一个很大的进步。相比之下，b a r o n 【6 】所做的工作较少为人所知： 他先将图像灰度归一化，再用4 个掩模( 眼、鼻、嘴及眉毛以下的整个脸部) 表 示人脸，然后分别计算4 个掩模与数据库中每幅标准图像的相应掩模之间的相互 关系数，以此作为判别依据。总的来说，这类方法需要利用操作员的某些先验知 识，仍然摆脱不了人的干预。 第3 阶段是真正的机器自动识别阶段。进十余年来，随着高速度高性能计算 机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统 8 - 9 1 。 1 2 人脸特征定位 人脸特征定位，即在图像或图像序列的给定区域内搜索部分或所有人脸特征 ( 包括眉毛、眼睛、鼻子、嘴巴、下巴以及人脸轮廓) 等的位置。 1 2 1 研究意义 虽然人们能够很容易地一幅图像中指出面部特征的准确位置，但是交给计算 处理就是很困难的事了。对于不同姿态和表情的人脸，在不均匀的关照条件下， 准确的人脸定位就更难了。 人脸特征定位的准确是至关重要的，直接关系到后面特征提取和人脸识别的 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 可靠性与准确性。该方向的研究在人脸识别、人脸姿态表情分析、人脸合成、基 于模型的人脸图像编码中有着重要的应用。归纳为以下几个方面【1 0 】： f 1 1 为人脸识别提供几何特征等基础信息。在人脸识别算法中，一个重要的工 作就是人脸图像尺寸的归一化，而这归一化的实现是依赖于人脸特征定位的结 果。另外，一些算法中需要各个器官的相对位置及形状或对面部局部区域的特征 加以分析，需要在人脸特征定位基础之上进行。 ( 2 ) 利用人脸特征定位的结果进行人脸姿态表情分析。在人脸的姿态及面部表 情分析中，可以通过面部一些器官的相对位置及形状进行分析来确定，特征定位 是姿态、表情分析的前提。 ( 3 ) 实现人脸图像的自动跟踪或人脸自动跟踪提供初始位置。可以利用人脸定 位的方法，对视频图像中的人脸图像进行自动跟踪，也可以为基于其他方法的人 脸跟踪算法提供人脸器官的初始位置。 ( 4 ) 应用于基于模型的人脸图像编码。在基于模型的人脸图像编码中的应用中， 一个重要的前提就是人脸图像中特征点的自动提取。 另外，人脸特征定位还可以应用于图像分割、头部图像压缩及重构、脸部动 画等领域。 1 2 2 国内外研究概况 人脸特征定位的研究是始于几何特征的人脸识别方法的研究。几何投影是脸 部特征定位的一类经典算法，先统计出x 和y 方向上的脸部灰度值，找出特征 变化点，根据先验知识就可以得到脸部特征的位置。k a n a d e 等 5 】首先将这一方法 用于人脸识别。b r t m e l l i 1 3 i 在投影中使用x 、y 方向上的梯度投影代替了灰度值， 有效地降低了光照的影响。f e n g 和y u e n 等 2 l 】提出了方差投影函数来进彳亍人脸特 征定位，是计算指定方向的所有像素的灰度值方差，虽然比简单求和复杂，但是 适应力更广。姜军等矧提出以“或”运算来代替“和”运算的广义投影算法，先 将图像二值化，再在一定高度范围内作水平方向投影得到一系列短线，根据先验 规则对短线进行配对，从而筛选出结果。该算法能应付多人的情况，运行速度很 快。 4 上海大学硕士学位论文 人脸特征定位和人脸识别方法的研究 目前，由于基于几何特征的定位方法具有简单、速度快等优点，一直被应用 至今。 1 , 3 人脸识别 人脸识别就是利用计算机对人脸图像进行处理，从人脸图像中提取出待识别 的人脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配过程， 前者是确定输入图像为图像库中的哪一个人，后者是验证输入图像的人的身份是 否属实。 1 3 1 研究意义 人脸识别在国家重要机构及社会安全领域具有广泛而特殊的用途。例如：公 安系统得视觉监控、证件和各类金融卡持有人的身份验证等。同其它生物识别技 术( 如：指纹、掌纹、虹膜等) 相比，人脸具有方便性、友好性。因为它取样方便， 可以不接触目标就进行识别，从而能够得到很好的使用。 但是，人脸是非刚性的，随着时间的变化，人脸也是有变化的。以及在不同 的光照下，人脸图像是有变化的。这给人脸识别带来了极大的难度。总之，人脸 识别是一个涉及图像处理、模式识别、计算机视觉等学科的富有挑战性的课题。 1 , 3 ，2 国内外研究概况 在人脸识别方面，早期人脸识别的研究方向主要有两个方面【l2 】：一是提取人 脸几何特征的方法，包括人脸面部归一化的点间距离和比率以及人脸的一些特征 点，如眼睛、嘴角、鼻尖、下巴等部位所构成的二维拓扑结构。主要代表是m i t 的b r u n e l l i 和p o g g i o 小组，他们采用改进的积分投影法提取出用欧氏距离表征的 3 5 维人脸特征矢量用于模式分类。二是模板匹配的方法，主要是利用大量已知 人脸图像形成模板，计算模板和图像灰度的自相关性来实现识别功能。主要代表 是h a r v a r d 大学s m i t h - k e t t l e w e l l 眼睛研究中心的y u i l l e ，他采用弹性模板来提取 眼睛和嘴巴的轮廓，c h e n 和h u a n g 则进一步提出用活动轮廓模板f 即s n a k e s 模 型) 提取眉毛、下巴和鼻孔等不确定形状。b e r t o 在1 9 9 3 年对这两类方法作了较 全面的介绍和比较后认为，模板匹配的方法优于几何特征的方法 13 1 。 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 目前的研究也主要有两个方向：其一是基于整体的研究方法，它考虑了模式 的整体属性，包括特征脸( e i g e n f a c e ) 方法、s v d 分解的方法【1 4 1 、人脸等密度线 分析匹配方法、弹性图匹配( e l a s t i cg r a p hm a t c l l i n 曲方法【、隐马尔可夫模型 ( h i d d e n m a r k o vm o d e l ) 方、法【7 等，主要代表有c a m b r i 电e 大学的s a m a r i a 小组和 g e o r g i a 技术研究所的n e f i a n 小组，以及神经网络的方法，如p o g g i o 小组提出的 h y p e r b f 神经网络识别方法，英国s u s s e x 大学的b u x t o n 和h o w e l l 小组提出的 r b f 网络识别方法等。其二是基于特征分析的方法，也就是将人脸基准点的相 对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向 量。这种基于整体脸的识别大都是基于图像的统计特性来实现的，这种方法不仅 保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基于部件 的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。近年来的 一个趋势是将人脸的整体识别和特征分析的方法结合起来，如k i n m a nl a m 提 出的基于分析和整体的方法，a n d r e a sl a n i t i s 提出的利用可变形模型来对人脸进 行解释和编码的方法等等。 国内关于人脸识别的研究始于二十世纪八十年代，主要是在国际流行方法基 础上作了发展性研究工作 1 ”。清华大学张长水等对特征脸的方法作了进一步发展 1 1 9 1 ，提出了采用类间散布矩阵作为产生矩阵，进一步降低了产生矩阵的维数，在 保持识别率的前提下降低了运算量。上海交通大学李介谷等专门研究人脸斜视图 像的集合特征提取与恢复。他们还研究了基于计算机视觉场模型的人脸识别技 术。东南大学何振亚等采用对称主元分析神经网络，用去冗余和权值正交相结合 的方法对人脸进行特征提取和识别，比较好的实现了大量人脸样本存储和人脸的 快速识别。南京理工大学杨静宇等主要是采用奇异值分解方法进行人脸识别研 究，还研究了基于f i s h e r 最佳鉴别矢量的人脸识别方法。 1 4本文的研究内容和章节安排 本文主要研究人脸特征定位方法和人脸识别方法。采用自制的人脸库，目前 是包含8 1 张在实验室背景下拍摄的静态人脸图像。主要考虑方法的简单性、鲁 棒性、快速性，采用了简单的数学方法，有着计算量少而且程序运行时间短的优 点。在实现了整个人脸识别系统的过程中，分别在人脸特征定位和人脸识别两部 6 上海大学硕士学位论文 人脸特征定位和人脸识别方法的研究 分提出自己的思路。 主要贡献有以下两个方面： 1 针对不同人种的人脸面部各个部位的位置比例不是相同的，如果只是根 据先验面部比例来定位各个区域，那将是很不准的。所以提出用人脸灰度图像的 灰度积分投影结合人脸一定的比例关系来定位眼睛和鼻子区域；( 第三章) 考虑嘴唇的肤色，即红色分量最多，蓝色分量最少，可以应用它们的比值来 确定嘴巴的区域，此方法对人脸的小角度偏转以及光照变化都不很敏感，有很好 的适应性。( 第四章) 2 。对提取的众多特征组成一个特征向量，通过计算特征的相似度来判断两 个特征向量是否相似，以达到分类的目的。其中计算相似度的系数是个难点，用 神经网络等方法需要复杂的运算和很长的时间，因此提出了基于方差计算来决定 相似度的系数，有着快速和简单易行的优点。实验得到的识别率为9 0 4 8 ，说 明此方法是可行有效的。( 第五章) 本文共分为6 章，章节安排如下： 第一章是绪论，概括地介绍了整个人脸识别技术的研究意义和研究历史。其 中，人脸特征定位和人脸识别两部分的研究意义和概况也作了介绍，这些是本论 文的主要研究内容。 第二章分析当前人脸特征定位和人脸识别的常用方法，并提出自己的总体方 案。 第三章主要对人脸特征定位方法的研究。首先介绍了人脸分割和灰度积分投 影的方法，阐述如何将灰度积分投影应用到眼睛、鼻子的定位。 第四章首先介绍了几种色彩空间，并说明色彩空间的应用。提出了肤色分量 比的方法，阐述如何将此方法应用到嘴巴的定位。 第五章是人脸识别部分，主要介绍了自制的人脸库以及人脸特征矢量的构 造，提出了加权比值函数，并给出了计算权值的方法。最后，阐述如何将此方法 应用到人脸识别。 第六章是对本文所做工作的一个总结，并对进一步的研究做了展望。 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 第二章人脸特征定位和人脸识别总体方案 2 1 引言 人脸特征定位和人脸识别是人脸识别技术中两个很重要的部分，相互之 间是比较独立的。本章首先介绍了比较常用的人脸特征定位方法和人脸识别方 法。通过对各种方法的分析，提出了本文的研究方案。对于人脸特征定位，不同 的特征有着不同的定位方法。其中对于眼睛、鼻子，由于它们灰度积分投影与位 置有着很明显的关系，可以找出它们的位置，能够准确地定位。但对于嘴巴，红 色分量与蓝色分量之比对于不同的位置变化很大，可以根据此比例来决定嘴巴的 位置。基于几何特征的人脸识别方法，识别过程就是特征矢量之间的匹配过程， 采用他们的比值进行相似度度量。其中，如何获得一个稳定且正确的相似度系数 是得到正确识别的关键。为了计算的简单和快速，提出了使用特征方差来计算相 似度系数的方法，此方法计算量很小，程序编写简单，是符合人脸识别要求的。 2 2 人脸特征定位常用方法 近年来，国内外学者们已提出许多人脸特征定位方法，根据定位所依据的基 本信息的类型，可以将现有方法分为基于先验规则、基于几何形状信息、基于彩 色信息、基于外观信息和基于关联信息等5 类： ( 1 ) 基于先验规则。根据脸部特征的一般特点总结出一些先验规则，搜索前， 先对输入图像作变换，使目标特征得到强化，而后根据上述规则从图中筛选出候 选点和位置使目标特征得到强化，再根据上述规则从图中筛选出候选点或区域。 ( 2 ) 基于几何形状信息。根据脸部特征的形状特征构造一个带可变参数的几 何模型，并设定一个评价函数量度被检测区域与模型的匹配度。搜索时不断调整 参数使评价函数最小化，从而使模型收敛于待定位的脸部特征。 ( 3 ) 基于彩色信息。使用统计方法建立起脸部特征的色彩模型，搜索时遍历 候选区域，根据被测点的色彩与模型的匹配度筛选出候选点。 ( 4 ) 基于外观信息。将脸部特征附近一定区域( 窗口) 内的子图像作为一个整 体，映射为高维空间中的一个点，这样，同类脸部特征就可以用高维空间中的点 t 海大学硕士学位论文人脸特征定位和人脸识别方法的研究 集来描述，并可以使用统计方法得到其分布模型。在搜索中，通过计算待测区域 与模型的匹配度来判定其是否包含目标脸部特征。 ( 5 ) 基于关联信息。在局部信息的基础上，引入脸部特征之间的相对位置信 息，以缩小候选点范围。 表2 - 1 从运算量、准确性与鲁棒性( 包括图像质量需求和姿态表情光照等影 响) 3 个方面对各类方法的性能作了粗略的比较【8 】。 表2 - 1 脸部特征定位方法分类 概率网络 差联信息笛盏较太 高 较低 小 较小 可以看出，前三类对于图像质量的要求很高，但后三类对于光照、表情等鲁 棒性很小。只有基于色彩信息的特征定位运算量小。 2 3 人脸识别常用方法 人脸识别方法包括静态图像的和视频图像的人脸识别方法，其中静态图像的 人脸识别方法研究较多，主要研究方向有：基于统计的识别方法，包括特征脸 ( e i g e n f a c e ) 方法和隐马尔科夫模型( h i d d e nm a r k o vm o d e l ) 方法；基于连接机制的 识别方法，包括一般的神经网络方法和弹性图匹配f e l a s t i cg r a p hm a t c h i n g ) j ：j 法。 下面介绍一些典型的人脸识别方法： 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 ( 1 ) 基于几何特征的人脸识别方法 常采用的几何特征有眉毛、眼睛、鼻子、嘴巴等的局部形状特征、脸型轮廓 特征以及五官在脸上分布的几何特征。提取特征时经常用到人脸结构的一些先验 知识，再将提取的很多特征组成一个特征矢量。在基于几何特征的人脸识别中， 识别总归为特征矢量之间的匹配，欧氏距离和加权欧式距离是常用的距离函数， 相似度的计算就是利用特征之间的距离函数进行相似度量。两个特征矢量之间的 相似度越大，则它们属于同一类别的可能性越大，反之，则越小。侧面识别是最 早的基于几何特征的人脸识别方法”“，主要是从人脸侧面轮廓线上提取特征点入 手。但侧面人脸特征没有正面的多，使得特征提取和分析要简单些，可作为正面 特征的补充。由于现在的证件照片多为正面，而且侧面照片约束很多，所以现在 基本上都研究正面人脸识别。正面人脸识别用到的归一化函数，使得特征矢量不 依赖于图像中人脸位置的尺度和旋转变化。识别所采用的几何特征是一组特征矢 量，其分量通常包括距离、曲率、角度等。p o g g i o 和b r u n e l l i t ”】用积分投影法提 取出3 5 维人脸特征矢量用于模式分类，其组成分量如下： ( a ) 眉毛厚度及眉毛与眼睛中心的垂直距离 ( b ) 描述眉毛形状的11 个参数； ( c ) 鼻子的垂直位置和宽度 ( d ) 描述下巴形状的1 1 个参数 ( e ) 鼻子处脸的宽度； ( f ) 嘴巴的垂直位置、宽度及上下唇的高度 ( g ) 鼻尖与眼睛的中间位置处脸的宽度。 此识别方法易于理解，由于只要存储一个特征矢量，所以需要的存储量很小。 但不适应强烈表情变化。 ( 2 ) 基于模板匹配的人脸识别方法 上辉大学硕士学位论文 人脸特征定位和人脸识别方法的研究 基于模板匹配的人脸识别方法也是一种经典的模式识别方法，这种方法通常 是用归一化互相关函数直接计算两幅图像之间的匹配程度。由于这种方法要求两 幅图像上的目标要有相同的尺度、取向和光照条件，所以预先要对图像进行归一 化处理。直接将整个人脸看成一个椭圆模板是最简单的做法，或者是分成几个独 立的小模板，如眉毛、眼睛、鼻子和嘴巴小模板。但这些模板的获得必须利用各 个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘。h a r v a r d 大学的s m i t h k e t t l e w e l l 眼睛研究中心的y u i l l e l 2 5 l 是采用弹性模版来实现的，提 取眼睛和嘴巴的轮廓以及面部特征。弹性模板由一组根据特征形状的先验知识设 计的可调参数所定义。为了求出这组参数，需要利用图像的边缘、峰值、谷值和 强度信息及特征形状的先验知识设计合适的能量函数。可变性模板是允许平移、 旋转到与图像形状达到最佳匹配。参数向能量减小的方向调整，当能量降到最小 时，这组参数对应的模板形状最符合特征形状。将基于几何特征的人脸识别方法 和基于模板匹配的人脸识别方法进行了比较，前者的识别速度快且占用存储量 小，但后者对于人脸图像遮挡的适应性要高。 ( 3 ) 基于k l 变换的特征脸方法 基于k l 变换的特征脸方法首先是由t u r k 和p e n t l a n d 2 6 】提出来的，特征脸 是通过人脸图像学习获得的协方差矩阵的本征矢量。本征矢量是对应的k 个最 大的特征值组成的空间，又成为脸空间。一个未知人脸图像通过向脸空间投影转 换为一组投影系数，该组投影系数表示了该人脸在学习过的脸空间的位置，通过 计算这个位置和各个人脸图像之间的距离，选择和这类人脸距离最近的那类人脸 为待识别人脸的类别。但是，该系统在进行特征脸方法之前需要做大量的预处理， 如归一化处理，所以计算复杂且计算量比较大。仿射变换图像的傅立叶频谱k - l 变换方法是将特征脸方法应用到傅立叶频谱图像中，且傅立叶是具有平移不变性 的，这种方法在头部有不同朝向和平移时比普通的特征脸方法要好。但要计算傅 立叶变换，所需计算量要大。 采用k - l 变换的方法获得的模板是整个人脸图像的，但是人脸的不同区域 对于人脸识别的贡献是不同的，p e n t l a n d 2 6 1 是采用眼睛、鼻子和嘴巴等的小模板 的k - l 变换系数用于人脸识别。对于这些小模板，通过选择具有最大的特征值 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 的本征特征构成特征空间，并对不同的特征空间计算距离来实现识别的。这种方 法获得了比较好的识别结果，识别率达到9 5 。同样，由于需要计算很多小模板 的特征，所以计算量是很大的，它的识别率提高是以增加计算量为代价的。 ( 4 ) 基于隐马尔科夫模型的人脸识别方法 隐马尔科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是在马尔科夫链基础上发 展而来。实际问题往往比马尔科夫链所描述的更复杂，观察到的事件并不与状态 一一对应，而是通过一组概率分布对应，这样的模型即为h m m 。马尔科夫链是 是马尔科夫随机过程的特殊情况，是状态和时间参数都离散的马尔科夫过程。 h m m 的强大之处在于在观察到的事件与内在的状态间建立了一种概率模型，使 用v e r t b i 算法能够根据一个给定的观察序列和一个模型，在最佳的意义上确定内 部状态序列。也就是说，根据可观察的事件序列，来推测不可观察的内部状态序 列。实际上，隐马尔科夫过程是一个双重的随机过程。在h m _ m 中，节点表示 状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特征， 对于同一特征序列，可能会对应于许多状态序列，所以特征序列与状态序列之间 的对应关系是非确定的。这种模型对于状态序列来说是隐的，故称为隐马尔科夫 模型。 基于h m m 的人脸识别方法，首先需要确定采用怎样一个h m m 来描述人脸。 s a m a r i a t2 7 】采用了一维的h m m 来进行人脸识别。是将人脸图像这个二维信号进 行适当的处理，变为一维信号，将人脸识别问题转为一维 刑m 模型来研究。虽 然获得了成功，但毕竟人脸图像是一个二维信号，一维h m m 是不可能准确的描 述二维人脸图像的，需要将一维的推广到二维。可见，基于马尔科夫模型的人脸 识别方法是需要大量的计算和复杂的数学知识。 图2 - 1 一维 v 讧模型结构 1 2 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 ( 5 ) 神经网络识别方法 神经网络领域研究的背景工作始于1 9 世纪末和2 0 世纪初，它源于物理学、 心理学和神经生物学的跨学科研究，早期研究是着重于有关学习、视觉和条件反 射等一般理论。人工神经网络的实际应用出现在2 0 世纪5 0 年代后期， r o s e n b l a t t 2 8 1 提出了感知机网络和联想学习规则，他和同事构造了一个感知机网 络，并公开演示了它进行模式识别的能力。这引起了许多人对神经网络研究的兴 起。 神经网络识别方法是将人脸直接用灰度图( 二维矩阵) 表征，利用了神经网 络的学习能力和分类能力。与其它的识别方法相比，它避免了复杂的特征提取工 作，通过学习来实现人脸识别的规律和规则的隐形表述，得到人脸图像中的材质 信息及细微的形状信息。而且，神经网络是以并行方式处理的，可以用硬件快速 的实现。这是其它的方法所难做到的。神经网络方法还可以用于种族识别、性别 识别等其它的识别工作，可见此方法适用性较强，但算法是比较难的而且很复杂。 ( 6 ) 基于动态链接结构的弹性图匹配方法 基于动态链接结构的弹性图匹配方法是针对畸变不变性的物体识别提出了 动态链接模型( d y n a m i cl i n ka r c h i t e c t u r e ，d l a ) 2 9 1 ，将物体用稀疏图形来描述， 其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并用几何距离 来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。n a s t a r 将人脸图像 i ( x ，y ) 建模为可变形的3 d 网络表面( x ，y , i ( x ，y ) ) ，从而将人脸匹配问题转化为可变 形曲面的弹性匹配问题。利用有限元分析的方法进行盐面变形，并根据变形的情 况判断两张图片是否为同一个人。这种方法的特点在于将空间( x ，y ) 和灰度i ( x ，y ) 放在了一个3 d 空间中同时考虑。弹性图匹配方法对于光照、位移、旋转及尺度 变化都不敏感，是优于特征脸方法的。但是对于每个人脸都需要计算其模型图， 其计算量和存储量是很大的。 2 4 人脸特征定位方案 本文研究的人脸图像是静态的人脸图像，在人脸特征定位中，要比动态的视 上海大学硕士学位论文人脸特征定位和人脸识别方法的研究 频图像简单些。主要原因是：首先，一般情况下视频图像的质量相对要低一些， 由于视频图像的背景可能比较复杂，会出现照明的剧烈变化，以及人脸遮挡等情 况。其次，动态的人脸图像比较小，由于视频图像采集的复杂性和特殊性，使得 人脸图像比较小，有时候会非常小，比如比2 0 x 2 0 的还要小，而一般的人脸识 别系统处理的静态图像可以达到1 2 8 1 2 8 的大小。动态人脸图像太小会增加人 脸图像的识别难度，也会影响人脸特征定位的难度。所以，我们选用静态的人脸 图像。 静态人脸图像的特征定位方法有很多，常用的方法在人脸特征定位方法中已 经提到过。本文采用了人脸图像的灰度积分投影和一些先验知识相结合的方法来 定位眼睛和鼻子，因为眼睛、鼻子的灰度积分投影曲线能够很清楚地反映出它们 的位置。对于嘴巴彩色图像，实验得出，红色与蓝色分量之比的曲线能够反映出 嘴巴的位置。由于嘴巴的这个比值( 红色与蓝色分量之l l ) t l 其它的脸部特征的都 要大，以此可以定位嘴巴的位置。我们采用的是基于色彩信息的定位方法，还有 一个原因是这个方法所需的计算量小，根据投影作出曲线图，再根据人脸特征的 比例关系来定位人脸主要特征，方法简单和容易理解。 哑翌囝巫巫 = 恒亟巫 爿堕 图2 - 2 人脸特征定位方案框图 2 5 人脸识别方案 在前面的人脸识别常用方法中，分析可知，对于我们自制的人脸库，要想达 到快速、简便的目标，采用基于几何特征的人脸识别方法是最好的。尽管理论上 识别率不是最高的，但其它的高识别率的识别方法是以需要繁琐计算和大量的运 行时间为代价的。在人脸定位后，我们提取眼睛、鼻子和嘴巴的人脸特征。这些 特征是很重要的，是用积分投影得到这些特征的。从这些特征中提取1 2 个重要 的特征点，这些特征点对于人脸识别率有很大的决定作用，将它们构造成一个特 征矢量矩阵，是一个包含1 2 个数的一维特征矢量矩阵。不同的人脸图像可以得 上海大学硕士学位论文 人脸特征定位和人脸识别方法的研究 到一个相应的特征矢量矩阵。 本人采用的识别方案是通过计算待识别的特征矢量矩阵与样本库中的平均 特征矢量的相似度大小来判断是否是相同的一个人。相似度的计算公式很多，这 里使用了两个特征矢量的比值来代替欧式距离。相似度系数通常是根据经验值来 确定，那是很复杂的。我们采用计算特征矢量方差的方法，经过一定的变换，来 得到这个系数( 权值) ，理论上证明是很准确的，通过我们的实验可以看出，计 算时间很短而且识别率也是很高的，同时，拒真率和误识率都很低。对于快速人 脸识别的意义很大。可以认为，我们提出的人脸识别方案是合理的。 待识别的人脸图像 样本库里人脸图像 2 6 小结 特征提取 特征提取 相似度 计算 图2 - 3 人脸识别方案框图 譬卅是同一个 ； 叫非同一个 本章首先介绍了人脸特征定位和人脸识别的一