（测试计量技术及仪器专业论文）大规模用户的人脸识别门禁系统关键问题的研究.pdf

中文摘要 自动人脸识别是一个典型的图像模式分析、理解与分类的问题，涉及到模式 识别、图像处理、计算机视觉、智能人机交互、认知科学等多个学科，在公共安 全、信息安全等领域具有潜在的应用前景。 本文是针对开发一个鲁棒实用、用户规模庞大的人脸识别门禁系统所需要的 核心技术和关键问题的解决方案而展开研究的，主要研究内容和创新点包括： 1 研究了基于多个分类器级联的人脸检测方法和连续自适应m e a n s h i r 人脸跟 踪技术，以实现系统中的实时人脸定位。为了对分割的人脸图像进行几何归 一化，提出了一种基于支持向量机和h o u g h 变换的眼睛自动定位算法。同现 有方法相比，该方法无需设定参数，也无需建立模板，整个定位过程简单易 行，对人脸在图像平面内的旋转、尺度及面部表情等变化也都具有一定的鲁 棒性。从定位结果上来看，该方法的定位速度不仅较快，定位准确率也较高； 2 研究了基于核函数直接判别式分析的人脸识别技术，以在一定程度上解决因 光照、姿态等因素的适量变化产生的识别率下降的问题，并在该技术中首次 采用了修正模型和分数次幂多项式核函数。通过在多姿态、多光照条件的人 脸库上进行实验，结果表明该技术相对于现有其它的基于核函数的分析方法， 具有更高的识别率，对上述因素变化具有更强的鲁棒性。通过在该技术中采 用修正模型和分数次幂多项式核函数，进一步增强了该技术对上述冈素变化 的鲁棒性； 3 为了降低基于g a b o r 变换的人脸局部特征的维数，提出了将模拟退火概念应 用于传统遗传算法的混合遗传算法以用于最佳特征的选择。它不仅有效解决 了传统遗传算法存在的“早熟”和优化停滞问题，而且相对于传统遗传算法 具有更佳的优化性能和稳定性。为了与混合遗传算法形成对比，研究了基于 余量的迭代搜索法和共轭梯度法。实验结果表明当采用共轭梯度法和混合遗 传算法对特征进行选择时，尽管只选用了不到一半的特征，但识别率却分别 提高了2 5 和6 2 5 ，且存选用相同数目特征的情况下，混合遗传算法的识 别率明显高于共轭梯度法的识别率，即通过特征选择不仅可以节省1 倍以上 的特征存储空间，而且识别率也可以得到一定程度上的提商； 4 为了解决系统存在的光照问题，研究了光照锥方法和常用的图像处理光照补 偿方法并进行了实验对比。实验结果表明相对于图像预处理方法，光照锥方 法更能有效地消除图像中的光照变化对识别结果的影响。另外对如何选择用 于构建锥体的训练图像进行了实验研究，结果表明选用光照方向变化适中的 图像，构建的光照锥光照补偿效果最好。最后为了恢复出人脸的三二维形状， 实现三维人脸识别，以解决系统所存在的一些瓶颈问题，研究了基于单幅图 像的阴影恢复形状技术，并在此基础之上，提出了对称阴影恢复形状技术， 彻底解除了传统阴影恢复形状技术对人脸表面反射率的约束。考虑到不同人 脸之间形状的相似性，在对称阴影恢复形状技术中首次引入了三维人脸模型， 不仅减少了深度计算的迭代次数，而且获得了更好的重建效果。 关键词：人脸识别，支持向量机。h o u g h 变换，基于核函数直接判别式分析，遗 传算法，光照锥，阴影恢复形状 a b s t r a c t a u t o m a t i cf a c er e c o g n i t i o ni sat y p i c a l p a t t e r na n a l y s i s ，u n d e r s t a n d i n ga n d c l a s s i f i c a t i o np r o b l e m ，a n di sc l o s e l yr e l a t e dt op a t t e r nr e c o g n i t i o n ，i m a g ep r o c e s s i n g ， c o m p u t e rv i s i o n ，i n t e l l i g e n th u m a n - c o m p u t e ri n t e r a c t i o n ，c o g n i t i v ep s y c h o l o g ye t c i t i sb e l i e v e dt h mf a c er e c o g n i t i o nh a sag r e a td e a lo fp o t e n t i a la p p l i c a t i o ni np u b l i c s e c u r i t y , i n f o r m a t i o ns e c u r i t ya n do t h e rf i e l d s i nt h i s t h e s i s ，t h ec o r et e c h n i q u e sa n dk e yi s s u e s a r cs t u d i e d ，a i m i n ga t d e v e l o p i n gar o b u s ta n dp r a c t i c a lg a t e - e n t r yc o n t r o ls y s t e mb a s e do nf a c er e c o g n i t i o n f o rl a r g e s c a l eu s e r s t h em a i nc o n t e n ta n di n n o v a t i o n so f t h et h e s i si n v o l v e ： 1 t h em u l t i - c l a s s i f i e rc a s c a d ef a c ed e t e c t i o nm e t h o da n dc o n t i n u o u sa d a p t i v e m e a n s h i f lf a c et r a c k i n gt e c h n i q u ea r es t u d i e dt oa t t a i nr e a l - t i m ef a c ed e t e c t i o ni n t h es y s t e m as u p p o r tv e c t o rm a c h i n ea n dh o u g ht r a n s f o r mb a s e de y el o c a l i z a t i o n m e t h o di sp r o p o s e df o rf a c ei m a g e sn o r m a l i z a t i o n c o m p a r et oe x i s t i n ge y e l o c a l i z a t i o nm e t h o d s ，t h e r ei sn on e e dt os e tp a r a m e t e r sa n db u i l dt e m p l a t e si nt h e p r o p o s e dm e t h o da n dt h el o c a l i z a t i o n i ss i m p l ea n de a s yt oi m p l e m e n t a tt h e s a m et i m e ，i ti so fd e f i n i t er o b u s t n e s st of a c er o t a t i o ni ni m a g ep l a n e 、s c a l ea n d f a c i a l e x p r e s s i o n v a r i a t i o n i nt e r m so fl o c a l i z a t i o nr e s u l t s , t h el o c a l i z a t i o n v e l o c i t yo f t h ep r o p o s e dm e t h o di sf a s t e ra n dt h el o c a l i z a t i o na c c u r a c yi sh i g h e r ； 2 i no r d e rt os o l v er e c o g n i t i o nr a t er e d u c t i o nr e s u l t i n gf r o mi l l u m i n a t i o n 、p o s ee t c m o d e r a t ev a r i a t i o n st os o m ee x t e n t ，t h ek e r n e ld i v o td i s c r i m i n a n ta n a l y s i s m e t h o di ss t u d i e da n dac o r r e c t e dm o d e la n daf r a c t i o n a lp o w e rp o l y n o m i a lk e r n e l f u n c t i o na r ef i r s te m p l o y e di nt h em e t h o d t h r o u g he x p e r i m e n t so nf a c ed a t a b a s e s w i t hm u l t i p o s e sa n dm u l t i - i l l u m i n a t i o nc o n d i t i o n s ，t h er e s u l t si n d i c a t et h a t i n c o n t r a s tt oo t h e rm e t h o d sb a s e do nk e r n e l ，t h em e t h o di so fh i g h e rr e c o g n i t i o n r a t ea n dm o r er o b u s t n e s st ot h ea b o v ev a r i a t i o n s w h e nc o r r e c t e dm o d e la n d f r a c t i o n a l p o w e rp o l y n o m i a l k e r n e l f u n c t i o na r e a p p l i e d ，i t s r o b u s t n e s si s i m p r o v e df u r t h e r ； 3 h y b r i dg e n e t i ca l g o r i t h m sb a s e dm e t h o dw h i c hi n t r o d u c e ss i m u l a t e da n n e a l i n g c o n c e p ti n t ot r a d i t i o n a lg e n e t i ca l g o r i t h m si ss t u d i e dt or e d u c et h ed i m e n s i o no f l o c a lf a c i a lf e a t u r e se x t r a c t e db yg a b o rt r a n s f o r m a t i o n i tn o to n l ye f f e c t i v e l y s o l v e s t h e p r e m a t u r e ”a n do p t i m i z a t i o ns t a g n a n c yp r o b l e m se x i s t i n g i n t r a d i t i o n a lg e n e t i ca l g o r i t h m s ，i t ss t a b i l i t ya n do p t i m i z a t i o np e r f o r m a n c ei sa l s o b e t t e rt h a nt h o s eo f t r a d i t i o n a lg e n e t i ca l g o r i t h m s i t e m t i v es e a r c hm a r g i n - b a s e d m e t h o da n dc o n j u g a t eg r a d i e n tm a r g i n b a s e dm e t h o da f es t u d i e di no r d e rt o p r o v i d ea ne q u a lf o rt h eh y b r i dg e n e t i ca l g o r i t h m sb a s e dm e t h o d e x p e r i m e n t a l r e s u l t si n d i c a t et h a tw h e nw eu s ec o n j u g a t eg r a d i e n tm a r g i n b a s e dm e t h o da n d h y b r i dg e n e t i ca l g o r i t h m sb a s e dm e t h o df o rf e a t u r es e l e c t i o n ，a l t h o u i g hl e s st h a n h a l ff e a t u r c sa r ce m p l o y e d t h er e c o g n i t i o nr a t ei si m p r o v e d2 5p e r c e n ta n d6 2 5 p e r c e n tr e s p e c t i v e l y f u r t h e r m o r e ，i nt h ee v e n tt h a tt h es a n l ea m o u n to ff e a t u r e si s u s e d ，t h er e c o g n i t i o nr a t eo f h y b r i dg e n e t i ca l g o r i t h m sb a s e dm e t h o di se v i d e n t l y h i g h e rt h a nt h a to fc o n j u g a t eg r a d i e n tm a r g m b a s e dm e t h o d t h a ti st os a y , t h r o u g hf e a t a r es e l e c t i o n ，t h em e m o r ys i z ef o rg o r i n gt h ef e a t u r e si sn o to n l y s a v e db ym o r et h a no n et i m e s ，t h er e c o g n i t i o nr a t ei sa l s oi m p r o v e dt os o m e e x t e n t ； 4 i no r d e rt os o l v et h ei l l u m i n a t i o np r o b l e me x i s t i n gi nt h es y s t e m ，i l l u m i n a t i o n c o n em e t h o da n dg e n e r a l l yu s e di m a g ep r o c e s s i n gm e t h o d sf o ri l l u m i n a t i o n c o m p e n s a t i o na r es t u d i e da n dc o m p a r e d e x p e r i m e n t a lr e s u l t sm a n i f e s tt h a t i l l u m i n a t i o nc o n em e t h o dc a l lm o r e e f f e c t i v e l y e l i m i n a t et h ee f f e c to f i l l u m i n a t i o nv a r i a t i o no nr e c o g n i t i o np e r f o r m a n c ei nc o n t r a s tt oi m a g ep r o c e s s i n g m e t h o d s i na d d i t i o n ，h o wt os e l e c tt r a i n i n gi m a g e st oc o n s t r u c tt h ec o r ei sa l s o s t u d i e d e x p e r i m e n t a lr e s u l t si n d i c a t et h a ti ft h ec o n ei sc o n s t r u c t e db yi m a g e s w i t hm o d e r a t ei l l u m i n a t i o nv a r i a t i o n ，i tw i l lr e a c ht ot h eb e s ta d v a n t a g e i no r d e r t ol e c o v e rf a c es h a p ea n dr e a l i z et h r e e - d i m e n s i o n a lf a c er e c o g n i t i o nt or e s o l v et h e b o t t l e n e c kp r o b l e m sw h i c ht h es y s t e mi sc o n f r o n t e dw i t h ，s h a p ef r o ms h a d i n g t e c h n i q u ei s s t u d i e d b a s e do nt h et e c h n i q u e ，s y m m e t r ys h a p ef r o ms h a d i n g t e c h n i q u ei sp r o p o s e d i tr e l e a s e st h ec o n s t r a i n t so nf a c es u r f a c ea l b e d oi n t r a d i t i o n a ls h a p ef r o ms h a d i n gt e c h n i q u eu ph i l la n dd a l e a l l o w i n gf o rt h e s i m i l a r i t yb e t w e e nd i f f e r e n tf a c es h a p e s ，at h r e e - d i m e n s i o n a lf a c em o d e li sf i r s t e m p l o y e d i n s y m m e t r ys h a p ef r o ms h a d i n gt e c h n i q u e t h e r e f o r eb e r e r r e c o n s t r u c t i o ne f f e c ti sa t t a i n e da tl e s si t e r a t i o n k e y w o r d s ：f a c er e c o g n i t i o n ，s u p p o r tv e c t o rm a c h i n e ，h o u g ht r a n s f o r m ，k e r n e l d i r e c td i s e r i m i n a n ta n a l y s i s ，g e n e t i ca l g o r i t h m s ，i l l u m i n a t i o nc o n e ， s h a p ef r o ms h a d i n g 天津大学博士学位论文第一章绪论 1 1 课题的研究意义 1 1 1 门禁系统概述 第一章绪论 自美国遭遇9 l l 事件之后，世界各国政府、安全部门、企业组织等都深刻体 会到了安全、可靠的安全防范系统的重要性和必要性。目前，门禁系统已成为安 全防范系统中极其重要的一部分，在一些发达国家中，门禁系统正以远远高于其 它类安防产品的进度迅猛发展。门禁系统之所以能在众多安防产品中脱颖而出， 根本原因是因为其改变了以往安防产品如闭路监控，防盗报警等被动的安防方 式，以主动地控制替代了被动监视的方式，通过对主要通道的控制大大地防止了 恐怖分子、罪犯等不法分子从正常通道的侵入。 近年来，由于其自身的优势，门禁系统也已在国内悄然兴起。邮电系统、供 电系统、银行系统等各种类型的场所都已有使用门禁系统的范例，极大地提高了 管理者的工作效率和管理区域内的安全程度。 传统门禁系统多采用“用户i d 咔密码”的方式进行用户的身份识别和授权访 问控制，可这种方案存在密码被忘记、窃取等安全隐患。传统的需要进行身份验 证的场所，也存在着类似的安全性问题，如伪造签证和护照非法入境或移民；使 用钥匙的系统存在钥匙遗失、被盗取等问题。所有这些问题归根结底都是由于这 些传统的身份识别技术并不是真正的对人本身的识别，而只是对密码或某种物品 的识别。 生物识别技术】是利用人体生物特征进行身份识别的种技术。与传统的身 份识别方法相比，生物特征识别突出的优势表现在生物特征可以从根本上杜绝 伪造和窃取，而且是人类自身拥有的，从而具有更高的可靠性、安全性和可用 性，因此人们把目光转向了生物识别技术，希望籍此技术来应付现行门禁系统 所而临的挑战。 1 1 2 人脸作为生物特征识别方法的优势 人脸识别与其它生物特征识别如指纹识别，掌形识别和声音识别相比，具有 独特的技术优势，主要体现在以下几个方面： 1 ) 非接触式识别 人脸识别是非接触式的，使用者无任何心理障碍，不需要被动的配合，而其 它牛物识别方法都需要使用者的一些配合动作。 天津火学博士学位论文第一章绪论 2 ) 符合人的识别习惯 当记录一个企图登录的人的生物信息时，只有通过人脸能直观、方便地核查 出该人身份，而且符合人的识别习惯。当一个警卫或管理人员，试图判断一个企 图登录的人的指纹是否与己备案的指纹一致时，是非常困难的，而比较人脸则容 易得多。 3 ) 可隐蔽操作，用于监控系统 这一特点使人脸识别技术可应用于罪犯监控及网上抓逃等场合，这是指纹、 虹膜、掌纹等其它人体特征识剐技术所不能比拟的。 4 ) 具有方便、快捷、强大的事后追踪能力 基于人脸特征的身份认证系统可以在事件发生的同时记录并保存当事人的 面像，从而可以确保系统具有强大的事后追踪能力，这是指纹、虹膜等其它生物 特征所不具有的特征。 5 ) 身份资料的完整性 人脸图像数据库是目前国家保存的最完整的身份资料之一。 6 ) 能获得其它识别系统难以获得的一些信息 与传统生物特征识别技术相比，人脸识别具有简便、准确、经济及扩展性良 好等优势，且通过人脸的表情、姿态分析，可以获得其它系统难以获得的信息。 我们开发的就是一个应用于大规模用户的人脸识别门禁系统。 1 2 人脸识别任务描述 为了实现人脸的识别，首先要从静止图像或视频图像中找到人脸，然后确定 人脸各个特征点的位置并进行特征提取，最后根据提取的特征，将该人脸与数据 库中所有的人脸进行比对，并按照某种决策规则，对该人脸进行判别分类。概言 之，人脸识别系统基本由人脸检测与跟踪、面部特征检测与提取和人脸识别三个 部分组成，如图1 1 所示。各部分需要完成的任务为： 图1 - 1 人脸识男i 系统结构示意圈 1 人脸检测与跟踪 人脸检测任务要求判断输入的图像中是否包含人脸，如有，进一步确定图像 中人脸的位置和区域。人脸跟踪则需要输出人脸位置、大小区域等随时间变化的 情况。 2 面部特征检测与提取 天津大学博士学位论文 第一章绪论 面部特征检测要求确定人脸图像中眼睛、鼻子、眉毛等器官的位置。特征提 取足指从人脸图像中提取能够表征人脸本质特点的特征，要求所提取的特征对光 照、面部表情和视角等变化具有较强的鲁棒性。 3 基于人脸特征的识别 人脸识别是指通过计算输入人脸图像与人脸数据库中所有人脸图像的相似 度并对其进行排序来输出输入人脸的身份信息。分为两种情况：一是无拒识的闭 集识别，即输入的人脸一定是人脸库中的某个个体：二是有拒识的开集识别，即 首先要对输入人脸是否在人脸库中作出判断，如果是，则给出其身份信息。 1 3 人脸识别中各关键技术的研究现状和发展趋势 1 3 1 人脸检测的研究 人脸检测是人脸识别系统的关键部分，检测成功与否或检测的准确性将直接 影响系统的性能。人脸检测问题源于2 0 世纪6 0 、7 0 年代的人脸识别的研究，但早 期的人脸识别研究主要针对简单背景的人脸图像，因而直至9 0 年代，人脸检测问 题都没有受到足够的重视。近年来，由于人脸作为人体的代表性特征，具有直观、 自然的特点，使得以人脸信息为内容的人机交互方式受到了广泛的重视，可是如 何在复杂的背景下找到人脸呢，这时人脸检测研究的重要性才逐步被人们认识 到。人脸图像包含了丰富的模式特征，如何利用这些特征就是人脸检测要研究的 一个关键问题。 人脸核心区域( 眼睛、鼻子、嘴区域) 具有独特的灰度分布特征，余培培1 2 l 提 出了一种基于人眼灰度信息的人脸检测方法，根据眼球灰度比它周围区域的灰度 低这个特征来实现人脸检测，获得了9 0 以搀检测率。这种方法的缺点是检测 过程比较复杂，需要预先确定眼睛的区域才可以实现人脸的定位，使得检测速度 较慢。 椭圆轮廓是人头部的重要特征，w a n 9 1 3 通过提取图像边缘特征并根据广义 h o u g h 变换来提取图像的椭圆形状信息，以实现人脸的检测。通过实验，获取了 8 7 的检测率。这种方法的缺点是鲁棒性较差，尤其当图像背景中存在椭圆状物 体时，就会导致误检测。为了消除其它物体对人腧检测的干扰，方昱春1 4 1 等将人 脸的轮廓信息与面部区域信息进行融合，获得了高达9 5 的检测率。 肤色是人脸的一个重要信息，它不依赖于面部的细节特征，对旋转、面部表 情变化情况都能适用，具有相对的稳定性，且易与大多数背景物体的颜色相区别。 l e e l 5 1 设计了肤色模型来表征人脸颜色，利用感光模型进行复杂背景下人脸及器 官的检测与分割，获得了很好的榆测结果。为了有效利用肤色特征在色度卒问的 天津大学博士学位论文 第一章绪论 聚类性，t e r r i l l o n l 6 1 等考察了归一化的r - g 、c i e x y 等9 种色度空间，经比较发现使 用混合高斯模型可以较好的表述肤色区域的分布。为了减少类似肤色的背景对检 测结果的影响，赵丽红 7 1 将人脸肤色特征与模板结合起来实现人脸检测，取得了 约8 0 的检测率。 人脸具有一定的轴对称性，各器官也具有一定的对称性。z a b r o d s k y l s l 提出了 连续对称性人脸检测方法，通过检测一个圆形区域的对称性来确定是否含有人 脸。r e i s f i e l d i9 】提出了广义对称的方法，通过检测局部对称的点来进行人脸器官 的定位。 构造具有代表性的人脸模板，通过测试图像与标准模板之问的匹配度或者其 它相似性度量也可以实现人脸的检测。根据模板的不同，可以分为预定模板匹配 法 i o - 1 2 1 和可变形模板法【怫1 6 1 。基于统计学习的人脸检测法是使用大量“人脸”与 “非人脸”样本进行训练，构造相应分类器，通过判别图像中所有可能区域属于 哪类模式的方法实现人脸的检测，主要包括特征子空间法【”、人工神经网络法 2 0 - 2 2 1 、基于概率模型方法【2 孓2 7 】及基于支持向量机 2 8 - 3 1 】的方法。由于篇幅的限制， 这里就不赘述了 为了提高人脸检测率，目前不少研究者将各类方法综合起来使用，如湖南大 学沈谦【3 2 1 将特征子空间法与支持向量机结合起来，中国科技大学的朱麾【3 3 】将人 脸的肤色特征与支持向量机相结合，西北工业大学赵瑞【3 4 】将肤色特征与模板匹配 方法相结合等等，都取得了很好的检测结果。 最后需要特别指出的是在2 0 0 1 年的国际计算机视觉大会上，康柏研究院的研 究员v i o l a l 3 5 嚏示了一个基于简单矩形特征和a d a b o o s t 的实时人脸检测系统，该 系统检测准正面人脸的速度达到了每秒1 5 帧以上。该方法的主要贡献包括：1 ) 用 简单的矩形特征作为人脸图像特征；2 ) 基于a d a b o o s t 将大量弱分类器进行组合 形成强分类器的学习方法；3 ) 采用了级联( c a s c a d e ) 技术提高检测速度，是目前 公认的最有效的人脸检测方法。 1 3 2 人脸跟踪的研究 当输入是视频图像时，为了实时获取每帧图像中的人脸位置，通常需要借助 于人脸跟踪技术。它利用了视频图像的时间相关性，缩小了检测的范围，从而有 望可以达到实时的人脸检测。 肤色在色度颜色空间中集中在一个很小的区域，通过在该颜色空问建立二维 高斯肤色模型，把肤色区域从图像中分割出来，可以达到跟踪的目的。b r a d s k i l 3 6 1 和h u l 3 7 1 、s p o t s l 3 8 i h i l l w o n g l 3 9 1 分别以肤色概率图、肤色直方图为特征来实现跟踪。 基于肤色特征的跟踪通常对类似肤色的背景很敏感，文献1 4 0 1 通过肤色b l o b 来增 天津大学博十学位论文 第一章绪论 强肤色跟踪的鲁棒性。 形状特征也是人脸跟踪常用的特征之一。b i r c h f i e l d 4 q 根据人脸轮廓呈椭圆 的特性，通过计算一定范围内以每点为中心的椭圆圆周上的平均梯度来实现人脸 的跟踪。该方法对人脸在图像平面夕 - 0 - 3 6 0 0 的旋转、脸部遮挡等具有一定的鲁棒 性。k a s s l 4 2 1 采用s n a k e s 方法，根据轮廓内、外能量的平衡来实现人脸轮廓的定位。 c o o t e s l 4 3 1 7 d 1 w a n 9 1 4 4 】贝, u 采用主动形状模型( a c t i v es h a p em o d e i ( a s m ) ) ，通过将形状 变化约束在特定的特征空间中来实现人脸轮廓定位。但这种方法因为没有考虑人 脸的整体纹理，很容易陷入局部极小，导致定位位置不正确。为了充分利用人脸 各个器官的形状特征，实现更加鲁棒的人脸跟踪，c h o n 等 4 5 1 结合形状模型和隐 马尔可夫模型( h i d d e nm a r k o vm o d e l s ( h m m ) ) 来跟踪人脸。粒子滤除技术具有较 好的跟踪性能，可是它的计算却比较复杂，z c i i g m 等提出了主动粒子滤除技术， 不仅提高了每个粒子的效率，而且大大减少了所需要的粒子数，从而降低了计算 的复杂度。通过实验证实该技术对头部的平移、图像平面外o 3 6 0 0 的旋转和部分 遮挡都具有较好的鲁棒性。 基于面部特征点的跟踪也是一种常用的方法。特征点的定位很容易受光照、 头发等因素的影响，因而这种方法的难点在于如何有效地检测和定位特征点。在 文献【4 7 】中，通过在系统中加入红外光源，实现了对眼球的鲁棒、实时跟踪。f e f i s 【4 8 】 等采用对光照、姿态等变化具有一定鲁棒性的g a b o r d 、波变换来检测这些特征点 的位置，平均检测率达到8 5 左右。 通过背景相减或光流等直接获取的运动特征也是跟踪中常用的特征之一。 b l a c k 和y a c o o b l 4 9 1 提出了标准的光流场方法，通过分割二维平面上不同的光流得 出光流场来进行人脸跟踪。这种方法比较适用于背景固定且背景也比较简单的情 况。在实际的人脸跟踪系统中，很少有只靠这种运动特征来跟踪的，通常需要其 它特征来辅助。 形状特征只考虑边界的轮廓信息，而基于纹理特征的跟踪则注重的是整个对 象区域的灰度信息。d o r n a i k a l 5 0 , 5 q 采用了主动表观模型( a c t i v ea p p e a r a n c em o d e l ( a a m ) ) ，通过限制l 文i 域内纹理在特定的特征空间中变化来实现三维人脸跟踪。 这种方法能很好的处理表情变化，并对人脸的小块遮挡具有较强的鲁棒性，但不 能处理大幅度的人脸运动，且速度不能满足实时要求。为此，x i a 0 1 5 2 将二维a a m 与三维形态模型相结合，通过三维形状模式对a a m 进行约束，实现了多姿态的 实时人脸跟踪。 为了提高系统的鲁棒性，需要将多个特征融合起来进行跟踪。例如模板与光 流场的结合、颜色和形状信息的融合1 ”1 、形状和纹理特征的融合1 4 6 1 、颜色、形 状和运动特征的融合m ，5 5 】等等，这也是跟踪技术的必然发展趋势。 天津大学博士学位论文第一章绪论 1 3 3 人脸识别的研究 最早对人脸识别进行研究的是b l e d s o e 5 6 ，他以人脸特征点的间距、比率等 参数为特征，建立了一个半自动的人脸识别系统。经过近4 0 年的发展，人脸识别 的研究正逐步走向成熟。现阶段及以后主流的人脸识别研究主要集中于多姿态、 多光照条件的人脸识别方法研究。 g e o r g h i a d e s l 5 7 1 等提出的基于光照锥模型的人脸识别方法是近阶段的重要成 果之一。他根据未知光照条件的7 幅同一姿态的人脸图像，恢复人脸的三维形状 和表面反射率的同时，构建与光照无关的光照锥，人脸的识别则通过计算输入图 像到每个光照锥的距离来完成。因计算的光照锥中只含有与人脸类别相关的人脸 表面反射率信息和表面法向信息，不含有光照信息，从而实现了光照不变的人脸 识别。就目前现有的方法中，该方法对光照变化的鲁棒性最强。 b l a n z 和v e t t e 一”芦删等提出的基于三维变形模型的多姿态，多光照条件的人 脸识别方法是近阶段的另一个重要成果。其主要贡献在于它在三维形状和纹理统 计变形模型的基础之上，采用图形学模拟的方法对图像采集过程的透视投影和光 照模型参数进行了建模，将人脸形状和纹理等内部属性与摄像机配置、光照等外 部参数分离开来，从而更加有利于人脸图像的分析与识别。通过在多姿态、多光 照的c m u p i e 人脸数据库上测试，获得了8 2 6 的识别率。 特征脸【6 ”、f i s h e r , 脸1 6 2 1 是经典的线性人脸识别方法，它们难以描述人脸由于 光照、姿态、表情等变化引起的非线性问题。借鉴支持向量机中核( k e r n e l ) 概念， c h e n 6 3 和x u 叫分别在特征脸、f i s h e r 盘方法中引入核技巧，通过将线性不可分的 输入样本非线性映射到一个高维空间，使不同类样本在高维空问中线性可分，然 后在这高维空问对样本进行线性分析，有效地解决了人脸的非线性问题。 另外，s h a s h u a t 6 5 1 提出了一种基于商图像的人脸识别方法。该方法能够根据 训练集中少量不同光照的图像，合成任意输入图像在任意光照条件下的虚拟图 像，为实现光照不变的人脸识别提供了黍要的理论依据。 最后值得一一题的是b a s r i 和j a c o b s l 6 6 ，他们采用球面谐波来表示光照，得出的 结论就是：凸的朗伯表由物体在各种光照条件f 的图像可以用一个低维的线性子 空间来近似，从而从理论上促进了基于线性子空间的人脸识别方法的发展。 1 4 国内外商用人脸识别门禁系统 国内外不少公司迅速将人脸识别科研成果应用到门禁控制系统中，在最近十 年，市场上也陆续出现了一些商用人脸识别门禁系统。尽管人脸识别门禁系统还 不是一个很成熟的产品，但在实际应用中确实已经起到了一定的作用。下面对国 天津入学博士学位论文第一章绪论 内外一些主要的人脸识别门禁系统作简要的介绍。 1 国外商业系统 美国麻萨诸塞州的v i s a g e 公司研制了实时人脸检测、识别系统( v i s a g ef a c e t o o l s ) ，采用多个摄像机摄取图像，根据运动和肤色特征从输入图像中定位人 脸，通过模板匹配方法定位眼睛、嘴巴等部位，识别过程相当短，已应用于飞机 场、车站等公共场所的逃犯追捕、门禁系统控制等方面；加拿大v i s i o n s p h e r e 公 司研制了t sm e “类门禁”产品，实现了限制登陆上网的目的：美国g e n e x 公司 推出了多模态f a c e c a r a 0 3 d 产品，2 秒内便可完成身份验证；德国c o g n i t e c 公司 开发了f a c e v a c s s d k 智能门控系统，通过提取人脸多阶高斯导数滤波特征，采 用判别式分析方法来实现人脸识别，已用于悉尼国际机场：德国c v i s 公司研制 t f a e e s n a p 系统，该系统采用弹性图匹配的方法来实现人脸识别，具有数字视频 录像和人脸定位、验证功能，不同的人从不同角度进入监控区域，都可以识别； b i o l d 公司推出b i o l d 系统，该系统融合了人脸、语音和唇动三类特征进行身份验 证；韩国的f i r s 公司推出v i s i o n g a t c 人脸识别系统，具有门禁、考勤、巡更等多 种功能，识别率高达9 9 9 8 。 2 国内商业产品 成都银晨网讯科技有限公司与中科院计算所合作开发了银行安全防范管理 系统、会议代表身份认证系统、面像识别门禁、面像识别考勤等8 大应用系统， 计算机可在1 1 0 秒到! 2 0 秒内“捕获”人脸，并在1 秒钟内完成识别，识别率 可达9 6 以上；深圳亚诺思科技有限公司推出面像识别门禁系统，采用德国 c o g n i t e e 公司的核心识别算法，采用m f i 卡+ 人脸识别的1 ：1 对比方式，识别 时间最快o 1 秒：深圳万方远大科技有限公司推出v a 4 0 0 立式面像识别门禁考勤 系统，识别方式：l c 卡指纹+ 人脸识别，用户容量：8 0 0 人；深港产学研数码科 技有限公司研发了b i o l e r d 9 0 0 0 人脸识别门禁系统，识别方式：i c 卡+ 人脸识别； 上海银晨智能识别科技有限公司研制了人脸识别出入控制系统，采用人脸识别技 术和密码、l d 卡等技术作为判决条件，该系统已成功应用于人民大会堂“十六 大”会议代表身份认证、各大银行、上海公安局等，人脸识别时闻：小于1 秒， 误识率：小于0 0 1 ，拒认率：小于1 ，支持用户数为1 0 0 0 人。 总的来说现有的人脸识别门禁系统支持的用户数较少( 一般1 0 0 0 人以下) ， 且对用户的站姿、面部表情等都有一定的限制，另外，为了保证系统一定的识别 率，通常还需要将人脸识别技术与用户l d 卡、密码或其它生物识别如指纹识别 技术相结合起来使用，因而从某种意义上来讲，它们所实现的是一定限制条件下 的人脸识别。 天津大学博士学位论文第一章绪论 1 5 国内外可用于研究的人脸数据库 人脸数据库对于人脸检测、识别算法的研究与开发，模型训练，算法性能测 试是必不可少的。不同人脸数据库具有不同的规模、成像条件和属性，可以针对 不同的应用场合和目标选择相应的人脸库。下面对些常用的人脸数据库作简要 介绍。 1 1f e r e t 人脸数据库1 6 7 它是为了支持政府的监控以及通过标准的测试和程序，对人脸识别算法进行 评估，由f e r e l 项目而创建的。整个图像库含有1 4 0 5 1 幅不同姿态( 从正面到左， 右侧) ，不同光照条件的8 位灰度图像，是应用最为广泛的一个数据库。 2 ) y a l e 人脸数据库陋町 该库是由耶鲁大学计算视觉与控制中心创建的，包括1 5 个志愿者，1 6 5 幅g i f 格式的灰度图像，包含了脸部表情、光照、姿态变化，同时还有是否佩戴眼镜的 差异。 另外，耶鲁大学还创建了y a l ef a c ed a t a b a s eb ，该库包括了l o 个志愿者5 7 6 0 幅6 4 种不同光照条件，9 种不同姿态的图像，对于每种姿态，每个志愿者还有一 幅只有背景光照的图像，即整个数据库共有5 8 5 0 幅图像。该库图像是在光照条件 严格控制的情况下拍摄完成的，是人脸识别中光照问题研究常用的人脸库。 最近出现的e x t e n d e dy a l ef a c ed a t a b a s eb ，它是对y a l ef a c ed a t a b a s eb 库的 延伸，该库将志愿者的人数增至2 8 人，仍然是6 4 种不同光照条件，9 种不同姿态， 共有1 6 1 2 8 幅图像。 3 ) o r l 人脸数据库1 6 9 该库是由剑桥大学a t & t 实验室创建，包括4 0 个志愿者，4 0 0 幅图像，包含 了尺度、表情和面部饰物的变化。该库仅是无背景的人脸图像，常用于评估基于 人脸整体特征识别算法的性能。 4 ) u m i s t 人脸数据库1 7 0 】 该库是含有2 0 个志愿者，5 6 4 幅从正面到侧面的多姿态图像。志愿者之间还 有种族、性别变化。 5 1i m m 人脸数据库1 7 l j 该库是由丹麦信息学与数学模型科技大学创建，该库有4 0 个志愿者，2 4 0 幅 图像，包含了姿态、面部表情、尺度、光照变化。每幅图像都有一个相应的a s f 格式文件，记录5 8 个面部关键特征点在图像中的位置，这5 8 个关键点主要分布 在眉毛、眼睛、鼻子、嘴唇和下巴处。该库常用于对面部特征点定位算法、局 部人脸识别算法和特征选择算法的评估。 6 1c m u p i e 人脸数据库1 7 2 1 天津大学博十学位论文第一章绪论 由卡耐基梅隆大学机器人学院创建