（计算机应用技术专业论文）人脸识别技术的研究与应用.pdf

北方工业大学硕士学位论文 摘要 人脸识别技术的研究在近几年得到了高度重视，已经成为图像分析和理解中最成功 的应用之一。但是，这些研究成果离这一问题的彻底解决还有很大的距离。因此，这一 课题依然是当前研究的热点问题之一。 文章研究了基于肤色模型的人脸检测方法，提出了一种基于肤色特征和h 艮睛位置的 人脸定位方法，该方法利用差分图像方法得到一幅有人存在的图像，依据人的肤色信 息，在y c r c b 空间进行肤色映射生成二值图像，然后根据人脸的形状特征确定人脸所 在位置，最后确定出人眼位置，根据人眼的位置准确定位出人脸的上下左右边界，从而 得到人脸的准确定位。 同时文章研究了基于特征脸、奇异值分解理论、小波理论、b p 神经网络理论及 圳( 隐马尔可夫模型) 相结合的人脸识别方法，提出了一种改进的基于奇异值分解的人 脸识别方法，该识别方法用一个采样窗对图像从上到下进行重叠采样，对得到的所有矩 阵求奇异值，进行降维压缩，取每个矩阵最大的k 个奇异值作为每一个采样窗的特征， 得到一组向量，用这组向量作为人脸图像的特征进行识别。实验证明该识别方法具有较 高的识别率。 最后文章实现了一个基于人脸识别技术的考勤系统的原型。该系统采用了改进的奇 异值分解和最小距离分类器相结合的识别方法。首先基于差分图像和肤色信息检测出入 脸，其次使用改进的奇异值分解方法提取面部特征，最后运用最小距离分类器进行识 别。为了提高系统对光照条件的鲁棒性，系统在人脸检测环节采用了光照补偿的方案， 依据人脸模型，通过眼睛的精确定位，定位出人脸，提高了定位准确度；在识别环节引 入了图像的灰度标准化处理，降低了灰度变化的影响。 文章分为七个部分，第一部分简要介绍国内外相关课题的研究现状、相关理论、主 要研究方法；第二部分简要介绍人脸检测技术相关的理论基础及本文中采用的人脸检测 与定位算法；第三部分简要介绍了基于主成分分析的人脸识别算法的理论基础及算法实 现；第四部分简要介绍了基于b p 神经网络的人脸识别算法的理论基础及算法实现；第 五部分简要介绍了隐马尔可夫模型；第六部分提出了一种改进的基于奇异值分解的人脸 识别方法；最后，给出了一个基于人脸识别技术的考勤系统解决方案。 关键词：人脸检测人脸识别奇异值分解( s v m ) b p 神经网络隐马尔可夫模型( h 删) 北方工业大学硕士学位论文 t h er e s e a r c ha n da p p l i c a t i o no ff a c er e c o g n i t i o nt e c h n o l o g y a b s t r a c t a so n eo ft h em o s ts u c c e s s f u la p p l i c a t i o n so fi m a g ea n a l y s i sa n du n d e r s t a n d i n g ，f a c er e c o g n i t i o nh a s r e c e n t l yr e c e i v e ds i g n i f i c a n ta t t e n t i o n ，e s p e c i a l l yd u r i n gt h ef e wy e a r s h o w e v e r ，t h ew a yo ft h o r o u g h l y s o l v i n gt h ep r o b l e mi nt h i sf i e l di ss t i l lf a ra w a y ，i ta l s or e m a i n sa l la c t i v er e s e a s c hf i e l dn o w a d a y s t h i sp a p e rr e s e a s c h e st h en e wm e t h o do ft h et e c h n o l o g yo ff a c ed e t e c t i o nw h i c hi sb a s e do nt h e c o m p l e x i o nm o d e l b yt h es t u d y , t h ep a p e rp u t sf o r w a r daf a c ed e t e c t i o nm e t h o db a s e do nt h es k i nc o l o ra n d t h ep o s i t i o no f e y e s f i r s tu s et h ed i f f e r e n c ei m a g et og e ta l li m a g et h a te x i s tam a n t h e ng e taf a c eb a s e do n t h es k i nc o l o ra n dt h es h a p ef e a t u r en e x tt h el o c a t i o no f e y e sa n db a s e do nt h el o c a t i o n ，f i n dt h et o p ，b o t t o m ， l e f ta n dr i g h tb o u n d a r i e so f f a c ea c c u r a t e l yb yt h i sw a y ，af a c ei sd e t e c t e d t h i sp a p e ra l s or e s e a r c h e st h en e wm e t h o do ft h et e c h n o l o g yo ff a c er e c o g n i t i o nw h i c hi sb a s e do nt h e i n t e g r a t i o no fe i g e n f a c e ，s i n g u l a rv a l u ed e c o m p o s i t i o n ，w a v e l e tt h e o r y ，b pn e u r a ln e t w o r k , a n dh i d d e n m a r k om o d e l s b yt h es t u d y , t h ep a p e rp u t sf o r w a r da ni m p r o v e df a c er e c o g n i t i o na r i t h m e t i cb a s e do ns v m u s eas a m p l i n gw i n d o wt os a m p l ef r o mt o pt ob o t t o m i tc a no v e r l a pc o u n tt h es t r a n g ev a l u e sf o ra l lt h e m a t r i c e s ，c o m p r e s st h ed i m e n s i o n ，a n dg e t k m a x i m a ls t r a n g ev a l u e so f e v e r ym a t r i x t h e s ev a l u e sa r ea c t e d a st h ef e a t u r e so f t h ei m a g et or e c o g n i z e p r o v e db ye x p e r i m e n t , t h er e c o g n i t i o nr a t ei sh i g h e r l a s t , t h ep a p e ri m p l e m e n t sac h e c ko nw o r ka t t e n d a n c es y s t e mp m t o t y p ea d o p t i n gf a c er e c o g n i t i o n t e c h n o l o g y t h ea l g o r i t h mc o m b i n e st h ei m p r o v e ds t r a n g ev a l u ed e c o m p o s i t i o n ( s v o ) a n dc l a s s i f y i n g m e t h o db a s e do nm i n i m a ld i s t a n c et or e c o g n i z ef a c ef i r s tb a s e do nt h ed i f f e r e n c ei m a g ea n dt h es k i nc o l o rt h e f a c ei sd e t e c t e da n dl o c a l i z e d ，t h e nf e a t u r e sa r e e x t r a c t e db yu s i n gi m p r o v e ds v d ，l a s tt h ef e a t u r e si sc l a s s i f i e d b ym i n i m a ld i s t a n c e i no r d e rt oe n h a n c et h er o b u s t n e s so f t h es y s t e m ，w eu s el i g h tc o m p e n s a t i o ni nt h ef a c e d e t e c t i o na n db yf i x i n gt h ep o s i t i o no fe y e s ，w ef i xt h ef a c e ，i ti m p r o v e st h ev e r a c i t ya c c o r d i n gt ot h ef a c e m o d u l ew ed og e o m e t r i cs t a n d a r d i z a t i o na n dg r a y - l e v e ls t a n d a r d i z a t i o ni nf a c er e c o g n i t i o n t o ot h es y s t e m r u n sw e l la n dt h ee f f e c ti ss a r i s f y i n g t h ep a p e ri sc o m p o s e do fs e v e ns e a i o n s t h ef i r s ts e c t i o nb r i e f l yr e c o m m e n d st h er e l a t i v er e s e a r c h a c h i e v e m e n t sa n dt h e o r i e si nf a c ed e t e c t i o na n dr e c o g n i t i o nt h es e c t i o nt w od e s c r i b e st h er e l a t i v et h e o r i e si n t h ef i e l d so f t e c h n o l o g yo f f a c ed e t e c t i o na n dt h ea d o p t e da r i t h m e t i ci nt h i sp a p e r t h es e c t i o nt h r e e ，s e c t i o n f o u ra n ds e c t i o nf i v er e s p e c t i v e l yd e s c r i b et h er e l a t i v et h e o r i e so fp r i n c i p a lc o m p o n e n ta n a l y s i s ，b pn e u r a l i l e t w o r lh i d d e nm a r k om o d e l sa n dt h ea d o p t e da r i t h m e t i ci nt h i sp a p e r t h es e c t i o nt h r e ed e s c r i b e sa n i m p r o v e df a c er e c o g n i t i o na r i t h m e t i cb a s e do ns v mt h el a s ts e c t i o nd e s i g n sac h e c ko nw o r ka t t e n d a n c e s y s t e ma d o p t i n gf a c er e c o g n i t i o nt e c h n o l o g y k e yw o r d s ：f a c ed e t e c t i o n ，f a c er e c o g n i t i o n ，s t r a n g ev a l u ed e c o m p o s i t i o n ( s v d ) ，b a c k p r o p a g a t i o nn e u r a ln e t w o r k n ) ，h i d d e nm a r k o vm o d e l ( h m m ) 一3 - 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特另叻口以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得j e 友王些盔堂或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：瓣日期晡，月钼 学位论文版权使用授权书 本学位论文作者完全了解北方工业大学有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权j e 直工些盍堂可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 褓密的学位论文在解密后适用本授权书) 学位论文作者签名：份冬褥 签字日期：州年，月f 拥 导师签名： 傍蚍 签字日期：雄，月，舌日 学位论文作者毕业后去向： 工作单位：音碍惋歙许龟 电话：。f o f 嵋岁孑l 巧，f ；口 通讯地址：托隶遇龃寺稍南酌j 4 墨 邮编：仰g 口 北方工业大学硕士学位论文 引言 随着社会的发展，各个方面对快速有效的自动身份验证的要求日益迫切。由于生物 特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想 依据。这其中，利用人脸特征进行身份验证又是最自然直接的手段，相比其它人体生物 特征，人脸识别具有直接、友好、方便的特点，易于为用户所接受。 人脸识别是人类视觉最杰出的能力之，自动人脸谚 别技术就是利用计算机分析人 脸图像，从中提取有效的识别信息，用提取的特征来辨认身份的一门技术，它涉及到模 式识别、图像处理、计算机视觉、生理学、心理学及认知学等诸多学科的知识，并与基 于其他生物特征的身份鉴别方法以及计算机人机感知交互的研究领域都有密切联系。 通常，自动人脸识别问题的广义描述如下：给定某个场景下的静态或动态视频图 像，利用已存储的人脸数据库，标识出一个或多个相似候选者。在标识过程中，可利用 一些能获得的附加息，如性别、年龄或种族等缩小摸索范围，提高识别的正确率。为了 完成这个任务，自动人脸识别系统主要解决三个问题：从复杂的背景中自动分割出待 识别的人脸。这是机器自动人脸识别的前提和基础。从定位出的人脸区域中抽取感兴 趣的特征区域或特征点。对抽取特征进行有效编码和识别分类。自动人脸识别系统处 理的图像可以是包含正面人脸的图像、人脸侧面轮廓图及人脸距离图。 虽然人类可以毫不困难地由人脸辨别一个人，但利用计算机进行完全自动的人脸识 别仍然存在许多困难，其表现在：人脸是非刚体，存在表情变化；人脸随年龄增长而变 化；发型、眼镜等装饰对人脸造成遮挡：人脸所成图像受光照、成像角度、成像距离等 影响。此外人脸识别技术的研究与相关学科的发展及人脑的认识程度紧密相关。这诸多 因素使得人脸识别研究成为一项极富挑战性的课题，具有很高的学术价值。这一类问题 的深入研究必将推动模式识别、计算机视觉、人： 智能等计算机科学分支的发展。如果 能够找到解决方法，成功构造出人脸检测与识别系统，将为解决其它类似的复杂模式识 别问题提供重要的启示。 在二十世纪七十年代早期和中期，一些经典的模式识别技术就用来衡量比较人脸及 人脸侧面轮廓线之问的特征。但在整个八十年代期间，机器自动人腧识别的研究工作很 大程度上可以说是处在一个“休眠”状态。直到九十年代早期，随着社会经济和计算机 技术的高速发展，实时计算和自适应神经网络的重新出现，硬件的飞速发展及由毒品交 易、恐怖活动等犯罪行为的增加而带来法制应用需求的增加等一系列原因， 北方工业大学硕士学位论文 a f r ( a u t o m a t i cf a c er e c o g n i t i o n ) 方面的研究才引起研究者们越来越多的兴趣，并得到了 较快的发展。 在过去二十多年里，心理学家和神经科学家也对人类如何进行人脸识别的各个方面 做了广泛的研究。他们主要关心的是：人脸的唯一性，人脸如何识别是基于全局还是局 部信息，脸部表情对识别任务的分析和利用，婴儿如何识别人脸，祖母神经细胞的存在 及右半脑在理解人脸时的作用等。虽然这些研究提出的许多假设和理论只是基于较小的 测试集，用来解释所观察到的实验结果的某些理论甚至是自相矛盾的，但一些发现对人 脸的机器自动识别仍然起着重要的作用。 近几年来，国际上发表有关人脸识别方面的论文数量大幅度增加，每年的国际会议 上关于人脸识别的专题也屡屡可见。与此同时，美国等国有许多研究组在从事人脸识别 的研究，这些研究受到军方、警方及大公司的高度重视和资助，美国军方每年还专门组 织人脸识别比赛以促进这一领域的发展。同时，一些科研单位和公司开始将研究成果转 化为实用产品，如m i r o s 公司的t r u e f a c e ，v i s i n o c s 公司的f a c e l t ，以及z nb o c h t m a g m b h 公司研制的z n f a c e 等。在国内关于人脸识别的研究始于2 0 世纪8 0 年代，研究 主要集中于部分高等院校和科研院所。中科院计算所在完成对8 0 0 0 多个人脸的成功识 别后，“面像检测与识别核心技术”这一国家8 6 3 项目通过了有关专家委员会的鉴 定。这标志着我国在人脸识别这一当今热点科研领域中掌握了一定的核心技术。 人脸识别技术应用前景广泛，可用于公安系统刑侦破案的罪犯身份识别、身份证及 驾驶执照等证件验证、银行及海关的监控、自动门卫系统、视频会议、机器人的智能化 研究以及医学等方面。特别是在非接触环境和不惊动被检测人的情况下，人脸识别技术 的优越性远远超过已有的指纹等识别方法。自美国“9 1 1 ”事件以来，这一技术引起广 泛关注。作为最容易隐蔽使用的识别技术，人脸识别成为当今国际反恐和安全防范最重 要的手段之一。据悉，人脸识别技术目前已经开发出银行安全防范管理系统、会议代表 身份认证系统、人脸识别门禁系统、人脸识别考勤系统等八大应用系统，这些系统目前 已在一些领域得到初步应用。 本文主要研究了当前人脸识别的主流算法，对其进行分析比较与改进，考察人脸识 别技术的主要应用，构建了一个基于人脸识别技术的考勤系统原型。 2 一 北方1 二业大学硕士学位论文 1 自动人脸识别技术 1 1 自动人脸识别系统 自动人脸识别系统包括两个主要的技术环节，人脸检测与定位和人脸特征提取与识 别，如图1 1 所示。 塑垒堕厩赢磊碎磊i 磊i 瓢塑些墨- ， l j 1一j 图i 1 人脸自动识别系统构成 人脸检测与定位是指从任意的场景中检测人脸的存在并进行定位，提取出人脸。人 脸检测的输入是可能包含人脸的图像，输出是关于图像中是否存在人脸以及人脸的数 目、位置、尺度等信息的参数化描述。人脸检测的难点在于图像中人脸数目和尺寸的不 确定性、面部姿态和表情的多样性、光照条件的多变性、成像背景的复杂性等。 人脸识别是指根据人脸的表征方法，选择适当的匹配策略将得到的人脸与数据库中 的已知人脸相比较，确定是否为已知的人脸。人脸识别的难点在于光照对人脸图像的 影响、人脸模式的多样性等。 特征提取是指根据己知数据库中的人脸的表征方法，从人脸图像中提取出该人脸图 像的表征值。人脸的表征方法很多，通常的方法有几何特征，代数特征，特征脸，固定 特征模板等。特征提耿之前一般需要做儿何归一化和灰度归一化的工作。其中j l 何归一 化是根据人脸定位结果将图像中的人脸变化到刚一位置和大小；灰度归一化是指对图像 进行光照补偿等处理，以克服光照变化的影响。具体的特征提取形式随识别方法的不同 而不同。比如几何特征的识别方法中，主要提取特征点，然后构造特征矢量；在统计识 别方法中，利用图像相关矩阵的特征矢量构造特征脸；在神经网络方法中，则直接利用 归一化后的灰度图像作为识别的输入，没有专门的特征提取过程。 常用的人脸识别实验库以美国军方的f e r e i 、库最为权威，它包括多人种、多年龄 段、各种表| 青变化、光照变化、姿态变化的图像，图像的数量和实验人数也非常多，可 以充分地验证人脸识别算法。另外如m i t 、o r l 等图像库也可以用来验证算法在某些方 面的能力。目前尚没有专门测试人脸检测和定位算法的图像库。 北方工业大学硕士学位论文 1 2 人脸识别系统的性能 1 2 1 主要性能指标 测量人脸识别的主要性能指标有两个： 误识率( f a l s ea c c e p tr a t e ，f a r ) ：这是将其他人员误作指定人员的概率。 拒识率( f a l s er e j e c t r a t e ，f r r ) ：这是将指定人员误作其他人员的概率。 这二者之间是存在矛盾的，所以在实际问题中往往需要进行某种折中。如，在安全 性要求较高的计算机登录系统中，必须要求篌识率要尽可能低，而讴识率则可以高一 些，这样只是增加合法用户的登录时间，并不会降低计算机系统的安全性。这一点同样 适用于特征提取与识别环节，但是对于人脸检测与定位，我们一般要求拒识率要尽可能 低，因为这样刁可以保证所要识别的人不会在这一步就丢失。 1 2 2 影响人脸自动识别性能的因素 虽然人类可以毫不困难地由人脸辨别一个人，但利用计算机进行完全自动的人脸识 别存在许多困难，以下列出了一些影响人脸识别性能的因素及解决方法： ( 1 ) 表情的变化：提取对表情变化不敏感的特征，或者将人脸图象分割为各个器官 的图像，分别识别后再综合判断。 ( 2 ) 年龄的变化：建立人脸图像的老化模型。 ( 3 ) 背景和头发：消除背景和头发，只识别脸部图像部分。 ( 4 ) 附着物( 眼镜、胡须) 的影响。 ( 5 ) 人脸在图像平面内的平移、缩放、旋转：采用几何归一化，人脸图像经过旋 转、平移、缩放后，最后得到的脸部图像为指定大小，两眼水平，两眼距离一 定。 ( 6 ) 人脸在图像平面外的偏转和俯仰：可以建立人脸的三维模型，或进行三维融合 ( m o r p h i n g ) ，将人脸图象恢复为正面图像。 ( 7 ) 光源位置和强度的变化：采用直方图规范化，可以消除部分光照的影响。采用 对称的从阴影恢复形状( s y m m e t r i cs h a p ef r o ms h a d i n g ) 技术，可以得到一个与光 源位置无关的图像。 ( 8 ) 照相机的变化：同一人使用不同的照相机拍摄的图像是不同的。 1 3 脸识别系统的应用 人脸识别技术的独特优点，使其有着十分广泛的应用前景。其应用领域遍及军队、 政法、银行、物业、海关、互联网应用等。 一4 一 北方工业大学硕二l 学位论文 1 3 1 在银行金融系统中的应用 由于银行金融系统对安全防范控制系统有着极高的要求，如对金库的安全设施、保 险柜、自动柜员机队及电子商务信息系统等都需要人脸识别技术这种更直观、准确、可 靠的识别系统。 近年来，金融 乍骗、抢劫发生率有所增高，对传统的安全措施提出了新的挑战。而 人脸识别技术根本不需要带任何的电子、机械“钥匙”，可杜绝丢失钥匙、密码的现 象。如果配合i c 卡、指纹识别等技术，就可以使安全系数成倍增长。而且，由于对每 次操作事件都保存一条有时问、f 1 期和人体面像的记录，所以它具有良好的可跟踪性。 当前，银行系统正在开展保险柜出租、托管的业务，若银行使用这种识别系统，能 提高安全系数和客户对银行的可信度。此外，若在a t m 自动取款机上应用这种识别技 术，可以解除用户忘记密码的苦恼，还可以防止冒领、盗取的事件发生。 1 3 2 在政法系统中的应用 当前，我国的公、检、法正加强对经济、刑事等犯罪行为的打击力度，正在联合开 展“追、逃”斗争。目前多是将逃犯的照片、身份证、特征资料上网发布。但这种方法 的判断要通过多种技术鉴定，它对证件资料假冒犯人的查询有较大的难度，对犯罪分子 的狡辩、伪装往往要消耗大量的时间和物力来进行确认。如果利用人脸识别技术，则可 以大大提高工作效率，并能对犯罪分子产生极大的威慑力量。如在重要的车站、码头、 机场、海关等出入口附近架设摄像机，系统可在无人职守的情况下自动捕捉进、出上述 场所的人员的头像，再通过网络将头像特征数据传送到计算机中心数据库去，与逃犯的 头像进行比较，迅速准确地做出身份判断，一旦发现是吻合的头像，即自动记录并报 警。如英国伦敦警察局，由于最近使用了人脸识别系统，在三个月内破案率就提高了 3 4 。 1 3 3 在其他方面的应用 除在k 面两大领域的应用外，人脸识别技术可广泛应用于军队、公安、党政机关、 物业管理及其他一切需要的部门的安全验证、监控、门禁及一切出入口控制等多个方 面。 1 4 人脸识别方法综述 人脸识别本质上是三维塑性物体二维投影图像的匹配问题，关于人脸特征提取与识 别的方法可概述如下： 一5 一 北方工业大学硕士学位论文 1 4 1 基于几何特征的人脸识别方法 常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征，脸型特征 以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。在 这种基于几何特征的识别中，识别总归为特征矢量之间的匹配，基于欧氏距离的判决是 最常用的识别方法。侧影识别是最早的基于几何特征的人脸识别方法，主要是从人脸侧 面轮廓线上提取特征点入手。一般将侧影简化为轮廓曲线，从中抽取若干基准点，用这 些点之间的几何特征来进行识别。由于现在的证件照片多为正面，而且侧面照片约束很 多，所以对侧面人脸识别的研究最近已不多见。正面人脸识别最关键的一步是合适的归 一化，使之不依赖于图像中人脸的位置尺度和旋转变化。识别所采用的几何特征是以人 脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点问的欧式距 离、曲率、角度等。例如，p o g g i o 和b r t m e l l i 用积分投影法提取出3 5 维人脸特征矢量 用于模式分类。 基于几何特征的识别方法具有如下优点：符合人类识别人脸的机理，易于理解； 对每幅图像只需存储一个特征矢量，存储量小；对光照变化不太敏感。这种方法同 样存在如下问题：从图像中抽取稳定的特征比较困难，特别是特征受到遮挡时；对 强烈的表情变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本形状与 结构关系，忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。 1 4 2 基于模板匹配的人脸识别方法 模板匹配法i l j 是一种经典的模式识别方法，这种方法大多是用归一化互相关，直接 计算两幅图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相同的尺度、 取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。 最简单的人脸模板是将人脸看成一个椭圆，检测人脸也就是检测图像中的椭圆。另 一种方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛 模板和下巴模板等。但这些模板的获得必须利用各个特征的轮廓，而传统的基于边缘提 取的方法很难获得较高的连续边缘。即使获得了可靠度高的边缘，也很难从中自动提取 所需的特征量。为此，用弹性模板方法提取特征显示出其独到的优越性。弹性模板由一 组根据特征形状的先验知识设计的可调参数所定义。为了求出这组参数，需要利用图像 的边缘、峰值、谷值和强度信息及特征形状的先验知识设计合适的能量函数。参数向能 量减小方向调整，当能量达到最小时，这组参数对应的模板形状最符合特征形状。 p o g g i o 和b r u n e l l i 专门比较了基于几何特征的人脸识别方法和基于模板匹配的人脸 识别方法，并得出结论：基于几何特征的人脸识别方法具有识别速度快和内存要求小的 一6 一 北方工业大学硕士学位论文 优点，但在识别率上模板匹配要优于基于几何特征的识别方法。增加几何特征对于基于 几何特征的人脸识别方法只能轻微地提高识别率，因为要提高几何特征的提取质量本身 就十分困难，而且随着图像质量的下降和人脸遮挡的引入，基于几何特征的人脸识别效 果会大幅下降。总之，模板匹配法要优于几何特征法。 1 4 3 特征脸方法 特征脸饵i g e n f a c e ) 方法是从主成分分析( p f i n c i p mc o m p o n e n ta n a l y s i s ，p c a ) 导出的 一种人脸识别和描述技术。p c a 实质上是k - l 展开的网络递推实现，k l 变换是图像 压缩中的种最优正交变换，其生成矩阵一般为训练样本的总体散布矩阵。特征脸方法 就是将包含人脸的图像区域看作是一种随机向量，因此可以采用k - l 变换获得其正交 k - l 基底。对应其中较大特征值的基底具有与人脸相似的形状，因此又称之为特征脸。 利用这些基底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别和合 成。识别过程就是将人脸图像映射到f 目特征脸张成的子空间上，比较其与已知人脸在特 征脸空问中的位置。 在传统特征脸方法的基础上，研究者注意到特征值大的特征向量( u p 特征脸) 并不一 定是分类性能最好的向量，而且对k - l 变换而言，外在因素带来的图像差异和人脸本身 带来的差异是无法区分的，特征脸在很大程度卜i 反映了光照等的筹异。实验表明，特征 脸方法随着光照、角度和人脸尺寸等冈素的引入，识别率急剧下降，因此特征脸方法还 存在着理论的缺陷。近年来，据此发展了多种对特征脸的改进方法，如双予空间法、相 形歧义分析方法、f i s h e r 脸方法等。其中f i s h e r 脸方法又称为线性判别分析方法( l i n e a r d i s c r i m a l a t ea n m y s i s ，l d a ) ，它选择以类内散布正交的矢量作为特征脸空问，从而能 压制图像之间的与识别信息无关的差异，对光照及人脸表情变化都不太敏感。l u i s 等人 从传统特征脸发展出自身特征脸的概念，使用这种技术并结合人脸颜色信息，可以有效 地从动态图像序列中识别出指定的人脸。另一方面，以p c a 为基础的传统特征脸方法 没有利用人脸的几何拓扑特征，为此a l b e r t 等将p c a 与人脸拓扑关系结合起来提出 t p c a ( t o p o l o g i c a lp r i n c i p a lc o m p o n e n ta n a l y f i s ) 方法，识别率较单一的p c a 类方法有所 提高。m o g h a d d a m 等将人脸图像差异分为脸内差异和脸间差异，其中脸内差异属于同 一个人脸的各种可能变形，而脸间差异则表示不同人的本质差异，而实际人脸图的差异 为两者之和。通过分析人脸差异图，如果脸内差异比脸间差异大，则认为两人脸属于同 一个人的可能性大，反之属不同人的可能性大。这种算法在1 9 9 6 年进行的f e r e t 人脸 识别测试中取得了最好的识别效果，其综合识别能力优于其它任何参加测试的算法，尤 其是在克服光照变化对识别的影响方面。 一7 一 北方工业大学硕士学位论文 此外，与k - l 变换的思想比较接近但不是从统计角度出发的另一种变换是奇异值 分解( s v d ) 的方法，即将图像矩阵的奇异值作为模式的特征矢量。s v d 方法具有如下优 点：人脸图像的奇异值具有良好的稳定性，当图像上有小的扰动时，奇异值变化不 大；奇异值表示了图像的代数特征，是一种本质的内在特征，在某种程度上，s v d 特征同时拥有代数与几何两方面的不变性，即对图像灰度值的比例变化、平移、旋转和 伸缩不变性。 1 4 4 隐马尔可夫模型 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是用于描述信号统计特性的一组统 计模型。h m m 使用马尔可夫链来模拟信号统计特性的变化，而这种变化又是间接地通 过观察序列来描述的，因此，隐马尔可夫过程是一个双重的随机过程。在h m m 中，节 点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特征， 对同一特征，不同状态表现出这一特征的概率不同。由于h m m 是一个统计模型，对于 同一特征序列，可能会对应于许多状态序列，特征序列与状态序列之间的对应关系是非 确定的。这种模型对于状态序列来说是隐藏的，故称为隐马尔可夫模型。 h m m 有三个主要问题：评估、估计及解码。我们关心的是前两个问题。评估用于 解决识别问题，一般采取比较有效的“向前向后”法：估计用来产生用于识别的各个 单元的h m m ，采取b a u mw e l c h 方法。 1 4 5 基于神经网络的方法 神经网络在人脸识别应用中有很长的历史。早期用于人脸识别的神经网络主要是 k o h o n e n 自联想映射神经网络，用于人脸的“回忆”。所谓“回忆”是指当输入i 訇像上 的人脸受噪声污染严重或部分缺损时，能用k o h o n e n 网络恢复出原来完整的人脸。 c o t t r e l l 等人使用级联b p 神经网络进行人脸识别，对部分受损的人像、光照有所变化的 人像，个人识别能力较好。i n t r a t o r 等人用一个无监督2 督( b c m m p ) 混合神经网络进行 人脸识别。其输入是原始图像的梯度图像，以此可以去除光照的变化。无监督学习的目 的是寻找类的特征，有监督学习的目的是减少训练样本被错分的比例。这种网络比用 b p 网络提取的特征更明显，所以识别率更高，如果用几个网络同时运算，求其平均， 识别效果还会提高。l a w r a n c e 和g i l e s 等人用一个自组织特征映射( s o m ) 神经网络与卷 积神经网络结合的系统对一个有4 0 0 幅人脸图像、人均1 0 幅的数据库进行了人脸识别 研究。其中s o m 网络的作用是将图像样本量化到降维的拓扑空间，它使原空间中相邻 的输入点在输出空间中仍相邻。卷积网络用以实现相邻像素之间的相关性知识，从而在 一定程度上实现了图像平移、旋转、尺度和局部变形的不变性。l i n 和k t m g 将神经网 一8 一 北方t 业大学硕士学位论文 络方法和统计方法结合在一起，提出了一种基于概率决策的神经网络( p r o b a b i l i s t i c d e c i s i o nb a s e dn e u r a ln e t w o r k ，p d b n n ) 用于识别人脸。其主要思想是采用虚拟样本f f 反例) 进行强化和反强化学习，从而得到较理想的概率估计结果，并采用模块化的网络 结构加快网络的学习。这种网络结构继承了决策神经网络( d b n n ) 的结构，并加入概率 变化。每个子网对应一个人，这种结构不仅有利于训练和识别，而且有利于做硬件。 用于人脸识别的其他神经网络还有：用h o p f i e l d 网络进行低分辨率人脸联想和识 别：将r b f 与树型分类器结合起来进行人脸识别的混合分类器模型：采用统计学习理 论中的支持向量机进行人脸识别。在人脸识别中用得较多的另一种神经网络是时滞神经 网络( r n m ed e l a yn e u r a ln e t w o r k ，t d n n ) ，它是m l p 的一种变形。此外，由于单个神 经网络有一定的局限性，现在出现了多模态的神经网络，如t d n n + r b f 等，即由两种 类型的神经网络共同来完成人脸识别任务。 神经网络方法在人脸识别上比其他类型的方法有其独到的优势，它避免了复杂的特 征提取工作，可以通过学习的过程获得其他方法难以实现的关于人脸识别的规律和规则 的隐性表达。此外，神经网络以并行方式处理信息，如果能用硬件实现，就能显著提高 速度。神经网络方法除了用于人脸识别外，还适用于性别识别、种族识别等。 1 4 6 弹性图匹配方法 弹性图 4 1 匹配方法是一种基于动态链接结构( d y l l a r l l i cl i n ka r c h i t e c t u r e ，d l a ) 的方 法。它将人脸用格状的稀疏图表示，图中的节点用图像位置的g a b o r 小波分解得到的特 征向量标记，图的边用连接节点的距离向量标记。匹配时，首先寻找与输入图像最相似 的模型图，再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其节点逼近 模型图的对应点的位置。w i s k o t t 等人使用弹性图匹配方法，以f e r e t 图像库做实验， 准确率达到9 7 3 。弹性图匹配方法对光照、位移、旋转及尺度变化都不敏感，是一种 优于特征脸方法的人脸识别方法。此方法的主要缺点是对每个存储的人脸需计算其模型 图，计算量大，存储量大。为此，w i s k o t t 在原有方法的基础上提出聚束图匹配，部分 克服了这些缺点。在聚束图中，所有节点都已经定位在相应目标上。对于大量数据库， 这样可以大大减少识别时间。另外，利用聚束图还能够匹配不同人的最相似特征，因此 可以获得关于未知人的性别、胡须和眼镜等相关信息。l e e 等提出了一种基于弹性图动 态链接模型的方法，既取得较高的识别速度，也获得了较理想的识别率，在一定程度上 克服了以往方法总是在速度与识别率之间进行折中的缺点。 9 一 北方工业大学硕+ 学位论文 1 4 7 其他人脸识别方法 以上介绍的是几种典型的人脸识别方法，从分析中可以看出，每种方法各有其优缺 点，因此一些学者倾向于将多种方法综合起来，或同时利用不同种类的特征。如j i a 等 指出，要从大量人脸数据库中进行识别，单靠扩展单一种类的特征数目是不够的，而要 扩展与原特征集正交的其它种类特征，他们在正面人脸几何特征的基础上，将侧面轮廓 特征、眼睛形状特征以及人脸轮廓特征也加入特征矢量，获得了比采用单一正面人脸几 何特征为特征矢量方法更高的识别率。l a i 等结合小波变换与傅立叶变换提出与平移、 缩放、平面内旋转无关的光谱脸人脸表征方法。 目前人脸识别研究的对象基本上都是针对二维灰度图像，除此之外，还有深度人脸 图像识别和红外人脸图像识别方法。深度图像包含了人脸的深度信息，g o r d o n 针对深 度图像提出了一种基于模板的用图像数据的曲率作描述子的识别方法。他使用一个旋转 的激光扫描系统获得人脸深度图像，获得的曲面数据以柱坐标形式存储，然后根据曲面 上各点法向最火和最小曲率的振幅和相位值定位眼睛、鼻子和两侧脸部区域。红外人脸 图像( 也叫温谱图) 对每个人来说都是唯一的，所以可以利用温谱图识别人脸。另外在黑 暗中也能捕捉红外光，因此用红外人脸图像在黑暗中也能进行识别。 对于多c c d 摄像机系统，可以得到多视点人脸图像，从而可以获得人脸的立体模 型，含有三维信息的特征能有效解决人脸在光照、伪装或年龄变化等情况下的识别问 题。 一1 0 一 北方工业大学硕士学位论文 2 基于肤色特征和眼睛位置的人脸检测与定位 人脸检n ( f a c ed e t e c t i o n ) 是指在输入图像中确定所有人脸( 如果存在) 的位置、大小、 位姿的过程。人脸检测的基本思想是建立人脸模型，比较所有可能的待检测区域与人脸 模型的匹配程度，从而得到可能存在人脸的区域。根据对人脸知识的利用方式，可以将 人脸检测方法分为两大类( 如图2 1 ) ：基于特征的人脸检、坝4 方法和基于i 訇像的人脸检测方 法。第一类方法直接利用人脸信息，比如人脸肤色、人脸的几何结构等。这类方法大多 用模式识别的经典理论，占人脸检测文献的大部分。第二类方法并不直接利用人脸信 息，而是将人脸检测问题看作一般的模式识别问题，待检测图像被直接作为系统输入， 中间不需特征提取和分析，而是直接利用训练算法将学习样本分为人脸类和非人脸类， 检测人脸时只要比较这两类与可能的人脸区域，即可判断检测区域是否为人脸。 人脸检测 基于特征的 人脸检测 基于图像的 人脸检测 轮廓规则 器官分布规则 肤色纹理规则 对称性规则 运动规则 图2 1 人脸检测方法分类 对于一个全自动的人脸自动识别系统，其首要工作是人脸图像的分割以及主要器官 的定位。本文从工程实践出发采用基于肤色特征来检测人脸，再依据眼睛的位置对人脸 进行精确定位：利用差分图像方法得到一幅有人存在的图像，依据人的肤色信息，在 y c r c b 空间进行肤色映射生成二值图像，采用形态学方法消除部分干扰，然后根据人脸 的形状特征确定人脸所在位置，最后确定出人眼位置，根据人眼的位置准确定位人脸的 上下左右边界，从而得到人脸的准确定位。 北方工业大学硕士学位论文 2 1 基于差分图像的人所在区域提取 本论文研究了在背景固定的环境中，人脸定位的问题。在一般情况下，可以调整摄 像机，使得当前环境中操作者在图像中占中心位置，而且大部分时间内图像中只有操作 者，因此主要是一个单人的人脸检测问题 1 。这样的限定问题是有一般性的，同样适用 于许多需要人脸自动输入的问题，如保安管理、门禁系统等，因为在这些场合下，可以 布置一