（计算机应用技术专业论文）基于形状模型的人脸特征点定位技术研究.pdf

基于形状模型的人脸特征点定位技术研究 摘要 自动人脸识别( a f r ) 技术试图赋予计算机根据人脸特征辨别人类身份的能 力，该研究具有重要的科学意义和巨大的应用价值。经过三十多年的发展，a f r 技术取得了长足的进步。目前，最好的人脸识别系统在理想条件下己经取得可 以接受的识别性能，但测试和实践经验表明：非理想条件下的人脸识别技术还 远未成熟，要开发出真正鲁棒、实用的a f r 应用系统还需要解决大量的关键问 题，尤其需要研究作为识别必要前提条件的面部关键特征精确定位问题。特征 定位远不是一个己经解决的问题，尤其需要注意非理想成像条件下的特征定位 问题。因此，为了开发出具有真正实用的人脸识别系统，必须充分重视对面部 关键特征点定位的研究，本文的主要工作有： 本文重点探讨基于统计学习的面部特征点定位的问题，详细介绍了 a s m b t s m 模型的基本原理，阐述了基于灰度级外观模型的a s m b t s m 算法， 系统介绍了a s m b t s m 模型的扩展，对a s m b t s m 的形变模式、迭代搜索、 灰度级外观匹配等过程进行了具体深入的剖析。 提出了一种基于局部二进制模式的形状模型定位算法。该算法提取以特征 点为中心的矩形区域l b p 块作为人脸特征点的局部特征，使用主成分分析算法 建立一个基于重构误差的分布模型，然后对待匹配形状进行迭代搜索。另外， 为了减小待匹配点不在法线方向上所造成的误差，采用了八方向搜索最佳轮廓 点。实验比较了本文算法与传统算法所具有的优点，l b p b t s m 算法比传统的 特征点定位算法更精确，但是姿态问题依然是影响特征定位的主要问题。 提出了一种基于形状评价的加权贝叶斯切线模型( w b t s m ) 。在基于局部纹 理模型的基础上定义了一种形状评价函数，它衡量搜索得到的形状与训练数据 的匹配程度。w b t s m 采用形状评价信息，把搜索得到的形状用加权的方式投 影到形状子空间，而不像在贝叶斯形状模型中采用正交投影，与正交投影相比， 加权投影可以利用搜索过程中的信息，使得搜索可能跳出局部极值，从而得到 更准确的结果。 最后，本文设计了一个基于w i n d o w s 的自动人脸识别系统平台，能够有效 提取人脸特征，该系统包括人脸检测，特征定位，人脸识别三个主要组成部分。 关键宇：人脸识别；人脸检测；特征定位；形状模型；局部二进制模式：加权 贝叶斯切线模型 a b s t r a c t a u t o m a t i cf a c e r e c o g n i t i o n( a f r )t e c h n o l o g yi s t r y i n g t oe n d o wt h e c o m p u t e r w i t ht h e c a p a c i t yo fi d e n t i f y i n gh u m a ni d e n t i t ya c c o r d i n gt of a c i a l f | e a t u r e s t h e s t u d yh a si m p o r t a n ts c i e n t i f i c s i g n i n c a n c ea n de n o r m o u sa p p l i e d v a l u e a r e rt h i r t yy e a r so fd e v e l o p m e n t ，a f rt e c h n o l o g yh a sm a d ec o n s i d e r a b i e p r o g r e s s a tp r e s e n t ，w eh a v eo b t a i n e da c c e p t a b l er e c o g n i t i o np e r f o r m a n c eu s i n g t h eb e s tf - a c er e c o g n i t i o ns y s t e mu n d e ri d e a lc o n d i t i o n s h o w e v e r t e s t i n ga n d p r a c t l c a le x p e r l e n c es h o w st h a tf a c er e c o g n i t i o nt e c h n o l o g yu n d e rt h en o n i d e a i c o n d i t i o n si ss t i l lf a rf r o mr i p ea n di ti s n e c e s s a r yt or e s o l v em a n yk e vi s s u e st o d e v e l o par e a l l yr o b u s t ，p r a c t i c a la p p l i c a t i o no fa f rs y s t e m i np a r t i c u l a r ，w en e e d t os t u d yp r e c i s ea l i g n m e n to fk e yf a c i a lf 色a t u r e sa san e c e s s a r yp r e c o n d i t i o nf o f r e c o g n i t i o n f e a t u r ep o i n t sa l i g n m e n tf a rf r o mb e i n gap r o b l e mh a sb e e ns o l v e d i n p a r t i c u ! a r i t r e q u i r e dt h a tw es h o u l da t t e n tw h e nw es o l v e dt h ep r o b l e mu n d e r n o n i d e a lc o n d i t i o n s t h e r e f o r e ， i no r d e rt o d e v e l o p at r u i y p r a c t i c a lf a c e r e c o g n l t l o ns y s t e m ， w em u s tg i v ef u l la t t e n t i o nt of e s e a r c h so nt h ek e vf a c i a l f e a t u r ep o i n t sa 1 g n m e n t i nt h i sp a p e r ，t h em a i nr e s e a r c hw o r ki sa sf o l l o w s t h i sa r t i c l ef o c u s e so nt h es u b j e c to ff a c i a lf e a t u r ep o i n t sa l i g n m e n tb a s e do n s t a t i s t i c a js t u d y w ep r e s e n tt h eb a s i c p r i n c i p i e so fa s m b t s md e t a i l e d l v ， i n t r o d u c et h ea s m b t s ma l g o r i t h mb a s e do nt h ea p p e a r a n c eo fg r a y s c a l em o d e i a n di n t f o d u c et h e e x p a n s i o no fa s m b t s mm o d e ls y s t e m l y 、v ea n a l y s i st h e d e f o r m a t i o nm o d e i ，i t e r a t i v es e a r c ha n dt h em a t c h i n gb a s e do nt h ea p p e a r a n c eo f g r a y s c a l eo ft h ea s m b t s m a na l g o r i t h mo fs h a p em o d e la i i g n m e n tb a s e do nl o c a l b i n a r yp a t t e r ni s p r o p o s e di nt h i sp a p e f t h ea l g o r i t h me x t r a c t sl b pb i o c kw h i c hi st h ec e n t e ro ft h e r e c t a n g u l a ra r e ao ff b a t u r ep o i n t sa st h el o c a lf - e a t u r eo ff - a c i a if e a t u r ep o i n t s ， e s t a b l i s h sad i s t r i b u t i o nm o d e lb a s e do nr e c o n s t r u c t i o ne r r o r u s i n gp r i n c i p a l c o m p o n e n ta n a l y s i sa l g o r i t h m ，a n dt h e ns e a r c h st h es h a p et ob em a t c h e di t e r a t i v e l v i na d d i t i o n ，i no r d e rt or e d u c et h ee r r o rc a u s e db yp o i n t st ob em a t c h e da r en o to n t h ed l r e c t l o no fn o r m a l ，w eu s et h em a t h o ds e a r c h i n gt h eb e s to u t l i n ep o i n t so ne i g h t d i r e c t i o n w ec o m p a r et h ea d v a n t a g ea n dd i s a d v a n t a g ew i t ht h ea l g o r i t h mi nt h i s p a p e ra n dt h et r a d i t i o n a la l g o r i t h mi ne x p e f i m e n t e x p e r i m e n tr e s u i t ss h o wt h a t l b p b t s ma l g o r i t h mi sm o r ep r e c i s et h a nt h et r a d i t i o n a la l g o r i t h m b u t p o s ei s s t i l it h em a i nq u e s t i o no ff 色a t u r ep o i n t sa l i g n m e n t 一i i i a na l g o r i t h mo fw e i g h t e db a y e s i a nt a n g e n ts h a p em o d e l ( w b t s m ) b a s e do n s h a p ee v a l u a t i o ni sp r e s e n t e di nt h i sp a p e r w ed e 6 n eaf u n c t i o nb a s e do ns h a p e e v a l u a t i o ni nt h eb a s i co fl o c a lt e x t u r em o d e l ，w h i c hm e a s u r et h ee x t e n tt ob e m a t c h e dw i t ht h es h a p et ob es e a r t h e da n dt r a i n i n gd a t a w b t s m a i g o r i t h mu s i n g t h ei n f 0 r m a t i o no fs h a p ee v a l u a t i o n ，p r o j e c t st h es h a p eb e i n gs e a r c h e dt ot h es h a p e s u b s p a c ei nt h em a n n e ro fw e i g h t e d ，w h i c hi su n l i k et h eb a y e s i a nt a n g e n ts h a p e m o d e lu s i n go r t h o g o n a lp r o j e c t i o n c o m p a r e dw i t ht h eo r t h o g o n a lp r o j e c t i o n ，t h e w e i g h t e dp r o j e c t i o nc a nu s et h ei n f o r m a t i o ni nt h ep r o g r e s so fs e a r c h i n g ，a n dt h e s e a r c hm a yj u m po u to fi o c a le x t r e m u m ，s ow ec a ng e tm o r ea c c u r a t er e s u l t s f i n a l l y ，w ed e s i g naw i n d o w s - b a s e da u t o m a t i cf a c er e c o g n i t i o ns y s t e mt h a tc a n e x t r a c tf a c i a lf e a t u r ee f 琵c t i v e l y t h e s y s t e mi n c l u d e st h r e em a i nc o m p o n e n t so f f a c er e c o g n i t i o nw h i c ha r ef a c ed e t e c t i o n ，f e a t u r ei o c a t i o na n df a c er e c o g n i t i o n k e yw o r d s ：f a c er e c o g n i t i o n ；f a c ed e t e c t i o n ；f e a t u r el o c a t i o n ；s h a p em o d e l ； l o c a ib i n a r yp a t t e r n ；w b t s m ； i v 硕士学位论文 插图索引 图1 1 人脸的模式特征7 图1 2 影响面部特征点定位的非理想因素l l 图2 i 轮廓的边界点1 6 图2 2 不同姿态的人脸图像1 6 图2 3 形状向量的对齐过程1 8 图2 4 形状向量与特征向量的关系2 l 图2 5 形状模型的搜索流程图2 2 图2 6b t s m 的模型参数形成过程2 4 图2 7l b p 算法示意图2 5 图2 8l b p 计算示意图2 6 图2 9 尺度为( 8 ，2 ) 和( 1 6 ，2 ) 的扩展l b p 算子2 6 图2 1 0l b p 变换后的入脸特征分布2 7 图3 1l d 局部纹理模型2 9 图3 22 d 局部二进制摸型3 0 图3 3 人脸图像训练集3 3 图3 4l b p b t s m 算法部分实验结果j 3 3 图3 5 特征值的分布情况3 4 图3 6 测试样本的均方根误差分析3 4 图3 7 本文算法与b t s m 算法的实验结果比较3 5 图3 8b t s m 和l b p b t s m 误差比较3 5 图4 1 形状模型的例子4 0 图4 2w b t s m 算法部分实验结果4 2 图5 1 人脸识别系统框架4 4 图5 2 人脸数据库的关系图4 5 图5 3 人脸识别系统界面4 6 图5 4 归一化后的人脸图像4 6 基于形状模型的人脸特征点定位技术研究 附表索引 表1 1 人脸识别的典型应用3 表4 1w l j l t s m 算法与其它算法误差比较4 2 表5 1p e r s o n a l i n f o r m a t i o n 表4 4 表5 2i m a g e i n f o r m a t i o n 表4 5 表5 3f e a t u r e s 表4 5 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名再，忆佑日期：妒，年。午月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密囹。 ( 请在以上相应方框内打“) 作者签名：多n 佑日期：吖年( ) 午月z 号日 刷币獬：枷种醐一7 年争月2 产 硕l j 学位论文 1 1 生物特征识别 第1 章绪论 随着人类物理与虚拟活动空间的不断扩大，现代社会对于人类自身身份识别 的准确性、安全性与实用性提出了更高的要求。传统的身份识别方法诸如智能卡、 身份证、密码等已经远远不能满足这种要求，它们需要随身携带，且容易丢失或 被伪造，个人的用户名和密码容易被遗忘或记错，甚至可能被不明人士利用网络 漏洞冒充身份，盗取个人资料和财产。为了顺利的解决这些问题，避免人类为这 些因素而烦恼，生物特征识别技术开始进入人类的生活，踏入安全认证的领域。 如今，随着现代社会的高度信息化，随着科学技术的不断发展，生物识别技术已 经取得了很大的进步，其应用领域也不断的扩大与深入。 人体生物特征识别( b i o m e t r i c s id e n t i 丘c a t i o n ) 技术是根据人体固有的生物特 征来识别个人身份的一种新的技术。由于生物特征具有唯一性，所以利用高科技 手段将各个特征识别出来，即可鉴别每一个人身份的真伪。与上述传统的识别技 术相比，生物特征识别具有不易遗忘或丢失、“随身携带 、不易被伪造或盗窃 等优点，受到广大群众的信赖和支持。人体的生物特征分为生理特征和行为特征。 其中，生理特征是与生俱来的，是先天性的，通常用于身份识别的生理特征包括 指纹、掌形、面形、声音、视网膜、虹膜、脉搏、耳廓和骨架等；而行为特征是 后天习惯形成的，应用于身份识别的行为特征有签字、步态、按键力度等。生物 特征身份鉴别技术包含身份验证和识别两方面内容，身份验证是确定用户是否是 其所声明的那个人，身份识别是确定用户是目标人群中的哪个人，两者在实现方 法和鉴别系统的复杂程度上有着极大的不同。生物特征识别技术是依据人的生物 特征的惟一性、不变性和可测量性进行个体识别的，其基本工作就是对这些基本 的、可测量或可自动识别和验证的生理特征进行统计分析。 1 1 1 生物特征识别技术的发展与应用 在过去的二十年里，图像及信号模式识别的大多数研究进展是依据决策论方 法得到的，应用方面包括指纹识别、文字识别、心电图分类、语音识别等。决策 论方法的主要处理思想是从图像中提取特征构成特征向量，然后通过划分特征空 自j 的办法来确认归属的模式类。目前，生物特征识别技术已经为消费品市场所接 受，国外很多运用高新技术的公司和企业已经成功地开发了利用人脸、虹膜、指 纹等生物特征进行识别的产品，并在机场、银行、电子商务和各种门禁系统中得 到了广泛的应用。美国一家名为”j r j s c a n ”的高技术公司研制出的虹膜识别系统 皋于形状模型的人脸特行点定位研究 己经应用在美国得克萨斯州联合银行的3 个营业部内。日本三菱电机公司不久前 将“指纹认证装置。微型化，并内置于公司将要推出的手机中。另外，在电子门 禁控制与考勤管理、计算机终端的进入控制、政府及司法部门、消费者或商家买 卖交易等方面，也涌现出了很多相应的产品和技术。 1 1 2 生物特征识别技术面临的机遇和挑战 计算机与网络技术的广泛使用、电子服务业的繁荣、硬件技术的发展等都为 生物识别技术的发展带来了很多机遇，政府支持力度的加大和生物识别标准化的 进行也为这一产业的发展提供了强大的支持。与此同时，生物识别产业的发展也 面临着很多挑战，包括大范围的应用、使用者对该技术的接受程度、用于商业用 途时的隐私保护问题等等。随着对识别技术的不断研究，生物特征识别技术在将 来还要在各个方面取得改进。在系统的性能上，要考虑到系统识别率的高低与精 确程度、对于资源的需要，另外还要求系统具有程序的可移植性、系统的开放性、 可扩展性、可维护性、可接受性、可靠性、易操作性、安全性、快速性、非侵犯 性及广泛的适应性。目前，国际上对生物特征识掰尚未形成统一的标准，很多国 际组织正在积极地进行标准的制定，其中最主要的是a n s j x 9 ，8 4 1 2 j ，它是有关生 物特征的管理和安全的标准。由于标准必须具有先进性、通用性和有效性，并要 得到世界各国的认同，因此形成标准仍是一项艰巨的任务均。 1 1 3 人脸识别作为生物识冕i i 具有的应甩前景 在信息安全领域，信息网络目益普及，在带绘人民群众更多利益豹同时， 也带来了严峻的信息获取和访问的安全褐惩。信息安全j 己弓f 起了全社会的广泛 关注，通过信息网络窃取国家机密、藕照瓷料等狐器现象臣益增多，严重影响 了社会的公共安全和国家安全。另乡 ，随着电子商务业务酶b 益骜及，人们在 享受网络带来的各种不同类型服务如镊行自动取款等 瞬同时，信息安全也开 始与每个人的生活息息相关。生物特征谈黝技术则可以为此提供一种更加可靠、 安全和方便的身份认证手段，在更规方便人铌信息获取盼同黯，保障信息访问 的安全合法。而人脸识别作为一种典型生悠特征识，蹦技术，驭其自然性、高可 接受性等优点受到了人们的青睐，可应甩于器行各犍中，表1 1 日j 汇总了人脸识 别的一些典型应用。 硕l ：学位论文 表1 1 人脸识别的典型应用 应用模型 典型具体应用 特点说明 应用领域 出入境管理 过滤敏感人物( 间谍、恐怖分子等) 国家安全 嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份公共安全 敏感人物智能控制 监控敏感人物( 间谍、恐怖分子等) 国家安全 身 网上追逃在p d a 等移动终端上进行现场比对公共安全 份 关键场所视频监控 入银行大厅，预警可能的不安全冈素公共安全 识 家政服务机器人能够识别家庭成员的智能机器人人机交互 别 自动系统登陆自动识别用户身份，提供个性化界面人机交互 智能a g e n t 自动识别用户身份，提供个性化界面人机交互 真实感虚拟游戏提供真实感的任务面像，增加交互性人机交互 护照、身份证等查验海关、港口、机要部门等夯验持证人身份公共安全 机要部门物理门禁避免钥匙和密码被窃取造成失窃 公共安全 身 机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全 份 面向考勤系统方便，快捷，杜绝代考勤问题企业应用 验 金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全 证 电子商务身份验证安全可靠的身份验证手段金融安全 智能卡安全可靠的授权信息安全 会议代表身份验证防j ：非法人员进入会场带米危险冈素公共安全 1 1 4 人脸作为生物特征识别方法的优势与不足 如前所述，可供选用的生物特征识别手段有很多种，但他们在身份鉴别方 面的安全性、可靠性等性能上是各有千秋的。其中，人脸识别是人类用来互相 识别的最重要的方法。 与其它生物特征识别技术相比，人脸识别在可用性方面具有独到的技术优 势，这主要体现在： 1 ) 可以隐蔽操作，尤其适用于安全监控。 这一点特别适用于解决重要的安全问题、罪犯监控与网上抓逃等应用，这 是指纹、虹膜、视网膜等其它人体生物特征识别技术不能比拟的。 基于形状模型的人脸特行点定位研究 2 ) 非接触式采集，没有侵犯性，容易被接受。 因此，不会对用户造成生理和心理上的伤害，另外也比较符合一般用户的 习惯，容易被大多数用户接受。 3 ) 具有方便、快捷、强大的事后追踪能力。 基于面像的身份认证系统可以在事件发生的同时记录并保存当事人的面 像，从而可以确保系统具有良好的事后追踪能力。例如，用于考勤系统的时候， 管理人员就可以方便的对代打卡进行事后监控和追踪，这是指纹、虹膜等生物 特征所不具有的性质( 一般人不具备指纹、虹膜鉴别能力) 。 4 1 图像采集设备成本低。 目前，中低档的c c d c m o s 摄像头价格已经非常低廉，基本成为标准的 外设，极大的扩展了其实用空间；另外，数码相机、数码摄像机和照片扫描仪 等摄像设备在普通家庭的日益普及进一步增加了其可用性。 5 ) 更符合人类的识别习惯，可交互性强。 例如，对于指纹、虹膜等识别系统，一般用户对识别往往是无能为力的， 而对人脸来说，授权用户的交互和配合可以大大提高系统的可靠性和可用性。 然而，人脸识别作为生物特征识别技术也有其固有的缺陷，这主要表现在： 1 1 人脸特征稳定性较差。 通常，尽管面像不会发生根本性的变化( 故意整容除外) ，但人脸是有极强 可塑性的三维柔性皮肤表面，会随着表情、年龄等的变化而发生改变，皮肤的 特性也会随着年龄、化妆乃至整容、意外伤害等发生很大变化。 2 ) 可靠性、安全性较低。 尽管不同个体的人脸各不相同，但人类的面孔总体是相似的，而且地球上 人口如此众多，以致很多人的面孔之间的差别是非常微妙的，技术上实现安全 可靠的认证是有相当难度的。 3 ) 图像采集受各种外界条件影响很大，因此识别性能会有差异。 图像的摄制过程决定了人脸图像识别系统必须面对不同的光照条件、视角、 距离变化等非常困难的视觉问题，这些成像因素都会极大影响人脸图像的表观， 从而使得识别性能不够稳定。 这些缺点使得人脸识别成为一个非常困难的挑战性课题，尤其是在用户不 配合、非理想采集条件下的人脸识别问题，更成为目前的热点问题。目前，世 界上最好的人脸识别系统也只能在用户比较配合、采集条件比较理想的情况才 可以基本满足一般应用的要求。当然，随着技术的进步，相信这些问题也应该 可以逐步解决，从而使得( a f r ) 技术能够更好的满足公众的期望。 硕i ：学位论文 1 2 人脸检测 人脸检测( f a c ed e t e c t i o n ) 是指计算机根据一定的算法确定输入图像中所有人 脸( 如果存在) 的位置与大小的过程。人脸检测系统的输入是可能包含人脸的图像， 输出是关于图像中是否存在人脸以及人脸的参数化描述。具体地说，就是根据一 定的算法确定输入图像是否存在人脸，如果存在的话，给出人脸的位置作为人脸 检测系统的输出结果。人脸检测是人脸识别的前提，是模式识别和计算机视觉领 域的重要研究方向之一。人脸检测的研究受到重视，不仅因为它在基于人脸的身 份验证、视觉监测以及基于内容的检索等方面有着重要的应用，而且从学术的观 点来看，人脸检测是物体( 模式) 检测中的一个典型问题，在智能监控、人机交互、 基于对象的编码等领域也有着广泛的应用。计算机检测人脸的困难之处在于受背 景、表情、光照、成像角度、成像距离等影响，而且从二维图像重建三维图像是 病态的过程，目前尚无很好的描述人脸的三维模型。此外，人脸检测还涉及图像 处理、模式识别、以及神经网络等多门学科。如果用于实时处理，还要加上计算 速度的要求，这些因素使得高质量的人脸检测仍为一项极富挑战性的课题，受到 众多研究者的关注。 1 2 1 人脸检测方法分类 人脸检测问题所包含的内容十分广泛，从不同的角度有不同的分类方法。本 文介绍的方法主要是针对静态图像中的人脸检测。目前已有的人脸检测方法种类 繁多，大致可分为五类：基于知识的人脸检测方法、基于统计模型的人脸检测方 法、基于特征的人脸检测方法、基于模板匹配的人脸检测方法以及基于肤色的人 脸检测方法。 1 ) 基于知识的方法 基于知识的方法1 4 j 是基于规则的人脸检测方法，规则来源于研究者关于人脸 的先验知识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系， 如在一幅图像中出现的人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴。 特征之间的相互关系可以通过它们的相对距离和位置来描述。在输入图像中首先 提取面部特征，然后根据面部特征确定基于编码规则的人脸候选区域。 这种方法存在的问题是很难将人类知识转换为明确定义的规则。如果规则是 详细的( 严格的) ，由于不能通过所有的规则，检测可能失败；如果规则太概括( 通 用) ，可能会有较高的错误接收率。此外，很难将这种方法扩展到在不同的姿势下 的检测人脸，因为列举所有的情况是一项很困难的工作。 2 ) 基于统计模型的方法 基于形状模型的人脸特征点定化研究 由于人脸图像的复杂性，显式地描述人脸特征具有一定困难，因此另一类方 法一基于统计模型的方法【5 】【6 l 越来越受到重视。此类方法将人脸区域看作一类模 式，即模板特征，使用大量的“人脸”与“非人脸 样本训练、构造分类器，通 过判别图像中所有可能区域属于哪类模式的方法实现人脸的检测。实际上，人脸 检测问题被转化为统计模式识别的二分类问题，该方法的典型算法是a d a b o o s t f 7 j 【8 】 算法。 3 ) 基于模板匹配的方法 基于模板匹配的方法是提i j 建立一个标准的人脸模板，在检测和定位人脸 时，在图像灰度层次上直接将待检测人脸图像的模板与这个标准模板相比较，求 两者的相似程度。这种方法比较容易完成一定的人脸检测任务，但对于质量不太 好的图像，检测效果不理想。因此，鉴于单模板匹配的不足，通过改进提出了基 于多模板匹配的单人脸检测方法【9 j ，它的主要思想是：首先建立双眼模板和不同 长宽比的人脸模板，在进行人脸检测时，先使用双眼模板找出双眼的位置，再使 用不同长宽比的人脸模板根据人脸的长宽比确定出入脸区域的位置和范围，最后 利用人脸器官的边缘特征进行确认。 y u l l i e 等【l0 j 提出了基于弹性模板的方法用于人脸检测。弹性模板是由一个根 据被测物体形状而设定的参数化的可调模板和与之相应的能量函数所构成，能量 函数是根据图像的灰度信息、被测物体轮廓等先验知识而设计出来的。当用弹性 模板进行人脸检测时，首先，将可调模板在待测图像中移动，并动态地调整其参 数，计算能量函数。当能量函数到达最小值时，根据其位置和参数所决定的可调 模板形状应该达到与人脸形状的最佳拟合，这样就检测到了一幅人脸。这种方法 的优点在于，由于使用的弹性模板可调，能够检测不同大小、具有不同偏转角度 的物体。但是其缺点是检测前必须根据待测人脸的形状来设计弹性模板的轮廓 l ，否则会影响收敛的结果：当对图像进行全局搜索时，由于要动态地调整参数 和计算能量函数，计算时间过长。周激流【1 2 j 等人提出了一种全新的人脸脸部轮廓 提取算法，即运用先验模板及交替补偿机制的方法提取脸部轮廓。实验证明，其 提出的特征提取算法高效且鲁棒性能好。 4 ) 基于肤色的方法 对于彩色图像而言，肤色是检测人脸的最直观、最有效的元素。而使用该方 法时，需要考虑的是有色光光照，因种族导致肤色差异、同种族人的肤色差异等 等而造成的色度变化问题。 w u 【1 3 l 提出了一种使用模糊理论在彩色图像中检测人脸的方法。该方法使用 两种不同的模糊模型( 分别描述皮肤颜色和头发颜色) 和归一化的色度空间来提高 硕l ：学位论文 精确性和稳定性，来检测人脸区域。据称该方法取得了9 0 到1 0 0 的成功率， 并且速度较快，有着很好的实时性。 c a i l l 4 l 提出一种使用色度图的方法在彩色图像中检测人脸。该方法通过一个 训练过程来获得色度图，色度图包含了不同的色度点作为皮肤的概率信息，然后 使用此色度图将彩色图像转换为灰度图像，高的灰度值表示该像素点是皮肤的概 率大，使用该方法检测人脸区域的成功率大于9 6 。 闻芳掣【l5 j 提出了一种基于局部线性映射神经网络和亮度补偿的彩色人脸检 测方法。该方法在实验室背景下取得了较好的效果，并且对于各种光照条件变化 都有很好的稳健性。 1 2 2 人脸模式分析 人脸图像所包含的模式特征十分丰富，如图1 1 所示。这些特征中哪些是最有 用的、如何利用这些特征，是人脸检测要研究的一个关键问题。人脸模式具有复 杂而细致的变化，因此一般需要采用多种模式特征综合的方法。综合的方式主要 有以下几种：简单组合( 加权平均等) 酬，概率分布( b a y e s 推理等) 【1 。7 1 ，统计推断， 模糊决策，机器学习( 人工神经网络，支持向量机等) ，启发式综合。归纳起来， 根据利用特征的色彩属性可以将人脸检测方法分为基于肤色特征的方法和基于 灰度特征的方法两类。前者适用于构造快速的人脸检测和人脸跟踪算法，后者利 用了人脸区别于其它物体的更为本质的特征，是人脸检测领域研究的重点。根据 特征综合时采用的不同模型，可以将基于灰度特征的方法分为两大类：基于启发 式( 知识) 模型的方法和基于统计模型的方法。由于人脸检测问题的复杂性，无论 哪一类方法都无法适应所有的情况，一般所说的解决方法都针对人脸检测领域内 某个或某些特定的问题而言的。 匪堕圈 图1 1 人脸的模式特征 基于形状模掣的人脸特征点定位研究 1 2 3 人脸检测的评价标准 为了反映出人脸检测系统的性能，常用统计指标包括：正确检测率、错误检 测率以及处理速度“刀等。 正确检测率是正确检测到的人脸数目除以测试集中包含的人脸总数目。 正确检测率= 嘉髻要篓翼妻龋。 c t ， 错误检测率是指检测系统将非人脸的区域错误的输出为“人脸” 率就是错误检测到的人脸数目除以测试集中包含的人脸总数目。 错误检测率= 翥笔薹塞篓裂器- 。测试集包笛的人脸总数日 ，错误检测 ( 1 2 ) 处理速度也是一个检测系统优劣的重要指标，但其与实验平台有关很难客 观的比较，往往以给出典型图片的处理时间作为参考。 除此之外，其它评价标准还有： 1 ) 训练样本数和训练速度于在不影响识别性能的情况下，要求训练样本数尽可能 少，训练速度尽可能快，训练时间尽可能短； 2 ) 检测响应速度，希望检测响应速度越短越好； 3 ) 对人脸图像的约束，希望对人脸图像拍摄条件以及人脸姿态、表情等约束越少 越好； 4 ) 系统可容纳的检测人脸的数目，希望能正确检测的人脸的数目越多越好； 5 ) 检测系统的硬件要求、系统的学习能力以及处理噪声的能力等。 在人脸检测的研究中，至今尚无统一的评价标准。目前使用的较多的人脸测 试集是m ll r 和c m u 人脸测试图像库【l 引。尽管目前存在许多的人脸检测算法，但 是每种算法都是针对不同的应用环境而得到的，还没有一种算法适用各种不同的 环境。虽然人们在人脸检测研究领域中取得了显著的进展，但是一个稳定性和鲁 棒性强的人脸检测系统需要在复杂环境下如光照条件、人脸方向、姿势和部分遮 挡、面部表情以及外部饰物等干扰下，也要具有很好的有效性和稳定性。通过对 上述文献总结，人脸检测研究的趋势应该是利用多种线索( 头发、肤色、器官、轮 廓和模板等) ，综合多种分类方法( 高斯模型1 19 1 、混和高斯模型【2 0 】【2 、神经网络和 支持向量机) 等，最后利用启发式信息与统计学习方法相结合。 硕 ：学位论文 1 3 人脸识别理论 经过三十多年尤其是近十年的发展，人脸识别取得了长足的进步，目前最 好的识别系统在理想情况下的表现已经令人相当满意。作为人脸识别一项重要 的子课题，面部关键特征点的自动定位技术，也百花齐放，人们对其提出了很 多实验效果很好的模型。下面概述了人脸识别，影响面部关键特征点定位的因 素以及面部关键特征点定位的主要方法。 1 3 1 人脸识别技术 面部关键特征点的定位技术作为人脸识别的子课题之一，离不开人脸识别 技术的发展。人脸识别的许多技术对面部特征点定位都有重要的指导意义，比 如特征脸识别技术就很好的应用到面部关键特征点定位技术中。因此，了解人 脸识别技术是十分必要的，下面列出了目前主要的人脸识别技术。 1 3 1 1 人脸识别问题描述 人脸识别问题是从给定的一幅图像中找出人脸，并与人脸库中的人脸迸行 比较，从而确定其是否是其中的某个人。人脸成像条件( 光照，姿态，饰物，表 情) 的多变性和人脸的相似性，使得正确识别人脸并不是件容易的事情。 1 3 1 2 人脸识别的主要方法 人脸识别作为模式识别的一种，一般可以分为三个组成部分：从场景中检 测并分割人脸；抽取人脸特征：匹配和识别人脸。由于人脸检测已经发展成为 一个独立的课题，具有特定的思想和方法，又因为需抽取的人脸特征与特定的 识别算法有关，所以在没有明确说明外，本文说的人脸识别是指侠义的人脸识 别，指的是人脸的匹配与识别。目前国内外研究人脸识别的算法层出不穷，根 据人脸表征方式的不同，常用的方法总体可分为以下三种：基于几何特征的识 别方法、基于统计的人脸识别方法和基于连接机制的识别方法【2 2 1 。 1 1 基于几何特征的人脸识别方法 这类识别算法首先将人脸用一个几何特征矢量表示，用模式识别中的层次 聚类【2 3 1 思想设计分类器来对人脸进行识别。它要求该矢量具有一定独特性，可 以反映不同人面部特征的差别。由于该算法对脸部朝向的改变非常敏感，要求 有一定的弹性，以消除时问跨度和光照的影响。识别工作的流程大体如下：首 先检测出面部特征点，通过检测这些关键点之间的相对距离，得到描述每个脸 的特征矢量，比如眼睛、鼻子、嘴的位置和宽度，眉毛的厚度和弯曲程度等， 以及这些特征之间的关系，用这些特征来表示人脸。比较未知脸和人脸库中己 知脸中的这些特征矢量，来决定最佳匹配。基于几何特征的识别方法具有如下 优点：符合人类识别人脸的机理，易于理解；对每幅图像只需存储一个特 慕于形状模型的人脸特征点定位研究 征矢量，存储量小；对光照变化不太敏感。这种方法同样存在如下问题： 从图像中抽取稳定的特征比较困难，特别是特征受到遮挡时；对强烈的表情 变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本形状与结 构关系，忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。 2 ) 基于统计的人脸识别方法 基于统计的人脸识别方法：包括特征脸方法( e i g e n f a c e ) f 2 4 l 【25 1 ，6 s h e r 的l d a 判别式方法【2 6 2 7 1 ，l a p l a c i a n f a c e s 方法【2 8 】1 2 9 儿30 1 ，支持向量机( s u p p o r tv e c t o r m a c h i n e s ，s v m ) 【3 1 儿3 2 1 以及隐马尔可夫方法1 3 3 1 等。这类方法面临的主要问题是图 像的纬度太大，解决这一类问题的方法是采用降维技术，常用的降维方法主要 有主成分分析方法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) ，线性判别式分析方法 ( l i n e a rd i s c r i m i n a t ea n a l y s i s ，l d a ) ，位置保留映射方法( l o c a l i t yp r e s e r v i n g p r o j e c t i o n s ，l p p ) 【3 4 】【3 5 1 【3 6 1 。统计的识别方法从整体上捕捉和描述人脸的特征， 所运用的主要是一些标准的数据统计技巧，运算比较复杂，内存要求高，对样 本的先验知识依赖较大。 3 ) 基于链接机制的人脸识别方法 基于链接机制的人脸识别方法包括一般的神经网络方法( n n ) ( 3 7