（系统分析与集成专业论文）人脸检测与面部特征定位技术的研究.pdf

中文摘要 中文摘要 自动人脸识别( a f r ) 研究试图赋予计算机根据人脸辨别人物身份的能力。 该研究具有重要的科学意义和巨大的应用价值。经过三十多年的发展，a f r 技术 取得了长足的进步，目前最好的自动人脸识别系统在理想情况下已经能够取得 可以接受的识别性能。但测试和实践经验表明：非理想条件下的人脸识别技术 还远未成熟，要开发出真正鲁棒、实用的a f r 应用系统还需要解决大量的关键 问题。本文重点探讨了基于肤色的人脸检测过程和基于统计学习的面部特征定 位问题。 人脸检测是人脸识别的前期重要工作，本文首先分析了国内当前人脸检测 的常用方法，接着介绍了一些常见的色彩空间的相关知识，然后重点讨论了一 种基于肤色模型和模板匹配的人脸检测算法，主要是利用肤色模型得到可能的 皮肤区域后利用模板匹配进行确认，该方法减少了模板匹配的运算量，提高人 脸检测的精确度和速度。 人脸检测完成之后就要进行面部特征定位，因此本文接着研究了面部特征 精确配准问题，重点讨论了基于主动形状模型的人脸定位算法。首先介绍了点 分布模型，并在训练样本对齐、形状变换建模和灰度模型的建立等方面展开讨 论，然后详细讨论了主动形状模型的整个搜索过程并对主动形状模型的做了一 些改进，讨论了相关研究工作。 最后，实现了一个人脸检测和特征定位的仿真系统，并进行了大量的实验 和测试。结论表明该系统对人脸检测和面部特征定位均有着较好的效果。 关键词：人脸检测，特征定位，肤色模型，模板匹配，主成分分析，主动形状 模型 a b s t r a c t a u t o m a t i cf a c er e c o g n i t i o n ( a f r ) a i m sa te n d o w i n gc o m p u t e r sw i t ht h e a b i l i t yt oi d e n t i f yd i f f e r e n th u m a nb e i n g sa c c o r d i n gt of a c ei m a g e s s u c har e s e a r c h h a sb o t hs i g n i f i c a n tt h e o r e t i cv a l u e sa n dw i d ep o t e n t i a la p p h c a t i o n s a f t e rm o r et h a n 3 0y e a r s d e v e l o p m e n t , a f rh a sm a d eg r e a tp r o g r e s se s p e c i a l l yi nt h ep a s tt e ny e a r s t h es t a t e o f - t h e - a r ta f rs y s t e mc a np e r f o r mi d e n t i f i c a t i o ns u c c e s s f u l l yu n d e r w e l l c o n t r o l l e de n v i r o n m e n t h o w e v e r , e v a l u a t i o nr e s u l t sa n dp r a c t i c a le x p e r i e n c e h a v es h o w nt h a ta f r t e c h n o l o g i e sa r ec u r r e n t l yf a rf r o mm a t u r e ag r e a tn u m b e ro f c h a l l e n g e sa r c t ob es o l v e db e f o r eo n ec 雒i m p l e m e n tar o b u s tp r a c t i c a la f r a p p l i c a t i o n t h i sa r t i c l em a i n l yd i s c u s s e st h ep r o b l e mo ff a c ed e t e c t i o nb a s e do ns k i n c o l o ra n dt h ep r o b l e mo f f a c i a lp o i n tl o c a t i o nb a s e do ns t a t i s t i c a ll e a r n i n gm e t h o d s a st h ee a r l i e rp e r i o do ft h ef a c er e c o g n i t i o n , f a c ed e t e c t i o ni sv e r yi m p o r t a n t t h i st h e s i sf i r s td e s c r i b e ss o m em a i nc u r r e n tm e t h o d so ff a c ed e t e c t i o n , e n dt h e n i n 舡o d u c e st h ek n o w l e d g eo fc o l o rd i m e n s i o n af a c ed e t e c t i o nm e t h o db a s e do n s k i n - c o l o rm o d e la n dt e m p l a t em a t c h i n gi sd i s c u s s e d ，t h i sm e t h o dm a i n l yr i s et h e s k i nc o l o rm o d e lt og e tt h es k i nr e # o na n dt h e nc a r r yo i lt h ec o n f i r m a t i o nu s i n gt h e t e m p l a t em a t c h t h i sm e t h o do v e r c o m et h ed i s a d v a n t a g eo ft e m p l a t em a t c h i n g m e t h o da n di m p r o v e st h ep r e c i s i o na n ds p e e do f t h ed e t e c t i o n f a c ea l i g n m e n ts h o u l db ec a r r i e do u ta f t e rf a c ed e t e c t i o n , a n dt h e nt h i st h e s i s d i s c u s s e st h ef a c ea l i g n m e ma l g o r i t h mu s i n ga c t i v es h a p em o d e la se m p h a s i s p o i n t d i s t r i b u t i o nm o d e li sd e s c r i b e df i r s t l y , a n dt h r e ea s p e c t so fa s ma r cd i s c u s s e d ： a l i g n i n gt h et r a i n i n gs e t , m o d e l i n gs h a p ev a r i a t i o na n dl o c a lg r e ym o d e l t h e nt h i s t h e s i sd e s c r i b e st h ew h o l ep r o c e s so fa c t i v es h a p em o d e la n ds o m ei m p r o v e m e n t so f t h ea c t i v es h a p em o d e l a tl a s t , as i m u l a t i o ns y s t e mo ff a c ed e t e c t i o na n da l i g n m e n ti sr e a l i z e d ，a n dl o t s o f t e s ti sc a r r i e do u t t h er e s u l to f t h ee x p e r i m e n ts h o w st h a tt h i ss y s t e mi se f f e c t i v e a b s u a e t k e y w o r d s ：f a c ed e t e c t i o n , f a c ea l i g n m e n t , s k i nm o d e l ，t e m p l a t em a t c h i n g ，a c t i v e s h a p em o d e l ( a s m ) ，p r i n c i p l ec o m p o n e n t a n a l y s i s ( p c a ) h i 学位论文独创性声明 本人郑重声明： 1 、坚持以。求实、创新”的科学精神从事研究工作 2 ，本论文是我个人在导师指导下进行的研究工作和取得的研究 成果 3 、本论文中除引文外，所有实验、数据和有关材料均是真实的 4 、本论文中除引文和致谢的内容外，不包含其他人或其它机构 已经发表或撰写过的研究成果 5 、其他同志对本研究所做的贡献均已在论文中作了声明并表示 了谢意 作者签名： 日期； 学位论文使用授权声明 本人完全了解南京信息工程大学有关保留、使用学位论文的规 定，学校有权保留学位论文并向国家主管部门或其指定机构送交论 文的电子版和纸质版；有权将学位论文用于非赢利目的的少量复制 并允许论文进入学校图书馆被查阅；有权将学位论文的内容编入有 关数据库进行检索；有权将学位论文的标题和摘要汇编出版保密 的学位论文在解密后适用本规定 作者签名： 日期： 牛地 辑婶 第一章绪论 第一章绪论 1 1 人脸识别研究背景 生物特征识别f 1 】闭p l f 4 】p j 又称生物测定学( b i o m e t r i c s ) ，是指通过计算机利用人体固有 的生理或行为特征来进行身份识别和鉴定的科学。经过数十年的研究，生物特征识别在不 同的领域获得了不同程度的成功，基于各种生物特征识别技术的身份识别系统具有更好的 安全性、可靠性和有效性，正越来越受到人们的重视，并开始进入社会生活的各个领域。 理论上来说，人类任何一种生理或行为特征，只要具有广泛性、唯一性、稳定性和可 采集性，都可以被用作为生物特征。生理特征与生俱来，多为先天性的；行为特征则是习 惯使然，多为后天性的，将生理和行为特征统称为生物特征。常用的生理特征有指纹、掌 纹、虹膜、人脸、视网膜等；常用的行为特征有声音( 也可以作为一种生理特征) 、步态、 签名等。图1 1 所示，为几种典型的人体生物特征嘲。 围1 1 几种典型的人体生街特征 a ) 耳廓b ) 人睑c ) 人脸温谱图；d ) 掌纹；e ) 手部皮下毛细血管；f ) 手形；g ) 指纹； h ) 虹膜；i ) 视网膜；j ) 笔迹；k ) 声纹 与传统的身份鉴定手段相比，基于生物特征识别的身份鉴定技术具有以下优点： 1 不易遗忘或丢失； 2 防伪性能好，不易伪造或被盗； 3 “随身携带”，随时随地可用； 智能人机交互( h c i ，h u m a n c o m p m c ri n t e r a c t i o n ) 是当今的研究热点之一。新一代的 人机交互不再局限于键盘和鼠标，计算机将拥有视觉和听觉，而在视觉方面，人脸对人机 第一章绪论 交互提供了大量的信息和手段，人脸的姿态( p o s e ) 、表情( e x p r e s s i o n ) 、视点( g a z e ) 等 都将成为新的人机交互手段。 人脸自动识别技术就是利用计算机分析人脸图像，从中提取有效的识别信息。用来辨 认身份的一门技术，它涉及到模式识别、图像处理、计算机视觉、生理学、心理学及认知 学等诸多学科的知识，并与基于其他生物特征的身份鉴别方法以及计算机人机感知交互的 研究领域相互交融。 耳前，传统的身份认证方式，包括证件卡、密钥以及基于指纹、虹膜、掌纹、声纹等 生物特征的身份认证技术都存在一定弊端，如密码容易被遗忘或被别有用心的人窃取( 互 联网上密码被盗的事屡见不鲜) ：身份证携带不便而且易被伪造；基于指纹、虹膜等生物特 征的认证技术都或多或少地需要有用户的主动参与方可完成，这些局限导致传统的身份认 证手段越来越不适应信息社会高速发展的需求。尤其是美国“9 1 1 ”事件以后，人们急需 一种高可靠、高安全且布设灵活的新型身份认证技术。基于人脸面部特征的自动人脸识别 技术则无需用户进行非接触式人像获取，因而具有对正常用户的强制性和妨碍度低且便于 隐蔽等优点，被认为是满足这种需求的最终解决方式。 人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能门 禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的应用；在民事和 经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身 份验证等具有重要的应用价值；在家庭娱乐等领域，人脸识别也具有一些有趣有益的应用， 比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。目 前，世界上最好的人脸识别系统也只能在用户比较配合、采集条件比较理想的情况才可以 基本满足一般应用的要求1 7 j 当然，随着技术的进步。相信这些问题也应该可以逐步解决， 从而使得a f r 技术能够更好的满足公众的期望 1 2 人脸识别研究历史 人脸识别的研究历史是比较悠久的，最早的入脸识别研究可以追溯到上世纪5 0 年代， b r u n e r 和x 巧u r i 于1 9 5 4 年从心理学角度进行的研究，2 0 世纪6 0 年代b l e d s o e 从工程学角 度进行了探索。g a l t o n 在1 8 8 8 年和1 9 1 0 年分别在 n a t u r e ) 杂志发表了两篇关于利用人 脸进行身份识别的文章，对人类自身的人脸识别能力进行了分析，但当时还不可能涉及到 人脸的自动识别问题。最早的a f r 的研究论文见于1 9 6 5 年c h a r t 和b l e d s o e 在p o m m i c r e s e a r c hi n c 发表的技术报告阿，到现在已有三十多年的历史。近年来，人脸识别研究得到 2 第一章绪论 了诸多研究人员的青睐，涌现出了许多技术方法。尤其是1 9 9 0 年以来，人脸识别更是得 到了长足的发展，每年都有大量的学术论文发表，现在，几乎所有知名的理工科大学和i t 产业的主要公司都有研究组在从事人脸识别的研究。 为了更好的对人脸识别研究的历史和现状进行介绍，s h a h 等9 1 将研究历史按照研究内 容、技术方法等方面的特点大体划分为三个时间阶段，如表1 1 所示。该表格概括了人脸 识别研究的发展简史及其每个历史阶段代表性的研究工作及其技术特点。下面对三个阶段 的研究进展情况作简单介绍： 第一阶段( 1 9 6 4 年一1 9 9 0 年) ，这一阶段人脸识别通常只是作为一个一般性的模式识 别问题被研究，所采用的主要技术方案是基于人脸几何结构特征( g e o m e a i cf e a t u r eb a s e d ) 的方法1 1 0 l 【“l i t 2 ，这集中体现在人们对于剪影( p r o f i l e ) 的研究上，人们对面部剪影曲线的 结构特征提取与分析方面进行了大量研究 1 3 1 1 1 4 1 i “。人工神经网络也一度曾经被研究人员用 于人脸识别问题中。总体而言，这一阶段是人脸识别研究的初级阶段，非常重要的成果不 是很多，也基本没有获得实际应用。 第二阶段( 1 9 9 1 年一1 9 9 7 年) ，这一阶段是人脸识别研究的高潮期，可谓硕果累累： 不但诞生了若干代表性的人脸识别算法，美国军方还组织了著名的f e r e t 人脸识别算法 测试“q ，并出现了若干商业化运作的人脸识别系统。 麻省理工学院媒体实验室t u r k 和p e n t l a n d 提出的“e i g e n f a c e 一方法【1 7 】【1 q 无疑是这一时 期内最负盛名的人脸识别方法。麻省理工学院a i 实验室的b r u n e l l i 和p o l o 通过实验指 出模板匹配的方法优于基于特征的方法【1 9 1 。这一导向性的结论与e i g e n f a c e 共同作用，基本 中止了纯粹的基于结构特征的人脸识别方法研究，并在很大程度上促进了基于表观 c a p p e a r a n c e - b a s o d ) 的线性子空间建模和基于统计模式识别技术的人脸识别方法的发展， 并逐渐成为主流的人脸识别技术。 b e l h u m e u r 等提出的f i s h e f f a c e 1 1 2 1 】人脸识别方法是这一时期的另一重要成果，该方法 目前仍然是主流的人脸识别方法之一，并产生了很多不同的变种，比如零空间法、子空间 判别模型、增强判别模型、直接的l d a 判别方法以及近期的一些基于核学习的改进策略。 m i t 的m o g h a o o m 则在e i g e n f a c e 的基础上，提出了基于双子空间进行贝叶斯概率估计 的人脸识别方法旧鲫。人脸识别中的另一种重要方法，弹性图匹配技术( e l a s t i cg r a p h m a t c h i n g ，e g m ) l u l 口5 l 嗍也是在这一阶段提出的。局部特征分析技术( l o c a l f e a t u r e a n a l y s i s ， l f a ) 1 2 7 1 是由洛克菲勒大学( r o c k e f e l l e r u n i v e r s i t y ) 的a t i c k 等人提出的。柔性模型( f l e x i b l e m o d e l s ) 【2 【2 9 l 包括主动形状模型和主动表观模型是这一时期内在人脸建模方面的一个 重要贡献。 3 第一章绪论 总体而言，这一阶段的人脸识别技术发展非常迅速，所提出的算法在较理想图像采集 条件、用户配合、中小规模正面人脸数据库上达到了非常好的性能，也因此出现了若干知 名的人脸识别商业公司。从技术方案上看，2 d 人脸图像线性子空间判别分析、统计表观模 型、统计模式识别方法是这一阶段内的主流技术。 衰1 1 人脸识别发晨历史简袭 发展阶段1 9 6 4 一1 9 9 01 9 9 l 1 9 9 71 9 9 8 至今 作为一般识别 重点解决较理想条件下，用户配合、重点研究非理想条件下、用户不 问题被研究：基 中小规模人脸数据库上的人脸识别 配合、大规模人脸数据库上的人 主要特征问题；基于外观的2 d 人脸图像线性脸识别问题；基于3 d 模型和非 于特征的方法 子空间分析和统计模式识别方法是线性建模方法等可能是发展趋 是主流 主流，势 已知最早的 e i g e n f a c e ： 光照锥技术f a f r 研究论文# 基于特征的方法与基于模板的方法 支持向量机s v m 用于人脸识别 第一个半自动 的对比： 中； 代表性人 人脸识别系统； 美国d a r p a 启动f e r e t 测试项目 3 d 可变形模型； 脸识别技第一篇a f r 方 局部特征分析人脸识别方法发展成 基于a d a b o o s t 的人脸检测技术i 术与方法 面的博士论文； 为v i s i o n i c s 公司f a c e r 商业系统； 流形学习i s o m a p 以及l l e 等 及重大事 基于剪影分析 基于双子空间的贝叶斯概率学习； 朗博反射与线性子空间分析； 件和作品的( p r o 丘l c ) 人 人脸识别研究综述： 基于商图像的人脸识别方法； 脸识别； f 瑚北r 蠡 ： 人脸检测综述： 人脸的低维表 弹性图匹配技术； a s m a a m ； f a c er e c o g n i t i o nv e n d o rt e s t 月2 0 0 0 ，f r _ v t2 0 0 2 测试； 觥t 1 9 9 6 测试； 基于特征的方法i基于模板的方法 技基于神经网络的识别方法 未 l统计学习理论 方 基于a p p c a 啪c 。的2 d 人脸子空间分析与建模 法 i非线性流形分析技术 基于2 d 圈像模型的人脸识别i基于3 d 模型的人脸识别 第三阶段( 1 9 9 8 年至今) ，f e r e t 9 6 人脸识别算法评估表明：主流的人脸识别技术对 光照、姿态等由于非理想采集条件或者用户不配合造成的变化鲁棒性比较差。因此，光照、 姿态问题逐渐成为研究热点。与此同时，人脸识别的商业系统进一步发展，美国军方在 f e r e t 测试的基础上分别于2 0 0 0 年和2 0 0 2 年组织了两次商业系统评铡【3 0 1 。 g e o r g h i a d e s 等人提出的基于光照锥( d l u m i n a t i o nc o n e s ) 模型的多姿态、多光照条件 4 第一章绪论 人脸识别方法口1 1 d 是这一时期的重要成果之一。以支持向量机( s u p p o r tv 酏t o rm a c h i n e s ， s v m s ) 为代表的统计学习理论也在这一时期内被应用到了人脸识别与确认中来【3 3 f j 4 3 ”。 b l 矾z 和v c 恤f 等提出的基于3 d 变形( 3 dm o r p h a b l em o d e l ) 模型的多姿态，多光照条件 人脸图像分析与识别方法i 蚓p ，】是这一阶段内具有开创性的一项工作。在2 0 0 1 年的国际计 算机视觉大会( i c c v ) 上，康柏研究院的研究员v i o l a 和j o r 螂展示了他们的一个基于简 单矩形特征和a d a b o o s l 的实时人脸检测系统，在c i f 格式上检测准正面人脸的速度达到 了每秒1 5 帧以上p 目p 9 】。s h a s h u a 等于2 0 0 1 年提出了一种基于商图像的人脸图像识别与绘 制技术【加】。 总体而言，目前非理想成像条件下( 尤其是光照和姿态) 、用户不配合、大规模人脸数 据库上的人脸识别问题逐渐成为研究的热点问题。而非线性建模方法、统计学习理论、基 于b o o s t i n g 的学习技术、基于3 d 模型的人脸建模与识别方法等逐渐成为备受重视的技术 发展趋势。 1 3 人脸识别的国内研究现状 国内对于自动人脸识别技术的研究相对起步较晚，始于上世纪9 0 年代中后期。受国家 自然科学基金、8 6 3 计划等重大项目的资助，国内许多高校、研究机构及i t 公司相继建立 了人脸识别研究组。主要研究机构包括：中科院自动化所模式识别国家重点实验室；中科 院计算所；清华大学计算机系、自动化系，电子系；哈工大计算机系；北京交通大学；南 京理工大学；中山大学；南京大学；北京工业大学；中科院声学所；上海交大；北京大学； 浙江大学；西北大学；西安交通大学；复旦大学；微软亚洲研究院；上海银晨智能识别科 技有限公司等。这些研究组都在人脸检测、特征提取与识别方面进行了许多有意义的尝试， 积累了宝贵的经验。据报道，我国在这一领域的研究和相关成型系统的开发正逐步跻身世 界先进行列。 1 4 人脸识别过程 自动人脸识别技术试图赋予计算机通过“眼睛”( 如摄像机、数码相机等) “观察”到“影 像”人脸，从中提取有效特征来鉴别身份，图1 2 为其基本实现框图。 首先经过图像传感器( 如c c d 摄像机) 获取图像，经预处理后检测是否存在有效人脸； 第一章绪论 如果有，则通过特征提取，得到标识人脸的有效特征对识别分类器进行训练，以得到一个 识别率尽可能高而拒识率尽可能低的分类器；识别时，将提取的人脸特征送入训练好的分 类器从而得到识别结果。自动人脸识别的过程可以分为以下三个部分： 1 人脸检测：人脸检测就是赋予计算机判断其所“看到”的。影像”中是否存在人脸 的能力，如果存在人脸，则进一步给出人脸在影像中的位置，大小、姿态等信息。人脸检 测是自动人脸识别系统首先需要解决的关键问题，在大多数情况下( 如视频场景等) 由于 场景复杂，且由于光照、姿态及遮挡等因素，要准确检测图像中的人脸并非易事； 2 面部特征定位：对找到的每个人脸，采用某种形式尽可能完整而准确的描述人脸， 包括主要器官的位置和形状等信息； 3 人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸的身份信息。 从应用的角度，人脸识别包括两大类： 1 人脸身份识别：即根据人脸图像识别出人物的身份，解决是谁的问题； 2 人脸身份确认，验证：判断图像中的人脸是否是指定的人，即解决是不是某人的问题。 田1 2 自动人雎识捌系统耀圉 1 5 人脸识别技术的优势与不足 人脸是三维非刚性体，利用人脸生物特征的自动人脸识别系统与基于其他人体生物特 6 第章绪论 征的识别系统相比，既具有其独特的优势，也存在一些困难。 1 5 1 人脸识别的技术优势 与其它生物特征识别技术相比，人脸识别在可用性方面具有独到的技术优势，这主要 体现在： 1 可以隐蔽操作，尤其适用于安全监控 这一点特别适用于解决重要的安全问题、罪犯监控与网上抓逃等应用，这是指纹、虹 膜、视网膜等其他人体生物特征识别技术不能比拟的； 2 非接触式采集，没有侵犯性，容易被接受 不会对用户造成生理上的伤害，另外也比较符合一般用户的习惯，容易被大多数的用 户接受； 3 具有方便、快捷、强大的事后追踪能力 基于面像的身份认证系统可以在事件发生的同时记录并保存当事人的面像，从而可以 确保系统具有良好的事后追踪能力。例如，用于考勤系统时候，管理人员就可以方便的对 代打卡进行事后监控和追踪；这是指纹、虹膜等生物特征所不具有的性质( 般人不具备 指纹、虹膜鉴别能力) ； 4 图像采集设备成本低 目前，中低档的u s bc c d c m o s 摄像头价格已经非常低廉，基本成为标准的外设， 极大的扩展了其实用空间。另外，数码相机、数码摄像机和照片扫描仪等摄像设备在普通 家庭的日益普及进一步增加了其可用性； 5 更符合人类的识别习惯，可交互性强 例如，对于指纹、虹膜等识别系统，一般用户对识别往往是无能为力的，而对人脸来 说，授权用户的交互和配合可以大大提高系统的可靠性和可用性； 1 5 2 人脸识别的弱点 然而，人脸作为生物特征识别技术也有其固有的缺陷，这主要表现在： 1 人脸特征稳定性较差 尽管面部通常不会发生根本性的变化( 故意整容除外) ，但人脸是有极强可塑性的三维 柔性皮肤表面，会随着表情、年龄等的变化而发生改变，皮肤的特性也会随着年龄、化妆 乃至整容、意外伤害等发生很大变化： 7 第一章绪论 2 可靠性、安全性较低 尽管不同个体的人脸各不相同，但人类的面孔总体是相似的，而且地球上人口如此众 多，以致很多人的面孔之间的差别是非常微妙的，技术上实现安全可靠的认证有相当难度： 3 图像采集受各种外界条件影响很大，影响识别性能 图像的摄制过程决定了人脸图像识别系统必须面对不同的光照条件、视角、距离变化 等非常困难的视觉问题，这些成像因素都会极大影响人脸图像的表观，从而使得识别性能 不够稳定； 正是由于上述困难，使得自动人脸识别成为一个非常困难而又极具挑战性的前沿研究 课题，尤其是在用户不配合和非理想条件下的人脸识别更是目前的研究热点。目前，世界 上最好的人脸识别系统也只能在用户比较配合、采集条件比较理想的情况才可以基本满足 般应用的要求。当然，随着技术的进步，相信这些问题也应该可以逐步解决，从而使得 自动人脸识别技术能够更好的满足公众的期望。 1 6 人脸识别主要技术方法 对一个模式识别系统而言，采用什么样的特征来表示模式，如何提取这种表示特征， 往往是系统成功的关键。对自动人脸识别系统而言，面部关键特征点的自动标定又是人脸 表达特征的必须环节。表1 2 ，表1 3 和表1 4 4 1 】分别列举了人脸识别中主要的判别与分类 方法，人脸面部关键特征点的自动定位方法和人脸表示方法在识别领域的主要技术方法。 袭i 2 人脸爿捌与分类方法 算法算法说明 最近邻肥近邻 最常用的方法，文献不能枚举 人工神经网络包括自组织映射，b p ，d l a 等 最近特征线方法新的距离度量 线性子空间法每个类别分别建立子空间 贝叶斯决策类内差、类问差双子空间，通过贝叶斯分类 隐马尔可夫模型方法将结构信息看作时序信号变化 a d a b o o s t 技术弱分类器加权组合为强分类器 8 第一章绪论 袭1 3 面部关键特征点自动标定的主要方法 算法算法说明 模板匹配 通过计算与预定五官模板的相关量来定位五官的位置 峰谷分析、积分投影分 析技术 用于定位眼睛中心，嘴角和鼻孔等 s n a k e 用于提取人脸轮廓特征 特征脸碍寺征子脸用于定位人脸及其面部五官的位置 调整抛物线、双曲线等数学模型的参数使之最佳匹配眼睛、嘴巴、 可变形模板匹配 下巴等处的轮廓特征 采用光流迭代的方法建立输入人脸与参考人脸之间的稠密的像素级 光流。v c c t o r i z c 对应关系 通过属性圈的形变，一方面匹配顶点处的g a b o r 局部特征另方 弹性图匹配技术 面匹配全局几何结构特征 主动形状模型a s m全局形状统计模型约束局部纹理匹配的结果 对形状和纹理联合统计( 表观) 模型参数进行优化使得模型与输入最 主动表观模型a a m 佳匹配，得到形状和纹理 对3 d 形状、纹理、成像参数等形成的形变模型参数进行优化，使 3 d 形变模型 得合成的模垄图像最佳匹配输入图像，从而得到人脸3 d 形状和纹 理 表1 4 主要的人脸表示方法 人脸表示算法算法说明 面部几何结构特征距离，角度、面积等参数 灰度模板 所有像素亮度值串接形成的向量或矩阵 主成分特征 对图像进行p c a 降维( 去向关) 后的特征 奇异值等代数特征对图像进行s v d 分解得到的奇异值 可变形模扳抛物线、双曲线等数学模型的参数 2 d 形状模型 稀疏特征点统计分布模型( p d m ) 光流形状模型 与参考图像的稠密的、像素级的对应关系 形状无关纹理模型 将稀疏特征点与平均形状对齐后的图像模型 表观模型形状与纹理通过p c a 进一步建模 3 d 形变模型3 d 形状p c a 纹理_ p c a 二者的结合 局部特征 能够保留全局拓扑关系的局部结构信息 弹性属性图 关键特征点的局部结构信息及其几何关系 频域特征 不同频段、不同类型的滤波器在图像上进行卷积得到的频域特征 独立元特征各特征之间具有统计独立性 凸朗博表面在任何远点光源照射下同一视角光照图像分布的几何 光照锥 表示 商图像表面反射率之比 9 第一章绪论 1 7 本文主要研究内容 人脸检测( f a c ed e t e c t i o n ) 是人脸识别的第一阶段，是模式识别和计算机视觉领域的 重要研究方向和研究热点之一人脸检测的目的是判断图像中是否存在人脸区域，并进一 步确定人脸的位置、方向和光照条件等。 人脸定位( f a c ea l i g n m e n t ) ，也就是面部关键点定位，是人脸识别研究的一个关键问 题。简单地说，人脸定位就是对于任意的一幅人脸图像，使用某种算法。自动得到其主要 脸部特征的轮廓的描述( - - 维形状) ，更高的要求是给出二维形状的同时，得到被这些轮廓 所包围的人脸纹理的描述。 主动形状模型( a s m ) 和主动外观模型( a a m ) 是近年来流行的对象形状提取算法。 其核心思想是在某种局部点模型匹配的基础上，利用统计模型对待识别的人脸的形状进行 约束。从而转化为一个优化的问题，并期望最终收敛到实际的人脸形状上去。 本文的主要研究内容如下： 1 全面分析自动人脸识别研究的发展状况，并对其发展历史的三个阶段的研究特点以 及代表性方法进行总结，在此基础上对人脸识别研究的现状进行阐述，讨论人脸识别领域 目前面临的主要问题和技术趋势，指出这领域中现存的困难。 2 分析目前主流的人脸检测算法，在此基础上实现一种基于肤色模型和模板匹配结合 的人脸检测算法。 3 研究面部特征精确配准问题，重点讨论基于主动统计对象模型的方法，以及主动形 状模型的算法结构。 4 设计人脸检测系统，进行相关实验，对实验结果进行分析总结。 5 对未来的研究趋势进行展望。 1 8 本文的组织结构 本文工作主要涉及两大部分：一是对未知图像进行基于肤色模型的检测，并用模板匹 配方法进一步确认；二是关于基于统计学习的面部特征点定位，主要对主动形状模型进行 实验分析。 本文内容分为五章： 第一章是绪论，介绍人脸识别的研究背景现状及主要技术方法，讨论影响人脸识别效 1 0 第一章绪论 果的一些瓶颈问题，据此指出本文的工作重点。 第二章讨论人脸识别的前期工作一一基于肤色的人脸检测，主要利用肤色的聚类信息 建立一定的肤色模型，然后得到可能的皮肤区域。并利用人脸模板进行验证，结合了两种 方法的优势，取得了较好的效果。 第三章详细分析基于统计学习的面部特征点定位方法，重点讨论点分布模型、主动形 状模型算法及相关研究。 第四章设计一个人脸检测与定位系统，首先采用肤色的方法检测人脸大概位置，在此 基础上对面部特征进行精确定位，并对实验结果进行分析。 第五章对于研究结果进行总结，对研究的未来进行展望。 第二章基于肤色的人脸检测过程 第二章基于肤色的人脸检测过程 2 1 人脸检测概述 人脸检测( f a c ed e t e c t i o n ) 是指使用计算机在输入图像中确定所有人脸( 如果存在) 的位置与大小的过程。人脸检测系统的输入是可能包含人脸的图像。输出是关于图像中是 否存在人脸以及人脸的参数化描述。具体地说，就是根据一定的算法确定输入图像是否存 在人脸，如果存在的话，标出人脸的位置作为人脸检测系统的输出。人脸检测是人脸识别 的前提，是模式识别和计算机视觉领域的重要研究方向之一。人脸检测的研究受到重视， 不仅医为它在基于人脸的身份验证、视觉监测以及基于内容的检索等方面有着重要的应用， 从学术的观点来看，人脸检测是物体( 模式) 检测中的一个典型问题。在智能监控、人机 交互、基于对象的编码等领域也有着广泛的应用。计算机检测人脸的困难之处在于：背景、 表情、光照、成像角度、成像距离等影响，而且从：维图像重建三维人脸是病态过程，且 前尚无很好的描述人脸的三维模型。此外，人脸检测还涉及图像处理、模式识别、以及神 经网络等多学科。如果用于实时处理，还要加上计算速度的要求。这些因素使得高质量的 人脸检测仍为一项极富挑战性的课题，受到众多研究者的关注。 2 2 人脸检测关键方法 人脸检测问题所包含的内容十分广泛，从不同的角度有不同的分类方法。本文介绍的 方法主要是针对静态图像中的人脸检测。目前已有的人脸检测方法种类繁多，大致可分五 类：基于知识的人脸检测方法、基于统计模型的人脸检测方法、基于特征的人脸检测方法、 基于模板匹配的人脸检测方法和基于肤色的人脸检测方法。 2 2 1 基于知识的方法 基于知识的方法是基于规则的人脸检测方法，规则来源于研究者关于人脸的先验知识 一般比较容易提出简单的规则来描述人脸特征和它们的相互关系，如在一幅图像中出现的 人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴。特征之间的相互关系可以通过 它们的相对距离和位置来描述。在输入图像中首先提取面部特征，确定基于编码规则的人 脸候选区域。 1 2 第二章基于肤色的人脸检测过程 v a n g l 2 ) 提出了一种基于知识的层次性方法，该方法由三个层次的规则构成。在最高的 层次上。基于该层次的规则来扫描输入图像，并且找出可能的人脸候选区域；中间层的规 则主要包含了对人脸图像的概括性描述：最低层次的规则主要包括了对人脸的各个器官的 描述。虽然该方法并没有取得很高的人脸检测携度，但是该方法中提出的马赛克方法和多 层次方法给后续的人脸检测研究提供了很大的启示。 l a n i t i s 4 3 1 提出了一种使用形状和灰度参数的方法来检测人脸。该方法首先使用一个主 动轮廓模型来搜索人脸，产生形状参数，然后将人脸区域变形到一个标准的人脸形状，提 取出灰度参数，根据形状和灰度参数进行人脸分类。 m i a o 等基于人脸特征边沿的重心定义了重心模板。先用重心模板粗匹配，再将候选 人脸区域划分为9 个子区域，根据各子区域内灰度特征和边沿像素数的比例关系进一步验 证。 基于知识的方法存在的问题是很难将人类知识转换为明确定义的规则。如果规则是详 细的( 严格的) ，由于不能通过所有的规则，检测可能失败；如果规则太概括( 通用) 。可 能会有较高的错误接收率。此外，很难将这种方法扩展到在不同的位姿下检测人脸，因为 列举所有的情况是一项很困难的工作。 2 2 2 基于统计模型的方法 由于人脸图像的复杂性，显式地描述人脸特征具有一定困难，因此另一类方法基 于统计模型的方法越来越受到重视。此类方法将人脸区域看作一类模式，即模板特征，使 用大量的“人脸”与“非人脸”样本训练、构造分类器，通过判别图像中所有可能区域属 于哪类模式的方法实现人脸的检测。实际上，人脸检测问题被转化为统计模式识别的二分 类问题。 ( 1 ) 基于特征空间的方法 此类方法将人脸区域图象变换到某一特征空间，根据其在特征空间中的分布规律划分 “人脸”与“非人脸”两类模式。主成分分析( p r i n c i p a l - c o m p o n e u t a n a l y s i s ) 是一种常用 的方法。它根据图像的统计特性进行的正交变换，以消除原有向量各个分量间的相关性。 变换得到对应特征值依次递减的特征向量，即特征脸。m o g h a d d a m 等嘲发现人脸在特征脸 空间的投影聚集比较紧密，因此利用前若干张特征脸，将人脸向量投影到主元子空间f 和 与其正交的补空间f ，相应的距离度量分别称为d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 。对于人脸检测问题，由于没有考虑“非人脸”样本的分布， 第二章基于肤色的人脸检测过程 要同时使用d i f s 和d f f s 才能取得较好的效果。 ( 2 ) 基于人工神经网的方法 人工神经网( a n n ) 方法 4 6 1 是把模式的统计特性隐含在a n n 的结构和参数之中，对 于人脸这类复杂的，难以显式描述的模式，基于a n n 的方法具有独特的优势 c m u 的r o w l e y 等p 7 】h ”，使用了多个a n n 检测多姿态的人脸，算法的框架如图2 i 所示。图中显示了两类a n n ：1 个位姿检测器( p o s ee s t i m a t o r ) 用于估计输入窗口中人脸 的位姿，3 个检测器( d e t e c t o r ) 分别检测正面( f r o n t a l ) 、半侧面( h a l f p r o f i l e ) 和侧面( p r o f i l e ) 的人脸。使用经过对准和预处理的“入脸”样本以及采用“自举”( b o o ts w a p ) 方法收集分 类器错分的样本作为“非人脸”样本训练各个a n n ，进一步修正分类器。检测时对输入图 像中所有可能位置和尺度的区域首先使用位姿检测器估计人脸位姿，经校准和预处理后送 入3 个检测器中，最后对检测器的分类结果进行仲裁。 在匕述框架下，r o w l e y 等对正面端正人脸和正面旋转人脸的检测单独进行了研究正 面端正的人脸，仅使用了正面人脸检测a n n 。是一种三层前向网：输入层对应2 0 2 0 像紊 的图像区域；隐层节点分别对应不同人脸区域的若干组，与输入层部分连接；a n n 输出l 到一1 区间的值表示这个区域是否为人脸。r o w i e y 等使用相同的“人脸”样本和不同“自举” 过程收集的“非人脸”样本训练了多个正面人脸检测a n n ，对它们的检测结果进行仲裁， 以进一步减少错误报警。对于正面旋转人脸的检测使用了旋转角度检测器及正面人脸检测 1 4 第二章基于肤色的人脸检测过程 a n n ，并使用相似的多a n n 仲裁方法降低错误报警。 基于人工神经网的方法还有j u e l l 等【4 9 】和k o u z a n i 等p o 魄出的基于人脸器官检测的 多级网络方法、a n i f a l l t i 等提出的双输出人工神经网的检测算法等。 2 2 3 基于特征的方法 基于特征的方法不仅可以从已有的面部特征而且可以从它们的几何关系进行人脸检 测。与基于知识的方法相反，它是寻找人脸的不变特征用于人脸检测。人们己经提出了许 多先检测人脸面部特征，后推断人脸是否存在的方法。面部特征。如眉毛、眼睛，鼻子、 嘴和发际，一般利用边缘检测器提取，根据提取的特征，建立统计模型描述特征之间的关 系并确定存在的人脸。基于特征的算法存在的问题是，由于光照、噪声和遮挡等使图像特 征被严重地破坏，人脸的特征边界被弱化，阴影可能引起很强的边缘，而这些边缘可能使 算法难以便用。 s i r o h e y 提出了从复杂的背景中分割人脸进行人脸识别的定位方法l 。它使用边缘图和 启发式算法来去除和组织边缘，只保存一个边缘轮廓，然后用一个椭圆拟合头部区域和背 景间的边界。o r a l 等人提出定位灰度图像的面部特征和人脸的检测方法牌j 。在滤波以后， 用形态学的方法增强具有高亮度、含有某些形状( 如眼睛) 的区域。l e g 等人提出一种 基于局部特征检测器和任意图匹配的概率方法，在复杂场景中定位人脸p ”。其目标是找到 确定的面部特征的排列。典型的人脸用五个特征( 两只眼睛、两个鼻孔和鼻子与嘴唇的连 接处) 来描述。v o w 和c i p o l l a 提出了一种基于特征的方法m l 。在第一阶段，应用