（计算机应用技术专业论文）基于hmm的人脸识别研究与实现.pdf

基于h m m 的人脸识别研究与实现 摘要 人脸识别技术是模式识别、图像处理、计算机视觉等领域的一个 极富挑战性的课题，但近些年确是一个研究的热点。广义的人脸识别 技术包括人脸检测和人脸的身份识别两个方面的内容，本论文就是基 于这两个大的方面讲述基于隐马尔可夫模型的人脸识别系统的实现 原理及过程，其主要研究内容为： 1 利用人脸特有的生物特征，完成一个基于h a a r - l i k e 特征的人 脸检测算法的设计和实现。 2 利用离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 参数进 行提取观察向量，并将观察向量应用于基于隐马尔可夫模型( h i d d e n m a r k o vm o d e l ，h m m ) 的人脸识别算法中，实现对人脸的训练和识别； 提出了一种基于二维的h m m 的设计和算法实现，并把其应用于人脸识 别的过程中，提高的识别的准确率。 3 描述了o p e n c v 的基本构成及用o p e n c v 开发人脸识别系统的优 越性，并详述了o p e n c v 在h m m 和人脸识别中的应用。 4 将设计好的人脸检测和人脸识别的算法应用于实际的软件系 统中，并详述了人脸识别系统的整体方案设计以及各个功能模块的设 计及实现。 5 利用设计好的软件系统平台，通过大量的实验，对系统使用 l 北京化工大学硕士学位论文 的人脸检测和识别算法的效果进行了测试分析。 本文所设计的人脸识别系统可应用于视频监控、安全门禁、身 份验证等安全领域，也可以用于视频游戏、智能相机等其他领域，具 有广泛的应用前景。 关键词：人脸检测，人脸识别，隐马尔可夫模型，o p e n c v i l r e s e a r c ha n di m p l e m e n to ff a c e r e c o g n i z eb a s e do nh m m a b s t r a c t f a c er e c o g n i t i o ni sac h a l l e n g i n gt a s ki nt h ef i e l d so fp a r e m r e c o g n i t i o n ，i m a g ep r o c e s s i n g ，c o m p u t e rv i s i o na n ds oo n h o w e v e r , i ti s ah o ti s s u er e c e n t l y b r o a df a c er e c o g n i t i o ni n c l u d e st w oa s p e c t so ff a c e d e t e c t i o na n df a c ei d e n t i f i c a t i o n t h i sp a p e rd e s c r i b e st h ep r i n c i p l ea n d p r o c e s so fi m p l e m e n t a t i o nb a s e do nh i d d e nm a r k o vm o d e l t h em a i n r e s e a r c hi sf o l l o w i n g 1 u s i n gt h eu n i q u eb i o l o g i c a lc h a r a c t e r i s t i c so ff a c e ，t oc o m p l e t et h e d e s i g na n di m p l e m e n t a t i o n o ff a c ed e t e c t i o n a l g o r i t h m b a s e do n h a a r - l i k ef e a t u r e s 2 t oe x t r a c to b s e r v a t i o nv e c t o ru s i n gd c t ( d i s c r e t ec o s i n e t r a n s f o r m ) ，a n dt oi m p l e m e n tt h ef a c et r a i n i n ga n dr e c o g n i t i o n ，t h e o b s e r v a t i o nv e c t o rw i l lb eu s e di nf a c er e c o g n i t i o na l g o r i t h mb a s e do n h m m ( h i d d e nm a r k o vm o d e l ) ad e s i g na n da l g o r i t h mi m p l e m e n t a t i o n b a s e do nt w o d i m e n s i o n a lh m mi ss u g g e s t e d ，a n da p p l i e dt ot h ep r o c e s s o ff a c er e c o g n i t i o nt oi m p r o v et h ea c c u r a c y 3 t h eb a s i ca r c h i t e c t u r eo fo p e n c va n di t sa d v a n t a g et od e v e l o p 1 1 1 北京化工大学硕士学位论文 f a c er e c o g n i t i o ns y s t e m si s e x p l a i n e d ，a n di t sa p p l i c a t i o n i nt h ef a c e r e c o g n i t i o ni sd e t a i l e d 4 a p p l y i n gt h ed e s i g n e df a c er e c o g n i t i o na l g o r i t h mt os o f t w a r e s y s t e m ，a n dt h eo v e r a l lp r o g r a md e s i g no ff a c er e c o g n i t i o na sw e l la st h e i m p l e m e n t a t i o no fe a c hf u n c t i o n a lm o d u l ea r ei l l u m i n a t e di nd e t a i l 5 t h r o u g hm a n ye x p e r i m e n t s ，f a c er e c o g n i t i o nr e s u l ti st e s t e d a n d a n a l y z e do nt h ed e s i g n e ds o f t w a r es y s t e m s i nt h i sp a p e r , t h ed e s i g nc a l lb ea p p l i e dt ov i d e os u r v e i l l a n c e ，s e c u r i t y a c c e s sc o n t r o l ，i d e n t i f i c a t i o na n do t h e rs e c u r i t yf i e l d s i tc a na l s ob eu s e d f o rv i d e og a m e s ，s m a r tc a m e r a sa n dt h eo t h e rf i e l d s i naw o r d ，i th a s b r o a da p p l i c a t i o np r o s p e c t s k e yw o r d s ：f a c ed e t e c t i o n ，f a c er e c o g n i t i o n ，h i d d e nm a r k o v m o d e l ，o p e n c v 北京化工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者签名：二叁址日期：理上4 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京化工大 学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可 以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名：趟 导师签名： 日期： 迎望：生：! 日期：巡翌，笸、2 第一章绪论 第一章绪论 1 1 论文研究的目的及意义 随着社会的发展，信息化已经蔓延到了各行各业，数码照片、视频录像等多 媒体文件也是随处可见，与此同时，人们对计算机处理这些媒体文件的需求也与 日俱增，其中很重要的一个方面就是从这些媒体文件中快速有效的检测和识别人 脸的要求日益迫切。所以人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y ，f r t ) 在商业上和法律上有大量应用，如身份证、护照、信用卡、驾驶执照与实际持证 人的核对，视频监控系统中的人物跟踪、v i d e o 图像的实时匹配、公安系统的犯 罪身份识别、银行及海关的监控系统和自动门卫系统等。从而使得人脸识别变 成了一个非常热门的研究领域。 计算机人脸识别技术是利用计算机对人脸图像进行分析，从中提取有效的识 别信息，用来“辨别 身份的一门技术口1 。它涉及到图像处理、模式识别、计算 机视觉和神经网络等。一直以来，自动人脸识别是现代信息技术领域的一个难题， 尽管人类可以毫不费力地识别出上千个不同的人脸，但是实际上人类的视觉系统 做这件事的过程是非常复杂的，对于计算机来说，识别人脸是非常困难的。由于 人脸图像还受到其它一些因素的影响，比如人脸的表情、人脸随着年龄的增长而 变化、人脸图像受到光照强度不同、成像角度及成像距离不同等都会使人脸图像 发生变化，使人脸图像识别成为一项极富挑战性的课题n 叫。 多年来，计算机和信息技术领域的学者及神经生物学家和工程师们一直在寻 找有效的人像识别方法。国外的许多科研机构致力于这一领域的研究，并且取得 了很多成果。为了促进人脸识别算法的深入研究和实用化，美国国防部发起了人 脸识别技术( 简称f e r e t ) 工程，它通过一个通用人脸图像库和一套通用的测试 标准，该库可用于各种人脸识别算法的测试比较。除此之外，关于人脸识别的国 际会议也已经举行过多次，展示了这一领域的理论和应用成果。国内虽然近几年 才开始这方面的研究，但是发展得非常快，许多公司正在将研究成果转变成商品 软件，努力使人像识别技术进入实际应用领域。但因为人脸识别的复杂性和人脸 识别理论的不成熟性，使真正的人脸识别技术进入工程应用领域达到实用化还有 一定的距离，目前只能在有限的条件和环境下才能取得一定的应用效果。所以， 在这一领域研究意义重大。 北京化工大学硕士学位论文 1 2 人脸识别技术概述 1 2 1 人脸识别技术的定义 计算机人脸识别技术是利用计算机对人脸图像进行分析和理解，从而完成人 物检测、身份认证等一系列工作的技术。广义上的“人脸识别 是包括人脸检测 在内的- - n 完整的关于人脸的信息处理技术；狭义上的“人脸识别专指与人物 身份验证相关的识别技术h 1 。本文探讨的人脸识别是广义上的人脸识别，包括人 脸检测和身份识别两方面。 人脸识别系统包括两个主要技术环节：首先是人脸检测和定位，即从输入图 像中找到人脸区域及人脸存在的位置，并将人脸区域从背景中分割出来，然后对 归一化的人脸图像进行特征提取与识别。具体结构如图卜1 所示嗡1 ： 图1 - 1 人脸识别系统结构 f i g 1 1t h es t r u c t u r eo ff a c ed e t e c t i o n 1 2 2 人脸识别技术的特点 在探讨人脸识别技术之前不得不谈一下生物识别技术，顾名思义，就是利用 人体生物特征进行身份认证的一种技术。人体的很多生物特征不但是唯一的，而 且是可测量的，包括了指纹、d n a 检测、虹膜识别、人脸识别等多项技术1 。 将生物特征识别应用于人脸，实际上是包含两个方面：第一，从图像或视频 帧中检测人脸，即所谓的“人脸检测 ( f a c ed e t e c t i o n ) ；第二，对检测到的 人脸进行识别，判断这张脸是谁，即“人脸识别 ( f a c er e c o g n i t i o n ) 。就实际 2 第一章绪论 应用而言，人脸识别有许多别的别的方式所无法比拟的优点。 ( 1 ) 人脸识别使用方便，用户接受度高。人脸识别技术通常使用摄像机作为 识别信息获取装置，以非接触的方式在识别对象未察觉的情况下完成识别过程。 给用户一种很友好的感觉，而其他的特征识别技术对人们来说都是一种干扰，都 需要人的被动配合。如指纹和掌纹识别都需要人们将手放在玻璃表面，而虹膜识 别需要用激光照射人的眼睛等。 ( 2 ) 直观性突出。人脸识别技术所使用的依据是人的面部图像，而人脸无疑 是肉眼能够判别的最直观的信息源，方便人工确认、审计，“以貌取人刀符合人 的认知规律。 ( 3 ) 识别精确度高，速度快。与其它生物识别技术相比，人脸识别技术的识 别精度处于较高的水平，误识率、拒认率较低。因为只有面像识别是最直观、最 可靠、最准确的，因而它具有很好的防伪、防欺诈性。 ( 4 ) 人脸识别技术具有性价比高、经济、可扩展性良好的特点。因为人脸识 别技术比其他的人体生物特征识别技术的性能要优越，它不要人的行为的配合能 方便有效地核查人的身份，而且只需通用的p c 硬件及相关软件，因而经济、性价 比高；由于其直观、准确，且应用更为广泛，因此具有良好的可扩展性能。 1 3 人脸识别技术的发展现状 计算机人脸识别从2 0 世纪6 0 年代开始研究口1 ，至今已经有四十年的发展历史 了，通过这四十年的发展，人脸识别技术已经取得了很大的发展，从最开始的识 别过程全部依赖于操作人员到现在的全部自动检测识别，它的发展主要经历了三 个阶段阻1 ： 第一阶段以b e r t i l l o n ，a l l e n 和p a r k e 为代表，主要研究人脸识别所需要 的面部特征。研究者用计算机实现了较高质量的人脸灰度图模型。这一阶段工作 的特点是识别过程全部依赖于操作人员，显然这不是一种可以完成自动识别的系 统。 第二阶段是人机交互式识别阶段，代表性成果有：h a r m o n 和l e s k 用几何特 征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设计 了基于这一特征表示法的识别系统。而t k a n a d e 贝1 设计成功了一个高速且有一定 引导的半自动回溯识别系统，创造性地运用积分投影法从单幅图像上计算出一组 脸部特征参数，再利用模式分类技术与标准人脸相匹配。k a y a 和k o b a y a s h i 则 采用了统计识别方法，用欧氏距离来表征人脸特征。但这类方法需要利用操作员 北京化工大学硕士学位论文 的某些先验知识，仍然摆脱不了人的干预呻1 。 第三阶段是真正的机器自动识别阶段。尤其是近十余年来，随着高速度高性 能计算机的发展，人脸模式识别方法有了较大的突破，涌现出了多种机器全自动 识别系统。同时，人脸识别技术进入了实用化阶段。目前国外的研究机构以美欧 为主，主要是美国以及欧洲的各知名大学、研究所和企业研究院。如：剑桥大学、 麻省理工学院、密歇根大学、美国加州大学、曼彻斯特大学等。国内主要以高校 中专门的人脸识别研究机构为主，成绩较突出的高校有：南京理工大学、清华大 学、浙江大学等。另外，中科院计算所、自动化所和微软亚洲研究院等科研院所 也在人脸识别方面做了大量的工作。 综上所述，通过几十年的发展，人脸识别技术已经取得了很大的成果，但由 于人脸识别是涉及了生理学及心理学等多种学科的一门技术，且由于人脸是以物 质形式存在的，所以人脸图像会受到很多因素的影响，其中最关键的问题主要集 中在了以下几个方面n 州副： ( 1 ) 光照问题 早期的解决思路是尽可能采用对光照变化不敏感的图像表示法，如人脸器官 的横纹特征、图像的二维g a b o r 函数滤波等方法。 目前，对光照问题的解决思路有：其一寻求对光照变化不敏感的底层视觉特 征，提高识别性能；其二建立光照模型，进行针对性的光照补偿，消除非均匀正 面光照造成的影响；其三用任意光照图像生成算法生成多个不同光照条件的训练 样本，利用具有良好学习能力的人脸识别判别方法进行识别。另外，利用多种方 法融合来解决光照问题也值得尝试。 ( 2 ) 姿态估计与匹配 在自然状态下所获得的人脸图像并不总是正面的，正面人脸图像仅仅是一种 理想的识别状态；同时，由于人脸的偏转或俯仰会造成面部信息的部分缺失，这 就给人脸特征的精确提出造成一定程度的困难：此外，识别时偏转角度的估计， 也是影响精确匹配的重要因素。比较典型的解决思路有：其一建立多姿态人脸数 据库，通过多样本学习方法进行识别；其二寻求基于姿态不变特征的方法，如前 面提到的基于弹性图匹配的识别方法、基于肤色模型的识别方法等；另外，利用 自动生成算法，在单视图基础上自动生成多角度视图进行识别。 随着人脸识别技术的发展，很多场合都要求在单幅人脸图像基础上进行身份 鉴定。目前这方面的研究刚起步不久，主要的研究包括：其一基于三维重建的方 法，但这种方法进行识别要求三维模型必须足够精确，计算非常复杂，在实际应 用中其效果并不理想：其二是基于二维图像的生成，目前国内基于此类方法的研 究较多，如陈熙霖、高文等提出了采用多候选类加权方法实现多姿态识别，梁路 4 第一章绪论 宏等提出了基于仿射模板匹配的多姿态识别方法等。 总的来说，基于单视图或小样本的多姿态人脸识别，已是一个当前急需解决 的关键问题，它直接影响着人脸识别的实用化进程。 ( 3 ) 表情特征识别 在进行人脸识别时，表情是一个不容忽略的问题，因为表情的变化直接影响 着人脸识别的结果。借助认知经验的积累，人类对表情的识别能力较强，可以准 确识别多种不同的面部表情。但用计算机实现表情特征检测却很困难。到目前为 止，国际上关于表情分析与识别研究工作可以分为基于心理学的和基于计算机识 别的两类：在心理学方面，s l o s b e r g 提出表情的维量分析，e k m a n 和f r i e s e n 提 出表情的分类；在计算机自动识别方面，最早由s u m a 等人于1 9 7 8 年对表情识别 做出的初步尝试；其后又有人提出了建立面部表情模型的方法；以及利用光流来 跟踪面部运动单元的识别方法等；此外，高文等提出了面部表情表征方法和表情 分类树结构，并在此基础上进行表情识别。但总的来说，建立在精确的表情模型 上的人脸识别方法还不多见。 “ ( 4 ) 多种特征融合机制的建立 融合技术的特点是利用多种或多个传感器在时空上的互补性及信息上的相 关性，以期对事物进行更全面的描述。目前融合技术在人脸识别中的应用尝试有 整体与局部人脸特征的组合识别方法、基于结构的人脸识别及不同算法的融合、 基于小波子图与决策融合的人脸识别、信息融合理论在模式识别中的应用研究 等。 ( 5 ) 三维人脸建模与识别 由于目前技术手段的限制，真实人脸的3 d 数据难于获取，或者说获取的数据 是不完整的和片面的，所以从真正意义上讲，三维人脸识别只是借助3 d 的某些特 征进行辅助的2 d 精确识别。因此，把它称为“准三维人脸识别”更为恰当一些。 ( 6 ) 时变特征的提取与消除 基于时变因素( 如年龄、化妆、疾病或营养引起胖瘦变化以及眼镜等装饰物 的添加等) 也是影响人脸识别的重要方面，目前这方面的研究还不够系统，但随 着人脸识别技术与方法的细化，基于时变特征的人脸识别应该是实用化研究的一 个重要关注点。 总之，人脸识别是一个跨学科富有挑战性的前沿课题，但目前人脸识别还只 是研究课题，尚未真正进入实用化领域。就目前而言，其技术主要还是集中在平 面图像方面，动态实时跟踪和基于三维模型的人脸识别等起步较晚，属于人脸识 别问题研究的前沿。 5 北京化工大学硕士学位论文 1 4 人脸识别的发展前景 经过4 0 多年的发展，人脸识别已经积累了大量研究成果，逐渐从基于简单几 何特征的识别方法过渡到特征脸、弹性图匹配、神经网络等多种识别方法n 4 。坫1 。 但以上方法都是针对某些问题提出且存在着优缺点，在实际应用中仍然面临着很 多困难，今后的人脸识别技术中还有以下诸多需要完善的地方n 蚴1 ： ( 1 ) 人脸识别涉及心理学、生理学等众多学科，今后人们必须借鉴多学科的 研究成果，最大限度获取各种信息并且有机地集成起来加以利用以提高识别率。 ( 2 ) 现有多数人脸识别方法都是针对特定约束条件提出的，任何一种方法都 有其优缺点和应用的局限性，单独使用一种方法不可能取得很好的识别效果。因 此，将多种方法扬长避短综合使用是今后的必然趋势。另外，人脸识别与指纹、 虹膜、语音识别技术融合也是一个有意义的研究方向，这也是生物特征识别技术 的发展趋势。 ( 3 ) 人脸识别技术成果大多是在二维图像基础上取得的，而利用二维信息的 识别方法在处理光照、姿态等变化时会遇到较大困难。人脸是三维的，三维图像 比二维图像更能提供完整的内容，如何对三维人脸参数进行建模，利用三维信息 进行识别将是一个具有挑战性的研究课题。 ( 4 ) 为了增强安全防范，很多场合要求人脸识别系统具有动态识别的能力， 诸如海关监测等需要对视频中的人脸进行动态跟踪识别。动态识别的实用性大大 优于静态识别，开展动态人脸识别研究有着特殊的应用价值。当前该研究还处于 起步阶段，技术相对比较欠缺。 随着图像处理、模式识别、人工智能以及生物心理学的研究进展，人脸识别 技术将会不断完善，系统的性能将会更加精确高效，人脸识别技术也将会获得更 大的发展。 1 5 论文的研究内容及组织结构 本论文各章的内容如下： 第一章简述了论文研究的目的和意义，并介绍人脸识别技术的概况、发展 现状及发展前景。 第二章是人脸识别的基本理论与算法，主要叙述了人脸识别系统的研究范 围，以及人脸模式提取的几种方法及特点，最后阐述了当前人脸检测和人脸识别 6 第一章绪论 的一些主要的方法和技术。 第三章主要介绍了本系统所采用的人脸检测和人脸识别的方法。人脸检测 采用基于h a a r - l i k e 特征的人脸检测算法。详细阐述了其算法的核心思想和理 论。人脸识别的算法采用基于h m m 的人脸识别算法。详细阐述了h m m 的基础思想、 基本理论，并针对h m m 的三个问题提出解决问题的方法，最后详述了如何建立 h m m 和h m m 的训练方法，并阐述了h m m 在人脸识别中如何使用。 第四章按照功能模块介绍了一个基于o p e n c v 和h m m 的人脸识别系统的具体 设计。 第五章对系统的性能进行了实验，并对实验结果进行了分析，检验了算法 的性能。 7 第二章人脸识别的基本理论与算法 第二章人脸识别的理论与算法 2 1 入脸识别系统的研究范围 由于本文探讨的是广义上的人脸识别技术，所以包括人脸检测和身份识别两 大部分，然而一个成熟完整的人脸识别系统研究范围应包括以下几个方面的内容 2 l j ( 1 ) 人脸检测 系统对输入图像中是否存在人脸进行判断，并给出存在人脸的数量和位置。 如果系统已知图像中存在人脸，只进行人脸位置的确定，则一般称为人脸定位。 系统也可以只对人脸的部分面部器官进行检测，一般称为人脸特征检测。 ( 2 ) 人脸跟踪和监视 即对图像中检测到的人脸进行位置跟踪，提取人脸的运动信息。 ( 3 ) 人脸表征 即采取某种表示方式表示检测出的人脸和数据库中的已知人脸。通常的表示 法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征( 如矩阵特征矢量) 、固定 特征模板、特征脸等。 ( 4 ) 人脸识别 即将待识别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的 核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密 切相关。 ( 5 ) 面部表情分析 通过对人类情绪和人脸形态对应关系的研究和建模，完成对人物情绪的理 解。反之，在己知人物情绪的条件下，利用上述对应关系和模型可以虚拟出人物 的表情。后者在计算机动画中的应用尤其广泛。 ( 6 ) 生理分类 通过对人类生理信息和人脸形态对应关系的研究和建模，完成对人物年龄、 性别等生理信息的推断。反之，也可以利用这些生理信息和人物目前的面貌推断 其未来可能的形态。 ( 7 ) 人脸编码 对人脸表征获得的特征进行编码。对图像内容进行理解和描述。 其中人脸检测和人脸识别模块是人脸识别系统中最重要的模块。下面就分别 9 北京化工大学硕士学位论文 对本文所选用的人脸识别系统的各个关键技术进行介绍。 2 2 人脸模式的特征提取 人脸的特征是整个人脸检测与识别技术的基础元素，人脸模式的特征包括肤 色特征和灰度特征乜2 吒4 1 。人脸模式的特征一方面体现在“鉴别度 上：即可以看 作提供给检测的一种模型，以判断图像中是否存在人脸；另一方面体现在“区分 度 上：即可以作为识别的度量，把检测出的特征值与先前存在于数据库中的特 征值进行比对，得到一个归一化的相似度，该相似度直接决定检测的人脸与数据 库的某个人脸是同一个人的概率有多大，因此，在介绍人脸识别技术之前一定要 先了解人脸的特征。 2 2 1 肤色特征 肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转、表情等变化 情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤 色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述。使用 何种形式的肤色模型与色度空间的选择密切相关。可以从两个方面考察某种色度 空间： ( 1 ) 在该色度空间中能否用给定的模型描述“肤色”区域的分布： ( 2 ) 色度空间中“肤色与“非肤色 区域的重叠有多少。 常用的肤色模型有高斯模型、混合高斯模型和直方图模型。还有直接利用几 何参数描述肤色区域分布范围的模型、三维投影模型、基于神经网络的肤色模型。 此外也有同时考虑“肤色 与“非肤色”像素分斫i 的基于贝叶斯方法的模型等。 一般需要使用混合高斯模型才能较好地描述肤色区域的分布。 2 2 2 灰度特征 灰度特征包括人脸轮廓特征、人脸灰度分布特征( 镶嵌图特征、直方图特征 等) 、器官特征( 对称性等) 、模板特征等啪3 。人脸区域的灰度本身可以作为模板 l o 第二章人脸识别的基本理论与算法 特征，通常取仅包含双眼、鼻子和嘴的面部中心区域作为共性的人脸模板特征， 排除掉头发、脸颊两侧变化很大的部分。被广泛地用于基于统计学习的人脸检测 方法中。本系统采用的人脸检测方法就是一种基于灰度特征的方法。 2 2 3 人脸模式的特征综合 人脸图像所包含的模式特征十分丰富，如图2 - 1 所示乜 ： 图2 - 1 人脸模式的特征 f i g 2 1f e a t u r e so ff a c em o d e 如何利用这些特征是人脸检测技术的关键，人脸模式的特征中，肤色特征更 加适用于构造快速的人脸检测和人脸跟踪算法，因其快速的特点是本文研究的重 点。 2 3 人脸检测算法 人脸检测是指在从各种不同的场景中检测出人脸的存在并确定其位置。在大 多数的场合中由于场景较复杂，人脸的位置是预先不知道的，因而首先必须确定 场景中是否存在人脸，如果存在人脸，再确定图像中人脸的位置。一般有下列几 北京化工大学硕士学位论文 种方法： ( 1 ) 参考模板法汹1 首先设计一个或数个标准人脸的模板，然后计算测试采集的样品与标准模板 之间的匹配程度，并通过阈值来判断是否存在人脸； ( 2 ) 人脸规则法豳3 由于人脸具有一定的结构分布特征，所谓人脸规则的方法即提取这些特征生 成相应的规则以判断测试样品是否包含人脸； ( 3 ) 样品学习法啪1 这种方法即采用模式识别中人工神经网络的方法，即通过对面像样品集和非 面像样品集的学习产生分类器； ( 4 ) 肤色模型法口妇 这种方法是依据面貌肤色在色彩空间中分布相对集中的规律来进行检测。 ( 5 ) 特征子脸法幻 这种方法是将所有面像集合视为一个面像子空间，并基于检测样品与其在子 空间的投影之间的距离判断是否存在面像。 值得提出的是，上述5 种方法在实际检测系统中也可综合采用。有许多人脸 检测的方法并不能简单地归于上述中的某一类，而是几类的组合。 人脸检测的方法多于牛毛，基于各种数学模型的方法估计有近百种。本节简 单描述了用于人脸检测的几类方法，以便管中窥豹，这几类方法在人脸检测历史 上都发挥过各自的作用。 在本系统中因为需要自动检测、识别人脸目标，因此实时运算量会非常大， 这就需要一种能够快速检测的算法，并能在应用过程中达到实时，这样将为成功 构造出具有实际应用价值的人脸检测与识别系统提供保证。目前的人脸检测方法 中基于a d a b o o s t e dc a s c a d e 算法，可以说是目前最快最好的目标检测算法，它 对人脸检测的速度以及精确程度，在实际运用中取得了很好的验证，本文就采用 此方法实现人脸检测。 2 4 人脸识别算法 人脸识别方法因特征形式的不同而不同，目前常用的人脸识别方法大致可分 为以下几类3 1 舯引： ( 1 ) 基于几何特征的人脸识别方法 常采用的几何特征有人脸的五官，如眼睛、鼻子、嘴的局部形状特征，这类 1 2 第二章人脸识别的基本理论与算法 识别方法是通过人脸面部拓扑结构几何关系的先验知识，利用基于结构的方法在 知识的层次上提取人脸面部主要器官特征，将人脸用一组几何特征矢量表示，识 别归结为特征矢量之间的匹配，基于欧氏距离的判决是最常用的识别方法。基于 几何特征的识别方法主要有如下优点泓1 ： a 符合人脸识别人脸的常理，易于理解。 b 对每个人脸只需存储一个特征模式，存储量小。 c 对光照变化不太敏感。 ( 2 ) 基于局部特征的人脸识别方法 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核 心函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的 点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分 割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的 表达十分重要。基于这种考虑，研究人员提出基于局部特征的人脸特征提取与识 别方法。这种方法在实际应用取得了很好的效果。 ( 3 ) 基于特征脸的人脸识别方法 特征脸方法是从主要成分分析( p c a ) 导出的一种人脸识别和描述技术。p c a 实质上是k l 展开的网络递推实现。k l 变换是图像压缩技术中的一种最优正 交变换，人们将它用于统计特征提取，从而形成子空间法模式识别的基础。特征 脸方法存在如下特点胁1 ：首先，由于作为一种图像的统计方法，图像中所有的像 素都被赋予了同等的地位，可是角度、光照、表情等于扰会使识别率下降；其次 人脸在人脸空间的分布近似高斯分布，且普通人脸位于均值附近，而特殊人脸则 位于边缘分布，可见，越普通的人脸越难分辨，特征脸方法的本质是抓住了人群 的统计特征，反映了特定人脸库的统计特征，但不具有广泛性、代表性。 ( 4 ) 基于小波特征的弹性匹配方法 弹性匹配方法是一种基于动态链接结构的方法。该方法在二维的空间中定义 了一个距离，它对通常的人脸变形具有一定的不变性，也不要求待识别人脸和库 中人脸维数一定相同。实验表明，弹性图形匹配优于k l 变换，它能保留更多 局部人脸细节。但具体的参数选择，如二维网格的大小、小波变换参数的选择等， 都会影响识别的效果，因此有效的识别效果依赖于关键识别信息的提取。另外它 需要更大的计算复杂度和存储空间m ，。 ( 5 ) 基于神经网络的人脸识别方法 基于神经网络的方法是最近几年比较活跃的一个研究方向。应用神经网络进 行人脸的特征提取和分类器的设计，有比较成熟的人脸特征提取算法：自适应主 分量神经网络算法。神经网络方法在人脸识别上比其他类别的方法有独到的优 1 3 北京化工大学硕士学位论文 势，它避免了复杂的特征提取工作，可以通过学习的过程获得其他方法难以实现 的关于人脸识别的规律和规则的隐性表达。但由于原始灰度图像数据量十分庞 大，因此神经元数目通常很多，训练时间很长。另外，完全基于神经网络的识别 法在现有的计算机系统( 冯一诺伊曼结构) 上也有其内在的局限性。且神经网络虽 然有较强的归纳能力，但当样本数大量增加时，其性能有可能会严重下降。 ( 6 ) 基于h 删的人脸识别方法7 。制 h m m 把面部器官特征和一个状态转移模型联系起来，这种模型既考虑了人脸 各器官的不同特征，又考虑了他们的相互关联，比孤立利用各器官的数值特征有 概念上的进步，该模型的参数能较好地表征具体人脸模型。该方法鲁棒性较好， 对表情、姿态变化不太敏感，对于不同角度的人脸图像和不同光照条件，都能达 到满意的识别精度。本文主要研究此类识别方法。 1 4 第三章基于h m m 的人脸识别算法 第三章基于h m m 的人脸识别算法 在前面的章节已经简要介绍了人脸识别相关技术和基础，人脸识别的第一步 就是人脸检测，本章中首先介绍一下基于h a a r l i k e 特征的人脸检测算法，然后 再介绍h m m 的基本理论，最后详细介绍h m m 在人脸识别中的应用。 3 1 基于h a a r - 1i k e 特征的人脸检测算法 p a u lv i o l a 和m i c h a e lj o n e s 于2 0 0 1 年提出了基于级联a d a b o o s t 的方法， 后来由r a i n e rl i e n h a r t 对这一方法进行了改善提出了基于h a a r - 1 i k e 特征的入 脸检测算法，其算法的核心是通过综合h d a b o o s t 和c a s c a d e 算法实现了实时的 人脸检测系统，该方法简单、实时性好，检测速度很快，使得人脸检测从真正意 义上走向了实用，是人脸检测算法的一个转折点，是目前研究的热点。其主要的 思想如下： 首先，利用样本( 大约几百幅样本图片) 的h a a r 特征进行分类器训练，得 到一个级联的b o o s t e d 分类器。训练样本分为正例样本和反例样本，其中正例样 本是指待检目标样本( 人脸) ，反例样本指其它任意图片，所有的样本图片都被归 一化为同样的尺寸大小。 分类器训练完以后，就可以应用于输入图像中的感兴趣区域( 与训练样本相 同的尺寸) 的检测。检测到目标区域( 人脸) 分类器输出为1 ，否则输出为0 。为了 检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。 为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变 待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体， 扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。 分类器中的“级联”是指最终的分类器是由几个简单分类器级联组成。在图 像检测中，被检窗口依次通过每一级分类器，这样在前面几层的检测中大部分的 候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。目前 支持这种分类器的b o o s t i n g 技术有四种：d i s c r e t ea d a b o o s t ，r e a la d a b o o s t ， g e n t l ea d a b o o s ta n dl o g i t b o o s t 。”b o o s t e d ”即指级联分类器的每一层都可以 从中选取一个b o o s t i n g 算法( 权重投票) ，并利用基础分类器的自我训练得到。 基础分类器是至少有两个叶结点的决策树分类器。h a a r 特征是基础分类器的输 入，主要描述如下。目前的算法主要利用下面的h a a r 特征，如下图3 - 1 所示啪1 。 北京化工大学硕士学位论文 1 e d g ef e q t u m s 由口 叩咖目舅 固 图3 - 1h a a r 特征 f i g 3 一lt h ec h a r a c t e r o fh a a r 每个特征由2 - - , 3 个矩形组成，分别检测边界、细线、中心特征，这些特征 可表示为：呻】 f e a t u r e = 哆幸r ec t s u m ( r 】) 式( 3 一1 ) 式中：为赠彪躺权，r e c t s u m ( ) 为矩形r i 所围图像的灰度积分，n 是组成 f e a t u r e j 的矩形个数 每个特定分类器所使用的特征用形状、感兴趣区域中的位置以及比例系数 ( 这里的比例系数跟检测时候采用的比例系数是不一样的) 来定义。每个矩形框 内的象素和都可以通过积分图象很快的计算出来。 3 1 1a d a b o o s t 算法 h d a b o o s t 算法是一种分类器算法，其基本思想是利用大量的分类能力一般 的简单分类器( b a s i cc l a s s i f i e r ) 通过一定的方法叠加( b o o s t ) 起来，构成一个 分类能力很强的强分类器( s t r o n gc l a s s i f i e r ) 。 首先要生成简单分类器h 0 1 ： 设输人为n 个训练样本： x 。，y 。) ， x 。，y 。) ，其中y i = 0 ，1 对应假 样本和真样本；已知训练样本中有m 个假样本，1 个真样本 第j 个特征生成的简单分类器形式为： hi ( x ) ：j l p _ ，产卜p _ ，町， 3 10 ， 其他 式( 3 2 ) 其中h ，表示简单分类器的值；0 ；为阈值；p ；表示不等号的方向，只能取 1 ；f ，( x ) 表示特征值。 ( 1 ) 初始化误差权重，对于y i = 0 的样本，= 1 2 m ；m 表示假样本的数量。 对于y i = 1 的样本，6 0 = 1 2 l ；1 表示真样本的数量。 1 6 第三章基于h m m 的人脸识别算法 ( 2 ) 对每个t = l ，t ( 其中t 为训练的次数) ： 1 ) 权重归一化，国。卜竺址一 ； 乏。，式( 3 3 )一i j 、jo ， 2 ) 对于每个特征j ，按照上面方法生成相应的简单分类器h ，计算相对于 当前权重的误差：勺= 哆i h j ( x , ) - y , l ； 3 ) 选择具有最小误差。的简单分类器h 。加人到强分类器中去； 4 ) 更新每个样本所对应的权重： q + ，= 哆，t 卜“一式( 3 - 4 ) 式中：如果第i 个样本x 。被正确分类，则e 。= o ， 反之e 。= l ，声，= f 。 ( 3 ) 最后形成的强分类器为： 哆= 卜驴啦净，式中叫g k 椭， io 其他 以 a d a b o o s t 算法是：t h ea d a p t i v eb o o s t i n ga l g o r i t h m 的缩写组合，即 “经过调整的b o o s t i n g 算法。a d a b o o s t 算法能够对弱学习( w e a kl e a r n ) 得到 的简单分类器( 弱分类器) 的错误进行适应性调整。上述算法中有一个迭代了t 次的主循环，每一次循环根据当前的权重分布对样本x 定一个分布p ，然后对这 个分布下的样本使用弱学习算法得到一个错误率为。的简单分类器h 。这个算 法定义的弱学习算法，对所有的t 都有。1 2 ，而这个错误率的上限并不需要 事先知道，实际上e 。 0 ，1 2 。b 。是。的参数，在每一次迭代中，b 。将根 据e 。来变化，1 3 。被用来对权重向量进行更新。更新的规则是：减小简单分类器 预测分类效果较好的数据的概率，增大简单分类器预测分类效果较差的数据的概 率。最终的强分类器是t 个简单分类器的加权平均。 3 。1 。2 级联分类器 p a u lv i o l a 和m i c h e a lj o n e s 提出了基于a d a b o o s t 训练的级联人脸检测分 类器，从根本上解决了人脸检测的速度问题，同时有较好的识别效果。该方法有 三个主要特点h ： ( 1 ) 提出一种新的图像表示方式一积分图像( i n t e g r a li m a g e ) ，利用它可 快速计算人脸特征。 ( 2 ) 利用a d a b o o s t 机器学习算法将由特征生成的简单分类器( b a s i c 1 7 北京化工大学硕士学位论文 c l a s s i f i e r ) 叠加( b o o s t ) 成为强分类器( s t r o n gc l a s s i f i e r ) 。 ( 3 ) 将强分类器串联起来组合成为级联分类器( c a s c a d ec l a s s i f i e r ) ，用 于人脸检测，可以方便的改变系统的错误率和响应速度。 将强分类器串联在一起形成级联分类器，串联时应遵循“先重后轻 的分级 分类器思想，即将由更重要特征构成的结构较简单的强分类器放在前面，这样可 以先排除大量的假样本，提高检测速度。 此方法可以快速计算出h a a r - l i k e 特征，利用a d a b o o s t 算法将由h a a r l i k e 特征生成的简单分类器叠加成为强分类器，再将强分类器级联而成为分级分类器 用于检测人脸，该方法可使图像的背