（计算机科学与技术专业论文）面向嵌入式系统的人脸识别算法性能优化研究.pdf

摘要 近几年来，人脸识别技术广泛应用于人们生活的各个领域，是一种极为有效的生 物识别技术。由于人脸识别算法计算复杂度非常高，而且对存储空间的要求较大，因 此人脸识别在嵌入式系统中的广泛应用一直难以实现。但是随着嵌入式系统硬件性能 的提高，人脸识别在嵌入式系统中的应用也有了飞快发展。本文针对嵌入式系统的特 殊应用环境，对人脸识别算法进行了改进。 本文首先对基于a d a b o o s t 算法的快速人脸检测方法进行了改进，在a d a b o o s t 级 联分类器结构中引入加权判决函数，对其中相互独立的级联分类器进行信息融合，不 增加级联强分类器的个数，提高检测率和检测速度。当样本被当前级a d a b o o s t 分类器 判为假后，再使用该级的加权判别函数对其进行判决。如果加权判别函数判决为真， 则仍然使样本输入到下一级的分类器中，反之，则拒绝该样本。最后采用扩展的 h a a r - l i k e 特征在m i t + c m u 人脸库上进行了实验，取得了较好的效果。 其次，是对单训练样本人脸识别模型的优化。单训练样本人脸识别问题，每个人 都只有一幅人脸样本图像，因为没有充分具有代表性数量的训练样本，一些常用方法 识别率将明显下降，有的甚至不适用。针对这一问题，在单样本人脸识别中，本文一 方面引进一些几何变换增加虚拟样本数量；另一方面使用二维主成分分析，抽取更利 于分类的特征，大大提高了单训练样本人脸识别问题的识别率。该方法较适合嵌入式 应用环境下的小类别识别。 最后本文针对嵌入式系统的特点，对改进的算法进行了进一步的优化。设计了一 个基于$ 3 c 2 4 4 0 a 芯片的人脸识别系统，完成了对优化后算法的验证。 关键词：人脸识别，人脸检测，a d a b o o s t 算法，加权判决函数，嵌入式系统 t h e o p t i m i z er e s e a r c ho ff a c er e c o g n i t i o nf o re m b e d d e d s y s t e m w a n gq i n q i n ( c o m p u t e rs c i e n c ea n dt e c h n o l o g y ) d i r e c t e db ys e n i o re n g i n e e rj iy o u f a n ga n dl e c t u r es u n s h i m i n g a b s t r a c t a sak i n do fb i o m e t r i ct e c h n o l o g y , f a c er e c o g n i t i o nh a sb e e nw i d e l yu s e di np e o p l e s l i f e f a c er e c o g n i t i o na l g o r i t h mi sv e r yc o m p l e xa n di tn e e d sl a r g es t o r a g es p a c e s oi t i s v e r yh a r dt ob eu s e di ne m b e d d e ds y s t e m w i t ht h ep e r f o r m a n c eo fe m b e d d e dh a r d w a r e i m p r o v i n g ，f a c er e c o g n i t i o nt e c h n o l o g yh a sar a p i dd e v e l o p m e n ti nt h ee m b e d d e da r e a t h i st h e s i si m p r o v e sf a c er e c o g n i t i o na l g o r i t h mi nt h e s p e c i a le m b e d d e da p p l i c a t i o n e n v i r o n m e n t f i r s t l y ，i nt h i st h e s i s ，w e i g h t e dd e c i s i o nf u n c t i o ni su s e dt oh e l pd e c i s i o nb yt h e c l a s s i f i e ri nt h ec a s c a d ea r c h i t e c t u r e i tr e m e d i e sd e f e c t so ft h es l o w d e t e c t i n gs p e e d ，w h i c h c a u s e db yc a s c a d e dal o to fs t r o n gc l a s s i f i e r s i no r d e rt oo b t a i nt h ec o m p l e m e n t a r ya n d e f f e c t i v ea n dc o m p r e h e n s i v ei n f o r m a t i o n , i ti sn e c e s s a r yf o rt h ef r o n to fc l a s s i f i e r s r e s u l t s t of u s ei n f o r m a t i o n e x p e r i m e n t a lr e s u l t so nf a c ed e t e c t i o ns h o wt h a tt h ei m p r o v e m e n to f t h er e c o g n i t i o np e r f o r m a n c ec o m p a r i n gt ot r a d i t i o n a lc a s c a d ea d a b o o s tc l a s s i f i e r f i n a l l y , e x p e r i m e n t a lr e s u l t so nc m u + m i td a t a s e td e m o n s t r a t et h a tt h ea l g o r i t h mi se f f i c i e n t w i t h a l le x t e n d e ds e to fh a a r - l i k ef e a t u r e sw eg e ta g o o dr e s u l ti nm i t + c m ut e s ts e t s e c o n d l y , t h et h e s i so p t i m i z e st h ef a c er e c o g n i t i o nw i t hs i n g l et r a i n i n gs a m p l e a t p r e s e n tt h e r ea r em a n ym e t h o d st h a tc o u l dd e a lw e l l 、；v i t l lf a c er e c o g n i t i o nw h e nt h e r ei s s u f f i c i e n tn u m b e ro fr e p r e s e n t a t i v et r a i n i n gs a m p l e s h o w e v e r , f e wo ft h e mc a nw o r kw e l l w h e no n l yo l l et r a i n i n gs a m p l ep e rc l a s si sa v a i l a b l e i no r d e rt od e a lw i t ht h i sq u e s t i o n ，w e p r o p o s ean e wm e t h o dt oa d dt r a i n i n gs a m p l e s f i r s t ，g e o m e t r yt r a n s f o r m e dw h i c hi n c l u d e s c a l i n g ，r o t a t i n g ，s h e a r i n g ，f l i p p i n ga n dm i r r o r i n ge t ci sa p p l i e dt ot h es i n g l ee x a m p l ei m a g e t oo b t a i ni t sd e r i v e di m a g e s e c o n d ，2 d p c ai sa p p l i e dt oe x t r a c tf e a t u r e sf r o mf a c ep i c t u r e s i ti su s e f u lf o rg e o m e t r i c a lf e a t u r e ，e x t r a c t i o na n ds t r u c t u r a lf e a t u r ed e s c r i p t i o no ff a c e i i i m a g e s ，e s p e c i a l l yf o rl o c a lf e a t u r ee x t r a c t i o n t h i sm e t h o d i s a d a p t e dt o l i t t l es o r t r e c o g n i t i o ni nt h ee m b e d d e ds y s t e m f i n a l l y , i no r d e rt oa d a p tt h ee m b e d d e ds y s t e mw ei m p r o v et h ef a c er e c o g n i t i o n a l g o r i t h m a n dw ed e s i g naf a c er e c o g n i t i o ns y s t e mu s i n g $ 3 c 2 4 4 0 ac h i pb a s e do na r m t h i ss y s t e mv e r i f i e st h ev a l i d i t yo ft h ei m p r o v e da r i t h m e t i c k e yw o r d s ：f a c ed e t e c t i o n , f a c er e c o g n i t i o n ，a d a b o o s t ，w e i g h t e dd e c i s i o nf u n c t i o n ， e m b e d d e ds y s t e m 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得 的成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致 谢外，本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得 中国石油大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同 工作的同志对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名： 芏差羞日期：幻i 口年f 月；。日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印刷 版和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅 和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或 其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：芏玺蕴 指导教师签名：三立盔喜 一 日期：如p 年歹月；矿日 只期：年r 月歹。日 中国石油大学( 华东) 硕士学位论文 1 1 课题背景及意义 第一章绪论 人脸识别是模式识别领域一个重要的研究课题，人脸作为图像与视频中重要的视 觉对象( v i s u a lo b j e c t ) 之一，它在智能人机接口、图像检索、视频处理、安全等领 域都有着极为广泛的应用价值。 人脸研究主要包括人脸识别技术( f a c er e c o g n i t i o n ) 和人脸检测技术( f a c e d e t e c t i o n ) 的研究，最初人脸研究主要集中在人脸识别领域，早期的人脸识别系统是 在应用环境比较简单且人脸图像比较容易获得的前提下工作的。但是随着人脸识别技 术在各个领域的广泛应用，人脸识别系统所处的应用环境越来越复杂，最初那些基于 比较容易获得人脸的假设不再成立，于是人脸检测作为一个独立的研究课题开始越来 越受到学者们的关注，近几十年来人脸检测开始作为单独的研究内容发展起来。人 脸检测是指在输入待检测的图像中使用某种算法对其进行处理以确定图中是否含有人 脸，如果含有则返回人脸的位置、大小和姿态，并将可能的人脸区域分割出来。 随着人们对计算机智能化的要求不断提高，如何有效地进行自动人脸识别已经成为 国际上的一个研究热点；特别是近年来在国家安全、银行和海关监控以及打击恐怖主义 等方面的要求，有效快捷的生物信息身份鉴定技术受到了各个国家的高度重视。而其中 人脸是一个极为普通且具有很强表征性的模式，相比于其它生物特征具有以下四个特点 【2 3 1 ( 1 ) 人脸含有比其它生物特征更丰富的信息。 ( 2 ) 人脸特征信息不容易被盗用或者假冒。 ( 3 ) 人脸特征具有较为友好的人机界面，易于被用户所接受。 ( 4 ) 人脸特征在应用上非常方便，只需有一个图像采集设备即可，不需要其它任 何辅助设备。 人脸识别可简单描述为：给定某一应用场景下的静态图片或者动态视频图像，根据 事先存储的人脸库，对一个或更多的人进行识别或者确认。人脸库可以同时存储年龄、 种族、性别以及面部表情等数据信息以降低识别难度。人脸识别的过程般可分为三个 阶段： ( 1 ) 人脸检测定位：判断输入图像或视频序列中是否存在人脸，如果存在，则从 第一章绪论 背景中检测出人脸，并将人脸区域分割出来，以便在下一阶段中使用。 ( 2 ) 面部特征提取：对图像中检测出的每一个人脸，抽取其主要面部器官的特征， 包括位置、形状等信息。 ( 3 ) 匹配识别：根据提取到的面部特征信息，将其与人脸数据库中的人脸进行对 比，输出该人脸的身份。 人脸检测的在图像应用领域中的作用可用图1 - 1 表示： 人脸识别 l 内容检索卜 | 输入图像吲预处理h 人脸检测p 视频监控 - - 一 图卜1 人脸检测在图像应用领域中的作用 f i g l - 1 t h er o l eo ff a c ed e t e c t i o ni nt h ef i e l do fi m a g ea p p l i c a t i o n 人脸检测结果的评价标准主要有：检测率( 也称j 下确率，h i tr a t e ) ，误检率 ( f a l s e a l a r mr a t e ) ，漏检率( m i s sr a t e ) 和检测速度( d e t e c t i n gs p e e d ) 等。 ( 1 ) 检测率：即待检测图像中被正确检测到人脸数与总人脸数的比值。检测率越 高，说明检测系统对人脸的检测能力越强。 ( 2 ) 误检率( 又称虚警率、误报率) ：即待检测图像中被误检为人脸的非入脸数 与该数值和正确检测到的人脸数和的比值。检测率无法准确的反映系统对人 脸的检测能力，即有可能出现这样的情况：待检测图像中所有人脸都被检测 到，同时大量的非人脸区域也被误认为是人脸。因此，引入误检率来衡量系 统对非人脸样本的排除能力。误检率越低，说明检测系统对非人脸的排除能 力越强。 ( 3 ) 漏检率：就是待检测图像中的人脸未被检测到的数量与图像中总人脸数的比 值，在关系上该值与检测率之和为1 。 ( 4 ) 检测速度：在实际应用中，需要人脸检测系统能对人脸进行实时的检测，如 人脸跟踪，视频监控等，在保证检测率和误检率的前提下，检测速度越快越 好。 在这四个标准中，有些是相互关联的，如检测率和误检率就相互制约。实践表明： 2 中国石油人学( 华东) 硕十：学位论文 误检率会随着检测率的提高而提高，检测率随着误检率的降低而降低。现在一些常用的 方法也存在一些问题，如人工神经网络方法，检测率很高，误检率也较低，但检测速度 是其最大的弊端；模板匹配方法检测速度虽然很快，但其距离函数在不同环境下产生的 效果差异很大，即在简单背景条件下检测效果好，背景复杂时效果就明显降低。 近年来，随着3 c ( 消费电子、计算机、通信) 产品以及全球互联网的高速发展，嵌 入式系统正以其体积小、专用性强等特点深入社会应用的各个领域。嵌入式系统具有面 向用户的特性，其在交互式人机应用中占用重要的地位。但是由于嵌入式系统资源少、 运算速度慢，所以一般的嵌入式系统软件开发都是跨平台的，即在开发过程中使用一个 交叉开发环境。所谓的交叉开发就是在一台通用计算机( p c ) 上进行软件的设计、编码、 编译，然后将编译好的软件通过网络或其他工具下载至嵌入式系统平台上。通常用来开 发软件的通用计算机称为宿主机，嵌入式系统平台称为目标机。对下载到目标机上的程 序，在实际应用环境中运行和调试。 目前，嵌入式设备中的微处理器性能比较低、存储空间比较小，因此要想在海量数 据库中进行人脸识别还是一个难题，现在只能在较小的人脸数据库中进行人脸的检索和 识别，相信随着微处理器技术的发展，以及对人脸图像特征简化的研究，在不久的将来， 在嵌入式系统上进行海量人脸的检索和识别是完全有可能的。 1 2 人脸检测与人脸识别的研究现状 目前对于人脸识别的研究，无论是国际上还是国内都取得了一些成果，特别是其 中一些独立的人脸识别研究组织做出了突出的贡献，主要包括：国际上有名的美国卡 耐基梅隆大学( c m u ) 的机器人研究所、美国麻省理工大学( m i t ) 的媒体实验室和人工智 能实验室、日本的a t r 研究所等等；国内的一些研究机构和高校，如清华大学、中 科院计算所、中科院自动化所、上海交通大学等也都致力于人脸识别的研究，并且部 分研究成果已经成功应用在身份识别、计算机安全等方面，虽然有一些局限性，但是 在特定的应用条件下也取得了较好的效果。 1 2 1 人脸检测的研究现状 人脸检测可以认为是一个两类的人脸鉴别问题，即在一幅图像中只有“人脸和 “非人脸 两类。基本思想是首先基于统计或知识的方法对人脸进行建模，然后将待 测图像与已经建立好的模型进行匹配，根据匹配程度，确定图像中可能存在的人脸。 3 第一章绪论 人脸检测作为人脸识别的第一步，是一个非常关键的环节，早期人脸检测算法主 要是在某种特定简单的应用环境下获得人脸，这使得人脸的检测相对比较容易。但是 近几年随着互联网和全球电子商务的飞速发展，人脸识别成为最有潜力的生物身份验 证手段，这种应用要求人脸识别系统能够对一般应用环境图像中的人脸进行检测并识 别。因此人脸检测逐渐受到研究者的重视，国内外很多学者也提出了各种方法，并取 得了一定的成果。下面概要的总结一下现在常用的几种重要的人脸检测方法。 ( 一) 基于知识的人脸检测 这种方法是基于人们在认识人脸的过程中总结出的一些先验知识，进而将它们归 结为一些规则。y a n g 等1 提出了基于知识规则的由粗到细的三级结构来检测人脸。首 先，在最低两级分辨率的镶嵌图中( m o s a i ci m a g e ) ，采用一系列规则来获得候选人脸 区域，主要是概括性的描述人脸图像；然后在高分辨率图像中，提取人脸的边缘特征， 包括符合眼睛、鼻子、嘴巴等结构特征的候选区域：最后确定候选区域是否为人脸图 像。 m i a o 等哺3 在镶嵌图的基础上提出了一种基于人脸重心模板的检测方法。首先将输 入的图像进行预处理，然后构造重心图像，具体方法为：提取原图像n = 4 的镶嵌图， 在镶嵌图内部提取梯度特征，计算图像中人脸边缘特征区域的重心，这样就得到了重 心图像( g r a v i t y c e n t e rp i c t u r e ) 。然后，使用人脸的结构规则在重心图像中进行模板 粗匹配。最后将候选人脸区域分为9 个子区域，根据各子区域内灰度特征和边缘像素 数的比例关系进行验证。基于知识的方法存在一个主要的问题就是检测率不高，因为 把人类感知的经验完全转化为完善的规则是非常困难的。虽然这种方法存在许多局限 性，但该方法采用对图像进行马赛克处理、分层检测和通过先验知识指导人脸检测的 思想对以后的研究有很大的参考价值。 ( 二) 基于特征的人脸检测 该类方法首先采用各种数字图像处理方法对输入的图像进行预处理，根据处理结 果提取出某些具有代表性的特征，然后将这些特征与预先定义的人脸模型( 即人脸所 共有的稳定特征) 进行比较，以此来判断某一区域是否为候选人脸区域。该类方法中 有些方法使用人脸的轮廓特征，首先使用数字图像处理中常用的边缘提取方法，在输 入的待检测图像中寻找边界，然后对这些边界进行进一步判断，判断哪些与正面人脸 的左右边界以及由发线构成的人脸轮廓相似，以此寻找可能的人脸区域。还有些方法 是利用人脸所具有的色彩和纹理等信息，首先从图像中提取出色彩和纹理信息，然后 4 中国石油大学( 华东) 硕士学位论文 与定义的人脸色彩和纹理模型进行比较，得出可能的人脸区域。但是无论是基于边界 的方法，还是基于色彩和纹理的方法，都存在一个同样的问题，就是这些特征很容易 受到影响，如基于色彩和纹理的方法会因为图像存在噪声，以及图像采光、各种遮挡 物等影响其检测效果口叫。同时这些因素也会使得人脸的特征边界被弱化，另外阴影会 引起很强的边缘，这些边缘可能使得基于特征的检测算法难以使用。 ( - - ) 基于模板的人脸检测 基于模板的检测方法就是首先定义一个标准脸部模型，然后通过函数式将其预定 义或参数化。分类时输入待测图像，分别将图像中可能的脸部轮廓、眼睛、鼻子以及 嘴巴等与标准模板进行比较，根据得到的相关值确定图像中是否存在人脸。 最简单的模板就是利用多个人脸图像的平均作为人脸模板，其他的器官如眼睛、 鼻子等也可以用于模板匹配。梁路宏等“们提出使用多模板匹配的方法实现人脸检测， 通过对标准人脸模板进行变换，如进行不同比例的拉伸与压缩，得到五个不同形态下 的人脸模板，这样可以适应图像在一定程度上的轻微变化。s a k a i 等应用了几种子模板 来建立标准人脸模板用以检测待测图像中的人脸1 。t s u k a m o t o 等人提出了一种定性 的模板用于人脸检测( q m f ) 。在q m f 中，将每幅图像划分为一定数量的区域，模型 特征定义为区域中对应的脸部亮度与边缘。 其他的研究人员也提出了许多基于变形模板的方法，增强了模板匹配算法的适应 性，比较典型的有d e f o r m a b l et e m p l a t e ，s n a k e s 和活动形状模型2 3 ( a s m ，a c t i v es h a p e m o d e l ) 等。l a n i t i s 等人提出了一种将形状和灰度信息混合的人脸检测方法n 引。首先 对一组图像中的人脸轮廓( 如眼、鼻、下巴) 进行采样，用这些采样点组成的矢量表 示一个形状，将得到的所有形状矢量用一个点分布模型( p d m ) 来描述。然后，利用 可变形模型( a s m ) 搜索和估计人脸的位置与形状参数，这样就可以使用该人脸形状 p d m 来定位新图像中的人脸，最后将脸部形状变形至平均形状并求得亮度参数，进行 分类检测时同时应用形状和亮度参数。 ( 四) 基于统计模型的人脸检测 上面提到的方法都是基于特征的方法，即要显式的描述人脸特征，但人脸图像是 非常复杂的，要想完整的表述这些特征存在一定困难。基于这种想法，另一种基于统 计模型的方法逐渐受到重视。基于统计模型的方法使用大量的“人脸 与“非人脸 图像作为样本训练分类器，然后再使用分类器对待检测图像进行搜索，实质上，就是 将人脸检测问题转化为普通意义上模式识别二分类问题。基于统计模型常用的方法有 5 第一章绪论 基于特征空间的方法n 们( 如主分量分析p c a 、f i s h e r 准则法f l d 和因子分解法f a ) 、 基于人工神经网络的方法n 鄹、基于概率模型的方法( 如s c h n e i d e rm a n 等n 旬提出的基于 后验概率估计的人脸检测方法和隐马尔科夫模型h m m ) n7 1 、基于支持向量机“刚的方 法。 基于统计模型的方法是目前人脸检测方面比较流行的方法，它主要有如下三个优 点n9 矧：第一，该方法在理论上更加可靠，因为它使用样本学习的方法获取人脸模型 的参数；第二，基于统计模型的方法，不再依赖人们对人脸认识的先验知识，这样可 以避免由于使用不完整或不精确的参数模型而造成的错误：第三，基于统计模型的方 法，可以通过简单的增加学习样本的范围和数量来扩大检测范围，提高检测率，这样 增强了检测系统在不同应用环境下的适应性。目前，基于统计模型的方法主要应用于 图像背景比较复杂的环境，也取得了较好的效果。 由于基于统计模型的方法有上述三个优点，因此基于该方法的人脸检测有很强的 适应能力，但是该方法也存在一个主要的缺点，就是检测速度比较慢，因为使用这类 方法需要对待检测的图像进行穷举搜索，其计算量和复杂程度都非常大。此外，对于 学习样本中假样本( 即非人脸图像) 的选择是比较困难的，目前没有很好的方法来解 决此问题。此类方法对图像中正面端正人脸的检测取得了较好的效果，对于旋转人脸、 多姿态人脸的检测，目前有效的方法还不多。 1 2 2 人脸识别的研究现状 这里所说的人脸识别，是指将待检测图像中检测到的人脸与人脸数据库中的已知 人脸进行比较，得出匹配结果。人脸识别主要的依据是那些个体特有的，且对同一个 人比较稳定的特征信息。 对人脸识别方法的研究开始于1 9 6 4 年，到目前为止已经有几十种比较成熟且性能 优秀的人脸识别算法，如：特征脸、f i s h e r f a c e s 、神经网络、弹性模板、h m m 、s v m 和基于几何特征的方法等。下面就几种常用的静态图像识别方法做概要介绍。 ( 一) 基于几何特征的方法 基于几何特征的方法是早期使用的人脸识别算法之一乜。该类方法中使用的几何 特征，不仅包括人脸的脸型、发线轮廓以及五官在人脸上的位置分布等全局特征，还 包括眼睛、鼻子、嘴巴等五官的局部分布特征和相对关系特征。这些特征依赖于人们 对人脸结构的认识，且这些先验知识的质量直接影响该类特征的质量。人脸识别过程 6 中国“油人学( 华东) 硕士学位论文 中使用的特征就是以人脸及人脸器官的形状和几何关系为基础的特征矢量，人脸识别 本质上是将待测图像中人脸的特征矢量与人脸库中每个人脸模型中的特征矢量进行匹 配，通过这些匹配值来确定待测图像中人脸的身份信息。 基于几何特征的识别方法优点是比较简单、容易理解；缺点是没有形成统一的特 征提取标准，获得稳定的特征比较困难，当图像中的特征受到光照影响或遮挡时，特 征就会受到极大的影响，从而导致识别率大幅度下降。当待测图像中的入脸有较大幅 度的姿态变化或表情变化时该类方法识别率比较低。 ( 二) 基于特征脸的方法 特征脸( e i g e nf a c e ) 方法心列的主要思想与主成分分析方法的思想类似，采用另一 种方法对人脸进行描述和识别。该方法首先将待测图像中的人脸假设为一个随机向量， 然后使用k l 变换得出该向量的正交k l 基底。通过实践证明，该向量中较大特征值 对应的基底具有与入脸形状相似的特点，这些具有人脸形状特征的基底被称为特征脸。 人脸识别的过程就是把待测图像中检测到的人脸映射到一个由特征脸形成的空间( 也 称为特征脸空间) 中，通过比较人脸区域与人脸库中每个人脸在该空间中的位置，找 出人脸库中与待测人脸最相似的样本，从而得到该人脸的身份信息。 在应用中许多研究者发现，特征脸方法中特征值大的特征向量( 即特征脸) 并不 一定是最好的分类方向。针对这一问题，近年来学者们提出了许多改进的方法，比较 具有代表性的如s w e t e s 等人提出的相形歧义分析方法测、p e n g 等人提出的双子空间 法他们以及b e l h u m e u r 等人提出的f i s h e r 脸方法位引。其中比较成熟的是f i s h e r f a e e s 方法 也称作线性判断分析方法( l i n e a rd i s e r i m i n a n ta n a l y s i s ，l d a ) ，该方法的特征脸空间 由与类内散布矩阵正交的矢量构成，通过实践证明该方法对待测图像中的光照以及表 情变化都不太敏感。此外，考虑到人脸色彩对人脸特征的影响，t u r r e s 等人啪3 提出基 于自身特征脸的方法，该方法将特征脸与人脸的色彩信息进行融合，在实验中能有效 的从视频序列中识别出指定的人脸。h o n g 等人还提出了一种基于奇异值分解( s v d ) 的方法，这种方法的思想与k - l 变换的思想比较相近，但不是基于统计的思想，该方 法使用图像矩阵的奇异值作为特征矢量。基于奇异值分解的方法具有以下两个优点： 第一，人脸图像的奇异值比较稳定，即待测图像中即使有扰动或噪声，该图像的奇异 值也不会有太大的变化；第二，奇异值是图像的一种内在本质特征，它代表了图像的 代数特征，在实际应用中发现基于奇异值分解得到的特征一般拥有代数和几何两方面 的不变性。 7 第一章绪论 ( 三) 基于隐马尔科夫模型的方法 一种人脸识别方法的效果如何，主要取决于它在多大程度上利用了图像的原始信 息。我们可以利用一组数值特征来描述人脸各个器官，并且利用这些数值特征对人脸 进行识别。但是简单的利用一组数值特征并不能圆满的解决人脸识别的问题，人脸应 当作为一个整体来描述，不仅仅包含各个器官的数值特征，还应当包括各个器官的不 同表象和相互关联。隐马尔科夫模型( h m m ) 1 2 8 】为我们提供了解决这一问题的机制， 按照这种模型，观测到的一列特征被看成是另一组不可观测“状态”产生的实现。因 而可以将不同的人脸用不同的h m m 参数来表示，而同一个人由于姿念和表情变化产 生的多个观察可以通过同一个h m m 模型来表示，这在理论上有了很大的提高。 关于隐马尔科夫方法的研究始于2 0 世纪6 0 年代末和7 0 年代初。8 0 年代后，h m m 被更多的学者掌握和利用，并在语音识别以及印刷体识别等方面得到了广泛应用。隐 马尔科夫模型用于人脸识别时，把人脸模型中各个器官的特征进行融合，并将其与一 个状态转移模型结合起来。s a m a r i a 最早建议使用关于人脸的隐马尔科夫模型1 2 9 1 ，他 用一个矩形窗从上到下采样人脸图像，将检测窗内的像素排成列向量，用灰度值作为 观察值。n e f i a n 发展了s a m a r i a 的方法，提出了基于2 d d c t 特征提取的方、法【3 0 】，他 利用3 9 个2 d d c t 系数作为观察序列，代替s a m a r i a 的狄度值序列，这在一定程度上 解决了s a m a r i a 方法需要大存储空间的缺点。h m m 模型在人脸识别中取得了非常显 著的效果，有很多基于h m m 的方法在o r l 人脸库中取得了1 0 0 的效果。但是其复 杂的运算限制了其在基于嵌入式系统中的应用。 1 3 本文的主要研究内容 人脸识别通常可以划分类两个主要阶段，即人脸检测和人脸分类( 即狭义上的人 脸识别) ，针对嵌入式系统的特点及其应用环境的特殊性，本文对人脸识别中的这两个 过程分别进行了改进和优化，其中在人脸检测过程中改进了a d a b o o s t 级联分类器结 构，人脸识别过程中对单训练样本人脸识别模型进行了优化，主要的研究内容如下： 1 对基于a d a b o o s t 算法人脸检测方法的改进 通常a d a b o o s t 级联分类器使用一个强分类器不能圆满的完成检测任务，要进一步 提高检测精度，就需要级联更多的强分类器，这样又会降低检测速度。本文提出在 a d a b o o s t 级联分类器结构中引入加权判决函数，对其中相互独立的级联分类器进行信 8 中国石油大学( 华东) 硕士学位论文 息融合，不增加级联强分类器的个数，提高检测率。当样本被当前级a d a b o o s t 分类器 判为假后，再使用该级的加权判别函数对其进行判决。如果加权判别函数判决为真， 则仍然使样本输入到下一级的分类器中，反之，则拒绝该样本。使用该方法小幅度增 加了级联分类器的训练时间，但是减少了级联强分类器的个数，降低了整个人脸检测 阶段的时间耗费，同时也提高了人脸的检测精度，适合计算速度慢、实时性要求高的 嵌入式系统。 2 单样本人脸识别模型的优化 目前常用的人脸识别方法，当有充分数量具有代表性的训练样本时，能取得较好 的识别效果。然而在一些特殊场合，每个人都只有一幅人脸样本图像，此时，现有的 许多方法识别率将明显下降甚至不适用。针对这一问题，本文在单样本人脸识别问题 中，一方面引进一些几何变换增加虚拟样本数量，将单样本人脸识别问题转化为普通 的模式识别问题；另一方面利用二维主成分分析，抽取更利于分类的特征，大大提高 了单训练样本人脸识别问题的识别率。 3 嵌入式平台上算法的性能测试 针对上述对人脸检测和人脸识别两个阶段算法的改进，本文都完成了独立的实验， 验证了其有效性并与相关的算法进行了比较。最后在嵌入式开发板上，对本文提出的 方法，进行了性能评测。分析了在嵌入式系统应用环境中，改进的单样本人脸识别系 统工作时占用系统资源的情况。 1 4 论文的组织结构 全文共分为6 个部分： 第一章绪论。本章首先介绍了本课题的背景意义；其次介绍了人脸检测与人脸识 别的国内外研究现状：最后对本文的主要研究内容做了概述。 第二章人脸识别研究的基本理论介绍。首先，介绍了人脸识别的基本原理；然后， 对a d a b o o s t 快速人脸检测算法的原理进行了详细的介绍：最后，对当前比较常用的人 脸识别算法作了概要介绍，其中包括常用的子空间方法( 主要是p c a 和l d a 方法) 和基于嵌入式隐马尔科夫模型( e m b e d d e dh m m ) 的人脸识别方法。 第三章对基于a d a b o o s t 算法的人脸检测方法的改进。首先，对传统a d a b o o s t 算法涉及的理论进行了介绍；然后，基于a d a b o o s t 的级联分类器结构引入加权判决函 数：最后，在p c 机上对改进后的算法进行了仿真实验。 o 第一章绪论 第四章对单样本人脸识别模型进行优化。分析了单样本人脸识别问题的应用前景 和使用中遇到的问题，针对这一系列的问题，首先对单训练样本人脸识别问题中的训 练样本进行变换，模拟人脸的各种姿态、所处环境的光线、遮挡等生成1 3 个虚拟样本， 然后利用2 d p c a 提取有利于人脸分类的特征；最后使用常用的人脸识别方法进行人 脸识别实验。 第五章人脸识别算法在嵌入式系统中的实现。针对嵌入式系统的特殊应用环境， 基于$ 3 c 2 4 4 0 a 开发板，对本文提出的方法进行了优化，使得提出的算法更加适合于 嵌入式系统，并且在开发板上对改进的算法进行了验证。 第六部分全文总结。概括性总结了本文所做的主要工作，以及通过实验发现的不 足和今后努力的方向。 1 0 中国石油大学( 华东) 硕士学位论文 第二章人脸识别研究的基本理论 2 1 人脸识别原理 人脸识别的过程大致分为三步：( 1 ) 对输入的图像或视频，判断其中是否存在人 脸( 即人脸检测) ：( 2 ) 若存在人脸则进一步给出每个人脸的位置、大小和面部器官的 特征信息：( 3 ) 将这些信息与已知人脸库中的人脸信息进行对比，从而判断该人脸的 信息。 人脸识别系统图如图2 1 所示： 结果 图2 1 人脸识别系统框图 f i 9 2 - 1t h ef i g u r eo ff a c er e c o g n i t i o n ( 1 ) 检测、分割、定位人脸 人脸检测是指在输入图像中判断是否存在人脸，如果存在，则找出人脸所在位置， 并将人脸区域分割出来，以备在下一阶段使用。即解决“是否有人脸，人脸位置在哪 里，人脸大小? 刀的问题。这一过程主要受光照条件、图像质量、人脸大小、角度、 表情、毛发、饰物和年龄变化等多方面的影响。 ( 2 ) 人脸特征提取 人脸表征即采取某种方式表示检测出的人脸和数据库中的已知人脸，又称为“特 征提取 ，在人脸识别系统中必不可少，通常使用的方法主要有几何特征描述( 如距 离、曲率、角度、大小比例) 、代数特征描述( 如特征矩阵) 、特征模板描述( 包括 固定模板和弹性模板) 、特征脸等。 ( 3 ) 匹配和识别人脸 人脸识别是将检测出的人脸与数据库中的已知人脸进行匹配，得出有关身份方面 的信息。即解决“该图像是谁? 或“该图像是某人吗? 等问题。人脸识别的关键 是人脸特征的选择和提取，只有选取适当的人脸表征方式，以及匹配策略，才能得到 第二章人脸识别研究的基本理论 较高的识别率。 2 2a d a b o o s t 算法原理 v i o l a 等门提出使用a d a b o o s t 学习算法的快速人脸检测方法，该方法有三个突出 贡献：第一，提出了一种新的快速计算人脸特征值的方法积分图( i n t e g r a li m a g e ) ， 使用积分图方法可以方便快速的计算a d a b o o s t 分类器所使用的h a a r 1 i k e 矩形特征值： 第二，使用了a d a b o o s t 机器学习算法从海量特征集中寻找有利于分类且富有代表性的 特征，使用这些特征训练生成结构简单的弱分类器，然后再将这些弱分类器叠加在一 起构成强分类器；第三，使用串联的方式将生成的高效强分类器合成为一个结构复杂、 分类效率高的层叠分类器( 也称级联分类器) 。 使用最终产生的层叠分类器对输入的待检测图像进行搜索，使用该方法能快速的 排除待测图像中不包含人脸的背景区域，这样可以集中精力在可能存在人脸的区域进 行检测，大大的节省了整体的检测时间。由于该方法具有上述几个特点，可以说 a d a b o o s t 快速人脸检测方法是真正意义上的实时人脸检测算法。其检测过程如下： ( 1 ) 首先加载待检测图像。 ( 2 ) 将待检测图像转化为灰度图像，即把原来图像中j v 格式的像素值用8 位灰度值表示。 ( 3 )对灰度图像进行一遍扫描并使用积分图计算h a a r - l i k e 特征。 ( 4 )对图像进行检测，首先使用一定规格的子窗口按一定策略对整幅图像检 测，然后按照一定比例扩大子窗口的尺寸，直到检测窗口跟当前待检测图 像大小一致；子窗口对待检测灰度图像的检测过程，事实上就是由简单到 复杂的过程，首先选择人脸特征中比较明显的分类特征，排除掉大部分没 有人脸的背景区域，之后再通过每一级分类器筛选，最终判断整幅图像是 否存在人脸，及可能存在人脸的个数。 ( 5 )最后确定图像中人脸的位置和大小。 ( 6 ) 分割人脸区域。 2 2 1 积分图与h a a r 1 i k e 特征 h a a r - l i k e 特征是v i o l a 等人【3 1 】将a d a b o o s t 算法应用于人脸检测时提出的用于表征 人脸模式的种矩形特征，因为其类似于h a a r 小波，所以取名h a a r - l i k e 特征。原始的 1 2 中国石油大学( 华东) 硕士学位论文 h a a r - l i k e 特征有3 种类型的矩形特征，共有4 种形式。如图2 2 所示： ( a ( c ) 口 c 剐 图2 - 2h a a r - l i k e 特征 f i 9 2 - 2e x a m p l eo fr e c t a n g l ef e a t u r e s 图中( a ) ( b ) 所示的是由2 个矩形组成的h a a r - l i k e 特征，( c ) 表示的是3 个矩形组 成的h a a r - l i k e 特征，( d ) 表示的是4 个矩形组成的h a a r - l i k e 特征。 由2 个矩形组成的h a a r - l i k e 特征的特征值是两个矩形各自内部所有像素和的差 值。以此类推，由3 个矩形组成的h a a r - l i k e 特征的特征值是两个白色矩形内所有像素 的灰度值之和减去黑色矩形区域内所有像素的灰度值之和：由4 个矩形组成的 h a a r - l i k e 特征的特征值是对角上两个白色矩形内所有像素的灰度值之和减去令一对角 上两个黑色矩形区域内所有像素的灰度值之和。 r a i n e rl i n e n h a r t 等1 3 2 】提出了扩展的h a a r - l i k e 特征，如图2 3 所示，每个特征由2 3 个矩形组成，其中( a ) 用来检测边界，( b ) 用来检测细线、( c ) 用来检测中心特征。 ( a ) ( b )叩册 回 图2 - 3 扩展的h a a r - l i k e 特征 f i 9 2 - 3 t h ee x t e n d e ds e to fh a a r - l i k ef e a t u r e s 每个特征可表示为： f e a t u r e j = c o , r e c t s u m ( r , ) ( 2 - 1 ) l e ( 1 ， ，) 其中哆为矩形，：的权值，i k 舭( ) 为矩形，：图像的灰度积分，n 是组成力吧 的矩形个数，如图( b ) 中第一个线特征，它由三个矩形组成，设q = 1 ，= - 2 ，他= l 则其特征值为： 1 3 第_ 二帝人脸识别研究的摹奉理论 f e a t u r e 3 = qr ec t s