（模式识别与智能系统专业论文）基于特征组合的人脸识别技术研究(1).pdf

摘要 人脸识别是计算机视觉、图像处理、模式识别以及人工智能等领域的重要研究内容。本 文主要内容包括基于a d a b o o s t 级联分类器研究人脸和人眼检测，基于主动形状模型研究面 部器官定位方法、基于特征组合方法研究人脸识别问题。 主动形状模型是一种可变形模型，它能够利用训练数据获得相应模型控制参数，并可通 过改变该参数，使目标形状在一定范围内改变。通过对训练数据进行配准、统计分析以及主 元分析等一系列处理，获得相关摸型参数，并利用针对参数的自适应算法和局部灰度结构模 型，实现对不同姿态人脸图像的面部器官定位，进而实现人脸正规化，用于后面的特征组合 人脸识别。针对主动形状模型受初始定位影响很大，文中应用已经检测到的眼睛位置改进了 初始定位，最后各个器官的定位结果平均改善了l - 2 个像素。 文中基于特征组合的人脸识别研究分为前端特征组合和后端特征组合。在前端特征组合 人脸识别中，应用器官定位得到的人脸各个局部器官，首先利用主成分分析( p c a ) 提取各 个器官的主特征，在一个低维的。局部特征子空间”中依照最近邻法则匹配测试样本并比较 各个局部特征单独用于识别时的识别性能；然后，针对人脸局部特征，提出了一种根据各局 部子块( 如眼、鼻、嘴) 的特征偏离程度进行自动加权的算法并比较了新算法与工程训练加权 法的优缺点。对于后端特征组合人脸识别，文中主要讨论了各种分类器组合方法，提出了一 种“权值投票法”进行分类器组合，比较了薪方法与经典的人脸识别方法的识别性能。 关键词：主动形状模型、人脸识别，特征组合 丕亘盔堂塑主堂笪迨塞 a b s t r a c t f a c er e c o g n i t i o n 讧a l li m p o r t a n tr e s e a r c hf i e l di n c l u d i n gc o m p u t e rv i s i o n ，i m a g ep r o c e s s i n g , p a u e r nr e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e , e t c af a c ea n de y ed e t e c t i o ns y s t e mb a s e do n a d a b o o s tc a s c a d ec l a s s i f i e r s ，f a c i a lf e a t u r e sl o c a t i o nb a s e do na s m a n df a c er e c o g n i t i o nb a s e d o i lf e a t u r ef u s i o na r ed i s c u s s e di nt h i sp a p e r a c t i v es h a p em o d a l ( a s m ) i sad e f o r m a b l em o d e la n dt h ec o n t r o lp a r a m e t e r sc a nb e o b t a i n e db yd a t al e a r n i n g t u n i n gt h e s ep a r a m e t e r sw i t h i ns o l n er a n g e s , t h et a r g e ts h a p e sc a nb e a l t e r e d t h r o u g hd a t aa l i g n m e n t , s t a t i s t i ca n a l y s i sa n dp c a ( p r i n c i p a lc o m p o n e n t a n a l y s i s ) o nt h e w a i n i n gd a t as e t , t h ep a r a m e t c p so fa s ma o b t a i n e d u s i n gt h ep a r a m e t e r ss e l f - a d a p t i n g a l g o r i t h ma n dl o c a l 吐哦m o d e l t h ep o s i t i o n so ff a c i a lc o m p o n e n t sc a nb ee s t i m a t e di nt h e f a c ei m a g e so fd i f f e r e n tp o s e s t h ef a c ec a n d i d a t er c g i o u sa r en o r m a l i z e df o rf a c er e c o g n i t i o n b e c a u s eo ft h ev i t a li n f l u e n c eo ft h ei n i t i a ll o c a t i o n , a ni m p r o v e di n i t i a ll o c a t i o nu s i n gd e t e c t e d e y e s l o c a t i o ni sp r o p o s e da n dt h er e s u l to f a s mi si m p r o v e db y1 - 2p i x e l s f a c er e c o g n i t i o nb a s e do nf e a t u r ef u s i o ni sd i v i d e di n t ot w op a r t s - f e a t u r ef u s i o ni nf e a t u r e l a y e ra n dc l a s s i f y i n gl a y e r i nt h ef e a t u r el a y e r , p c ai sa p p l i e dt ot h ef a c i a lf e a t u r e so b t a i n e di n , m ea s mt og e tt h em o d u l a rf e a t u r e s a n dt h ei n p u t sf a c i a lf e a t u r e sa r ec o m p a r e dw i t ht h et r a i n i n g f m u s i n gn 锄 e a tn e i g h b o ri nal o w - d i m e n s i o n a ll o c a lf e a t u r es b s p u c s a n da l lt h ef a c i a l f e a t u r e s ( f i g h te y e , l e f te y e , n o s e ) a s e p a r a t e l yu s e dt or c c o g m et h ew h o l ef a c ea n dt h e e x p e r i m e n tr e s u l ti sp r e s e n t e d f u r t h e rm o r e , an e ww e i g h t i n gs t r a t e g ya p p l y i n gt h es e p a r a t i n g r a t i oo fa l ll o c a ls u b - b l o c k si sp r o p o s e da n dt h er c c o g n i z i n gp e r f o r m a n c e 弧c o m p a r e dw i t ht h e t r a i n i n gw e i g h t s m a n ym e t h o d so ff a c er e c o g n i t i o nu s i n gm u l t i p l ec l a s s i f i e r si sd i s c u s s e di nt h e f e a t u r ef u s i o no fc l a s s i f y i n gl a y e r , t h e nt h e w e i g h t e dv o t i n gm e t h o d i sp r o v i d e dt oc o m b i n et h e l o c a lc l a s s i f i e r s f i n a l l y , 越lt h em e t h o d sp r o v i d e di n t h i s p a p e ri sc o m p a r e dw i t ho t h e r c o n v e n t i o n a lm e t h o d si n c l u d i n gp c aa n dl d ai ny a l eu n i v e r s i t ya n dt o k y ou n i v e r s i t yf a c e r e s o u r k e y w o r d s ：a s m ，f a c er e c o g n i t i o n ，f e a t u r ef u s i o n i i 东南大学学位论文独创性声明 本入声明所呈交的学位论文是我个人在导师指导下迸行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：日 期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：导师签名：日期： 第1 章绪论 1 1 引言 第1 章绪论 近年来，在日常事务和工业生产的各个方面，随着计算机的普及和应用，对个人身份的 自动鉴定提出了越来越多的要求。目前广泛采用的身份验证形式主要有标识号码、磁卡、i c 卡等。这些方式的优点是技术已比较成熟，并可以采用各种手段加以保护，但所有这些都难 以阻正伪造，传统的系统安全性技术己经遭遇严重的挑战，迫切需要研究出新的个人身份鉴 定方法。 由于人体的很多特征具有单一性的特点，人们把目光转向了利用人体生物特征进行识别 的技术。这种利用人体的身体特征来进行身份验证的技术称为生物识别技术。要把人体的生 物特征用于身份识别，这些特征必须具有唯一性和稳定性。研究和经验表明，人的指纹、掌 纹、面孔、发音、虹膜、视网膜、骨架等都具有唯一性和稳定性的特征，即每个人的这些特 征都可以认为是与别人不同而且是终生不变的，因此就可以借此识别出人的身份。基于这些 特征，人们发展了指纹识别、人脸识别、语音识别等多种生物识别技术，目前指纹、虹膜等 识别技术己经达到了很好的识别效果。 与利用指纹、虹膜等其他人体生物特征进行个人身份鉴别的方法相比，人脸识别具有直 接、友好，方便的特点，是进行身份确认的最自然直接的手段。正是因为如此，近年来在国 际上有很多研究者对基于人脸特征的身份识别和验证进行了大量的研究。人脸识别作为模式 识别学科的一个重要分支，是模式识别领域中一个非常困难、既具有重要理论意义又具有广 阔应用前景的研究课题。 人脸识别研究的意义主要体现在以下几个方面【j j ： 首先，人脸识别研究成果能为公安、银行、海关等机要部门在鉴别人的身份时提供新的， 方便的检测手段，从而大大提高安全部门的工作效率和方便住。 其次，人脸识别作为一种典型的对于三维自然物体的识别，具有重要的理论价值，它的 研究思想和实现方法可为其它三维动态自然物体的识别提供重要理论和参考、借鉴。 最后，人脸识别研究的一个主要内容是如何描述与表示人脸，这对于图像压缩及信息 传输也具有重要应用价值。 1 2 人脸识别系统的组成 对人脸识别问题通用的描述如下【2 】：给定一个静态图像或者视频的一帧图像，应用存储 的人脸库来识别或认出图像中的一个或多个人。其他的相关信息，如种族，年龄，性别，面 部表情或者声音可以增强识别性能。人脸识别问题的解决方法包括：图像中的人脸分割( 人 i 东南大学硕士学位论文 脸检测) ，人脸区域的特征提取，人脸识别或者认证。( 见图1 1 ) 。识别系统中，输入一个未 知人脸，系统返回一个确定的身份；在认证系统中，系统确定或者拒绝输入人脸的身份。 输入图像视频 1 3 人脸检测 图1 1 典型人脸识别系统的组成 人脸检测问题最初来源于人脸识别“1 ，它是自动人脸识别系统中的一个关键环节。但是 早期的人脸识别研究主要针对具有较强约束条件的人脸图像( 如无背景的图像) ，往往假设 人脸位置已知或很容易获得，因此入脸检测问题并未受到重视。近凡年随着屯子商务等应用 的发展，人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统 能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸检测也开始作 为一个独立的课题受到研究者的重视。一般人脸检测问题可以描述为：给定一幅静止图像或 一段动态图像序列，从未知的图像背景中分割、提取并确认可能存在的人脸，如果检测到人 脸，提取人脸特征。虽然人类能毫不费力地识别出人脸及其表情，但用机器自动进行人脸检 测与识别却是一个难度极大的课题。它牵涉到模式识别、图像处理及生理、心理学等方面的 诸多知识。其面临韵闯题可以归结如下“： ( 1 ) 图像中是否存在人脸：即如何判断图像中是否存在人脸，如何区别人脸和类似人脸 的非人脸图像。 ( 2 ) 检测不同表现形式的人脸；人脸可能以不同视角出现在图像中，也可能被某些物体 遮挡，造成某些用于检测而需提取的人脸特征不可见，为了实现检测方法的鲁棒性，还需考 虑人脸在各种复杂的背景中，不同方向、角度尺度等情况下所展现出来的不同表象。 2 第l 章绪论 ( 3 ) 图像中存在着噪声：检测对象大多是由图像捕捉设备所采集的数字图像或视频流中 的数字图像序列，所以采集条件特别是光照条件包括光源的方向、明暗、色彩等都会对图像 的效果产生很大的影响，进而影响对人脸的检测。 ( 4 ) 人脸自身的因素：人脸是一个包含五官、毛发等极不规则的复杂待测目标，不同的 人脸在形状、大小、颜色、质地等方面都有很大的变化性，某些局部特征具有随机性( 如眼 镜、胡须、发型等) ，而且还存在着不同表情的人脸，以及时间间隔产生人脸的变化等，这 些都给人脸检测带来难度。 人脸检测问题在近十年得到了广泛的关注和长足的发展，国内外很多研究学者提出了很 多方法，在不同的领域取得了一定的成果。但是对于寻找一种能够普遍适用于各种复杂情况 的准确率很高的检测算法，还有很大的距离。现有的人脸检测技术方法可以分为三类：基于 特征的方法、模板匹配法，基于表象的方法。 基于特征的人脸检测方法是通过检测出不同的人脸面部特征的位置，然后根据它们之间 的空间几何关系来定位人脸。这种方法又可以进一步分为基于知识和基于局部特征的检测策 略。基于知识的方法首先定位候选人脸区域，然后再通过人脸的先验知识来检验人脸是否存 在与之相对应的基于局部特征的方法中，人脸的局部特征如眼睛、鼻子和嘴唇等首先被检 测出来，然后由这些局部特征组合成人脸。另外，肤色特征与运动特征也能与其它特征相结 合用于人脸检测之中。 早期的基于模扳匹配的方法处理过程是；首先建立一个标准的人脸模板，由包含局部 人脸特征的子模板构成，然后对一幅输入图像进行全局搜索，对应不同尺度大小的图像窗口， 计算与标准人脸模板中不同部分的相关系数，通过预先设置的阈值来判断该图像窗口中是否 包含人脸。利用基于模板的方法来定位眼睛的位置，他们把标准的眼睛模板调整为5 个不同 的尺寸，然后在输入图像中找寻眼睛。这种简单模板匹配的方法易于实现，但是也存在着缺 点：图像噪声对检测结果影响很大，因此需要对输入图像做适当的预处理；标准模板的大小 是人为设定的，因此不能动态检测眼睛的位置。y u l l i e 等人提出了一种基于弹性模板的人脸 检测方法”。弹性模板是由一个根据被测物体形状而设定的参数化的可调模板和与之相应的 能量函数所构成，能量函数要根据图像的灰度信息、被测物体轮廓等先验知识来设计。当用 弹性模板进行人脸检测时，首先，将可调模板在待测图像中移动，并动态地调整其参数，计 算能量函数。当能量函数到达最小值时，根据其位置和参数所决定的可调模板形状应该达到 与人脸形状的最佳拟合，这样就检铡到了一幅人脸。这种方法的优点在于，由于使用的弹性 模板可调，能够检测不同大小、具有不同偏转角度的物体。但是其缺点是检测前必须根据待 测物体的形状来设计弹性模板的轮廓，否则会影响收敛的结果；当对图像进行全局搜索时， 由于要动态地调整参数和计算能量函数，计算时问过长 基于表象的方法遵循一种统一的模式，即首先通过学习，在大量训练样本的基础上建立 一个能对人脸和非人脸样本进行正确识别的分类器，然后对被检铡图像进行全局扫描，用分 类器检测扫描到的图像窗口中是否包含人脸。若有，则给出人脸所在的位置。采用这种检测 东南大学硕士学位论文 模式的理论依据是：人脸具有统一的结构模式( 都是眉毛，眼睛，鼻子和嘴巴等器官构成) ， 如果将所有的图像集看作一个高维线性空间，那么整个人脸图像集仅对应于其中的某个子空 间。通过检验待测图像窗口是否落在这个子空间中来判断其是否为人脸。因此，通过大量的 人脸和非人脸样本来建立一个分类器，使它能正确分辨这两种不同的图像模式，再利用训练 好的分类器在未知的图像中检测人脸。在这些方法中，基于支持向量机与基于神经网络的人 脸检测的方法是最具有代表性的”1 。 另外，v i o l a ”提出了积分图像概念和基于a d a b o o s t 方法训练人脸检测分类器的方法， 具有速度快、检测率高等优点，是目前较有影响的一种方法。随后l i 的研究组“发展了这一 方法，建立了实时的多视角人脸检测系统。v i o l a 的方法利用积分图像快速计算图像的矩特 征；通过a d a b o o s t 学习算法选择少量的关键特征构造分类器；在检测时，将多个分类器组成 一个级联结构，以快速的排除图像中的非人脸区域。 1 4 特征提取 特征提取的方法主要分三类： ( 1 ) 普通的基于边缘、直线、曲线的方法 ( 2 ) 基于特征模板的方法，主要用于检测眼睛之类的面部特征 ( 3 ) 考虑特征几何约束的结构匹配法 早期的方法主要集中在单个特征，例如，b e l h u m e u w 【1 ”介绍的模板匹配的方法只能用于 正面人眼的检测和识别。但是特征的外观变化很大，如眼镜闭着，带眼镜，嘴张开时，这些 方法在识别时将会非常困难。为了更可靠地检测特征，近来的方法应用结构匹配法，与早期 的方法相比，现在这些统计方法在处理图像灰度和特征形状变化很大时有很好的鲁棒性。 特征提取的一个更有挑战性的问题是特征“重构”，当头部姿态变化很大时重构原来不 可见的特征。最好的特征重构方法是应用脸部双边对称性或者先验信息来想象丢失的特征。 c r a w 【”1 提出的基于视觉的统计方法自称能够解决人脸轮廓视角9 0 度时很多局部特征不可见 的情况。 z h a o 1 3 1 提出了一种基于模板的眼睛和嘴巴检测方法。这个方法是把一个预先定义的参 数化模板与包含人脸区域的图像进行匹配。眼睛和嘴巴应用不同的模板，同时定义了一个能 量函数来连接灰度图像的边缘，峰值，谷值来与模板的性质匹配，通过迭代改变模板的参数 与图像匹配使能量函数达到最小值。与这个手工设计的模板相比，统计形状模型1 1 4 1 ( a s m ) 的灵活性和鲁棒性更好。 1 5 人脸识别 人脸识别研究可以追溯到二十世纪六、七十年代。所谓人脸识别，是指给定一个包含若 干已知身份的人脸图像的数据库，在一幅待识别的人脸图像中，利用计算机从中提取有效的 4 第1 章绪论 识别信息，从而验证和鉴别单个或者多个人的身份。 人脸识别方法很多，目前总体上可以分为三大类，基于整体( h o l i s t i c ) 的方法，基于 局部特征( f e a t u r e ) 的方法，和基于整体和特征的混合方法“1 。其人脸识别方法及其 代表性工作见表1 。 表1 人脸识别方法 方法代表性工作 基于整体的识别方法： 主成分分析 特征脸方法 直接应用主成分分析 概率特征脸基于概率方法的两类问题 线性判别子空间特征脸基础上的线性判别分析 支持向量机基于支持向量机的两类问题 进化搜索增强遗传算法学习 特征线基于点到线距离 独立成分分析 基于独立成分分析的特征分析 其他方法： 基于神经网络的概率决策 基于神经网络的方法粗略图像的f i s h e r 线性判别 线性判别分析f i s h e r 线性判别 基于局部特征的识别方法：早期的一些方法 纯几何方法图匹配方法 动态链接结构基于隐m a r k o v 模型的方法 隐马尔可夫自组织图形学习的卷积神经网络 盘旋神经网络 混合识别方法：特征脸和特征模 模特征脸组合局部特征方法 混合局部特征分析可变形模板 形状标准化 1 5 1 基于整体的方法 基于整体的方法将整个人脸区域即模式的整体属性，作为人脸识别系统的输入，其优点 是在利用提取到的各部件自身特征的同时，可以自然地保留了人脸部件之间的拓扑关系。这 一类方法主要以基于k l 变换的特征脸方法为代表。 t u r k 和p e n l a n d 提出的特征脸方法“是基于l 【l 变换技术的人脸低维重构思想。它认为 5 东南大学硕士学位论文 自然原始的人脸图像对于识别来说存在着明显的统计冗余信息，通过k l 变换可以将高维人 脸图像降低到一个由一组新的正交基所构成的低维子空间中，而且不同的人脸图像在这个新 的低维子空间中具有可分性，这组新的正交基就是特征脸向量。待识别的人脸图像投影到这 个新的低维空间中，可以得到以一个投影系数向量作为权值对特征脸向量的线性求和来表示 的方式。t u r k 和p e n l a n d 用最简单的最近邻分类器对这个投影系数向量进行分类，从而得 到待识别人脸图像的所属模式。到目前为止，特征脸方法的这种降维思想已经广泛贯串应用 到自动人脸识别技术的人脸检测、特征提取及识别等环节中。特征脸方法的缺点在于计算特 征脸空间时用到的总离散度矩阵方差，不仅来源于不同人脸模式的类间差异，而且来源于同 一人脸中由于光照、姿态视角、发型、或是其他一些因素造成的类内差异。而后者这些差异 对总离散度矩阵方差造成的贡献是不利于识别结果的，特别是由于光照、角度等因素的影响。 特征脸方法产生的识别率会有明显的下降。 特征脸方法自九十年代提出以来取得了很大的成功，对于其自身存在的弱点，出现了很 多改进的方法，例如基于模式识别中经典的线性判别分析理论而提出的线性判别子空间法 “”。这种方法的最基本思想也是对人脸图像进行降维，但由于其产生新子空间的过程本身， 对人脸模式的类内类间差异的衡量，有利于不同类人脸样本之间的距离尽可能的大，同一类 人脸样本之间的距离尽可能的小。 由l i u 等人提出的基于神经网络人脸识别方法 2 0 j 是基于概率决策理论，将人脸直接用灰 度表征，利用神经网络的自组织自学习的能力来达到模式分类的目的的。作为一种经典的模 式分类方法，神经网络进行人脸识别的优点在于：它可咀避免繁琐的特征提取工作，只要训 练样本具有足够的代表性，可以展现良好的自适应性和鲁棒性，即使有部分人脸区域被遮挡 甚至在噪声干扰较大的情况下依然可以很好的完成任务。缺点在于神经网络的计算量较大， 训练速度比较慢。 1 5 2 基于局部特征的方法 很多学者提出了一些基于特征的方法，包括早期的基于几何特征的方法，以及一维和二 维跨马尔可夫模型( 吲) 方法。其中最成功的方法就是基于l a 的弹性图匹配方法。 基于特征的人脸识别方法首先提取出人脸一些局部器官的特征，例如眼睛、鼻子，嘴巴 和人脸等。然后将这些特征及其位置关系信息、局部统计属性( 例如几何、形状参数或者表 象信息) 等作为人脸模式分类器的输入。这一类方法主要包括基于几何特征的方法、基于隐 马尔可夫模型的方法等。 早期的一些基于纯几何特征的方法现在用的已经不是很多了，这些方法主要是提取人脸 区域的眼睛、鼻子和嘴巴等器官的几何形状配以几何关系，如曲率、角度和欧式距离，将数 据组合形成特征向量用于识别。然而由于需要非常精确的测量出各个器官及其相互之间数学 数据，所以鲁棒性比较差，识别效果也不是很好。 隐马尔可夫法首先在语音处理领域取得了较大的成功，然后有不少学者将其应用到人脸 6 第1 章绪论 识别领域。s a m a r e a 最早建议了关于人脸的隐马尔可夫模型“一，他将人脸图像分成相互有 一定重叠区域的小块，将小块内的二维图像矩阵转换为一个一维的灰度值向量，然后将这个 向量作为隐马尔可夫模型中的观察向量，用以训练模型参数。这种方法的优点在于；一个训 练好的舢模型的序列既含有人脸图像不同部位的信息，又考虑了他们的相互关系，比起孤 立的利用各个器官的数值特征有概念上的进步。n e f i a n 发展了s a m a r i a 的方法“，主要是 解决直接用灰度值作为观察向量需要大量存储的缺陷，提出的基于3 9 个二维离散余弦变换 特征系数作为观察序列，不仅减少了计算量，还可以保持$ a m a r i a 原始方法所具有的识别率i 1 5 3 混合方法 这类方法的思路是模仿人类大脑感知系统，综合使用整体信息和局部信息辨别人脸模式 的方法。全局方法的识别速度更快，但是它提供的判别信息并不丰富，不能解决大数据库和 大形状变化问题。这个缺点可以应用局部特征方法补偿。混合识别方法就是综合使用全局和 局部特征进行识别。 p h i l l i p s “4 1 提出了模块化特征脸的方法就是一种混合识别方法。在静态图像人脸识别中， 提供的人脸图像可能是多视角图像，即正面和侧面图像。对多角度图像的处理方法有两种， 一是积累所有的图片，然后构成一个代表所有图像的特征脸集合；二是对不同视角使用不同 的特征脸。第二种方法，即基于视角的特征脸方法的性能优于第一种方法。 而且，特征脸的思想也可以延伸到特征器官，如特征眼，特征嘴巴，特征鼻子等。实验 表明，在低阶空间中，特征器官比特征脸更有效，同时试验表明，识别正面且表情变化不大 的人脸时，应用特征器官进行的混合识别方法的性能并没有很大提高，研究人员认为，当输 入图像有很大变化时，基于特征的方法会更有效。 p j o n a t h o n 1 提出了一种基于p e a 和l f 的混合识别方法。l f a 方法希望在低维的子 空间中找到适合的参数来表示人脸图像，其很好的应用例子就是在线性子空婀中分解出近似 表示正面人脸的p c a 展开式。同时，为了解决冗余，p j o n a t h o n 应用l f a 从局部p e a 模式 中提取外貌局部特征。p e a 的核m ，没有任何外貌信息，而l f a 的核k ( 薯，y ) 有局部基。实 验表明，使用相同数量的核，基于最优网格集的l f a 重构质量好于p c a ，均方差为2 2 7 ， 对特定输入的均方差为1 8 4 ；l f a 重构后应用p c a 特征模式，均方差为1 5 2 ，研究人员推荐 混合使用p c a 和l f a 。 l i n s h 2 6 1 提出了一种可变外观模型来进行人脸识别，综合应用p c a 和a s m 方法。在 识别中既应用了灰度信息，又应用了形状信息。形状模型a s m 是一种物体形状的统计模型， 这些模型能够循环地退化而与新图像中的物体性状匹配。这些统计模型应用p c a 在实倒图 像上进行训练，其中变量是形状模型点的坐标。为了分类，应用判别分析把因为类间误差而 产生的形状误差与类内误差分开。基于形状模型的平均形状再次应用p c a 可以构造一个全 局形状无关的灰度模型。为了提高鲁棒性，在形状模型点上构造局部灰度模型，并应用垂直 7 东南大学硕士学位论文 于形状边缘的局部轮廓。最后，对任一输入图像，包括提取的性状参数，与形状无关的图像 参数和局部轮廓这三类信息均用来计算用于分类的马氏距离来对人脸进行分类。 最后回顾的方法是基于局部元素的人脸检测和识别。基于局部元素的人脸识别方法基本 思想是把人脸分成一系列面部元素，如嘴巴，眼睛等，它们之间用可变几何模型相连接。 但是，在建立这种混合系统的时候还有很多问题需要解决。一个最重要的问题就是如何 在全局变量和局部变量之间权衡，达到最佳识别效果。初步方法就是建立一个简单的工程方 法来确定局部特征的权值。本文在这方面做了一些工作。但是如何决定以及如何使用这些局 部特征还是一个开放的问题。 综上所述，现阶段人脸识别技术的各种方法都获得较大的发展，取得了不少的成绩，当 然各自也有不足。整体上来讲，难点还是在光照影响、姿态变化、表情变化、遮挡等复杂条 件下，识别率的急剧下降。为解决这些问题，到目前为止，又有了一些新的人脸识别技术表 现出崭新的应用潜力“4 ”，为此f r v t 的组织者美国联邦调查局等机构又在筹备f r v t 2 0 0 5 的各项工作，并打算成立一个新的人脸识别大型挑战( f r 6 c ) 以专门关注和发展这些新的人 脸识别技术。 1 6 论文的主要研究工作和安排 在目前人脸识别的各种方法中己有许多特征可供利用，不同的特征总是会反映模式不同 方面的特性。因此在人脸识别系统中肘现有的一些特征进行组合，特别是各种局部特征组合 或者全局与局部特征组合可以使识别性能缛到一定的提高。本文在这一方面进行了尝试，做 了一些研究工作。本论文后面的内容是这样安捧的： 第二章介绍了基于主动形状模型( a s m ) 的人脸面部器官定位。这一章是本文的研究重 点之一，本章首先概括的介绍了主动形状模型的基本原理和训练数据的一些预处理方法，分 析了该模型建立的方法与过程，然后重点讨论了基于主动形状模型的面部器官( 主要是眼睛 和鼻子及嘴) 定位的方法，主要介绍了该方法的基本原理和姿态自适应算法以及局部灰度结 构模型的匹配方法，并对不同光线、表情和姿态条件下的人脸图像进行了实验分析。本章最 后应用人眼检测结果改进了初始定位方法，比较了改进前后的定位结果。 第三章介绍了基于特征组合的人脸识别方法。本章是本文研究的核心部分。特征组合方 法分两类：前端组合和后端组合，本章分别对两类组合方法进行了研究。在前端特征组合中， 本章主要介绍了基于器官的局部特征组合方法，首先介绍了基于单个局部特征的识别性能， 然后对各个局部特征进行组合。提出了一种根据各局部子块( 如眼、鼻、嘴) 的特征偏离程度 进行自动加权的算法，并在人脸库中比较了新算法与工程训练权值方法的识别性能。在后端 特征组合中，文中介绍了各个特征分类器的组合方法，提出了“权值投票法”，并在人脸库 中比较了新方法与传统人脸识别方法的识别性能。 第四章是对本文工作的总结，并对后来的人脸识别研究和特征组合方法提出一些展望。 第2 章基于主动形状模型的面部器官定位 第2 章基于主动形状模型的面部器官定位 完成人脸识别的任务主要包括两项内容：从采集到的信号中检测人脸区域和给出人脸区 域中的人脸模式，即人脸所属的个体信息。这两项任务在计算机视觉领域分别称之为人脸检 测( f a c ed e t e c t i o n ) 和人脸识别( f a c er e c o g n i t i o n ) 。 人脸检测对于人脸目标的识别技术起着关键性的作用。所谓人脸检测，就是对于给定的 一幅图像，判断在这幅图像申是否存在人脸；如果存在，给出每一个人脸的具体位置。通过 人脸检测器得到的人脸区域，可能仅覆盖了该人脸一部分，也可能包含有头发、颈部、耳部 及背景等一些干扰信息。为了使后期的特征提取工作准确有效，人脸识别器能够达到应有的 识别率，我们提出基于主动形状模型面部器官定位的方法，对目标人脸图像进行器官定位， 找出其主要器官的具体位置，从而为后续的人脸正规化和序列图像的特征提取做好准备。本 文将在本章介绍基于主动形状模型的面部器官定位的方法。 本章节介绍了主动形状模型的原理和模型建立的方法与过程，通过实验对其在姿态控制 方面的作用作了定性的分析与研究，着重阐述了基于主动形状模型的面部器官定位的方法， 并通过实验对不同表情、光线以及姿态条件下的定位结果进行了归纳和讨论，分析了其误差 产生的原因。 2 1 主动形状模型的建立与分析 目前基于统计形状模型的方法引起了广大学者的广泛兴趣，这是因为利用统计形状模型 可以得到关于对象的诸如形状结构、相互空间关系以及它们的灰度特征的许多相关特征信 息，因此，目前有许多统计形状模型在为人们不断研究，如主动形状模型和主动特征模型等。 本节主要介绍了主动形状模型的基本原理及如何建立主动形状模型，并利用建立的模型对目 标人脸图像的姿态参数控制进行了定性的分析。 2 1 1 模型简介 主动形状模型( a c t i v es h a p em o d e l s a s m ) “”是一种有望用于入脸识别的可变 形模型，它主要利用形状统计学方法，对人脸轮廓及其它特征点进行统计分析，根据统计的 结果建立统计形状模型。首先需要一组标有特征点的图像( 训练集) ，对训练集进行统计处 理，得出其特征向量，并定义能量函数，通过调整模型参数使能量函数最小化从而达到建立 模型的目的。 该模型的基本原理是。首先把一纽标有n 个特征点的n 幅人脸图像( 可包括多个人、不同 表情和姿态的图像) 作为训练数据，特征点可标记在人脸外部轮廓和器官边缘，对这些训练 9 表南大学硕士学位论文 数据先进行配准处理，得到标准化的人脸向量x i ，然后对这些训练向量求其协方差矩阵c ， 并利用主元分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ) ”1 得出其特征向量p ，利用公式 b 2 p 7 “一曲，可以得到控制参数b ，这样就可以通过改变控制参数b 来改变人脸的姿态了， 在此基础上，可以通过一个简单的循环实现参数的自适应，从而实现在姿态变化时人脸主要 器官的跟踪定位。下面简单介绍一下该原理。 首先考虑一幅人脸图像，人为的选择一个特征点的初值作为该人脸图像中轮廓和器官的 近似初始位置，然后根据训练数据得到模型的均值，即“平均脸”，以及控制参数b ，再利用 下面的循环就可以实现控制参数b 的自适应： 1 首先比较当前标注的特征点的位置与所选择的初始位置之间是否是最佳近邻匹配， 即可以通过两个位置之间的距离差来判断；若是则证明选择的初值就是最后定位的结果，反 之，则进入第2 步； 。 2 不断修正控制参数b 和其他一些映射参数，从而得到新的特征点的位置，并用该位置 与上一次所得到的位置进行比较，看是否是最近邻匹配，若是则该位置就是所要求的目标位 置，反之，则进入下一步； 3 不断的判断新老位置之间的距离，看是否收敛，若不收敛则从第1 步从新开始循环， 直到最后收敛为止，这时所得的结果就是定位的目标结果。 由于主动形状模型是基于模板匹配的可变形模型的一种，它通过一定数量的样本学习训 练，获得一定模型参数，然后对输入图像进行全局搜索，利用能量函数最小化来不断的改变 参数，从而实现最优跟踪的目的。因此，模型的变形依赖于训练集，所以可以利用对象的先 验知识来保证结果的准确性， 主动形状模型具有广泛的应用范围，特别是在医学图像检测与跟踪以及人脸识别方面， 此外还在电子电路识别等方面有较广泛的应用。本文就是利用主动形状模型在人脸检测与跟 踪方面的特点，对多姿态的人脸图像进行面部器官定位与跟踪，获取人脸正规化所必须的器 官位置，为后续的特征提取与识别做好基础。此外，利用人脸的主动形状模型还能够帮助利 用二维人脸图像实现3 d 模型重构，本文就不再介绍了。 2 1 2 数据配准 为了建立主动形状模型，首先需要利用先验知识在一系列目标图像中寻找合适的基准点 ( l a n d m a r k s ) ，好的基准点可以把不同的目标形状区分开来，通常情况下基准点都在目标形 状边界的拐角处以及“t ”字型连接处进行选择，在人脸模型中，主要把人脸的一些特征器 官的特征点作为基准点进行选择定位，比如眼角、鼻尖等，从而得到一系列标有n 个特征点 的n 幅人脸图像( 可包括多个人，不同姿态和表情的图像) ，将标记的n 个特征点写成向量 形式得到石= ( 工l ，y ，x k ，j ，i ，y 。) 7 ，其中( ，y i ) 是第k 个特征点的坐标，如图2 一l 所示，图中n = 2 0 ，把这些特征点统计起来作为训练数据形成训练集。 1 0 第2 章基于主动形状模型的面部器官定位 图2 1 标有特征点的入脸 在得到训练集后，需要对数据进行预处理，这是因为训练集中的数据都是标注的人脸特 征点的坐标值，由于不同图像中人脸的位置不是完全一样的，因此，为了能统一的对这些训 练数据进行比较处理，必须进行数据配准( a l i g n i n g ) i 划。其简单原理就是选择某个形状为 基准，通过一定的算法对其它形状进行变换( 如旋转，缩放及仿射变换) 并与基准形状进行 比较，通过不断的循环晟终使每一个形状与“平均”形状之间的距离之和d = k 一2 达 到最小，其中“平均”形状可以由样本集计算得到。其循环算法如下： ( 1 ) 通过坐标平移使每一个训练样本的重心为零，即每一个样本向量与j 的内积为o ，即 而1 = 0 ，f = 1 ，n ； ( 2 ) 选择样本中任意一个向量作为其“平均”形状的初始估计，并且通过比例变换使该 “平均”形状单位化，即1 一= 1 ； ( 3 ) 记录该初始值，并令其为x 0 ，作为默认的参考“平均”形状向量； ( 4 ) 把所有的样本向量都与该初始“平均”形状向量进行配准，并得到新的每个形状向 量的值； ( 5 ) 对上一步配准后的形状向量重新估计其“平均”形状； ( 6 ) 把上一步得到新的“平均”形状向量与前面的。平均”形状向量x 0 进行配准，并且 使h = 1 ，从而得到最新； ( 7 ) 比较前后两次得到的“平均”形秩向量，判断其是否收敛，若不收敛则返回到第4 步 进行循环运算，反之，则配准结束； 上面的循环算法中，在每一次循环中都要对当前的样本与“平均”形状进行配准，这里 的配准是指的任意两个向量之间的变换处理，首先考虑两个2 d 的形状向量z 和茗 ( 工= ( x j ，y l ，以，儿，y 。) 7 ，| = ( 而：m ：，靠：以：，：只r ) ，为了能够使两 个形状工与x “最佳”配准，需要找出变换算法，( ) 的参数，使形状向量工通过变换与形 状向量x 达到“最佳”配准，即要求选择参数使得下面的公式最小化 东南大学硕士学位论文 e ：i 及功一石f ( 2 1 ) 下面给出两种参数的选择算法，即相似性交换( s i m i l a r i t y t r a n s f o m m t i o n ) p 5 7 算法和仿 射变换( a f f i n e t r a n s f o r m a t i o n ) 阢韧算法，在介绍这两个算法前，为了简化后面的书写，先 定义下面一些和的公式： 墨一- - 3 。- z x , 墨= z y ， 墨= s y = j y ： = # s ，= y y ； = x l y ； s 。= x i t = y ，y ； 瓯t = 一，； = j y ，z ( 2 2 ) ( 1 ) 相似性变换 相似性变换主要是通过缩放以及旋转对形状进行变换的，对于两个形状向量工和x ， 它们的重心都位于原点，即x 0 1 = 膏1 = 0 ，通过参数( s ，0 ) 来缩放和旋转向量，。使 徽 s a x - - x i 最小化，这样就能达到“最佳”配准的目的了， 这里a 是对向量x 进行旋转角度0 的旋转矩阵。下面给出参数( 文0 ) 的选择以及简单 证明。 2 1 ) 相似性变换的形式如下： 擗( ：- 4 b 胁x ( a ( 2 3 ) 其中j 2 = 4 2 + 6 2 、0 = t a n 一( b a ) ，因此参数( j ，0 ) 的选择就转化为对参数 1 2 第2 章基于主动形状模型的面部器官定位 ( 口，b ，t ，0 ) 的选择，这样公式3 1 就可以用以下形式来表示 e ( 4 ，b ，o ) z r ( x - x f ”= ( 2 4 ) 为了最小化上式，可以把上式分解开来，并按照每个参数分别提取同类项，且令所提取 的同类项为零，这样就得到下面一系列的公式： a ( s 珥+ s 0 七tx s 。+ tr s ，= s d + s 每 b 蝤4 + s 帮1 + ty s x t x s y = s 矗一s n s x - b sy + tx = s i b sx + n s y + ty = s ， ( 2 5 ) 把上式进行简化，利用前面提出的形状向量重心为零的初始条件，即x 1 = 工1 = 0 ， 可以得到= s y = 0 ，这样就可以得到： t x 2s ： t y 2 s y n 2 嫡d + s 。s 0 = 算工制2 6 2 ( 一s ) “是+ ) = ( 一) 制2 盯：，还有一个方法就是先给定一 个精度范围，然后不断的选择模式参数t 使得模型与任意一个训练样本之问的误差都在该精 度内。 其次是对于参数b 的选择，根据公式2 1 7 任何形状向量都与参数b 有关，而参数6 则 必须根据通过学习训练集所得分布进行选择，这就需要利用训练集对参数6 的分布p ( b 1 进 行分布估计，先假设b i 是独立并且是高斯分布的，因此得到 - 。g p c 。，= - o s 喜等+ 鲫埘 c z m ， 为了对p ( 6 ) 作一定的限制，可以对6 的每一个分量岛使用硬极限方法，即慨j