（电路与系统专业论文）人脸识别中特征提取方法的研究.pdf

浙江大学博士学位论文 摘要 摘要 特征提取是人脸识别的关键技术，其优劣直接影响到整个人脸识别系统的性 能。其中，基于f i s h e r 准则的线性鉴别分析( l d a ) 是特征提取中最为经典和广泛 使用的一种方法，它以模式数据的可分性为目标，寻找最佳鉴别矢量使类内离散 度最小的同时，类间离散度达到最大。但作为一种基于统计的代数特征提取技术， 传统l d a 在小样本情况下会碰到2 个实际问题：一是分布矩阵“奇异性”问题； 二是分布矩阵估计误差问题。 最近的f r v t 2 0 0 6 测试结果表明：在受控和配合的观测条件下，目前最好算 法的识别率相比f r v t 2 0 0 2 有了一个数量级以上的提高，已超过人类本身的识别 能力。但是，在非控制和非配合条件下识别率却将近有一个数量级的下降。这些 影响识别性能的非控制因素很多如：光照变化、姿态、表情等等，其中光照变化 的影响尤其明显，如何提取对这些因素鲁棒的特征仍是一个极具挑战性的问题。 本文的工作紧紧围绕克服上述3 个问题而展开，并提出了有效的解决方案， 主要贡献总结如下： 1 综述了各种基于l i ) a 的扩展方法 在小样本情况下，传统l d a 由于类内离散矩阵的奇异性而无法计算。近 年来提出了许多l d a 扩展方法，如克服奇异性问题的方法：f i s h e r f a c e s 、直接 l d a 、零空间l d a 、正交l d a 等，和降低估计误差问题影响的方法：扰动l d a 法、双空间l d a 、三空间正则法等。本文详细介绍了这些扩展方法，并作了一 定的分析。 2 理论分析了各种克服奇异性问题的l d a 扩展方法之闻的关系和特性 从代数理论层面分析了各种l d a 扩展方法之间的关系和特性，并得出结论 如下：g s v d l d a 等价于u l d a ；d l d a 存在理论缺陷，其几乎没利用民，零空 间中的信息，若保留全部的鉴别矢量，d l d a 将退化为类问离散矩阵的保留所有 非零主成分的p c a ，而没利用，在类内数据变化大于类问变化的应用场合( 如 l l 浙江大学博士学位论文摘要 人脸识别) ，从分类意义上讲d l d a 并非最优选择的方法。 3 研究了降低分布矩阵估计误差影响的方法 一些正则方法从类内离散矩阵的特征谱角度出发认为分布矩阵估计误差 引起的扰动对小和零特征值区域影响很大，那么，对其进行正则处理可降低分布 矩阵估计误差影响，提高算法的稳定性。基于此思想，所研究算法采用了广义 f i s h e r 准则函数，以总体离散矩阵s 为主要处理对象，将其非零特征空间进行分 割并作加权处理，保留了s t 的小特征值部分中的鉴别信息，降低了分布矩阵估 计误差的影响，达到了提高算法稳定性的目的。在p i e 人脸库上的实验比较结果 也表明其具有兼顾识别精度和计算代价的优点。 4 提出了基于多尺度梯度角和l d a 的鲁棒特征提取新方法 正如在f e r e t 测试和f r v t 测试的结果所反映的，光照条件、姿态、表情、 噪声等因素对识别性能的影响很大。从频域的角度讲，光照变化一般反映在低频 部分，而表情、噪声等因素主要分布在高频部分，本文所提出的多尺度梯度角特 征同时具备了小波的局部性、多分辨率特性和梯度角的抑制光照影响优点。在实 现上，利用了反对称双正交小波的导数特性，可方便地计算多尺度梯度角。并且 与l d a 结合，使算法所提取的特征对各种因素的影响更鲁棒、更稳定。在人脸 库y a l e 和y a l e b 上的对比实验结果表明：该方法不但可以有效抑制光照、表情、 噪声等因素的影响，而且识别精度也比其它光照不变特征方法有了较大提高。 关键词：自动人脸识别，特征提取，线性鉴别分析，小样本，小波变换，反对称 双正交小波，多尺度梯度角 i i l 渐江大学博士学位论文 a b s t r a c t f e a t u r ee x t r a c t i o ni sak e yt e c h n i q u ef o rt h ef a c er e c o g n i t i o n , w h i c hd i r e c t l y i m p a c to nt h ep e r f o r m a n c eo ft h ee n t i r es y s t e m a m o n gt h e m , l i n e a rd i s c r i m i n a n t a n a l y s i s ( l d a ) b a s e do nf i s h e rc r i t e r i ai st h em o s tc l a s s i ca n dw i d e l yu s e dm e t h o d , w h i c ht a k e st h es e p a r a b i l i t yo ft h ep a t t e r n sa si t sg o a l ，a n ds e e k sa l lo p t i m a ll i n e a r t r a n s f o r m a t i o nb ym a x i m i z i n gt h er a t i oo ft h eb e t w e e n c l a s sa n dw i t h i n c l a s ss c a t t e r m a t r i c e s h o w e v e r , a sa na l g e b r af e a t u r ee x t r a c t i o nb a s e do ns t a t i s t i c a lt e c h n i q u e s ，t h e t r a d i t i o n a ll d ai nt h ec a s eo fs m a l l s a m p l es i z ew i l le n c o u n t e rt w op r a c t i c a l p r o b l e m s ：o n ea r i s e sf r o mt h e ”s i n g u l a r i t y ”o ft h ed i s t r i b u t i o nm a t r i x ；t h eo t h e ri sd u e t ot h ee s t i m a t i o ne r r o ro ft h ed i s t r i b u t i o nm a t r i x t h er e c e n tf r v t 2 0 0 6t e s tr e s u l t ss h o w e dt h a t ：f a c er e c o g n i t i o np e r f o r m a n c eo n s t i l lf r o n t a li m a g e st a k e nu n d e rc o n t r o l l e da n dc o o p e r a t i v ec o n d i t i o n sh a si m p r o v e d b ya no r d e ro fm a g n i t u d es i n c et h ef r v t2 0 0 2 ，a n dw e r em o r ea c c u r a t et h a nh u m a n s h o w e v e r ，u n d e rn o n c o n t r o l l e da n dn o n c o o p e r a t i v ec o n d i t i o n st h e r ei sa l m o s ta n o r d e ro fm a g n i t u d eo ft h ed e c l i n e t h e r ea r eal o to fn o n c o n t r o l l e df a c t o r ss u c ha s c h a n g ei nt h ei l l u m i n a t i o n , p o s tv a r i a t i o n , e x p r e s s i o nv a r i a t i o n , a n ds oo n , i nw h i c h t h ee f f e c t so fi l l u m i n a t i o nv a r i a t i o ni sp a r t i c u l a r l ys e r i o u s s o ，h o wt oe x t r a c tt h e r o b u s tf e a t u r e sa g a i n s tt h e s ef a c t o r si ss t i l lac h a l l e n g i n gp r o b l e m i nt h i st h e s i s ，w ec l o s e l yf o c u s e do no u rw o r kt oo v e r c o m et h ea b o v e - m e n t i o n e d 3p r o b l e m s ，a n dt op r e s e n ta ne f f e c t i v es o l u t i o n a n dt h em a i nc o n t r i b u t i o n sa r e s u m m a r i z e da sf o l l o w s ： 1 p r o v i d e da no v e r 、r i e wo ft h el d a - b a s e de x t e n s i o n s i nt h ec a s eo fs m a l ls a m p l es i z e ，t h et r a d i t i o n a ll d af a i l sd u et ot h es i n g u l a r i t y o ft h ew i t h i n c l a s ss c a t t e rm a t r i x 氐。r e c e n t l y ，m a n yl d a - b a s e dm e t h o d sh a v eb e e n p r o p o s e d ：t h eo n e so v e r c o m i n gt h es i n g u l a r i t yp r o b l e ms u c ha sf i s h e r f a c e s ，d i r e c t i v 浙江大学博士学位论文a b s t r a c t l d a ，n u l ls p a c el d a ，o r t h o g o n a ll d a , a n de t c ，a n dt h eo t h e r sr e d u c i n gt h ei m p a c t o ft h ee s t i m a t i o ne r r o ro ft h ed i s t r i b u t i o nm a t r i xs u c ha sp e r t u r b a t i o nl d a ，d u a l s p a c e l d a ，t h r e es p a c er e g u l a r i z a t i o nm e t h o d ，a n de t c t h i st h e s i sd e s c r i b e dt h e s e e x t e n s i o n si nd e t a i la n d p r e s e n t e dac e r t a i na n a l y s i s 2 t h e o r e t i c a l a n a l y s i s o ft h ec h a r a c t e r i s t i c sa n dt h er e l a t i o n s h i p a m o n g l d a - b a s e de x t e n s i o n sd e a l i n gw i t ht h es i n g u l a r i t yp r o b l e m w ec a r r i e do nt h et h e o r e t i c a la n a l y s i so ft h ec h a r a c t e r i s t i c sa n dt h er e l a t i o n s h i p a m o n gl d a - b a s e de x t e n s i o n sa n dc o n c l u d e da sf o l l o w s ：g s v d - l d ai se q u i v a l e n tt o u l d a ；i nu n d e r s a m p l e do a s e sd l d an e a r l yc a l lm a k en o u s eo ft h en u l ls p a c eo fs w a n dm a yr e s u l ti nt h el o s so fi m p o r t a n td i s c r i m i n a t i v ei n f o r m a t i o n ；d l d ai s d e g e n e r a t e da s p c ao ft h eb e t w e e n c l a s ss c a t t e rw i t ha l ln o n z e r o p r i n c i p a l c o m p o n e n t si fi tk e e p st h ec o m p l e t ep r o j e c t i o nv e c t o r s a sar e s u l t ，d l d ai sn o ta l l o p t i m a lc h o i c ef o rd i m e n s i o n a l i t yr e d u c t i o nf r o mt h ec l a s s i f i c a t i o ns e n s e 3 s t u d i e do nt h em e t h o dr e d u c e dt h ei m p a c to ft h ee s t i m a t i o ne r r o ro ft h e d i s t r i b u t i o nm a t r i x f r o mt h em a t r i xs 0se i g e n s p e c t r u ma n a l y t i cp o i n to fv i e w ，s o m er e g u l a r i z a t i o n m e t h o d st h o u g h tt h a tt h ep e r t u r b a t i o nc a u s e db yt h ee s t i m a t i o ne r r o ro ft h e d i s t r i b u t i o nm a t r i xh a sal a r g ei m p a c to nt h ec o r r e s p o n d i n ge i g e n s p a c eo ft h es m a l l a n dz e r oe i g e n v a l u e s ，t h e nt h er e g u l a r i z e dp r o c e s sf o rt h e s es u b s p a c ec a nr e d u c et h e e f f e c to ft h ee s t i m a t i o ne i i o r ，a n di m p r o v e st h es t a b i l i t yo fa l g o r i t h m b a s e do nt h i s i d e a , w ea d o p t e dt h eg e n e r a l i z e df i s h e rc r i t e r i a , a n du s e dt h et o t a ls c a t t e rm a t r i xs ta s a l lo p e r a t i o n a lo b j e c t t h e nt h ec o r r e s p o n d i n ge i g e n s p a c eo fn o n z e r oe i g e n v a l u e so f s ti sp a r t i t i o n e da n du s e dd i f f e r e n tw e i g h t i n gf a c t o r s ot h ed i s c r i m i n a n ti n f o r m a t i o n i n s i d et h ee i g e n s p a c eo ft h es m a l le i g e n v a l u e so fs ti sr e s e r v e d ，a n dt h ea l g o r i t h m s t a b i l i t yi si m p r o v e d t h ec o m p a r i s o nr e s u l t so np i ef a c ed a t a b a s ea l s os h o w e dt h a t 0 1 1 1 a l g o r i t h mc a l lt a k ei n t oa c c o u n tt h er e c o g n i t i o na c c u r a c ya n dc o m p u t a t i o n a lc o s t 4 p r o p o s e da na p p r o a c hb a s e do nt h em u l t i s c a l eg r a d i e n ta n g l ea n dl d af o r v 浙江大学博士学位论文 a b s t r a c t r o b u s tf e a m r ee x t r a c t i o n a ss h o w e di nt h er e s u l t so ff e r e ta n df r ，t h er e c o g n i t i o np e r f o r m a n c ew i l l s u f f e rf r o mt h ee f f e c to fs o m ef a c t o r ss u c ha si l l u m i n a t i o nv a r i a t i o n ，e x p r e s s i o n v a r i a t i o n , p o s ev a r i a t i o na n dn o i s e f r o mt h ef r e q u e n c yd o m a i np o i n to fv i e w ，t h e i l l u m i n a t i o nv a r i a t i o ng e n e r a l l yr e f l e c t e di nt h el o w - f r e q u e n c yp a r t , a n de x p r e s s i o n v a r i a t i o na n dn o i s ea r em a i n l yd i s t r i b u t e di nt h eh i g h f r e q u e n c yp a r t t h em u l t i s c a l e g r a d i e n ta n g u l a rf e a t u r ep r o p o s e di n t h i st h e s i s p o s s e s s e dt w oa d v a n t a g e s ：t h e 1 0 c a l i z a t i o na n dm u l t i - r e s o l u t i o no fw a v e l e tt r a n s f o r ma n dt h ei l l u m i n a t i o ni n v a r i a n t o ft h e g r a d i e n ta n g l e u s i n gt h e d e r i v a t i v ec h a r a c t e r i s t i c so fa n t i s y m m e t r i c b i o r t h o g o n a lw a v e l e t ，t h em u l t i s c a l eg r a d i e n ta n g l e c a l lb ec a l c u l a t e d e a s i l y c o m b i n e dw i t ht h el d a ，o u ra l g o r i t h mb a s e do nt h em u l t i s c a l eg r a d i e n ta n g l ew a s m o r er o b u s ta n ds t a b l e t h ee x p e r i m e n t a lc o m p a r i s o nr e s u l t so ny a l ea n dy a l e b s h o w e dt h a t ：o u ra l g o r i t h me a r ld e c r e a s ee f f e c t i v e l yt h ee f f e c to fi l l u m i n a t i o n v a r i a t i o n , e x p r e s s i o nv a r i a t i o na n dn o i s e ，a n do u t p e r f o r m e dt h eo t h e rm e t h o d sb a s e d o ni l l u m i n a t i o ni n v a r i a n tf e a t u r ei nt h er e c o g n i t i o na c c u r a c y k e yw o r d s ：a u t o m a t i cf a c er e c o g n i t i o n ( a f r ) ，f e a t u r ee x t r a c t i o n , l i n e a rd i s c r i m i n a n t a n a l y s i s( l d a ) ， s m a l l s a m p l es i z e ， w a v e l e tt r a n s f o r m a t i o n , a n t i s y m m e t r i c a l b i o r t h o g o n a lw a v e l e t ( a s b w ) ，m u l t i s c a l eg r a d i e n ta n g l e ( m s g a ) v 1 浙江大学博士学位论文 图目录 图目录 图1 1人脸识别过程1 图1 2 人脸识别发展的性能改善情况1 7 图1 3f r v t 2 0 0 6 测试中光照可控和不可控的性能比较1 7 图2 1p c a 降维算法的实现步骤2 8 图2 2f i s h e r f a c e s 特征提取算法的实现步骤31 图2 3u l d a 特征提取算法的实现步骤3 2 图2 4o l d a 特征提取算法的实现步骤3 3 图2 5n l d a 特征提取算法的实现步骤3 4 图2 6d l d a 特征提取算法的实现步骤3 5 图2 7g s v d l d a 特征提取算法的实现步骤一3 7 图3 1d l d a 利用( 蹦信息情况的示例图4 5 图3 2d l d a 鉴别矢量获取情况的示例图4 6 图3 3y a l e 人脸库中2 人前5 幅人脸图像4 9 图3 4o r l 人脸库中2 人前5 幅人脸图像一4 9 图4 1分布矩阵估计误差对最优鉴别矢量选择的影响5 3 图4 2 数据空间正则法的特征谱曲线5 5 图4 3 双空间l d a 训练阶段的实现步骤5 8 图4 4 双空间l d a 识别阶段的实现步骤5 9 图4 5 人脸空间正则法的特征谱曲线6 0 图4 6 小样本下离散矩阵空间分布图6 5 图4 7矩阵和s 的特征谱比较6 7 图4 8w o l d a 特征提取算法的实现步骤7 0 图4 9p i e 人脸库的其中1 0 人图像7 1 图4 1 0识别率随t 的函数7 2 x 1 浙江大学博士学位论文图目录 图4 1 1平均识别率随训练样本数目变化的比较_ 7 3 图5 1 l b p 算子的3 种邻域尺寸：( 8 ，1 ) ，( 8 ，2 ) ，( 1 6 ，2 ) 8 3 图5 2l b p 算子的操作过程8 3 图5 3 小波变换的时频平面的分辨率示意图8 6 图5 4 正交小波二级分解重构示意图9 1 图5 5 双正交小波二级分解重构示意图9 1 图5 6二维小波分解和各级分解系数所占的频带9 2 图5 7 二级小波变换实例9 2 图5 8b i o r l 5 反对称正交小波导数特性示意图9 3 图5 9几种边缘算子的卷积核9 5 图5 1 0 二维二进小波的2 级分解：9 7 图5 1 13 种人脸表征方法：m s g a 、l b p 和m s r 9 8 图5 1 2m s g a + l d a 方法的实现流程9 9 图5 1 3y a l e b 中1 0 人正面图像1 0 0 图5 1 41 3 种表征数据的比较结果1 0 1 图5 1 54 种特征在y a l e b 上的识别结果1 0 2 图5 1 64 种特征在y a l e 上的识别结果1 0 3 x i l 浙江大学博士学位论文 表目录 表目录 表1 1 人脸识别的典型应用场合5 表3 17 种l d a 扩展算法在y a l e 和o r l 上的识别率5 0 表4 16 种算法的学习时间7 3 x i i l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签 签字隅叩年弓月8 日 学位论文版权使用授权书 本学位论文作者完全了解逝垄盘堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权逝望盘鲎可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 签字吼刁年莎月彦日 新虢彳舭辫 签字日期：冽年乡月尸日 ， 浙江大学博士学位论文致谢 致谢 本论文的研究工作是在俩位导师严晓浪教授、孙玲玲教授的精心指导下完成 的。严老师和孙老师严谨的治学态度、敏锐的学术思想、渊博的学识以及宏、微 观上的准确拿捏，都给我留下极为深刻的印象。在博士学 - j 的几年里，导师为我 提供了极佳的学 - - j 环境和工作平台，使我不仅学到了扎实的理论知识，而且收获 了丰富的实践经验。不论是在研究上，还是在生活上，总是能够得到循循善诱的 诸多指导、帮助和鼓励，这些都将使我的一生受益无穷。 特别感谢沈海斌副教授，他认真负责的工作态度，细致周到的论文指导，使 我拓宽了思路、克服了困难，对顺利完成论文任务起到了巨大作用。 感谢吴晓波教授，除了传授我丰富理论知识，还与我交流学习、工作、生活 等方方面面的心得体会，提升了我学以致用的能力；感谢金文光老师与超大所其 他老师在论文写作过程中的鼓励与帮助。同时，我要感谢单位的领导和同事，你 们的理解和支持使我顺利完成了学业。 然后，我要感谢各位同窗，特别是李大为与楼斌同学，在求学过程中我们结 下了深厚的友谊，在学术探讨与论文撰写过程中得到了你们的启发与帮助，这是 顺利完成学业的重要支持力量。 最后，我要感谢我珍爱的家人，你们是我学 - - j 的坚强后盾，你们的激励与支 持，给了我学 - j 上的巨大动力，我愿把学业上的成就献于你们。 感谢所有给予我指导、帮助、关心和支持的人们。 赵武锋 二零零八年三月于求是园 浙江大学博士学位论文1 绪论 1 绪论 1 1 人脸识别概念和研究意义 作为传统身份验证方法( 密码、钥匙等) 的延展，生物特征识别技术 ( b i o m e t r i c s ) 受到了广泛的重视和深入的研究。它利用人体固有的生物特征或行 为特征( 如指纹、人脸、虹膜、掌纹、声音、笔迹等) 来进行身份的鉴别或确认， 具备唯一性、永久性、可靠性等优点，从根本上杜绝伪造和窃取，在国家公共安 全，社会安全，到金融安全以及人机交互等领域具有很高的应用价值【1 】。 与指纹、虹膜、掌纹、声音等生物特征识别技术相比，人脸识别( a u t o m a t i c f a c er e c o g n i t i o n , a f r ) 所使用的人脸图像可以用摄像装置远距离捕捉，而不需要 当事人的主动配合，在不知不觉的情况下完成身份确认识别工作，具有系统成本 相对较低、交互方式友好、不需要用户的特殊配合、不侵犯使用者的隐私权等特 点，因此受到了极大的关注，并逐渐成为热点研究领域 2 期。 1 1 1 人脸识别的一般过程 人脸识别从广义上讲主要分为人脸检测，特征提取和人脸分类三个过程。如 下图 图像吨画繁 回特征t 母删 图1 1 人脸识别过程 1 人脸检测( f a c ed e t e c t i o n ) 此过程包括人脸存在检测( d e t e c t i o n ) 、人脸定位( l o c a t i o n ) 和人脸跟踪 ( t r a c k i n g ) 。人脸存在检测就是在给定图像中确定其中是否存在人脸；人脸定位 就是在确定有人脸的图像中给出人脸的位置、大小等状态信息，并进行必要的几 何配准工作；而人脸跟踪指在一组连续静态图像所构成的动态视频中实时地检测 浙江大学博士学位论文1 绪论 人脸。人脸检测主要受到光照、噪声、姿态以及遮挡等因素的影响，人脸检测的 结果直接关系到后面两个过程的准确性。 2 特征提取( f e a t u r ee x t r a c t i o n ) 人脸的特征提取是人脸识别系统的核心部分。首先，人脸是一个三维非刚性 物体，对于一般的二维人脸图像识别而言，其二维投影图像会受到光照、表情、 姿态、遮挡、胡须、眼镜、化妆等种种干扰因素的影响，同一人脸的不同图像样 本之间存在很大的变化，即类内变化，几乎总是要大于由不同个体人脸造成的类 间变化 明；其次，对于计算机而言，人脸图像表现为象素的灰度值矩阵，维数很 大，很难直接计算，这都需要一种用较少信息来描述人脸的方法。特征提取正是 满足上述要求的人脸表征技术，主要达到2 个目的：一是从配准好的人脸图像中 提取能区分不同人的特征；二是降低人脸图像中的信息冗余，减少维数，提高后 续识别的运算速度。 3 识别分类( c l a s s i f i c a t i o n ) 识别分类就是将待识别的人脸与己知人脸进行比较，得出相似程度的相关信 息。它可分为两类：一类是确认( v e r i f i c a t i o n ) ，是一对一进行图像比较( c o m p a r i s o n ) 的过程，回答的是：你是不是你本人的问题( a r ey o uw h oy o us a yy o ua r e ? ) ；另一 类是识$ f j ( i d e n t i f i c a t i o n ) ，是一对多进行图像匹配比对( m a t c h i n g ) 的过程，回答的 是：你是谁的问题( w h oa t y o u ? ) 1 0 1 。相比于人脸确认，由于需要与人脸库中所 有人脸进行比对，人脸识别更复杂，对特征和分类算法的精度和效率要求更高。 本文主要研究的是人脸识别中关键环节一人脸特征提取技术，即提取出能有 效表征人脸图像的低维特征，使在同类人脸特征更聚集的同时，尽可能扩大类间 的离散度，从而达到提高识别精度的目的。 1 1 2 人脸识别的困难和挑战 尽管人类能够轻易地识别出复杂背景中的人脸，但是计算机自动人脸识别却 是难度极大的课题。目前，世界上最好的人脸识别系统也只能在用户比较配合、 2 浙江大学博士学位论文 1绪论 采集条件比较理想的情况才可以基本满足一般应用的要求 1 l 挖】。但在用户不配 合、非理想采集条件下，人脸识别存在很大困难，主要表现在： 1 人脸特征稳定性较差 人脸是一个具有极强可塑性的三维柔性皮肤表面，会随着年龄、表情、化妆、 意外伤害等因素的变化而发生改变，有些即使人类本身也很难分辨； 2 可靠性、安全性较低 尽管不同个体的人脸各不相同，但人类的面孔总体是相似的，而且地球上人 1 ：2 如此众多，以致很多人的面孔之间的差别是非常微小的，技术上实现安全可靠 的认证是有相当难度的； 3 受各种外界条件影响大 人脸识别系统所需的人脸图像会遭受到不同的光照条件、视角、几何变化、 遮挡等因素的影响，同一人脸在不同的条件下往往会产生很大变化的人脸表观， 这些都对人脸识别算法鲁棒性提出了更高要求； 4 视觉识别模型的缺乏 到目前为止，心理学、神经生理学等相关研究领域对人类的视觉模型和识别 机制还缺乏相当的了解，在已有知识上建立较好的模型还存在相当大的困难。 1 1 3 人脸识别的研究意义和应用领域 人脸识别的研究始于上世纪六、七十年代【1 3 16 1 ，在过去的几十年里，心理学 家、神经生理学家和工程技术人员对人和机器如何识别人脸的各个方面进行了广 泛的研究 1 7 1 ，得到了长足的发展，进入上世纪九十年代，由于各方面对人脸自动 识别系统的迫切要求，特别是美国发生“9 1 1 ”恐怖袭击以来，人脸识别的研究变 得十分热门。近年来，国际、国内的众多高校也普遍开展了对人脸识别的研究， 在人脸识别方面的研究取得了较大的进展，国际国内发表的有关人脸识别的论文 在数量上大幅增长，并得到了大量的项目支持。人脸识别问题之所以得到重视， 是因为其有重要的研究意义，主要表现在其技术优点、对学科发展的贡献和广泛 浙江大学博士学位论文1 绪论 的应用领域3 个方面 1 8 】： 1 技术优点 与其它生物特征识别技术相比，人脸识别在实用性方面具有独到的技术优 势，这主要体现在： ( 1 ) 它是不需要使用者配合的生物识别方法，因而操作隐蔽性强，特别适合 于安全防范、罪犯监控、罪犯抓捕； ( 2 ) 采用非接触式采集，没有侵犯性，容易被接受。而指纹采集，掌纹识别 通常给人造成不适的感觉； ( 3 ) 具备很强的事后追踪能力，即可以在事件发生的同时记录并保存当事人 的面像，从而可以确保人们进行事后监控和追踪； ( 4 ) 更符合人类的识别习惯，可交互性强，适合于改善人机界面； ( 5 ) 实现设备通用、简单，尤其是采集设备成本较低。指纹采集仪，虹膜图 像采集仪、d n a 鉴别仪等都是专用的采集设备，而且设备昂贵。 2 可与多门相关学科相互促进、相互发展 自动人脸识别作为一个典型的图像模式分析、理解与分类计算问题，其研究 跨越了模式识别、图像处理分析与理解、计算机视觉、人工智能、人工神经网络、 认知科学、神经生理学，心理学等众多学科领域，并为这些学科领域尝试新方法、 验证新理论、解释新现象提供了一个良好的应用平台。人脸识别问题的深入研究 可以极大的促进这些学科的成熟和发展，反过来又能促进人脸识别问题的最终解 决。 3 应用领域 人脸识别技术在国家安全，军事安全和公共安全领域的应用前景十分广阔， 例如智能门禁、智慧视频监控、公安布控、出入境管理、司机驾照验证等都是典 型的应用。 在民事经济领域和信息安全领域，身份识别与验证是人类社会日常生活中的 基本活动之一。目前，我们大多数情况下仍然依赖于传统的身份验证手段来完成 这些身份识别过程，这些手段包括身份证卡等各类标识物( 如身份证、学生证等 4 浙江大学博士学位论文l 绪论 各类证件) ，钥匙，密钥( 如密码、口令等) ，然而这些方式不方便、不安全、不可 靠的缺点已经越来越不能适应社会发展的需求，而生物特征识别所使用的生物特 征可以从根本上杜绝伪造和窃取，而且是人类自身拥有的，因而具有更高的可靠 性、安全性和可用性。 在国家公共安全方面，保障国家公共安全是社会发展的基础，社会安定更是 国家持续发展的必备条件，对危险分子进行及时、有效的监控和抓捕至关重要， 而生物特征识别技术，特别是人脸、指纹和声纹识别技术，为此提供了更加有力 的技术保障。 在家庭娱乐等领域，它的潜力也相当大，比如人机交互、能够识别主人身份 的智慧玩具、家政机器人、真实感虚拟游戏等，这些都能极大提高学习、工作效 率，降低操作强度，丰富人们的精神生活。 因此，人脸识别作为一种典型生物特征识别技术，以其自然性、高可接受性 等优点受到了人们的青睐，可应用于各行各业中。表1 1 汇总了人脸识别的一些 典型应用的情况。 表1 1 人脸识别的典型应用场合 领域 具体应用 公共安全在身份证、驾照、护照等证件上加入持证人的人脸信息， 方便查验身份的真实、合法性 信息安全在智能卡、电子商务、数据库安全、文件加密等场合进行 身份验证或授权，避免单纯的密码被窃取造成信息被窃 国家安全嫌疑人照片比对、关键场所视频监控、网上追逃等 出入管理 考勤、重要场所出入、车辆管理、门禁系统等 人机交互家政服务机器人、真实感虚拟游戏、智能a g e n t 、自动系统 登陆等 浙江大学博士学位论文 1绪论 1 2 人脸识别方法综述 利用人脸进行身份识别的概念最早可追溯到g a l t o n 分别于1 8 8 8 年和1 9 1 0 年在( ( n a t u r e ) ) 杂志上发表的两篇文章，但当时还不可能涉及到人脸的自动识别 问题。在工程学上最早出现的研究论文见于1 9 6 5 年c h a n & b l e d s o e 在p a n o r a m i c r e s e a r c hi n c 发表的技术报告【”】，在随后的二十多年里，国外许多高校从不同学 科角度对人脸识别机理作了探索，并涌现出了诸多技术方法，但这类方法需要利 用操作员的某些先验知识，仍然摆脱不了人的干预。直到2 0 世纪9 0 年代，随着 高性能计算机的出现，人脸识别研究得到了长足的发展，国内外发表的有关人脸 识别的论文在数量上大幅增长，i e e et r a n s o np a m i 还于1 9 9 7 年七月出版了人 脸识别的专辑，每年的国际会议上关于人脸识别的专题也屡屡可见。 到目前为止，大量的人脸识另0 方法被提出，识别性能获得了很大的提高。为 了更好的对人脸识别研究的历史和现状进行介绍，本章将对狭义的静态人脸识别 的研究进展情况按照研究内容、技术路线等方面的特点作一概括。 1 2 1 基于几何特征的人脸识别方法 基于几何特征的方法是早期的人脸识别方法之一 1 5 ，1 9 ，2 0 。这类方法利用人脸 的五官如眼睛、鼻子、嘴巴等的局部形状特征以及这些五官特征在脸上分布的几 何特征。在分割、获取五官特征时往往要用到人脸结构的一些先验知识。其识别 所需的特征一般是以人脸器官的形状和几何关系( 如五官特征间的欧式距离、曲 率、角度等指标) 为基础的特征矢量，本质上是特征矢量之间的匹配。 基于几何特征的人脸识别方法比较简单、容易理解，但识别性能、鲁棒性较 差。一则，五官特征的精确分割、提取很困难，特别是特征受到遮挡时，特征提 取失败；二则，利用简单的几何关系特征来表征人脸，信息量太少，不利于后期 的识别。 6 浙江大学博士学位论文 1 绪论 1 2 2 模板匹配法 将输入的人脸图像与训练集中的人脸样本逐一进行归一化的相关运算，具有 最佳匹配的为识别结果。b