（信号与信息处理专业论文）基于boosting学习与二维子空间方法的人脸图像分析研究.pdf

摘要 人脸图像分析技术是计算机视觉和模式识别领域非常活跃的研究课题，其目的是让计算 机通过图像信息自动地完成人脸检测、人脸识别、面部性别识别和面部表情识别等功能，在 安全保卫、电子娱乐和科学教育等方面有着广泛的应用前景。本文以b o o s t i n g 学习和二维子 空间方法为基础，以人脸图像分析为应用，重点进行了四个方面的研究：( 1 ) b o o s t i n g 学习 中弱分类器的构造问题。对基于局部二元模式算子和主成分分析的分类方法嵌入a d a b o o s t 算法进行了研究和讨论。( 2 ) 推广二维主成分分析为非线性二维主成分分析。并提出快速算 法以解决非线性二维主成分分析面临的计算开销大的问题( 3 ) 以解决小样本问题为目的， 提出了二维典型相关分析的算法模型。( 4 ) 以构建一种有效的图像局部特征提取方法为目的， 提出了二维偏最j , - 乘的算法模型。本文主要工作与创新如下： 1 本文首先全面介绍了人脸图像分析研究的历史与现状。人脸图像分析研究根据其目的的 不同，主要可以分为人脸检测，人脸识别，面部特征检测与提取，人脸属性识别和面部 表情识别等问题。本文选取其中典型的三类问题：人脸检测。人脸识别和面部表情识别 进行综述。分类对他们的研究历史、最新成果、主要方法和现存技术难点进行了全面的 介绍和分析。此外，还对人脸图像分析研究中常用的人脸数据库进行了汇总。 2 研究了局部二元模式算子与b o o s t i n g 算法相结合进行两类分类的问题。提出了两种基于 l b p 的面部性别识别方法，其中的b o o s t i n gl b p 方法首先采用可变尺寸的子窗口对人脸 图像进行扫描。在扫描所得的每个子窗口中，使用l b p 算子对该子窗口进行特征提取， 这些特征由对应于局部二元模式的直方图来表示。计算样本图像的l b p 直方图和模板的 l b p 直方图之间的度量，并由此构建弱分类器集。然后利用a d a b o o s t 算法选取最有效的 若干个弱分类器集组合成为强分类器。实验结果表明：首先，l b p 算子能有效的从人脸 图像中提取出针对人脸性别分类的特征，并可以达到人脸性别分类的目的。其次，本文 提出的两种基于l b p 算子的方法可以有效的解决传统l b p 方法所存在的特征提取范围 有限、加权机制客观性不足等问题。最后，本文两种方法，尤其是b o o s t i n gl b p 方法可 以获得较其他方法更优的分类结果。 3 研究了主成分分析与b o o s t i n g 算法相结合进行多类分类的问题。提出了称为b o o s t i n g t r e e 的面部表情识别方法。该方法基于传统的a d a b o o s t 算法，采用树形结构将七种表情的分 类问题分艉为六层的二分类问题加以解决。在b o o s t i n g t r e e 算法中，采用了一种改进的 p e a 方法来构造弱分类器集。在传统e p c a 方法求得特征向量矩阵后，不是根据特征值的 大小顺序选取特征向量而是使用“组合块”策略对特征向量进行任意组合以构造弱分 类器集。该策略既解决了任意组合特征向量带来的“数据灾难”问题和数据冗余问题， 又可以配合b o o s t i n g t r e e 方法挑选出最佳的特征向量组合来构造最终的强分类器。实验 表明，此方法所取得的识别率优于基于b a y e s 和a d a b o o s t 的面部表情识别方法。 4 研究了非线性二维主成分分析并提出了一种快速算法。2 d p c a 方法的本质是直接对图 像协方差矩阵进行特征提取，而不使用传统p e a 方法所采取的图像拉直预处理核二维 主成分分析则是传统主成分分析方法的非线性扩展，其利用核技巧完成这一功能。同样， i 东南大学博士论文 核化2 d p c a ( k 2 d p c a ) 方法将有效的提高该方法的识别性能。然而当样本集较大时， 普通k 2 d p c a 方法通常会面临巨大运算量和存储开销的问题。我们将提出一种快速算 法，能明显的提高特征提取的速度以及有效的降低存储开销。人脸识别实验的结果证明， 本文所提出的快速算法在取得与普j t 1 k 2 d p c a 方法相同的识别正确率的同时，在计算时间 和内存开销上有显著降低。 5 推广传统典型相关分析为二维典型相关分析方法，并利用其解决入脸识别中的小样本问 题。在基于传统典型相关分析( c a n o m c a l c o r r e l a t i o n a n a l y s i s ，c c a ) 的人脸识别中，由于 训练样本数小于样本维数所造成的协方差矩阵病态奇异会导致小样本问题( s m a l l s a m p l es i z e s s s ) 的出现。针对以上问题，本文提出了一种改进的有监督统计学习方法， 称为二维典型相关分析( t w o - d i m e n s i o n a lc c a ，2 d c c a ) 。该方法与传统c c a 方法的最大 区别之处在于2 d c c a 直接使用原始图像矩阵进行特征提取，而不需要对图像进行矩阵 到向量的拉直处理。在实际应用中，由2 d c c a 方法计算得到的协方差矩阵通常是满秩 的，因此该方法可以有效的解决小样本问题。本文首先阐述t 2 d c c a 方法的基本原理 并给出了类成员关系矩阵的构造方法。其次，推导出了类成员关系协方差矩阵广义逆的 解析解。再次，从理论上证明了2 d c c a 方法对于解决小样本问题的有效性。最后，利 用人脸识别实验来测试该方法的性能，实验结果表明，2 d c c a 方法有效地解决了图像 识别中常见的小样本问题，并且能取得较其他几种基于c c a 的人脸识别方法更优的识别 结果。 6 提出了一种基于二维偏最小二乘法( t w o - d i m e n s i o n a lp a r t i a l , c a s ts q u a r e ，2 d p l s ) 的图像 局部特征提取方法，并将其应用于面部表情识别中。该方法首先利用局部二元模式( l b p l 算予提取一幅图像中所有子块的纹理特征并将其组合成局部纹理特征矩阵。由于样本图 像被转化为局部纹理特征矩阵，我们将传统p l s 方法推广为二维p l s 方法来提取其中的 判别信息。在二维p l s 方法中，我们对类成员关系矩阵的构造进行了相应的修改，使其 适应样本的矩阵形式并能体现出人脸局部信息重要性的差异。同时，对于类成员关系协 方差矩阵的奇异性问题，推导出了其广义逆的解析解。基于j a f f e 人脸表情库的实验结 果表明本文方法可以有效的提取图像局部特征，并能取得良好的表情识别性能。 关键词：入脸图像分析，人脸识别，面部性别识别，面部表情识别，局部二元模式( l b p ) ， a d a b o o s t ，二维主成分分析( 2 d p c a ) 。核二维主成分分析( k 2 d p c a ) ，分块近似，二维 典型相关分析( 2 d c c a ) ，小样本问题，二维偏最小二乘( 2 d p l s ) ，图像局部特征提取 摘要 a b s 仃a c t f a c ei m a g ea n a l y s i si so n eo ft h ep o p u l a rr e s e a r c ht o p i c si nt h ef i e l do fc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o n i t sp u r p o s ei st oc n a p o w e rt h ec o m p u t e rt oa u t o m a t i c a l l ya c c o m p l i s ht h e f u n c t i o na sf a c ed e t e c t i o n , f a c er e c o g n i t i o n ，f a c i a lg e n d e rr e c o g n i t i o na n df a c i a le x p r e s s i o n r e c o g n i t i o nb a s e do nt h ei n p u ti m a g ei n f o r m a t i o n a n d ，f a c ei m a g ea n a l y s i sh a sb e e nw i d e l y a p p l i e di ns u c ha r e aa ss e c u r i t y , e l e c t r o n i ce n t e r t a h n n a n ta n ds c i e n t i f i ce d u c a t i o n i nt h i st h e s i s , w e f o c u so i lt h et w ok i n do fp a t t e r nr e c o g n i t i o nm e t h o d ：b o o s t i n gl e a r n i n ga n dt w o - d i m e n s i o n a l s u b s p a c ea n a l y s i s ，a n dr e s e a r c hc o n d u c t e di nt h ef o l l o w i n gf o u ra s p e c t s ：( 1 ) t h ec o n s t r u c t i o no f w e e kc l a s s i f i e ri nt h eb o o s t i n gl e a r n i n g s t o d ya n dd i s c u s st h ec o m b i n a t i o no f c l a s s i f i c mb a s e do n t h el o c a lb i n a r yp a t t e r na n dp r i n c i p a lc o m p o n e n ta n a l y s i sw i t ht h ea d a b o o s ta l g o r i t h m ( 2 ) g e n e r a l i z et h et w o - d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i st on o n l i n e a rt w o - d i m e n s i o n a l p r i n c i p a lc o m p o n e n ta n a l y s i s ，a n dp r o p o a ne f f i c i e n ta l g o r i t h mt od e a lw i t ht h eh i g h l y t i m e - o n n s m n i n gp r o b l e mi n t h e t r a i n i n gp r 镐s ( 3 ) p r o p o s et h ea l g o r i t h mm o d e lo f t w o - d i m e n s i o nc a n o n i c a lc o r r e l a t i o na n a l y s i sf o rs o l v i n gt h es m a l ls a m p l es i z ep r o b l e mi nt h e f a c er e c o g n i t i o nt a s k ( 4 ) p l d p o s et h ea l g o r i t h mm o d e lo f t w o - d i m e n s i o np a r t i a ll e a s ts q u a r ef o r d e v e l o p i n gan o v e lm e t h o do f i m a g e l o c a lf e a t u r ee x t r a c t i o n 1 1 把m a i nc o n t r i b u t i o n so f t h i st h e s i s a r es u m m a r i z e da sf o l l o w s ： 1 i nt h ef i r s ts e c t i o n ，t h er e s e a r c hh i s t o r ya n ds t a t e - o f - t h e - a r to ff a c ei m a g ea n a l y s i sh a sb e e n c o m p r e h e n s i v e l yi n t r o d u c e d f a c ei m a g ea n a l y s i sc a nb em a i n l yd i v i d e di n t os u c hi s s u e sa s f a c ed e t e c t i o n ，f a c er e c o g n i t i o n ，f a c i a lf e a t u r ed e t e c t i o na n de x t r a c t i o n ，f a c i a la t t r i b u t e s r e c o g n i t i o na n df a c i a le x p r e s s i o nr e c o g n i t i o ni na c c o r d a n c ew i t hi t sp u r p o s e i nw h i c h ，t h i s t h e s i sr e v i e w st h r e et o p i c a lc a t e g o r i e s ：f a c ed e t e c t i o n ，f a c er e c o g n i t i o na n df a c i a le x p r e s s i o n r e c o g n i t i o n n er e s e a r c hh i s t o r y , t h el a t e s tr e s u l t s e x i s t i n gm e t h o d sa n dc h a l l e n g e sh a v e b e e no v e r v i e w e da n da n a l y z e d f i n a l l y , t h es e v e r a lf a c ed a t a b a s e su s e di nt h ef a c ei m a g e a n a l y s i sh a v e b e e ns u m l n a l _ i z e d 2 i n v e s t i g a t et h ec o m b i n a t i o no f l o c a lb i n a r yp a t t e r n ( l b p ) o p e r a t o ra n da d a b o o s ta l g o r i t h m f o rb i n a r yc l a s s i f i c a t i o np r o b l e m i nt h i ss e c t i o n , w ep r e s e n tt w on o v e la p p r o a c h e sf o rg e n d e r c l a s s i f i c a t i o nb yl b pb a s e dc l a s s i f i e r s t h ef i r s to n ei sc a s c a d el b pm e t h o d t h es e c o n do n e i st h eb o o s t i n gl b pm e t h o d i nw h i c ht h ef a c ea mi ss c a n n e dw i t hs c a l a b l es m a l lw i n d o w s f r o mw h i c hl b ph i s t o g r a m sa r eo b t a i n e dt oe f f e c t i v e l ye x p r e s st h el o c a lf e a t u r eo faf a c e i m a g e t h ec h is q u a r ed i s t a n c eb e t w e e nc o r r e s p o n d i n gl b ph i s t o g r a m so f s a m p l ei m a g ea n d t e m p l a t ei su s e dt oc o n s t r u c tw e a kc l a s s i f i e r sp 0 0 1 a d a h a o s ta l g o r i t h mi sa p p l i e dt ob u i l dt h e f i n a ls t r o n gc l a s s i f i e r b ys e l e c t i n ga n dc o m b i n i n gt h em o s tu s e f u lw e a kc l a s s i f i e r s i na d d i t i o n ， s e v e r a le x p e r i m e n t sa r em a d ef o rc l a s s i f y i n gg e n d e rb a s e do nl o c a lb i n a r yp a t t e r n t h em a l e a n df e m a l ei m a g es e ti sc o l l e c t e df r o mf e r e td a t a b a s e f i n a l l y , t h er e s u l t so fe x p e r i m e n t s s h o wt h a tt h ef e a t u r e se x r a c t e db yl b po p e r a t o r 玳d i s c r i m i n a t i v ef o rg e n d e rc l a s s i f i c a t i o n m 东南大学博士论文 3 4 5 a n do u rp r o p o s e da p p r o a c h e sa c h i e v eb e t t e rp e r f o r m a n c eo f c l a s s i f i c a t i o nt h a ns e v e r a lo t h e r m e t h o d s i n v e s t i g a t et h ec o m b i n a t i o no f p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a 、a n d a d a b o o s ta l g o r i t h m f o rm u l t ic l a s s i f i c a t i o np r o b l e m w ep r o p o s ea r la l g o f i t h i nc a l l e db o o s t i n g t r e e w h i c hi s b a s e do nt h ec o n v e n t i o n a la d a b o o s ta n du s e s 缸髓s h u c “l r 霉t oc o n v e r ts e v e nf a c i a l e x p r e s s i o n st os i xb i n a r yp r o b l e m s w ep r o p o s ean o v e lm e t h o dt oc o m p u t ep r o j e c t i o nm a t r i x b a s e do np c a ht h en o v e lm e t h o d ab l o c k - m e r g e rc o m b i n a t i o ni sd e s i g n e dt os o l v et h e “d a t ad i s a s t e r p r o b l e mi nt h ec o m b i n a t i o no fe i g e n v a c t o r s kt h ee x p e r i m e n t , w ec o n s t r u c t t h ew e a kc l a s s i f i e r ss e tb a s e d0 1 1t h en o v e lm e t h o d s t r o n gc l a s s i f i e ri sc o m b i n e dw i mt h e w e a kc l a s s i f i e r ss e l e c t e df r o mt h ea b o v es e tb ya d a b o o s ta so n el e v e lo ft h en 优s t r u c t u r e n - l e v e lt r e es t r u c t u r eb u i l tb yb o o s t i n g t r e ec a nc o n v e n i e n t l ys o l v em u l t ic l a s s i f i c a t i o n p r o b l e ms u c ha sf a c i a le x p r e s s i o nr e c o g n i t i o n 1 1 e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e b o o s t i n g t r e eb a s e dm e t h o dc a na c h i e v eb e t t e rr e c o g n i t i o na c c u r a c yt h a nb a y e sa n d a d a b o o s tb a s e do n e s g e n e r a l i z et h e2 d p c at on o n l i n e a r2 d p c ab yk e r n e lt r i c k , a n dp r o p o s ea ne f f i c i e n tt r a i n i n g m e t h o d f o r c u t t i n gd o w n t h e t i m e - c o n s u m i n go f t h e t r a i n i n g p r o c e s s t h ee s s e n c eo f 2 d p c a i st h a ti t c o m p u t e st h ee i g e n v e c t o r so ft h ea nc a l l e di m a g ec o v a r i a n c em a t r i xw i t h o u t m a t r i x t o v e c t o rc o n v e r s i o n k e r n e lp r i n c i p a lc o m p o n e n ta n a l y s i s ( k p c a ) i san o n l i n e a r g e n e r a t i o no ft h ep o p u l a rp r i n t i p a lc o m p o n e n ta n a l y s i sv i at h ek e r n e lt r i c k s i m i l a r l y , t h e k e m e l i z a t i o no f2 d p c ac a nb eb e n e f i tt od e v e l o pt h en o n l i n e a rs t r u c t u r e si nt h ei n p u td a t a h o w e v e r , t h es t a n d a r dk 2 d p c aa l w a y ss u f f e r sf r o mt h ec o m p u t a t i o n a lp r o b l e mf o ru s i n gt h e i m a g em a t r i xd i r e c t l y ht h i ss e c t i o n w ep r o p o s ea ne f f i c i e n ta l g o r i t h mt os p e e du pt h e t r a i n i n gp r o c e d u r eo f k 2 d p c a 1 1 ”r e s u l t so f e x p e r i m e n t so nf a c er e c o g n i t i o ns h o wt h a tt h e p r o p o s e da l g o r i t h mc a na c h i e v em u c hm o r ec o m p u t a t i o n a le f f i c i e n c ya n dr e m a r k a b l ys a v e t h em e m o r y - c o n s u m i n gc o m p a r e dt ot h es t a n d a r dk 2 d p c a e s t a b l i s h t h e a l g o r i t h m o f t w o - d i m e n s i o n a l c a n o n i c a l c o r r e l a t i o n a n a l y s i s ( c c a ) ，a n da p p l y i tt os o l v et h es m a us a m p l es i z e ( s s s ) p r o b l e mi nt h ef a c er e c o g n i t i o n t h et r a d i t i o n a lc c a b a s e df a c er e c o g n i t i o nm e t h o d sa l w a y se n c o u n t e rt h es s sp r o b l e m ，w h i c hi sd u et ot h es i z e o fs a m p l ei sl e s st h a nt h ed i m e n s i o no fs a m p l e i no r d e rt os o l v et h i sp r o b l e m ，an e w s u p e r v i s e dl e a r n i n gm e t h o dc a l l e dt w o - d i m e n s i o n a lc c a ( 2 d c c a ) i 8d e v e l o p e di nt h i s p a p e r d i f f e r e n tf r o mt r a d i t i o n a lc c am e t h o d ，2 d c c ad i r e c t l ye x t r a c t st h ef e a t u r e sf r o m i m a g em a t r i xr a t h e rt h a nm a t r i x - t o v e c t o rt r a n s f o r m a t i o n i np r a c t i c e ，t h ec o v a r i a n c em a t r i x e x t r a c t e db y2 d c c ai sa l w a y sf u l lr a n k h e n c et h es m a l ls a m p l es i z e ( s s s ) p r o b l e mc a nb e e f f e c t i v e l yd e a l tw i mb yt h i s n e wd e v e l o p e dm e t h o d 1 1 i et h e o r yf o u n d a t i o no f2 d c c a m e t h o di sf n s t l yd e v e l o p e d ，a n dt h ec o n s t r u c t i o nm e t h o df o rt h ec l a s s - m e m b e r s h i pm a t r i xy w h i c hi su s e dt op r e c i s e l yr e p r e s e n tt h er e l a t i o n s h i pb e t w c e ns a m p l e sa n dc l a s s e si nt h e 2 d c c af r a m e w o r ki st h e nc l a r i f i e d s i m u l t a n e o u s l y , t h ea n a l y t i cf o r mo ft h eg e n e r a l i z e d 摘要 i n v e r s eo fs u c hc l a s s m e m b e r s h i pm a t r i xi sd e r i v e d f r o mo u re x p e r i m e n tr e s u l t so nf a c e r e c o g n i t i o n ，w ec l e a r l yf m dt h a tn o to n l yt h es s sp r o b l e mc a r lb ee f f e c t i v e l ys o l v e d ，b u ta l s o b e t t e rr e c o g n i t i o np e r f o r m a n c et h a ns e v e r a lo t h e rc c ab a s e dm e t h o d sh a sb e e na c h i e v e d 6 p r o p o s ean e wi m a g el o c a lf e a t u r ee x t r a c t i o nm e t h o df o rf a c i a le x p r e s s i o nr e c o g n i t i o nb a s e o nt w o - d i m e n s i o n a lp a r t i a ll e a s ts q u a r e ( 2 d p l s ) f i r s t l y , t h i sm e t h o dc o m b i n e st e x t u r e f e a t u r eo fa l ls u bw h l d o w so f 蛐i m a g ee x t r a c t e db yl b pt ol o c a lt e x t u r ef e a t u r em a t r i x i n o r d e rt oe x u a c tt h ed m t i o ni n f o r m a t i o n ，t h et r a d i t i o n a lp l sm e t h o di se x t e n d e dt o 2 d p l sm e t h o ds i n c et h ei m a g e sh a v eb e e nt r a n s f o r m e dt ol o c a lt e x t u r em a t r i o e s i nt h e 2 d p l sm e t h o d , t h ec l a s s - m e m b e r s h i pm a t r i xi sm o d i f i e dt oa d a p tt ot h em a t r i xf o r mo f s a m p l e sa n dr e p r e s e n tt h ed i f f e r e n c eo ft h ei m p o r t a n c eo ft h el o c a li m a g ei n f o r m a t i o n m e a n w h i l e , t h ea n a l y t i cf o r mo ft h eg e n e r a l i z e di n v e r s eo fc l a s s - m e m b e r s h i pm a t r i xi 岛 d e r i v e d 1 1 e x p e r i m e n tr e s u l t sb a s e d0 1 1j a f f ed a t a b a s es h o wt h a tt h ep r o p o s e dm e t h o d c 眦e f f e c t i v e l ye x t r a c tt h el o c a lf e a t u r ef r o mi m a g e sa n da c h i e v et h eg o o dp e r f o r m a n c ei n f a c i a le x p r e s s i o nr e c o g n i t i o n k e y w o r d a ：f a c ei m a g ea n a l y s i s ，f a c er e c o g n i t i o n ，f a c i a lg e n d e rr e c o g n i t i o n ，f a c i a l e x p r e s s i o nr e c o g n i t i o n ，l b p , a d a b o o s t , 2 d p c a , k 2 d p c a ，b l o c ka p p r o x i m a t i o n ，2 d c c a ， s m a l ls a m p l es i z e ，2 d p l s ，i m a g el o c a lf e a t u r ee x t r a c t i o n v 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：幻： 导师签名： 1j ， 绪论 第一章绪论 观察一个人的面部可以快速、无侵犯性地了解到被观察者的很多信息，比如：身份，性 别，年龄，情感等等。因此，对人脸特征的描绘与分析一直都是人们对他人进行了解、辨别 和认证的有力工具。在近半个世纪的时闻里，随着计算机技术的迅猛发展和人类对人工智能 的不懈追求，利用计算机强大的功能对人脸图像进行自动分析和理解一直都是图像处理和模 式识别领域中的热点研究问题。 1 1 人脸图像分析的研究背景 人们通过观察他人的面部来获取信息似乎是一件“轻而易举”的事情，而让计算机具有 同样的能力则是研究者一直追求的目标与梦想。这就是所谓的自动人脸图像分析技术研究。 如果把照相机、摄像机、照片扫描仪等看作计算机的“眼睛”。数字图像与视频可以看作计 算机观察到的“影像”，那么人脸图像分析研究的目的就是让计算机具有根据输入“影像” 来获取被观察者的各种信息的能力这种能力根据其任务的不同可以分为以下几类： 人脸检测与跟踪 该任务要求计算机判断所观察到的“影像”中是否存在人脸。如果存在，需要同时给出 其在图像中的坐标、人脸区域大小等信息。而人脸跟踪则需要进一步给出上述检测到的人脸 有关信息随时问连续变化的情况。 面部特征检测与提取 该任务既要求确定面部图像中眼睛、鼻子、嘴巴等主要器官的位置，还要求对这些器官 及其面部轮廓的形状信息做出描述。 人脸识别 该任务通过对输入人脸图像进行处理和分析，提取其身份特征，然后与人脸数据库中的 已知原型人脸图像进行匹配，从而达到识别人脸身份的目的。人脸识别具有两种主要的工作 模式：人脸认证和人脸鉴别。前者将一个未知人脸图像与一个身份已被声明的人脸图像进行 对比来确认所宣称的身份是否属实。后者即是通常所说的人脸识别，其将输入人脸图像与所 有原型人脸图像进行匹配来确定输入人脸的身份信息。 人脸属性分类 人脸属性分类根据不同任务的属性差异对面部相应特征进行检测与提取，对得到的特征 进行分析和理解。最终对人脸的性别、种族、年龄等属性做出判断。 面部表情识别 面部表情识别可以分为两种模式：与人相关的表情识别和与人无关的表情识别。前者通 过将输入表情图像与表情数据库中相同对象所有已知表情原型图像相匹配来给出输入表情 的种类信息。其最大特点是所有的表情图像都采集于同一个人。这通常用来研究人的情感发 展过程。而后者则是通过将输入表情图像与表情数据库中不同对象所有已知表情原型图像相 东南大学博士论文 匹配来给出输入表情的种类信息。其最大特点是待识别的图像与表情库中图像采集于不同的 人。这通常用来研究表情的共性及本质。 一个典型的人脸图像分析系统如图1 1 所示。当一幅图像输入人脸图像分析系统后，首 先进入了“人脸检测与跟踪”模块。该模块对整幅图像进行扫描，输出图中存在的人脸区域 的位置坐标。下一步将获取的人脸区域数据输入到“面部特征检测与提取”模块。该模块可 以将人脸面部某些关键点( 比如：眼睛、鼻子、嘴巴的位置以及人脸的轮廓等等) 的坐标进 行精确的定位或是跟踪。完成这一模块后，系统将上两部分获得的数据和信息输入“人脸图 像统计特征提取”模块。在该模块中，根据各种实际因素选择恰当的统计方法将上两步骤得 到的信息进行统计特征提取。最后一个模块是“人脸图像分类”，该模块根据任务的特性构 造分类器将以上各个步骤处理得到的特征进行分类，获得最终的分类归属。 人脸图像分析技术经过了4 0 多年的研究 c 1 1 1 1 6 5 ，特别是近十几年以来，该课题得到了 计算机视觉、模式识别等领域研究者的高度关注，并取得了长足的发展。国际上有很多科研 机构从事相关的研究工作，比较著名的如麻省理工学院( m i t ) 的媒体实验室和人工智能实 验室、卡奈基梅隆大学( c 删) 的机器人研究所、伊利诺斯大学香槟分校( u i u c ) 、南加州 大学( u s c ) 等。在国内，这方面的研究工作也开展得如火如茶，比较著名的如微软亚洲研究 院，中科院自动化研究所，清华大学等。此外，一些计算机视觉、模式识别领域的重要国际 学术会议( 如n i p s 、i c c v 、i c p r 、c v p r 等) 都纷纷设有人脸图像分析的专题。而相关领域的著 名杂志，如i e b e i ：刊一模式分析与机器智能( p a t t e r n a n a l y s i sa n d m a c h i n ei n t e l l i g e n c e ， p a l i i ) 、神经计算( n e u r a lc o m p u t a t i o n ) 和模式识别( p a t t e r nr e c o g n i t i o n ) 等每年都有许 多关于人脸图像分析的最新研究成果发表。 生物特征识别是人脸图像分析的主要应用。所谓生物特征识别( b i o m e t r i c s ) 即利用人 类本身所拥有的、能够唯一标识其身份的生理特征或者行为特征进行身份验证的技术。生物 特征识别技术早年运用于法庭科学的司法鉴定，多是对静态图像( 指纹图像、脸形图像) 的 事后采集和识别；上世纪九十年代末和本世纪初，特别是9 1 l 恐怖事件之后，由于国际反恐 斗争的需要，对静态、动态图像的事前事后采集和实时鉴别，已成为防范安全风险的主要技 2 术手段。 1 以美国为代表的国外生物特征识别技术的发展概况 美国是代表国际上生物特征识别先进技术的主要国家。上世纪九十年代，美国生物特征 识别技术应用的标准化工作已开始启动。当时的主要任务是针对应用在法律实施中的指纹身 份自动识别系统( a f i s ) 。1 9 9 5 年，美国召开了正面头像和脸部图像标准化会议，决定将伤 疤、记号和纹身( s m t ) 信息加入到原有数据中，并将正面头像、脸形和纹身数据的一个 逻辑化记录结构加入到a n s 州i s t c s l 1 一1 9 9 3 标准中1