（模式识别与智能系统专业论文）人脸特征点定位及识别的研究.pdf

人脸特征点定位及识别的研究摘要人脸识别试图让计算机能够自动的根据人脸图像进行人的身份的验证和识别。人脸识别是模式识别领域中最为典型的应用，很多模式识别方法为人脸识别的研究提供了理论基础，同时人脸识别的发展也进一步拓展了模式识别方法的应用领域，并加速了模式识别的发展。很多模式分类方法起初是为了解决人脸问题而被提出，然后再被应用到其他模式识别领域。人脸识别技术在反恐、社会安全、监控系统等方面有着非常广泛的应用前景。这些都使得人脸识别的研究得到越来越多的关注。但要真正把人脸识别技术应用到实际生活中还有诸多问题需要解决。有些问题尤为突出，如人脸特征点的精确定位，人脸姿态的估计，识别率和速度之间的平衡问题的解决。因此，本文深入研究了上述关键问题，主要贡献有：1 详细介绍了我们研究小组所开发的人脸识别系统包括的子模块：人脸检测、人脸识别、人脸特征点定位、人脸识别、人脸特征提取、流行学习、姿态估计、3 d 人脸模型。描述了它们在整个人脸识别系统中的功能。存在的问题和弊端，指明了目前需要解决的问题。2 全面阐述了人脸识别的的发展历程，目前的研究现状，国内外研究机构，国际上人脸识别竞赛，商业化产品，主要成果以及人脸研究中常用的人脸数据库。3 重点研究了a s m ( a c t i v es h a p em o d e l s ) 和a a m ( a c t i v ea p p e a r a n c em o d e l s ) 人脸特征点定位方法。深入分析了a s m 的缺陷。把a s m 模型中的特征点局部轮廓特征从一维拓展到二维，增加了特征点包含的信息，提高了每个特征点定位的精度，进而提高所有特征点( 模型结构) 定位精度。在搜索迭代过程中，提出把寻找特征点新位置的问题从马氏距离最小化问题转换为分类问题，并用s v m ( s u p p o r tv e c t o rm a c h i n e ) 分类器进行分类。提出了对不同的人脸特征点根据其独特的特性使用不同的度量函数寻找新位置。在多分辨率搜索过程中，提出了限制最后一层特征点位移的思路，这就降低了一t 一巾文摘要由于噪音对寻找特征点新位置的影响。同时还提出了在不同层次中构建不同长度的特征点局部轮廓的思路。4 研究了人脸识别中最为典型的子空间方法：p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) ，l d a ( l i n e a rd i s c r i m i n a n ta n a l y s i s ) ，i c a ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 以及l p p ( l o c a l i t yp r e s e r v i n gp r o j e c t i o n ) 。提出了一种把上述子空间降维方法和a p ( a f f i n i t yp r o p a g a t i o n ) 聚类方法相结合的新的识别方法。与子空问方法在测试过程中需要把测试样本和每一个训练样本进行对比不同，新的识别方法仅仅需要把测试样本和代表了每一类的代表样本进行比对以达到识别的目的。这种识别策略不仅降低了训练样本中噪音对识别性能的影响，还提高了识别速度。5 介绍了主流的流形学习方法，并对其中r b m n n ( r e s t r i c t e db o l t z m a n nm a c h i n en e r u a ln e t w o r k ) 降维方法进行了深入的研究。针对r b m n n 需要大量样本进行训练的缺陷，提出了通过低采样由单个样本生成多个样本的思路。提出把p c a 和r b m n n 相结合的思路，这样既减少了网络的节点数，也减少了训练时间。还提出了以o a b o r 特征作为输入端，利用r b m n n 方法进行降维的思路以进一步提高后续识别的精度。关键词：人脸识别，人脸特征点定位，活动形状模型，子空间分析方法，流形学习，受限玻尔兹曼机神经网络一i l r e s e a r c ho ff a c i a ll a n d m a r kl o c a t i o na n df a c er e c o g n i t i o na b s t r a c tt h eo b j e c to ff a c er e c o g n i t i o n ( f r ) i sa u t o m a t i c a l l yv a l i d a t i n ga n dr e c o g n i z i n gh u m a ni d e n t i t yw i t hf a c ei m a g e f ri st h em o s tr e p r e s e n t a t i v ea p p l i c a t i o ni np a t t e r nr e c o g n i t i o n ( p r ) ，m a n yp a t t e r nr e c o g n i t i o nm e t h o d ss u p p l yf rw i t ht h e o r e t i c a lb a s i s a tt h es a m et i m e ，t h ed e v e l o p m e n to ff ra l s of u r t h e rw i d e n st h ea p p l i c a t i o na r e ao fp rm e t h o d ，a n ds p e e du pt h ed e v e l o p m e n to fp r s o m ep rm e t h o d sw e r ep r o p o s e df o rf rp r o b l e m si nt h eb e g i n n i n g ，a n dt h e nw e r eu s e di no t h e rp ra p p l i c a t i o na r e a s f rt e c h n i q u eh a saw i d ea p p l i c a t i o ni na n t i t e r r o r i s m ，s o c i e t ys a f e t y , s u r v e i l l a n c es y s t e r n ，w h i c hm a k e si ta t t r a c ti n c r e a s i n g l ya t t e n t i o n h o w e v e r , t h e r ea r em a n yp r o b l e m sn e e dt ob es o l v e db e f o r ef rt e c h n i q u ec a nb er e a l l ya p p l i e di np r a c t i c e s o m eo ft h e ma r ef a i r l ya p p a r e n t ，s u c ha sf a c i a ll a n d m a r kl o c a t i o n ，e s t i m a t i o no ff a c ep o s e ，b a l a n c eb e t w e e nr e c o g n i t i o nr a t ea n ds p e e d t h e r e f o r e ，t h i st h e s i se x t e n s i v e l ys t u d i e st h ea b o v e m e n t i o n e dp r o b l e m s ，t h em a i nc o n t r i b u t i o n sc o n t a i n ：1 d e t a i l i n gf rs y s t e md e v e l o p e db yo u rr e s e a r c hg r o u pa n di t ss u b m o d u l e s ，w h i c hi n c l u d ef a c ed e t e c t i o n ，f r ，f a c i a ll a n d m a r kl o c a t i o n ，f a c i a lf e a t u r ee x t r a c t i o n ，m a n i f o l dl e a r n i n g ，f a c ep o s ee s t i m a t i o n ，3 df a c em o d e l d e s c r i b i n gt h e i rf u n c t i o ni nt h ew h o l es y s t e m 2 d e s c r i b i n gt h ed e v e l o p m e n to ff r ，c u r r e n tr e s e a r c hs t a t u s ，d o m e s t i ca n di n 。t e r n a t i o n a lr e s e a r c hi n s t i t u t e s ，i n t e r n a t i o n a lf rc o n t e s ta n dc o m m e r c i a l i z a t i o np r o d u c t s ，o u t s t a n d i n gf i n d i n g sa sw e l la sm o s t l yu s e da n dp u b l i c l ya v a i l a b l ef a c ed a t a b a s e s 3 d e e p l ys t u d y i n gt h ef a c i a ll a n d m a r kl o c a t i o nm e t h o d sa s m ( a c t i v es h a p em o d 。e l s ) a n da a m ( a c t i v ea p p e a r a n c em o d e l s ) a n a l y z i n gt h ed i s a d v a n t a g e so fa s m p r o p o s i n gt oe x t e n dt h el o c a lp r o f i l ei na s mf r o m1dt o2 ds u c ht h a ti tc o n t a i n sm o r el a n d m a r ki n f o r m a t i o na n di m p r o v e st h ea c c u r a c yo fl o c a t i o nf o re a c hl a n d m a r k ，a n da c c o r d i n g l yi m p r o v et h ew h o l ea c c u r a c yo fl o c a t i o n p r o p o s i n gt oi i i 英义摘要c o n v e r tt h ep r o b l e mo ff i n d i n gn e wp o s i t i o nf r o mm i n i m i z a t i o no fm a h a l a n o b i sd i s t a n c et oac l a s s i f i c a t i o np r o b l e mu s i n gs v m ( s u p p o r tv e c t o rm a c h i n e ) c l a s -s i f t e r p r o p o s i n gt ou s ed i f f e r e n ts i m i l a r i t yf u n c t i o n sf o rd i f f e r e n tl a n d m a r k sa c c o r d i n gt ot h e i rs p e c i f i cf e a t u r e p r o p o s i n gt oc o n s t r a i nt h ed i s p l a c e m e n to fl a s tl e v e li nt h em u l t i r e s o l u t i o ns e a r c h i n gs c h e m e ，w h i c hd e c r e a s e st h ee f f e c to fn o i s e p r o p o s i n gt oc o n s t r u c tl o c a lp r o f i l ew i t hd i f f e r e n tl e n g t h si nd i f f e r e n tl e v e l s 4 s t u d y i n gt h er e p r e s e n t a t i v es u b s p a c em e t h o d si nf r ：p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) ，l d a ( 1 i n e a rd i s c r i m i n a n ta n a l y s i s ) ，i c a ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) a n dl p p ( 1 0 c a l i t yp r e s e r v i n gp r o j e c t i o n ) p r o p o s i n gt oc o m b i n ea b o v e 。m e n t i o n e dm e t h o d sw i t ha p ( a f f i n i t yp r o p a g a t i o n ) t of o r mn e wp rm e t h o d s u n l i k et r a d i t i o ns u b s p a c em e t h o d sw h i c hn e e dt oc o m p a r et h et e s ts a m p l et oe a c ht r a i n i n gs a m p l ei nt h et e s t i n gp h a s e ，t h en e wp rm e t h o d so n l yu s er e p r e s e n t a t i v es a m p l e sc o r r e s p o n d i n gt oe a c hc l a s sf o ri d e n t i f i c a t i o n s u c hk i n do fi d e n t i f i c a -t i o ns c h e m en o to n l ya v o i d st h ee f f e c to fn o i s ei nt h et r a i n i n gs e t ，b u ti m p r o v e st h er e c o g n i t i o ns p e e d 5 i n t r o d u c i n gs o m ep o p u l a rm a n i f o l dl e a n i n gm e t h o d s ，a n de x t e n s i v e l ys t u d y i n gr b m n n ( r e s t r i c t e db o l t z m a n nm a c h i n en e r u a ln e t w o r k ) d i m e n s i o n a l i t yr e d u c -t i o nm e t h o d p r o p o s i n gt og e n e r a t em o r es a m p l e sb ys u b s a m p l i n gt od e a lw i t ht h ep r o b l e mt h a tr b m n nn e e d sag r e a td e a lo fd a t af o rt r a i n i n g p r o p o s i n gt oc o m b i n ep c aw i t hr b m n nt od e c r e a s et h en u m b e ro fn e tn o d e sa sw e l la st h et r a i n i n gt i m e p r o p o s i n gt ou s i n gg a b o rf e a t u r ea si n p u t ，u s er b m n nf o rd i m e n s i o n a l i t yr e d u c t i o n ，a n df u r t h e ri m p r o v et h er e c o g n i t i o np e r f o r m a n c e k e yw o r d s ：f a c er e c o g n i t i o n ，f a c i a ll a n d m a r kl o c a t i o n ，a c t i v es h a p em o d -e l s ，s u b s p a c ea n a l y s i sm e t h o d ，m a n i f o l dl e a r n i n g ，r e s t r i c t e db o l t z m a n nm a c h i n en e u r a ln e t w o r ki v 上海交通大学学位论文版权使用授权书本学位论文作者完伞了解上海交通人学有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。( 保密的论文在解密后应遵守此规定)学位论日期：指导教师签名：够日矿4 月瑚上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本文完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：第一章绪论1 1 研究背景以及项目支持本博士学位论文的研究得到了上海市科技委员会重大项目“基于生物特征分析的身份识别研究”( 项目批准号：0 3 d z l 4 0 1 5 ) 以及国家高技术研究发展计划( 8 6 3 1 , - 1 划) “结合三维模型和流形学习的视频人脸识别的新方法研究”( 项目编号：2 0 0 7 a a 0 1 2 1 6 4 ) 这两个项目的支持。其研究目的足开发出一种三维模型下的人脸识别系统。这两个项目的研究内容都囊括了多个人脸识别研究领域的核心问题，包括人脸检测、特征点定位、识别算法的研究、流形学习、3 d 人脸模型的建立、融合识别、姿态估计等。其巾，特征点定位、识别算法、姿态估计以及流形学习是本文研究的重点，后面几章将分别予以介绍。1 2 人脸识别研究的重要性和意义日常生活中，一个人通常通过脸部信息识别另一个人。而人脸识别就是让计算机模拟人的思维通过一张面部图像识别一个人。人脸识别技术是近半个世纪逐步发展成熟起来的一门崭新的信息技术，其得到了越来越多的关注。尤其是近l o 年来，其更成为模式识别领域非常热门的研究课题。国内外许多政府部门、公司、大学以及科研机构都给予了大量的投入。这主要是因为他们坚信人脸识别技术具有重大的科研意义以及广泛的应用前景。人脸识别技术是模式识别领域中最为经典的应用范例。它涉及到多个领域的交叉研究，包括计算机视觉、图像处理、计算机图形学、流形学习、神经网络、认知科学、光学、心理学等。许多模式识别经典理论、方法都是针对人脸识别研究而被提出，而后又被应用于其他学科领域。因此，人脸识别技术的研究为，1 - 述诸多学科提供了一个交叉研究的平台，也促进了它们之间的融会贯通，以及各个学科之间的相互应用，促进了各个学科的科学家们之间的合作研究。社会生活各个方面都需要身份验证。而通常的身份验证手段包括钥匙、密码、证件等。钥匙和证件需要随身携带，一旦丢失就会非常不便，l 司时这些都可以伪造。而密码也有其固有的缺陷。用密码进行身份验证最大的问题就是密码的长度和安全性之间的平衡，密码越长越复杂，也就越安全，但也越不便于记忆。而人脸识别技术利用个体的而部图像进行识别，与上述传统的身份验证方法相比，人脸识别技术的主要优势就是很人程度上避免伪造和窃取。而且，也不需携带，只要人在，便可获得该人的面部图像，因此较为方便。另外，人第章绪论脸识别也具有相对较高的可靠性和安全性。尤其是现在人们对身份验证的要求越来越高，这样进一步突出了人脸识别的重要性。这些都使得人脸识别技术具有非常非常广泛的应用领域。例如：智能门禁、智能视频监控、司机驾照验证、各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险身份验证等。尤其在国土安全和信息安全等领域，人脸识别技术由于其具有的独特的优势也得到了日益广泛的应用，展示了其巨大的应用潜力。在保障社会公共安全方面，维护社会安全是社会发展的根本保证，也是国家可持续发展的保障。而境内外违法犯罪人员，尤其是恐怖分子严重威胁人民的生命财产安全，是社会安定团结的极大威胁，对社会危险分子、恐怖分子以及违法犯罪人员进行及时、有效的监控和抓捕至关重要。人脸识别技术为此提供了强有力的保障。特别是9 l l 恐怖袭击事件发生后，世界各国政府、安全部门更是加强了身份验证的要求，也对身份验证领域的研究进行了大量的投入。我国当然也不例外，利用生物特征识别技术来监控和抓捕危险分子显得尤为重要。2 0 0 8 年的北京奥运会和2 0 1 0 年的上海世博会，都要求采用准确可靠的生物特征识别技术来防止各种可能的恐怖与破坏犯罪活动。由此，我们可以看出人脸识别技术的研究不仅具有非常重要的科研意义，也具有非常广泛的应用前景。1 3 生物特征识别技术市场状况生物特征识别是利用人类本身所具有的且能够唯一表明其身份的生理特征或行为进行身份验证和识别的技术。生理特征是指一个人具有的长期不变的特征，如人脸、虹膜、d n a 、指纹、耳形、掌纹以及手彤。而行为特征指人的习惯性行为，如声音、步态、笔迹等。迄今为止，上述的各种特征都已经被利用于进行人的身份验证的研究，但是它们在鲁棒性、精确性和可靠性方面都各有差异。2 0 0 7 年同际生物特征识别产品的市场份额比例如图1 1 【1 】所示。2 0 0 7 2 0 1 2 年国际生物特征识别产品的市场预计年销售额如图1 2 t 1 j 所示。由此可以看出包括人脸识别的生物特征识别产品具有非常大的市场前景，这也必然会推动各项生物特征识别技术的发展。1 4 人脸识别技术的优势和缺陷迄今为止，人脸识别是最引人注目的生物特征识别技术，与其他生物特征识别技术相比具有无可比拟的优势1 2 1 ，主要体现在：一2 一第章绪论图l12 0 0 7 年各种生物特征识别技术的市场份额f i g u r eiib i o m e u i cm a r k e tb yt e c h n o l o g y , 2 0 0 7加”1 o m e 帅tr i o 。i n d u 龆黑：等。黑罂裂5 m “o 幽i22 0 0 7 - 2 0 1 2 l z 乍物特征识别产品的年市场销售额f i g u r ei2 a n n u a l b i o m e t r i c i n d u s t r y r e v e n u e ，2 0 0 72 0 1 2一一-m一mm一m。第章绪论1 无需接触、无侵犯性，易于接受这是人脸识别技术相对于其他生物识别技术最为突出的优势。虹膜识别、指纹识别以及掌纹识别都需要人与采集设备直接接触才能进行数据采集。而人脸识别无需接触，不会对人的生理造成伤害，这使得人脸识别更加容易被接受。2 具有隐蔽性人脸图像的采集不需要人与采集设备直接接触，这也使得采集设备可以被隐蔽，这通常应用于监控，如机场、地铁等公共场所。3 采集设备越米越便宜现在的图像采集设备已经越来越便宜，另外计算机的处理速度也越来越快，这都使得花费在人脸识别技术上的硬件成本越来越低。4 多项人脸技术已经成熟，如人脸检测、识别算法人脸识别技术是生物识别技术中得到最广泛研究的一项技术，其相对于其他生物识别技术更加成熟、可靠。其中，人脸检测技术、识别算法等都已经非常成熟，这也使得人脸识别技术具有更多的优势。虽然如此，人脸识别技术迟迟没有得到广泛的真正意义上的实际应用，是凶为其也有很多难题有待解决，具体有：1 容易受到外界条件的影响，导致识别率下降不同的光照、视角、距离都会给最终的识别率带来很大的影响。例如，在光照比较均匀、人脸正对着摄像采集设备且人脸图像足够清楚时，识别性能往往比较理想。相反，如果光照条件不理想、不能获得止面或较为正面的人脸图像、图像分辨率较低，这些都会严重影响识别的性能。2 表情、年龄、化妆对识别影响较大人脸面部特征通常都具有唯一性，且不会发生根本性的变化，但是人脸的面部特征会随着不同的表情、有无化妆、年龄而发生变化，这也会影响识别性能。例如，在训练时用的是一种表情，而识别时用的是另一种完全不同的表情，在这种情况下，识别效果往往差强人意。另外，化妆过的人脸图像和没有化妆过的人脸图像对识别的影响也非常大。同时，随着人的年龄的变化，人脸所呈现出的信息也会发生变化，从而也会最终影响识别效果。第章绪论1 。5 人脸识别中比较成熟的技术1 a d a b o o s t 人脸检测方法a d a b o o s t l 3 1 1 4 】1 5 1 方法是迄今为止最准确、最快的人脸检测方法，该技术非常成熟，其函数已经被嵌入到英特尔公司开发的o p e n c v l 6 j 计算机视觉函数库。另外，该项技术也被应用于数码相机以进行自动对焦。而且，由于a d a b o o s t 是一种通用的机器学习方法，其也已经被成功的应用到其他目标检测，如人的检测1 7 1 、车牌检测【8 j 等。许多研究人员也对该方法进行了改进，其中最著名的是李子青教授所提出的f l o a t b o o s t 9 1 方法，比尔盖茨曾经亲自进行验证。该方法在a d a b o o s t 思想的基础上提出了新的弱分类器的学习统计模型，而且其需要更少的弱分类器。该方法也被拓展到侧面人脸检测【1o 】并取得了比较好的检测效果。2 人脸特征点定位方法人脸特征点定位方法大体可以分为局部特征点定位方法和全局特征点定位方法j 两大类。局部特征点定位方法一次只能找到为数较少的人脸特征点。如眼睛，瞳孔，嘴角等。这类方法的典型代表有基于投影函数1 1 2 i d 3 的眼睛定位方法，基于可变形模板1 1 4 1 的人脸特征定位方法，基于h o u g h 变换的瞳孔定位方法1 1 5 】，基于模糊聚类【1 6 1 的嘴唇分割方法以及基于颜色空间统计信息的眼睛和嘴的定位方法【 1 。局部定位方法最大的缺点就是对光照比较敏感，而且由该类方法得到的人脸面部特征太少，根本不能满足后续研究的需要。因此，通常比较有效的方法是把这类方法和全局特征点定位方法相结合。全局定位方法可以一次性定位很多人脸特征点，这类方法的典型代表有活动形状模型( a s m ：a c t i v es h a p em o d e l s ) 方法【l8 1 ，活动外观模型( a a m ：a c t i v ea p p e a r a n c em o d e l s ) 方法1 1 9 1 1 2 0 1 以及l u c a sa a m 方法1 2 l 】1 2 2 1 。相对于局部特征点定位方法，全局特征点定位方法具有速度快、稳定、特征点数目多等优势，且该类方法对光照影响不如局部特征点定位方法那么敏感。因此，在实际应用中全局定位方法是首选。3 p c a ，i c a ，l d a 以及l p p 子空间特征提取方法主成份分析( p c a ：p r i n c i p a lc o m p o n e n ta n a l y s i s ) 1 2 引，线性判别分析( l d a ：l i n e a rd i s c r i m i n a n ta n a l y s i s ) 1 2 4 1 ，独立成分分析( i c a ：i n d e p e n d e n tc o r n p o n e n ta n a l y s i s ) 1 2 5 】是人脸识别研究中最经典的线性子空间识别算一5 一第。章绪论法。这类方法相对比较简单且易于实现。这类方法得到了深入的研究并由此衍生了很多改进方法，! t i l 2 d p c a t 2 6 1 ，2 d l d a t 2 7 1 等。另外，局部保持投影( l p p ：l o c a l i t yp r e s e r v i n gp r o j e c t i o n ) 1 2 8 i1 2 9 1 也是一种新的子空间方法。最近，流形学习引起了越来越多的关注，其也为人脸识别的研究提供了多个非线性流彤学习方法，! t l ：i l l e ( l o c a ll i n e a re m b e d d i n g ) 1 3 0 11 3 1 1 ，i s o m a pt 3 2 1 ，r b m n n ( r e s t r i c t e db o l t z m a n nm a c h i n en e m a ln e t w o r k ) 1 3 3 1 。1 。6 本文的主要研究内容和创新点本文综述了人腧识别研究的发展历程、目前的研究现状以及其具有的应用前景。同时也系统地综述了人脸识别研究中所涉及到的各项技术，并对一些关键技术做了重点研究。1 人脸识别研究现状综述人脸识别经过近半个世纪的发展，涌现出了许多算法。根据人脸识别研究中所涉及到的技术模块为基线，重点介绍了各个技术模块中最为常用的方法，分析了它们的优势以及存在的问题。介绍了目前国内外从事人脸识别研究的研究机构以及他们所取得的成果。介绍了人脸识别研究共享资源以及国际人脸竞赛( f e r e t ) 。以此为基础，探讨了人脸识别研究今后的发展方向。2 上海交通大学模式分析与机器智能实验室人脸识别系统( s j t u p a m i f r s )介绍了s j t u p a m i f r s 的系统框架。其所包含的模块：人脸检测、人脸特征点定位、人脸识别算法、流行学习、姿态估计、3 d 人脸模型。描述了它们各自在整个人脸识别系统中的功能、作用以及每个模块用到的方法。并重点介绍了s j t u p a m i f r s 的主要创新性和贡献。3 深入研究了人脸特征点定位问题人脸特征点定位是整个人脸识别系统中的核心技术，尤其在利用三维信息进行人脸识别时，特征点定位的精确性直接影响到利用3 d 人脸模型牛成虚拟人脸图像的的逼真性，从而也会影响到最终的识别率。介绍了a s m ，a a m 。深入分析了a s m 的缺陷，在和a s m 原作者t c o o t e s 详细讨论的基础上总结出两种改进a s m 的思路：一6 一第章绪论( a ) 改进每一迭代过程中寻找特征点新位置的方法；( b ) 利用形状模型限制特征点可能的位置；并以此对a s m 提出了几点改进。4 子空间方法和a p ( a f f i n i t yp r o p a g a t i o n ) 聚类方法相结合的新的识别算法研究了人脸识别斗j 经典的子空间方法：p c a ，l d a ，i c a 以及l p p 。它们的基本原理就是在高维人脸图像数据中找到一个转换矩阵，并通过该转换矩阵把原始人脸图像数据映射到低维空问，达到降维和特征提取的目的，然后再利用降维后的数据进行识别。这些方法有一个共同的缺陷：识别时测试样本需要和每个训练样本进行比较。针对这一缺陷，提出了一种把子空间方法和相似传播( a p ：a f f i n i t yp r o p a g a t i o n ) 聚类方法相结合的新的识别方法。该方法首先利用降维方法( p c a ，l d a ，i c a ，l p p ) 对训练样本进行降维，然后利用a p 对降维后的数据进行聚类分析并为每一类找到一个代表样本，最后，在识别阶段，测试样本只需要和代表样本进行比较即可。5 研究了目前主流的流形学习方法流形学习方法的研究受到越来越多的关注。事实上，前面所提到的子卒间方法也属于流形学习的研究领域，只不过它们是线性的，而流形学习更侧重于非线性降维方法的研究。目前比较主流的流彤学习方法包括l l e ，i s o m a p ，m d s ( m u l t i d i m e n s i o n a ls c a l i n g ) t 3 4 i 等。本文则重点研究了最新刚被提出的受限玻尔兹曼机神经网络( r b m n n ：r e s t r i c t e db o l t z m a n nm a c h i n e sn e u r a ln e t w o o r k ) 降维方法。针对r b m n n 需要大量样本进行训练的缺陷提出了由单个样本通过低采样牛成多个样本的思路。同时由于r b m n n 网络结构第一层结点数为图像中像素个数，这使得网络的结构过于庞大，也使得训练的时问太长，因此提出把p c a 和r b m n n 想结合的思路。这样即减少了网络的节点数，也减少了训练时间。最后还提出了以g a b o r 特征作为输入端并利用r b m n n 方法进行降维的思路以进一步提高后续识别的精度。1 7 本文的结构本文的内容结构如下：第一章：绪论。主要介绍了人脸识别研究的研究意义、成熟技术、国内外现状、所涉及的到的技术以及存在的问题。第二章：人脸识别研究的介绍与综述。以s j t u p a m i f r s 中的各个模块为线一7 一第章绪论索，介绍了人脸识别研究所涉及到的内容。简单地介绍了国内外从事人脸识别研究的研究机构、大学和公司。简单介绍了人脸识别中常用的人脸库以及国际人脸识别竞赛。第三章：人脸特征点定位。详细介绍了a a m 着i i a s m 伞局特征点定位方法。针对a s m 方法固有的局限性提出了几点改进。第四章：a p 聚类方法在人脸识别中的研究。介绍了几种最主要的子空间人脸识别算法以及a p 聚类方法。提出了把子空间方法和a p 方法相结合进行人脸识别的新思路并利用大量的实验予以验证。第五章：流形学习方法在人脸识别中的研究。介绍了几种最新的流形学习方法。重点研究了r b m n n 降维方法，针对其固有的缺陷提 n 了几点改进。第六章：结束语。对本学位论文进行总结，并提出了后续的工作方向。一8 一第二章人脸识别研究的介绍与综述人脸识别技术的研究虽然已经持续了近半个世纪，但是从二十世纪末至今才是其发展最为迅速的阶段，在这个阶段取得了相当多的成果。本章旨先以我们所开发的上海交通大学模式分析与机器智能实验室人脸识别系统( s j t u p a m i f r s ) 为示例，介绍了该人脸系统所包含的子模块，每个模块的作用，其中用到的方法，并以其中核心的模块为线索介绍各自的研究现状。然后介绍了国内外目前从事人脸技术研究的知名的研究团队以及人脸识别研究中常用的人脸数据库。最后，还介绍了f e r e t 人脸识别竞赛以及现有的人脸识别商业系统。2 1s j t u p a m i f r s人脸识别的研究是一个非常庞大体系，其不仅仅是单纯的识别算法的研究，其还涉及到其他方面，比如人脸检测，姿态估计等。本节以s j t u p a m i f r s 为线索介绍其包括的主要模块，每个模块所涉及到的研究内容。s j t u p a m i f r s 是融合了图像处理、模式识别、视觉跟踪、机器学习、信息融合等多学科技术来研究结合三维模型和流形学习的视频人脸识别系统。该系统包括序列图像目标检测、复杂场景下视频目标跟踪、人脸姿态估计、图像特征提取和关联分析、流形学习、三维图像建模和处理、融合决策等关键技术。s j t u p a m i f r s 系统框架如图2 1 所示。该系统包括以下几个模块：1 人脸检测和跟踪模块在人脸检测和跟踪模块中，首先用a d a b o o s t t 4 1 1 5 1 方法对视频输入的第一帧图像进行人脸检测得到可能的人脸区域，然后利用基于颜色空间的方法初步验证该区域是否为人脸，如果是人脸就继续进行姿态估计并利用m e a n s h i f t l 3 5 1 方法跟踪该人脸区域。其中人脸检测和人脸跟踪结合机制是：一开始只要对第一帧图像进行人脸检测，然后再对检测到的区域进行人脸跟踪，一直跟踪下去直到跟踪丢失，如果跟踪丢失，再做人脸检测，这实际上是一个人脸检测和人脸跟踪交叉执行的过程。利用m e a n s h i f t 方法进行人脸跟踪就避免了对每一帧图像进行人脸检测，对除第一帧以外的其它帧只要进行跟踪即可，同时跟踪速度比检测速度快，这也大大提高了该模块的速度。另一方面，由于现有的可用的a d a b o o s t 人脸检测算法只能检测到正面或接近于正面的人脸图像，对于非正面人脸图像，该方法误检9 第_ 章人脸识别研究的介绍与综述图2 1人脸识别系统框架图f i g u r e2 1f r a m e w o r ko ff a c er e c o g n i t i o ns y s t e m率很高，而m e a n s h i f t 方法只针对人脸这个目标，它对人脸姿态的变化不敏感，这使得它能够很稳健地跟踪各种姿态下的人脸区域。2 人脸姿态估计模块人脸姿态估计模块包括两个部分：离线训练部分和在线测试部分。在离线训练部分，采用g a b o r 滤波器【3 6 j 为人脸姿势估计提取重要的特征。同时鉴于高维人脸数据往往嵌套于一个低维流形，并且低维流形结构的主要控制参数通常与原始人脸姿势的自南度有很大的关联。凶此，我们采用流形学习的方法来探测高维人脸数据的本质流形结构。而现有的流形学习方法重点在于基于局部保存的降维，没有把注意力放在提高子空间的判别能力上。为了提高子空间的判别能力，我们开发具备判别能力的流形学习方法使其在探测数据本质结构的同时，更有利于提高分类能力。然后，在降维后的子空间，我们日j 以根据实际问题的需要，采用基本的分类或回归的方法来估计姿势。在线测试部分就相对简单：只要把待进行姿态估计的人脸图像映射到训练得到的子空问，再利j h j 最近邻分类器进行姿态估计。3 人脸特征点定位模块采用局部特征点定位和全局特征点定位相结合的方法。首先利用标有人脸一1 0 第二章人脸识别研究的介绍与综述特征点的人脸图像库训练a s m 模型得到初始平均模型和每个特征点的局部纹理。然后利用局部特征点定位方法找到眼睛的位置，并以两眼的位置对前面得到的a s m 平均模型进行仿射变换，使得经过仿射变换后的a s m 模型中的两眼和局部特征点定位方法得到的两眼位于相同的位置，这样便可以得到a s m 搜索的初始位置，然后再利用a s m 方法进行搜索便可以得到最终的人脸特征点位置。4 三维人脸模型模块该模块包括三维人脸模型的构建和牛成虚拟三维人脸图像。首先利用v e t t e r 等1 3 7 】人提m 的基于形变模型的人脸建模方法构建三维人脸平均模型，然后再利用人脸特征点定位模块得到的人脸特征点对该三维平均人脸模型进行形变，便可得到不同姿态的虚拟人脸图像，最后用这些虚拟人脸图像进行训练从而为后续的多角度人脸识别做准备。该方法第一次实现了人脸建模的完全自动化，并且可以由一幅人脸图像重建特定人的二二维人脸模型。由于该模型是建立在像素级对应的三维原型人脸数据库上，且在模型中考虑了人脸姿态、光照等囚素，因此该模型可以生成虚拟的三维人脸图像。同时，通过分析原型人脸的表情变化，该模型还可以产生人脸表情和动画。另外，图像对应技术的不断发展，如基于关键特征点的图像对应技术( 图像w a r p i n g ) ，基于光流算法的稠密像素对应技术和基于三维模型的对应方法，使图像问的像素对应可以得到比较好的对应效果。有了图像问的像素对应，图像间的线性运算就可以通过其对应像素的线性运算实现。5 人脸识别模块该模块包括训练和测试。考虑到计算复杂度和识别性能，在训练模块采用g a b o r - l d a 3 8 1 和a p t 3 9 1 聚类方法相结合的人脸识别方法。首先对每一幅训练图像利用g a b o r d , 波进行变换得到相应的系数。然后利用l d a 方法对g a b o r d , 波系数进行降维分析并训练得剑对应的低维子空间，接着用a p 方法对训练样本对应的低维特征进行聚类并为每一类找到一个代表样本，这样在测试阶段，每一个待识别样本仅仅需要和代表比较即可，而不需要和所有的训练样本比较。在测试模块，对于待识别的人脸图像，依次对其进行g a b o r d 、波变换，并把小波变换后得到的系数映射到前面的由l d a 处理后的低维子空间，最后利用最近邻方法进行识别分类。同时在测试模块l 卜，我们使用了融合识别的策略，即：如果是正面人脸图像，先进行正面识别。同时利用特征点定位方法定位该正面图像上的所有特征第章人脸识别研究的介纠与综述点，并利用该组特征点与已知的特征点库进行比对识别，并用该识别结果和前面的正面识别结果进行融合识别。如果视频序列中也有非正面人脸图像，利用该图像进行识别同时，并用该结果与前面的正面识别结果以及特征点识别结果进行融合，并做出最终的决策。以下我们将s j t u p a m i f r s 中的各关键技术分别加以分析：1 人脸检测人脸检测是所有人脸技术得以实现和应用的前提，没有高度精确的人脸检测率，后续的工作都无法进行。目前人脸检测与跟踪的结合并没有得到充分的重视与发展，人脸检测算法都是作为人脸识别的子模块，而且一般都是在特定环境下简单地进行人脸检测。相对于人脸检测，人脸跟踪研究起步较晚。早期的人脸检测方法多数基于颜色信息，其中典型的代表有基于颜色信息的方法【17 1 ，