（电路与系统专业论文）人脸自动识别系统中若干关键问题的研究.pdf

摘要 摘要 生物特征认证技术，由于其广泛应用前景，将在社会生活中占据越来越重要 的位置。在众多的生物特征识别技术中，利用人脸特征进行身份验证又是最自然 赢接的手段。相比其它人体生物特征，人脸识别具有直接、友好、方便的特点， 易于为用户所接受。以人脸作为人的基本生物特征的身份鉴定技术获得了广泛的 关注。 但由于在人脸识别中几个关键性问题没有取得突破，离真正意义上的大规模 商用还有一定距离。具体来说在人脸检测中的实时性问题、人脸图像预处理有效 的归化问题，识别中有效特征抽取和d , i j l l 练样本识别问题，都没有得到有效解 决。冈此，这些关键性问题有着很高的研究价值。 针对以上几个关键性问题，本文在以下几个方面进行了创新性的探索。 ( 1 ) 在人脸检测方面，针对目前最有效的a d a b o o s t 的人脸检测方法在训练时 耗时的问题，提出一种新的快速训练方法，采用排序进行训练，其结果比以 仆的方法的训练速度有显著提高。同时利用双闽值代替单闽值，改进a d a b o o s t 榆洲器结构，同时提高训l 练速度和检测速度，使a d a b o o s t 方法更具有实用性。 ( 2 ) 在人脸图像特征点定位上，论文提出层次弱淘汰定位器结构，通过组合 大量基于狄度的先验知识进行特征点定位，提高了特征点定位精度。在灰度归一 化的问题上，提出了一种新的归一化方法。该方法使用同态滤波去除畸变光照， 使用定义的能量归一实现对图像后处理引入干扰的去除。该预处理方法压制了人 脸幽像的类内差异，提高了人脸识别的识别率。 ( 3 ) 提m 了一种新的子空间中判决方法：最小二乘残差距离判决方法，通过 提高分类判决的性能，来提高小样本训练样本下人脸识别效果。该方法利用子空 m 线性泛化样本来重建测试样本，通过重建样本与测试样本之间残差距离进行判 决。理论分析与实验表明，论文的方法比其他类似方法有更好的识别效果。 ( 4 ) 沦文也在人脸压缩技术上提出了基于形状与纹理分量的压缩方法，将人 脸的形状信息与纹理信息分别利用主分量分析进行压缩。该方法利用了人脸自身 的属性，提高了压缩效率，相比其他方法，无论视觉效果还是p s n r 都有较大改 进。 最后，在研究的基础上，我们完成了两个实际系统，基于a d a b o o s t 的人脸快 速检测系统和人脸语音双通道智能签到系统。，对基于生物特征的身份识别技术 晌实际应用做了有益的探索和尝试。 关键字：人脸榆测、人脸识别、模式识别 摘要 a b s t r a c t b i o m c t r i ca u t h e n t i c a t i o na n dl d e n t i f i c a t i o nt e c h n o l o g yw i l lb em o r ea n dm o r e i m p o r t a n ti no u rs o c i a l1 i f eb e c a u s eo ft h e i rb r o a da p p l i c a t i o n s f a c er e c o g n i t i o ni s o n eo ft i l em o s tn a t u r ew a y c o m p a r i n gw i t ho t h e rb i o m e t r i cf e a t u r e s ，f a c er e c o g n i t i o n j si n o l ed i l e c t c o r l l f o r t a b l ea n dc o n v e n i e n t a n di tw i l lb ea c c e p t e db yu s e r se a s i l n a l t h o u g he x p e r i m e n t a lf a c er e c o g n i t i o ns y s t e m sw e r ea p p l i e di ns o m es i t u a t i o n ， c o m m e r c i a la p p l i c a t i o n sa r ei m p e d e db ys e v e r a lk e yp r o b l e m si nf a c ea u t o m a t i o n i 。e c o g n i t i o ns y s t e l n s ，w h i c ha r er e a lt i m ef a c ed e t e c t i o n ，f e a t u r ep o i n tl o c a l i z a t i o na n d f a c ei m a g ep r e p r o c e s s i n g ，r e c o g n i t i o ni ns m a l lt r a i n i n g i m a g es e t t h e s ek e y p r o b l e m sh a v eg r e a tr e s e a r c hv a l u e f o c u s e do nt h e s ep r o b l e m s ，w ed i ds o m ec r e a t i v er e s e a r c hw o r ki nt h i st h e s i s ( i ) w ep r o p o s e daf a s tt r a i n i n ga l g o r i t h mt oa c c e l e r a t et h et r a i n i n gs p e e do f a d a b o o s tf a c ed e t e c t o r , w h i c hw a st h ef a s t e s tm e t h o di nf a c ed e t e c t i o n t w om e t h o d s a t 。ea d o p t e dt oa c c e l e r a t et h et r a i n i n g ：( 1 ) am e t h o dt od i r e c t l ys o l v et h ep a r a m e t e r so f s i n g l e w e a k e rc l a s s i f i e ri s p r o p o s e d ，m a k i n gt h et r a i n i n gs p e e di sh i g h e rt h a n p r o b a b i l i t ym e t h o da b o u t2 0t i m e sa n dh i g h e rt h a na r t i f i c i a ln e u r a ln e t w o r kt h o u s a n d s o l 、t i m e s ( 2 ) ad o u b l et h l 。e s h o l dd e c i s i o nf o rs i n g l ew e a k e rc l a s s i f i e ri si n t r o d u c e d a n dt h en u m b e ro fw e a k e rc l a s s i f i e r si nt h ea d a b o o s ts y s t e mi sr e d u c e d w h i c h s i m p l i t i c st h es i f l i c t u i 。eo f t i l ed e t e c t i o ns y s t e m b a s e do nt h es i m p l i f i e dd e t e c t o r , b o t h t h et r a i n i n gt i m ea n dt h ed e t e c t i n gt i m ec a nb er e d u c e d ( 2 ) w ep r o p o s e dac a s c a d ed e t e c t o rt ol o c a l i z et h ek e yp o i n t si nf a c e ，s u c ha se y e ， w j o u i ha n dn o s e w ea l s op r o p o s e dan e wf a c ei m a g en o r m a l i z a t i o nm e t h o d i nt h i s n l c t h o d ，d i g i t a li m a g ei sn o r m a l i z e db yt h ef i r s ta n ds e c o n do r d e re n e r g yf i r s t l y , w h i c h c a l lo v e r c o m et h ee f f e c t sd u et ob r i g h t n e s sa d j u s t m e n ta n dg a m m a 删u s t m e n t a h o m o n l o r p b i cf i l t e r i n gm e t h o di st oo v e r c o m et h ee f f e c t so f s i d el i g h t i n gs e c o n d l y ( 3 ) h is m a l lt r a i n i n gi m a g es e tr e c o g n i t i o n ，w e p r o p o s e d an e wl i n e a r g e n e r a l i z a t i o nm e t h o dt oe n h a n c et h er e c o g n i t i o nr a t e e x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e dm e t h o dh a sl o w e rr e c o g n i t i o ne r r o rr a t et h a no t h e rm e t h o d sa n dl o w e r c o m p u t a t i o nc o m p l e x i t y ( 4 ) an e wf a c ec o m p r e s s i o nm e t h o db a s e do ns h a p ea n dt e x t u r ec o d i n gi s o p o s e d i n t h i sm e t h o d ，f a c es h a p ea n dt e x t u r ea r ec o m p r e s s e ds e p a r a t e l yb a s e do n p i 。i n c i p l ec o m p o n e n ta n a l y s i s ( p c a ) av e r yh i g hc o m p r e s s i o nr a t i oo ff a c ei m a g ec a n b eg o ti nt h i sm e t h o d ，a n dt h ev i s i o nq u a l i t yo ft h i sm e t h o di sm u c hh i g h e r , c o m p a r i n g w i t hd c t ，w a v e l e ta n dn o r m a lp c am e t h o d st h ep s n ro ft h i sm e t h o di sh i g h e r , t 0 0 f i n a l l y ，b a s e do nt h er e s e a r c hr e s u l t s ，w ef i n i s h e dt w oe x p e r i m e n t a ls y s t e m s 、a f a s tf a c ed e t e c t i o n s y s t e ma n d at w oc h a n n e l s ( f a c ea n dv o i c e ) c o m b i n a t i o n 1 e c o g n i t i o ns y s t c r l l k e ) 7 w o r d s ：f a c er e c o g n i t i o n ，f a c ed e t e c t i o n ，f a c ec o m p r e s s i o n ，p a t t e r nr e c o g n i t i o n 第一章绪论 第一章绪论 1 1 引言：潜力无限的生物特征认证技术 生物特征认证技术，作为2 0 世纪末期开始蓬勃发展的高新技术，将在社会 生活中占掘越来越重要的位置，从根本上改变人类的生活方式。虹膜、指纹、 d n a 、人脸、语音这些人体本身的特点，将逐步取代现有的密码、钥匙、成为 鸦定身份的方式。这些技术将最大限度的保证个人资料的安全，最大限度的防止 符种类型的刑事、经济犯罪活动。 存众多的生物特征识别技术中，利用人脸特征进行身份验证是最自然和最直 接的手段。相比其它人体生物特征，人脸识别具有直接、友好、方便的特点，易 j _ 为口，。所接受。以人脸为特征的身份鉴定技术获得了广泛的关注。 本章首先简要介绍生物特征认证相关技术的基本概念和目前发展状况。在此 基础上介绍人脸自动识别技术与发展现状。同时结合实际应用背景，介绍论文提 的算法的一些特点。 1 1 1 什么是生物特征认证技术 所们小物特秆1 ：识别( b i o m e t r i c s ) 技术是利用人体所固有的生理特征或行 为特? | | ( 迎过计算机进行个人身份鉴定口】。这里将先天性的生理特征和后天养成的 乃特 | j 统称为“i 物特征。常j ：l j 的生物特征包括：人脸、虹膜、指纹、掌纹、声 i ；、笔迹，步念等。传统的身份鉴定方法是鉴别一些标示个人身份的事物，包括 曲类：1 ) 身份标识物品，比如钥匙、证件、信用卡、身份证护照等；2 ) 知识性 的身份标以，比如用户名和密码。在一些安全性要求严格的系统中，可以将这两 扦纷合起束比如a t m 机要求用户同时提供a t m 卡和密码。这些传统的身份 鉴定方法存在明显的缺点：个人搠有的物品容易丢失或者被伪造，个人密码容易 遗忘或记错。更为严重的是这些系统无法区分真正的拥有者和取得身份标识物的 。l j 觅并。一旦他人获得了这些身份标识事物，就可以拥有相同的权力。 与传统的身份鉴定手段相比，基于生物特征的身份鉴定技术具有以下优点： 1 ) 0 ：易遗忘或丢失； 2 ) 防伪 ， ：好，不易伪造或被盗： 3 )“随身j j i ，泔”，随时i 逾地i 刈用。 1 i 2 生物认证的应用方向 l 幽外，经过3 0 多年地发展，生物特征认证技术的软硬件相对比较成熟， 个物识别技术的产品在社会中刀：始了比较大规模的应用。特别在美国9 1 1 事件以 第一耄绪论 后，很多国家都要求必须采用生物识别技术作为法律实施的保证。其主要的应用 领域包括：1 ) 机场、旅客控制a i r p o r t t r a v e l ；2 ) 政府部门g o v e r n m e n t ；3 ) 个 人使用( 门禁、考勤) p e r s o n n e l ；4 ) 法律执行l a we n f o r c e m e n t ；5 ) 消费者管理 系统c o n s u m e r r e t a i l ；6 ) 金融管理服务系统f i n a n c i a ls e r v i c e s ：7 ) 计算机登陆 管理c o m p u t e r ；8 ) 医疗保健系统h i p a a 。 勾的应用处于发展初期，主要集中在比较分散、自发性的企业级应用上。 乍物特征具体的应用方向按照行业分类具体可以分为以下几大方面： 1 ) 在公安刑侦系统中的应用 2 ) 生物特征识别技术在证件中的应用 3 1 生物特征识别技术在安全防范领域的应用 4 ) 在其他身份认证过程中的应用 1 1 3 生物认证的缺陷和难点 应用技术难题 与传统的密码、钥匙、证卡相比，生物特征识别技术本质上不是一个1 0 0 u 别技术，它是通过概率匹配实现的识别技术。而般的数据库查找方法是确定 l q 萍搜索n 勺技术。要以概率匹配为特点的生物识别技术在传统数据库技术上实 现，所蛭求的计算量比传统的数据库匹配技术要高2 3 个数量级。 亿、洲j 成本卜，不同方法有着不同的应用成本和认证精度。一般来说，应用 成本精嫂幽呲e 关系，如图1 1 1 。精度高的认证技术比如d n a 方法使用环境 小友灯，成本i 哥。目前还没出现应用成本低且识别精度高的技术。 幽1 - 1 1 ：生物认证的应用成本与识别精度的关系 先天缺陷 牛物特征识别技术的唯一性既是这个技术的优点，也是这个技术的缺陷。对 j 1 0 统1 i j 律i l i 5 技术，一旦密码被伪造，可通过设定一个新的密码，整个系统可以 舟新锌j 码体系卜良好运行。而生物特征一旦被伪造，系统就将在所有层面上失去 效力，例时这个失效是无法弥补的。所以，唯一性既是生物特征识别技术先天优 忆也是它先天的缺陷。 解决方法 第一堂绪论 为了避免其缺点，利用其优点，通过外围方法提高识别系统的防伪性能是一 条卅行的途径。 比纠i 指纹识别，可以通过同时测量指纹的温度、湿度、弹性等进行伪造特征 _ 1 4 裕刖。虹腆可以通过眼皮识别、虹膜动态识别技术等鉴别假造的虹膜。人脸识 孙l j 以通过：维面部特征和表情动态识别，提高面向识别的防伪性。 j 外条途径是通过探索新的技术方向实现防伪。如目前出现的的颅骨识 批婴对颅骨进行造假，几乎是不可能的。 1 2 人脸自动识别系统 在众多的生物特征中，具有实际应用价值的特征通常需要具备以下几个特 t i ：普遍肚、唯一性、稳定性、取样的方便性、用户的接受性、样本的防伪性、 计掉的复杂性。这些也是评判生物特征选取好坏的重要标准。考虑到以上因素， 利川八腧特征进行身份验证是最自然、最真接的手段，相比其它人体生物特征它 ! i f j 立、友好、方便的特点，易于为用户所接受。 几脸n ! j 怜测和识别足人类视觉最杰均能力之，它的研究涉及模式识别、 h 悔处州、牛剁! 学、心理学、认知利学，与基于其它生物特征的身份鉴别方法以 坡钾机人机感知i 交互领域都有密切i | ! | 系，因此早在上个世纪六七十年代即引起 j 究州俐m 烈兴趣。 乱丛纪九十年代，特别是美国9 1 1 事件以后，由于各方 刈入腧榆测口 别系统的迫切需求，入脸检测识别的研究重新交得非常热门。目 0 i 炎符l h 铂i 多研究组在从事人脸识别的研究，受到政府、军方及大公司的高 j 业咂视和资助，美国军方每年还专门组织人脸识别比赛以促进这一领域的发展， 比如每两年一次的f r v t 比赛( f a c er e c o g n i t i o nv e n d o r ，h t t p ：w w w f r v t o r g ) 。 m 虮也订棚当的学校、科研机构、公司从事相关的研究。近几年来在这个领 l t i r ：j 究取得了很大进步，国际上发表有关论文的数量大幅增长，i e e e 的p a m i 托占衫 欠扳了八脸以别专辑，每年的国际会议上关于人脸识别的专题也屡屡可 址。肌f 矧叫一1 - 还分别行灭于人脸检测和人脸识别的主页。 i 2 1 人脸自动识别系统的组成 小沦艾将人脸自动识别系统分为三个部分组成，如图1 2 1 ： 人脸的检测 弓定位 入腧圈像 预处理 ( 校正) 特征扪玻 与识别 l 蚓1 2 。i ：人舱自动识别系统组成 筇章绪论 1 ) 八腧晌榆测与定位 该1 孙分的1 5 1 的是从数字图像或者视频序列中确定是否存在人脸。如果有人 愉，确定人脸的位置。 2 ) 人脸图像的预处理( 校正) 该部分是对人脸检测获得的图片进行归整化。主要包括对于光照影响的归一 刷划j i 姿态影响的图像的归一。 3 1 特征抽取与识别。 该部分也就是狭义的人脸识别部分。根据获得的人脸图像确定该人脸是否是 川听_ i 称门己的身份( 人脸鉴别) ，或确定人脸是否是数据库中某一人( 人脸 叭：| j | j ) ，如果是，确定身份。 _ ：分艾z ? 删将图中2 ，3 环协合为一体。我们认为该种定义是有缺陷的。从人 恻割像成像的物删模掣求祈，人脸图像= 人脸图像物理模型+ 光照+ 拍摄姿 态。如小州妾刑检测山的图像进行特征抽取，实际是混淆了内在和外在的因素， 小能张 剑盘j r 的效果。凶此，本论文将人脸图像预处理部分分离出来，单独讨论。 i 2 2 人脸自动识别系统的评价 枞槲系统所完成功能不同，人脸识别系统也有不同的评定标准。对于人脸验 i l l ! ( f a c ev e l i f i c a t i o n ，1 1 ) 系统，它的i | 的是验证“声称者”是否正确，它的评 价j i 篮仃两个指标：1 ) 错误接受率，f a r ( f a l s ea c c e p tr a t e ) ，也就是将一个“非 l ：j 称一”川户，系统接受为其声称用户：2 ) 错误拒绝率f r r ( f a l s er e j e c tr a t e ) ， 也就址m 绝爪认合法用j 3 其声称的身份。这二者之间是存在矛盾的，所以在实际 州题i j j 蛆进行柴钟折衷。蜘i ，谯安全性要求较高的计算机登录系统中，必 ”挺术饼洲安受率婴尽州能低，而错误拒绝率则可以高一些，这样只是增加合法 川川h 登求时问，并不会降低计算机系统的安全性。这两个标准同样适用于人脸 协测j 定化。存八脸检测中，根据场合不同，可以选择使用检测出更多可能性的 、腑或私。选择使刚检测出更确定性的人脸。 刑j 人脸以别( f a c er e c o g n i t i o n ) 系统，它的目的是识别出被测者是谁，它 的主要指标为：1 ) 误识率，也就是将用户识别为数据库中错误的人脸对象；2 ) 川u 率，也就是将合法的用户错误认为非数据库中用户。 1 3 人脸自动检测技术介绍 j j j q f ( , ) i l j ! 1 ( f a c ed e t e c t i o n ) 是指在输x i 墨1 像中确定所有人脸( 如果存在) 的位 _ 、人小、化鳓门过程。人脸检洲作为人脸信息处理中的一项关键技术，近年 4 、成为俄一l 叭! f j | j 。_ 汁算机视觉领域内项受到普遍重视、研究十分活跃的课题。 l l l ：j t l , j 八脸赴一类具有相当复杂的细：仃变化的自然结构目标，因此，如果能够 钔一章绪论 拽剑斛决这些问题的方法，成功构造出人脸检测与跟踪系统，将为解决其它类似 | _ 】 j 复杂模式检测问题提供重要的启示。 通过氏期研究，目前主要出现了以下几大类人脸自动检测方法。 基于知识建模的人脸检测方法 根据先验知识抽取人脸特征，然后进行建模，是人脸检测的传统方法。通过 例究，抽取了大量的先验知识，比如( 1 ) 器官分布规则 5 】，也就是不同器官灰度分 仉以及彼此之问绷合关系；( 2 ) 轮廓规则：人脸的轮廓可以近似为椭圆，轮廓线 乃l l h 线h 线细合，司以通过椭圆或者直线和弧检测来完成人脸检测【6 l 。f 3 ) 颜色、 致j ! l tj 圳则：h i 【心族人的面部肤色在颜色空间中的分布相对集中，颜色信息在一定 挫嫂j j 以将人脸同背景区分开来口 。利用颜色与纹理形状组合也可以进行检测 人腑 s l 。( 4 ) 运动规则：j j l 常相对背景人总是在运动的，利用运动信息可以简单有 设的将入从复杂背景中分刮出来。( 5 ) 别称性：人脸具有一定的轴对称性，各器 自也具柏一+ 定 l q 划称性，利用这些对称性也可以进行检测【9 。 知识建模的方法应用起来相对简单，检测速度较快。不过由于知识提取主要 i i i 人：【进行，知识的有效性还有待研究。同时知识的合理组合也是一个难点。目 i 甫；1 眇e 利用知识建摸的人脸检测系统普遍存在误检测率高的问题。 基于统计的人脸检测方法 删1j 统汁力浊的方法也很多，分为( 1 ) 事例学y j ：将人脸检测视为区分非人脸 小j 人腧什小埘类帧，分类问题，通过对人脸样本集和非人脸样本集进行学 jj 以j 、“i 分炎器，比如使刚人i ：神经唰络进行样本学习。( 2 ) 子空间方法】： 他川k l 变换等方法，构造山人脸利非人脸空间，然后进行投影变换判决。( 3 ) 隐，- 尔j 人帧， i ! ! ( i - l i d d e n m a r k o v m o d e l s ，h m m ) 是一种用于描述信号统计特性的 概率模，i ql 讨也被用于人脸检测【l “。( 4 ) 支持向量机方法：作为一种统计学习 州i = 仑【”1 s v m ( s u p p o r tv e c t o rm a c h i n e ) 方法也被用于人脸检测，取得了较好的 实验结果。 统计人脸识别在实际应用中取得了好的检测率，误检率也较低。不过由于需 疆犬蚓学习，然后建立复杂的检测器。其检测速度非常慢。如检测效果较好的 l 0 、，l e y 神经网络方法【1 0 1 ( 目前作为其他检测器比较基准) 检测3 8 4 2 8 8 一帧图 像1 l j 。要】3 分钟。同时获得好的f l j 于训练的样本也是一个难点。 a d a b o o s t 方法 i ，；il 1 v i o l a 删m i c h a e lj o n e s 于2 0 0 1 年提出了基于a d a b o o s t 的人脸检测算法 ”，改疗法足统计学习的一种改进，它通过组合大量简单分类器来达到人脸检 i 帆i 蚶q 每个简单分类器使用了计算速度非常快的特征，因此从根本上解 执m 榆删| 0 迷度问题。 a d a b o o s t 力法检测效果好，速度也快，不过由于其训练过程很复杂，非常耗 此扎一定程度上限制了其应用。 1 4 人脸图像预处理方法介绍 在列人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一 化。j l , f i , j 纠化是指根据人脸面部关键点定位结果将人脸变换到同一位置和同样 人小，灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克 服光照变化的影响两提高识别率1 3 。 1 4 1 人脸图像的几何归一化 人脸图像的儿f n 3 归一化的基础是己知人脸图像关键点( 瞳孔、嘴角、鼻孔) 帕- 一仙；二戈存已缶部轮廓( 脸轮廓线、眼轮廓线、嘴轮廓线等) 位置信息。根据 l _ if i 。l 。“if 1 i ，0 、，将八jj j ；：变换到统一的大小。 刑人脸阶邵器官定位有两种方法，1 ) 基于局部器官的定位：比如定位瞳孔， 疋f 洲s 巴# c - 序l i 线等。岗部器官的定位类似于人脸检测，可以通过先验知识来建模 逊仃，比l ：投影赢方圈，基于变形模板匹配，基于列称变换等。2 ) 1 k 川l m “书体器宵n 定位：1 ；畦掘各个器官的特征雨i 彼此之问的约束，定位面部多 个器1 1 f 位2 _ 4 ：，如弹性图匹配的方法，a s m a a m 器官定位方法 2 0 , 2 1 】等。 州种方法中前者是一个b o t t o m ，u p 方法，后者是一个t o p d o w n 方法。可以 n 刮，j 斤者方法f l i t 于考虑了丽部器官的约束，在某些器官定位困难( 比如带限睛 翔删啮定位、 | i j j 殒影u 向i 嘴巴定位) 时，具有更好的适应能力。但是由于人的面 蚓”甘i 叭，! ，波定个统的面部知识约束模版比较困难，因此长期以来，对于 驯拶州门定能研究局限1 i 局部器官定位。近年来，随着基于知识的轮廓线理论 嘁热_ i 卅蜘扳的j 、目，丝于整体定位的方法【e 开始得到应用。 1 4 。2 人脸图像的灰度归一化 九进仃人脸特征 f | | | 收前，需要列图像进行灰度一l z 的校正，也就是灰度归化 l 川：。i - f 前方法主要有以下几类 直方图调整技术 该类技术利用单一图像的属性进行处理。比如使用直方图均衡技术、直方图 州 化技术、亮度涮整等。由于没有考虑到人脸图像的自身属性，相当于对所有 i l j 几腧劁像按个引示进行校准，因此压制了类间差异，不利于分类。 线性去光照技术 l 颤炎力浊似漩光照是线性替加在人脸幽像上的，通过设定一个灰度分布的目 , i 1 0 2 ( ：l l t 旭l 咒照下的人脸图像0 4 型灰度分布) ，使得去除光照的人脸图像灰度 分嘶i 塔j 啪遄近这个目标模版而达到去除光照影响的目的。 陔种方法在一定程度上解决了光照问题。不过由于实际光照模型是个乘法性 模，斯这里采用加法模型，因此效果也不是最好。 光照模型法 这类山法首先通过刘于大量不同光照下的图像建立一个光照模型。应用时， 将扶内”利光照模型之问设立一个目标函数，用最小化的目标函数进行求 斜扶得实际的光照参数，然后去除光照的影响。这类方法考虑了光照具体情况， 仃议妤的0 j 率，但是它需要在不同情况下的大量样本的训练来获得光照模型， 僻法复杂1 h 较高。 1 5 人脸识别方法介绍 虽然人类的人脸识别能力很强，能够记住并辨别上千个不同人脸，可是计算 机则| ；生| 难多了其表现在：人脸表情丰富；人脸随年龄而变化；人脸所成图像受 光照、成像，n 度及成像距离等影响：而且从二维图像重建三维人脸是病态过程， | | | j 尚没仃 ! 好n q 描述人脸的三维模型。由于人脸变化复杂，因此特征表述和特 川址墩 。分州i ：。到卜1 | 1 u 为止，人腧的自动识别方法主要有以下几大类。 几何特征方法 i 炎力划、利川人儿鑫! 刚蛳# 、鼻子、嘴巴、l 、巴等器官的形状和结构关系的几 川州1 述，f 1 + 为特征进行u 渤j 【2 2 】。他【r o d e r l 2 3 1 对以上方法的分析表明该类特征对人 胎k 分j 业小人，结果不容乐观。 弹性模版方方法 卅陀坝扳法可以视为几何特征方法的一种改进，其基本思想是：设计一个 穆极可渊的器官模型，定义一个能量函数，通过调整模型参数使能量函数最小化， 此州| | t ；j 模，l 参数作为人脸特征进行识别。该类方法思想很好，但是存在两个问题， 址能i 连函数中各i = j j j 代价的加权系数只能由经验确定，难以推广；二是能量函数 优化过程十分耗时，难以实际应用。： 神经网络识别法 小川形代的神经网络在人脸i _ i 别中得到了大量的应用2 5 2 “，相比其他方法， 钟邛h ；h 九腧u 驯i j 比起其他儿类方法来有一定的优势，因为剥人脸识别的许 ；岫k 1 ：m | j ! | j 进行疆性的荆| f i 述是相当困难的，而卒f l 经网络方法则可以通过学习的 州找 计这止b 规徘和规则的隐性表达。不过也是由于其隐性表达特性，使这种 山法 & 难进步提高性能。 基于统计特征的方法 这类方法通常从大。最人脸图像中提取统计特征进行识别，起源于t u r k 和 笫章绪论 阳1 1 扩“捉“j 特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于 1 儿凡铂脸的形状，也称为特征脸。识别时将测试图像投影到主元子空间上，得 剑纠投影系数，和各个已知人的人脸图像的投影系数比较进行识别。在传统特 圳j 1 ：- ，研究者注意到特征值大的特征向量并不一定是分类性能好的方 撕此发肫厂多种特征( 子空间) 的方法，比如f i s h e r 脸 捌、i c a 变换 2 9 】等。 ，i 叫i 统汁特征的识别方法是一类简单、快速、实用的基于变换系数特征的算 法， if 巾于它们依赖于训练集和测试集图像的灰度相似性，因此在进行特征抽取 之j 荷需要作大量预处理工作，如归一化等，而归一化好坏往往决定识别效果。 1 6 和人脸自动识别相关的技术发展现状 人脸自动识别技术的研究，也带动了相关其他技术的发展。比如人脸恢复技 术：从残缺的人脸图像恢复出完整的人脸图像；人脸重建技术：从非正脸的人脸 h 像f l j 到人i l , ml lj r , , 图像；人脸超分辩率技术：从低分辨率的人脸图像得到清晰的 人恻刮像：八腧振缩技术：利用人脸自身的一些特点压缩数字人脸图像，得到比 f j i ! j 数， 冬l 像殳，：蔷n 压鸳比。 i 7 目前在人脸识别领域的困难 通过小诳3 5 。1 ，n 勺分析，我们可以看到在人脸识别系统中还存在一些关键 悱川越汝仃斛决，这些0 日题限制了人腧识别系统的大规模商用。 这姒将人脸自动识别三个部分中的一些关键性问题总结如下。 人脸检测中，对实吲性s f l l 检测精度要求都非常高。然而，目前大量的方法不 能满足这脂要求。基于知识的方法由于知识提取困难，虽然应用速度比较快，但 址舱测梢皮小够。基于统训学习的方法，一般都非常复杂，不能满足实时性的要 求j l lra d a b o o s t 的人脸检测方法，较好的解决了精度与速度问题。但其系统 址祭，训约：前婴大h i ：f l j i ：i i 间，限制了该方法的应用。 人腧校川：。h 光照对于图像的影响很大。传统的方法中基于直方图调整的技 术制j 7 类问差异，不利于分类。基于光线建模的方法太复杂，实际应用上也不 能满足艾州r e f i j 要求。实际系统中需要一种简单有效的方法。 人脸以帅i ，j t f g 特征、弹性模版、神经网络等方法由于自身缺陷，不能提 呲址够好效粜。统训特征方法，应用前景好，不过变换系数方法还需要研究。同 州，为了达到好的效果，该类方法必需要有足够多的训练样本，例如对人脸各种 7 f l i 况、各种姿态的拍摄图片。而在实际应用中，如罪犯人的脸的识别，我们往往 1 、能获取到比较多 i j 样本。因此目前d , i ) l l 练样本集的人脸识别问题是一个难点。 t l l 外，r 生物特征应用的要求，剥于人脸压缩技术的要求也越来越高。因 o 筇章绪论 l i j 以既人脸压绗f 技术【乜是影响人脸自动识别系统应用的问题。 1 8 论文的创新点 针列人脸自动识别中的关键性问题，本文在以下几个方面进行了创新性的探 4 采： 1 ) 舀j 人脸检测方面，针对目前最有效的a d a b o o s t 的人脸检测方法在训练时 十分耗时的问题，提出一种新的快速训练方法，采用排序进行训练，其结果比以 内方法提高速度1 7 倍。在此基础上，利用双阈值代替单阈值构造简单分类器， 减少了简单分类器的数目，最终在同样效果下提高训练速度2 5 倍，使a d a b o o s t 山i j ：j - l 有史大的实用性。 2 ) 在人腧图像的灰度归一化的问题上，提出了一种新的归一化方法。该方 浊f 止川川态滤波出除畸变光照，使用定义的能量归一实现对图像后处理引入干扰 i ：j 厶除。以颅处删方法压制了人脸幽像 内类内差异，提高了人脸识别的识别率。 3 ) 捉f 了一种新的子空间中判决方法：最小二乘残差距离判决方法，通过 挝l ： 分类削决的性能，来提高小样本训练样本下人脸识别效果。该方法利用子空 川线性泛化样本来巫建测试样本，通过重建样本与测试样本之间残差距离进行判 巩刚论分析b 实验表明，论文的方法比其他类似方法有更好的识别效果。 论文将以上三方t f i i g - j 于实际识别系统中，显著提高了系统实用性，证明了论 文捉出的山+ 法的合耻性。 jx ；，l , - 沦文在人脸特征点定位中提出了层次式特征点定位方法，提高了面部特 f | | i j7 i 定何精度。并m 在人脸压缩技术上提出了基于形状与纹理分量的压缩方法， i 冀山法利川j 人腧l l 身的属性，抛高了压缩效率，取得了很好的效果。 1 9 论文的安排 讯章，介缁基_ - j ：a d a b o o s t 的人脸检测方法。并详细介绍本文提出的快速 a d a b o o s ti ) l i 练方法，测试了该方法的效果。 第三章，介绍基于能量归一和同态滤波的图像归一化方法，以及用于人脸识 圳所取得的效果。 第四章，介纠本文提出的在线性空间中，利用最4 , - - 乘残差距离进行人脸识 堋内方法，并测试了其效果。 讹fl0 i ，介 “我在研究生阶段完成的两个系统：人脸实时检测与定位系统与 人脸谢爵破通道检测系统。 讹、h ，：，介蜊沦文提出的i 努j - 形：扶与纹理分最的人脸正脸压缩方法。 讹一划4 i l l ：5 c 2z l - j i 作的总结和剥未来： 作的展望。 第二带a d a b o o s t 人脸检测方法及a d a b o o s t 快速训练方法 第二章a d a b o o st 人睑检测方法及h d a b o o st 快速训练方法 人脸自动识别系统有着广泛的应用。而人脸检测是人脸自动识别系统的第一 彤。近年来山现了大量的人脸检测方法 4 】。但是各种方法都有所不足：基于肤 也； = j i 模版的方法 = l o 速度较快，但是精度不好，同时鲁棒性不好。r o w l e y 提出的 神经州络的方法【i0 1 性能很好，但检测速度很慢，在p i i l 7 0 0 计算机上完成3 8 4 2 8 8 像素n 勺陶像检测需要1 到3 分钟。p a u lv i o l a 和m i c h a e lj o n e s 于2 0 0 1 年提出了 基于a d a b o o s t 的人脸检测算法 1 ”，通过组合大量简单分类器来达到人脸检测。 i ”r 其中的每个简单分类器使用了计算速度非常快的特征，因此该从根本上解决 的检测的速度问题。该检测方法基本思路是采用大量简单的分类器组合他们的系 统1 ， p l i i - 7 0 0 的计算机上而检测3 8 4 * 2 8 8 像素的图像只需要约o 0 6 6 秒。也就是 “i 4 , 需盟任仲怏1 问信息时可以达到每秒1 5 帧的速度。 a a d b o o s t 系统检洲速度很高，但是i = | 二| 于a d a b o o s t 算法本身训练非常耗时， 1 j 2 个系统n 删练时间非常惊人。根据文献 1 5 ，其系统在高级工作站上完成最后 i | 【鳓、f t 了数用时m j 。由1 ja d a b o o s t 训练速度上的问题，大大地限制了该算法的 j 、训 j 1 1 h 句，时也导敛检测系统不能灵活地扩展。 a d a b o o s t 训练耗时多的原因主要在于两方而：( 1 ) 组成a d a b o o s t 系统的每个 阳l 、类器监采刚火量样本训练；( 2 ) a d a b o o s t 系统使用了大量的简单分类器。 沦文提出了一种新的a d a b o o s t 的伙速训练方法，有效地解决了训练时间太长的 i ju 题。针埘以上两方面问题的第一点，论文在每个简单分类器训练中，采用直接 j k 肼a d a b o o s t 训练中的目标函数，避免了在训练方法统计概率分布和迭代运算 n c | | j 题。列 ：第一二点问题，沦文利用简单分类器快速训练求解上的优势，提 州h 域l 浏值的简单分类 来构造a d a b o o s t 强分类器的结构。采用双阈值简 l - 娄器构造晌系统，可以使用更少的简单分类器个数而达到同样的分类效果。 小一、l 第伊l 要介绍a d a b o o s t 方法人脸检测方法，以及目前应用现状。第二 l j 洋纠介绍沦文提出的快速训练方法，以及实验结果。 2 1a d a b o o s t 人脸检测方法 a d a b o o s t 算法川是一利1 分类器算法，是由y o a vf r e u n d 和r o b e r te s c h a p i r e m1 9 9 5 年捉山的。其基本思想是利用大量的分类能力一般的简单分类器( w e a k e r c l a s s i f i e r ) 通过一定方法叠加( b o o s t ) 起来，构成了一个分类能力很强的强分类 擀。册论“刨j ，只要每个简单分类器分类能力比随机猜测要好，当简单分类器个 数趋向于无穷时，强分类器的错误率将趋于零。 a d a b o o s lj | 闩二人脸检测时，从人脸 h l l l 嘏大量的维简单特征。这些简单特 辩二章a d a b o o s t 人脸检测方法及a d a b o o s t 快速训练方法 卅都仃定构人脸和非人脸区分性。最终系统使用数千个一维简单分类器，组合 起术达到很好的分类效果。 2 1 1 人脸特征的选取 特征选取 人脸检测器是一个典型的二值分类器。输入一幅数字图像，输出是人脸或者 肛人j j 佥。任倒分类器都需要基于一定的特征的。比如r o w l e y 的神经网络检测器 是牡 ：2 0 2 0 大小图像每个象素灰度特征。基于肤色的人脸检测器是基于数字 图像色彩特征。 a d a b o o s t 方法本身并没有限制采用什么特征进行b o o s t 操作。不过考虑到 a d a b o o s t 特性：人量简单分类器叠加，这里采用了一些非常简单的数值特征。具 体米配，包括以f 心类特征： 【) m 一形( t w o r e c t a n g l e ) 特征：如图