（计算机应用技术专业论文）多方向局部二值模式人脸识别的算法及其实现技术研究.pdf

摘要摘要人脸识别由于其可应用范围的广泛引起了越来越多的关注，然而由于人脸结构、模式的特殊性，以及光照等外界因素的影响的多样性与复杂性，决定了人脸识别是一个极具挑战性的课题。本文通过查阅大量文献，深入学习研究了经典的p c a 算法以及l b p 算法等几种顶级人脸特征提取算法。传统的p c a 算法可用于提取人脸的全局特征并考虑了样本之间的模式关系，但缺少对人脸局部信息的刻画；l b p 从像素、图像子区域、图像整体的联合直方图三个不同的级别上描述人脸，其特征具有抗光照影响、旋转不变性和计算简便、效率高等特点。l b p 方法本质上提取的是图像边缘、角点等局部变化特征，然而图像的边缘、角点等特征具有方向性，边缘、角点的方向性包含了许多人脸的细节信息，而l b p 算子在特征提取时对方向性的考虑不足，导致了这些细节信息的丢失。针对l b p 算子在进行特征提取时对纹理的方向信息提取不足，提出了一种多方向l b p 算法，增强了对边缘、角点等的方向信息的描述能力。在o r l 人脸库上的实验也表明了本文算法的有效性。基于本文提出的算法，结合p c a 与岭回归分类器，本文采用v c + + 6 0 以及o p e n c v 实现了一个实时视频人脸识别系统。该系统具有对输入的视频进行实时人脸检测，并对检测到的人脸进行实时特征提取与识别的功能，该系统为我们以后进一步开发更具实用性的人脸识别系统提供了参考和技术储备。关键词：p c a 、多方向l b p 、岭回归、人脸识别系统a b s t r a c ta b s t r a c tm o r ea n dm o r ea t t e n t i o n sh a v eb e e np a i dt of a c er e c o g n i t i o nb e c a u s eo fi t sw i d ea p p l i c a t i o ns c o p e h o w e v e r , f a c er e c o g n i t i o ni sac h a l l e n g i n gt a s ks i n c et h es p e c i a l i t yo fh u m a nf a c ep a n e ma n dd i v e r s i t ya n dc o m p l e x i t yo fi m p a c tf r o me x t e r n a lf a c t o r s ，s u c ha si l l u m i n a t i o n t h i sp a p e rd e d i c a t e dt ot h es t u d yo fc l a s s i c a lp c aa l g o r i t h ma n ds o m eo t h e re x c e l l e n tf e a t u r ee x t r a c t i o na l g o r i t h m ，s u c ha sl b ep c aa l g o r i t h mc a nb eu s e dt oe x t r a c tg l o b a lf e a t u r ew h i c hc o n t a i n si n f o r m a t i o no fp a r e mr e l a t i o n s h i pb e t w e e ns a l t l p l e s ，b u ti ti sw e a ki ne x t r a c tl o c a lf e a t u r eo fh u m a nf a c e s l b pd e p i c t sf a c ef e a t u r e si nt h r e el e v e r s 一p i x e ll e v e r ，s u b r e g i o nl e v e r ，i m a g el e v e r l b pf e a t u r e si sr o b u s tt oi l l u m i n a t i o na n dr o t a t i o n ，a d d i t i o n a l l y , i ti se a s yt oc a l c u l a t e l b pi su s e df o re x t r a c tl o c a lf e a t u r eo fi m a g e ，s u c ha se d g e ，t e x t u r ew h i c h 埘md i r e c t i o n a li n f o r m a t i o n h o w e v e r , l b pa l g o r i t h mc a nn o te x t r a c te n o u g hd i r e c t i o n a li n f o r m a t i o n r e g a r d i n gt ot h i s ，t h i sp a p e rp r o p o s e dam u l t i - d i r e c t i o n a ll b pa l g o r i t h m ，w h i c hi sm o r ea d v a n c e di ne x t r a c t i n gd i r e c t i o n a li n f o r m a t i o n e x p e r i m e n tw e r ec o n d u c t e do no r lf a c ed a t a b a s ea n dt h er e s u l td e m o n s t r a t et h ee f f e c t i v eo fo u ra l g o r i t h m b a s eo nt h i sa l g o r i t h mc o o p e r a t e 晰t 1 1p c aa n dr i d g er e g r e s s i o n ，w ec o n s t r u c t e da nr e a l - t i m ef a c er e c o g n i t i o ns y s t e mu s i n gv c + + 6 0a n do p e n c v t h i ss y s t e mc a l ld e t e c ta n dr e c o g n i z eh u m a nf a c e sf r o mt h ei n p u tv i d e of r a m er e a l - t i m e l y t h i ss y s t e mp r o v i d ea nr e f e r e n c ef o ru st od e v e l o p i n gam o r ep r a c t i c a lf a c er e c o g n i t i o ns y s t e mi nt h ef u t u r er e s e a r c h k e yw o r d s ：p e a ，m u l t i - d i r e c t i o n a ll b p , r i d g er e g r e s s i o n ，f a c er e c o g n i t i o ns y s t e m厦门大学学位论文原创性声明本人呈交的学位论文是本人在导师指导下取得的研究成果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均在文中以适当方式明确标明，并符合法律规范和厦门大学研究生学术活动规范( 试行) 。另外，该学位论文为(杏( 召施哥孕孑) 课题( 组)研究成果，获得( 李劲施衫j 受) 课题( 组) 经费或实验室的资助，在( 锈勿嗅诛) 实验室完成。( 请在以上括号内填写课题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特别声明。)声明人( 签名) 蚩翥克尹2997 年衫月日厦门大学学位论文著作权使用声明本人同意厦门大学根据中华人民共和国学位条例暂行实施办法等规定保留和使用此学位论文，并向主管部门或其指定机构送交论文( 包括纸质版和电子版) ，允许论文进入厦门大学图书馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其他方式合理复制。本学位论文属于：() 1 、经厦门大学保密委审查核定的保密论文，于年月日解密，解密后适用上述授权。( l 么、不保密，适用上述授菽。( 请在以上相应括号内打“ 或填上相应内容。保密学位论文应是已经校保密委审定过的，方可打“ ，未经审批均为公开论文。此声明栏不填写的，默认为公开论文，均适用上述授权。)夸眵加夕年焉咝，：毒京呼一j 年毛其g。j第一章绪论第一章绪论当今社会，随着科学技术的突飞猛进，计算机及网络的高速发展，信息的安全性、隐蔽性越来越重要，如何有效、方便地进行身份验证和识别，已经成为人们日益关心的问题。传统的身份验证和识别方法如智能卡、密码、口令等存在携带不便、容易遗失、或者由于使用过多或不当而损坏、不可读和密码易被破解等诸多问题。因此，目前广泛使用的依靠证件、个人识别号码、口令等传统方法来确认个人身份的技术面临着严峻的挑战。生物识别技术是一种基于人体生理或者行为特征的身份识别方法，这些生理或者行为特征通常都具有唯一性、稳定性等特点，易于用来鉴别人的身份。由于这些特征都是人体所固有的、随身携带的，不易丢失、忘记、被窃取，因此，基于这些特征的生物识别技术具有传统方法所不可比拟的优点，正在得到越来越多的关注和研究。人脸是人类视觉中最为普遍的模式，它所反映的视觉信息在人与人的交流和交往中起着辨别身份和传递感情等方面的重要的作用人类具有与生俱来人脸识别能力，赋予计算机同样的能力是人类的梦想之一。人脸识别是一项具有很高的理论和应用价值的研究课题，并且日益受到人们的广泛关注，成为模式识别领域研究的热点。1 1 人脸识别的研究内容人脸识别技术是指提取人脸的特征，并根据这些特征进行身份验证的一种生物识别技术。通常人脸识别问题可以描述如下：给定静态或者动态的场景图像，利用数据库中所存储的人脸图像识别出场景中的一个或多个人的身份。人脸识别的研究从广义上来讲大致包含一下几个方面：( 1 ) 人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位置、大小、并从背景中分割出来。人脸检测是个极富挑战性的问题，因为人脸是非刚性物体，在不同表情下，脸部器官运动迥异；受到胡须、眼镜、头发等结构特征的影响；且在图像中的大小和方向以及人的肤色和纹理等方面受光照、拍摄距离、头部倾斜度以及各种遮挡等条件的影响很大。1多方向局部二值模式人脸识别的算法及其实现技术研究( 2 ) 人脸特征提取：即确定表示检测出的人脸和数据库中的已知人脸的描述方式。也就是利用特征向量来表示人脸图像，给人脸图像降维。一般的表示方法包括几何特征( 入欧式距离、曲率、角度) 、代数特征( 如矩阵特征关量) 、统计特征( 如特征脸、f i s h e r 脸) 、小波特征、固定特征模板、云纹图等等。通常情况下，由于获取的人脸图像的位置、尺度、姿态和光照上各异，一般都要在特征提取之前对获得的人脸图像进行预处理，如几何校正、灰度归一化及光照补偿等，使得图像中人脸的位置、尺度、姿态和光照等标准化，然后再进行特征提取。而提取的特征的有效性会对计算机人脸识别系统的性能产生重大影响，有效的特征表示将有助于提高分类的正确率、同时也可以降低数据库得存储量。( 3 ) 人脸识别：即将待识别的人脸与数据库中已知人脸比较，得出相关信息。这一过程的核心主要是分类器的设计，将待识别的人脸图像或特征向量与数据库中预先存储的人脸图像或特征向量进行匹配，得出判别信息。从基本上来说，这一部分通常分为两个方面：身份认证和身份识别。身份认证是确定用户的身份，即确定输入图像是否为数据库中给定的图像，回答“是或者不是的问题，从分类的角度看，这是一个二分类问题；而身份识别是确定输入图像为数据库中的哪一个人，回答“是谁? 的问题，最终给出的是一个身份标识符，是一个多类的分类问题。通常情况下，身份识别要比身份认证困难的多。人脸识别这一部分的核心是分类器的设计，也就是模式匹配。( 4 ) 表情分析：即对待识别人脸的表情信息( 即喜怒哀乐等) 进行分析，并对其加以归类。( 5 ) 生理分类：即对待识别的人脸的物理特征进行分析，主要包括年龄的大致范围、性别、种族等相关信息。到目前为止，大部分的研究工作主要集中在人脸的检测与定位、特征提取以及分类识别这几个部分，而且很多问题尚待解决，表情分析和生理分类的研究现在还处于起步阶段警相对比较少( 不过，近年来表情分析越来越多的受到研究人员的重视) 。因此，通常所说的人脸识别系统。包含人脸检测与定位、特征提取、分类识别这几个部分，不包括表情分析和生理分类这两部分。2第一章绪论1 2 人脸识别的研究现状及难点1 2 1 人脸识别的发展历程及主要研究方法人脸识别的研究最早可以追溯到十九世纪末f r a n c i sg a l t o n 1 】所做的工作，他用一组数字来描述不同侧脸的特征。然而随着计算机技术的发展，人脸识别的研究直到上个世纪九十年代才取得了实质性的进展1 2 1 。人脸识别的发展大致经过了三个阶段：非自动识别阶段、半自动识别( 人机交互) 阶段、自动识别阶段。第一阶段：非自动识别阶段，以b e r t i l l o n 、a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。在b e r t i l l o n 的系统中，用一个简单的语句与数据库中某一张脸相联系，同时与指纹分析相结合，提供了一个较强的识别系统。为了提高脸部识别率，a l l e n 3 1 为待识别人脸设计了一种有效和逼真的摹写，p a r k e 4 1则用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，显然这不是一种可以自动完成识别的系统。+第二阶段：半自动识别阶段。早期的半自动人脸识别系统需要人工在人脸图像上进行特征定位，这类特征有眼睛、耳朵、鼻子和嘴巴等。这一阶段的代表性工作有：g o f d s t i o n ，h a r m o n 和l e s k 5 6 1 m 几何特征参数来表示人脸正面图像。他们采用2 1 维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i t j 则采用了统计识别方法，用欧氏距离来表征人脸特征，如嘴唇与鼻之间的距离，嘴唇的高度等。t k a n a d ( m n a g a o ) 创造性地运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配进行人脸识别，k a n a d e t 8 l 设计的系统实现了快速、实时的处理。总的来说，这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。第三阶段：自动人脸识别阶段。最著名的早期人脸识别系统由k o h o n e n t 9 】设计，k o h o n e n 展示了简单神经网络能够应用到对事先对齐且归一化的人脸的识别上。这种神经网络计算出了人脸的图像的自相关矩阵的特征向量的近似值，这些特征向量就是现在我们所熟知的特征脸( e i g e n f a c e s ) 。然而，k o h o n e n 的识别系统并没有达到实用标准，因为该系统只能对事先做过对齐以及归一化等处理的3多方向局部二值模式人脸识别的算法及其实现技术研究人脸有效。1 9 9 0 年，k i r b y 和s i r o v i c h l l 0 】将主元分析( p c a ) 这一标准线性代数技术应用到人脸识别中，使得特征脸可以通过简单的直接计算得到。1 9 9 1 年，t u r k 和p e n t l a n d 川发现当使用e i g e n f a c e s 时，可以把残差用于人脸的检测，这为实时自动人脸识别系统的实现提供了可能，也标志着现代人脸识别方法研究的开始。此后，随着生产、生活对人脸识别技术的需求以及计算机技术、图像处理技术和模式识别技术的发展，出现了很多自动人脸识别方法，这些方法都在一定程度上提高了人脸识别的速度和识别率，也带动了人脸识别研究的兴起。目前人脸识别领域形成了一下几类主要的研究方法：1 基于几何特征的人脸识别方法人脸的几何特征是指人脸的五官特征( 比如嘴巴、鼻子、眼睛等) 、脸型特征和五官在脸上分布的位置特征。基于几何特征的方法是最早、最传统的方法，这类方法将人脸用几何特征矢量表示，用模式识别中层次聚类的思想设计分类器以达到识别目的。如b r u n e l l i 和p i g g i o 1 2 】用积分投影法提取出的3 5 维人脸特征矢量用于模式分类的方法。这类方法在近年里没有得到更进一步的发展。应当指出，几何特征之间的距离和结构关系在人脸识别的分类问题中仍然有潜在价值。例如，在一个大数据库中进行人脸检索时，可以利用面部几何特征进行粗分类以缩小匹配范围。2 基于模板匹配的方法基于模板匹配的方法是另一类常用的方法，基于面部几何特征的人脸识别方法仅利用了人脸图像的边缘特征，而没有利用到人脸的纹理和灰度特征。基于模板匹配的识别方法就充分利用了这两项特征。这种方法大多是用归一化互相关，直接计算两幅图像之间的匹配程度。o s a m u 等人提出叮等灰度图匹配的方法【1 3 1 。所谓等灰度图就是对原始图像进行二值化后得到的图像。此方法的优点是运算量小于通常的基于灰度图的匹配方法，但也存在不足，比如它要求光照变换不大，摄像机到人脸的距离应保持不变，有外形或附属物发生变换时，要从新注册。y u i l l e ，c o h n4第一章绪论和h a l l i n e n 1 4 1 利用可变形模板抽取面部特征。这些模板可以进行平移、旋转和变形以便能够最佳地表示它们在图像中的形状。3 基于子空间的方法k i r b y 和t u r k 等首次把主成份分析的子空间思想引入到人脸识别中，获得了较大的成功。随后子空间分析方法就引起了人们的广泛注意，从而成为当前人脸识别的主流方法之一。子空间方法的基本出发点是根据一定的性能目标来寻找一个线性或非线性的空间变换，把原始信号数据压缩到一个低维的子空间中，使数据在该子空间的分布更加紧凑，为数据的描述提供了更好的手段。同时，其计算复杂度也大为降低。目前较为成功的子空间方法主要有：主元分析( p c a ) i l l ，奇异值分解( s v d ) 1 5 】，线性判别分析( l d a ) 1 6 】，独立元分析( i c a ) 1 7 1和非负矩阵因子( n m f ) 【1 8 】等。4 基于隐马尔可夫模型的方法隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，简称h m m ) 是一种用参数表示的，用于描述随机过程统计特性的概率模型。s a m a r i a 最早将一维的h m m用于人脸识别【煳。隐马尔可夫模型对人脸进行描述和识别的合理性在于同一个人的各种变化可以看作是同一组状态产生的一系列实现，而不同的人可以用不同的h m m来表现。5 基于神经网络的方法人工神经网络由于其固有的并行运算机制以及对模式的分布式全局存储，故可用于模式识别，而且不受模式形变影响用于人脸识别的神经网络方法可训练有较强噪声和部分缺损的图像，这种非线性方法有时比线性方法更有效。r a n g a n a t h 2 0 1 等提出了用于人脸识别的径向基函数网络( r b n f ) ；l e e l 2 1 】等提出了用于人脸识别的模糊b p 网络。6 弹性图匹配法( e l a s t i cg r a p hm a t c h i n g ，e g m )弹性图匹配法的基本思想是用一个属性图来描述人脸：属性图的顶点代5多方向局部二值模式人脸识别的算法及其实现技术研究表面部关键特征点，其属性为相应特征点处的多分辨率、多方向局部特征一一g a b o r 变换特征，称为j e t ；边的属性则为不同特征点之间的几何关系。对任意输入人脸图像，弹性图匹配通过一种优化搜索策略来定位预先定义的若干面部关键特征点，同时提取它们的j e t 特征，得到输入图像的属性图。最后通过计算其与已知人脸属性图的相似度来完成识别过程。该方法的优点是既保留了面部的全局结构特征，也对人脸的关键局部特征进行了建模。【2 2 】7 基于支持向量机的方法支持向量机通过最小化结构风险来求取最佳分类平面( 超平面) ，具有良好的泛化能力和分类能力。由于支持向量机是一个两类分类器，因此把它应用到人脸识别中一般可以使用类内类间差法【2 2 1 。1 2 2 人脸识别研究与应用现状国外关于人脸识别的研究已经开展多年，在技术上已经达到了一定的成熟度，已有二些人脸识别算法应用于商业产品中【2 ”。比较有代表性的产品有m i r i o公司开发的用于入口控制的t r u e f a c eg a t e w a t ，f a c e k e y 公司开发的入口控制系统f a c e k e y ，德国的z nb o c h u mg m b h 公司开发的入口控制系统z n f a c 、人脸搜索系统z n p h a n t o m a s 、视频监控系统z n s m a r t e y ，美国v i s i o n i c s 公司开发的可用于入口控制，视频监控，视频会议等诸多领域的软件f a c e i t ，v i i s a g e 公司的v i s s a g ef a c et o o l s 。其他的比较优秀的人脸识别产品还有f a c e f i n d e r , f a c e w a r e ，p a s s f a c e ，e y e m a t i c ，b i o i d 等。这些商业系统基本上代表了知名研究机构多年的研究成果，比如f a c e i t 系统的主要技术是局部特征分析( l o c a lf e a t u r ea n a l y s i s ，l f a ) ；v i i s a g e 系统应用的是特征脸技术，后来结合了独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 技术和弹性图匹配( e l a s t i 6g r a p hm a t c h i n g ，e g m ) 技术；t u r e f a c e 的核心是多层神经网络( m u l t i p l en e u r a ln e t w o r k ，m l c n ) 技术。1 9 9 3 年到1 9 9 7 年3 月，美国国防高级研究项目组( d a r p a ) 和美国军方研究实验室( a r e ) 开展了f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 计划，建立了用于测试人脸识别算法的标准人脸数据库f e r e t 人脸库，并进行了多次测试来比较已有的各种r 6第一章绪论人脸识别算法【2 4 】。除此之外，每年都有大量的学术论文发表和研究成果发布，国际顶级计算机视觉学术会议如i c c v 、c v p r 和e c c v ，还有期刊如i j c v 、p a m i 、p r 等对人脸识别都给予了充分的重视。近两年在顶级的学术会议上都会有一个专门关于人脸识别方面的w o r k s h o p ，比如i c c v 上的a m f g ( a n a l y s i sa n dm o d e l i n go ff a c ea n dg e s t u r e ) 和c v p r 上的f p i v ( f a c ep r o c e s s i n gi nv i d e o ) 。国外许多著名的大学和研究机构都有专门从事人脸识别的研究小组，包括麻省理工学院( m i t ) 、卡内基一梅隆大学( c m u ) 、耶鲁大学( y a l e ) 、m i s c r o s o f t 、i b m 等。国内在人脸识别领域的研究起步较晚，但发展很快。上个世纪九十年代中后期以来，国内很多高等院校和研究机构，如中国科学院计算所和自动化研究所、清华大学、国防科技大学、哈尔滨工业大学、浙江大学、北京工业大学、南京理工大学、上海交通大学、吉林大学等，相继投入了人脸识别相关工作的研究，且都已取得一定的成果。目前国内主要的商业人脸识别系统有2 2 l ：1 、中科院计算所高文研究组开发的g o d e y e 的人脸识别系统；2 、清华大学电子系丁晓青教授研究小组开发的t h f a c e l d 系统；3 、清华大学电子系苏光大教授研究小组开发的大型人脸综合识别系统；4 、中科院自动化所李子青研究员研究小组开发的人脸识别系统；5 、中国科学技术大学电子科学与技术系庄镇泉教授研究小组开发的人脸考勤系统。另外，方正和联想也都推出了具备人脸识别技术的笔记本电脑。1 2 3 人脸识别的难点人脸是具有复杂结构的三维可变形体，人脸图像的模式受到多种因素的影响【2 5 】：( 1 ) 姿态。在从三维人脸到二维人脸图像的成像过程中，当头部姿态发生变化时，人脸图像的模式也会产生较大的变化；( 2 ) 光照。当采用不同方向、强度和颜色的光照条件时，人脸图像的模式也7多方向局部二值模式人脸识别的算法及其实现技术研究会发生较大的变化，同一个人在不同的光照条件下采集得到的图像的差别甚至大于不同的被测对象的图像之间的差别；( 3 ) 时间间隔。随着时间的推移，人脸的相貌特征会发生一些变化，从而引起人脸图像模式的变化；( 4 ) 表情。人脸作为可变形生物体，当人脸的表情发生变化时，人脸图像的模式也会随之发生变化；( 5 ) 外表附属物。脸部佩戴的眼镜、口罩和饰物等都会影响到人脸图像的模式。另外，图像的采集环境、图像的采集设备、图像的载体、图像的分辨率等都是人脸图像模式的影响因素。人脸图像模式的变化往往是多种因素综合作用的结果，这些变化通常具有相当大的不确定性，这都增加了人脸识别的难度。1 3 本文的主要工作及组织结构1 3 1 本文的主要工作及创新点1 查阅大量文献，针对人脸特征提取这一问题深入研究p c a 、g a b o r 、l b p 等特征提取算法，介绍了p c a 、g a b o r 、l b p 三种算法的背景、基本思想、原理以及基本过程；2 针对l b p 算子在进行特征提取时对纹理的方向信息提取不足，提出了一种多方向l b p 算法。l b p 方法本质上提取的是图像边缘、角点等局部变化特征，然而图像的边缘、角点等特征具有方向性，边缘、角点的方向性包含了许多人脸的细节信息，而l b p 算子在特征提取时对方向性的考虑不足，导致了这些细节信息的丢失。本文所提出的多方向l b p 算法将有助于增强l b p 算子对边缘、角点等的方向信息的描述能力。3 结合本文提出的多方向l b p 算法与p c a 、岭回归作为人脸的特征提取与识别算法，本文采用v c + + 6 0 和o p e n c v 在微机上开发了一个实时视频人脸识别系统。并对系统的实现步骤进行了详细介绍。本文的主要创新点：8第一章绪论1 针对l b p 算子在进行特征提取时对纹理的方向信息提取不足，提出了一种多方向l b p 特征提取算法。2 提出并实现基于多方向l b p 、p c a 与岭回归的人脸识别算法。3 提出了一种在岭回归中用于标记人脸的正则单形顶点的构造方法。1 3 2 本文的组织结构第一章介绍了课题的背景，研究内容，研究现状和存在的难点，并介绍了本文所做的主要工作。第二章介绍了用于人脸检测的a d a b o o s t 算法以及a d a b o o s t 人脸检测算法所使用的人脸特征描述方式。第三章针对人脸特征提取这一人脸识别研究中最为关键的问题对p c a 这一经典方法以及g a b o r 小波、l b p 这两种顶级特征提取算法的思想、原理以及算法过程分别进行了详细的介绍。针对l b p 算子在进行特征提取时对纹理的方向信息提取不足，提出了一种多方向l b p 算法，并通过实验验证了其有效性。第四章详细论述了本文系统中所使用的人脸分类器，对其思想和算法的基本过程以及在人脸识别上的应用做了详细的介绍。提出了一种用于标记人脸的正则单形的构造方法。第五章采用v c + + 6 0 以及o p e n c v 实现了一个简单的实时视频人脸识别系统，对该系统的各个功能模块进行了详细的介绍。该识别系统基于结合多方向l b p 、p c a 以及岭回归( r i d g er e g r e s s i o n ) 来实现对人脸的特征提取与识别。9第二章基于a d a b o o s t 算法的人脸检测第二章基于a d a b o o s t 算法的人脸检测2 1a d a b o o s t 算法简介b o o s t i n g 是机器学习领域中的一个概念，源于p a c ( p r o b a b l ya p p r o x i m a t e l yc o r r e c t ，概率近似正确) 学习模型的理论分析。它是由v a l i a n t 于1 9 8 4 年首先提出来【2 6 1 。v a l i a n t 和k e a m s 提出了强可学( s t r o n gl e 锄i n g 用弱可学习( w e a kl e a r n i n g )的概念。在p a c 学习模型中，若存在一个多项式学习算法来识别一组概念，并且识别正确率很高，那么这组概念是强可学习的；而如果学习算法识别一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的；k e a r n s 和v a l i a n t 提出了弱学习算法与强学习算法的等价性问题，即是否可以将弱学习算法提升成强学习算法。如果两者等价，那么在学习概念时，我们只需要找到一个比随机猜想略好的方法就可以将它提升为强学习算法。1 9 9 0 年，s c h a p i r e 发表了第一个b o o s t i n g 方法叨，这种算法可以将弱分类规则转化成强分类规则。然而b o o s t i n g 方法还存在两个缺点：该方法需要知道弱学习机学习正确率的下限，而这在实际问题中是很难做到的；其次，这一方法可能导致后来的学习机过分集中于少数特别困难的样本，导致表现不稳定。a d a b o o s t 算法是f r e u n d 等人【2 8 】提出的一种改进版的b o o s t 算法。它自动的从弱分类器空间中挑出若干个弱分类器整合成一个强分类器。2 0 0 1 年v i o l a 提出基于a d a b o o s t 算法的人脸检测方法【2 9 1 。该方法采用h a a r - l i k e 特征描述图像，并采用“积分图像 来快速计算h a a r - l i k e 特征。然后基于a d a b o o s t 学习算法，从一个较大的弱分类器集中选择少量的具有较大区分度的分类器，组合产生一个强分类器。再用级联的方式( c a s c a d e ) 将单个的强分类器串连起来，构成一个层叠分类器，通过层叠分类器使图像中非人脸的背景区域快速地丢弃，减轻了分类器的负担，从而缩短了检测时间，大大提高的检测的效率。多方向局部二值模式人脸识别的算法及其实现技术研究2 2a d a b o o s t 人脸检测的人脸特征描述2 2 1h a a r - l i k e 特征a d a b o o s t 人脸检测算法基于一些简单的特征( h a a r - l i k e 特征) 来对人脸进行分类。h a a r - l i k e 特征最早由p a p a g e o r g i o u 3 0 1 提出。常用的h a a r - l i k e 特征有三种，第一种为双矩形特征，它通过计算两个相邻的大小、形状相同的矩形的内部像素灰度值之和的差来求得特征值，其中这两个矩形可以是水平相邻的，也可以是垂直相邻的；第二种为三矩形特征，三矩形特征将图像区域划分为水平相邻的三个部分，每个部分都是形状大小相同的矩形，其特征值为两侧的两个矩形像素灰度值之和与中间矩形的像素灰度值之和的差；第四种为四矩形特征，该特征将图像区域划分为2 2 的四个大小形状相同的矩形区域，然后计算对角区域的像素灰度值之和，再计算两个对角和之间的差，以差值作为特征值。acbd图2 1h a a r - l i k e 特征示意图。其中a 、b 为双矩形特征，c 为三矩形特征，d 为四矩形特征1 2第二章基于a d a b o o s t 算法的人脸检测2 2 2 积分图v i o l a 在提出基于a d a b o o s t 的人脸检测方法的同时引入了“积分图 ( i n t e r g r a li m a g e ) 的概念【2 9 1 。积分图是一种图像表示法，它的引入使得h a a r - l i k e 特征的计算非常方便。积分图的具体概念如下：图中位置( 墨y ) 的值为以( o ，0 ) 和( x ，y ) 为对角线的矩形内所有像素的灰度值之和，即：其中，i i ( x ，y ) 为积分图，i ( x ，y ) 为原始图像。o图2 - 2 积分图示意图，点a 的积分值为以o a 为对角线的矩形( 灰色区域) 所有像素灰度值之和一积分图可以通过递归计算得到：i i ( x ，y ) = i i ( x - 1 ，y ) + s ( x ，j ，)1 3( 2 - 2 )一。厶y，x翥=yx一玎多方向局部二值模式人脸识别的算法及其实现技术研究s ( x ，y ) - - s ( x ，y - 1 ) + i ( x ，y )( 2 - 3 )其中，s ( x ，y ) 是图像第x 列前y 个像素的灰度值累加和。定义初始值s ( x ，一1 ) = 0 ，i i ( - 1 ，y = 0 ) 。显然，h a a r - l i k e 特征可以通过积分图计算如下：如图2 - 3 所示，以双矩形特征为例，其特征值为f = ( f 水) 制( 口) 刊( 6 ) 刊( d ) ) 一( f f ( 厂) 州( 6 ) “( c ) 刊( p ) )c ，f = f f ( 口) 一2 f f ( 6 ) 一f f ( c ) 一f f ( d ) + 2 f f ( p ) + f f ( 厂)( 2 4 )abpode图2 - 3h a a r - l i k e 特征的计算三矩形和四矩形特征的计算与双矩形特征类似。2 3a d a b o o s t 人脸检测2 3 1 弱分类器fa d a b o o s t 算法中甬弱分类器为一个简单的阈值分类函数，其定义为：巧( x ) = 三日f 其j ( 他x ) 情 况p j 嘭( 2 5 )其中，x 为输入的图像，f j ( x ) 为x 的一个h a a r - l i k e 特征，够为阈值，第二章基于a d a b o o s t 算法的人脸检测乃 1 , - 1 ) ，定义了不等号的方向。这些弱分类器具有分类速度快的特点，但是通常这些弱分类器都不能产生很好的分类效果，其分类效果一般只略优于随机选取( 分类正确率略大于5 0 ) ，a d a b o o s t 算法通过训练，从数量很大( 例如，2 ，0 0 0 个) 的弱分类器中选取合适的弱分类器，并将其组合生成一个强分类器。2 3 1a d a b o o s t 算法过程与强分类器a d a b o o s t 的基本思想是通过组合一组弱分类器来组成一个强大的分类器，其强分类器的构造过程可描述如下：1 给定训练图像集( 五，乃) ，( 而，儿) ，( 磊，儿) ，其中咒 o ，1 ) ( 汪1 ，2 ，”) 标记了训练图像的属性( 为人脸图像1 或非人脸图像0 ) ，其中记人脸图像的个数为，非人脸图像的个数为m ，l + m = 以；2 为每个训练样本定义权值w ，其中f 表示训练过程中第t 次迭代，f 表示第f 个样本。对每个训练样本初始化权值，=3 t 次循环迭代训练，f o rf = 1 ，2 ，t ：( 1 ) 归一化权值，w ，= 毒殳，y w , 。j 害l( 2 ) 对于每个弱分类器嘭估算其分类错误率。= 窆嵋，f | 乃( ) 一只i ，( 3 ) 选取分类错误率最低的q 最低的分类器；( 4 ) 更新权值：w + l ，= w ，纠一，地= ? 瓣鬣黧蓉屈= 南1 510=乃弘。一万。一锄，、l多方向局部二值模式人脸识别的算法及其实现技术研究4 得到强分类器如下：m 一仨其中，q2l 。g 去，啊( x ) 分别为迭代的t 个阶段的最佳弱分类器，f = 1 ，2 ，t 。2 3 1 层叠分类器由a d a b o o s t 算法训练得到的强分类器在实时性以及分类的正确性方面仍然不能很好地满足实际人脸检测的需要，因此v i o l a 引入层叠分类器( c a s c a d ec l a s s i f i e r ) 。通常情况下，具有较高正确检测率的分类器其漏检率也较高，而漏检率较低的分类器其正确检测率较低。层叠分类器的主要思想是较为简单但是较为快速的分类器可以在很大程度上保留人脸窗口的情况下过滤掉绝大多数非人脸窗口，在即保证低漏检率的情况下把大多数非人脸区域过滤掉，之后再由较为复杂、分类效果较好但是分类速度较慢的分类器对通过过滤的窗口进行进一步分类，从而达到较高的分类正确率和较低的漏检率。图2 4 层叠分类器示意图。1 、2 、3 分别为从简单到复杂的各级分类器这种由多个由简单到复杂的分类器串起来的多级分类器是一棵蜕化的决策1 6第二章基十a d a b o o s l 算法的人脸检测树，称为“c a s c a d e ，如图2 4 所示。越靠前的分类器具有越低的检测正确率，但同时漏检率也越低，检测时间短，能保证快速过滤掉大量非人脸窗口，而越靠后的分类器漏检率较高，检测时间较长，但具有较高的检测正确率，用于保证人脸的正确检测。层叠分类器中的每一级分类器都是通过a d a b o o s t 算法训练而来的强分类器，每一层的正确检测率以及漏检率可通过对分类器的阈值的调整来改变。2 4 本章小结人脸检测是本文的视频人脸识别系统的重要步骤之一，本章对人脸检测所采用的a d a b o o s t 进行了详细的论述，介绍了a d a b o o s t 人脸检测中所采用的h a a r - l i k e 特征和积分图，研究了算法中的强分类器和层叠分类器的构建过程。1 7第三章人脸特征提取3 1 主元分析方法第三章人脸特征提取3 1 1 主元分析的背景及基本原理主元分析法( p c a ) 是一种多变量统计方法，可用于对含有噪声的和高度相关的测量数据进行分析，采用的是把高维信息投影到低维子空间，并保留主要过程信息的方法，是一种对高维数据集进行数据压缩以及提取特征的极好工具。主元分析法最早是在1 9 0 1 年由英国的p e a r s o n 3 1 】对非随机变量引入的，而后美国的数理统计学家h o t e l l i n g 3 2 1 在1 9 3 3 年将此方法推广到随机向量的情形。之后，j o u i f f e i t 【3 3 】和j e d w a r dj a c k s o n 【3 4 1 对主元分析法进行了较为系统的分析和阐述。19 9 0 年，k i r b y 和s i r o v i c h 1 0 】将主元分析应用到人脸识别中，用于提取人脸特征。1 9 9 1 年，t u r k 和p e n t l a n d 1 1 1 进一步提出了特征脸( e i g e n f a c e ) 的概念，标志着现代人脸识别方法研究的开始。主元分析的目的是通过分析原来较多可观测数据分量所反映的总体信息，提取出较少的一部分数据分量。它们线性无关，并且能最大限度地反映出原来较多数据分量所包含的信息，进而用这较少的几项综合性数据分量来刻画总体。主元分析具有三个主要功能：一是数据降维；二是数据分析；三是特征提取。p c a 方法的提出是基于对这样一个基本问题的求解：d 维随机变i t x = ( ，x 2 ，嘞) 。的不同观测值( 样本) 在哪个方向上投影后，方差最大?对上述问题可形式化描述如下：x = ( x 1x 2 ，嘞) 1 为d 维空间上的随机变量，求投影方向a = ( q ，0 2 ，) 7 ，d使得投影值z = x = a ，薯的方差v a r ( z ) 最大，即：求a r g m a x v a r ( z ) 。其中a7 a = 1 。1 9多方向局部二值模式人脸识别的算法及其实现技术研究jiy l| r r夕夕图3 1 投影后方差最大的方向( 斜箭头方向)上述问题可推导如下：该问题为条件约束下的最优化问题，可用l a g r a n g e 乘子法求解。令旯为l a g r a n g e 乘子，则问题转化为最大化v a r ( z ) 一旯( 口7 a - i )( 3 1 )玎c z ，= e ( z 2 ) 一 e ( z ， 2 = e ( 薯q _ ) 2 一 e ( 喜q 誓) 2dd= q q e ( 薯_ ) 一q 乃e ( 薯) e ( _ )j ，= lf ，j = l= 毫q q 阶x j ) 一e ( ) e ( _ ) 其中，s 为协方蔫矩阵，s = c o v ( x i ，o ) = e ( _ o ) 一e ( 葺) e ( _ ) 。将( 3 2 ) 代入( 3 1 1 ) ，则原问题转化为最大化a 蚕s a - 2 ( a7 a - 1 )对( 3 3 ) 求微分，得必要条件：s a 一2 , a = 0 亡，s a = 允口( 3 - 2 )( 3 - 3 )( 3 4 )鼬i i邑巳qd 洲=第三章人脸特征提取即，口为s 的特征向量，五为a 对应的特征值。因此为使v a r ( z ) 取得最大值，必须使用s 的最大特征值对应的特征向量。3 1 2 主元分析的基本过程对于七个d 维数据z = ( 掣，z ，髟) 2i = 1 ，2 ，k ，1 计算协方差矩阵s = i 窆( 置一j ) ( 置一j ) r ； 一1f ；i2 计算矩阵s 的特征值以与特征向量v ，忙l ，2 ，d ；3 由最大的前以刀 1 ，m 和月为整数，z = 口f x c o s o + ys i n 0 1 ，y = d ”( - x s i n o + y c o s 0 ) ，d 叫为尺度因子，口= h 州足，k 为方向数。通过改变m 和”的值就可以得到一组尺度和方向各不相同的滤波器。对给定的一副图像f