（信号与信息处理专业论文）准正面人脸图像识别的初步研究.pdf

准正面人脸图像识别的初步研究摘要计算机人脸识别是利用图像分析方法，从人脸图像提取出有效的识别特征，自动完成“辨别”个人身份的一种技术。人脸识别具有一泛的应用前景，诸如公安系统的罪犯身份识别，驾驶执照及护照与实际持证人的核对、银行及海关的监控系统及自动门卫系统等。但是，由于从二维图像重建三维模型是个病态( il1p o s e d ) 过程，而且由于人脸表情变化、年龄增长、成像光照条件、成像角度及成像距离等影晌而使得该项工作非常困难。目前尚没有很好的人脸描述方法。人脸识别涉及图像处理、计算机视觉、模式识别以及神经网络等技术，因此是一项极富挑战性的研究课题。在本项工作中本人主要进行了以下几个方面的研究：1 ，基于几何特征的人脸识别方法将人脸用几何特征矢量表示，利用模式识别中层次聚类的思想设计完成识别分类器。针对公安系统罪犯照片的特点，提出了一种基于局部二值化图像的积分投影曲线和先验知识的器官定位方法，构造了具有尺寸、旋转和位移不变性的人脸特征向量。实验证明该方法具有较高的识别率和较强的干扰能力。2 基于动态模板匹配的人脸识别方法动态模板是参数化的简单图元模型，可根据先验知识定义能量函数及相应的图像约束条件，以便指导其收敛过程。本文在已有的动态模板能量函数的基础上进行改进，提出了较为简洁的能量函数形式，利用遗传算法实现能量函数的全局最小化。实验结果表明该方法有效、稳定，并具有较快的收敛速度。3 基于代数特征的人脸识别方法这类识别方法也是将入脸用特征矢量表示，但采用的是代数特征矢量：即人脸图像在由“特征脸”张成的降维子空间上的投影。本文提出一种基于小波变换和f o u r i e r 变换的频谱脸特征方法，并提取图像的低频信息进行识别。实验证明频谱脸的方法能够有效的消除因为人脸图像的表情变化和少许遮掩而带来的识别误差。4 基于分形的人脸识别方法基于分形变换的特点，本文提出了一种基于分形变换的人脸识别方法。该方法以待识别的人脸图像为分形值域，通过对人脸数据库中的人脸图像进行分形编码，达到识别的目的。该方法具有尺寸、旋转和平移不变性，在识别过程中获得了很好的效果。关键词：人脸识别；几何特征：动态模板；频谱脸：分形堡蒌塑丛丝望堡堡型塑丝兰! ! 墼t h ep ri m a r yr e s e a r c ho ff a c er e c o g n i t i o na b s t r a c tf a c er e c o g n i t i o ni nc o m p u t e ra n a l y s e st h eh u m a nf a c ei m a g e sb yc o m p u t e r ，a n de x t r a c t st h ev a lidjn f o r m a tio no ff a c ei m a g e st or e c o g n i t i o n ，f a c er e c o g n i t i o nc a nb ea p p l i e dw i d e l y ，f o re x a m p l ec r i m i n a li d e n t i f i c a t i o i li np a l i c e 。i d e n t i t yv e t l f jc a t i o ni nd r i v i n g1 l c e n s ea n dp a s s p o r t ，t h ed e t e c t i o ns y s t e mo fb a n ka n dc u s t o m sa n dt h ea u t o d o o r m a ns y s t e m h o w e v e r ，t h ep r o c e s so fr e t o r t s t r u c t i o nf r o m2 一dt o3 一di si 1 1 p o s e d a n db e c a u s eo ft h ep l e n t yo fe x p r e s s i 0 1 2i nh u m a nf a c e s ，t h ed i f f e r e n c eb e t w e e nd i f f e r e n ta g e so fo n eh u m a nf a c e ，t h ed i f f e r e n ti 1 1 u m i n a t i o r e n v i r o n m e n t ，f a c er e c o g n i t i o ni nc o m p u t e ri sv e r yd i f f i c u l tf a c er e c o g n i t i o ni sa l s oi n v o l v e dins o m ek n o w l e d g es u c ha si m a g ep r o c e s s i n g ，c o m p u t e rv i s i o n ，p a t t e r nr e c o g n i t i o n ，n e u r a ln e t w o r k sa n dt h ec o g n jt i v ep r o c e s so fh u m a nb e i r i g s s of a c er e c o g n it i o ni sac h a l l e n g i n gs t u d y t h i st h e s i sm a i n l ys t r e s s e so i lf a c er e c o g n i t i o na n di t sa p p l i c a t i o i i sf r o ms e v e r a la s p e c t s ：1 f a c er e c o g n i t i o nb a s e do qt h eg e o m e t r i cf e a t u r ef a c er e c o g n i t i o nb a s e do nt h eg e o m e t r i cf e a t u r ee x p r e s s e st h eh u m a nf a c e sb yv e c t o r so fg e o m e t r i cf e a t u r e ，a n di d e n t i f i e st h ef a c e sb yt h ei d e ao fc l u s t e r i n gi np a t t e r nr e c o g n i t i o n i nt h i sp a r t ，a i m i n ga tt h ef e a t u r eo ft h ec r i m i n 0 1p h o t o s 打lp a li c e t h e yp r o p o s eal o c a t i o nm e t h o do fd i f f e r e n ta p p a r a t u sb a s e do nl o c a lb i n a r i z a t i o na n dt h ec u r v e so fp o i n t p r o j e c t i o n t h e nt h ef e a t u r ev e c t o r s ，w h i c hh a v et h ep r o p e r t i e so fs c a l e ，t r a n s l a ti o na n dr o t a t i o ni n v a r i a n c e a r ef o r m e d f r o mt h es i m i l a r i t yc o m p a r e dw i t ht h ef e a t u r ev e c t o r si nt h es a m p l ed a t a b a s e ，t h et a s ko ff a c er e c o g n i t i o ni sf u 】f i l l e d 1 ti sp r o v e dh i g h l yt h a tt h i sm e t h o dh a sa d v a n t a g e so fr e c o g n i t i o na c c u r a c ya n dr o b u s tc a p a b i l i t yo fa n t i i n t e r f e r e n c e 2 ，f a c er e c o g n i t i o db a s e do nt h ed e f o r m a b l et e m p l a t e st h ed e f o r m a b l et e m p l a t e sa r ep a r a m e t e r i z e ds i m p l ei m a g em o d e l s i tc a nb ec o n v e r g e db yt h ee n e r g yf u n c tio n st h o s ea r ed e f in e db yo u rk n o w nk n o w l e d g ea a dt h er e l e v a n ti n h i b i t e dc o n d i t i o no ft h ei m a g e s t h e ys i m p l i f yt h ef o r m so fe n e r g yf u n c t i o n sb a s e do nt h ek n o w ne n e r g yf u n c t i o no ft h ed e f o r m a b l et e m p l a t e s 。t h e ya l s ou s eg e n e t i ca l g o r i t h m st ol o c a li i准正面人脸图像识别的初步研究t h e1 0 w e s ti nt h ew h 0 1 e t tr e t a i n sa 11a d v a n t a g e so ft h et r a d jt i o n a ld e f o r m a b 】et e m p l a t ea p p r o a c ha n dr e c t i f i e ss o m eo fi t sw e a k n e s s e se x p e r i m e n t a lr e s u l t sw i t hs o m er e a li m a g e ss h o wt h em e t h o dh a sg o o dp e r f o r m a n c ea n dhig hs p e e d 3 f a c er e c o g nitio nb a s e do nt h ea lg e b r a ief e a t u r ef a c er e c o g n i t i o nb a s e do nt h ea l g e b r a i cf e a t u r ee x p r e s s e st h eh u m a nf a c e sb yv e c t o r so ff e a t u r et o o b u tt h ev e c t o t sa r ea l g e b r a i cf e a t u r eo n e s i ti st h ep r o j e c t i o no ft h eh u m a n f a c e si nt h el o w e rd i m e n s i o ns u b s p a c eo fe i g e n f a c e t h e yp r e s e n tan e wf a c er e c o g n j t i o nm e t h o dn a m e ds p e c t r o f a c ei nf o u r i e rd o m a i n t h ep r o p o s e dm e t h o dc o m b i n e st h ef o u r i e rt r a n s f o r ma n dt h ew a v e l e tt r a n s f o r mf o rf a c er e c o g n i t i o n a n dt h ei d e n t i f i c a t i o ni sp e r f o r m a n c eb yt h e l o wf r e q u e n c yi n f o r m a t i o n t h er e s u l t ss h o wt h a tt h es p e c t r o f a c eise x t r e m e l ye f f e c t i v ef o re l i m i n a t i o nt h ee r r o r st h a tb r i n gf r o md i f f e r e n te x p r e s s i o n sa n d s m a l lo c c l u s i o n 4 f a c er e c o g n i t i o nb a s e do nf r a c t a lb a s e do nt h ef e a t u r eo ff r a c t a l ，t h e yp r o p o s eam e t h o do ff a c er e c o g n i t i o nb yf r a c t a l t h ei n p u to b j e c ti m a g eisu s e da sa ni n i t i a li m a g e1 naf r a c t a e x t r a c t i o np r o c e s s t h ef r a c t a le x t r a c t i o np r o c e s su s e st h ef r a c t a lm o d e l so ft h eo b j e c t ss t o r e di nt h ed a t a b a s e ，a n di t e r a t e st h ei n i t i a li m a g ef o re a c hf r a c t a lm o d e l t h ed i f f e r e n c eb e t w e e nt h ei n p u ti m a g ea n dt h eo u t p u to ft h ef i r s ti t e r a t i o nf o re a c hf r a c t a lm o d e ljsu s e df o ri d e n t i f i c a t i o n t h i sm e t h o disa l s ot r a n s l a t i o n r o t a t i o ns c a l ei n v a r i a n c ea n dt h ee f f e c to fi d e n t i f i c a t i o ni sg o o d ，w h i c hi sp r e y i d e db ye x p e r i m e n t a t i o n s k e yw o r d s ：f a c er e c o g n i t i o n ；g e o m e t r i cf e a t u r e ；d e f o r m a b l et e m p l a t e sf r a c t a ii i i准萨晰人脸斟像识别的枷步 州究1 前言1 1课题背景及意义随着社会的发展，对快速有效的自动身份验证的要求日益迫切。由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。其中，利用人脸特征进行身份验证是自然而又直接的手段，与指纹、视网膜、虹膜、基因等其他人体生物特征识别系统相比，人脸识别具有直接、友好、方便的特点，易于为用户所接受。同时，通过人脸的表情、姿态分析，我们还能获得其他识别系统难以获得的一些信息。人脸识别应用前景广泛，如公安系统的罪犯身份识另u 、驾驶执照及护照等与实际持证人的核对、银行及海关的监控系统及自动门卫系统等。人类对人脸识别的能力很强，可以记住成千上万不同的人脸，可是利用计算机完成自动识别目前还面临许多困难。此外还有诸如人脸表情变化，随着年龄增长的面孔变化，人脸成像时所受光照条件、成像角度及成像距离等方面的影响。计算机人脸识别涉及模式识别、图像处理、计算机视觉、生理学、心理学、认知科学等多个交叉学科。但是由于其广泛的应用前景而成为一项备受关注和极富挑战性研究课题。1 2人脸识别理论概述目前关于“人脸识别( f a c er e c o g n i t i o n ) ”的研究大概包括以下五个方面的内容。1 ：( 1 ) 人脸检测( f a c ed e t e c t i o n ) ：即从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光照、噪音、面部倾斜度以及各种各样遮挡的影响。( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：即表示特征。通常的表示方法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征( 如矩阵特征矢量) 、固定特征模板、特征脸、云纹图等。( 3 ) 人脸鉴别( f a c ei d e n t i f i c a t i o n ) ：( 通常所说的“人脸识别”) ：即将待识别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。( 4 ) 表情、姿态分析( e x p r e s s i o n ，g e s t u r ea n a l y s i s ) ：即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。( 5 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的生理特征进行分析，得出其年龄、性别等相关信息。准正面人脸图像识别的初步斜究人脸自动识别系统包括两个主要技术环节”1 ，如图卜l 所示。首先是人脸检测和定位，即从输入图像中找到人脸及其人脸存在的位置，并将人脸从背景中分割出来，然后对人脸图像进行特征提取与识别。图像或人脸图像名罕图像序列人脸的检测特征提取与定位与识别圈卜1 人脸自动识别系统构成如上所述，这两个环节的研究独立性很强。由于在很多特定情况下人脸检测与定位的工作比较简单，因此“特征提取与识别”环节得到了更为广泛和深入的研究：而近几年来随着人们越来越关心各种复杂情形下的人脸自动识别问题，人脸检测与定位才得到了较多的重视。通常，人类进行人脸识别依靠的感觉器官包括视觉、听觉、嗅觉、触觉等，一般人脸的识别可以用单个器官完成，也可以是多个器官相配合来存储和检索人脸。而计算机的人脸识别所利用的则主要是图像信息。另外，计算机人脸识别的进展还受限于对人类本身识别系统的认识程度。研究表明“3 ，人类视觉数据的处理是一个分等级的过程，其中最底层的数据过程( 视网膜功能) 起信息转储的作用，即将人眼接收的大量图像数据转换为一个比较规则的紧凑表达形式。生理学的研究表明，人眼视网膜上存在着低层次和高层次的细胞。其中，低层次的细胞对空间的响应和小波变换的结果相似“1 ：而高层次的细胞则依据一群底层次细胞的响应，而做出具体的线、面乃至物体模式的响应。以此为依据，在计算机人脸识别中，可以将那些通过大量图像数据简单处理后获得的特征定义为底层次特征，而将线、面、模式等描述特征定义为高层次特征。由此，图像k l 变换后的系数特征、小波变换特征及一些统计特征均属底层次特征的范畴，而人脸部件形状分析的结果则为高层次特征。由于视觉数据经传输后的重建，需依赖于人脑中早期形成的先验知识，因此在人的识别系统中，人脸的检测是一个整体识别和特征识别共同作用的结果5 1 ；具体说来，远处辨认人，主要是整体识别，而在近距离的人脸识别中，特征部件的识别则更重要。另外，人脸的各部件对识别的贡献也不相同，如眼睛和嘴巴的重要程度大于鼻子，人脸上半部分重要性大于人脸下半部分，其中特别的人脸更容易被识别记住“。比如说歪嘴等人脸就更容易使人记忆，没有个性的人脸相对的要更长的时间来辨认。根据对人脑的研究表明”1 ，人脸的表情识别和人脸识别虽然存在联系，但总体说是分开的、并行的处理过程。这些结论对于设计有效的识别方法起到了一定启发准正l 旬人脸蝌像泌剐的初步研究作用。在现有的识别算法中，特征脸方法“1 和神经网络方法”1 是基于整体人脸的识别，而基于提取眼睛等部件特征而形成特征相量9 的方法就是基于人脸特征的识别。1 3人脸识别国内外研究历史与现状计算机人脸识别技术是近2 0 年才逐渐发展起来的，9 0 年代更成为科研热点。仅1 9 9 0 年到1 9 9 8 年之间，e i 可检索到的相关文献就多达数千篇。1 。i e e e 的p a m i汇刊还于1 9 9 7 年7 月出版了人脸识别专辑，每年的国际会议上关于人脸识别的专题也屡屡可见。由于人脸识别实验所采用的人脸库通常不大，最常见的入脸库仅包括1 0 0 幅左右的人脸图像，如m i t 库、y a l e 库、c m u 库等人脸库均为小型库，且由于不同人脸库之间的输入条件各异，因此不同的识别程序之间很难进行比较。为了促进人脸识别算法的深入研究和实用化，美国国防部发起了人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y 简称f e r e t ) 工程“o3 ，它包括一个通用人脸库和一套通用测试标准。该f e r e t 库可用于各种人脸识别算法的测试比较。1 9 9 7 年，f e r e t 人脸库存储了取自1 1 9 9 个人的1 4 1 2 6 幅图像，其中同一人的图像差异，包括不同表情、不同光照、不同头部姿态以及不同时期( 问隔1 8 个月以上) 拍摄差异等。如今f e r e t 人脸库仍在扩充，并定期对各种入脸识别程序进行性能测试，其分析测试结果对未来的工作起到了一定的指导作用。由于f e r e t 库中包括军人的图片，不能在美国以外获得，因此其他国家的研究只能采用本地的人脸库，如英国的m a n c h e s t e r 人脸库“1 。人脸识别的研究已有很长的历史，甚至可以追溯到上个世纪，g a l t o n 就曾经用一组数字代表不同的人脸侧面特征。人脸识别的输入图像通常有3 种情况：正面、倾斜、侧面。由于实际情况的要求，对人脸正面模式的研究最多，它的发展大致可分为3 个阶段”。第一阶段以b e r t i l l o n 、a 1 l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。在b e r t i l i o n 的系统中，用一个简单的语句与数据库中某张脸相联系，同时与指纹分析相结合。提供了一个较强的识别系统。为了提高脸部识别率，a i l e n “为待识别脸设计了一种有效和逼真的摹写，p a r k e “”则用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。这一阶段的工作特点是识别过程全部依赖于操作人员，不是一种可以完成自动识别的系统。第二阶段是人机交互识别阶段。代表性工作有：g o l d s t i o n ，h a r m o n 和l e s k用几何特征参数来表示人脸正面图像”。他们采用2 l 维特征矢量表示人脸面部特征，并设计了基于这一特征表示方法的识别系统。k a y a 和k o b a y a s h i 贝f j 采用了统计识别方法，用欧氏距离来表征人脸特征“，如嘴唇与鼻子之间的距离，嘴唇的高度等。更进一步的，t k a n a d ( m n a g a o ) 设计了一个高速且有定知识引导的半自动回溯识别系统“，创造性的运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配。k a n a d 的系统实现了快速、实时的处理，是一个很大的进步。相比之下，b a r o n “”所做的工作较准正面人脸图像识别的柳步研究少为人所知：他先将图像灰度归一，再用4 个掩模( 眼、鼻、嘴及眉毛以下的整个脸部) 表示人脸，然后分别计算4 个掩模与数据库中每幅标准固像的相应掩模之间的相互关系数，以此作为判别依据。b l e d s o e 以人脸特征点的距离、比率等参数为特征，建成了个半自动的人脸识别系统n “。总的来说，这类方法需要利用操作员的某些先验知识，仍然不能实现完全的自动化。而且这阶段的研究主要有两大方向：一是提取人脸几何特征的方法，包括人脸部件归一化的点闾距离和比率以及人脸的一些特征点，如眼角、嘴角、鼻尖等部位所构成的二维拓扑结构：二是模板匹配的方法，主要是利用计算模板和图像灰度的自相关性来实现识别功能。b e r t o 在1 9 9 3 年对这两类方法作了较全面的介绍和比较后认为，模板匹配的方法优于几何特征的方法”。第三阶段是真正的机器自动识别阶段。该阶段的研究也主要有两个方向：其一是基于整体的研究方法，它考虑了模式的整体属性，包括特征脸( e i g e n f a c e )方法、s v b 分解的方法“、人脸等密度线分析匹配方法、弹性图匹配( e h s t i cg r a p hm a t c h i n g ) 方法”“、隐马尔科夫模型( h i d d e nm a r k o vm o d e l ) 方法”2 1以及神经网络的方法等：其二是基于特征分析的方法，也就是将人脸基准点的相对比率和其他描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量。这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，丽基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。文献 1 8 认为基于整个人脸的分析要优于基于部件的分析，理由是前者保留了更多信息，但是这种说法值得商榷，因为基于人脸部件的识别要比基于整体的方法来得直观，它提取并利用了最有用的特征，如关键点的位置以及部件的形状分析等，而对基于整体人脸的识别而言，由于把整个人脸图像作为模式，那么光照、视角以及人脸尺寸会对人脸识别有很大的影响，因此如何能够有效的去掉这些干扰很关键。虽然如此，但对基于部件分析的人脸识别方法而言也有困难，其难点在于如何建立好的模型来表达识别部件。近年来的一个趋势是将人脸的整体识别和特征分析的方法结合起来，如k i l l - m a nl a m 提出的基于分析和整体的方法。“，a n d r e a sl a n i t i s 提出的利用可变形模型( f l e x i b l em o d e l s ) 来对人脸进行解释和编码的方法”“。我国关于人脸自动识别的研究始于8 0 年代。其中周激流o ”实现了具有反馈机制的人脸正面识别系统，运用积分投影方法提取面部特征的关键点并用于识别，获得了较为满意的结构。他同时尝试了“稳定视点”特征提取方法1 。为使识别系统中包含3 d 信息，他对人脸侧面剪影识别作了定的研究，并实现了正、侧面相互参照的识别系统”“。彭辉、张长水等在文献中对“特征脸”的方法作了迸一步发展，提出采用类问散布矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下大大降低了运算量。程永清、庄永明。1 等对同类图像的平均灰度图进行s v d 分析，得到特征脸空间。每一幅图像在特征脸空间上的投影作为其代数特征，然后利用层次判别进行分类。准正面人脸剧像识别的铷步研究张辉、周洪祥o “”等采用对称主分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别。实验表明，该方法所用特征数据量小，特征提取运算量也较小，比较好的实现了大量人脸样本的存储和人脸的快速识别。王华、李介谷”“则专门研究了人脸斜视图像的几何特征提取与恢复。他们的实验建立了人脸斜视图像的数学模型，并对如何从斜视图像特征中恢复出标准特征作了一定的研究，对消除识别中斜视的影响，提高识别率有定的帮助。与此同时，国防科技大学、公安部等单位也进行了人脸识别方面的研究，并取得了一定的成果。14本论文的研究内容本论文围绕人脸识别方法开展研究。论文的组织如下：第二章主要讨论了基于几何特征的人脸识别方法，并构造了几何特征矢量：第三章主要讨论了基于动态模板匹配的人脸识别方法；第四章主要分析了基于代数特征的人脸识别方法，并运用频谱脸进行人脸识别：在论文的第五章，我们利用分形特点，提出了基于分形变换的人脸识别方法，并在第六章总结了这几种人脸识别方法，提出了下一步研究的方向。准征血人脸图像识别的初步研究2 基于几何特征的人脸正面自动识别方法人脸由眼睛、鼻子、嘴巴、下巴等重要器官构成，正因为这些器官的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别。对这些器官的形状和结构关系的几何描述，可以作为人脸识别的重要特征。基于几何特征的人脸正面自动识别方法就是将人脸用几何特征矢量表示，一般采用模式识别中分层聚类的思想设计分类器，达到识别的目的。要求选取的几何特征矢量具有一定的独特性，能够反映不同人脸之间的差别，同时又具有一定的容差性，以消除时间跨度、光照等的影响。几何特征矢量就是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸器官特征矢量间的欧氏距离、曲率、角度等。2 1 原始图像的预处理公安机关的罪犯照片通常都采用正面免冠黑白照片，同时其背景和光照条件基本相同，这就为原始图像的预处理提供了方便。但由于照片背景是黑白相间的条形图案，也给人脸各部位的定位带来一些麻烦。所以我们在对原始图像进行预处理时主要是针对背景，将人脸图像从背景中分割出来。针对公安机关的罪犯照片都采用同一背景，即黑白相间的条形图案的特点，我们采用归一化灰度组合法对图像进行匹配，从而去除背景。归一化灰度组合法( n 1 c ) 。”的基本思想是基于基准图和实时图灰度的相关性，和传统的灰度相关法不同的是，n i c 是通过灰度组合矩阵”3 来计算灰度的相关性。n i c 和灰度相关法的关系可以从下面的推导看出。常用的均方差灰度相关法的公式如下：p ( i ) = 击薹”势m m ( 川，州) 】2式中工和r 实时图和基准图m 和匹配模板大小：( f ，) 当前匹配像素。公式( 2 - - 1 ) 可以用灰度组合矩阵表示为：删) = 丽1 姜，1 c m 。( 加) 州伊叫g ) 】2式中i c m 。( - ) 在当前匹配像素( f ，) 处的灰度组合矩阵：2 1准正面人脸图像识别柏伽步训究g 最大灰度级数；i n ( x ) 级数x 所代表的灰度值。为了表示简便，灰度组合矩阵用1 c m ( ) 表示。1 c m ( x ，y ) 表示两幅图像中共有多少对像素，它们的灰度组合是( x ，y ) 。约定在1 c m 矩阵中行代表实时图的灰度，而列代表基准图的灰度。它具有下面的性质：上i c m ( f ，g ) = lm n 怠经简单推导可以得出，许多灰度相关法，如绝对差相关法、乘积相关法等，都可以用i c m 统一表示为：e ( i ，) = 1 c m ( f ，g ) w ( i n ( f ) ，抽( g ) )2 - 2式中加权函数( ) 不同，就能产生不同的灰度相关法。例如，绝对差相关法是取= l i n ( f ) 一i n ( g ) j ；乘积相关法是取= i n ( f ) x i n ( g ) 如果在公式( 2 2 ) 中取w = i c m ，再经过归- 一化，就得到了n i c 的计算公式：式中p ( i ，_ ，) = i c m2 ( 厂，g ) 】s ( i ，) 一s ( i ，j ) ( m n ) 2f ，g = l6gs ( i ，) = z i c m ( g ) 删。2 ( g ) 2g = lg = l2 - 3而庀m ，和i c m 。分别是圯m 矩阵按行和列求和的结果，i c m ，( g ) ，g = 1 g和c m 。( g ) ，g = l g 分别是两幅图像的灰度直方图。重新整理公式( 2 3 ) 可得p ( i ，) =( 拼) z 量删z ( 厂，g ) 】居化，) 一跗f g = l( m n ) 2 一s ( i ，j )2 - 4准正面人脸图像识别的初步研究运用公式( 2 - 4 ) 即n i c 算法，我们可以快速的将图像背景去除。如图2 2及为图2 - 1 去除背景后的图像。图2 - i 原始照片图像2 2 眼球的自动定位图2 - 2 去除背景后的图像要将人脸用一个几何特征矢量表示，对基本特征如眼睛、鼻子、嘴巴等的准确定位是必不可少的步骤，尤其是对眼球圆心的准确定位。这是因为两眼间距离受光照或表情变化的影响最小，所以常被用于几何特征或图像尺寸的归一标准。在精确定位眼球中心前一般要先找到眼睛的大致位置，称之为粗定位，常见的方法有：神经网络法“1 、边缘点积分投影曲线的极值位置判断法o “、对称性法3 、多分辨率的马赛克图法等。这些方法虽然各有特色，但都不尽完善。例如，用神经网络方法总是需要大量充分考虑了各种变化情况的训练样本：至于精确定位的方法有基于霍夫变换、几何及对称性检测”1 等方法。不论是粗定位还是精确定位的方法都是根据眼睛在人脸上的位置特点所进行的。眼睛在人脸位置上有以下特点：在眉毛与鼻子的中间，离眉毛的距离小于离鼻孔的距离； 两眼之间约有一只眼睛的距离； 两眼对称人脸对称轴。我们在实际探讨中根据各种方法的特点，综合采用了积分投影方法实现眼球的自动定位。2 2 1 二值化准矿断人脸斟像识别的衲步酬究该方法是根据王磊等“。3 提出的基于局部二值化图像的积分投影曲线和先验知识的定位方法。为了分散预处理后图像上的灰度级，我们采用如下变换关系曲线将灰度值归到o - 2 5 5 范围：y_li-)rain(x)对071max(xm i n ( x2 5) 一) l其中x 是原始图像( m 。聆，) ，m i n ( x ) 和m a x ( x ) 分别为它的最小和最大灰度值，y 为变换后的图像，厂在 o ，l 】区问取值的目的是为了使由式( 2 5 ) 决定的曲线具有微微上凸的形状，以此分散灰度区域如限睛等部位的灰度级，集中高灰度值区域如皮肤处的灰度级，这能拉丌眼球与周围的灰度差别并在一定程度上减少阴影的影响。，越小，曲线凸的越厉害，高灰度级处的灰度合并越明显，经验证测试取y = o 5 即可。为去除大部分头发的干扰而简化定位过程并节省出来时间，从图像y 中取出第0 4 m ，一m ，行第0 2 5 n ，一0 7 5 n ，列( 记为图像巧) 进行处理。取y = 1 ，再用式( 2 5 ) 对图像y 尸进行灰度变换，得到图像z ( m ，一) 以进一步拉开图像灰度级。设其灰度分布直方图为p ( r ) ，其中r = o ，1 ，2 5 5 对应各灰度级，p 为对应各灰度级r 的像素个数。用于二值化的门限f 定义为f 。= r f w 向e n ( p ( 1 ) ( m ，。以) ) p 。)2 - 6式( 2 6 ) 表示从最小灰度0 开始累加像素点数p ( ) ，当它占总数( 肌，7 x ) 的百分比刚到或刚超过实验设定值见时，对应的灰度级l 即为门限，。合理选择p 。的依据是：在图像z 中，眼睛、鼻孔、嘴巴，可能划进来的眉毛、少量头发和下巴处的阴影，深色衣领这些较低灰度区域占整图的比例不会大于p 。对整幅图像二值化后，将灰度值低于t 。的点置0 ( 黑) ，其他全部置1 ( 白) ，得到图像c 图2 3 为图2 2 二值化后的图像。其中阈值见选用2 0 准正面人脸蚓像没刷的初步研究图2 - 3 图争2 二值化后的结果2 2 ，2 定位图2 4 局部灰度平均值的垂直和水平投影分布示意圉积分投影是自动定位特征时常用豹一种技术。设图像为，( j ，) ，i , j 分别表示行和列，则图像，在大小为( 2 b ，) ( 2 b j ) 、中心位置为( f 0 ，。) 窗口内的水平积分投影定义为l = a bi 3 地+ b ，n ( o ) = ，瓴，)2 - 7t ob i + ij 。j o b j + l垂直积分投影定义为) ：= i q + b i = j o + b j ，)2 8l + d b i + i = 儿一b + l当该窗口沿水平或垂直方向移动时就得到了水平和垂直积分投影曲线。如图2 - 4所示，在垂直积分投影曲线上对应日艮睛、鼻孔、嘴巴和下巴处出现局部极小。2 2 2 i 定位眼睛区域所在行。理图堡c 皇，黑色像素对应着眼睛、可能划进来的眉毛和留海、不完整的眼镜框、眼镜脚和严重的阴影，因此要自动正确的判定眼睛区域的中心行e y e m 堡从图侈c 垂直积分投影分布曲线上局部极小对应的行来判断是不可能的，瑟准正面入脸图像谀，；j 的初步训究用一个宽为n ，高为2 b ，的窗口w d ；在图像c 中自上往下逐行移动，求出图像c 的垂直积分投影曲线rf o b 。lj = n r 屹( d = f c ( 1 0 ，川( 2 b 。，)29l 7 p k l + ij = ld 浚曲线上h e 个局部极小对应的行构成集合妒。l f 。“屹( ) f ，l i s a l o c a l m i n i m u m i n 屹( f ) 2 - 1 0即v ( i 。) 是v o ( i ) 中的局部极小。图2 5 为图2 3 垂直积分投影后得到的局部极小的情况。图中横线对应计算所得的每个局部极小。图2 5 直积分投影后得到的局部极小的情况将每个i 。对应的窗1 ：3w d 分成左、中、右三部分，求出他们的值为t o = 2 + 6 v 2 ，= 0 4 n ri h e 蜊( f 。) = i c ( f 0 ，圳( 2 + 6 。) o 勘，l b 2 ，c i 一虬2 + 1= j fb = 0 2 + 如2j = 0 6f 7。( f 。) = i _ _ n h ec ( f 0 ，圳( 2 + b 。) o 勘，0 0 2 i c l 一6 v 2 + 1 。o4 n f + 11 rm 。，。2 + b ，2，：n ，1 胁哪，( ) = i c ( f o ，圳( 2 + b 。) o 锄，准正面人脸圈像识别的初步研究图2 - 6 眼睛区域中心行算法流程图将上述三个值中不为1 ( 即区域中有黑像素) 的最小和次小值对应的块置标记】，另一个置0 ，做出一个n e 3 维标志矩阵f l a g 根据对称性可知一般眼睛和眉毛处的标记会是b 0 1 】，但是如果额头两边有少量头发或镜框，也会是 1 0 l 】在图像z 中，如果少量头发没有与眉毛合在一起，它对应的v c ( i 。) 不可能比眼睛、眉毛的k ( t ) 更小：如果合在一起，则只有一个合并的【1 0 1 此外考虑眼睛，在图像c 中保留下来的一般是下镜框，上镜框大都齐眉或和眉毛靠的很近，由于二值后的镜框比较细，所以他对应的屹( ) 也不可能比眼睛、眉毛的k ( ) 更准正面人脸图像识别的初步研究小。总之，眼睛区域的( i 。) 必然是所有旷( i 。，) 中最小或次小的一个。基于此，给出判断眼睛区域中心行e y e m 的算法流程如图2 - 6 所示。以图2 - 3 为例，两个( f 。) 出现1 1 0 1 i 的情况。其中第一条对应于两侧存在头发的额头，第二条对应于眼睛区域，如图2 7 所示。根据图2 - 6 所示的流程图，我们可以得到如图28所示的眼睛区域中心行e y e m 得到眼睛区域的中心行e y e m 后，可以e y e m 为中心取出高度为2 b ，的眼睛区域。如图2 9 所示。图2 - 7 矩阵f l a g 出现0 0 1 】情况的k ( )图2 - 8 眼睛区域中心行e y e m图2 - 9 眼赌区域2 2 2 2 定位眼腈区域所在左右列定位眼睛区域中心行后，就是定位左、右眼睛的中心列。由于眼睛对称分布在人脸的左右，我们先将人脸分为三部分，分别对左、右两个部分进行水平投影。首先用一个宽度为2 良：，高度为2 x b 。，的窗口w d ，在人脸左侧从左向右逐列滑动，算出左眼的水平积分投影曲线为准正面人脸图像识别的训步驯宄rf = e y e m + b cj j + k 21 。( ) = i c ( i ，元) i2 眈2，= 1 ，2 ，0 4 n 。2 - 1 10 = 。声m b c t + lj o = ，一k 2 + ij 如果h 。( ，) 只有一个局部极小，必对应了左眼球的中心列，但通常由于阴影和镜架的干扰使日。( ) 不止一个局部极小，阴影往往出现在左侧，因此如果式( 2 11 ) 中有两个或两个以上的局部极小，就分析全局极小h 。( m 和全局次小。( ，：) ，若它们的值相差较小且小：又分得比较开，说明干扰比较严重，根据左侧有阴影或镜架的先验条件可知须取j 。和 中右边的列定为左眼球的中心列。用同样的方法定出右眼的中心列。其水平积分投影曲线如式( 2 - 1 2 ) 所示。其判别情况与左眼的相反。从左右眼球中心列向左右分别扩出一定距离就定出了两眼的左右边界。至此，两眼的区域就被框出。对应无眼镜且光照均匀的照片，如本文中使用的照片，定位方法必定正确。但对于阴影严重和戴眼镜的照片，眼球中心列的判断不一定全部正确。但是所框出的区域也可包含部分眼球。蹦舻i4 艺“蘩( f ，柚怯b c ：- ，：0 6 n x , 0 6 ”1 i 哏2 - 1 2l 1 2 e y e m k i + 1j 0 2 一k 2 + 1j 图2 1 0 为在眼睛区域中确定的左、右眼球的中心列。图2 一1 1 为框出的左、右眼球。图2 1 0 左、右眼球中心列图2 1 1 框出的左、右眼球图2 一1 2 是另外一幅人脸图像库中的人脸图像，而图2 - 1 3 是采用积分投影自动定位眼球方法获得的眼球定位图像。准萨出人脸蚓像识别的训步 l j f 宄图2 一1 2 人脸原始照片图2 - 1 3 定位眼睛图像2 3 确定各特征点在获得眼球所在行和列后，我们可以根据眼球的位置初步确定各器官分布的区域。设跟球距离为d ，左右跟的坐标分别为( _ ，咒) 和( x ：，儿) ，则器官区域的确定如下“：左眼：( 工i p i ，y i e 2 , x 1 + p 3 ，y l + e 4 ) ，右眼：( x 2 一e l ，y 2 一p 2 ，x 2 + e 3 , 少2 + e 4 )取位移量为：q = e 3 = 0 4 d