（计算机系统结构专业论文）基于bp神经网络的人脸识别技术的研究与实现.pdf

东北大学硕士学位论文摘要 基于b p 神经网络的人脸识别技术的研究与实现 摘要 人脸识别技术是模式识别和机器视觉领域最富挑战性的研究课题之 一，电是近年来研究的一个热点问题，但是到目前为止，理论研究和实 际应用还有相当长的距离。 本文首先介绍了人脸识别技术的发展概况和常用的人脸识别方法， 在此基础上研究了人脸图像处理方法、人脸特征提取、特征选择和分类 识别等问题。本文采用主成分分析( p c a ) 方法进行人脸特征提取，并用 b p 神经元网络实现了人脸识别。 本文用o r l 人脸数据库中的2 0 人共1 0 0 幅人脸图像对算法进行验 汪，首先对所选的人脸图像进行了预处理，利用直方图修正进行光照补 偿；采用小波变换降维，并对小波变换后的数据，进行了标准化处理。 然后采用主成分分析方法，将数据从原来的r 维空间降到m 维空间，降 维后保存了数据中的主要信息。最后，用主成分分析所提取的人脸数据 训练神经元网络，并对人脸图像进行识别。文中采用m a t l a b 语言实现人 脸识别算法，实验结果表明该人脸识别算法能够进一步提高识别率。 关键词人脸识别直方图修正小波变换主成分分析b p 神经元网络 i i 东北大学硕士学位论文a b s t r a c t r e s e a r c ha n dr e a l i z a t i o ni nf a c er e c o g n i t i o n b a s e do nb pn e u r a ln e t w o r k a bs t r a c t f a c er e c o g n i t i o ni so n eo fm o s tc h a l l e n g i n gp r o b l e m si nt h ef i e l d so f p a t t e r nr e c o g n i t i o na n dm a c h i n ev i s i o n i ta l s ob e c o m e sa na c t i v er e s e a r c h t o p i cr e c e n t l y b u tt od a t e ，i ti sf a rf r o ma p p l i c a t i o n s f i r s t ，t h i sp a p e ri n t r o d u c e st h ed e v e l o p m e n tg e n e r a ls i t u a t i o no ft a c e r e c o g n i t i o nt e c h n i q u ea n df a c er e c o g n i t i o nm e t h o di nc o m m o nu s e ，o nt h i s b a s ew er e s e a r c ht h eq u e s t i o n st h a ti n c l u d et h ed i s p o s a lm e t h o do ff a c e i m a g e ，h o w t oe x t r a c tf a c e c h a r a c t e r s ，c h a r a c t e r c h o i c ea n dc l a s s i f y r e c o g n i t i o n ，e t c t h i sp a p e ra d o p t sp r i n c i p a lc o m p o n e n ta n a l y s i sm e t h o dt o e x t r a c tf a c ec h a r a c t e r sa n du s e sb pn e u r a ln e t w o r kt or e a l i z er e c o g n i t i o n t h i sp a p e rt e s t sa r i t h m e t i ct ou s et w e n t yp e o p l e s o n eh u n d r e df a c e so f o r l d a t a b a s e f i r s t ，t h i sp a p e rp r e t r e a t st h e s ep i c t u r e st h a tw eh a v ec h o s e n u s e sh i s t o g r a me q u a l i z a t i o nt oe q u a l i z ei l l u m i n a t i o n ；u s e sw a v e l e tt r a n s f o r i l l t or e d u c ed i m e n s i o na n da l s on e e d st od os t a n d a r d i z a t i o nd i s p o s a lf o rt h e s e d a t a t h e n ，t h i sp a p e ra d o p t sp r i n c i p a lc o m p o n e n ta n a l y s i st or e d u c et h e s e d a t a sd i m e n s i o nf r o mrt on t h ed a t aw i l ls a v em a i ni n f o r m a t i o na b o u t f a c e a tt h es a m et i m et h i sp a p e rd e s i g n sb a c kp r o p a g a t i o nn e u r a ln e t w o r k ， t h e nr i s e st h e s ed a t aw h o s ed i m e n s i o nh a v eb e e nr e d u c e dt h r o u g hp r i n c i p a l c o m p o n e n ta n a l y s i st ot r a i nt h en e u r a ln e t w o r k ，f i n a l l y ，u s e st h en e u r a l n e t w o r kt or e c o g n i z ef a c e s t h i sp a p e ra d o p t sm a t l a bl a n g u a g et or e a l i z e f a o e r e c o g n i t i o na r i t h m e t i c ，t h ee x p e r i m e n tr e s u l t si n d i c a t e st h ef a c e r e c o g n i t i o na r i t h m e t i cc a di m p r o v er e c o g n i t i o nr a t ef a r t h e r k e yw o r d s f a c er e c o g n i t i o n h i s t o g r a me q u a l i z a t i o n w a v e l e tt r a n s f o r m ， p r i n c i p a lc o m p o n e n ta n a l y s i s b a c kp r o p a g a t i o nn e u r a ln e t w o r k i i i - - 东北大学硕士学位论文 第一章绪论 第一章绪论弟一旱三百了匕 1 1 课题背景及其意义 近年来，在日常事务和工业生产的各个方面，随着计算机的普及、 应用，对个人身份的自动鉴定提出了越来越多的要求。现行的许多计算 机系统中，包括许多非常机密的系统，都是使用“用户i d + 密码”的方法 来进行用户的身份认证和访问控制的。实际上，这种方案隐含着一些问 题。例如，密码容易被忘记，也容易被别人窃取。而且，用户一旦忘记 了_ 密码，就不能进入系统。有关机构的调查表明，因为忘记密码而产生的 问题已经成为i t 厂商售后服务的最常见的问题之一；密码被别人窃取更 是一件可怕的事情。一些传统的需要进行身份验证的场合，也存在着类 似的安全性问题。例如证件的伪造和盗用，不正当的转借等。些犯罪 分子通过伪造证件进入机密场所以窃取机密信息，有的犯罪分子伪造签 证和护照非法入境或移民。另外还有考勤机、信用卡、防盗门等等。这 些问题都说明：传统的系统安全技术已经遭遇严重挑战【迫切需要研究 出新的个人身份鉴定方法。由于很多人体特征具有单一性的特点，人们 把目光转向了利用人体生物特征进行识别的技术，希望可以籍此来应付 现行系统安全所面临的挑战。这种利用人体的生物特征来进行身份验证 的技术称为生物识别技术。生物识别技术可分为基于生理特征的生物识 别技术和基于行为特征的生物识别技术。要把人体的生物特征用于身 份识别，这些特征必须具有唯一性和稳定性。研究和经验表明，人的指 纹、掌纹、面孔、声音、虹膜、视网膜、骨架等都具有唯一性和稳定性 的特征，即每个人的这些特征都可以认为是与别人不同而且是终生不变 的，因此可以借此识别出入的身份。基于这些特征，人们发展了指纹、 虹膜等识别技术，也已经达到了很好的识别效果口l 。指纹分析和瞳孔扫 描这些生物测定识别系统与密码、令牌等系统相比，不容易丢失、被破 坏，是非常可靠的验证方法。但这些方法要求参与者的合作。它们要求 使用者站在相对传感器的某个位置停留几秒钟以验证身份。这种暂停确 认的交互方式适合在保密性很高的场合中应用，但不适合用于实时性的 场合。人脸识别系统没有这种暂停确认的要求，它可以在一定距离以内 进行人脸识别，不限制使用者的行动，不需要使用者的合作。例如在9 1 1 东北大学硕士学位论文 第一章绪论 事件之后，美国当局下令要在各大机场阻截、查找可能还未出境的嫌疑 罪犯，由于机场人员流动很大，进行指纹和瞳孔类验证是不大可能的， 他们当时就是选择的人脸识别技术口i 。由于人们自身之间的相互识别往 律是依据面部和声音，习惯上也更容易接受具有相同识别方式的系统。 基于上述原因，人脸识别被认为是下一代用户界面友好的识别系统。因 此，在理论和技术上研究人脸识别系统具有重要的意义。 1 2 人脸识别技术的发展历史 最早的关于人脸识别的研究可以追溯到1 9 世纪末。当时英国的s i r f r a n c i sg a l t o n 发明了一套机械装置，利用人脸侧面轮廓上的五个代表点 及其导出的一组特征进行人脸的匹配和识别1 4 】。 当代学者参与这一课题的研究是从2 0 世纪六十年代丌始的。 w b l e d s o e 摄先建立了半自动的人脸识别系统。该系统使用手工方式确定 些点，然后用这些点建立参数进行分类器的设计。 进入2 0 世纪七十年代，人脸识别的研究形成了第一次高潮。这些 方法基本上采用人脸的一些几何特征点通过标准的模式分类技术，进 行人脸识别。 从2 0 世纪七十年代末到八十年代末，人脸识别研究陷入低谷。 进入2 0 世纪九十年代以后，首先是商业界、法律界、智能环境、可 适应性计算机等广泛的应用需求带动了人脸识别技术研究的兴起；其次 是计算机运算速度的提高，使褥入脸识别系统可使用化，也推动了人脸 识别技术的研究；另外，计算机网络的广泛应用，神经网络分类器的 些研究成果也推动了这一领域的发展。人脸识别研究受到了前所未有的 重视。 到2 0 世纪九十年代前期，研究的中心在人脸分割、特征提取，以及 设计基于统计或神经元网络的分类器。这时的人脸识别数据库比较小， 且研究的方向为静态的图像。后来的一些科研小组把注意力从静态转为 动态的视频图像序列来识别人脸。但是在将理论向实用转化的过程中， 人们发现进行单样本识别的重要性和困难性。因为人脸识别技术一个重 要的应用是证件核实。而一张照片很难反映出入脸丰富的三维信息。所 以一些研究小组把注意力集中在通过多张照片构造出三维人脸图像上。 近年来，人脸识别的算法研究不断出新，并取得了长足的进步。在 静态图像或视频序列方面的人脸识别领域中取得了不少成果。 尽管人脸自动检测和识别的研究已经取得了不少的成果，但与工程 一一 东北大学硕士学位论文 第一章绪论 实用化还有一段距离。与指纹识别相比，人脸目前各类识别方法的适用 条件限制还比较严格。 随着相关技术的发展，人脸识别技术必将逐步走向实用化，从而成 功地应用于各个领域中。 1 3 人脸识别系统 人脸自动识别系统【5 】包括两个主要技术环节，如图1 1 所示。 图1 1 人脸自动识别系统的构成 f i g 1 1t h es t r u c t u r eo ff a c ea u t o m a t i s mr e c o g n i t i o ns y s t e m 1 3 1 人脸检测与定位 检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其 在图像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照片 时将人脸限定在标尺内，此时人脸的定位很简单。证件照的背景简单定 位也比较容易。在另一些情况下，人脸在图像中的位置预先是未知的， 比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下因素的 影响：人脸在图像中的位置、角度和不固定尺度以及光照的影响； 发型、眼镜、胡须以及人脸的表情变化等：图像中的噪声。 1 3 2 特征提取与人脸识别 特征提取之前一般需要做几何归一化和灰度归一化的工作。前者是 指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指 对图像进行光照补偿等处理，以克服光照变化的影响。提取出待识别的 人脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配 过程，前者是确定输入图像为图像库中的哪个人，后者是验证输入图 像的人身份是否属实。 以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位 相对比较容易，因此“特征提取与人脸识别”环节得到了更广泛和深入的 研究。近几年随着人们越来越关心各种复杂情形下的人脸自动识别系统 以及多功能感知研究的兴起，人脸检测与定位才作为一个独立的模式识 一3 一 东北大学硕士学位论文第一章绪论 实用化还有一段距离。与指纹识别相比，人脸目前各类识别方法的适用 条件限制还比较严格。 随着相关技术的发展，人脸识别技术必将逐步走向实用化，从丽成 功地应用于各个领域中。 i 3 人脸识别系统 人脸自动识别系统1 5j 包括两个主安技术环节，如图1l 所示。 竺竺r 忑磊磊1 一忑忑i 了l 竺三 叫 脸检测与定位卜+ |特征摧取与 脑彤 荆r h 图1 ，1 人脸自动识别系统的构成 f i g 1 1t h es t r u c t u r eo ff a c ea u t o m a t i s mr e c o g n i t i o ns y s t c m 1 3 1 人脸检测与定位 检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其 在图像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照片 时将人脸限定在标尺内，此时人脸的定位很简单。证件照的背景简单，定 位也比较容易。在另一些情况f ，人脸在图像中的位置预先是未知的， 比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下因素的 影响：人脸在图像中的位置、角度和不固定尺度以及光照的影响： 发型、眼镜、胡须以及人脸的表情变化等；图像中的噪声。 1 3 2 特征提取与人脸识别 特征提取之前一般需要做几何归一化和灰度归一化的工作。前者是 指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指 对图像进行光照补偿等处理，以克服光照变化的影响。提取出待识别的 人脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配 过程，前者是确定输入图像为图像库中的哪一个人，后者是验证输入图 像的人身份是否属实。 以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位 相对比较容易，因此“特征提取与人脸识别”环节得到了更广泛和深入的 研究。近几年随着人们越来越关心各种复杂情形下的人脸自动识别系统 以及多功能感知研究的兴起，人脸检测与定位才作为一个独立的模式识 以及多功能感知研究的兴起人脸榆测与定位才作为一个独立的模式识 3 东北大学硕士学位论文 第一章绪论 实用化还有一段距离。与指纹识别相比，人脸目前各类识别方法的适用 条件限制还比较严格。 随着相关技术的发展，人脸识别技术必将逐步走向实用化，从而成 功地应用于各个领域中。 1 3 人脸识别系统 人脸自动识别系统【5 】包括两个主要技术环节，如图1 1 所示。 图1 1 人脸自动识别系统的构成 f i g 1 1t h es t r u c t u r eo ff a c ea u t o m a t i s mr e c o g n i t i o ns y s t e m 1 3 1 人脸检测与定位 检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其 在图像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照片 时将人脸限定在标尺内，此时人脸的定位很简单。证件照的背景简单定 位也比较容易。在另一些情况下，人脸在图像中的位置预先是未知的， 比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下因素的 影响：人脸在图像中的位置、角度和不固定尺度以及光照的影响； 发型、眼镜、胡须以及人脸的表情变化等：图像中的噪声。 1 3 2 特征提取与人脸识别 特征提取之前一般需要做几何归一化和灰度归一化的工作。前者是 指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指 对图像进行光照补偿等处理，以克服光照变化的影响。提取出待识别的 人脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配 过程，前者是确定输入图像为图像库中的哪个人，后者是验证输入图 像的人身份是否属实。 以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位 相对比较容易，因此“特征提取与人脸识别”环节得到了更广泛和深入的 研究。近几年随着人们越来越关心各种复杂情形下的人脸自动识别系统 以及多功能感知研究的兴起，人脸检测与定位才作为一个独立的模式识 一3 一 东北大学硕士学位论文 第一辛绪论 别问题得到了较多的重视。 1 4 常用人脸识别方法简介 识别人脸主要依据那些在不同个体之间存在较大差异而对于同一个 a 、则比较稳定的特征，具体的特征形式随识别方法的不同而不同。早期 研究较多的静态人脸识别方法有基于几何特征的人脸识别方法和基于相 关匹配的人脸识别方法。目前，静止图像的人脸识别方法主要有三个研 究方向：基于统计的识别方法，包括特征脸( e i g e n f a c e ) 方法和隐马尔科 夫模型( h i d d e nm a r k o vm o d e l ) 方法；基于连接机制的识别方法，包括 般的神经网络方法和弹性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方法；其它 一些综合方法或处理非二维灰度图像的方法。下面分别介绍这些方法p l 。 1 4 1 基于几何特征的人脸识别方法 常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状 特征、脸型特征以及五官在脸上分布的几何特征。提取特征时往往要用 到入脸结构的一些先验知识。在这种基于几何特征的识别中，识别总归 为特征向量之间的匹配，基于欧氏距离的判别是最常用的识别方法。侧 影识别是最早的基于几何特征的人脸识别方法，主要是从人脸侧面轮廓 线上提取特征点入手。一般将侧影简化为轮廓曲线，从中抽取若干基准 点，利用这些点之间的几何特征来进行识别。由于现在的证件照片多为 正面，而且侧面照片约束很多，所以对侧面人脸识别的研究最近已不多 见。正面人脸识别关键的是归一化，使之不依赖于图像中人脸位置的尺 度和旋转变化。识别所采用的几何特征是以人脸器官的形状和几何关系 为基础的特征向量，其分量通常包括人脸指定两点问的欧式距离、曲率、 角度等。例如，p o g g i o 和b r u n e l l i 用积分投影法提取出三十五维人脸特 征向量用于模式分类，其组成分量如下： ( 1 ) 眉毛厚度及眉毛与眼睛中心的垂直距离； ( 2 ) 描述眉毛形状的1 1 个参数； ( 3 ) 鼻子的垂直位置和宽度； f 4 ) 描述下巴形状的1 1 个参数； ( 5 ) 鼻子处脸的宽度： ( 6 ) 嘴巴的垂直位置、宽度及上下唇的高度； ( 7 ) 鼻尖与眼睛的中间位置处脸的宽度。 基于几何特征的识别方法具有如下优点：符合人类识别人脸的机 4 东北大学硕士学位论文 第一章绪论 理，易于理解；对每幅图像只需存储一个特征向量，存储量小；对 、圯照变化不太敏感。该方法同样也有其缺点：从图像中抽取稳定的特 征比较困难，特别是在特征受到遮挡时；对强烈的表情变化和姿态变 化的鲁棒性较差；一般几何特征只描述了部分信息，更适合于糖分类。 1 4 2 基于模板匹配的人脸识别方法 模板匹配法是一种经典的模式识别方法，这种方法大多是用归一化 匠相关，直接计算两幅图像之间的匹配程度。由于这种方法要求两幅图 像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归 一化和灰度归一化的工作。最简单的人脸模板是将人脸看成一个椭圆， 检测人脸也就是检测图像中的椭圆。另一种方法是将人脸用一组独立的 小模板表示，如眼睛、嘴巴、鼻子、眉毛和下巴等模板。但这些模板的 获得必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得 较高的连续边缘。即使获得了可靠度高的边缘，也很难从中自动提取所 需的特征量。为此，用弹性模板方法提取特征显示出其独到的优越性。 弹性模板由一组根据特征形状的先验知识设计的可调参数所定义。为了 求出这组参数，需要利用图像的边缘、峰值、谷值、强度信息及特征形 状的先验知识设计合适的能量函数。参数向能量减小的方向调整，当能 量降到最小时，这组参数对应的模板形状最符合特征形状。 b r u n e l l i 等人专门将基于几何特征的人脸识别方法和基于模板匹配 的人脸识别方法进行了比较，共得出结论：前者具有识别速度快和内存 要求小的优点，但在识别率上后者要优于前者。增加几何特征对于基于 几何特征的人脸识别方法只能轻微的提高识别率，因为要提高几何特征 的提取质量本身就十分困难，而且随着图像质量的下降和人脸遮挡的引 入，基于几何特征的人脸识别效果会大幅下降。总之，模板匹配法要优 于几何特征法。 1 4 3 特征脸方法 特征脸方法6 是从主成分分析【”( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 导出的一种人脸识别和描述技术。p c a 实质上是k l 展开的网络递推实 现，托l 变换”1 是图像压缩中的一种最优正交变换，其生成矩阵般为训 练样本的总体散布矩阵。特征脸方法就是将包含人脸的图像区域看作是 一种随机向量，因此可以采用k l 变换获得其正交k l 基底。对应其中 较大特征值的基底具有与人脸相似的形状，故将其称为特征脸。利用这 一5 东北大学硕士学位论又第一章绪论 些基底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸 识别和合成。识别过程就是将人脸图像映射到由特征脸张成的子空间上， 比较其与已知人脸在特征脸空间中的位置。 在传统特征脸方法的基础上，研究者注意到特征值大的特征向量( 即 特征脸) 并不一定是分类性能最好的方向，而且对k l 变换【9 1 而言，外在 因素带来的图像差异和人脸本身带来的差异是无法区分的，特征脸在很 大程度上反映了光照等因素的差异。实验表明，特征脸方法随着光照、 受度和人脸尺寸等因素的引入，识别率急剧下降，因此特征脸方法存在 着理论上的缺陷。近年来，发展了多种对特征脸的改进方法，如双子空 间法、相形歧义分析方法、f i s h e r 脸方法【1 0 l 1 等。其中f i s h e r 脸方法又 称为线形判别分析方法( l i n e a rd i s c r i m i n a n t a n a l y s i s ，l d a ) ，它选择与类 内散布正交的矢量作为特征脸空间，从而能压制图像之间的与识别信息 无关的差异，对光照及人脸表情变化都不太敏感。t o r r e s 从传统特征脸 发展出自身特征脸的概念，使用这种技术并结合人脸颜色信息，可以有 效地从动态图像序列中识别出指定的人脸。另方面，以p c a 为基础的 传统特征脸方法没有利用人脸的几何拓扑特征，为此p u j o i 等将p c a 与 人脸拓扑关系结合后提出的t p c a ( t o p o l o g i c a lp r i n c i p a lc o m p o n e n t a n a l y s i s ) 方法，其识别率较单一的p c a 类方法有所提高。m o g h a d d a m 等 将人脸图像差异分为脸内差异和脸间差异，其中脸内差异属于同一个人 脸的各种可能变形，而脸间差异则表示不同人的本质差异，而实际人脸 图的差异为两者之和。通过分析人脸差异图，如果脸内差异比脸闻差异 大，则认为两张脸属于同一个人的可能性大，反之属不同人的可能性大。 这种算法在1 9 9 6 年进行的f e r e t 人脸识别测试中取得了最好的识别效 果。其综合识别能力优于参加测试的其它任何算法，尤其是在克服光照 变化对识别的影响方面。此外，与k l 变换的思想比较接近但不是从统 计角度出发的另一种变换是奇异值分解【l 纠f s i n g u l a rv a l u ed e c o m p o s i l i o n ， s v d ) 的方法，即将图像矩阵的奇异值作为模式的特征矢量。s v d 方法具 有如下优点：人脸图像的奇异值具有良好的稳定性，当图像上有小的 扰动时，奇异值变化不大；奇异值表示了图像的代数特征，是一种本 质的内在特征，在某种程度上，s v d 特征同时拥有代数与几何两方面的 不变性，即对图像灰度值的比例变化、平移、旋转和伸缩不变性。 1 4 4 弹性图匹配方法 弹性图匹配方法是一种基于动态链接结构( d y n a m i c l i n k 6 东北大学硕士学位论文第一章绪论 a r c h i t e c t u r e ，d l a ) 的方法。它将人脸用格状的稀疏图表示，图中的节点 用图像位置的g a b o r 小波分解得到的特征向量标记，图的边用连接节点 的距离向量标记( 图1 2 ) 。匹配时，首先寻找与输入图像的最相似的模型 图，再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其 审点逼近模型图的对应点的位置。w o s c p t t 等人使用弹性图匹配方法，阱 f e r e t 图像库做实验，准确率达到9 7 3 。弹性图匹配方法对光照、位 移、旋转及尺度变化都不敏感，是一种优于特征脸方法的人脸识别方法。 此方法的主要缺点是对每个存储的人脸需计算其模型图，其计算量和存 储量都较大。为此，w o s c p t t 在原有方法的基础上提出聚束图匹配，部 分克服了这些缺点( 图1 3 ) 。在聚束图中，所有节点都已经定位在相应目 标上。对于大量数据库，这样可以大大减少识别时间。另外，利用聚束图 还能够匹配不同人的最相似特征，因此可以获得关于未知人的性别、胡须 和眼镜等相关信息。l e e 等提出了一种基于弹性图动态链接模型的方法， 既取得较高的识别速度，也获得了较理想的识别率，在一定程度上克服 了以往那些总是在速度与识别率之间进行折中的方法存在的缺点。 图1 2 稀疏图图1 3 聚束图 f i g 1 2s p a r s ef i g u r ef i g ，1 ，3a g g r e g a t ef i g u r e 1 4 5 其他人脸识别方法 以上介绍的是几种典型的人脸识别方法，从分析中可以看出，每种 方法各有其优缺点，因此一些学者倾向于将多种方法综合起来，或同时 利用不同种类的特征。如j i a 等人指出，要从大量人脸数据库中进行识别， 单靠扩展单一种类的特征数目是不够的，还要扩展与原特征集正交的其 它种类特征，他们在正面人脸几何特征的基础上，将侧面轮廓特征、跟 睛形状特征以及人脸轮廓特征也加入特征矢量，获得了较采用单一f 面 人脸几何特征为特征矢量方法高的识别率。l a i 等人结合小波变换1 13 l 与傅 里叶变换提出与平移、缩放、平面内旋转无关的光谱脸人脸表征方法。 目前人脸识别研究的对象基本上都是针对二维灰度图像，除此之外， 还有深度人脸图像识别和红外人脸图像识别方法。深度图像包含了人脸 的深度信息，g o r d o n 针对深度图像提出了一种基于模板的用图像数据的 曲率作描述子的识别方法。他使用一个旋转的激光扫描系统获得人脸深 一7 东北大学硕士学位论文 第一章绪论 度图像，获得的曲面数据以柱坐标形式存储，然后根据曲面上各点法向 最大和最小曲率的振幅和相位值定位眼睛、鼻子和两侧脸部区域。红外 人脸图像f 也叫温谱图) 对每个人来说都是惟一的，所以可以利用温谱图识 别人脸。另外在黑暗中也能捕捉红外光，因此用红外人脸图像在黑暗中 也能进行识别。 对于多c c d 摄像机系统，可以得到多视点人脸图像从而可以获得人 脸的立体模型，含有三维信息的特征能有效解决人脸在光照、伪装或年 龄变化等情况下的识别问题。 1 5 本文研究的目的和主要内容 基于k l 变换的主成分分析( p c a ) 方法是特征提取的一种有效的 方法，被广泛地应用在人脸识别等图像识别领域。尽管它本身还存在着 一定的缺陷，但由于其具有简单、快速、易行等特点，并且从整体上反 映了人脸图像的灰度相关性。本文用主成分分析法提取人脸图像的特征 向量，并针对主成分分析法存在的易受光照影响等缺点，对人脸图像进 行了一系列的预处理，如通过对图像的直方图修正补偿了光照的影响 然后对人脸图像做了两维的小波变换，提取其相对稳定的低频子带图像 用于后续的识别处理，达到降维的目的，降低了后续处理算法的复杂度。 人工神经网络1 是一种非线性动力系统，具有良好的自组织、自适应能 力，应用范围极其广泛，特别是它的自适应能力在模式识别方面表现的 尤为突出。在本文中，采用b p 入工神经元网络对由主元分析提取特征 向量的人脸图像进行识别。 本文的组织结构为：第二章为人脸图像预处理；第三章为人脸图像 的特征提取；第四章为b p 神经元网络分类器；第五章为实验结果及讨 论。 8 一 东北大学硕士学位论文 第二章人脸图像预处理 第二章人脸图像预处理 2 1 人脸图像灰度直方图的修正 本文采用主成分分析方法对人脸进行特征提取，主成分分析方法作 为一种图像的统计方法，图像中的所有像素都被赋予了同等的地位，因 此同一人脸在不同的光照角度、光照强度下的差异反映到特征空间中可 能会有较大的差异。因此角度、光照、尺寸及表情等干扰会导致识别率 的下降。比如同幅人脸在不同光照强度下的成像差异反映到特征空间 中可能会大于不同人脸在相同光照强度下的差异，从而导致误判。虽然 _ e 成分分析法受光照的影响较大，但它能容忍一定程度上的位置和姿势 的变化【l ”，因此本文在预处理中只对入脸图像进行光照补偿，而不对人 脸的位置进行矫正。 灰度直方图是数字处理中一种简单、有用的工具，它描述了一幅图 像的灰度级内容，是灰度值的函数，用平面直角坐标表示，横坐标表示 像素的灰度级别，一般为0 2 5 5 ，共为2 5 6 级灰度( 0 为黑色，2 5 5 为 白色) ，纵坐标表示了该灰度在这幅图像中出现的频率( 像素的个数) 。 任何一幅图像的直方图都包含了可观的信息，某些类型的图像还可以由 其直方图完全描述。两幅光照强度不同的直方图如图2 1 所示 9 东北大学硕士学位论文 第二章人脸图像预处理 幽21人脸图像的亘方图 f i g 2 1f a c ei m a g e sh i s t o g r a m 注意到在暗色的图像中，直方图的组成成分集中在灰度级低( 暗) 的一侧。明亮图像的直方图倾向于灰度级高的一侧，事实上，直方图窄 并集中于灰度级某部分的图像对比度低，而高对比度的图像直方图成分 覆盖了灰度级很宽的范围，而且像素的分布比较均匀，直观上说，若一 幅图像其像素占有全部可能的灰度级并且分布均匀，则这样的图像有高 对比度和多变的灰度色调。可见光照强度的不同对图像有很大的影响， 而这种影响直接由直方图显示出来了。因此可以通过修正直方图，来消 除这种光照的影响。 人脸图像的均值和方差分别定义7 1 为： 一l i - ? 一l、 “= 南e d i j 】 l 。1j ，2 uj 5 u 盯2 = 南4 釜1 h - i ( 刚 月一甜) ( 2 2 ) 盯2 = 南( d f 】 月一甜) u 纠 i uj u 其中，d 【阳们代表图像像素的灰度值，形代表图像的宽度，h 代表图像 的高度。 光照越强均值越大，光照越弱均值越小；图像的亮度变化越大，方 差越大，图像的亮度变化越小，图像的方差越小。因此要补偿光照强度 的影响，可以通过对图像的均值和方差进行处理。通过对人脸图像的每 一个像素的灰度值做2 3 式的运算实现： d 妇 j = 詈( d f 卜“) + ( 2 3 ) 这样把所有人脸图像处理成具有相同的均值和方差，这时的图像比 较清晰。灰度级为 0 ，l 一1 】范围的数字图像的直方图是离散函数 ( 吒) = 懈， 这里是第七级灰度，恢是图像中灰度级为气的像素个数。经常以图像中 像素的总数( 用n 表示) 来除它的每一个值得到归一化的直方图。因此， 一个归一化的直方图由p ( r d = n k m 给出，这里k = 0 ，1 ，l 一1 。简单地 一1 0 一 东北大学硕士学位论文第二章人脸图像颈处理 说，p ( 珞) 给出了灰度级为0 发生的概率估计值。一个归一化的直方图其 所有部分之和应该等于1 。使同一人脸在不同光照条件下的图像经直方 图均衡归一化后结果如图所示： ( a ) ( c ) 图2 2 光照补偿结果 f i g 2 2t h er e s u l to fi l l u m i n a t i o nc o m p e n s a t i o n 如图可见同一个人脸在不同光照强度条件引起的差异得到了补偿。 但同时在不同人脸肤色之间的差异也被模糊了。人在辨认人脸时，皮肤 的颜色的深浅也被认为是人脸的重要特征，比如对人来说黑色人种与白 色人种一眼就能区分开来，便是经过光照补偿时，肤色的差异与光照的 差异不加区分，因此肤色的差异就被部分的补偿掉了，如图所示，这是 光照补偿所带来的一个负面影响。 东北大学硕士学位论文第二章人脸图像预处理 光照补偿前光照补偿后 图2 3 光照补偿 f i g 2 3 i l l u m i n a t i o nc o m p e n s a t i o n 2 2 人脸图像的小波分解 2 。2 1 小波变换的优越性 小波分柝是当前应用数学中一个迅速发展的新领域，经过近十儿年 的探索研究，重要的数学形式化体系已经建立，理论基础更加坚实，与 f o u r i e r 变换、窗口f o u r i e r 变换( g a b o r 变换) 相比，小波变换是空间( 时 l 、日j ) 和频率的局部变换，因面能有效的从信号中提取信息，通过伸缩和 平移等运算功能对函数或信号进行多尺度细化分析( m u l t i s c a l e a n a l y s i s ) ，解决了f o u r i e r 变换不能解决的许多问题。对一个给定的信号， 如f ( t ) ，可以用众多的方法来描述它，如厂0 ) 的函数表达式，通过f o u r i e r 变换所得到的f ( t ) 的频谱，即f ( c a ) ，再如f ( t ) 的相关函数，其能量谱或 功率谱等。在这些众多的描述方法中，有两个最基本的物理量，即时间 和频率。时间和频率是描述信号行为的两个最重要的物理量。信号是变 化的，变化的信号构成了五彩斑斓的世界。此处所说的“变化”，一是指 信号的幅度随时间变化；二是指信号的频率内容随时问变化。给定了信 号f ( t ) 的函数表达式，或z 随r 变化的曲线，可以由此得出在任一时刻该 信号的幅值。如果想要了解该信号的频率成分，即“在x h z 处频率分量 的大小”，则可通过f o u r i e r 变换来实现，即 f ( 国) = e 邝- j 口 d t ( 2 4 ) 一1 2 东北大学硕士学位论文第二章人脸图像预处理 f ( t ) = - if ( c o ) e ”d c o ( 2 5 ) z 7 1 一 如果想知道在某一个特定时间，如所对应的频率是多少，或对某 一个特定点的频率，如珊。所对应的时间是多少，那么f o u r i e r 变换则无能 为力。 分析上面的公式，对给定的某一个频率，如。，那么，为求得该频 率处的f o u r i e r 变换f ( c o o ) ，( 2 4 ) 式对t 的积分仍需要从一。o 到+ 。，即需 要整个f ( t ) 的“知识”。反之，如果要求出某一时刻，如气处的值f ( t 。) ，由 ( 2 5 ) 式，需要将f ( c o ) 对国从一至+ 。作积分，同样也需要整个f ( c o ) 的 “知识“。实际上，由( 2 4 ) 式所得到的f o u r i e r 变换f ( c o ) 是信号f ( t ) 在整 个积分区间的时间范围内所具有的频率特征的平均表示。反之，( 2 5 ) 式也是如此，因此，f o u r i e r 变换不具有时间和频率的“定位”功能。 信号的幅度不但随时间变化，而且对现实物理世界中的大部分信号， 其频率也随时间变化。实际上，在时域中愈是在较短时间内发生频率突 变的信号，其包含的信息就愈多。但由f o u r i e r 变换f ) 看不出在什么 时刻发生了此种类型的突变。f o u r i e r 变换反映不出信号频率随时间变化 的行为，因此，它只适合于平稳信号，而对频率随时间变化的非平稳信 号，它只能给出一个总的平均效果。 g a b o r 在1 9 4 6 年提出应用时间和频率这两个坐标同时来表示一个信 号，即g a b o r 展开： x ( ，) = c 。，。g 。( f ) = c 。，。g o m t ) e ”。 ( 2 6 ) n 式中g ( f ) 是窗函数，g ，是展开系数，m 代表时域序号，即代表频域 序号。由此给出f o u r i e r 变换的定义为： 假设a t ) l 2 ( r ) ，则以g ( t ) 作为窗函数的窗口f o u r i e r 变换定义为： w v a c o ，6 ) = f ( t ) g ( t - b ) e 一。“d t ( 2 7 ) 令 6 ( f ) = g ( t - b ) e 则：w f 。( c o ，6 ) = e o ) 瓦( 0 a t = ( ，( f ) ，g “( f ) ) 窗口f o u r i e r 变换的物理意义：， 一1 3 一 r 2 8 1 ( 2 9 ) 东北大学硕士学位论文第二章人脸图像预处理 ( a ) 若g ( t ) 的有效窗口宽度为d ，则呱( c o ，6 ) 给出的是i 厂( t ) 在局部时问 范围【b d 2 ，b + d ，2 内的频谱信息。 ( b ) 有效窗口宽度d ，越小，对信号的时间定位能力越强。窗口傅立叶 变换呱( c o ，b ) = 锁t ) ，g 吣( t ) 给出的是信号在时域上的处理信息，一个 很自然的问题是窗口傅立叶变换在频域上是怎样处理信号的? 假设( t ) 的傅立叶变换为f ( r 1 ) ，g 。，b ( t ) 的傅立叶变换为g 。，b ( 1 1 ) ，则 根据p a r s e v a l 定理有： f 省：( o j ，b ) = ( 2 兀)( 2 10 ) 窗口f o u r i e r 变换频域上的物理意义： ( a ) 若g ( t 1 ) 的有效窗口宽度为d 。，则r ( 0 ) ，b ) 给出的是f ( q ) 在局 部频率范围 ( 0 一d 。2 ，+ d 。2 】内的频谱信息。( b ) 有效窗口宽度d 。越小， 对信号的频率定位能力越强。从物理意上来看d 。和d 。是矛盾的，根据 理论分析我们可以得出结论，窗口f o u r i e r 变换的时间分辨率和频率分辨 率不可能同时提高，只能以一种分辨率的降低来换取另一种分辨率的提 高。而且以高斯函数作为窗函数相对来说综合效果最好。窗口f o u r i e r 变换窗口没有自适应性，只适合分析所有特征尺度大致相同的信号，不 适于分析多尺度信号和突变过程。最佳解决方法是引入窗口变化机制， 同时求各种窗口大小下的变换，这样变换系数中就同时包含各种特征尺 度下信号的信息。 2 2 2 多分辨率展开 2 2 2 1 序列展开 信号或函数f ( x ) 常常可以被很好地分解为一系歹0 展开的函数的线性 组合。 ，( z ) = 乞饩( 功 ( 2 11 ) t 其中，k 是有限或无限和的整数下标，是具有实数值的展开系数，仇( x ) 是具有实数值的展开函数。如果展开是惟一的，也就是说对任何指定的 f ( x ) 只有一个系列与之相对应，则( x ) 称为基函数，展开序列 纯( 戈) 称 为可被这样表示的一类函数的基。可展开的函数组成了一个函数的空汹， 被称为展开集合的闭合跨度，表示为： v = - 5 魏口月 张( z ) ) 1 4 f 2 12 ) 东北大学硕士学位论文第二章人脸图像预处理 2 2 2 2 尺度函数 由整数平移和实数二值尺度、平方可积函数败( x ) 组成的展开函数集 合，即集合 纯( x ) ) ，其中， 妒“( x ) = 2 必p ( 2 ，x 一女) ( 2