（计算机应用技术专业论文）多姿态人脸定位和识别方法研究.pdf

中北大学学位论文 多姿态人脸定位和识别方法研究 摘要 虽然人脸自动识别系统的研究在国内外还有很多难题有待解决，但它在理论研究和 实际应用中的潜在价值一直激励着研究人员的不懈努力，同时它也带动了其它相关学科 的研究工作。本文是在检测出人脸的基础上，对人脸的面部特征进行定位和识别的研究， 本文的主要研究内容包括： 首先，本文引入了近似直方图的概念。目的是既能看到灰度值的分布情况，又能看 到每个灰度值所拥有的点的个数。根据近似直方图的曲线走向，分析了人脸图像的灰度 分布情况，看出灰度图像中并没有明显的变化规律，进而转向积分投影图。 其次，本文分析了现有的人脸特征定位方法，并在此基础上提出了一种改进的面部 特征点粗定位方法。该方法对灰度图像进行横向和纵向的积分投影，然后分别对求出的 投影曲线求导，利用积分投影曲线图中的谷底特性来寻找并定位出眼睛的位置。接着， 使用脸部形态学的先验知识把嘴巴和鼻子的位置也定位出来。粗定位的结果为可变形模 板提供了良好的初值，在此基础上就可进行精确定位。 另外，本文参照了特征子空间与人脸识别结合的方法，进一步加深了它的应用环境， 并将此原理应用在与头部姿态相关的人脸识别过程中，提出了基于特征子空间的判别待 识别人脸姿态的准则。 关键词：人脸面部特征定位，近似直方图，积分投影，可变型模板，特征子空间 中北大学学位论文 r e s e a r c ho nm u l t i p o s ef a c el o c a t i o na n dr e c o g n i t i o nm e t h o d a b s t r a c t t h o u g ht h e r ea r eal o to fd i f f i c u l t i e si nt h ef i e l do fa u t o m a t i cf a c er e c o g n i t i o n ，p o t e n t i a l v a l u ei sa l w a y s e n c o u r a g i n gr e s e a r c h e r su n t i r i n ge f f o r t sa l lt h et i m ei nt h e o r e t i c a lr e s e a r c h a n dp r a c t i c a la p p l i c a t i o n ，a tt h es a m et i m e ，i tp r o m p t st h er e s e a r c ho fo t h e rr e l e v a n t d i s c i p l i n e st o o t h i sp a p e rs t u d i e sf a c el o c a t i o na n dr e c o g n i t i o no nt h eb a s i so ff a c ed e t e c t i o n t h ec o n t r i b u t i o n si nt h i sp a p e ra g ed e s c r i b e db e l o w f i r s t l y ，i no r d e rt os e et h en u m b e ro f p i x e li ne a c hg r e yl e v e l ，t h ec u r v eo f t h eg r a yi m a g e ， t h ed i s t r i b u t i o ns i t u a t i o no f t h ev a l l e ya n d p e a k ，t h i sp a p e ri n t r o d u c e st h ec o n c e p to f t h e a p p r o x i m a t eh i s t o g r a m s e c o n d l y ，p r o p o s ea l li m p r o v e da n dr o u g hf a c i a lf e a t u r el o c a t i o ns t r a t e g y t h i sm e t h o di s m a i n l yb a s e do nc h a n g i n gt o t a lm a r kp r o j e c t i o no r d e ra n dd i r e c t i o no f t h ef a c i a lc h a r a c t e r i s t i c a n dm a k e su s eo f v a l l e yb o t t o mc h a r a c t e r i s t i ci nt h ec u r v e g r a p ht ol o o kf o ra n dl o c a t et h e p o s i t i o nw h e r et h ec h a r a c t e r i s t i co fa p p e a r i n gd e p a r t m e n ti sl i g h t e d a f t e rr o u g hl o c a t i o n ，i t c o m b i n e st h ev a r i a b l et e m p i a t ea n d p r i o r ik n o w l e d g eo ff a c em o r p h o l o g y ，a n d d i r e c t su st o t h ea c c u r a t e1 0 c a l i z a t i o no fc h a r a c t e r i s t i c f i n a l l y ，i n t r o d u c et h es u bs p a c eo fc h a r a c t e r i s t i ct of a c er e c o g n i t i o n ，f u r t h e rs t r e n g t h e ni t s a p p l i c a t i o ne n v i r o n m e n t ，a n du s et h i sp r i n c i p l ei nt h ec o u r s eo ff a c er e c o g n i t i o nc o r r e l a t i n g w i t 1p o s t u r e k e y w o r d s ：f a c i a lf e a t u r el o c a t i o n ，s i m i l a rh i s t o g r a n a ，m a r kp r o j e c t i o n ，d e f o r m a b l e t e m p l a t e ，f e a t u r es u b s p a c e 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：墨蕉 日期：2 耐3 。心 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包 括：学校有权保管、并向有关部门送交学位论文的原件与复印件； 学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文披查阅或借阅；学校可以学术交流为目的，复 制赠送和交换学位论文；学校可以公布学位论文的全部或部分内容 ( 保密学位论文在解密后遵守此规定) 。 签名；曼蕉日期：塑：主：堕 导师签名：皇邋 日期： 趟：王兰笙一 中北大学学位论文 1 1 课题背景 1 绪论 人们面部的识别确认是人类自身的基本功能，一个普通人能够识别出成千上万种不 同的人脸，能够认出多年未见而面目大变的朋友，或能够从严重受损的照片中队出自己 的亲人，这些都是人类本身所具有的功能。然而，现今的人们为了寻求越来越方便的生 活方式，已经开始利用计算机视觉来代替人类活动去处理这些工作。技术和产业的迅猛 发展极大地拓宽了计算机在人类社会生活中的应用范围，在更加广泛地成为专业人员的 研究对象或者科研工具的同时，它已经迅速渗透到普通人日常生活的方方面面。尽管计 算机本身并不具有生命和情感，但计算机作为一种高级的受命体，事实上很多人已经在 心理上把计算机看成了一种类似于人类的生命体，希望能够像人类之间的交往一样，也 能够与计算机自然和谐的相处。在人类之间的交流中：我们不但通过语言来表达自己和 理解别人，同时还经常使用特殊的语气、声调、手势、表情乃至身体的动作来表达自己 的思想和情感，甚至只可意会，不可言传的信息；反之，人机交互的多数现状却令计算 机研究者们极为尴尬：除了按照规则、有序的方式敲击计算机的键盘和鼠标之外，计算 机无法与使用者交流更淡不匕理解使用者的情感并做出合适的反应。即使是和它朝夕相 处的使用者，无论他使用什么话语，多么特殊的语气、声调、手势、表情乃至身体的多 么剧烈的动作，它也同样是“面”无表情的。于是众多的研究者加入到多功能感知的研 究上来：首先让计算机能够“感觉”来自视觉、听觉乃至触觉、嗅觉、味觉等多种输入 信息，然后由此理解使用者的思想意图、情感，最终目的就是要实现人机之问的和谐交 流。而要实现这一目的，人脸的检测和识别就成为人机智能接口的重要交互通道。 1 2 课题研究目的 利用计算机视觉信息的人脸识别是实现身份确认的有效途径，各种信息的融合日益 受到工作者的重视。人脸包含丰富的人类思想和情感信息，是研究人员关注的焦点，可 以预见，这种技术的开发成功及其广泛普及使用将会产生出广泛而深远的社会意义。本 中北大学学位论文 文研究在计算机视觉下的脸部特征定位和人脸识别问题。 1 3 人脸识别系统的概述 基于讨算机视觉的人脸识别技术是个跨越图像处理( i m a g ep r o c e s s i n g ) 、模式识 另q ( p a t t e mr e c o g n i t i o n ) 、计算机视觉( c o m p u t e rv i s i o n ) 、神经网络( n e u r a ln e t w o r k ) 、人工 智能( a r t i f i c i a li n t e l l i g e n c e ) 以及生理学f p l a y s i o l o g y ) 、心理学( p s y c h o l o g y ) 等许多学科研 究领域的综合性研究课题，它具有重要的研究价值。基于计算机视觉通道信息的人脸面 部感知系统，包括人脸检测和跟踪，面部特征定位，面部识别，人脸归类( 年龄，种族， 性别等的判别) ，表情识别等子系统，而人脸自动识别系统包括两个主要技术环节人脸 检测与定位和特征提取与人脸识别，如图1 1 所示。 输入人脸图像 输出匹配结果 图1 1 人脸识别的主要技术环节 有些人能够识别出给定目标是否为人脸，却不能通过人脸辨认出具体的人。当然， 他们一般可以利用其他信息如声音、服饰等来识别人。对于倒置或底片图像中的人脸， 一般很容易检测出来，但在辨认时却会发生困难，这些都说明人脸检测与人脸识别是两 个不同的过程： 、10广1、f0厂 中北大学学位论文 1 人脸检测与定位：检测图像中是否有人脸，若有，将其从背景中分割出来，并 确定其在图像中的位置。在某些可以控制拍摄条件的场合，一些证件照片将人脸限定在 标尺内，背景简单，定位比较容易。在另一些情况下，人脸在图像中的位置预先是未知 的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下因素的影响：i ) 人脸在图像中的位置、角度和不固定尺度以及光照的影响；2 ) 发型、眼睛、胡须以及 人脸的表情变化等；3 ) 图像中的噪声。 2 特征提取与人脸识别：特征提取之前一般需要做几何归一化和灰度归一化的工 作。前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指对图 像进行光照补偿等处理，以克服光照变化的影响。提取出待识别的人脸特征之后，即可 进行特征匹配。这个过程是一对多或一对一的匹配过程，一对多是确定输入图像为图像 库中的哪一个人，一对一是验证输入图像的人的身份是否属实。 以上两个环节的独立性很强，它们都作为一个独立的模式识别问题引起人们的关 注。在许多特定场合下人脸的检测与定位相对比较容易，因此特征提取与人脸识别环节 得到了更广泛和深入的研究，反之，在考虑各种复杂情形下的人脸识别系统时，人脸检 测与定位也得到了较多的重视。 1 4 国内外研究动态 许多文献资料中都指出，计算机自动人脸识别研究始于1 9 6 6 年p r i 的b l e d s o e i l 】的 工作，三十多年以来，科研工作者在计算机自动人脸识别方面进行了大量的研究，取得 了丰硕的成果j 。其中m i t 媒体实验室6 1 ，m i t a i 实验室6 1 ，意大利的实验室等 】、 m a r y l a n d 大学4 1 、c m u 剐。国内的主要工作有：清华大学1 9 1 ，南京理 = ：大学 1 0 - 1 2 】，中科 院自动化所，哈尔滨工业大学计算机系 1 3 - 1 7 1 等，南京理工大学在用s v d 提取代数特征 进行人脸识别方面展开了些开创性的工作。 1 4 1 人脸检测与定位方法 人脸识别系统的每个环节在不同阶段都有不同的发展经历，研究者们在不同的阶段 也都有不同的研究重点。 中北大学学位论文 1 初始期 这一阶段内的研究更多的是以检测精度的提高和各种视角的人脸检测为主要内容， 速度问题的考虑相对较少。一些代表性的学者和他们的研究有：m i t 的s u n g 等提出的 基于样本学习的方法 1 8 - 1 9 1 。这种方法将人脸检测看作区分人脸样本与非人脸样本的两类 模式分类问题，通过对人脸样本集和非人脸样本集进行学习以产生分类器。目前国际匕 普遍采用人工神经网络，它避免了复杂的特征提取 作，能根据样本自我学习，具有一 定的鲁棒性和自适应性，它利用训练样本到各个簇中心的距离训练一个多层感知器进行 分类，用来实现榆测人脸。值得强调的是为了解决人脸检测中“非人脸”样本的选取问 题，s u n g 等使用了“自举”( b o o t s t r a p ) j j 法：首先建立一个仪使用“人脸”样本和少量 “非人脸”样本训练的初始分类器对- - n 图像进行检测，将所有的错误报警f 不是人脸 而被错检为“人脸”的结果) 加入“非人脸”样本库；然后使用得到的“人脸”和“非 人脸”样本训练构造新的分类器重新进行检测。以上过程不断迭代，直到收集了足够的 “非人脸”样本。这种非人脸的收集方法后来被许多研究者使用。m ly a n g 提出了 一种基于s n o w ( s p a r s en e t w o r ko fw i n n o w s ) 的学习体系 2 0 - 2 1 1 ，用于检测具有不同特 征、表情、姿态和光照条件下的人脸。在学习域内，它对所有可能的、未知先验概率 的、数量巨大的特征( 共采用了1 0 2 ，4 0 0 种可能的特征) 进行裁减。他们用于训练的人 脸图像库主要来自o l i v e t t i ，u m i s t ，h a r v a r d ，y a l e 以及f e r e t 等。他们还将结果同采 用神经元网络，k u l l b a c k 相关信息，b a y e s 分类器和s v m 的结果进行了比较，表明效果 很好。h s c h n e i d e r m a n 等提出了一种基于后验概率估计的方法来对三维的物体进行检 n t 2 2 1 。该方法利用贝叶斯原理将后验概率转化为一个计算类条件概率密度的问题，将 难以估计的先验概率用一个比率参数代替，作为调节检测器敏感度的参量。他们先对样 本进行小波变换，提取出1 7 个特征，再对这1 7 个特征分别进行统计，通过统计计算 训练样本的直方图求得人脸和非人脸两种模式的概率分布，然后用估计到的概率来检测 正面人脸和侧面人脸。 2 发展期 所有划分为发展期的研究都对人脸检测中的速度问题进行了较多的考虑，使系统向 实际应用要求的速度逐步靠拢。这个时期中的人脸检测算法从对系统加速的不同角度方 面来看，可以分为咀下几类： 中北大学学位论文 ( 1 ) 计算量小的特征 由于肤色和边缘特征计算量相对较少，因此它们经常用于提高检测速度，或者直接 使用，或者是作为系统的预处理部分。只使用单的肤色或者边缘特征，一般情况下误 检率比较高，检测精度也有限。因此它们更多是用在一个检测系统的初始阶段，对图像 中的人脸位置进行初定位，然后再用其它的特征进行判断，去除初检结果中的假脸，这 样可以既提高检测的速度又保证了检测的精度。 ( 2 ) 由粗到精的分层处理 b f r s b a 采用了一种由粗到精的搜索策略25 1 ，其思想是利用跳像素加大步长，具体 来说在每一级金字塔结构的搜索中，先采用较大的步长搜索出可能的候选区域，再在这 些区域周围加大搜索的分辨率，直到单个像素为止。该思想还先后被许多的学者所采 用，有的学者还利用了人的头部轮廓特征进行分层处理。如c r a w 等首先在低分辨率 图像中使用一个轮廓模板匹配出人脸的大致范围，然后在高分辨率图像中使用s o b e l 算 子获得边缘的位置和方向，并连接出完整的人脸轮廓2 5 1 。h s c h n e i d e r m a n 等也使用了 多分辨率的信息复用和由粗到精的搜索策略提高检测速度 2 5 之6 1 。在这方面做出贡献的还 有通过采用分级的方法减少检测过程中每级的计算量加快速度，采用神经元网络系统 实现快速的人脸检测。 ( 3 ) 多线程( m u l t i t h r e a d ) 的方法 s h p u n g i n 使用了多线程的方法实现人脸跟踪1 2 7 。该系统包括两个处理模块：第一 个模块使用颜色、形状和一些动力学特征来决定人脸候选区域；第二个模块是一个神经 网络分类器，任务是对第一个模块中得到的人脸候选区域进行确认。系统使用了多种先 验信息和神经网络分类器，计算量比较大，因此影响了人脸跟踪速度。鉴于此，作者在 该文中使用了多线程的方法对两个模块进行并行处理，这样系统能够及时把处理器资源 分给不同的模块，从而在一定程度上解决了速度问题，使系统达到了实时。 ( 4 ) 降低特征空间的维数 c j l i u 提出了一种基于b a y e s 的特征判别人脸检测方法( b d f ) 并采用p c a 进 行降维以减小计算量 2 引。他采用一个数据库进行训练，然后在不同的数据库上进行测试， 结果表明陔算法具有鲁棒的泛化能力，其特点在于用特征分析的方法提取出一个由输入 图像、其一维的h a a r 小波表述及其幅值投影相结合而形成的高维特征向量，然后采用 中北大学学位论文 b a y e s 分类器检测一幅图像中出现的多幅人脸。 ( 5 ) 神经网络预处理 为了检测平面内旋转的人脸，有的研究者采用了将图像进行不同角度的旋转以提高 平面内旋转人脸的检测精度的方法，但是这样将降低检测的速度。为此，r o w l e y 增加 了一级神经网络用于检测平面内旋转的人脸角度，在对原图像进行反旋转后，送到正面 人脸检测器中进行检测 2 5 - 2 9 1 。对于正面的人脸检测器，他采用了两个多层的神经元网 络来从人脸利非人脸样本中学习它们各自的模型( 如灰度值，像素的空间联系) ，其正 而人脸检测器由两部分组成：多个神经元网络组成的前端检测器和综合前端检测器的决 策模型。为了检测旋转的人脸，他又采用了一个神经元网络，它对每个输入的子窗口中 可能的人脸方向进行判决，并根据判决得到的人脸旋转角度对该窗口进行反旋转，再将 该窗口送入正面人脸检测器进行检测。 ( 6 ) 其他 此外，还有一些学者采用其它算法来达到提高速度的目的。如c s a n d e r s o n 提出了 快速的特征提取方法 3 0 - 3 1 1 ，e d g a ro s t m a 提出了减少s v m 在运行时的时间复杂度3 2 】【3 5 j ， j i ey a n g 的人脸跟踪系统1 3 3 1 ，p u r d yh o 的旋转人脸检n n n e 3 4 1 ，r a p h a e lf e r a u d 的基于 神经网络的人脸检测系统【3 0 j | _ 3 2 【3 5 ，y i n gz h u 的基于小波特征的算法等等。 3 转折期 在初始期和发展期内的文献表明，虽然经过从多学者们的共同努力，人脸检测的速 度有了一定的提高，但相对于人脸检测的精度而言进步相对较慢。可以认为p v i o l a 的 文章的发表 3 5 1 是人脸检测速度提高的一个转折点，他本人也在人脸检测的速度提高方面 做出了突出贡献。他通过综合a d a b o o s t 和c a s c a d e 算法实现了实时的人脸检测系统， 使得人脸检测从真正意义上走向实用。该文主要有以下几点贡献： ( i ) 第一次引入了“积分图”的概念，这使得检测器中特征的汁算非常快。 ( 2 ) 基于a d a b o o s t 的学习算法。它能从一个很大的特征集中选择很小的一部分关 键的特征，从而产生一个极其有效的分类器。最初的a d a b o o s t 学习算法可用于提高一 个简单的分类器( 有时又称为弱分类器) 的性能，它最终形成的强分类器的训练错误率 接近于零，而且具有很好的推广性。v i o l a 共定义了1 8 0 ，0 0 0 种矩形特征，这个数远大于 图像中像素的数目。每个特征都能很快计算出来，再通过试验选出- d , 部分作为特征以 中北大学学位论文 形成一个有效的分类器。要得到最终的强分类器，最重要的是如何找到这些特征。为此 起见，每个弱分类器的设计都是从能对正例和反例进行正确分类的所有弱分类器的集合 中选择错误率最小的一个。对每个特征而言，弱学习器决定弱分类器的最佳的门限值， 使其具有最小的误分样本数。 ( 3 ) 在级联的检测器中不断增加更多的强分类器。这可以很快排除背景区域，从 而节约出时间用于对那些更像人脸的区域进行计算。该级联的分类器可视为一个智能的 具有能够集中注意力的机构，而不像以前的那些算法那样通过统计来保证去掉的那些区 域不包括感兴趣的区域。 4 综合期 近年来，信息融合技术在人脸识别领域针对相同数据基提取的相同或不同特征，可 以在不同分类算法之间实现算法级的融合：针对不同输入数据基( 如侧面人脸和正面人 脸) 的相同或者不同算法之问可以实现结果之间的融合。在个人身份验证领域，由于来 自多种通道的信息可以相互支持和补偿，尤其是在某一通道高噪声的情况下，多通道信 息融合技术可以得到比单通道更好的性能和更高的可靠性。 1 4 2 人脸特征提取与识别方法 识别人脸主要依据那些在不同个体之问存在较大差异而对于同一个人则比较稳定 的特征，具体的特征形式随识别方法的不同而不同。早期研究较多的静态人脸识别方法 有基于几何特征的人脸识别方法和基于相关匹配的人脸识别方法。目前，静止图像的人 脸识别方法主要有三个研究方向：1 ) 基于统计的识别方法，包括特征脸方法和隐马尔 科夫模型方法；2 ) 基于连接机制的识别方法，包括一般的神经网络方法和弹性图匹配 方法：3 ) 其它一些综合方法或处理非二维灰度图像的方法。 1 基于几何特征的人脸识别方法 常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征、脸型特征 以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。在 这种基于几何特征的识别中，识别总归为特征矢量之间的匹配，基于欧氏距离的判决是 最常用的识别方法。侧影识别是最早的基于几何特征的人脸识别方法1 3 5 1 1 3 7 】，主要是从人 脸侧面轮廓线上提取特征点入手。一般将侧影简化为轮廓曲线，从中抽取若干基准点， 中北大学学位论文 利用这些点之间的几何特征来进行识别。由于现在的证件照片多为正面，而且侧面照片 约束越多，所以对侧面人脸识别的研究最近己不多见。正面人脸识别最关键的一步是合 适的归一化，使之不依赖于图像中人脸位置的尺度和旋转变化。识别所采用的几何特征 是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点问的 欧式距离、曲率、角度等。基于几何特征的识别方法具有如下优点：1 ) 符合人类识别 人脸的机理，易于理解；2 ) 对每幅图像只需存储一个特征矢量，存储量小：3 ) 对光照 变化不太敏感。该方法同样也有其缺点：1 ) 从图像中抽取稳定的特征比较困难，特别 是在特征受到遮挡时；2 ) 对强烈的表情变化和姿态变化的鲁棒性较差；3 ) 一般几何特 征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，更 适合于粗分类。 2 基于模板匹配的人脸识别方法 模板匹配法是一种经典的模式识别方法，这种方法大多是用归一化互相关联，直接 计算两幅图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相同的尺度、 取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。最简单的人脸模板 是将人脸看成一个椭圆，检测人脸也就是检测图像中的椭圆。另一种方法是将人脸用一 组独立的小模板表示，如眼睛、嘴巴、鼻子、眉毛和下巴等模板。但这些模板的获得必 须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘。即使 获得了可靠度高的边缘，也很难从中自动提取所需的特征量。为此，用弹性模板方法提 取特征显示出其独到的优越性【3 。弹性模板由一组根据特征形状的先验知识设计的可调 参数所定义。为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度信息及特征 形状的先验知识设计合适的能量函数。参数向能量减小的方向调整，当能量降到最小时， 这组参数对应的模板形状最符合特征形状。 3 特征脸方法 特征脸方法是从主成分分析导出的一种人脸识别和描述技术1 3 。p c a 实质上是k l 展开的网络递推实现，k l 变换是图像压缩巾的一种最优正交变换，其生成矩阵一般为 训练样本的总体散布矩阵。特征脸方法就是将包含人脸的图像区域看作是一种随机向 量，因此，可以采用k 、l 变换获得其正交k l 基底。对应其中较大特征值的基底具有 与人脸相似的形状，故将其称为特征脸。利用这些基底的线性组合可以描述、表达和逼 中北大学学位论文 近人脸图像，因此可以进行人脸识别和合成。识别过程就是将人脸图像映射到由特征张 成的子空间上，比较其与已知人脸在特征空间中的位置。 1 - 5 人脸识别的不同分类 根据人脸识别系统的初始输入模式的不同，人脸识别的研究可以分为不同的种类。 从是否含有运动信息的角度可以分为将人脸识别任务分为静态图像识别和动态序列图 像识别的两类。虽然后者可以得到更多的关于人脸的信息，但是后者存在人脸精确分割 问题，到目前为止大多数的人脸识别研究都是在静态图像上进行的。最近几年，基于模 型的编码的研究促进了对后者的研究。从输入人脸模式的属性可以将人脸识别分为： 1 侧面图像或者剪影识别：人脸识别研究的初期得到了很好的发展，现在通常作为 脸部正面识别和多姿态识别的辅助或者用于融合算法。基于侧面的人脸识别多数采用基 于几何特征的识别方案。 2 正面或准正面人脸识别：8 0 年代和9 0 年代初期多数人脸识别研究的重点，主要 的方法有：基于特征的方案2 2 1 1 2 ”，基于局部或全局模板匹配【3 8 】，特征脸 1 6 j 【2 “，主成分 分析【2 9 1 ，人工神经网络 2 5 - 2 6 1 等。 3 多姿态人脸汉别：9 0 年代中后期研究的热点问题，正在得到进一步研究。多视图 模板匹配【3 8 ，基于3 d 人脸模型的姿态补偿3 8 】，弹性图匹配是解决多姿态问题的主流方 法。 4 深度图像识别：尽管由于深度信息的获得可以使得识别性能增强，但由于需要激 光扫描器等特殊设备，应用和研究都受到了限制，在特殊领域会有很好的应用前景。 目前人脸识别研究的重点是多姿态识别，不同算法的融合，实用系统的研究设计以 及多通道信息融合，但是到现在为止即使基于正面人脸的识别尚未达到很实用的地步。 在人脸识别的综述文献中t 3 6 1 通常将人脸识别技术粗略的分为几大类，如：基于特征 的人脸识别、基于模型的人脸识别、模板匹配、统计分类方法、弹性图匹配、人工神经 网络等等，这种分类方法的局限性在于没有明确的将人脸识别作为一种“类智能”活动 中的“知识”运动描述清楚。 中北大学学位论文 1 5 1 描述人脸的方法 人类是最优秀的人脸识别系统，人类识别系统具有最高的鲁棒性，人能在宽广的光 照变化范围内识别人脸，当人脸部分遮挡，或发生一定形变，或经过一段相当长的时间 后，仍能对其进行正确识别。尽管如此，人类本身仍很难确切地描述人脸，而只能定性 的描述一些特征，比如眼睛大大的，鼻子有点扁，以及对这些特征的总体印象。对人类 而言，人脸是皮肤，肌肉和器官的组合。面对计算机来说，人脸图像是像素的灰度值矩 阵，计算机中用什么样的知识来表达人脸对象就成为一个很关键的问题。一组好的特征 不仅要充分反映不同人脸之间微妙的差别，同时又必须保证同一对象的不同人脸图像特 征有好的聚类性( 实际上，所有的研究都遵循这个原则) 。人脸识别文献中所采用的主 要特征可以总结为一下几种： 1 语义描述：这类特征实际上不是人脸的机内表达，而是较高层次的语言描述，如： 大鼻子，小眼睛，尖下巴等等。这类特征通常在信息查询中用作用户的输入请求。 2 面部构形几何特征：这类特征首先定位面部的主要器官，如眼睛，鼻子，嘴，下 巴和眉毛等，然后从中选择一组反映他们之间的距离，角度，区域形状等器官的结构配 置特征。通常用于侧面和正面人脸识别中，是比较传统的人脸描述方法之。采用这种 特征描述方法在多姿态的情况下，准确的定位出特征点是比较困难的，另外，它完全的 抛弃了纹理信息，可能无法保证人脸知识表达的完备性。 3 全局局部模板：与几何特征不同，基于模板的人脸描述充分利用了面部图像的 纹理信息，保留了人脸的细节。全局或者局部模板都得到了尝试，在人脸识别领域是一 种传统而被广泛采用的方法，许多文献也证明了这种描述较特征表达的优越性i ”l 2 5 】【3 5 ， 但是在使用中有几方面的问题需要认真解决：1 ) 存储的不紧凑性，尤其是在多姿态情 况下模板需要大量的存储空间；2 ) 计算的复杂性；3 ) 对光照变化的敏感性： 4 变换系数特征：如主成分分析、k l 扩展、f o u r i e r 变化，h a d a m a r d 变换，w a v e l e t 等，这类方法的基本思想是将人脸在空间域内的高维描述转化为频域或者其他空间内低 维描述 3 5 - 3 6 j 。p c a 将图像看作具有一定分布的随机向量，由于人脸总体构形的相似性， 人脸图像在其中的分布不是随机的，p c a 可以得到人脸图像分布的主分量方向，从而得 到人脸图像的主分量来表达人脸，从本质上讲这是一种基于统计分析的信息压缩方法。 1 0 中北大学学位论文 k l 变化类似于p c a ，是一种在最小均方差意义上最优的去相关和降维变换。 5 奇异值分解：将图像看作一个数值矩阵，对其进行s v d 分解，得到的奇异值作为 人脸图像的描述。由于奇异值向量与图像有一一对应关系而且具有较好稳定性和各种变 换的不变性，代数特征反映了图像的本质，可以用作人脸描述。 6 隐含特征：人工神经网络被应用于人脸图像的特征提取中来，但是到目前为止， a n n 所提取的特征物理意义是不明确的，笔者称之维隐含特征。已经证明了自联想神 经网络与主成分分析的一致性。 7 可变模型：人脸有一些关键点组成的2 d 拓扑图形来描述，该图形中的节点用 其空问位置及其与其领域节点之间的空间和角度关系来描述。弹性图反映人脸的结构和 形状，将其结合面部纹理可以有更精确的表达 4 0 j 。 8 3 d 人脸模型：3 d 人脸表面模型由于不仅反映了人脸图像平面内的结构信息 3 5 - 3 6 1 ， 同时还保存了人脸的深度方面的结构信息，因此3 d 人脸模型是人脸的较完备描述。3 d 人脸模型通常采用三角网格组成的图形来描述。基于模型的人脸图像编码和多姿态人脸 识别促进了3 d 人脸模型的发展和应用。9 灰度分布统计特征：这类特征将图像看作二 维随机过程，提取其中的灰度分布特征：如直方图形状。 l o 边缘、纹理、轮廓和区域等视觉特征：这类特征通常采用一些低层次的图像处理 算法得到的响应函数，试图在继承模板表达细节信息的同时实现知识表达的压缩和降低 光照变化的影响。 人脸知识表达的方法并不仅仅局限于上述的几种，不同的研究人员对此也有不同的 理解，很多人脸描述方法并没有直观的物理意义，但是作为后续： 作的基础，人脸的知 识表达理应得到重视和更好的总结。 1 5 2 特征提取方法 特征抽取是模式识别中一个古老而又基本的问题，寻找有效的特征是解决识别问题 的关键。特征提取通常被认为是模式识别问题的重点和难点，人脸的特征提取也不例外。 不同的人脸知识表达必然有不同的特征提取策略，实际上很多技术是通用的，而且有一 些人脸识别方案并没有显式的特征提取过程。 1 手工定位：在人脸识别研究的初期是一种主流的方法。在允许交互的应用环境中， 中北大学学位论文 人工干预往往可以取得比完全自动识别要好很多的效果。 2 人脸检测和面部分割：主要的方法有：模板匹配、e i g e n f a c e 、肤色模型和人工神 经网络等。 3 模板匹配：用相应的局部灰度图片或者滤波输出作为参考模板，在可能的人脸区 域内进行相关量的计算，搜索极小点，从而可以得到相应器官的粗略的位置。 4 变形模板：变形模板可用于对眼睛、嘴、下巴和眉毛等器官形状的获取。由于变 形模板不但充分利用了器官构形的全局的先验知识，同时有效利用了局部的边缘、灰度、 峰谷特征，将特征的定位和形状的估计过程描述为能量函数的极小化过程，采用优化技 术来实现特征的匹配，因而得到了广泛的应用。 5 h o u g h 变换：h o u g h 变换通过将边缘点从图像空问变换到合适的参数空间，使图 像空间中的曲线在参数空问中呈现点聚类趋势，从而可以用于包括圆弧、线段乃至任意 已知形状的检测，在文献中用它提取虹膜在边缘图像中形成的圆特征，随后眼睛的上下 边缘则用变形模板来提取 1 7 1 1 26 1 。 6 主动轮廓：类似于可变形模板的思想，但主动轮廓同可变形模板相比，更强调利 用了局部的图像信息如连续性、曲率和内外部能量项等，最后用优于算法实现能量函数 的极小化。 7 g a b o r 小波变换：g a b o r 小波变换通常用于弹性图匹配技术中关键点的检测。利 用角点的边缘曲率、灰度分布等定义了一个角点能量函数，用优化算法实现关键点的检 测。随后则利用检测到的这些关键点，对一个预定义的参考弹性图进行变形得到对应输 入人脸图像的弹性图。 8 曲线拟合：首先定位一些预定义的关键点，然后采用b 样条进行侧面轮廓线的 拟合，在拟合出的曲线上计算关键点之间的距离、角度、曲率等度量作为识别用的特征 【蚓。 1 6 人脸识别的应用范围 任何一种技术的发展都是由于受到了实际应用需要的激励，人脸识别技术也不例 外，它最初的发展原因就是公安部门要把它用于犯罪照片的存档管理和刑侦破案。现在 这种技术在安全系统和商贸系统都有很多的应用。主要有以下几类应用： 中北大学学位论文 1 刑侦破案。当公安部门获得案犯的照片后，可以利用人脸识别技术，在存储罪 犯照片的数据库里找出最相像的人为嫌疑人。还有一种应用就是根掘目击证人的描述， 先有警察画家i 画出草图，然后用这张图到库里去找嫌疑犯。罪犯数据库往往很大，有几 千幅图像组成，如果这项搜索： 作由人工完成，不仅效率低，而且容易出错，因为人在 看了上百幅人脸图像后，记忆力会急剧下降，而由计算机来完成则不会出现此问题。 2 证件验证。身份证、驾驶执照以及其他很多证件上都有照片，现在这些证件多 是由人工验证的。如果用人脸识别技术，这项工作可以交给机器完成，从而实现自动化 职能管理。当前普遍使用的另一类证件是用符号或条形码标记的，比如信用卡、自动提 款机等。这类卡的安全系数比较低，因为卡可能丢失，密码也可能被遗忘或窃取。如果 在这类卡上加上人脸的特征信息，则可大大改善其安全性能。 3 门禁系统。门禁系统的范围很广，可以是设在楼字、单位或私人住宅入口处的 安全检查，也可以是计算机系统或情报系统等的门禁系统。在楼字或某些安全部门的入 r 处，比较常用的检查手段是核查证件当人员频繁出入时，请保安人员再三检查证件是 很麻烦的，而且安全系数也不高。在一些保密要求非常高的部门，除了用证件，还要加 上另外一些识别手段，如指纹识别、手掌识别、虹膜识别和语音识别等人脸识别与之相 比，具有直接、方便和界面友好的特点。当前计算机系统的安全管理也倍受重视，通常 使用由字符和数字组成的口令可能会被遗忘或破解，但是如果把人脸当作口令则又方便 又安全。 4 监视。在许多银行、公司、公共场合等处都设有2 4 4 时的视频盟视。另外侦察 员在破案时也要用摄像机对人进行跟踪。在对图像进行集体分析时，就要用到人脸的检 测、跟踪和识别技术。除了这几部分应用外，人脸识别技术还可用在视频会议、机器人 的智能化研究以及医学等方面。 1 7 本文主要工作 本文在人脸检测的基础巴，实现了对给定人脸图像的特征定位，并且研究了针对头 部多姿态的识别方法，主要工作如下： 1 在特征定位方面，本文首先利用积分曲线图的谷底特性定位出眼部的大致区域， 然后再结合可变形模板对特征点进行精确定位；另外，提出了一种新的图像变换方法， 中北大学学位论文 以往的图像变换方法都是采用单一的线性插值法或双立方插值法来进行的，本文是利用 位姿聚类分析和模式识别的融合算法进行图像变换。 2 在人脸识别方面，本文依据前人的经验，实现了一个基于特征子空间分解和多 候选概率合并算法的人脸识别系统，在小样本的测试集上进行测试；针对多种头部姿态 的人脸识别进行了研究。 本文后续章节的安排如下：第二章脸部特征点的定位；第三章论述了基于特征子空 问的人脸识别技术；第四章针对头部姿态相关的识别研究。 中北大学学位论文 2 脸部特征点定位 人脸检测和脸部特征定位通常是人脸识别的前期工作，而继人脸检测之后，脸部特 征定位通常是人类面部感知的一个必备环节，是后续工作的基础，具有重要的意义。脸 部特征定位算法正日趋成熟但尚无令人满意的系统，大多数研究者都是先把灰度图像二 值化，然后利用一些图像处理手段( 如图像腐蚀、图像膨胀等) ，最后进行查找定位。 然而这些过程有时处理的效果并不理想，反而还会影响定位的速度，因此在本文中采用 了直接针对灰度图像进行积分投影，在投影曲线图中寻找到曲线谷底的规律。此外，可 变形模板是一种在一定程度匕强调利用全局信息的形状检测算法，它的主要思想是根据 待检测人脸特征的先验的形状信息，定义一个参数描述的形状模型，该模型的参数反映 了对应特征形状的不变部分，如位置，大小，角度等，它们最终通过模型与图像的边缘、 峰、谷和灰度分布特征的动态交互适应来得以修正，因此，本文在积分投影之后又结合 可变形模板的特性和人脸形态构造的先验知识，对人类脸部的眼睛、鼻子、嘴巴位置进 行精确定位。这样也解决了可变形模板方法对参数初值的依赖程度高，很容易陷入局部 最小和计算时问长的缺点。 2 2 脸部特征粗定位 在人脸检测模块中已经提供了输入图像中人脸区域位置和尺寸的粗略信息，所以， 本文只需在此基础上根据面部器官结构关系的统计先验知识和人脸的对称性，按眼域、 鼻域、嘴域至脸轮廓的顺序分别定位相应的部位特征点。 2 2 i 脸部形态结构统计关系 通过查阅大量的相关文献和观察实验数据6 2 0 1 本人发现在人类自身的识别中很 大程度上是依据先验知识。尽管不同人的人脸构形不同，但是可以合理地假设这种构形 满足规律性的分布，这些知识可以为特征定位提供有利的支持。由于人脸器官各个特征 中北大学学位论文 点的相对位置和大小都会随图像大小而改变，这样就无法对它们进行统计；而各个特征 点之问的位置比例关系( 主要指高度和宽度) ，并不随图像大小的改变而变化，也就是 说这个比值是恒定的。因此，本文采用人工测量的方法，对这些特征点的相对位置比进 行统计，不同人脸样本数目为2 0 人，结果如表2 1 所示。由此看见，不同人的脸部构形 之间具有较大的相似性，可以用来指导脸部特征区域的粗略定位。对于检测人脸库中的 人脸图像，根据人脸器官分布的先验几何知识和实验中采集到的图片效果，按照表2 1 统计的数据，定出相应器官的模板大小和位置。统计实验的研究表明，人类而部各部分 特征对识别的重要性是由上到下递减的：眼睛对识别的影响最大，它的正确定位和识别 直接关系到脸部其他部位的检测和识别效果；其次是鼻予；最不可靠的就是嘴巴。 表2 1 脸部形态结构统计关系 比单眼宽度鼻高与双眼到嘴唇中线嘴巴宽度与上下唇的高眼到眉的距 值与双眼问眼间距之高度与双目间双目间距之度与双目间离与双日间 距之比 比 距之比比 距之比 距之比 均 0 4 2o 5 10 9 90 7 10 2 7o 3 5 值 2 2 2 近似灰度直方图 从各种参考文献上，我们可以看到：严格意义上的灰度直方图，它的横坐标表示的 是0 2 5 5 的2 5 6 个灰度值，纵坐标表示的是频数。直方图定义为： m ，= 牌笔鬻罄眨， 这样表示的直方图是一维连续函数，因而该图形也有其统计特征。 在本文中选用了一种近似灰度直方图，它的横坐标同上，但纵坐标表示为每个灰度 值所拥有的像素点的个数，也就是把上述的频数改为个数，根据直方图定义，此处把公 式( 2 1 ) 变形为： 竹，= 熙篙鬻筹豇：， 1 6 中北大学学位论文 目的是使( ，) 相应地拉长或缩短k 倍，以适应程序中矩形框的显示范围，其中，k 值 取为= 兰。如图2 1 所示，这样做是为可以较直观的从图上看到某个灰度值所拥有的 m a x 月一 像素个数，但从本质上来既，近似灰度直方图与严格意义上的灰度直方图所表示的曲线 走向趋势及谷与峰的分布情况是相同的。 ( a ) 原图 ( c ) 原图 2 2 3