（计算机软件与理论专业论文）基于wtpca和三阶近邻的人脸识别研究.pdf

郑州人学硕+ 学位论文 摘要 人脸识别是模式识别和计算机视觉的交叉领域，广泛地应用在机器人等学科 当中。人脸识别与其它生物特征相比，具有直接、友好、方便的特点，易于被用 户接受，因此，成为当前模式识别和人工智能领域的一个研究热点。 本课题针对当前人脸识别的现状做出分析，提出了基于小波变换、主元分析 和三阶近邻分类的人脸识别算法。首先采用小波变换提取低频系数，然后对低频 系数用主元分析法提取人脸图像的主要特征，最后用三阶近邻作为分类器来判别 识别图像所属的类别。本算法在不影响计算速度和计算量的前提下提高了人脸图 像的识别率。 对人脸图像进行预处理能够有效地去除原始图像中不利于特征提取和识别 的无用和干扰信息，改善图像质量。本文介绍的人脸图像预处理技术主要有滤波 去噪、灰度变换、边缘检测、归一化、灰度插值等。 预处理后的人脸图像维数比较大，为了降低计算量需要对图像进行降维。图 像经过小波分解之后，低频成分集中了原始图像的大部分信息，高频成分主要体 现了原始图像的一些细节，因此，本文采用二维离散小波交换中的d b 2 小波对图 像进行降维，既能很好的降低图像的维数，又能很好的提取图像的特征。小波变 换后的人脸图像维数仍然比较大，本文通过主元分析的方法进一步降低图像的维 数，使得变换后的低维空间仍有很好的人脸表达能力，把训练图像投影到低维空 间形成训练人脸库。对人脸图像进行识别时，每一个被识别的人脸图像都需要进 行预处理、小波变换、特征提取、投影到低维空间，然后与训练人脸库进行比较， 得出所属的类别。本文所采用的比较分类法是三阶近邻分类法，它可以将不同表 情的人脸图像识别出来，也可以将不同姿态和不同饰物的人脸图像识别出来，提 高了图像的识别率。 本文通过大量的仿真试验得出，采用对包含原始图像大部分信息的低频子带 作p c a ，对提取的特征用三阶近邻来分类人脸图像，和其它的方法相比较，该 方法得到了较好的识别率同时也降低了运算量。试验表明，在o r l 人脸库的4 0 个人的图像中，每个人的图像选择前8 幅图像用作训练，组成3 2 0 幅图像的训练 集，全部人脸图像作为测试集，此时的识别率可达到9 8 。 关键词：人脸识别；预处理；小波变换；主元分析；三阶近邻；识别率 郑州大学硕l 学位论文 a b s t r a c t t h ef a c er e c o g n i t i o ni st h eo v e r l a p p i n gd o m a i no ft h ep a t t e r nr e c o g n i t i o na n d c o m p u t e rv i s i o n ，w h i c hw i d e l ya p p l i e di nt h ed i s c i p l i n eo fr o b o t s c o m p a r e dw i t h o t h e rl i v i n gc h a r a c t e r i s t i c s ，t h ef a c er e c o g n i t i o nh a st h ec h a r a c t e r i s t i co fd i r e c t l y , f d e n d l ya n dc o n v e n i e n t l y , a n de a s i l ya c c e p t e db yt h ec u s t o m e r , t h e r e f o r e ，i tb e c o m e s t h eh o ts p o tr e s e a r c hi nt h ec u r r e n tp a t t e r nr e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e d o m a i n i nv i e wo fd i s t i n g u i s h i n gt h ep r e s e n ts i t u a t i o no ff a c er e c o g n i t i o n ，t h i st o p i c p r o p o s e st h e f a c er e c o g n i t i o nm g o f i t h mb a s e do nt h ew a v e l e tt r a n s f o r m a t i o n ， p r i n c i p a lc o m p o n e n ta n a l y s i sa n dt h r e e n e i g h b o r h o o dc l a s s i f i c a t i o n f i r s t ，u s i n gt h e w a v e l e tt r a n s f o r m a t i o nt ow i t h d r a wt h el o wf r e q u e n c yc o e f f i c i e n t ，t h e nw i t h d r a w i n g t h em a i nc h a r a c t e r i s t i c so ft h ef a c ei m a g e sf r o mt h el o wf r e q u e n c yc o e f f i c i e n tu s i n g t h em e t h o do fp r i n c i p a lc o m p o n e n ta n a l y s i s ，f i n a l l yd i s t i n g u i s h i n gt h er e s p e c t i v e c a t e g o r yo ft h er e c o g n i t i o ni m a g e su s i n gt h r e e n e i g h b o r h o o d c l a s s i f i c a t i o n t h e a l g o r i t h mi m p r o v e st h er e c o g n i t i o nr a t e o f f a c ei m a g e sa n dd o e sn o ta f f e c tt h e c o m p u t a t i o ns p e 地da n dc o m p u t a t i o nq u a n t i t y a f t e rp r e p r o e e s s i n gf a c ei m a g e sw ec a ne f f e c t i v e l yr e m o v et h e u s e l e s sa n d d i s t u r b a n c ei n f o r m a t i o no ft h ep r i m i t i v ei m a g e s ，a n dt h ei n f o r m a t i o ni sd i f f i c u l tt o w i t h d r a w w ec a ni m p r o v et h ei m a g eq u a l i t y t h ep r e p r o e e s s i n gt e c h n o l o g yo ff a c e i m a g e sw h i c ht h i sa r t i c l ei n t r o d u c e sm a i n l yh a st h ef i l t e rt og ot on o i s e ，t h eg r a d a t i o n t r a n s f o r m a t i o n ，t h ee d g ed e t e c t i o n ，t h en o r m a i i z m i o n ，t h eg r a d a t i o ni n t e r p o l a t i o na n d s oo n a f t e rp r e p r o c e s s e dt h ed i m e n s i o no ff a c ei m a g e si sb i g ，a n dw en e e dt od e c r e a s e t h ed i m e n s i o ni no r d e rt or e d u c et h e c o m p u t a t i o nq u a n t i t y a f t e rw a v e l e t d e c o m p o s i t i o n o ft h ef a c e i m a g e s ，t h el o wf r e q u e n c yh a s c o n c e n t r a t e d m o s t i n f o r m a t i o no ft h ep r i m i t i v ef a c ei m a g e s ，a n dt h eh i g hf r e q u e n c yh a sm a i n l y m a n i f e s t e ds o m ed e t a i l so ft h ep r i m i t i v ef a c ei m a g e s t h e r e f o r e ，t h i sa r t i c l eu s e st h e t w o d i m e n s i o n a ls e p a r a t ew a v e l e tt r a n s f o r m a t i o nw h i c hi sc a l l e dd b 2w a v e l e tt o d e c r e a s et h ed i m e n s i o no ff a c ei m a g e s t h em e t h o db o t hc a nr e d u c et h ed i m e n s i o no f f a c ei m a g e se a s i l y , a n dc a nw i t h d r a wt h ec h a r a c t e r i s t i c so ft h ef a c ei m a g e se a s i l y a f t e rw a v e l e tt r a n s f o r m a t i n gt h ed i m e n s i o no ff a c ei m a g e si ss t i l lb i g t h i sa r t i c l e f u r t h e rr e d u c e st h ed i m e n s i o no ff a c ei m a g e su s i n gp r i n c i p a lc o m p o n e n ta n a l y s i s m e t h o d ，w h i c hc a u s e st h et r a n s f o r m a t e dl o w e rd i m e n s i o ns p a c es t i l lh a v eg o o df a c e e x p r e s s i o na b i l i t y , a n dp r o j e c t i n gt h et r a i n i n gf a c ei m a g e st ol o w e rd i m e n s i o ns p a c e f o r m st r a i n i n gf a c ed a t a b a s e w h e nr e c o g n i z i n gt h ef a c ei m a g e s ，e a c hr e c o g n i z e df a c e i m a g e s a l ea 1 1n e e d e dt o p r e p r o c e s s i n g ，w a v e l e tt r a n s f o r m a t i n g ，c h a r a c t e r i s t i c w i t h d r a w i n g ，a n dp r o j e c t i n gt ol o w e rd i m e n s i o ns p a c e ，t h e nc o m p a r e dw i t ht h e 塑型查兰堡兰兰垡堡奎 t r a i n i n g f a c ed a t a b a s et o o b t a i nt h er e s p e c t i v ec a t e g o r y t h i s a r t i c l eu s e s t h r e e - h e i g h b o r h o o dc l a s s i f i c a t i o n ，w h i c hc a l ld i s t i n g u i s ht h ef a c ei m a g e so fd i f f e r e n t e x p r e s s i o n ，a l s oc a l ld i s t i n g u i s ht h ef a c ei m a g e so fd i f f e r e n tp o s t u r ea n dd i f f e r e n t d e c o r a t i o n s t h em e t h o de n h a n c e st h er e c o g n i t i o nr a t eo ff a c ei m a g e s t h r o u g hm a s s i v es i m u l a t i o ne x p e r i m e n t s ，t h i s a r t i c l ec o n c l u d e st h a tu s i n g p r i n c i p a lc o m p o n e n ta n a l y s i sf o r l o wf r e q u e n c yc o n t a i n i n gm o s ti n f o r m a t i o no f p r i m i t i v ef a c ei m a g e s ，u s i n gt h r e e - n e i g h b o r h o o d t oc l a s s i f yf a c ei m a g e sf o rt h e w i t h d r a w nc h a r a c t e r i s t i c s ，t h em e t h o do b t a i n sm u c hb e t t e rr e c o g n i t i o nr a t e ，a n d d e c r e a s e st h ec o m p u t a t i o na tt h es a l n et i m e ，c o m p a r e dw i t ho t h e rm e t h o d s t h e e x p e r i m e n ti n d i c a t e st h a t ，i nt h eo r l f a c ed a t a b a s eh a v i n gf a c ei m a g e so f4 0p e o p l e ， t h e “铷g n i t i o nr a t em a ya r r i v e9 8 ，w h e nu s i n gt h ef o r m e r8f a c ei m a g e so fe a c h p e r s o nt ob et r a i n e d ，c o m p o s i n gt h et r a i n i n gs e th a v i n g3 2 0 f a c ei m a g e s ，a n du s i n ga l l f a c ei m a g e sa st h et e s t i n gs e t k e yw o r d s ：f a c er e c o g n i t i o n ；p r e p r o c e s s i n g ；w a v e l e tt r a n s f o r m a t i o m p r i n c i p a l c o m p o n e n ta n a l y s i s ；3 - n e i g h b o r h o o dc l a s s i f i c a t i o n ；r e c o g n i t i o n r a t e i i i 郑州人学硕上学位论文 1 1 研究背景与意义 第一章前言 随着社会的发展，各方面对快速有效的自动身份验证的要求日益迫切。由于 生物特征是人的内在属性，具有很强的稳定性和个体差异，因此是身份验证的理 想依据。而人脸识别与指纹识别等生物特征相比，具有直接、友好、方便的特点， 易于被用户接受，因此人脸识别成为当6 u 模式识别和人工智能领域的研究热点。 人脸识别将计算机视觉和模式识别结合在一起，广泛地应用在机器人等学科 当中。在广域样本范围内，指纹识别和虹膜识别的取样样本都具有唯一性，即对 于任何两个样本，他们的指纹或虹膜不会是完全相同的；另外指纹和虹膜的成像 不会在不同时刻得到不同的效果，这就决定了待识别图像和样本本身一样是具有 唯一性的。但人脸图像受其成像角度、光照条件等外界因素的影响较大，即使是 相同的人脸图像成像后也可能有较大的差别；另外，不同人脸在一定角度下，有 时也有较大的相似度，这两个因素导致了人脸识别的复杂性比较高、识别难度比 较大，这些都是人脸识别研究中遇到的实际困难。但是与指纹识别和虹膜识别相 比，人脸识别又有其独到的优势。指纹或虹膜的获取都要求待识别对象与成像设 备具有较近的空间距离，而人脸图像的获取突破了接触式的方式，在一般可视情 况下，人脸图像都能够正常被捕捉，这一因素决定了人脸识别比指纹识别和虹膜 识别有更广的应用范围，诸如远程安全、检疫、图像传送等。表1 - 1 对几种常见 的生物识别特征技术进行了比较 1 】。 表1 - 1 几种常见的生物识别特征技术比较 人脸、指纹、手型、掌纹、虹膜、视网膜、签名、语音、面部温谱等将成为 郑州大学硕十学位论文 未来的身份验证方法。可以看到：人脸识别无需特定的采集设备，整个系统成本 比较低；它还可以在不干扰被测者的前提下，获得被识别人的面部图像，并且不 侵犯使用者的隐私，因而对被测者无任何心理障碍。因此，可将人脸识别的优点 总结为： ( 1 ) 可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用，这是其 他生物特征识别技术不能替代的； ( 2 ) 非接触式采集，没有侵犯性，容易接受； ( 3 ) 方便、快捷、强大的事后追踪能力( 普通人并不具备指纹、虹膜、视 网膜判别能力) ； ( 4 ) 更符合我们人类的识别习惯，可交互性强，一般人就可以进行评判； ( 5 ) 设备成本较低( 摄像头很快成为标准外设) 。 这些优势，使得人脸识别的应用前景十分广阔。二十一世纪，i n t e r n e t 蓬勃 发展对于网络安全和网络鉴别的需求，也导致了人脸识别越来越具有实用性。 人脸识别研究的意义主要体现在以下几个方面： ( i ) 人脸识别研究成果能成为公安、银行、海关等机要部门在鉴别人的身 份时提供新的、方便的检测手段，从而大大提高安全部门的工作效率和方便性； ( 2 ) 人脸识别作为一种典型的对于三维自然物体的识别，具有重要的理论 价值，它的研究思想和实现方法可为其它三维动态自然物体的识别提供重要理论 和参考借鉴； ( 3 ) 人脸识别研究的一个主要内容是如何描述与表示人脸，这对于图像压 缩及信息传输也具有重要应用价值。 1 2 人脸识别的应用 人脸识别的具体应用主要有以下几个方面： 嫌疑犯照片的识别匹配 信用卡、驾驶执照、护照与个人身份的识别 银行、商场安全系统 公众场合监控 专家识别系统 基于残留人脸的人脸重构 这些应用包括了从静态的、受控背景的照片到动态的、非控背景的录像等各 个方面，各项应用都有着不同的技术难度、处理方法和分析理解方式，它们基本 上可以分为两类：静态( 非视频) 匹配和动态( 视频) 匹配。 近年来，人脸识别技术的研究取得了很大的进步。除了基于代数特征方法取 2 郑州丈学硕上学位论文 得新的进展之外，小波变换在人脸识别研究中都得到了很广泛的应用。 1 3 研究现状 国外的自动人脸识别研究始于1 9 6 6 年b l e d s o e 的工作，科研工作者在机器 自动人脸识别方面进行了大量的研究，取得了丰硕的成果。以美欧为主，各知名 大学、研究所、企业研究院均设立了与人脸识别相关的研究组，主要有c m u ( c a m b r i d g em a n a g e m e n tu n i t 剑桥管理机构) 、m r r 媒体实验室( m a s s a c h u s e t t s i n s t i t u t eo f t e c h n o l o g y 麻省理工学院) 、m i c h i g a ns t a t eu n i v e r s i t y ( 密歇根大学) 、 u c l a ( u n i v e r s i t yo fc a l i f o r n i aa tl o sa n g e l e s 加利福尼亚大学洛杉矶分校) 、 u n i v e r s i t y o f m a n c h e s t e r ( 曼彻斯特大学) 、u m d ( u n i v e r s i t y o f m a r y l a n d 马里兰 大学) 、u s c ( u n i v e r s i t yo fs o u t h e r nc a l i f o r n i a 南加州大学) 。在h i r e t 人脸库 中选择大于等于1 1 9 6 幅人脸作为测试集【2 】：在同一摄像条件下采集的正面图像 识别中，典型的识别率可达到9 5 以上；对于不同的摄像机和不同的光照条件采 集的正面测试图像，典型的识别率骤降为8 0 以下；对一年后采集的正面测试图 像，最大的准确率也仅仅接近5 0 。 国内关于人脸自动识别的研究始于2 0 世纪8 0 年代，我国许多高校、研究机 构，在图像处理和模式识别领域有很好的研究基础，至今，不论在算法方面，还 是在应用方面，都已取得了一大批可喜的成果。国内的主要研究结构有：清华大 学、上海交通大学、东南大学、南京理工大学、哈尔滨工业大学等。其中，清华 大学张长水等对特征脸的方法作了进一步发展【3 】，提出了采用类间散布矩阵作为 产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的前提下降低了运算量； 清华大学电子工程系苏光大教授主持研制的人脸识别系统，经过多年的研究与近 一年的试运行，目前的人脸识别系统的识别速度已达到每秒2 5 6 力张；上海交通 大学李介谷等专门研究人脸斜视图像的集合特征提取与恢复，他们还研究了基于 计算机视觉场模型的人脸识别技术；东南大学何振亚等采用对称主元分析神经网 络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别，比较好的实 现了大量人脸样本存储和人脸的快速识别；南京理工大学杨静宇等主要是采用奇 异值分解方法进行人脸识别研究，还研究了基于f i s h e r 最佳鉴别矢量的人脸识别 方法；哈尔滨工业大学高文等提出一种处理多姿态人脸识别的多候选类加权识别 方法【4 j ，并对彩色图像的人脸跟踪和识别也进行了大量研究。 1 4 研究内容 本文系统地研究了基于小波变换、主元分析和三阶近邻分类的人脸识别算 法。首先采用小波变换提取低频系数，然后对低频系数用p c a 提取人脸图像的 3 郑州大学硕+ 学位论文 主要特征，最后用三阶近邻距离函数作为分类器来判别识别图像所属的类别。仿 真试验结果表明，本算法在不影响计算速度和计算量的前提下提高了人脸图像的 识别率。 本文的研究内容及主要贡献包括： ( 1 ) 预处理 研究了人脸图像预处理阶段所采用的预处理技术，主要有滤波去噪、灰度变 换、边缘检测、归一化、灰度插值等。预处理的好坏直接影响到人脸识别的识别 率和识别速度。 ( 2 ) 小波变换 研究了不同的小波变换函数，从提取的低频子带的大小及识别率得出，d b 2 在人脸识别过程中既能很好的降低图像的维数，又能很好的提取图像的特征，在 人脸识别领域起着极为重要的作用。 ( 3 ) 特征提取 特征提取将数据从原始空间变换到特征空间，该变换使得原始数据由维数较 少的“有效”特征数据来表示，而不减少原始数据所包含的内在信息量。特征提 取是人脸识别系统中一项非常重要的组成部分，主要的特征提取技术有主成分分 析，独立分量分析，线性判别分析，隐马尔可夫模型等等。 ( 4 ) 三阶近邻 三阶近邻分类与最近邻分类不同。由三阶近邻计算所得出的具有最小值的图 像并不一定属于同一类别；它可以将不同表情的人脸图像识别出来，也可以将不 同姿态和不同饰物的人脸图像识别出来。而最近邻法对带有表情、姿态、饰物的 人脸图像的识别效果不如三阶近邻法。 1 5 论文结构 本文共分五个部分： 第一章前言介绍人脸识别的研究背景与研究意义，国内外的研究机构和 研究现状。 第二章人脸识别简述介绍人脸识别的基本过程、发展、面临的主要问题 及所采用的主要技术，同时对目前人脸识别常用的人脸数据库作了简单的描述。 第三章人脸图像预处理介绍人脸图像预处理阶段所采用的预处理技术， 主要有滤波去噪、灰度变换、边缘检测、归一化、灰度插值等。用在同一系统中 的可能只有一种或几种预处理方法，不同的入脸识别系统根据其采用的图像来源 和识别算法，采用的预处理方法也不同。 第四章基于w t p c a 和三阶近邻的人脸识别介绍小波变换、特征提取、 4 郑州大学硕 学位论文 分类器、算法实现、试验结果与分析。这一章是本文的核心，通过试验得出本算 法所采用的小波函数，通过分析采用了主成分分析的特征提取方法，通过试验得 出三阶近邻作为分类器的距离函数效果较好。同时指出了在算法实现的过程中需 要注意的两个问题：s v d 定理、特征向量的选取。最后综合考虑识别率和计算 量得出仿真试验所采用的样本数。 第五章总结与展望总结论文的研究成果，指出人脸识别广阔的发展前景， 并对进一步的研究提出建议和方向。 5 郑州大学硕十学位论文 第二章人脸识别简述 本章介绍了人脸识别的基本过程、发展、所面临的问题及主要技术，同时对 目前人脸识别常用的人脸数据库作了简单的描述，并提出在我国建立自己有权威 性的人脸试验库和规范的测试标准的必要性，它将对国内人脸识别技术的发展有 极大的推动作用。 2 1 人脸识别的基本过程 人脸识别是人类视觉的一种典型功能，而计算机人脸识别则是利用计算机通 过对人脸图像的分析、特征的提取，进而实现自动辨识人脸，并进行自动身份验 证的技术。广义上的人脸识别是一个复杂的过程，一个计算机人脸识别的流程如 图2 1 所示，它包括了几个步骤：对采集到的图像，首先进行人脸的检测，给出 人脸有无的结果；然后进行人脸定位，确定人脸的位置并提取出来，对人脸的定 位在输入图像序列时一般也称为人脸跟踪，通常，检测和定位结合进行；对提取 出来的人脸借助人脸描述就可进行( 狭义的) 人脸识别，即通过提取特征来确定 其身份。利用不同阶段的识别结果可帮助完成不同的判断决策。 图2 - 1 厂义计算机人脸识别流程图 人脸识别系统可简单的描述为：给定某一场景的静态图片或动态视频图像， 根据所存储的人脸数据库识别或确认一个或更多的人。人脸识别系统包括两个主 要技术环节：( 1 ) 人脸检测和定位，即从输入图像中确定所有人脸( 如果存在) 的位置、大小、位姿，并将人脸区域从背景图像中分割出来；( 2 ) 人脸识别，即 对归一化的人脸图像进行特征提取与识别，得出被识别图像的身份信息，如图 2 2 所示。 6 郑州大学硕士学位论文 图2 2 狭义人脸识别系统流程图 为进行人脸的检测和定位，需要对脸部器官( 如眼、鼻、嘴等) 进行检测和 定位；为进行人脸识别，需要对脸部器官和特征进行识别。所以对人脸的检测、 定位和识别是与对脸部器官的检测、定位和识别密切联系的。 2 2 人脸识别的发展 由于人脸正面图像包含了人脸更明显的特征，对人脸正面模式的研究最多， 它的发展大致可分为三个阶段。 第一阶段以b e r t i l l o n 蜘、a l l e n 6 和p a r k e 7 为代表，时间上从2 0 世纪5 0 到 6 0 年代，主要研究人脸识别所需的面部特征。在b e r t i l l o n 系统中，用一个简单 的语句与数据库中的某一张脸相联系，同时与指纹识别相结合，提供了一个较强 的识别系统。为了提高脸部识别率，a l l e n 为待识别脸设计了一种有效逼真的摹 写，p a r k 则用计算机实现了这一想法【8 l ，并且产生了较高质量的人脸灰度图模型。 这一阶段工作的特点是识别过程全部依赖于操作人员，显然不是一种可以完成自 动识别的系统。 第二阶段是人机交互式识别阶段，时间是2 0 世纪7 0 年代，代表有g o l d s t i o n ， h a r m o n t 9 】和l e s k t l o l 等人。他们用几何特征参数来表示人脸正面图像，采用2 1 维特征矢量来表示人脸面部特征，并设计了基于这一特征表示法的识别系统。 k a y a 和k o b a y a s h i 则采用了统计识别的方法，用欧氏距离来表示人脸特征蚴， 如嘴唇的高度，两眼之自j 的距离。更进一步的，t k a n a d 1 3 1 设计了一个半自动回 溯识别系统【l4 1 ，创造性的运用积分投影法从单幅图像上计算出一组脸部特征参 数，再使用模式分类技术与标准的人脸相匹配。但是，这类方法需要利用操作员 的某些先验知识，仍然摆脱不了人的干预。 第三阶段是真正的向实用化发展的机器识别阶段，近十年来随着高速度高性 能计算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识 别系统【l ”。 2 3 人脸识别面临的主要问题 人脸识别是一个跨学科且富有挑战性的i j i 沿课题，目f ； 的很多方法仍停留在 研究阶段，其识别效率离实用还有较大的距离，要开发一个在无约束环境下自动 7 郑州丈学硕t 学位论文 识别人脸的系统面临的最大问题是如何处理光照变化和姿态变化的影响。人脸识 别系统还有许多问题亟待解决： ( 1 ) 人脸检测与定位 由于人脸模式的多样性和图像获取过程中的不确定性，人脸在图像空间中的 分布非常复杂，建立人脸在高维图像空间中的精确分布模型是一件非常困难的事 情。建立一个统计可靠的估计不仅需要大量的正例样本，而且需要充分多数量的 有效反例样本。目前研究的一个趋势是反例样本的产生和利用问题，这也是最终 提高人脸检测正确率的必然道路。根据具体应用的需要，对检测环境进行合理的 假定( 比如运动、颜色等) ，从而简化问题，提高系统使用性能也是一条可行的 途径。不难预见，知识与统计方法的综合应用是解决实际问题所必须的。 ( 2 ) 特征选择与提取 识别人脸主要依据人脸上的特征，也就是说依据那些在不同个体之间存在较 大差异而对一个人则比较稳定的度量。由于人脸变化复杂，因此特征表述和特征 提取十分困难。首先，与刚体不同，人脸是塑性可变的，更适合用弹性模型来描 述，因此，任何基于刚体的特征抽取方法都难达到满意的效果。其次，人脸识别 被认为是人类视觉中独特的过程，因此对生理学和心理学结合是很有帮助的。可 以预见，在人类视觉和非刚体两方面的研究成果将有助于找到抽取和描述人脸特 征的最终解决方案。 ( 3 ) 人脸识别 在进行识别匹配时，不仅要考虑各种因素所导致的人脸微小变形，而且在容 忍变形的同时，还不能损害到人脸识别的有效性。另外，实用的识别系统还必须 考虑计算复杂度。由于每种识别方法各有优缺点，将多种方法有效综合将是以后 研究的一个趋势，如何与基于其他生物特征的鉴别系统结合以提高识别效率也是 一个有意义的研究方向。 此外，如何将能够获得的各种信息最大限度、有机的集成起来加以利用，这 也是一个具有普遍意义的研究课题，而且也是有效提高人脸识别系统效率的手 段。 2 4 人脸识别的主要技术 人脸图像实际上是三大关键要素共同作用的结果：( 1 ) 外部成像条件，如光 源的位置和强度等，其他物体或者人体其它部件对人脸的遮挡( 比如眼镜、帽子、 头发等) ；( 2 ) 摄像机成像参数，如摄像机位置、摄像机的焦距、光圈、快门速 度等内外部参数；( 3 ) 人脸内部属性，如人脸的形状、人脸表面的纹理、人脸表 情、胡须等属性的变化。但是，目前的多数系统采用的人脸建模方法仍然停留在 8 郑州人学硕十学位论文 图像层面上，并没有显式地分离出3 d 形状和纹理的步骤，而是直接通过从图像 中提取人脸特征并进行分类来完成识别。 根据决定人脸图像的关键要素，人脸识别主要存在有三个难点问题1 4 ：( 1 ) 成像条件任意，如成像设备有差异、光照、成像距离与角度等；( 2 ) 拍照主体处 于高度的不合作状态，如饰物、姿态、表情等变化是随人任意的；( 3 ) 即使少数 个体高度合作和成像条件一致，随着数码摄像技术的发展与提高，采集图像的分 辨率越来越高，得到的图像维数则更大。因此，更增加了准确识别人脸图像的难 度。 人脸识别的基本思路是用知识或统计的方法对人脸建模，然后通过比对的方 法进行识别。在人脸识别中，可以比较提取出的人脸与人脸模型的匹配度，从而 辨别或验证所提取出的人脸的身份。建模的方法大致可分为基于统计和基于知识 两类。 基于统计的方法将人脸图像看作一个高维的矢量，把对人脸识别的问题转化 为对高维空间中分布信号的识别问题，而把对人脸识别的问题转化为在高维空间 中信号匹配的问题。典型的方法有主分量分析法、子空间方法、双子空间方法、 局部特征法、空间匹配滤波器方法等。这类方法的主要特点是：( 1 ) 通过对实例 的训练和学习来获取需要的参数，提高应用的可靠性；( 2 ) 通过增加训练和学习 的实例可以扩充识别模式的范围，提高检测系统的鲁棒性；( 3 ) 利用局部特征， 在一定程度上受遮挡等影响较小，可用于复杂背景图像的情况；( 4 ) 不依赖于先 验知识和参数模型，可以避免知识获取不精确或不完整而造成的错误。基于统计 的方法比较适合对正面人脸的识别，而当人脸旋转、变换姿态或在运动中时，问 题会变得比较复杂，效果不好。这个问题在对人体肢体等的识别中更为明显。另 外，统计的方法在很多情况下要对所有可能的状态进行穷举搜索，所以计算复杂 度会相当高。 基于知识的方法主要是利用人的先验知识对待识别图像建立若干规则，从而 将对人脸识别的问题转化为一个假设验证的问题。这里常用的规则包括人脸轮廓 规则、肤色颜色规则、目标运动规则、器官几何规则等，还可以包括启发式的规 则。目前常用的是基于人脸上五官的空间分布规则。例如，可取人脸上的眼睛、 鼻子、嘴巴、下巴等部件的形状和结构关系进行几何描述建立模型。基于知识的 方法不需要进行大量的统计分析，一旦规则建立后，可以比较快速地完成识别任 务。但基于知识的方法要建立通用规则比较困难，规则通常仅对特定应用比较合 适。另外，规则的复杂性也不好确定，太简单不够用，太复杂又难建立。 给定一幅实际的图像，如何从众多算法中选择一个合适的算法来提取待识别 图像还没有标准的方法。从前面对相关技术的分类讨论来看，无论是基于全局知 9 郑州丈学硕+ 学位论文 识进行建模的方法还是基于局部特性进行统计的方法，都有一些不易克服的困 难，需要借助两类方法的互补来提高识别成功率。另外还有一点值得指出，匹配 两幅静止图像是相对较容易的，但要在实际中动态地确认某个人的身份则会困难 得多，特别是有时需要“填充”那些被遮挡住或丢失的部分，并且借助知识感知 整个人脸则更为不易。这也是人们对识别的期望和实际效果有较大差距的重要原 因。人脸和器官的识别是一个试验性很强的研究领域，需要搜集大量的图像。 2 5 人脸数据库简介 目前用来训练和测试人脸识别算法的图像库应用较多的大致如表2 - 1 所示， 这些图像库大部分是针对人脸识别问题建立的。关于人脸库的详细描述见表2 - 1 ： 表2 - 1 常用的人脸识别图像库 图像库名称简介 f e 陋td a t a b a s e i 珊i s td a t a b a s e y a l ed a t a b a s e 0 r ld a t a b a s e 此图像库包含1 4 0 5 1 张多姿态、光照的灰度人脸图像 2 0 个人共5 6 4 幅图像，包含不同角度、不同姿态的变化 1 5 个人共1 6 5 幅图像，包含光照、表情和姿态的变化 4 0 个人共4 0 0 幅图像，包含姿态、表情和面部饰物的变化 f e r e t 人脸库【l 叼由美国国防部发起建立，其初衷是想开发一个自动人脸识 别系统，以应用于各种安全检测目的。f e r e t 是人脸识别领域应用最广泛的人脸 数据库之一，其中的多数人是西方人。其最新的人脸库包括1 4 0 5 1 幅灰度图像， 每幅图像包含一个人脸的头部，姿态有正面的、左侧面的和右侧面的，该库对人 脸的姿态和表情有着严格的规定。该库中图像包含人的上半身，所以需要经过预 处理，抠取出图像中仅包含人脸的部分，才可以进行人脸识别。f e r e t 人脸图像 库中的1 0 幅人脸图像如图2 3 所示。 图2 - 3f e r e t 图像库图例 u m i s t 【1 7 1 【1 8 1 人脸库有2 0 个人共5 6 4 幅图像，每个人具有不同角度、不同姿 态的多幅图像，图像大小约为2 2 0 x 2 2 0 。u m i s t 人脸图像库中的l o 幅人脸图像 如图2 _ 4 所示。 1 0 郑州人学硕t 学位论文 图2 - 4u m i s t 图像库图例 y a l e 人脸库1 刀f 1 9 1 中图像来源于y a l ec e n t e rf o rc o m p u t a t i o n a lv i s i o na n d c o n t r o l ，其中包括1 5 个人，每人1 l 幅图像构成。这1 1 幅图像分别为：正常光 照条件下( 1 幅) 、是否戴眼睛( 2 幅) 、不同光源( 3 幅) 、不同表情( 5 幅) 下 的图像。y a l e 人脸图像库中单人l l 幅图像如图2 5 所示。 图2 - 5y a l e 人脸图像库图例 o r l ( o l i v e t t i o r a c l er e s e a r c hl a b ) 库【刎由4 0 个人，每人1 0 幅1 1 2 x 9 2 的 正面人脸图像组成，其中有些拍摄于不同时期；人脸脸部表情与脸部细节有变化， 例如：笑或不笑，睁眼或闭眼，带与不带眼镜；人脸姿态有变化，旋转可达2 0 度；人脸尺度也有最多1 0 的变化。由于o r l 人脸图像数据库中的图像是头部 图像，不用作定位与校准处理。o r l 人脸图像库中单入1 0 幅图像如图2 - 6 所示。 图2 - 6o r l 人脸图像厍图例 在人脸检测和定位方面，目前尚没有专门测试算法的图像库，在人脸识别的 试验图像库中，包含图像最多的美国国防部f e r e t 库不能在美国以外获得，而 其它人脸库的图像数量则较少。 人脸图像库在提供标准的人脸图像训练、测试集合的同时，还应该能对影响 人脸识别性能的不同情况进行模拟，以方便研究人员针对不同的关键问题进行重 点研究。但是，现有的入脸数据库大多存在数据量较小或者图像变化情况比较单 一的缺陷。此外，现有的人脸数据库中提供面部图像的志愿者多为西方人，由于 东西方人在面部特征上存在一定的差异，使用西方人的面部图像进行识别系统的 研究可能会给我们所开发的技术在国内的应用带来不利因素。因此。在我国建立 自己有权威性的人脸试验库和规范的测试标准非常有必要，因为，建立一个大规 模、多样化的东方人脸数据库对国内人脸识别技术的发展将会有极大的推动作 用。c a s p e a l 人脸数据库1 2 1 1 正是基于上述考虑而创建的大规模、多变化的东方 人脸数据库。共采集并整理了1 0 4 0 位志愿者( 其中5 9 5 位男性，4 4 5 位女性) 的共 9 9 4 5 0 幅人脸图片。c a s p e a l 人脸数据库中的所有图片分为姿态变化、表情变 郑州大学硕t 学位论文 化、饰物变化、光照变化、背景变化、距离变化、时间跨度变化等7 种变化模式 子库，这7 个变化模式中又以姿态( p o s e ) 、表情( e x p r e s s i o n ) 、饰物( a c c e s s o r y ) 和光照( l i g h t i n g ) 4 种变化为主( 故简称为p e a l ) 。各个变化模式子库均可以 与姿态变化子库进行组合，以满足研究工作中的不同要求。 1 2 郑州大学硕k 学位论文 第三章人脸图像预处理 本章介绍了人脸图像预处理阶段所采用的预处理技术，主要有滤波去噪、灰 度变换、边缘检测、归一化、灰度插值等。用在同一系统中可能只有一种或几种 预处理方法，不同的人脸识别系统根据其采用的图像来源和识别算法需要不同， 采用的预处理方法也不同。对人脸图像进行预处理能够有效地去除原始图像中不 利于特征提取和识别的无用和干扰信息，改善了图像质量，为后续的特征提取和 人脸识别打下了良好的基础。 3 1 滤波去噪 由于噪声给图像带来的失真和降质，在特征提取之前采用滤波的方式来去除 噪声是实际人脸识别系统中所必须的步骤。滤波的方法有很多，如各种平滑滤波、 各种锐化滤波等。人脸图像预处理中使用较多的滤波方法是平滑滤波，可分为以 下三类捌：线性滤波、中值滤波、自适应滤波。 3 1 1 线i 生滤波 最典型的线性滤波方法有：采用邻域平均法的均值滤波器，采用邻域加权平 均的高斯滤波和维纳滤波。对图像进行线性滤波可以去除图像中某些特定类型的 噪声，如图像中的颗粒噪声、高斯噪声、椒盐噪声等。 邻域平均法是空间域平滑噪声技术。对于给定图像中的每个像素点( i i l n ) ， 取其邻域s ，设s 含有m 个像素，取其