（信号与信息处理专业论文）线性子空间法人脸识别的研究.pdf

山东大学硕士学位论文 摘要 人脸识别是生物特征识别领域的一大研究热点。与其它生物特征识别技术相 比，人脸识别技术具有无接触、易采集、识别率高等优点，因而受到人们的普遍 欢迎，在法律、商业、公共安全、身份鉴定、门禁系统、视频监视等领域有着广 泛的应用前景。人脸识别主要包括三方面的内容：人脸检测与定位、特征提取、 分类与识别。本文主要是围绕着人脸识别中的特征提取技术展开的。 特征提取是指将数据从原始空间变换到特征空间的过程，该变换使得原始数 据由维数较少的“有效”特征数据来表示，但不减少原始数据所包含的内在信息 量。目前，己经提出了许多特征提取的方法，其中了空间分析因其计算简单、识 别率高等特性弓l 起了人们的广泛注意，现己成为人脸图像特征提取和识别的丰流 方法之一。线性予空间的特征提取方法具备计算效率高、表征能力强等优点。其 中又以基于主成分分析的特征脸方法和基于线性判别分析的方法比较成功。由于 人脸图像较易受各种外界因素的干扰，简单的一次主成分特征提取或线性判别分 析特征提取很难得到人脸图像在特征空间内的准确表征。本文对各种线性了空间 法从理论分析和实验结果两方面进行比较，指出了线性判别分析子空间法在人脸 识别特征提取中的优越性。 f i s h e r 线性判别分析在人脸识别应用中取得了很好效果。文中提出了一种新 的基于f i s h e r 线性判别分析的人脸识别方法：改进的零空间法。该方法针对 f i s h e r 准则与识别率并非直接相关，提出了一种改进的求解总的类间散布矩阵和 总的类内散布矩阵的策略：对总的类间散布矩阵，通过适当的权函数加大距离较 近的两类的作用，因为相邻较近的两类的误分可能性比较大；对于总的类间散布 矩阵，通过选择适当的权函数来减小边缘类的影响，因为边缘类在原始输入空间 已经能很好地与其它类分开，所以在特征提取后的子空间中，边缘类的类内散布 矩阵是否压缩对最后分类的影响不大。论文还在o r l 人脸库和f e r e t 人脸库上对 该算法进行了测试。实验结果表明，改进的零空间法是一种很好的人脸识别方法， 它能在保留特征向量个数很少的情况下达到很高的识别率。 关键词：人脸识别；特征提取；线性予空间分析；丰成分分析；f i s h e r 线性判别 分析 山东大学硕士学位论文 a b s t r a c t f a c er e c o g n i t i o nh a sb e c o m eah o tr e s e a r c h e df i e l di nb i o m e t r i cr e c o g n i t i o nf i e l d c o m p a r i n g 、航t i lo t h e rt e c h n o l o g i e so fb i o m e t r i cr e c o g n i t i o n , t h et e c h n o l o g yo ff a c e r e c o g n i t i o nh a ss om a n ya d 馏i t a 舀；s s u c ha s n o n - i n t r u s i v e , e a s y - c o l l e c t i o na n d h i g h - a c c u r a c c yt h a t i t i s p o p u l a r t h e r ea r eb r o a da p p l i c a t i o n s i nt h ef i e l d so f c o m m e r c i a l ，l a we n f o r c e m e n t , p u b l i cs e c u r i t y , i d e n t i t yc l a s s i f i c a t i o n , e n t r a n c ec o n t r o l ， v i d e os u r v e i l l a n c ea n ds oo i lf a c er e c o g n i t i o ni n c l u d e st h r e ep a r t s ：f a c ed e t e c t i o na n d l o c a l i z a t i o n f e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o n t h i st h e s i sp r e s e n t st h es t u d i e so f f e a t u r ee x t r a c t i o ni nf a c er e c o g n i t i o n f e a t u r ee x t r a c t i o ni sap r o c e s sw h i c ht r a n s f e r st h ed a t af r o mp r i m a r ys p a c e si n t o f e a t u r es p a c e ，r e p r e s e n t i n gt h e mi nal o w e rd i m e n s i o n a ls p a c ew i t hl e s se f f e c t i v e c h a r a c t e r s u pt on o w ，m a n ym e t h o d so ff e a t u r ee x t r a c t i o nh a v eb e e np r o p o s e d a m o n gt h e m ，t h es u b s p a c ea n a l y s i sh a sr e c e i v e de x t e n s i v ea t t e n t i o no w i n gt o i t s a p p e a l i n gp r o p e r t i e s n o w ，t h es u b s p a c ea n a l y s i sm e t h o dh a sb e e n t h em o s tp o p u l a r t e c h n o l o g yf o rf e a t u r ee x t r a c t i o na n df a c er e c o g n i t i o n f e a t u r ee x t r a c t i o nb a s e d0 1 1 l i n e a rs u b s p a c ea n a l y s i sh a sa d v a n t a g e s ，s u c ha sh i 曲c o m p u t i n ge f f i c e n c ya n ds t r o n g g e o m e t r yf e a t u r ed e s c r i p t i o na b i l i t y e i g e n f a c em e t h o db a s e do np r i n c i p a lc o m p o n e n t a n a l y s i sa n dt h em e t h o db a s e do nl i n e a rd i s c r i m i n a n ta n a l y s i sa r et w os u c e u e s s f u l o n e s b e c a m eo ft h ed i s t u r b a n c ec o m i n gf r o me n v i r o n m e n t ,o n e - o r d e rf e a t u r e e x t r a c t i o nb a s e do np c ao rl d ac a nh a r d l yg e tt h ef e a t u r e se x a c t l ys t a n d i n gf o r i d e n t i f i c a t i o n b yc o m p a r i n gt h e s el i n e a rs u b s p a c ea n a l y s i sm e t h o d si nt h e o r ya n d e x p e r i m e n tr e s u l t s ，t h i st h e s i sw i l lp o i n to u tt h a tl i n e a rd i s c r i m i n a t ea n a l y s i si sm o r e s u i t a b l ef o rf a c er e c o g n i t i o nt h a no t h e rs u b s p a c em e t h o d s f i s h e rl i n e a rd i s c r i m i n a t ea n a l y s i sh a so b t a i n e ds u c c e s s f u la p p l i c a t i o n si nf a c e r e c o g n i t i o n an e wl d a b a s e df a c er e c o g n i t i o na l g o r i t h mi sp r o p o s e di nt h et h e s i s w h i c hi sc a l l e d “w e i g h t e dn u l ls p a c ea p p r o a c h d u et ot h ef a c tt h a tf i s h e rc r i t e r i ai s n o td i r e c t l yr e l a t e dt ot h ec l a s s i f i c a t i o na c c u r a c y ，w ep r o p o s eam a t e g yt oc o m p u t et h e t o t a lb e t w e e n - c l a s ss c a r e rm a t r i xa n dt h ep o o l e dw i t h i n - c l a s ss c a t t e rm a t r i xu s i n g 2 山东大学硕士学位论文 s o m ew e i g h tf u n c t i o n s aw e i g h t e dt o t a lb e t w e e n - c l a s ss c a t t e rm a t r i xi sc o n s t r u c t e di n w h i c hs m a l l e rd i s t a n c e sa r em o r eh e a v i l yw e i g h t e dt h a nl a r g e rd i s t a n c e s ，b e c a u s et h o s e c l a s s e sw h i c ha r ec l u s t e r e dt o g e t h e ra r em o r el i k e l yt ob em i s c l a s s i f i e d ；aw e i g h t e d p o o l e dw i t h i n - c l a s ss c a t t e rm a t r i xi sc o n s t r u c t e d i nw h i c ho u t l i e rc l a s si sm o lel i g h t l y w e i g h e d , b e c a u s eo n ec l a s si sw e l ls e p a r a t e df r o mt h eo t h e rc l a s s e si nt h ei n p u ts p a c e ， w h e t h e rt h ew i t h i n c l a s sc o v a r i a n c em a t r i xo ft h i sc l a s si nt h en e ws p a c ei sc o m p a c to r n o tw i l ln o th a v em u c hi n f l u e n c eo nt h ec l a s s i f i c a t i o nr e s u l t w et e s tt h i sa l g o r i t h m o no r la n df e r e th u m a nf a c ed a t a b a s e s e x p e r i m e n tr e s u l t ss h o wt h a tw e i g h t e d n u l ls p a c em e t h o di sa l le x c e l l e n tf a c er e c o g n i t i o nm e t h o d i tc a na c h i e v eah i g h c l a s s i f i c a t i o na c c u r a c yb yr e s e r v i n go n l yaf e wf e a t u r ev e c t o r s ， k e y w o r d s ：f a c er e c o g n i t i o n ；f e a t u r ee x t r a c t i o n ；l i n e a rs u b s p a c ea n a l y s i s ； p r i n c i a lc o m p o n e n ta n a l y s i s ； f i s h e rl i n e a rd i s c r i m i n a n ta n a l y s i s 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：幽圣主鹜 日期： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：邀垒主羡导师签名：宴丝堑趸日期： 山东大学硕士学位论文 第一章引言 人脸识别技术作为一个典型的图像模式分析、理解与分类计算问题，是一门 涉及到模式识别，数字图像处理，分析与理解，计算机视觉，人工智能，人机交 互，计算机图形学，认知科学，神经计算，生理学，心理学等多个学科的交叉研 究领域，因此，有必要对人脸识别的相关知识进行了解。本章先简单介绍了牛物特 征识别技术的有关知识，然后简要概述了人脸识别的研究内容，列举了人脸识别在 各领域的应用，概述了人脸识别的发展过程及研究现状，介绍了特征提取在人脸 识别中的地位，提出了本文研究的重点，最后对全文的结构作了简单的介绍。 1 1 生物特征识别技术简介 1 1 1 生物特征识别技术的背景知识 在日常牛活中，我们经常进行着牛物特征识别，即使出牛不久的婴儿也能正 确认出自己的父母：听到人说话的声音，我们能立刻辨认出它是张三还是李 四发出的；就连动物也有这种辨认的能力等。这说明不同的生物具有自身独特 的特征。早在古埃及时代人们就开始通过人体的生物特征的测量( 如人手、人脸等) 来鉴别人的身份，在刑侦领域及日常牛活中，人们也早已使用了人体最有效的牛 物特征之一一指纹来鉴别人的身份，但是，当人们试图让计算机来完成这些工作 时，却遇到了麻烦，计算机听不懂我们说的话，看不懂我们写的字，无法辨认见 过的人让计算机代替人做这些工作的愿望促进了生物特征识别技术的迅速发 展。进入2 0 世纪8 0 年代以来，计算机技术日新月异，计算机处理数据的能力迅 猛发展，于是基于计算机技术的自动人体牛物特征识别技术的研究和产品开发也 方兴未艾，如计算机声音识别系统，指纹识别系统等，形成了一个新兴的、充满 活力的产业和研究领域。 1 1 2 生物特征识别技术 4 所谓生物特征识别( b i o m e t r i c s ) 技术就是通过计算机与光学、声学、生物 山东大学硕士学位论文 传感器和生物统计学等高科技手段密切结合，利用人体固有的生理特性( 如指纹、 脸像、虹膜等) 和行为特性( 如笔迹、声音、步态等) 来进行个人身份的鉴定。其核 心在于如何获取这些牛物特征，并将之转换为数字信息存储于计算机中，利用可 靠的匹配算法来完成验证与识别个人身份的过程。 常用的牛物特征分类见 图卜1 生物特征分类图 1 2 人脸识别技术简介 生物特征识别技术目前已得到较成功应用的有指纹识别、虹膜识别、d n a 识 别、人脸识别等。但是前三种识别技术的数据采集都必须要求待识别者执行一定 的行为才能进行。比如，要得到某个人的指纹样本，从心理角度讲，采集方式并 不友好；要得到某个人的虹膜图像，要求被测试者的眼睛必须对着一个特制目镜： d n a 识别技术更是必须在实验室中进行。不能达到广泛性和实时性，这在很大程 度上限制了这三种识别技术的应用。 人脸识别( f a c er e c o g n i t i o n ) 作为牛物特征识别技术的一种，早在六七十 年代就引起了研究者的强烈兴趣。对人脸自动识别方法的研究已成为当前生物特 征识别和人工智能领域的一个研究热点乜1 和难点，它是一种最为重要的基于生 物特征的身份识别技术。与其它生物特征相比，人脸通常无可遮掩，获取十分方 便，具有最自然、直观、可靠，对用户最无侵扰性，所以最易于为用户所接受等 优势，这使得人脸识别身份认证逐渐成为牛物特征识别方式的一个丰流方法。本 文丰要研究人脸识别，因此将在后面展开详细论述。 5 山东大学硕士学位论文 1 2 1 人脸识别的研究内容 人脸识别( f a c er e c o g n i t i o n ) 是基于人的脸部特征，对输入的人脸图象或者 视频流，首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位 置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人 脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身 份。从广义上讲，其研究内容包括以下五个方面 1 ) 人脸检测与定位( f a c ed e t e c ti o n ) ： 即从各种不同的场景中检测出人脸的存在并且确定其位置，然后将人脸分离 出来这一任务丰要受光照、噪声、头部倾斜度以及各种遮挡的影响。 2 ) 人脸表征( f a c er e p r e s e n t a ti o n ) ( 也称人脸特征提取) ： 即确定表示检测出的人脸和数据库中的已知人脸的描述方式。通常的表示方 法包括几何特征( 如欧氏距离、曲率、角度等) 、代数特征( 如矩阵特征矢量) 、固 定特征模板、特征脸等。 3 ) 人脸鉴别( f a c ei d e n t i f i c a t i o n ) ： 即通常所说的人脸识别，就是将待识别的人脸与数据库中的已知人脸进行比 较，得出相关信息。这一过程的核心是选择适当的人脸表示方式与匹配策略。 4 ) 表情姿态分析( f a c i a le x p r e s s i 帆g 9 s t u r eh n a l y s i s ) ： 即对待识别人脸的表情或者姿态信息进行分析，并对其加以分类。 5 ) 物理分类( p h y s i c a lc l a s s i f i c a t i o n ) ： 即对待识别人脸的物理特征进行分类得出其年龄、性别、种族等相关信息， 或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推导出孩子的 脸部图像、基于年龄增长的人脸图像估算等。 本课题的研究内容属于狭义的人脸识别方法，不涉及表情分析和物理分类方 面。 人脸识别需要解决的问题有多个，但最根本的研究问题有两个：一是人脸确认 ( f a c ev e r i f i c a t i o n ) ，用于判断测试人脸是否为他所声明的身份，属于一类分类 问题；二是人脸辨认( f a c ei d e n t i f i c a t i o n ) ，用于确定测试人脸是否为已有参 考对象中的那一个，属于多类分类问题。”。 6 山东大学硕士学位论文 1 2 2 人脸识别在各领域的应用 人脸识别技术作为生物特征识别技术的一种，其应用归纳起来，可以分为以 下几类： 1 ) 公安、司法和刑侦 公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其它途经获 得某一嫌疑犯的照片或其面部特征的描述后，可以从数据库里迅速查找确认，这 大大提高了刑侦破案的准确性和效率。也可以利用人脸识别系统和网络在全国范 围内搜捕逃犯。 2 ) 电予护照、身份证 这或许是未来规模最大的应用。国际民航组织( i c a o ) 已确定，从2 0 1 0 年4 月 1 日起，其1 1 8 个成员国家和地区，必须使用机读护照，人腧识别技术是首推识别 模式，该规定已经成为国际标准。美国已经要求和它有出入免签证协议的国家在 2 0 0 6 年1 0 月2 6 日之前必须使用结合了人脸、指纹等牛物特征的电予护照系统，到 2 0 0 6 年底已经有5 0 多个国家实现了这样的系统。去年年初，美国运输安全署 ( t r a n s p o r t a t i o ns e c u r i t ya d m i n i s t r a t i o n ) 计划在全美推广一项基于生物特 征的国内通用旅行证件。欧洲很多国家也在计划或者正在实施类似的计划，用包 含生物特征的证件对旅客进行识别和管理。中国的电子护照计划公安部一所正在 加紧规划和实施。 3 ) 入口控制 入口控制的范围比较广，如设在楼字、单位或私人住宅入口处的安全检查， 计算机系统或情报系统的入口控制等。 4 ) 视频监视 现在，许多银行、公司、公共场所等处都设有2 4 d 时的视频监视。当有异常 情况或陌牛人闯入时，需要实时跟踪、监控、识别和报警。这需要对采集到的图 像进行具体分析，要用到人脸的检测、跟踪和识别技术。 5 ) 自助服务 比如用户的银行卡和密码如果被盗，卡内的现金就会被他人取走。如果同时 在银行卡内应用人脸识别就会避免这种情况的发生。 6 ) 其它 7 山东大学硕士学位论文 在医学、信息安全、档案管理、视频会议、人脸动画，人脸建模、人机交互 系统等方面也具有巨大的应用前景。 相对欧美国家，我国的人脸识别技术的应用研究起步较晚，但是，在“十五一 8 6 3 计划信息领域中己将“牛物特征识别”列为研究专题。国内很多高等院校、科 研院所以及专业公司都对生物特征识别开展了广泛而深入的研究。如：清华大学的 “用人脸识别方法实现的计算机自动登录系统”；在“科技奥运”理念的指导下， 中国科学院自动化所生物识别与安全技术研究中心，开创性地将中远距离人脸监 控识别技术应用到了北京奥运安保中，成为一种有效提升奥运安保人员身份识别 的智能化于段等等。 随着人脸识别技术的发展和人脸识别技术应用领域的不断拓宽，人脸识别技 术在各个领域的应用前景将会越来越广泛。 1 2 3 人脸识别技术的发展与现状 人脸识别最早可以追溯到1 8 8 8 年h 1 ，但人脸识别的真正研究始于2 0 世纪6 0 年代末吲，b l e d s o e 以人脸特征点的间距、比率等参数为特征，建成了一个半自动 的人脸识别系统，但由于受技术条件限制发展缓慢。从2 0 世纪6 0 年代末至今， 人脸识别算法技术的发展大体可以分为如下四个阶段： 1 ) 基于简单背景的人脸识别阶段：这是人脸识别研究的初级阶段，始于6 0 年代末，通常利用人脸器官的局部特征来描述人脸，但由于人脸器官没有 显著的边缘且易受到表情的影响，因此它仅限于正面人脸( 变形较小) 的 识别。 2 ) 基于多姿态表情的人脸识别阶段：这是人脸识别研究的发展阶段，始于 7 0 年代末，但n 9 0 年代初才被人们真正关注进行专门研究。 3 ) 动态跟踪人脸识别阶段：这是人脸识别研究的实用化阶段，始于9 0 年代末， 特别是”9 1 l ”事件促进了动态人脸跟踪技术的快速发展。 4 ) 三维人脸识别阶段：为了获得更多的特征信息，直接利用二维人脸图像合 成三维人脸模型进行识别也成为该领域的一个丰要研究方向。 当前，人脸识别技术的应用还没有做到“普及”，但是不能否认，它已经开 始影响着我们的牛活。 近几年来，国内外学者对人脸识别技术做了大量研究。在国际上，主要有美国、 山东大学硕士学位论文 欧洲国家、日本等，著名的研究机构有美国m i t 的m e d i al a b ，a il a b ，c m u 的h u m a n - c o m p u t e ri n t e r f a c ei n s t i t u t e ，m i c r o s o f tr e s e a r c h ，英国的d e p a r t m e n to fe n g i n e e r i n gi nu n i v e r s i t yo fc a m b r i d g e 等。综合有关文献，目前的人脸识别方法主 要集中在以下几个方面：模板匹配、示例学习、神经网络、基于隐马尔可夫模型 的方法、基于a d a b o o s t 的人脸识别算法、基于彩色信息的方法、基于形状分析的 方法，以及多恣态信息融合的方法等。同时由于美国9 l l 恐怖事件的出现以及安 全验证的需要，人脸识别研究也得到了前所未有的重视。 从1 9 9 4 年开始，一些科研单位和公司开始将研究成果转化为实用产品，如 m i c r o s o f t 公司的t r u ef a c e ，v i s i o n s 公司的f a c e t ，以及z nb o c h u mg m b h 公 司研制的z n f a c e 等旧1 国内关于人脸自动识别的研究始于二十世纪8 0 年代，丰要的研究单位有清华 大学，哈尔滨工业大学，中科院计算所，中科院自动化所等，并都取得了一定的 成果。国内的研究工作丰要是集中在三大类方法的研究：基于几何特征的人脸正 面自动识别方法、基于代数特征的人脸正面自动识别方法、基于连接机制的人脸 正面自动识别方法。 我国入口规模巨大，经济增长迅速，对可靠的人脸识别技术的需求也越来越 迫切。通过一批专家学者孜孜不倦地努力，我国的人脸识别技术已经不落后于发 达国家。8 6 3 计划、国家科技支撑计划、自然科学基金都拨出专款资助人脸识别 的相关研究。国家“十一五”科技发展规划中也将人脸识别技术的研究与发展列 入其中，明确指出：“要在生物特征识别技术领域缩小与世界先进水平的差距， 开展生物特征识别应用技术研究，开发具有高安全性、低误报率的出入口控制新 产品。”在这种环境下，国内一些科研院所和院校在人脸识别技术方面取得了很 大进展。例如：中科院自动化所、清华大学、中科院计算所自主开发的人脸识别 技术已经达到了国际先进的水平；最近迅速发展起来一种解决方案是基于主动近 红外图像的人脸识别技术。它可以克服光线变化的影响，已经取得了卓越的识别 性能，在精度、稳定性和速度方面的整体系统性能超过三维图像人脸识别。这项 技术由我国中科院自动化所主导，近两三年发展迅速，并且在红外图像对可见光 图像混合识别的研究也取得了突破进展，使其可以和现有可见光人脸数据兼容， 也真正使人脸识别技术更加实用化。其中，中科院自动化所的中科奥森近红外人 脸识别系统独树一帜，彻底解决了困扰人脸识别领域的环境光照影响问题；早在 9 山东大学硕士学位论文 2 0 0 3 年，汉王就瞄准人脸识别技术的国际前沿，结合国内市场发展趋势，开展人 脸识别技术的潜心研究，五年磨一剑，现在我们拥有完全自主知识产权的“d u a l s e n s o r ”人脸识别算法，识别性能达到国际一流等等。 国际先进水平的人脸识别技术也已转化为先进的产品。2 0 0 8 年，汉王全力推 出一系列入脸识别技术及其产品，突破国外技术垄断，正式拉开国内人脸识别产 业化的序幕! 如采用“d u a ls e n s o r 一人脸识别算法的p c 人像识别登录系统、人 脸识别考勤机、人脸识别门禁机等。但是，要把中国制造的人脸识别产品打入国 际市场，需要从标准上和国际接轨。 随着技术瓶颈的进一步突破，市场的进一步规范，相信规模化应用的日了不 会太远，届时，人脸识别技术本身的发展和应用效果还将有更大的提升，为我们 的牛活带来更多便利和安全。 1 2 4 人脸识别的优点及研究难点 与其它牛物识别技术相比，人脸识别具有如下优点1 ： 1 ) 不需要使用者配合，操作隐蔽性强，特别适合于安全防范、罪犯监控、 罪犯抓捕等。 2 ) 采用非接触式采集，没有侵犯性，容易被接受。而指纹采集、掌纹识别 通常易给人造成心理抵触。 3 ) 事后追踪能力强，普通人即可进行判断核实。而普通人一般不具备对于 指纹、虹膜的判别能力。 4 ) 更符合人类的识别习惯，交互性强，适合于改善人机界面。 5 ) 实现的设备通用、简单，尤其是采集设备成本较低。指纹采集仪、虹膜 图像采集仪、d n a 鉴别仪等都是专用的采集设备，而且设备昂贵。 虽然人类能够轻易地识别出复杂环境中的人脸，但是人脸自动机器识别却是 难度极大的课题。迄今为止人脸识别还没有一个非常完美的解决方法。其困难主 要表现在： 1 ) 人脸是复杂的三维结构的可变形体，很难用精确的数学模型描述。人脸 识别技术发展到今天，许多成果仍然是在二维人脸信息基础上取得的， 而真实世界中的人脸是三维的，三维信息特别是三维图像较二维图像更 能提供完整而真实的内容，如何有效地利用人脸的三维信息进行识别， l o 山东大学硕士学位论文 詈量詈! 鼍! 詈曼! 曼皇! 皇暑曼皇皇鼍曼墨e 1 i 一 一 一一一。暑曼皇皇喜皇! 毫詈皇曼皇皇曼曼葛皇! 鼻詈曼鲁! 曼! 皇毫皇皇曼皇鼍曼喜曼喜喜量鲁 将是一个具有挑战性的研究课题。 2 ) 所有人的脸部结构均高度相似，从统计意义上讲，属于典型的类内散布 大于类间散布的统计模式识别问题： 3 ) 人脸图像受到各种成像条件的影响，比如表情、姿态、尺度、光照、背 景等： 4 ) 动态人脸识别的研究：现有的静态人脸识别技术无法满足某些特殊场合 的需要，如海关监测等需对人脸进行动态跟踪和识别，而满足这种场合 需求的动态人脸识别技术相对比较欠缺，因此，动态入脸识别研究将有 特殊的应用价值和应用前景。 5 ) 多数据融合的人脸识别研究：经过近四十年的研究，人脸识别领域的研 究已经硕果累累，为深入研究提供了丰富的方法和经验。然而，到目前 为止，仟何一种方法都有其特定的应用条件和局限性，不能完全适应于 各种情形。因此，将各种技术和方法进行有效的融合将是未来人脸识别 技术发展的途径之一。 6 ) 三维人脸识别的研究：人脸识别技术发展到今天，许多成果仍然是在二 维人脸信息基础上取得的，而真实世界中的人脸是三维的，三维信息特 别是三维图像较二维图像更能提供完整而真实的内容，如何有效地利用 人脸的三维信息进行识别，将是一个具有挑战性的研究课题。 1 2 5 本文的主要工作 人脸识别因其难度大应用面广，已知成为近年来研究的热点。完整的人脸识 别系统一般由人脸检测与定位、图像预处理、特征提取、人脸识别四部分组成。 特征提取对人脸识别系统的识别准确率起着至关重要的作用。本文对人脸识别中 的特征提取进行研究，主要包括如下几方面的内容： 1 ) 综述牛物特征识别技术，指出牛物特征识别技术的应用前景。 2 ) 综述自动人脸识别技术，指出人脸识别的广泛的应用前景及优越性。 3 ) 对当前人脸识别中存在的各种子空间特征提取算法进行了较为系统的介 绍，并对这些算法从理论和实验结果两方面进行了比较，指出线性判别 分析子空间方法在人脸识别中的优越性。 4 ) 对各种线性予空间法特征提取进行研究与比较。指出p c a 法、l d a 法的不 山东大学硕士学位论文 足，并加以改进。提出了一种新的基于线性判别分析的人脸识别算法： 改进的零空间法。实验证明，该方法是一种鲁棒性较好的人脸识别算法。 1 2 6 本文各章内容安排 第一章介绍了选题背景、生物识别技术、人脸识别技术及其应用与发展。 第二章介绍了自动人脸识别技术研究概况。 第二章介绍了各种予空间人脸识别方法，指出了各种方法的优缺点。 第四章研究各种线性了空间法的人脸识别，研究基于f i s h e r 线性判别分析的 人脸识别方法，并提出了一种新的基于f i s h e r 线性判别分析的人脸识别方法：改 进的零空间法。 第五章对全文作总结。 山东大学硕士学位论文 皇詈曼皇暑鼍皇曼詈曼皇詈量詈置皇皇皇量皇曼皇鼍鼍暑皇曼! 曼曼曼! 鲁曼鼍皇m , i l ! 詈! 量鼍曼皇詈鲁詈詈鼍暑皇鼍曼! 詈! 曹鼍詈皇詈曼蔓曼! 寡暑詈! 詈曼曼! ! 詈葛 第二章自动人脸识别技术概述 2 1 自动人脸识别系统的构成 自动人脸识别技术就是利用计算机分析人脸图像，从中提取有效的识别信息， 用来辨认身份的一门技术。问题一般可以描述为：给定一个场景的静态或视频图 像，利用已存储的人脸数据库确认场景中的一个或多个人。自动人脸识别系统一 般由四部分组成：人脸检测以找到人脸、分割人脸；对分割出的人脸进行预处理； 特征抽取：进行匹配和识别。一个简化的自动人脸识别系统如图2 一l 所示： 图片视频广 厂 广 厂 结果 一人脸检测与定位h 预处理h 特征提取h 入脸识别卜 2 2 人脸检测与定位 图2 - - 1 自动人脸识别系统 人脸检测与定位受到很多因素的影响，主要包括： 1 ) 姿势：人脸可能以不同的姿势出现，产生了人脸图像的外观变化； 2 ) 装饰：人脸的一些特殊的装饰或附属物，会给识别带来严重的后果。比 如：胡须、眼镜、化妆等； 3 ) 遮挡：人脸在某些情况下会被遮挡，而使脸部特征缺损或丢失； 4 ) 背景：人所处的环境背景的复杂程度直接影响入脸检测和识别； 5 ) 人脸表情：人脸的外观会受到人的心理和表情的影响； 6 ) 成像条件：人脸在成像过程中，会受到摄像距离、拍摄方向、视场角度、 光照强弱等条件的影响； 7 ) 年龄跨度：人脸会随着年龄的增长而有所变化。 入脸检测与定位，作为人脸识别的基础，其准确度与速度是入脸识别技术实 用化需要解决的重要问题。但是由于上述因素的影响，这一方面的研究相对滞后， 目前越来越受到人们的关注，研究者们从各种不同途径提出了多种检测方法。常 见的有基于统计的方法、基于模板匹配的方法和基于人脸先验知识的方法三类。 山东大学硕士学位论文 2 2 1 基于统计学习的方法 1 基于事例学习的方法。 将人脸检测看作区分人脸样本和非人脸样本的两类模式分类问题，通过对人 脸样本集和非人脸样本集进行训练得到人脸分类器，然后利用学习出来的分类器 对图像中区域进行检测，代表性的方法有基于人工神经网络的方法睥1 和基于支持 向量机( s u p p o r tv e c t o rm a c h i n e s ，简称s v m ) 的方法嘲。 2 基于予空间的方法：如特征脸方法 t u r k 和p e n t l a n d 在人脸识别领域中提出了著名的基于主分量的人脸和特征 描述方法特征脸方法0 1 ，同时也将它用于人脸检测。特征脸方法的实质是通过 k - l 变换获得人脸模式在整个图像空间中的降维予空间( “脸空问”) ，并根据 待识别样本到“脸空间”的距离确定它是否属于人脸模式，距离越小，表明越像 人脸。 p e n t l a n d 等1 提出了一种基于特征子脸的人脸及人脸特征的检测方法。其基 本思想是：人脸是器官的组合，如果将两幅人脸图像中对应的同一器官进行调换， 它们分别作为人脸同一器官的属性不会改变，对于一幅正面人脸，可以根据人脸 器官将其划分为若干区域；对于某一特定器官，存在一组基本器官图像( 特征器 官) ，该器官可以由这组特征器官的线性组合表示。由此，p e n t l a n d 建立了特征 眼、特征唇等，通过计算被测图像区域与特征子空间的距离( d f f s ) 是否小于某 一阈值来判断其是否属于该特征子空间。 3 基于隐m a r k o v 模型( h i d d e nm a r k o vm o d e l ，h m m ) 的方法n 副。 2 2 2 基于模板匹配的方法 基于模板匹配的方法，是指从构造人脸或某个面部器官的模板( 模型) 出发， 通过各种模板搜索与匹配算法，结合对于模板参数的调整，达到检测和定位的目 的。模板匹配法的优点是：简单、易于实现。缺点是：图像噪声对检测结果影响 很大，因此需要对输入图像做适当的预处理；标准模板的大小是人为设定的，因 此不能动态检测眼睛的位置。其后，为了克服这一缺陷，先后又提出了多精度、 多尺度、予模板和可变形模板等方法。 1 4 山东大学硕士学位论文 皇皇皇暑詈暑鲁詈鲁! 曼皇皇昌吕曼鲁皇! 詈皇! ! 皇曼鼍詈量曼! ! ! 詈鼍曼鼍詈! 鼍詈宣量詈! 皇曼曼曼暑! 。i i i | 1i 皇曼毫曼巴昌鼍詈皇! 鲁鲁皇暑皇曼皇詈量皇 2 2 3 基于人脸先验知识的方法 利用由人脸的先验知识导出的规则进行人脸检测。人脸某些局部特征的分布 总存在一定的规律。例如，人的两只眼睛总是对称地分布在人脸的上半部分，鼻 子和嘴唇中心点的连线基本与两眼之间的连线垂直等。所以，我们可以利用一组 描述人脸的局部特征分布的规则来进行人脸检测。这些规则可以表述为人脸局部 特征之间的相对距离和位置关系等，当满足这些规则的图像区域找到后，则认为 一幅人脸已被检测出来，然后可以对候选的人脸区域进行进一步的验证，以确定 候选区域是否包含人脸。 1 ) 基于器官分布规则的方法 y a n g 和h u a n g 等人提出的马赛克方法3 1 ，给出了基于人脸区域灰度分布的规 则，依据这些规则对图像采用分二个层次的基于知识的方法进行人脸检测。 2 ) 基于颜色纹理的方法 主要利用人脸表面皮肤的颜色和纹理的稳定特性进行检测。l e e 等设计了肤色 模型表征人脸颜色，利用感光模型进行复杂背景下人脸和器官的检测们。d a i 等利 用了空间灰度共生矩阵纹理图信息作为特征进行人脸检测n 引。 3 ) 基于人脸轮廓的方法 人脸的外形轮廓接近于椭圆，通过检测椭圆实现人脸检测。 基于知识的方法所存在的主要问题是：很难将人类知识转换为明确定义的规 则，所以识别率不高；对于不同视角的人脸，由于某些人脸特征不可见，所以不 能使用这种方法检测。但是，这种方法采用的对图像进行马赛克处理、分层次检 测和通过先验知识指导人脸检测的思想对以后的研究提供了帮助。 目前在复杂背景下的人脸分割研究取得了一定的进展，但检测速度和效果还 不能令人满意，如何在复杂背景图像中快速有效地检测和分割出入脸将成为研究 的重点。 2 3 图像预处理 图像预处理的作用丰要有两方面，其一，通常系统获取的原始图像会因光照、 环境等客观因素的影响，出现颜色分布不均衡、亮度过高或过低、噪声过大等情 况，造成图像的质量不理想或者分辨率不高，这就不能满足系统的需要，所以需 业进 r 坝处州。j 。，足获墩的蝌艨n j 息小符f 后续操作的具体要求，这时也同 样需要埘h 像按l 蛳，的要求进行坝处胖，例如，尺、j ，们度方i n 的要求。乜之 罔像撷处， 址。个承f 悄下的过利i ，需篮个i i i i 考啦整个系统的性能。 罔像的“! 处州在i | _ 算机视啦、图像：刖中和5 得到丫广泛的戊用。神：人脆议别 1 ，通过图像孙址婢，可以盘| i j = 图像中的无川信g ，提高掉法效率和速度，提高 整个人腑识刖系统的u ! 别半。i 剥像j _ l ：1 处圳包扎图像滤被、图像增强、一值化、平 梢、f f 力h 均衡等过程。i 刳像m 处耶的汀法包括荻胜化、) l f , i 校正、滤波2 、噪、 阿万罔均衙等。 术沦文j - 的0 f t 1 寅啦j ! 埘h 像作了血川均衡坝处蚪，。扶膛 斤h 足种晒 龇，匕丧小* 矧7 9 t i 婚j版搜级的像采，l i 荻胜级的像素拒整啸阿中出j _ 【l | 的蜊 ， z f i i n j j 州l i 艽系地- “9 、j 4 绌山橱一h 沁扳慢缎的脱师辛为纵一p 标绘。h j l 【_ 小“f ：1 、k 个9 ：坦量i “，j 。小9 ：慢纵r i h 悔巾m 肌的蜘1 数。j 玎h 22 嵌 _ ；收, l i 。它址【刳悔旧咂要统【1 特址五畎j i 像灰嫂n 0 分m 陆一m 。般随求，i 】 然斟像的夫部分像条的扶度级低于平均灰应级，荻度缎直打阻总是在低值扼度区 域蛳数较人，这 t ，h 像 隐含n 较i i j - i x 域巾的细们f 看币消。 r l 厅斟均衡化足对j r 驭度均挣i 化的搽f 1 。，木操作的i 的是把通过点运算一t 图门口圈 h2 f n ) 利( c ，) 一“i “，【q 俘，( h ) 和( d ) 为终过“【q 均嗍后的l q 像 山东大学硕士学位论文 皇皇! 置鼍暑皇暑暑皇曼詈鲁皇暑詈皇詈暑暑皇皇n ni_j i i , 皇皇皇鼍鲁皇葛 输入的图像转化为每一灰度级上所有相同的像素点的输出图像，也即输出的直方 图是平的。有的图像在低值灰度区间上频率较大，使得图像中的较暗区域中的细 节常常看不清，为了使图像清晰，可以将图像的灰度范围拉大，也即让灰度直方 图在较大的范围内趋于一致。图2 3 所示是原来图像的均衡化之后图像和灰度图 的比较。可见，经过灰度均衡后，图像的对比度大大提高了。 由于光照、背景环境等对人脸识别有很大的影响，使得图像预处理质量还有 待于进一步提高。 2 4 特征选择与提取 特征选择与提取是人脸识别中的核心步骤，也是最用难的问题之一，它直接影 响着人脸识别的精