（信号与信息处理专业论文）基于存储器神经网络的人脸识别研究.pdf

东南大学博士学位论文 摘要 基于存储器神经网络的人脸识别研究 博士研究生周兆捷导师吴乐南 东南大学无线电工程系 人脸的自动识别技术在近几十年来成为图像处理与模式识别领域的一个研究熟点，其不 但在理论研究上具有较大的挑战性，而且在现实生活中有广阔的应用市场。如同在其它领域 一样，人工神经网络技术在人脸识别领域也有着广泛的应用研究，但基于存储器的神经网络 模型却尚未在该领域得到充分的重视。本论文的主要工作即是围绕基于存储器神经网络的人 脸识别而展开，在充分挖掘基于稀疏r a m 的n - t u p l e 神经网络模型( s n - t u p l e ) 的人脸识别 性能的基础上，对其做出改进，并结合人脸识别领域的其它方法作进一步的探讨： 1 探讨面向人脸识别的基于稀疏r a m 的i t m p l e 神经网络模型的参数设置。作为由稀疏分 布式存储器( s d m ) 与单层查找感知器( s l l u p ) 模型结合产生的s n t u p l e 神经网络模 型，在得到性能拓展的同时也带来了可调参数的增加，这些参数的设置( 初始化) 对该 神经网络模型的性能起着决定性的作用。本文从人脸识别的应用角度出发，结合大量实 验讨论了s n t u p l e 神经网络的人脸图像n 。t u p l e 采样方式、存储器单元激活规则( 距离度 量规则与激活单元的个数) 以及存储器单元地址的设置，发现了存储器单元地址的设置 对s n t u p l e 神经网络人脸识别性能的影响晟大，并且提出了一种面向训练集的s d m 存 储单元地址设置方法，实验表明采用新的s d m 存储单元地址设置方法既提高了人脸识 别性能，又降低了网络模型的学习训练时间，同时也为s n t u p l e 神经网络模型的改进指 出了一个方向。 2 提出了基于自组织稀疏r a m 的n t u p l e 神经网络模型。在详细研究了传统s d m 神经网 络模型的多种改进算法和模型的基础上，总结出加强各人脸图像的n t u p l e 组在s n - r l p l e 神经网络模型的相应s d m 中激活的存储单元的分布性是提高人脸识别性能的关键。因 此本文提出采用自组织映射( s o m ) 模型来学习训练模式，得到一种新的存储器模型 s s d m 来代替s n t u p l e 神经网络模型中的s d m ，从而得到一个新的神经网络模型基 于自组织稀疏r a m 的n t u p l e ( s s n 4 u p l e ) 神经网络模型，实验证明在人脸识别方面 s s n m p l e 神经网络模型的性能要优于s n t u p l e 神经网络模型。 3 一次提交算法在s s n t u p l e 神经网络模型中的推广应用。相对于其它类型的神经网络模 型，基于存储器神经网络模型的一个重要特点就是其学习训练和输出响应的快速性，因 此在满足一定性能要求的条件下，寻求快速的学习训练算法是神经网络模型研究的重要 方向。本文将改进的经典一次提交算法与回归一次提交算法推广应用于s s n - t u p l e 神经 网络模型，实验表明这两种快速学习算法在s s n - t u p l e 神经网络模型框架下能取得较好 摘要 的人脸识别性能，同时较之于误差矫正的学习算法，极大地缩短丁学习训练的时间。 4 基于g a b o r 滤波与自组织稀疏r a m 的n - t u p l e 神经网络模型相结食的人脸识别研究。本 文在了解g a b o r 小波在人脸识别中应用的基础上，结台s s n t u p l e 神经网络模型的n - t u p l e 采样特点，提出对不同尺度g a b o r 滤波特征采取不等长的n t u p l e 采样方法，即对具有 较好分类性质的g a b o r 滤波特征采用较细的n - t u p l e 采样的指导思想，实验表明基于该 n t u p l e 采样比采用传统的等长n t u p l e 采样提高了人脸识别性能，这也为多人脸( 生 物) 特征在s s n t u p l e 神经网络模型中的联合训练和识别提供了可能。 5 研究基于自组织稀疏r a m 的n t u p l e 神经网络模型与统计模式识别中p c a 、l d a 方法 级联的分类器组合应用。在对当前模式识别问题中分类器组合的结构与策略研究韵基础 上，提出对s s n - t u p l e 神经网络模型和p c a 、l d a 方法采用级联型分类器组合结构，在 抽象层上进行组合的设想。实验中将s s n t u p l e 神经网络模型分别与p c a 、l d a 方法两 两组合，由作为级联组合结构中的第一级分类器对待识人脸划定一个候选人脸类别子 集，再由第二级分类器确定出待识人脸模式的最终所属类别，取得了不错的识别效果。 6 探讨基于自组织稀疏r a m 的n - t u p l e 神经网络模型在人脸表情识别中的应用。对人脸表 情识别的背景及研究现状进行了分析，阐述了当前人脸表情识别的几种主要方法，并将 基于自组织稀疏r a m 的n - t u p l e 神经网络模型推广应用于人脸表情识别，分别对原始图 像和原始图像的g a b o r 滤波特征进行了人脸表情识别实验，最终结合实验结果对人脏表 情识别的研究方向进行了展望。 关铡! 词：人脸识别；人脸表情识别；基于存储器的神经网络；n t u p l e 分类器；稀疏分布 存储器；自组织映射；g a b o r 滤波：分类器组合 i l 至堕奎兰竖主堂垡竺兰 a b s t r a c t r e s e a r c ho n m e m o r y b a s e dn e u r a l n e t w o r k s f o rf a c e r e c o g n i t i o n c a n d i d a t e ：z h o u z h a n j i es u p e r v i s o r ：w ul e n a n d e p a r t m e n to f r a d i o e n g i n e e r i a g s o u t h e a s tu n i v e r s i t y , c h i n a f o rd e c a d e s ，a u t o m a t i cf a c er e c o g n i t i o nt e c h n o l o g yh a sb e e na na c t i v e t o p i ci ni m a g e p r o c e s s i n ga n dp a t t e r nr e c o g n i t i o n ，w h i c hi st h e o r e t i c a l l yi m p o r t a n ta sw e l la su r g e n t l yn e e d e di n m a n ya p p l i c a t i o n s t h ea r t i f i c i a ln e u r a ln e t w o r k sh a sb e e nw i d e l yu s e df o rf a c er e c o g n i t i o n b u t t h em e m o r y - b a s e dn e u r a ln e t w o r k sh a sn o t g a i n e de n o u g ha t t e n t i o ny e t t h i sd i s s e r t a t i o nf o c u s e s o nf a c er e c o g n i t i o ne x p l o i t i n gt h en l e m o r y - b a s e dn e u r a ln e t w o r k s a n dt h es t u d yi sc a r r i e do u ti n t h ef o l l o w i n ga s p e c t s ： 1 p a r a m e t e r s e t t i n g i sa k e yp r o b l e mi n t h e n - t u p l en e u r a ln e t w o r k sw i t hs p a r s er a m ( s n - m p l e ) s n - t u p l e i sac o m b i n e dp r o d u c to f s p a r s e d i s t r i b u t e dm e m o r y ( s d m ) a n d s i n g l e - l a y e rl o o k u pp e r c e p t r o n s ( s l l u p ) w l f i l es n t u p l ep e r f o r m sb e t t e rt h a ns d ma n d s l l u p ，t h e n u m b e ro f p a r a m e t e r s i n c r e a s e sa n dh e wt o i n i t i a l i z et h e s e p a r a m e t e r s d e t e r m i n e st h ep e r f o r m a n c eo f s n - t u p l ef r o mt h ev i e wo f i t sa p p l i c a t i o ni nf a c er e c o g n i t i o n ， f l t i sd i s s e r t a t i o ni n v e s t i g a t e st h en - t u p l es a m p l em e t h o d ，t h ea c t i v er u l ea n dt h ea d d r e s s s e t t i n go fs p a r s e r a mc e l l s a n d i ti n d i c a t e st h a tt h ea d d r e s s s e t t i n ge x e r t st i l eg r e a t e s t i n f l u e n c eo nt h ep e r f o r m a n c eo fs n - t u p l es oan e wm e t h o di s p r o p o s e df o rt h er a n d o m a d d r e s ss e t t i n gw h i c hu t i l i z e st r a i n i n gd a t ae x p e r i m e n t ss h o wt h a tt h i sm e t h o dc a l ln o to n l y a c h i e v eh i g h e rr e c o g n i t i o nr a t e sb u ta l s or e d u c e l e a r n i n gt i m e 2 a ni m p r o v e d s n t u p l e i s p u t f o r w a r d n a m e da st h e n - t u p l e n e u r a ln e t w o r k sw i t h s e l f - o r g a n i z i n gs p a r s er a m ( s s n - t u p l e ) a f t e rc a r e f u ls t u d yo nm a n yi m p r o v e da l g o r i f l m l s a n dm o d e l so ft r a d i t i o n a ls d mn e u r a ln e t w o r k s i tc o n i e so u tt h a taf u n d a m e n t a lf a c t o ri na b e t t e rr e c o g n i t i o ni st i l ed i s t r i b u t i o no fc e l l si ns d ma c t i v a t e db yf a c ei m a g e ss ot h i s d i s s e r t a t i o nu s e ss o mt o1 e a r nt r a i n i n gp a t t e r nt oo b t a i nan e wm e m o wm o d e lo fs s d ma s t h es u b s t i t u t i o nf o rs d mi n s n - t u p l ea n dp r o d u c e san e wn e u r a ln e t w o r km o d e lc a l l e d s s n - t r i p l ee x p e r i m e n t a l r e s u l t sp r o v ei t sa d v a n t a g eo v e rs n t u p l e 3o n e - s h o ta l g o r i t h mi s g e n e r a l i z e df o rs s n - m p l en e u r a ln e t w o r k s c o m p a r e dw i t ho t h e r n e u r a ln e t w o r k s ，am a i na d v a n t a g eo fm e m o r y - b a s e dn e u r a ln e t w o r k si si t s h i g hs p e e di n i a b s t r a c t 4 ) 6 l e a r n i n g a n dr e s p o n s e t h i sd i s s e r t a t i o ng e n e r a l i z e st h e i m p r o v e d c l a s s i c a lo n e - s h o t a l g o r i t h ma n dr e g r e s so n e - s h o ta l g o r i t h mf o rs s n - t u p l e e x p e r i m e n t ss h o wt h a tt h e s et w o q u i c kl e a n l i n ga l g o r i t h m sc a l lg e th i g hp e r f o r m a n c ea n dn e e dl e s st i m et h a ne r r o r - c o r r e c t e d a l g o r i t h m g a b o rw a v e l e t sc a ng i v ei m a g er e d u n d a n tr e p r e s e n t a t i o na n di s a l r e a d ya p p l i e df o rf a c e r e c o g n i t i o n b u tg a b o rf i l t e r i n go nf a c ei m a g ep r o d u c e sf e a t u r e so fh i g hd i m e n s i o n sa n di t s a p p l i c a t i o ni sr e s t r i c t e ds s n - m p l e h a st h ea d v a n t a g eo f p r o c e s s i n gh i g hd i m e n s i o n a ld a t a s o a c c o r d i n gt ot h en - m p l es a m p l em e t h o do fs s n - t u p l e ，t h i s d i s s e r t a t i o n p r e s e n t s av a r i e d l e n g t h sn t u p l ss a m p l em e t h o d f o rv a r i e ds c a l e sg a b o r f i l t e r i n g0 n f a c ei m a g e s e x p e r i m e n t s s h o wf l a a ti tc a np e r f o r mb e t t e rt h a nt i l et r a d i t i o n a le q u a ll e n g t hn - t u p l es a m p l em e t h o d w h i c hm a k e si tp o s s i b l ef o rf u s i o no f m u l t ib i o m e t r i ef e a t u r e si ns s n - t u p l e a l t h o u g hm a n ys i n g l ec l a s s i f i e r sh a v eg o o dr e c o g n i t i o np e r f o r m a n c e ，n o n eo ft h e mh a sa n o b v i o u sa d v a n t a g eo v e rl h eo t h e r , w h i c hp r o v i d e st h ep o s s i b i l i t yo fc l a s s i f i e rc o m b i n a t i o n s a f t e rc a r e f u ls t u d yo nt h ec o m b i n a t i o no f c l a s s i f i e r s ，t h i sd i s s e r t a t i o nc o n n e c t st h es s n t u p l e ， p c aa n dl d am e t h o d si nc a s c a d ew a yf o rf a c er e c o g n i t i o ne x p e r i m e n t sa r ec a r r i e do u to n t w og r o u p s ：( s s n - t u p l e ，p c a ) a n d ( s s n - t u p l e ，l d a ) t h ef i r s tc l a s s i f i e ri nt i l ec a s c a d e d e s i g n a t e sac a n d i d a t es u b c l a s sf o rt h ei n p u tf a c ea n d t h e nt i l es e c o n dc l a s s i f i e rd e t e r m i n e s t h ee x c l u s i v ec l a s so ft h e i n p u tf a c e s u c hac o m b i n a t i o ny i e l d sb e t t e rr e s u l t st h a ni n d i v i d u a l c l a s s i f i e r s f a c ee x p r e s s i o nr e c o g n i t i o ni sav e r yi n t e r e s t i n ga n dd i f f i c u l ts u b j e c t i ti s c l o s e l yr e l a t e d w i t hf a c er e c o g n i t i o n a f t e rs t u d y i n go nt h eb a c k g r o u n da n ds t a t u so fr e s e a r c ho nf a c e e x p r e s s i o nr e c o g n i t i o nc a r e f u l l y , t i f f sd i s s e r t a t i o na p p l i e st h es s n - t u p i et oi tb a s e d o nh o l i s t i c i m a g ea n di t s g a b o rf i l t e rf e a t u r e s f i n a l l y , s o m ef u t u r ed e v e l o p m e n t so ff a c ee x p r e s s i o n r e c o g n i t i o n a r eg i v e n b ys u m m a r i z i n g t h ee x p e r i m e n t a lr e s u l t k e y w o r d s ：f a c er e c o g n i t i o n ，f a c ee x p r e s s i o nr e c o g l r t i o n ，m e m o r y - b a s e d n e u r a ln e t w o r k s ， n - t u p l ec l a s s i f i e r , s p a r s e d i s t r i b u t e d m o d e l ，s e l f - o r g a n i z i n gm a p s ，g a b o rf i l t e r , c l a s s i f i e r c o n t h i n a t i o n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 戤鞋燧名：翘舭以s 东南大学博士学位论文 1 1 研究背景与意义 第一章绪论 人类社会形成的一个重要特征就是人与人之间存在着各种各样的社会交往形式，在交往 过程中最根本的就是个人身份的鉴定，即个人起码要知道其所交往的另一个人( 多个人) 是 “谁”或区别于“谁”，这是个体之间信用建立的必要手段，雨信用是整个人类社会不断发 展的基础。 从我们降生到这个世界伊始，我们的面容就天然地成了我们个体的第一直观表征，将我 们彼此区分开来，而且伴随着我们的一生，因此人类最先使用的个人身份鉴定方法就是依赖 于我们的脸。随着人类认识世界能力的不断发展，个人身份鉴定的方法也越来越多，在中国 古代就已经发现了每个人的指纹具有区别于他人的独特性，这一鉴别方法被作为较为权威的 手段沿用至今，而在古埃及出现了根据人体各部位的尺寸来鉴别个人的身份，暗号、密码及 笔迹等鉴定方法也相继出现，个人身份鉴定的方法出现了极其繁荣的局面。但是在计算机技 术出现以前，所有的鉴定方法都是完全依赖人来完成的，这就要求执行辨识的人具有较高的 专业技能，并且要付出较大的工作量。 进入到工业自动化时代，人类社会的经济、科技以及文化以前所未有的速度发展，无论 是国家的信息安全、企业的商业来往还是百姓的日常生活对个人身份鉴定都提出了更多的需 求和更高的要求。例如国家安全部门等重要场所的出入、企业商业机密的读取、员工出勤考 核、个人提款、网络安全等都离不开个人身份鉴定这一重要环节。仅在美国，每年就约有 4 5 亿美元的信用卡诈骗案，上亿美元的福利款冒领，高达1 0 亿美元的利用他人身份证盗打 电话费用损失【王2 0 0 0 1 。因此“如何让机器取代人类自身来准确快速地完成个人身份鉴 定”、“如何提高个人身份鉴定的准确性”成了科学研究的一大热点，各种各样的自动个人身 份鉴定系统不断推出 r i h a 2 0 0 0 】。 从所依据的特征角度来看，自动个人身份鉴定可以分为基于持有物鉴定、口令鉴定、生 物特征鉴定( b i o m e t r i c s ) 三类。基于持有物鉴定是指根据个人所掌握的客观物体来确认其 身份，例如证件、橱能卡等；基于口令鉴定是指根据个人所提交的口令信息来确认其身份， 例如暗号、密码等；基于生物特征鉴定则是指根据个人所具有的一个或多个生物特征来确认 其身份，在此所说的生物特征包括个人独特的生理特征和行为特征，例如生理特征包括脸、 指纹、虹膜等，而行为特征则包括步态、语音、笔迹等。 上述三个鉴定种类中，基于持有物与口令的鉴定方法有容易掌握、鉴定快速准确的优点， 但是也存在易丢失、易仿制的缺点，例如当个人的持有物件遭他人窃取、密码被他人猜中或 看见时，基于这两种方法的自动个人身份鉴定系统往往是“认物不认人”，从而给事主造成 意想不到的损失。因此相比较而言，基于生物特征的鉴定方法是目前最为可靠的一种鉴定方 第一章绪论 法，因为个人的生物特征既不会像持有物一样容易丢失、仿制，也不会像口令、密码那样容 易被忘记和破解，从而生物特征识别以其独特的优势获得了各国政府、企业的高度重视与大 量的资金投入。 既然要求个人身份鉴定的高度准确性和安全性，因此人体生物特征的选择必须满足一定 的要求：( 1 ) 普遍性，即每个人都有此特征：( 2 ) 唯一性，即任意两个人的相应特征都有区 别；( 3 ) 稳定性，即此特征在较长的一段时间内不变或变化很小；( 4 ) 无伤害性，即采集测 量此特征时对人体无伤害；( 5 ) 可量化性，即此特征可以被量化测量。满足以上要求并已经 得到研究应用的生物特征按生理特征与行为特征分别包括：人脸、指纹、虹膜、视网膜、手 形、掌纹、d n a 与语音、步态、笔迹、击键等。 个人身份 ( i d ) 拒识 图1 - 1 生物特征识别系统基本结构 生物特征识别系统的基本结构大致如图1 1 所示，注册模块负责完成生物特征识别系统 学习认识人的任务，即知道哪些人是“熟人”且是“谁”；识别模块负责完成识别来访者是 “谁”的任务，如是“熟人”则通过并确定身份，是“陌生人”则拒识。两个模块中相应的 数据采集器与特征描述器的功能原理是一致的，数据采集器用来采集量化人体特定的生物特 征，特征描述器负责进一步提取出有利于分类的特征并将其描述成某一数据形式。注册模块 中的系统数据库用于存储已经注册的个人身份( i d ) 及其相应的特征描述，识别模块中的分 类器将系统的来访者的特征描述与系统数据库中特定人或所有人的特征描述进行比对，最终 判定出来访者的身份或认为是“陌生人”而拒之。 根据应用目的不同，生物特征识别系统又可以分为个人身份认证( p e r s o n a l v e r i f i c a t i o n ) 与个人身份识别( p e r s o n a li d e n t i f i c a t i o n ) 两类。所谓个人身份认证是“一对一”的匹配，即 通过把采集到的某人的生物特征与系统数据库中的一个模板进行比较，验证某人是否为他所 声明的身份；个人身份识别是“一对多”的比较过程，即通过把采集到的某人的生物特征与 系统数据痒中的所有模板逐一进行比较，确定出某人的确切身份。 在如此众多的生物特征识别系统研究中，作为人类彼此区别的第一外部特征的人脸的识 别研究在最近2 0 - 3 0 年得到了热切的关注。这是因为： 1 ) 在所有可用于个人身份鉴定的生物特征中，人类自身对人脸的辨识最轻松也最准确， 然而在机器自动人脸识别方面却一直未能取得非常令人满意的结果，这对人工智能、图像处 2 东南大学博士学位论文 理、生理学等多个领域的研究提出了挑战； 2 ) 社会对自动人脸识别系统的需求在不断增加，无论是机要部门的进出，还是a t m 取 款，或者是计算机登录等都迫切希望能够采用人脸识别认证来代替传统的证件与口令密码认 证方法，以提高安全性和操作的方便性； 3 ) 相较于其它的生物特征识别系统，自动人脸识别系统中人脸图像的采集获取相当“友 好”，无须接触，只需要人脸在一台摄像机的视野范围肉出现即可，入完全可以忽略采集过 程的存在。 自动人脸识别系统的研究起始于1 9 7 0 年代，到1 9 9 0 年代得到了普遍的关注 c h e l l a p p a l 9 9 5 】，两个有关人脸识别的国际会议a f g r 和a v b p a 在1 9 9 0 年代中期出现， 并一直延续至今。i e e e 模式分析与机器智能( p a m i ) 协会更在1 9 9 7 年7 月出版了关于人 脸和手势识别的专刊。关于人脸识别技术的综述伴随着新技术的诞生也在不断出现，s a m a l 于1 9 9 2 年率先总结了早期的人脸识别方法【s a m a l l 9 9 2 ，之后，v a l e n t i n 就人脸识别的神 经网络模型进行了讨论 v a l e n f i n l 9 9 4 ，c h e l l a p p a l 、z h a o 等也从不同的角度对人脸识别方 法和应用作了详细的讨论 c h e l l a p p a l l 9 9 5 ，周1 9 9 9 ，z h a 0 2 0 0 0 ，张2 0 0 0 1 。同时，为了促 进自动人脸识别研究的发展，多个可共享使用的人脸数据库也应运而生，如英国剑桥 o l i v e t t i 实验室的o r l 库、耶鲁大学的y a l e 库、美国国防部资助的f e r e t 库等。 经过众多学者不懈地努力，目前已经有很多自动人脸识别系统投入了商业运营，其中较 为有名的包括v i s i o n i e s 公司的f a c e i t 系统、v i i s a g e 公司的f a c e f i n d a r 系列产品、v i s i o n s p h e r e 公司的u n m a s k 系统等等。我国在此方面也有所建树，中科院、微软亚洲研究院以及多所重 点大学都在此领域投入了大量的人力物力，并且由中科院计算所高文教授主持的8 6 3 项目 “面像检测与识别核心技术”已经通过了鉴定，在静态场景下其准确率达到9 6 5 。这些自 动人脸识别系统主要在以下几类场合得到了应用： 1 ) 司法应用。人脸识别系统在司法领域主要用于犯罪嫌疑人( m u gs h o t ) 识别，即将 某人的照片与数据库所存的特定目标或所有犯罪嫌疑人照片作比对，以确认该人是否为某一 犯罪嫌疑人，因此人脸识别系统既要有身份认证的功能，也要有身份识别的功能。 2 ) 信息安全。一些如国家机要部门、电子商务交易、a t m 提款等安全性要求较高的场 合可以采用人脸识别系统对个人身份把关严查，一般都是“一对一”的验证。 3 ) 访问控制。在计算机登录、汽车使用等工具使用方面，配备人脸识别系统以加强安 全性，此时人脸识别一般只需进行“一对一”的个人身份认证。 4 ) 视频监控。一般在机场、大楼、商业区等公共场台需要配备一些用于监控的人脸识 别系统，其目的是为了在突发事件中能够锁定事件的核心人物并确认其身份，既包括“一对 一”的认证也包括“一对多”的识别任务，这是人脸识别系统所面临的外部环境最恶劣的一 种情况，也是其他生物特征识别系统所不能取代的领域。 应该说，我们的社会已经离不开生物特征识别系统。而人脸识别作为生物特征识别系统 中最为“友好”、应用潜力最大的一种个人身份鉴定方法也理应值得关注。 第一章绪论 1 2 常见生物特征识别技术 1 2 1 指纹识别技术 指纹( f i n g e r p r i n t ) 识别可以说是除人脸识别以外最古老的一种生物特征识别技术，起 源于我国，于2 0 世纪在世界各国的司法领域得到最为广泛的应用，主要用途是确认犯罪嫌 疑人的身份，也正是由于这一点，指纹识别技术在人们日常生活中的推广应用遇到了一定的 阻力，人们在观念上总是觉得使用指纹识别时有一种被审问的感觉，但随着时间的推移和人 们认识的提高，指纹识别系统应用越来越广泛了。 目前，自动读取人类指纹的方法一般分为基 于光反射( o p t i c a l ) 、热辐射( f l l e r r n a l ) 、压电感应 硅( s i l i c o n ) 和超声波( u l t r a s o n i c ) 等4 类，已经 完全取代了传统借助墨水的方法。自动指纹读取 器使得获取指纹的数字图像成为一件非常轻松的 事，但是所得图像是否足够清晰还要取决于用户 手指的清洁度以及用户的正确使用，如光反射读 取器要求手指足够清洁，而压电感应硅读取器对 手指所施加的压力也有所要求，这也是指纹识别 技术应用的困难之一。 图l 。2 指纹 指纹识别主要依赖于指纹缅节( m i n u t i a t e ) 特 征的提取。指纹是指手指表面的纹路( 如图i - 2 ) ，其中突出的称为脊，脊之间部分则称为 谷，指纹的纹路并不是连续平滑的，其间会有中断、分叉或转折，这些变化就是所谓的细节， 正是这些细节体现了人与人之间的指纹差异。典型的指纹特征提取步骤为【j a i l l l 9 9 7 】：1 ) 局部纹线方向估计；2 ) 指纹图像分割：3 ) 脊线抽取与细化；4 ) 细节抽取；5 ) 后处理( 去 除伪细节点) 。 1 2 2 虹膜识别技术 虹膜( i r i s ) 是一个被瞳孔包围的彩色环状纹理 组织( 如图1 3 ) 。每个人的左、右眼虹膜不一样， 孪生子之间的虹膜也互不相同，这是因为虹膜的纹 理结构是随机的，受胚胎期的发育而定。由于虹膜 本身具有规律性的震颤以及随光照变化而收缩的特 性，因此采用照片等手法企图欺骗虹膜识别系统是 不可能的，这点大大保证了采用虹膜识别系统的安 囤l - 3 虹膜 全性。 4 东南大学博士学位论文 虹膜图像的获取需要特殊的摄像设备在离眼睛1 0 4 0c m 处拍摄，而且此间眼睛必须 保持凝视状态以便摄像机对焦，因此这对用户的要求也较高。 摄像机得到的是一幅包含虹膜的整个眼睛的照片，因此需要定位是虹膜识别技术的第一 个环节，即将虹膜从图像中分割出来。为了准确地匹配两个虹膜，必须将虹膜进行对准，确 定两个虹膜之间的结构对应关系，对虹膜图像的平移、旋转、尺度变化及瞳孔的缩放进行补 偿，在此基础上，提取出虹膜的纹理特征进行最终匹配，一般是根据海明距离进行判决。 1 2 3 手形认证技术 当人类在发育成熟之后，其手形( h a n dg e o m e t r y ) 基本不会再有什么改变了，而且不同人的手形是存在 差异的。手形一般用于个人身份认证方面，即完成“一 对一”的任务，目前商用的手形认证系统只有r s i 开 发的产品较为成熟，但是该产品在全球的应用非常广 泛，在机场、政府大楼、军事重地都有使用，最著名 的是1 9 9 6 年亚特兰大奥运会时在奥运村中的成功使 用。据全球最著名的市场调研和咨询公司f r o s t s u l l i v a n 的调查显示，r s i 的手形认证系统在访问控 制和计时考勤应用市场占有率高达4 6 。 图1 4 手形 目前手形认证的主要方法有基于测量手部三维几 何形状特征和基于手部轮廓特征两大类。第一类方法通过提取包括手指长度、手指宽度、手 掌或手指的长宽比、手掌厚度、手指连接模式等特征构成特征矢量，而第二种方法提取的是 手部和手指的轮廓曲线作为特征。两种方法对获得的手形图像要求不同，基于测量手部三维 几何形状特征方法要求能够得到手部的三维信息，对手形读取器的要求较高，而且需要用户 能够很好地配合。而基于手都轮廓特征方法只需得到手部的二维形状信息( 如图卜4 ) ，需 要的手形读取器比较简单，但对识别算法要求较高。 1 2 4 说话人识别技术 语音识别是发展较早也较成熟的一项生物特征识别技术，其涉及面非常广，包括像语音 内容识别、语音情感识别等等，在此所介绍的说话人识别( s p e a k e rv e r i f i c a t i o n ) 技术是语 音识别应用的一种。 每个人的声音特征都与自身特定的发声器官以及后天形成的语言 - j 惯有关，我们可以非 常容易地从一个熟悉人的正常发音中判断出该人的身份。说话人识别技术的优点是获得语音 样本的方式非常简单方便，也易于入接受，但也面临较大困难，即同一人的语音变化范围较 大，而且易受背景噪声、身体和情绪状态的影响，甚至说话人自身也能在一定程度上控制自 己的语音状态。 第一章绪论 按语音信号内容可以将说话人识别分为文本无关和文本有关两种方式：文本无关是指不 限制说话人的发音内窑，用户可以“畅所欲言”；而文本有关则是指定了说话人的发音内容， 有利于识别系统的准确识别。 除了以上介绍的4 种主要生物特征识别技术以外，视网膜( r e t i n a ) 、掌纹( p a l m p r i n t s ) 、 签名( s i g n a t u r e ) 等识别技术也是应用较多的。 1 3 人脸识别技术 人脸识别技术就是；在给定的静态图像或视频序列图像中提取出一个或多个人脸信息 根据一定的算法提取出各人脸的特征描述，并将这些特征描述与预知人的特征描述相比对， 最终确定出图像中各人脸所属人的身份。图1 - 5 表述了人脸识别技术研究的几个重要环节。 - 三三三三 叶j 三三三习( 三三三三 _ + 个人身份 图1 - 5 人脸识别技术主要组成部分 1 3 1 图像表现形式 从上述人脸识别技术的定义可以知道，对于人脸识别技术而言，其最根本的是首先必须 得到一幅包含人脸的数字图像，但是不同表现形式的图像具有不同的信息量，这对后期的人 脸检测与人脸特征提取有着重要的影响。三维彩色( 3 dc o l o r ) 图像具有最多的信息，灰度 ( i n t e n s i t y ) 图像则缺少了颜色信息，二维( 2 d ) 图像失去了深度等三维信息，索描( s k e t c h ) 图像则完全没有纹理信息，而红外( i n f r a r e d ) 图像仅与热辐射有关，信息量最少，另外静 态图像也失去了视频序列图像所其有的运动信息。基于不同表现形式图像的人脸识别都得到 了众多研究者的探讨，其中二维静态灰度图像最受关注，因为易获取、数据量小，并且诸多 实验表明其信息能够满足人脸识别的要求。本文工作也是围绕二维静态灰度图像而展开。 l - 3 2 人脸检测 人脸检测是人脸识别技术研究中的一个重要环节，人脸位置定位的准确性直接影响后 续人脸特征提取的有效性。人脸检测就是：给定一幅图像或一个视频序列，确定其中是否有 人脸存在，如有则将图像中的所有人脸位置准确地确定出来。根据要求的不同，人脸检测需 要定位出人脸的边缘轮廓甚至眼睛、鼻子、嘴巴、耳朵、眉毛等重要识别特征的位置。 按图像内容的不同，人脸检测又分为简单背景和复杂背景两类：简单背景是指图像中除 人脸以外的内容简单，模式单一，而复杂背景中除人脸外的内容模式千变万化，而且可能存 在与人脸相近的模式。目前，简单背景下的人脸检测技术已经比较成熟，这也是前述几个人 6 东南大学博士学位论文 脸识别系统能够投入商业应用的基础，而复杂背景下的人脸检测技术还有待进一步研究，这 是因为人脸检测本质上是一个人脸与非人脸的两类模式识别问题，而由于复杂背景中的非人 脸类所涵盖的模式范围太广，难以用准确的数学模型来描述，所以一直难以得到非常令人满 意的结果。目前基于复杂背景下的人脸检测技术得到了研究人员的高度重视，涌现了非常多 的可行算法 h j e l m 2 0 0 1 y a n 9 2 0 0 2 。 人脸检铡的方法大致可以分为4 类： 1 ) 基于知识的自顶向下法：首先利用先验知识推出一组规则，比如人脸的五官之间存 在相似的拓扑位置关系，从而可以用此已编码的规则得到组候选人脸，再集台其它方法来 验证检测结果的准确性 y a n 9 1 9 9 4 1 ； 2 ) 模扳匹配法：早期是根据不同条件下的人脸建立各种尺寸的人脸标准模板，然后把 图像中的各区域块与模板相比较，以此确定是否存在人脸。后来y u i l l e 提出可变形模板 ( f l e x i b l e t e m p l a t e ) 技术【i 1 1 e 1 9 9 2 】，通过学习多种人脸模式建立了一个参数化的模板， 并定义了一个能量函数将图像的中的边缘、灰度等信息与模板参数联系起来，检测时通过调 节模板参数以最小化能量函数，得到模板的最佳匹配，此时模板所在的位置即为人脸； 3 ) 自底向上特征模型法：先根据人脸特征不变量得到图像中的多个人脸假设，然后再 对假设人脸进行验证，最终得到确切的人脸。这些人脸特征不变量包括面部特征 【g o v i n d a r a j u l 9 9 6 】、纹理特征 a u g u s t e o n l 9 9 3 】、颜色特征 g r a f l 9 9 5 ，g r a n 9 9 6 】和混合 特征【w l l l 9 9 9 】： 4 ) 基于外貌( a p p e a r a n c e ) 的方法：将人脸的面部区域看成一个灰度模式，通过学习训 练建立人脸与非人脸的两类分类器，然后以不同大小的窗口扫描整幅图像，由分类器来判断 各窗口内是否为人脸。这类方法包括特征脸 m o g h a d d a m l 9 9 7 、神经网络【s o u l