（控制理论与控制工程专业论文）基于人工神经网络技术的人脸正面图像自动识别.pdf

f 0 摘要 基于人工神经网络技术的人脸正面图像自动识别 摘要 人脸识别技术是模式识别、计算机视觉和图像理解系统的研究范 畴，在公安和安全部门有着广泛的应用，例如搜索罪犯、动态监控、 银行密码系统等等。近几年，随着人脸技术应用在商业领域的范围不 断扩大，人脸识g i j $ 1 | 关技术的发展得到了空前的重视，成为图像识别 和理解领域的研究热点。 本论文研究了基于人工神经网络技术的人脸正面图像自动识别 的基本理论与关键技术。主要分为三大部分：图像预处理，特征提取 和人脸分类器。首先为了尽量去除人脸图像中的干扰信息，先对人脸 图像进行预处理，其中包括人眼定位，提取纯脸，并进行灰度归一化 和尺度归一化等；再使用基于k l 变换的特征脸方法，提取图像特 征，压缩图像数据；最后使用改进学习算法的径向基函数神经网络 ( r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k s ，r b f n n ) 作为人脸分类器。 整个算法在m a t l a b 7 0 1 下实现，并建立了人脸自动识别系统。 在o r l 人脸数据库上验证该方法达到了8 9 的正确率。 本论文的实验表明这种基于径向基函数神经网络的人脸正面图 像识别技术是行之有效的。 关键词：人脸识别r b f 神经网络k l 变换人眼定位 a b s t r a c t h u m a nf a c ep o s i t i v el m a g e sr e c o g n i t i o n u s l n gn e u r a ln e t w o r k st e c h n o l o g y a b s t r a c t f a c er e c o g n i t i o n ( f r ) t e c h n o l o g yi sw i t h i nt h er e s e a r c ha r e ao fp a t t e m r e c o g n i t i o n , c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n gs y s t e m ，f a c er e c o g n i t i o nh a s f o u n daw i d er a n g eo fa p p l i c a t i o ni np o l i c ea n ds e c u r i t yd e p a r t m e n t ，s u c ha sc r i m i n a l s e a r c h i n g ，m u l t i m e d i am o n i t o r i n g ，b a n kc o d es y s t e m ，e t c o v e rt h el a s ts e v e r a ly e a r s , w i t ht h ew i d t hs p r e a do ff a c er e c o g n i t i o nt e c h n o l o g yi ne c o n o m i cf i e l d ，f ra r o u s e s u n p r e c e d e n t e da t t e n t i o n sa n db e c o m et h eh o t s p o ti nt h ea r e ao f i m a g er e c o g n i t i o na n d u n d e r s t a n d i n g t h i sp a p e re l a b o r a t e sm a i nt h e o r ya n dt e c h n i q u ea p p l i e di nh u m a nf a c ep o s i t i v e i m a g e sr e c o g n i t i o nu s i n g n e u r a ln e t w o r k s ，w h i c hi sc o m p o s e do ft h r e ep a r t s ： p r e p m c e s s i n g ，f e a t u r ee x t r a c t i n g ，f a c ei m a g e sc l a s s i f i e r f i r s t l y , i no r d e r t oe l i m i n a t e u n r e l a t e di n f o r m a t i o ni nf a c ei m a g e s ，s o m ep r e p r o c e s s i n gm e t h o d sa r eu s e d w h e na f a c ei m a g ei sr e a d i n gi n t om a t l a bw o r k s p a c e ，t a k es o m ei m a g ep r e p r o c e s s i n g , l o c a t ee y e sp o s i t i o n ，e x t r a c tp u r ef a c ea c c o r d i n gt ot h er o l e ，n o r m a l i z eg r a ya n d g e o m e t r i c a ld i m e n s i o n , t h e nw ec a ng e tt h en o r m a l i z e dp u r ef a c ei m a g e s s e c o n d l y , f e a t u r ee x t r a c t i o ne m p l o y se i g e n f a c em e t h o db a s e do i lk - lt r a n s f o r mt oe x t r a c t s t a t i s t i cf e a t u r ea n dr e d u c ed i m e n s i o n s f i n a l l y , i nt h ep a r to ff a c er e c o g n i t i o n ，r a d i a l b a s i sf u n c t i o nn e u r a ln e t w o r k s ，a saf a c ec l a s s i f i e r , c o n s i s t so ff o r w a r dp a r ta n d b a c k w a r dp a r t ，a d o p t sa ni m p r o v e dl e a r n i n gm e t h o dw h i c hc o m b i n e dl i n e a rl e a s t s q u a r e ( l l s ) a n dd e c e n tg r a d i e n tm e t h o d t h ea l g o r i t h m sa r ec o m p l i m e n t e du n d e rt h ee n v i r o n m e n to fm a t l a b7 0 1 w i t haf a c ea u t or e c o g n i t i o ns y s t e m ，a n dt r a i na n dt e s tt h ei m a g e si nt h eo r lf a c e d a t a b a s e w ec a l lc o n c l u d et h a tt h ei m p r o v e dr a d i a lb a s i sf u n c t i o nn e u r a lc l a s s i f i e r 、 o ； 、l谣臀 a b s t r a e t h a st h ea d v a n t a g eo fs t r o n gl e a r n i n ga b i l i t ya n df a s tc o n v e r g e n c es p e e d ，t h e r e c o g n i t i o na c c u r a c yw i l lb ea b o v e8 9 w h e ns e l e c t e d f e a t u r e sa r es u i t a b l e a sa r e s u l t ，t h ea d o p t e da l g o r i t h m sh a v es t r o n gp r a c t i c a l i t y k e y w o r d s ： f a c er e c o g n i t i o n ；r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k s ；k l t r a n s f o r m ；e y e sl o c a t i o n 1 1 1 关于学位论文使用授权的说明 本人完全了解广西大学有关保留、使用学位论文的规定，即： 广西大学拥有在著作权法规定范围内学位论文的使用权，其中包 括：( i ) 己获学位的研究生必须按学校规定提交学位论文，学校可以 采用影印、缩印或其他复制手段保存研究生上交的学位论文；( 2 ) 为 教学和科研目的，学校可以将公开的学位论文作为资料在图书馆、资 料室等场所供校内师生阅读，或在校园网上供校内师生浏览部分内 容。 本人保证遵守上述规定。 ( 保密的论文在解密后遵守此规定) 作者签名： 只期： 童垒菱 堡。6 。c i 导师签名： 同期： i r ； 第章引言 1 1 研究背景 1 1 1 研究动机及应用价值 第一章引言 随着社会的发展，各个方面对快速有效的自动身份验证的要求日益迫切。 由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性。因此是 身份验证的最理想依据。这其中，人脸识别( f a c er e c o g n i t i o n ) ，即利用人脸特 征进行身份验证，又是最自然直接的手段，相比其它人体生物特征( 如指纹、 掌纹、虹膜、语音等) 识别技术相比，它具有直接、友好、方便的特点，易于 为用户接受。 人脸识别是指基于已知的人脸样本库，利用图像处理和模式识别技术从静 态或动态场景中，识别或验证一个或多个人脸。任何一种技术的发展都是由于 受到了实际应用需要的激励，人脸识别技术也不例外，它最初发展的原因就是 公安部分要把它用于罪犯照片的存档管理和刑事侦破。现在这种技术在安全系 统和商贸系统都有很多的应用。主要有一下几类应用1 1 , 2 , 3 1 ： ( 1 ) 刑侦破案。当公安部门获得罪犯的照片后，可以利用人脸识别技术， 在存储罪犯照片的数掘库罩找到最相像的人为嫌疑犯。还有一种应用就是根据 目击证人的描述，先由警察画家画出草图，然后用这张图到库罩找嫌疑犯。罪 犯数据库往往很大，由几千幅图像组成。如果这项搜索工作由人工完成，不仅 效率低，而且容易出错，因为人在看了上百幅人脸图像后，记忆力会急剧下降， 而由计算机来完成则不会出现此问题。 f 2 ) i f 件验证。身份证、驾驶执照以及其他很多证件上都，f i 照片，现在这 此i f 0 多是【| | 人1 蚧订的。如果用了人脸识别技术，这项工作就”r 以交给机器 完成，从晌实现自动化智能管理。当时普遍使用的另一炎证件足用符号或条形 码标记的，比如信用卡、自动提款机等。这类卡的安全系数比较低，因为卡可 能丢失，秘密也可能被遗忘或窃取。如果在这类卡上加上人脸的特征信息，则 可大大改善其安全性能。 气lllr 第一章引言 ( 3 ) 入口控制。入口控制的范围很广，它可以是设在楼宇、单位或私人住 宅入口处的安全检查，也可以是计算机系统或情报系统等的入口控制。在楼宇 或某些安全部门的入口处，比较常用的检查手段是核查证件，当人员频繁出入 时，请保安人员再三检查证件是很麻烦的，而且安全系数也不高。在一些保密 要求严格的部门，除了用证件，还要加上另外一些识别手段，如指纹识别、手 掌识别、虹膜识别和语音识别等。人脸识别与之相比，具有直接、方便和界面 友好的特点当前计算机系统的安全管理也备受重视，通常使用由字符和数字 组成的口令可能会被遗忘或破解，但是如果把人脸当作口令则既方便又安全。 ( 4 ) 视频监控。在许多银行、公司、公共场合等处都设有2 4 小时的视频 监控。另外侦查员在破案时有时也要用摄像机对人进行跟踪。在对图像进行集 体分析时，就要用到人脸的检测、跟踪和识别技术。 。 除了这即部分应用外，人脸识别技术还可用在视频会议，机器人的智能化 研究以及医学方面。 近几年，随着计算机软硬件的发展，基于人脸识别技术的表情信息提取也 成为可能，它可用于改进人机交互方式，从而产生更人性化、智能化的计算机 系统。人脸技术的发展正是受到商业应用的推动，以及相关技术的发展而得到 空前的重视，成为图像识别和理解领域的研究热点【4 j 1 1 2 人脸识别的研究内容 人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现 在：( 1 ) 人脸塑性变形( 如表情等) 的不确定性；( 2 ) 人脸模式的多样性( 如 胡须、发型、眼镜、化妆等) ；( 3 ) 图像获取过程中的不确定性( 如光照的强度、 光源方向等) 。识别人脸主要依掘人脸上的特征，也就是说依据那些在不同个体 间存在较大差异而对于同一个人较稳定的度量。人脸识别是一门涵盖信号处理、 数字图像处理、计算机视觉、模式识别等多门理论知识在内的应用技术，具有 很高的研究价值。 人脸识别( f a c er e c o g n i t i o n ) 一般可描述为：给定一静止或动态图像，利 用已有的人脸数据库来确认图像中的一个或多个人。从广义上来讲，其研究内 容包括一下五个方面1 2 1 ： ( 1 ) 人脸检测( f a c e r e c o g n i t i o n ) ：即从各种不同的场景中检测出人脸的 2 、 3 ， 毫 第一章引言 存在并确定其位置。这一任务主要受光照、噪声、头部倾斜度以及各种遮挡的 影响。 ( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：即确定表示检测出的人脸和数掘库 中的已知人脸的描述方式。通常的表示方法包括几何特征( 如欧氏距离、曲率、 角度等) 、代数特征( 如矩阵特征矢量) 、固定特征模板、特征脸、云纹图等。 ( 3 ) 人脸鉴别( f a c ei d e n t i f i c a t i o n ) 即通常所说的人脸识别，就是将待识 别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择 适当的人脸表示方式与匹配策略。 ( 4 ) 表情分析( f a c i a le x p r e s s i o n a n a l y s i s ) ：即对待识别人脸的表情进行分 析，并对其加以分类。 ( 5 ) 物理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的物理特征进行 分类，得出其年龄、性别、种类等相关信息。 本文主要研究狭义的人脸识别方法，不涉及表情识别和物理分类方面。一 个人脸自动识别系统主要包括三个主要技术环节，如图1 1 所示： 图1 1 人脸自动识别系统构成 f i g 1 1f a c er e c o g n i t i o ns y s t e m 首先是人脸检测与定位，即检测图像中有没有人脸，若有，将其从背景中 分割出来，并确定其在图像中的位置。在某些场合，拍摄图像的条件可以控制， 比如警察拍罪犯的照片时要他们将脸的某一部分靠近标尺，这时人脸的定位很 简单。普通证件照片上的头部占据图片中央的大部分地方，定位也比较容易。 在另一些情况下，人脸在图像中的位詈预先是未知的，比如一些复杂背景中拍 摄的照片，这时人脸的检测与定位将受以下因素的影响：( 1 ) 人脸在图像中的 付胃、旋转角度和尺度不同定；f 2 ) 发型和化妆会遮盖某些特衍：( 3 ) 图像中 出现的噪卢。 其次是特征提取。特征提取之i ； 一般需要做几何归一化和灰度归一化的工 作。其中前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小； 后者是指对图像进行光照补偿等处理，以克服光照变化的影响。具体的特征形 式随识别方法的不同而不同。比如在基于几何特征的识别方法中，这一步主要 ， li，手 第一章引言 是提取特征点，然后构造特征矢量；在统计识别中，特征脸方法是利用图像相 关矩阵的特征矢量构造特征脸，而隐马尔可夫方法则是对多个样本图像的空问 序列训练出一个隐马尔可夫模型，它的参数就是特征值；模板匹配法用相关系 数做特征；而大部分神经网络方法则直接用归一化后的灰度图像作为输入，网 络的输出就是识别结果，没有专门的特征提取过程。 最后是人脸识别。数据库里预先存放了已知的入脸图像或有关的特征值， 识别的目的就是将待识别的图像或特征与库里进行匹配识别的任务主要有两 个：一个是人脸辨认，即确定输入图像为库中的哪一个人，是一对多的匹配过 程；另一个是人脸证实，即验证某个人的身份是否属实，是一对一的匹配过程 根掘输入图像的性质，可以将人脸识别分为静态图像的人脸识别和动态图像序 列的人脸识别两大类。前者主要是用静态图像如从证件照片、罪犯照片、场景 照片上扫描的图像进行识别，后者则是用摄像机摄取的时间图像序列进行识别。 1 1 3 人脸识别的主要方法 人脸识别的方法很多，主要可分为五大类：第一类是基于几何特征的识别 方法，早期大多是从侧面人脸图像中提取特征，现在基本上是用于提取正面人 脸的信息；第二类是基于相关匹配的方法，包括模板匹配法和等灰度线方法， 主要是利用计算模板和图像灰度的自相关性来实现识别功能；第三类为基于统 计的识别方法，包括特征脸方法和隐马尔可夫方法；第四类为基于连接机制的 识别方法，包括一般的神经网络方法和弹性匹配方法；第五类为其他一些综合 方法或处理非二维灰度图像的方法。其中，基于几何特征的识别方法和基于相 关匹配的识别方法是最早研究的两种传统的人脸识别方法。 1 ，基于几何特征的方法 几何特征是最早用于人脸侧面轮廓的描述与识别，首先根掘侧面轮廓曲线 确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度 等。采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征 点的位置和眼睛等重要器官的几何形状作为分类特征1 5 , 6 | ，但r o d e r 【7 l 对几何特征 提取的精确性进行了试验性的研究，结果不容乐观。并且采用一般几何特征只 描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢 失，更适合于做粗分类。而且目前已有的特征点检测技术在精确率上还远不能 4 气 ， y 第一审引言 满足要求，计算量也大。 2 、基于模型匹配的方法 模板匹配法是一种经典的模式以别方法，这种方法大多是用归一化互相关， 直接计算量幅图像之问的匹配程度。最简单的人脸模板足将整个人脸看成一个 椭圆，它可以进行不同视点的人脸识别工作。而弹性模板由一组根掘特征性状 的先验知识涉及的可调参数所定义，比传统模板更具优势。l a d e s 8 , 9 1 等人针对畸 变不变性的物体识别提出了动态链接模型( d l a ) ，将物体用稀疏图形来描述( 圈 1 3 ) ，其顶点用局部能量谱的多尺度描述来杯汜，边则表示拓扑连接关系并用几 何距离束标记，然后应用塑性图形匹配技术来寻找最近已知图形。w i s c o t t t l n ”】 等人在此基础上作了改进，准确率高，但计算量非常巨大。 3 、基于特征脸的方法 特征脸( e i g e n f a c e ) 方法就是将包含人脸的图像区域看作是一种随机向量， 因此可以用k - l 变换获得其正交k l 基底。识别的过程就是将人脸图像映射到 由特征脸张成的子空间上，比较其与已知人脸在特征脸空b j 的位置。t u r k 等【1 2 1 提出的特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具 有脸的形状，也称为特征脸。识别时将测试图像投影到主子空间上，得到一组 投影系数，和各个已知人的人脸图像比较进行识别，在t u r k 等的论文中报告得 到相当好的效果，但系统在进行特征脸识别之前需要作大量预处理工作如归一 化等。， 特征脸是一种简单、快速、实用的基于变换系数特征的算法，但由于它在 本质上依赖于训练集和测试集图像的狄度相关性，而且要求测试图像与训练集 比较像，所以有着很大的局限性。 4 、基于人工神经网络 人工神经网络在人脸识别应用中有很长的历史。目前，用神经网络进行人 脸识别主要有以下三种结构：( 1 ) 为所有已知人脸建立一个神经网络，可对所 有人脸进行分类和识别；( 2 ) 为每一个人脆建立一个神经网络；( 3 ) 为每一时 人脸建立一个神经嘲络。抻经网络徂人脸口l 别上的心用比起前述几种力法束f j 一定的优势，因为对人脸识别的许多规律或规则进行显性描述是相当困难的， 而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表述，它 是适应性强，一般也比较容易实现，鲁棒性较好，但是运算速度较慢。 5 、综合方法 tfl! 第一章引言 以上每种方法各有其优缺点，目前没有一个较通用的方法适用于所有识别 情况，因此有些学者将多种方法综合起来，或同时利用不同种类的特征。如j i a 和n i x o n i l 3 ，州曾指出，要从大数据量的人脸库中进行识别，单靠扩展单一种类的 特征数目是不够的，需要扩展与原特征集正交的其它种类特征，他们采用的扩 展特征矢量有四种特征集：正面人脸的几何特征、侧面轮廓特征、眼睛性状特 征以及人脸轮廓特征 正是基于这种思想，本文先采用特征脸方法压缩归一化后的人脸数据，再 使用训练速度较快的径向基函数神经网络进行人脸识别的方法，以提高识别效 果和训练速度。 1 1 4 国内外研究概况 由于本课题名称为基于人工神经网络的人脸正面图像的机器识别，这罩主 要介绍这一领域的国内外研究概况。 早期用于人脸识别的神经网络主要是k o h e n o n 自联想映射神经网络【5 l ，用 于人脸的“回忆”。所谓“回忆”是指当输入图像上的人脸受噪声污染或部分缺 损时，能用k o h e n o n 网络恢复出原来完整的人脸。d e m e r s 等1 1 6 1 提出采用主元分 析( p c a ，p r i n c i p a lc o m p o n e n ta n a l y s i s ) 方法提取人脸图像特征，用自相关神 经网络进一步压缩特征，最后采用一个多层感知器( m l p ，m u l t i 1 a y e r p e r c e p 昀n s ) 来实现人脸识别。r o w l e y l l 7 1 建立了一种三层向前网：输入层对应 2 0 x 2 0 像素的图像区域；隐层分为2 6 个单元，其中4 个单元处理区域为1 0 x1 0 像素，1 6 个单元为5 5 ，6 个单元为2 0 x5 。隐层的输出与输出层相连进行综合判 断，输出区间【1 ，1 】的值表示这个区域是否为人脸。为了解决人脸姿态的问题， r o w l e y 分别设置了三个姿态检测器，对输入图像先进行预处理。尽量消除光照的 影响，然后送入姿态检测器，估计人脸的姿态，经校准和预处理后，送入三个检测器 ( 正面人脸、半侧面和侧面) ，最后对检测器的结果进行综合判断。 l a u r e n c e 等i l8 】通过一个多级的s o m 实现样本的聚类，将卷积神经网络 c n n 用于人脸识别。c n n 利用了每个象素及其相邻象素之间的相关性，对图 像的平移、旋转和变形具有一定的鲁棒性。l i n 等1 1 9 1 采用基于概率决策的神经 网络( p d b n n ，p r o b a b i l i s t i cd e e i s i o n - b a s e dn e u r a ln e t w o r k ) 方法。最近，径向 基函数r b f 神经网络因具有逼近性好、空间描述紧凑和训练速度快等特点而被 6 。气誊*l中 * ； v- 第一章引言 用于人脸识别。g u t t a 等1 2 0 l 提出了将r b f 与树分类器结合起柬进行人脸识别的 混合分类器结构，后来他们基于r b f 神经网络进行了针对部分人脸的识别研究 1 2 1 1 ，表明利用部分人脸也可以有效地识别人脸。e r 等【2 2 】采用p c a 进行维数压 缩，再用l d a 抽取特征，然后基于r b f 进行人脸识别。h a d d a d n i a 等【2 3 i 基于 p z m i ( p s e u d oz e m i k em o m e n ti n v a r i a n t ) 特征，并采用混合学习算法的r b f 神 经网络进行人脸识别。此外，l u e a s 等1 2 4 j 采用连续的n - t u p l e 网络识别人脸。 国内学者也在进行孜孜不倦的研究。周德龙等1 2 s 采用基于奇异值分解和判 别式k l 投影的人脸识别既利用了特征脸方法和f i s h e r 线形判别分析方法的优 点，又克服了它们的不足，同时使分类器的设计更加简洁、有效，提高了人脸 图库的识别率。王守觉等【2 6 】提出基于神经网络的仿生模式的识别方法，用多个 神经元连续覆盖特征空问来解决多姿态的问题，这类方法利用了大多数识别算 法对小姿态变化具有一定冗余性的特点，但是，由于典型姿态的稀疏性选择和 姿态选取的任意性，使得识别率的提高受到一定的限制。与此同时，中科院自 靶 动化所、公安部等单位也进行了人脸识别方面的研究，并取得了一定的结果。 但相比之下，国内对人脸识别的研究和重视程度很不够，研究成果与国际水平 还存在相当距离。， 1 2 论文主要内容及实现环境 1 2 1 论文主要内容 基于神经网络的人脸正面图像机器识别是一个跨学科富有挑战性的前沿课 题。人脸不同于其它刚体，它有着丰富的变形，而且个体问的差异较大，一个 实用的识别系统必须考虑到识别算法的鲁棒性和实时性，算法太复杂不仅导致 样本学习的困难，而且会增加识别时间的开销，利用先验知识，综合多种分类 方法足人脸识别研究的趋势。 人脸图像作为一种高维数扼，汽接用于神经网络的训练不仅时问长且网络 复杂，为了进一步降低维数和减少图像中的r 扰信息，在把敛抛送剑神经m 络 训练前先进行图像预处理和特征提取工作。在特征提取部分，实现人眼定位、 提取纯脸并进行归一化处理；在特征提取部分，使用到统计上常用的k l 变换 将由人脸图像数据组成的高维数据空间投影到低维特征空间，进一步降低维数。 本文给出了r b f 神经网络的数据中心、扩展常数即权值的具体算法及在学习过 7 第一章引言 程中这三个参数的调节方法。此外，文章还对实验结果进行了分析讨论。 1 2 2 实现环境 系统硬件环境为a m ds e m p r o n ( t m ) 2 4 0 0 + ，1 6 6 g h z ，5 2 1 m b 内存。 系统的软件环境为m a t l a b7 0 1 ( r 1 4 ) ，操作系统为m i c r o s o f tw i n d o w sx p s p 2 ，全部程序在m a t l a b 环境下实现。 人脸识别的测试平台来自a t & t 的o r l ( o l i v e t t ir e s e a r c hl a b o r a t o r y ) 数 据库，这个数据库是由英国剑桥大学人工智能实验室建立的，该数据库包括1 9 9 2 年4 月到1 9 9 4 年4 月拍摄的一系列人脸图像，由4 0 个人的4 0 0 副灰度图像组 成，图像尺寸为9 2 x1 1 2 ，图像背景为黑色。其中人脸脸部表情和细节均有变换， 例如笑与不笑，眼睛睁开与闭着，戴与不戴眼镜等，人脸姿态也有变换，其深 度旋转和平面旋转可达2 0 度，人脸的尺寸也有最多1 0 的变换，这是目i ； 使用 最广泛的人脸数据库。 “ 1 3 论文的基本结构 本论文主要由五章组成： 第一章：绪论概要的阐述了人面识别的研究背景，列举了当i ； f 流行的人 面识别技术并作简要解释，介绍了当前国内外基于人工神经网络技术的人脸识 别技术研究现状。 第二章：图像预处理部分。先介绍了一种基于人眼图像几何特征的人眼自 动定位方法，然后提取人脸并进行归一化处理，并给出实验结果和结论。 第三章：特征提取部分。先阐述k l 变换和奇异值分解( s v d ) 定理的基 本内容，然后介绍了基于k l 变换的特征脸特征提取的具体步骤。 第四章：人脸分类器先介绍r b f 神经网络概况与基本原理，再给出r b f 网络的构建方法和改进的学习算法，最后给出实验结果。 第五章：人脸自动识别系统的实现。介绍了在m a t l a b 环境下的实现的人 脸自动识别系统。 论文的最后对全文进行了总结，列举了论文的主要研究内容和贡献点，并 探讨了进一步的研究方向。 8 第二章人脸图像颅处理 第二章人脸图像预处理 2 1引言 为了使在不同成像条件( 光照强度、方向、距离、姿态等) 下拍摄的人脸 图像具有一致性，尽量减少环境因素的影响，保证具有较好的识别效果，必须 对人脸图像进行预处理，以实现归一化。良好的归一化，会有效增强系统对成 像过程不确定性的抵抗能力。归一化主要包括两方面内容：一是尺度归一化， 也称为位置校准，有助于解决由于成像距离和人的姿态造成的人脸尺寸和头角 度上的差异；二是灰度归一化，用来对不同光强、光源方向下得到的图像进行 补偿，以减弱单纯由于光照变换造成的图像信号的变换。而为了实现归一化， 首先要进行的一个重要环节就是要先实现人眼的定位。综上所述人脸图像预处 理部分包括人眼的定位、尺度归一化和灰度归一化三个部分。 2 2 人眼的定位 在绝大部分人面识别技术中，都需要进行人脸的定位，特别是眼睛的准确 定位，这是由于两眼间距受光照或表情变化的影响最小，所以常作为几何特征 或图像尺寸的归一化标准。人眼定位的方法有已有很多，有区域分割法【2 ”、边 缘提取法1 2 8 i ，灰度投影法【2 9 1 和模扳匹配【3 0 1 等方法。区域分割法首先对人眼的二 值图像进行区域分割，然后设定一系列经验值和支持函数粗定位眼睛，该方法 对于如人眼闭合、戴眼镜等情况定位失败；边缘提取法是首先进行对人脸图像 进行边缘提取，然后用霍夫变换检测眼球，构造一个包括眼睛、眼腧的眼部模 板，用一系列函数从能量角度找出眼睑，该方法需要做大量预处理，参数过多 的眼部模板不适合用于个体芹异太大的人脸；灰度投影法对人脸图像进行水平 和垂直方向的投影，根据波峰波谷的分如信息束定位眼睛，这种力法定位速度 较快，但波峰波谷的分却肘小川的人脸和姿态的变化j l 常微感，定位粕皮较左， 并易陷入局部最小而导致定位失败；模板匹配是一种有效的模式识别，但需要 对人脸图像的大小和方向进行归一化。本文在总结前人研究方法的基础上，先 对图像进行预处理，再根据人眼位置的几何特征制定判定规则，依据这些规则 判定二值图像中双眼黑块是否出现，最后利用二维相关系数作为检测双眼黑块 9 第二章人脸图像预处理 真实性的判定依掘，并通过实验来验证算法的有效性。 2 2 1 人眼定位前的图像预处理 l ，滤波 实际获得的人脸图像一般都因受到某种干扰而含有噪声，而图像的能量大 部分都集中在幅度谱的低频和中频段，在较高频段，有用信号常被噪声所淹没， 所以在图像处理开始就要使用低通滤波器滤掉高频信号，尽可能减少噪声的影 响。在这里是采用空间域滤波器冲激响应矩阵与输入图像的卷积来实现。 设输入图像厂力为mxn 像素阵列，低通滤波器冲激响应h ( x ，y ) 为l xl 二维阵列，则低通滤波结果为m n 像素阵列： rr g ( x ，y ) = ，( x + m 一睾，y + n - - 鲁) 厅( m ， ) ( 2 1 ) m r o n f f i 0 本文采用高斯滤波器，其冲激相应阵列为： ， r l 21 h ：土l242l ( 2 2 ) 1 6 ll2 1l 2 、直方图均衡化【3 l 】 在数字图像处理中，对灰度图像而言，一个最简单和最有用的工具是厌度 直方图，它表现了一幅图像的灰度分布信息。灰度直方图是灰度级的函数，描 述的是图像中具有该灰度级的像素个数：其横坐标是灰度级，纵坐标是该灰度 级出现的频率( 像素个数) 。 直方图均衡化是一种最常见的直方图修正，它是把给定的图像的直方图分 布改造成均匀直方图，使输出像素灰度的概率密度均匀分布。从而使图像的对 比度增加也就是说，对图像中像素个数多的灰度级进行扩展，而对像素个数 少的灰度级进行缩减，从而达到图像清晰的目的。 对一幅数字图像而占，公式为 p r ( r a = - - l ，0 r k l ，k = 0 , 1 ，l l ( 2 3 ) 仃 式中，上是图像灰度级数，p , ( r a 是第k 个灰度级别出现的概率，仇是图像 i o 第二章人脸幽像预处理 中第k 个灰度像素数， 是图像总像素数。 为进行直方图均衡化，可求得变换函数： ii ” & = r c r k ) = p a r , ) = 詈，0 s 吒 l 女- o ，l ，三一1 ( 2 4 ) 3 = 03 = 0 变换后，仍使用原来的量化器在以前的灰度空日j 进行等l 日j 隔均匀量化，对 每一个变换艮取最靠近的量化值，可得到熏新量化后的新的灰度级别。 2 2 2 人眼的定位 寻找最佳分割阈值使人眼从复杂背景和人脸中分割出来是人眼定位的第一 步。所谓最佳分割阈值指的是能将眼睛虹膜、瞳孔、上眼框与眉毛以及其他人 脸部位、背景物明显分离的灰度分割阈值。文献1 3 2 1 中认为：绝大多数情况下最 佳分割阂值位于原始灰度图像直方图低厌度区的第一个峰点对应的灰度值与0 6 ( 即1 5 4 2 5 6 灰度级) 之间。在这里设簧初始阈值t s 为固定值( 比如l o 灰度级) ， 最大搜索阈值t c 为1 5 4 灰度级。实现方法是：生成在灰度阈值t 下的二值化图 像，依照人眼在二值图像中几何位置的规律，判定图像中黑块是否为人眼，若 没找到人眼，灰度阈值依照一定步长递增，继续寻找。t 的变化范围为【t s ，t e l 。 具体步骤如下： 步骤1 ：令二值化闽值t = t s ： 步骤2 ：以t 为二值化阈值对人脸图像进行二值化，再对该二值化图像进行 “m a j o r i t y ”形态运算以除去二值化图像中的小斑点，再对二值化图像中的黑块 进行标记，计算每块面积，确定每块所占据的矩形位置及宽度高度； 步骤3 ：以下人眼黑块判定规则搜索二值图像中黑块是否是人眼： 眼块的大小要在一定范围内( 比如5 - 6 0 个像素之间) ； 限块不能太靠近图像边缘； 眼块下一定范围内不能彳丁墨块( l t , 女d1 0 个像素范内) ； 双眼眼块中心距离要在2 5 5 0 之问； 双眼眼块中心垂直距离要小于l o 个像素； 双眼眼块问不能有别的黑块； 其中任一条件不满足则跳至步骤6 。 第二章人脸图像预处理 由此得到的是两个可能为人眼的黑块a l 和b r ； 步骤4 ：对满足以上规则的黑块，用模板法对其进行修正： 由于瞳孔为圆形，采用6 x 6 的正方形模板c ，在黑块区域进行自左向右、 自上向下的动态搜索，分别按下式计算其点乘值a 以左眼黑块为例： a = c ( m ，刀) a l ( m ，帕 ( 2 5 ) 66 取a 最大值时正方形模板覆盖的黑色区域块的中心为人跟中心所在的位置， 即左眼中心位置“，m ) 和右眼中心位置( 屯，儿) 。 步骤5 ：再进行相似性检查： 分别以检测到的( x t ，y ) 、( 屯，y ：) 为人眼中心，从原灰度图像中切割出大小 为m x n ( 如1 1 1 1 ) 的小块灰度图像a 和r ，再将a 沿左边缘翻转，得到l ， 再计算l 和r 相关系数r ： m ( k 一云) ( r 。一夏) ( 2 6 ) 其中云为矩阵l 的均值，面为矩阵r 的均值。 着检测到的相关系数为小于0 3 则步骤6 ，否则e n d 。 步骤6 ：把分割阈值t 加上步长( 比如为5 个灰度级) 若小于t c ，跳转到 步骤2 。 2 - 3 图像的尺度归一化 通过以上方法得到人眼位置后，设人脸正面图像左、右眼中心分别为e i 和 e r ，设两眼中心距离日e 的中点为o ，并设局e ，的长度为d 。可以通过下述步 骤完成图像的尺度归一化： l ，图像旋转。以点o 为中心旋转，实现e e 水平。 2 ，图像缩放在这里，指定标准图像的两眼中心距离d 为3 0 个像素，对 两眼中心距离不等于该值的图像按比例缩放，最后得到的标准人脸图像两眼中 心距离应该为3 0 个像素。 3 ，图像剪切。如图2 4 ，以o 点为中心，分别往上、下、左、右截取1 5 、 1 2 第二市人脸图像顶处理 4 5 、1 5 、1 5 个像素而最后得到6 1 6 1 的纯脸图像。 示意图如图2 1 所示。 图2 i 人脸裁剪比例 f i g 2 1e x t r a c t e dp u r ef a c ep o r t i o n 2 4 图像的灰度归一化3 3 】 图像亮度：即图像矩阵的平均值，其值越小则对应的图像越暗。 图像对比度：即图像矩阵的均方差( 标准差) 。对比度越大，图像中黑白反 差越明显。 图像的灰度归一化就是把原始图像的灰度均值和方差变换为期望得到的均 值和方差。对人脸图像中的每一个像素的灰度值料f 】【卅作下式运算： g = ! 孥( g 【以u 】一材1 ) + u 0 ( 2 7 ) a l 其中 铲志善驴f 】【，】 q 8 42 志萋善( 删小2 表示图像宽度，圩表示图像的高度。在这翟，取“o 为1 9 0 ，d o 为4 6 。 对o r l 人脸图库中每张待测图片进行灰度归一化，可减少不同光照条件对 人脸图片的影响。 第二章人脸图像预处理 2 5 实验结果 根据以上算法，从o r l 人脸库中选取了2 4 人的2 4 0 幅图像。所选取的图 片中有戴黑框眼镜的，有侧光照，有的人脸左右倾斜或偏转一定角度( 3 0 。) ， 也有人脸以一定角度仰视或俯视。 原始图像经初步预处理后得到的图像如图2 2 所示。相应的直方图如图2 3 所示可以看到变换后的直方图并不是十分均匀，这是因为重新量化时将每一 个灰度级中所有像素作为一个整体归并到一个新的量化级上去，显然是不能完 全均匀的但含有像素多的几个灰度级间隔被拉大了，压缩的只是像素少的几 个灰度级，实际视觉能接收的信息大大增加了，并且简单易行。另外，要构成 真正均匀的直方图，需采用另一种比较复杂的方法瞰1 。 ； 原始图德经滤波癌图片”滤波渡方封均衡佬 图2 2 预处理前后图片对比 f i g 2 2o r i g i n a li m a g ea n di m a g ea f t e rp r e p r o c c s s i n g 图2 3 直方图对比 f i g 2 3c o n t r a s to f h i s t o g r a m 在人眼定位部分，本文用两种方法验证算法，其一是经过预处理，并且使 1 4 第二章人脸幽像颅处理 用初始闺值固定的方法( t s = i o ) ；其二是不经过预处理，使用文献 3 2 1 的方法， 设置初始闽值为原始灰度图像直方图低灰度区的第一个峰点对应的狄度值。实 验得到在不同阂值下得到的二值图像如图2 4 所示，得到的人眼定位图像如图 2 5 所示。两种方法结果对比如表2 1 所示。 表2 1经过预处理和未经预处理图片人眼定位效果对比 t a b l e2 1 c o m p a r i s o nt h er e s u l t so f i m a g e sw i t hp r e p r o c e s s i n ga n dw i t h o u tp r e p r o c e s s i n g 总的图片数误判图片漏州图片下均州断时间f s l 经过预处理 2 4 01 01 50 1 7 4 7 未经预处理2 4 02 5 3 6 o 1 3 3 6 图2 4 递增阈值下的二值图像 f i g 2 4b i n a r yi m a g e sw i t hp r o g r e s s i v ei n c r e a s eo f t h et h r e s h o l d 翻2 5臼幼人跟定位的划像 f i g 2 5a u t o m a t i ce y e sl o c a t i o nm a g e s 由实验敛掘可知，经过预处理后，a 动人眼定位准确率为8 9 5 8 ，比未经 预处理图片提高了1 5 ，误判率下降6 2 5 ，漏判率下降8 7 5 。由此可见， 图片经过预处理是必要的；对于人脸图像中闭跟、戴黑框眼镜或反光很严重的 图片识别率低；若人脸图像中，眉毛太黑且俯视则漏判、误判率高。经过预处 第二章人脸图像预处理 理的每幅图像平均判断时间比未经预处理的平均判断时间长0 0 4 1 i s ，是因为预 处理的算法中把初始阈值设置为较低的定值。在这里，可以适当提高初始阈值 以提高判定速度，但是随着计算机运算速度越来越快，这一超出时间不是问题。 经图像预处理最后得到的部分标准化图像如图2 6 所示。 图2 6 标准化后的图像 f i g 2 6i m a g e sa f t e rs t a n d a r d i z a t i o n 2 6 本章小结 人脸图像预处理是人脸识别中很重要的一个步骤，尤其对构建全自动的人 脸检测识别系统，预处理是必不可少。因为在实际的环境中，人脸的姿态、表 情、实际的光照条件都和库中的图像有着很大的差异。通过预处理，消除了头 发和背景的干扰，在一定程度上获得了人脸表示的几何不变性。本文的图像预 处理