（计算机软件与理论专业论文）基于hopfield神经网络的人脸识别系统.pdf

四川师范大学硕士学位论文 基于h o p f i e l d 神经网络的人脸识别系统 计算机软件与理论专业 研究生郑秀清指导教师王玲教授 人脸识别是模式识别研究领域的重要课题。在过去几十年，人脸识别的 研究更多地停留在理论意义之上，自2 0 世纪8 0 年代末9 0 年代初以来，随着信息 安全的重要性日益突出，人脸识别技术在应用方面的研究逐渐成为热门课题。 一个完整的人脸自动识别系统分为三个主要的环节：从图像中检测、分 割人脸：提取人脸特征：人脸识别。本文从应用的角度出发，在参考大量的 人脸检测与识别文献的基础上，试图建立一个完整的人脸识别系统，并给出 了各环节的实现算法。 在人脸检测方面，本文采用了基于颜色空间的椭圆模型肤色检测方法， 基于椭圆模型的肤色检测对自然光条件下图像的检测效果较好，但对于来自 摄像头的图像，由于受光照条件的影响，对肤色的检测效果不太理想。本文 通过对椭圆模型的参数进行动态调整，克服了椭圆模型在人脸检测中肤色检 测不完整的缺点。并给出了不同光照条件下图像人脸检测的实验比较结果。 在预处理方面。主要对检测出的人脸图像进行归一化处理。从包含人 脸的图像中检测出的人脸区域，由于摄像头分辨率、人离摄像头远近的不同， 人脸的偏转以及光照变化等因素的影响，致使分割的人脸区域在大小、方向 以及灰度等方面均存在着一定的差异，这些差异将会对人脸最后的识别结果 产生直接的影响。本文采用了人脸区域双眼自动定位的方法定位人眼，再根 据双眼与水平位置的夹角，采用了双线性插值旋转的方法校正人脸的偏转角 度。由于旋转后的图像会比原图大，超出原图像部分的值为0 ，因此本文对 四j i n 范大学硕士学位论文 旋转后的图像进行二次定位、裁剪，再对裁剪出的人脸图像进行双线性插值 缩放，归一化为同样大小的人脸图像( 如1 0 0 1 0 0 ) 。 在特征提取和人脸识别方面，本文对人脸进行k l 变换提取人脸的 全局特征，并采用h o p f i e l d 神经网络方法进行人脸识别。h o p f i e l d 神经网 络的“能量函数”的能量在网络运行过程中，具有不断地减少最后趋于稳定 的平衡状态的特性，而且网络一旦建立即可自动运行，无需要训练。人脸的 识别过程分为两步：训练阶段，识别阶段。在训练阶段，提取训练样本集的 代数特征，建立网络模型，以输入向量为目标向量，保存网络连接权值和阈 值以及代数特征：在识别阶段，将待识别人脸特征送入网络运行，待网络运 行到平衡状态后，将输出结果与人脸特征库的向量进行比较，距离最小者即 为待识别的人脸图像。本文还分别采用了最小距离分类器和b p 神经网络进 行人脸识别，并对三种识别的结果进行比较，结果表明，h o p f i e l d 神经网 络在小样本集上具有更高的识别率，和更好的稳定性。 关键词：人脸检测：人脸识别：归一化：特征提取；h o p f i e l d 神经网络： b p 神经网络。 四j i i 范大学硕士学位论文 f a c e r e c o g n i t i o ns y s t e m b a s e do n h o p f i e l d n e u r a l n e t w o r k m a j o r ：c o m p u t e r s o f t w a r ea n d t h e o r y a u t h o r ：z h e n gx i u - q i n gs u p e r v i s o r ：w a n gl i n g t h ef a c e r e c o g n i t i o n i sa n i m p o r t a n tt o p i c i nt h e p a t t e mr e c o g n i t i o n r e s e a r c ha r e a i nt h ep a s td e c a d e s ，t h er e s e a r c ho ft h eh u m a nf a c er e c o g n i t i o n w a sm a i n l yl i m i t e dt ot h e o r e t i c a lf i e l d s f r o m8 0 st ot h ee a r l y9 0 s ，t h ef a c e r e c o g n i t i o nt e c h n o l o g yh a sg r a d u a l l yb e c o m eah o ti s s u e i nt h ea p p l i c a t i o n a s p e c t a c o m p l e t ea u t o m a t i cf a c er e c o g n i t i o ns y s t e mc o n s i s t so f t h r e em a i np a r t s ： d e t e c t i n g t h eh u m a nf a c ef r o mt h e i m a g e ，e x t r a c t i n gt h e f a c ef e a t u r ea n d r e c o g n i z i n g f a c e i nt h e l i g h t o fp r e v i o u sl i t e r a t u r eo n f a c e - d e t e c t i n g a n d r e c o g n i t i o n ，t h i sp a p e ra t t e m p t st oe s t a b l i s hac o m p l e t ef a c er e c o g n i t i o ns y s t e m a n dt oc o n d u c tt h ed i s c u s s i o no nt h ea l g o r i t h m so ft h et h r e ep a r t sa n dw r i t e r e l e v a n tp r o g r a m s a tt h ef a c ed e t e c t i o ns t a g e ，t h i sp a p e ra d o p t st h em e t h o do f e l l i p s em o d e l o f c o m p l e x i o nd e t e c t i o n ，t h i sm e t h o dh a v eag o o de f f e c to nt h ei m a g ei nn a t u r a l l i g h tc o n d i t i o n ，b u ti sn o ti d e a lf o rt h ei m a g ef r o m t h ec a m e r a a sar e s u l to ft h e i l l u m i n a t i o ni n f l u e n c e ，t h i sp a p e ro v e r c o m e st h i sd e f e c tb yc a r r y i n go nt h e d y n a m i ca d j u s t m e n t t ot h e e l l i p s e m o d e l p a r a m e t e r ，a n dg i v e s o u tt h e e x p e r i m e n t a l c o n t r a s tt ot h e i m a g e s u n d e rt h ed i f f e r e n ti l l u m i n a t i o n c o n d i t i o n s i nt h e p r e t r e a t m e n ta s p e c t ，t h i sp a p e rm a i n l yf o c u s e s o nn o r m a l i z a t i o no f t h e h u m a nf a c ei m a g e t h eh u m a nf a c er e g i o nd e t e c t e df r o mt h ei m a g em a yh a v e s o m ed i f f e r e n c e si nt h es i z e ，d i r e c t i o no ft h ef a c ea n dt h eg r a y s c a l er e s u l t i n g f r o mt h ed e f e r e n tr e s o l u t i o no ft h ec a m e r a t h ed e f e r e n td i s t a n c eb e t w e e nt h e 四川师范大学硕士学位论文 h u m a nf a c ea n dt h ec a m e r aa n dt h ei n f l u e n c eo fi l l u m i n a t i o nc h a n g e t h e s e d i f f e r e n c e sw i l lb ea b l et oh a v et h ed i r e c ti n f l u e n c eo nf i n a lr e c o g n i t i o nr e s u l to f t h eh u m a nf a c et h em e t h o df o ra u t o m a t i c a l l yl o c a t i n gh u m a ne y e si nf a c e i m a g e h a sb e e nu s e dt of i n dt h ee y e s ，a n dt h e na c c o r d i n gt oa n g l eb e t w e e nt h e l i n eo ft h ec e n t e ro ft w oe y e sa n dt h eh o d z o n t a lp o s i t i o n ，t h ef a c ei m a g ei s r o t a t e db e c a u s es i z eo ft h ei m a g ew h i c hh a sb e e nr o t a t e di sb i g g e rt h a nt h e o r i g i n a lo n e ，t h e m e t h o do ft w o - t i m e d e t e c t i o n ，n a m e l yh u m a nf a c er o u g h d e t e c t i o na n dr e f i n ed e t e c t i o n ，h a sb e e nu s e dt or e s o l v et h eq u e s t i o na b o v e b y t h eb i l i n e a r i n t e r p o l a t i o l l l t h ef a c e i m a g e i sn o r m a l i z e di nt h es a m es i z e ( 1 0 0 1 0 0 ) i nt h ea s p e c to f t h ef e a t u r ee 蛆m c t i o na n df a c er e c o g n i t i o n k - lt r a n s f o r mi s t a k e nt oe x t r a c tt h eo v e r a l lh u m a nf a c ei m a g e ，a n dt h eh o p f i e l dn e u r a ln e t w o r k i su s e di nt h ef a c er e c o g n i t i o n ”e n e m yf u n c t i o n ”o fh o p f i e l dn e u r a ln e t w o r k h a st h ec h a r a c t e r i s t i co f r e d u c i n gg r a d u a l l ya n dt e n d i n gt ob es t e a d y s t a t eo f b a l a n c ei nt h ee n d f u r t h e r m o r e ，o n c et h en e t w o r ki s e s t a b l i s h e d ，i t c a r l a u t o m a t i c a l l ym o v e s t h er e c o g n i t i o ni s d i v i d e di n t ot w os t a g e s ：t h et r a i n i n g s t a g e a n dt h er e c o g n i z i n gs t a g e a tt h et r a i n i n gs t a g e ，t h en e t w o r km o d e li s e s t a b l i s h e db yt a k i n gt h et a r g e tv e c t o rt h es a m ea st h ei n p u to n e a tt h ef a c e r e c o g n i t i o ns t a g e ，t h e n e e d t o - b e r e c o g n i z e d f a c ef e a t u r e sa r e p u t i n t ot h e n e t w o r kt oo p e r a t ew h e nt h en e t w o r ks t a n d si nb a l a n c e ，t h eo u t p u tv e c t o ri s c o m p a r e dw i t h t h ev e c t o ri nd a t a b a s e ，a n dt h ef a c ew i t ht h es m a l l e s td i s t a n c ei s t h e s a m p l ei m a g e ，f i n a l l y , t h e r a i n - d i s t a n c ec l a s s i f i e ra n dt h eb pn e u r a l n e t w o r ks e p a r a t e l yh a v eb e e nc a r r i e do nt h eh u m a nf a c er e c o g n i t i o n t h er e s u l t o ft h e e x p e r i m e n t i n d i c a t e st h a tt h e h o p f i e l d n e u r a ln e t w o r kh a sah i g h e r r e c o g n i t i o nr a t ea n d b e t t e rs t a b i l i t yo nt h ef a c er e c o g n i t i o no ft h es m a l ls a m p l e c o l l e c t i o nt h a nt h eo t h e rt w om e t h o d s k e yw o r d s ：f a c ed e t e c t i o n ：f a c er e c o g n i t i o n ：n o r m a l i z a t i o n ：f e a t u r e e x t r a c t i o n ：h o p f i a i dn e u r a ln e t w o r k ：b pn e u r a ln e t w o r k 四川师范大学硕士学位论文 第1 章绪论 1 1 引言 人脸识别是模式识别研究领域的重要课题。在过去的几十年，人脸识别 的研究更多地停留在理论意义之上。自2 0 世纪8 0 年代末9 0 年代初以来，随着 信息安全的重要性日益突出，人脸识别技术在应用方面的研究逐渐成为热门 课题。 美国遭遇恐怖袭击后，人脸识别技术引起了广泛关注。作为最容易隐蔽 使用的识别技术，人脸识别成为当今国际反恐和安全防范最重要的手段之 一口 现在的人脸识别技术不但在军事上有很大的使用价值，在民用方面也 有广阔的用途，比如当你到银行自动取款机取钱时，不用输密码，只需让 你的脸在a t m 机前停留一会儿，a t m 机就自动吐出你想取的钱；当你回家时， 不用钥匙，防盗门就自动打开来迎接你；旅客住酒店客房可以不用钥匙， 当你登记住宿时，你的脸在极短的时间内被摄像进入系统，到了所订客房 的门前，门就自动开了：在景区，人脸经过系统登记识别可以自动成为“门 票”；保险柜、取款机，甚至个人电脑，都可以用一个或几个人的脸“加密”： 证件( 驾驶执照、护照) 中的身份认证；进出楼寓的安全控制；重要场所 中的安全检测和监控：智能卡中的身份认证等等。随着网络技术日益走进 人们的日常生活，越来越多的用户可以访问互联网，越来越多的信息被霞 入互联网，而由于网络信息访问的便捷性，网络的安全控制成为一个日益 迫切的重要问题。利用人脸识别技术，可以进行计算机的登录控制，达到 程序安全使用、数据库安全访问，实现局域网和广域网的安全控制，保护 电子商务的安全性等等。另外，人脸识别技术还被用在图像库检索，在大 型人脸库中检索出与索引入脸相同或相近的脸像，公安部门可以利用这一 技术进行罪犯库的管理和查询等。 与其它生物识别技术，诸如指纹识别、眼虹膜识别和声音识别相比较， 四j i im j m 范大学硕士学位论文 人脸识别具有以下两点独特的特性： l 适合要求隐蔽实行的场合。其它生物识别方法一般需要人的某些自 愿动作，如按指纹、签字等，而人脸识别对此要求甚低，使它更易于使用， 特别适合要求隐蔽实行的场合，如罪犯侦缉等。 2 当记录一个企图登录的人的生物记录时，只有人脸能更直观、更方 便地核查该人的身份。例如，管理员仅凭双眼无法判断所登录的用户指纹是 否确实与相同i d 号用户所登记的指纹一致，但却可以比对面像。 1 2 项目背景 在日常生活中，人们识别周围的人用的最多的是人脸。由于人脸识别的 非侵犯性，具有直接、友好、方便的特点，是人们最容易接受的身份撩别方 式。随着网络技术和桌上视频的广泛采用，图像捕捉设备正在成为个人计算 机的标准外设，同时电子商务等网络资源的利用对身份验证也提出了新的要 求，人脸识别成为最有潜力的生物身份验证手段之一。 在过去几十年的人脸识别的研究中，人们更多地停留在理论意义之上， 2 0 世纪9 0 年代后期以来，一些商业性的人脸识别系统逐渐进入市场，但是， 这些技术和系统离实用化都有一定距离，性能和准确率有待提高。除一些 特定范围，如证件照的识别以外，还没有较成熟通用的商业产品。通过计算 机上的摄像头，在可接受的时间范围内，比如0 1 秒“捕获”人脸，即时完 成识别( 如1 秒或几秒) ，并要求达到一定的识别正确率，这是个完整的人 脸识别应用系统需要解决的关键问题。 本文在综合参考大量国内外文献的基础上，试图从应用的角度出发，对 一个自动人脸识别系统的算法及实现进行探讨，实验侧重于小样本集的人 脸识别，因为在人脸识别系统中，一个人往往不太可能存储大量的标准人 脸图片供建立特征库使用。实际上，更常见的是一个人的训练库往往只有 2 3 张标准图片，因此，小样本集的人脸识别在人脸识别的应用上具有重要 的价值和意义。本文对人脸识别的三个环节的算法分别进行讨论，并给出 四川师范大学硕士学位论文 各环节的算法流程及实现。本文所有的算法均以m a t l a b 编程实现，部份函 数用v c 编制，供m a t l a b 调用。 1 3 人脸识别的研究内容 一个人脸自动识别系统主要包括三个方面的内容，即人脸的检测与定 位、人脸的特征提取和人脸识别。人脸的检测与定位是从具有各种不同背景 的输入图像中检测出人脸是否存在并确定其位置，再将人脸从背景中分割出 来，进行几何和光照归一化，这一环节主要受光照、噪声、面部倾斜度以及 各种各样遮挡和背景的影响。然后再对归一化的人脸图像进行特征提取与识 别，这一环节的核心是选择适当的人脸表征方式和匹配或分类策略。 1 3 1 人脸的检测与定位 人脸的检测与定位( t i l c ed e t e c t i o n ) f 1 。问是为了从具有各种不同背景的 输入图像中检测人脸是否存在并确定其位置，再将人脸从背景中分割出来。 目前人脸检测方法大致可以分为三类：1 、基于模板匹配方法，2 、基于知识 的方法，3 、基于特征不变性方法。 1 模板匹配的方法 模板匹配法i s 是建立一个确定的人脸模板，再通过计算人脸模板与候选 图像位置上的局部图像的相关程度( 差分测度) 来判断其是否是人脸区域， 若它超过某个预定的门限，则认为找到人脸，这个过程通常称为模扳匹配。 这里的“确定的”人脸模板，一般是在对一定数量的人脸样本的灰度分布进 行统计的基础上建立起来的。当人脸模式的类别太多而难以由单个相关模板 建模时，有些方法就采用若干个相关模板来检测在外观上近似于刚性的局部 的人脸特征( 如眼睛，嘴等) 。但是相关模板对人脸的大小和光照很敏感， 所以不太适用于变化多端的人脸模式；另一方面，相关模板的计算量比较大， 四川师范大学硕士学位论文 直接在边缘图像上进行匹配也比较困难，因此，较多的模板匹配方法往往采 用由粗到细，或由低分辨率到高分辨率的逐层检测方法。 2 基于知识的方法 这类方法利用人的知识 4 t 建立若干规则，从而将人脸检测转化为假设检 验问题。如y a n g 在文献剃中采用了一种分级的基于知识的人脸检测方法，也 就是常说的马赛克方法的人脸检测，它绘出了基于人脸区域灰度分布的规 则，依据这些规则对图像从低分辨率到高分辨率进行筛选，以样本满足这些 规则的程度作为检测的判据。但这类方法存在一个问题，就是如何将人所具 有的知识转化为规则，如果规则过于严格仔细，就会出现由于不能满足所有 条件而不能检测到人脸，如果规则过于普遍，那么又会出现错误的检测，同 时这种方法也无法适应人脸姿态变化。 3 基于特征不变性的方法 这类方法是基于这样一种假设：人们能够毫不费力地发现不同姿态、不 同光线下的人或物体，所以他们必然存在这些变化下的不变的特征。基于不 变特征的人脸检测方法主要有采用人脸特征的检测，基于皮肤颜色纹理特征 的检测 7 】 叫，以及基于多个特征综合的检测叫。这类方法的缺点在于这些特 征会由于照明、噪声以及遮挡情况被破坏，在这种情况下很多方法都会失效， 但是基于不变特征的方法仍然因为其检测时简单、快捷的特点从而成为当前 人脸检澳4 研究的热点。 本文的人脸检测采用了基于不变特征的方法基于肤色的人脸检测，检 测的图片主要来自摄像头，背景相对简单，光照变化大。 1 3 2 人脸的特征提取 人脸特征提取1 1 1 就是采取某种表示方法表示检测出的人脸和数据库中的 己知人脸。通常的表示法包括几何特征( 如欧式距离、曲率、角度等) 、代 数特征( 如矩阵特征矢量) 、固定特征模板等。人脸特征提取的方法主要分 为两类，基于局部特征的提取方法1 和基于整体特征的提取方法。 1 基于局部特征的提取方法 四川师范大学硕士学位论文 基于局部特征的提取方法是从具体的人脸器官之间的关系提取人脸鉴 别的几何特征矢量进行识别的方法。这就要求选取的几何特征矢量有一定的 独特性，能够反映不同的人脸之间的差别，同时要有一定的弹性，以消除时 间跨度、表情、光照等变化的影响。 几何特征矢量是以人脸器官之间的几何关系为基础的特征矢量，如嘴唇 的厚度、鼻孔的宽度、双眼的间距等。由于人脸器官变化较大，且受光照、 噪声、面部倾斜度以及各种遮挡物的影响，使得特征点、特征曲线定位的准 确度受到很大的影响，导致特征提取的可靠性不高。这种识别法的困难还在 于没有形成一个统一的特征提取标准，因此即使是同一个人的面部图像，也 很难用一个统一的模式来表达，从而最终影响识别率。尽管如此，传统的局 部特征分析方法还是被一些研究室用于人脸识别，原因是利用曲线拟合局部 特征、分析局部特征的方法比较直观，而且在表情分析方面，人脸的局部几 何特征仍然是鼹有力的依据。 2 基于整体特征的提取方法 基于整体特征的提取方法考虑了模式的整体属性，从整个人脸图像抽取 人脸鉴别特征，人脸器官变化对人脸鉴别特征的影响不大，因为这种基于整 体脸的识别方法不仅保留了人脸部件之间的拓扑关系，而且也保留了各局部 特征本身的信息。该类方法已经成为计算机人脸识别方法的主流。 基于整体特征的提取方法主要包含两个方面：基于变换域的识别方法和 基于神经网络的识别方法。基于变换域的识别方法包括特征脸方法、f i s h e r 脸法、傅立叶变换法、s v d 分解法和弹性图匹配、贝叶斯方法以及隐马尔可 夫方法等 1 3 1 例。本文采用特征脸方法进行人脸的特征提取。 1 3 3 人脸的识别 人脸识别就是将待识别的人脸与数据库中的相关人脸信息进行匹配，人 脸识别的核心是为适当的人脸表征方式选择与之匹配的策略( 即选择合适的 分类器) ，人脸识别系统的构造与人脸的表征方式密切相关。目前常使用的 四川师范太学硕士学位论文 分类器有：最小距离( 欧几里得距离) 分类器，图像隶属度分类器、人工神 经网络分类器等t a s 衄1 。 1 最小距离分类器 最小距离分类器是将待识别人脸图像的特征与数据库中的标准特征相 比较，距离最近者即为所求的人脸图像。由于各特征向量在识别中所起作用 不同，常用的是标准化的欧几里德距离： d n ：( 圭堕掣) ( 1 - 1 ) i = 1 o 。 其中标准化常数正代表第i 个特征的标准差。 基于最小距离的分类器具有简单，易于计算和实现的优点，但也有很多 缺点，如针面部倾斜及面部表情的变化等复杂情况来说，会产生很大的误差。 2 图像隶属度分类器 图像隶属度嗣是从代数理论和模糊数学出发，讨论向量空间中一子空间 对一向量的接纳程度，以期衡量向量归属此子空间的程度。所有图像可披认 为构成一图像空间，则每一类图像都是该空间的子空间，若以图像的特征向 量来描述图像，则所有图像特征向量构成了向量空间的一个子空间，称之为 特征向量空间。就该空间而言，未知图像的归属问题等价于将某一向量归于 某类图像子空间的问题【1 9 1 。 3 人工神经网络分类器 将提取的特征向量直接作为神经网络的输入，利用神经网络的非线性特 性和联想记忆功能，进行分类识别。 本文采用h o p f i e l d 神经网络的入脸识别方法，输入的向量为基于k - l 变 换的全局特征向量。 四i l 师范大学硕士学位论文 1 4 人脸识别的研究现状 计算机人脸识别技术试图使计算机具有人的识别能力，由于其广泛的应 用领域，人脸识别技术在近三十年里得到了广泛的关注和研究。依托于图像 理解、模式识别、计算机视觉和神经网络等技术，人脸识别技术在一定应用 范围内获得了成功，并且正在被推向更为广阔的应用领域。 国内外的大学一般都有计算机视觉的研究组，并有从事人脸图像处理课 题的研究小组。国外著名的大学包括m i t 、例u 、c o r n e l l 等，德国的一些相 应的研究机构也开展得较好；国内从事这方面研究的大学有清华大学、浙江 大学、哈尔滨工业大学、南京理工大学等，中国科学院的一些研究机构也从 事人脸识别的研究。国夕 的有些公司已经开发了一些人脸识别的产品，部分 产品被安全机构使用，并得到好评：国内现在也有部分公司开始对人脸识别 产品感兴趣，中科院计算机研究所于近两年宣布在人脸检测与识别的核l i , 技 术上取得重大突破。这些研究成果都向我们展示着，人脸识别已经从理论研 究逐渐转入到了应用领域。 人脸识别这一课题和人们日常生活密切相关，并具有巨大的市场潜力和 应用前景。人脸识别的研究主要集中在两个方面，一是集中在证件的防伪 技术和自动识别，其中利用图像处理和模式识别的方法自动识别证件是近年 来研究比较突出的方向：另一方面是识别证件持有者( 或身份申明者) 的合 法身份其中利用人脸识别方法对证件持有者进行自动验证已经被公认为是 最有发展潜力的识别技术之一。 1 5 本文的主要工作 一个完整的人脸自动识别系统分为三个主要的环节：从图像中检测、分 割人脸；抽取人脸特征：人脸识别。本文从应用的角度出发，在参考大量 的人脸检测与识别文献的基础上，试图建立一个完整的人脸识别系统，然 后对系统各个环节的算法进行讨论，并编程实现。 在人脸检测方面，本文采用了基于y c b c r 色彩空间的椭圆肤色模型的 四川师范大学硕士学位论文 人脸检测方法，基于椭圆模型的人脸检测对自然光条件下图像的人脸检测 效果较好，但对于来自摄像头的图像，由于受光照条件的影响，同样的椭 圆模型对肤色的提取效果不太理想。本文通过对椭圆模型的参数进行动态 调整，克服了椭圆模型在肤色检测中不能完整检测出人脸肤色的缺点，并 对不同光照条件下的图像进行了检测，实验结果显示，对于椭圆模型提取 效果不理想的照片，采用动态参数调整的椭圆模型能较完整地提取出人脸 区域。在人脸区域分割方面采用了基于知识规则的方法，标识出肤色区域， 排除非人脸肤色区域，再分割出入脸图像。 在预处理方面，主要对检测出的人脸图像进行归一化处理。从包含人 脸的图像中检测出的人脸区域，由于摄像头分辨率、人离摄像头远近的不 同，人脸的偏转以及光照变化等因素的影响，致使分割的人脸区域在大小、 方向以及灰度等方面均存在着一定的差异，这些差异将会对人脸最后的识 别结果产生直接的影响。为了提高人脸识别的效率，需要对检测出的人脸 区域进行归一化的处理。归一化处理主要包括几何归一化和灰度归一化， 几何归一化又包括方向和大小的归一化。本文采用了人脸区域双眼自动定 位的方法对双眼进行检测，再根据双眼与水平位鬣的夹角，对人脸进行双 线性插值旋转，本文采用的双眼自动定位法与别的特征定位方法相比较具 有简单，快速，定位准确的特点。由于旋转后的图像会比原图大，超出原 图像部分的值为0 ，因此，旋转后的人脸区域四角就存在非人脸区域( 黑 色背景) 。为了对人脸进行更精确的定位，本文对人脸进行两次检测，即 人脸的粗检测和二次检测。首先对粗检出的人脸图像进行方向旋转，然后 再对旋转后的人脸图像进行二次定位、分割，通过对二次分割出的人脸图 像进行插值缩放，归一化为同样大小的人脸图像( 如1 0 0 x1 0 0 ) 。 在特征提取和人脸识别方面，采用k l 变换法提取人脸的代数特征， 对输入的人脸图像样本进行降维处理，将降维后的特征矢量作为人脸特征 值。本文采用h o p f i e l d 神经网络方法进行人脸识别，神经网络的输入采用 了k l 变换的特征值向量。h o p f i e l d 神经网络的“能量函数”的能量在网 络运行过程中具有不断地减少，最后趋于稳定的平衡状态的特性，而且网 络一旦建立即可自动运行，无需要训练。人脸识别分别训练阶段和识别阶 四j i i 师范大学硕士学位论文 段：在训练阶段，对训练样本提取人脸特征向量，建立h o p f i e l d 网络模型， 以输入为目标向量，同时保存网络稳定状态时的输出，作为人脸特征库。 在识别阶段，将待识别人脸进行k l 变换，再将特征向量送入已建好的网 络模型中运行，待网络进入“平衡”状态后，将输出结果与人脸特征库的 数据进行比较。距离最小者即为待识别的人脸图像。 为了测试h o p f i e l d 神经网络在人脸识别方面的效果，本文在最后分别 对最小距离分类器、b p 神经网络与h o p f i e l d 神经网络的识别效果进行比较， 实验结果表明，h o p f i e l d 神经网络较b p 神经网络和最小距离分类器在人脸 识别方面有更高的识别率和更好的稳定性。由于h o p f i e l d 神经网络有自动 运行无需训练的特性，因此，对于小样本集的人脸识别，h o p f i e l d 神经网 络较b p 网络在识别的效果上具有更明显的优势。同时，该方法可用于从大 型人脸库中检索与人脸相同或相似的人脸图像。 四川师范大学硕士学位论文 第2 章人脸检测 人脸作为图像与视频中最重要的视觉对象之一，近几年来，在模式识 别、计算机视觉、人机交互等诸多领域引起了普遍重视。人脸的自动检测 与定位是实现人脸识别、人脸跟踪、表情识别等技术的必要前提。除非图 像中的人脸被成功地检测出来，否则人脸自动识别系统根本无法工作。 人脸检测就是在照片( 静态图像) 或视频( 动态图像) 中确定是否含 有人脸。如果存在，标出人脸所在的位置，把人脸选取出来。在人脸检测 中，实际只是确定图像中有、无人脸的过程，是一个区分人脸与非人脸两 类模式的模式识别问题。 由于人脸模式特征的复杂性和多样性，人脸模式的检测成为一个极具 挑战性的课题。人脸检测的方法，根据是否利用颜色特征属性可分为基于 肤色特征方法和基于灰度特征的方法两大类。早期人脸检测的研究主要是 基于灰度图像的，并在此基础上提出了很多方法。如基于表象的方法，基 于特征的方法和基于模板的方法等。但基于灰度图像的研究，丢掉了图像 原有的丰富的色彩特征。对彩色图像来说，使用基于肤色特征的方法能构 造快速的人脸检测算法，从而成为近年来的研究热点。但无论是彩色图像 还是灰度图像的人脸检测现在都趋向于使用综合特征，如彩色图像中，使 用肤色特征来减小搜索区域，而使用灰度特征进行验证，以增加速度；或 者直接用灰度特征来检测，肤色特征来验证，以增加准确率“。不过，由 于人脸检测问题的复杂性，无论哪一类方法都无法适应所有的情况，一般 都是针对人脸检测领域内某个或某些特定的问题进行选择。 2 1 基于颜色空间的人脸检测 光在频域分布中的不同位置正好体现了各种颜色，颜色是人对光谱中 可见区域段光的感知结果。根据三基色原理，自然界常见的各种颜色都可 以用相互独立的三种基本颜色混合得到，这三种基本颜色就叫三基色，由 四川i 师范大学硕士学位论文 此就构成了三维彩色空间。例如常见的由红、绿、蓝三基色构成的r g b 彩 色空间。但r g b 空间不适合用来作为肤色模型的色度空间，因为在r g b 中，( r , g ，b ) 这三个分量不但代表着图像的色彩分布，而且还表示着图像的 亮度( 图像中每个像素的亮度等于其r g b 三个分量之和) ，而亮度是一个非 常不稳定的参量。它很容易受到周围环境的影响而导致分离肤色区域的失 败，因此，考虑采用把亮度分离的色度空间进行人脸的检测能够减小亮度 的影响。常用到的颜色空间有y c b c r 空间、h i s 空间、y i q 空间、y u v 空 间、k l 肤色空间，由于皮肤颜色在这些空间中都表现为一定的聚类特性 【2 7 】 2 ”，近年来得了广泛的研究，尤其是对复杂背景下的入脸检测有很好的 效果。 2 1 1 颜色空间分类 根据计算机色彩理论，对一种颜色而言，在计算机中有不同的表达方 式，也就形成了不同的色彩空间。主要的色彩空间主要有以下几种： 1 r g b ( 红、绿、蓝) 格式 由于彩色图像是多光谱图像中的一种特殊情况，对应于人类视觉的三 基色红、绿、蓝三个波段，是对人眼的光谱量化性质的近似，利用r 、g 、 b 三基色来表征颜色是一种很自然的格式。其它的色彩系统常以r g b 色彩 系统为基础，其分量可以描述为r g b 三色的线性或非线性的函数表达。 一般来说，r g b 色彩空间由于其r 、g 、b 分量的相关性很强，不容易 直接建立肤色模型，因为对于r g b 而言，三基色不仅代表颜色，还表示亮 度，加之周围光照不同而引起的亮度变化会使人脸的检测更复杂，因此， 直接利用r g b 空间聚类特性不是很好。 2 h i s 格式( 色度、饱和度、亮度模型) 这是m u n s e u 提出的色彩系统模型，经常为艺术家所使用。这种格式反 映了人类观察色彩的方式，同时也有利于图像处理。在对色彩信息的利用 中，这种格式的优点在于它将亮度i 与反映色彩本质特性的色度( h ) 和饱 四川师范大学硕士学位论文 和度( s ) 分开。我们提取一类物体( 比如人脸) 在色彩方面的特性时，经 常需要了解其在某一色彩空间中的聚类特性，物体的聚类特性常常体现在 色彩的本质上，同时又受光照明暗( 亮度分量) 的影响，如果能将亮度分 量从色彩中提取出去，而只用反映色彩本质特性的色度、饱和度来进行聚 类分析，聚类效果就会更好。 r g b 到h i s 的转换如下： 1 i = 物+ g + b 主 s = 压丽习 ( 2 1 ) 日：t a n 2 g - r - b 2 ( r b ) 公式中的r 、g 、b 为r g b 色彩空间的红、绿、蓝分量；h 、s 、1 分 别为h i s 色彩系统的色度、饱和度和亮度分量。 在h i s 色彩系统中建立肤色模型时，为了避免舒肤色模型对亮度变化 的敏感性，主要研究肤色在h s ( 色度、饱和度) 平面的分布。不过，从选 取的大量肤色样本的统计来看，肤色的亮度i 都不会小于4 0 。h i s 格式在 彩色图像处理和计算机视觉的研究中经常使用。 3 y u v 色彩系统 y u v 色彩系统的本质特征是将亮度信号与色度信号分开表示。其中y 代表亮度，u 和v 是两个彩色分量，表示色差，一般是蓝色和红色的相对 值。r g b 到y u v 的转换格式如下： 阡 4 y c b c r 这种色彩是以演播室质量标准为目标的彩色表示模型，由y u v 色彩系 2 r g 占 m 埘 n 9 一 勰 盯 0 ” 0 0 蚰 m 2 o 6 0 一 o 四川师范大学硕士学位论文 统衍生而来，被广泛地应用在电视的色彩显示等领域中。它同样具有h i s 格式中将亮度分量分离的优点。其中，y 为亮度分量，c b 和c r 则是将u 和v 做少量调整丽得到的。 r g b 到y c b c r 的变换格式 ， c b c r 02 9 9 00 5 8 7 001 1 4 0 01 6 8 703 3 1 305 0 0 0 0 5 0 0 00 4 1 8 700 8 1 3 r g 口 ( 2 3 ) 由于y c b c r 是从r g b 格式线性变化得到，所以直接应用于色彩聚类 分析的情况不多，而更多的是在此基础上的变换模型的应用，如高斯模型， 椭圆模型等。 其它还有y i q 、c m y c m y k 、k l 等颜色空间系统，其中y i q 用于北 美的电视系统，c m y c m y k 用于印刷工业，实际上，在色彩空间中，并不 存在k l 颜色空间。k l 变换在模式识别与图像处理中的应用由来已久，如 利用传统的基于k l 变换的特征脸方法的人脸检测与识别等。将k - l 变换 的思想用于提取肤色特征对，就可以建立一个所谓的k l 肤色空间。任何一 个肤色点都可以用特征肤色的线性组合来表示。k l 空间与r g b 空间的线 性转换如下： 足1 足2 足3 0 6 6 60 5 4 70 ，5 0 7 07 0 90 2 5 506 5 7 02 3 007 9 70 5 5 8 r g b ( 2 4 ) 叮iioiijijji业 四川师范大学硕士学位论文 2 1 2 不同颜色空闻的肤色模型 人脸肤色在不同的颜色空间下呈现不同的分布特性，通过大量的实验 表明，人脸在h i s 、y c b c r 以及k l 颜色空间均有各自的聚类特性，在基于 颜色的人脸检测方面，大多是通过人脸在各种颜色空间的分布特征( 如直 方图) 提取实验数据，建立肤色模型，或者结合人脸肤色在两种( 或以上) 的颜色空间的分布特性建立肤色模型，用于分割出肤色和类肤色的区域， 再进行后期的验证。通过对以上几种颜色空间的直方图进行分析发现，虽 然肤色在直方图上均呈现一定的聚类特性，但是，由于光照变化的不同， 该区域会发生相应的变化，造成不同光照下人脸的检测效果很不稳定。本 文采用了y c b c r 颜色空间的基于椭圆模型的人脸检测，通过对椭圆模型的 参数的调整，可在一定程度上改进光照变化不同的图像中人脸的检测效果。 2 2 基于y c b c r 颜色空间的人脸检测 2 2 1彩色图片的预处理 从r g b 变换为y c b c r 颜色空间的公式可以看出y c b c r 色彩格式是由 r g b 色彩格式线性变换而成，所以其亮度分量y 并不是完全独立于色度信息 而存在的，肤色的聚类区域会随着y 的不同而呈现非线性变化的趋势。a n i l k j a i n 等人从1 3 7 幅图像中用手工的方式选取了8 5 3 5 7 1 个肤色像素点， 并将其绘制在y c b c r 空间及其二维投影子空间c b c r 空间中，通过实验发 现，在y c b c r 色彩空间中，肤色聚类是呈两头尖的纺缍形状，也就是在y 值较大和较小的部分，肤色聚类区域也随之缩减。所以，简单地排除y 分 量，在二维的c b c r 子平面中寻求肤色的聚类区域是不可行的，而应该考 虑y 值不同造成的影响，因此需要对y c b c r 的色彩格式进行非线性分段色彩 变换o 。即主要是对亮度过明或者过暗的区域进行非线性的变换，以减少 亮度分量对肤色检测的影响。 对y c b c r 中的c b ，c r 分量分别进行如下计算： 四川师范大学硕士学位论文 矿( y k h ) 叫=(cb一力ce_cb(y)(_面wcb)+扣ce_cb(1ace w c dr 】，) li d 。= ( 。一知p c 咿) ) ( _ w c 而r 亓) + 扣一o r ( r ) l a c e w c r ( 2 5 ) i jl 白c e c 6 ( 】，) = ! 旦墨；i ；：! j i 掣 如一州r ) _ 旦熹掣 如一州y )