（应用数学专业论文）人脸识别中基于贝叶斯决策融合的算法(1).pdf

f a c e r e c o g n i t i o n b a s e do n b a y e s i a n d e c i s i o nf u s i o no ft h e a l g o r i t h m b ys u nq i a o l i s u p e r v i s o r ：p r o f e s s o rz h a n gx i a n g d e n o r t h e a s t e r n u n i v e r s i t y j u l y2 0 0 8 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 = 也 思。 学位论文作者签名：孙歹石雨 日期：姗8 、7 g 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口两年口 学位论文作者签名：刹、歹勺丽 签字日期：如晾、 篓翥! 弹j 7 ， 签字日期：矿。q rb 东北大学硕士学位论文摘要 人脸识别中基于贝叶斯决策融合的算法 摘要 人脸识别技术，是计算机图像处理技术的应用，具有很强的智能性、较强的操作性 和实际应用性，给人们带来更多的方便和安全，是当前应用数学、模式识别和计算机视 觉领域的一个研究热点，它提供了一种高可靠性、高稳定性的身份鉴别途径。人脸识别 涉及的技术很多，其中关键的是特征提取和分类方法。本文以此为重点进行了相关的研 究，主要工作及贡献如下： 在预处理阶段，采用指数衰减法对人脸图像进行光照补偿，并对光照补偿后的人脸 图像进行小波变换。由于人脸图像的低频部分在有表情变化的情况下仍然比较稳定，而 高频部分反映了人脸的细节特征，其作用是不可忽略的，于是提出了一种小波子图融合 方法。在保证识别效果的前提下，该方法可以较大地降低计算复杂度、提高运算速度。 在特征提取阶段，不仅详细介绍了主成分分析和线性鉴别分析的理论和具体算法， 还求取了小波子图融合之后人脸图像的二维特征脸特征，二维线性鉴别特征以及人脸图 像差的特征脸特征。 不同的分类器针对不同的情况、环境有各自的优势，因此组合不同的分类器会是个 明智的选择。本文首先讨论了贝叶斯融合的精度，然后给出两种基于后验概率的多通道 贝叶斯融合分类方法，一种是加权数据融合，另一种是分层式贝叶斯融合分类。通过加 权融合两种特征( 特征脸特征和线性鉴别特征) 匹配度的后验概率以及分层式贝叶斯融 合线性鉴别特征和基于人脸图像差的贝叶斯后验概率，进行了三组实验，理论分析和实 验都表明在理想情况下多通道贝叶融合之后的系统的识别精度要高于任何单一通道的 识别精度，并且获得了满意的识别效果。 关键词：人脸识别；贝叶斯决策；数据融合；小波变换；特征子空间 i i l 东北大学硕士学位论文a b s t r a c t f a c er e c o g n i t i o nb a s e do nb a y e s i a n d e c i s i o nf u s i o no ft h ea l g o r i t h m a bs t r a c t t h et e c h n i q u eo ff a c er e c o g n i t i o ni sa na p p l i c a t i o no ft h ei m a g em a n i p u l a t i o n ，i th a s v e r ys t r o n ga p t i t u d e ，t h ea p p l i c a t i o no fi ti sf e a s i b l e ，i tb r i n g sc o n v e n i e n c ea n ds a f e t y f a c e r e c o g n i t i o n i saf o c u so ft h er e s e a r c hi nt h ef i e l do fa p p l i e dm a t h e m a t i c s ，p a t t e r n r e c o g n i t i o na n dc o m p u t e rv i s i o n ，i tp r o v i d e sak i n do fh i 曲r e l i a b i l i t y , g o o ds t a b i l i t y a p p r o a c ho fi d e n t i t ya p p r e c i a t i o n t h i st e c h n o l o g yi n v o l v e sm a n yr e l a t e dd i s c i p l i n e s ，a n dt h e k e yt e c h n o l o g yi st h ef e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o nm e t h o d t h i sp a p e rd e v e l o p s s t u d yb a s e do n t h e s ee m p h a s e s t h e s ec o n t e n t sa r ea sf o l l o w s ： t h ep r e p r o c e s s i n gp h a s eu s e s e x p o n e n t i a l a t t e n u a t i o nt o c o m p l e t e i l l u m i n a t i o n c o m p e n s a t i o no ft h eo r i g i n a li m a g e sa n du s e st h ew a v e l e td e c o m p o s i t i o no ft h ep r o c e s s i n g i m a g e s l o wf r e q u e n c yi m a g e sa r es t i l ls t e a d yu n d e rt h ec h a n g e so ff a c ee x p r e s s i o nw h i l e 1 1 i g hf r e q u e n c yi m a g e sr e f l e c t st h ef a c eo ft h ed e t m lf e a t u r e ，i t sr o l ec a nn o tb ei g n o r e d ， t h e r e f o r eip r e s e n taw a v e l e ts u b g r a p hf u s i o nm e t h o d t h i sm e t h o dc a nd e c r e a s ec o m p u t a t i o n a lc o m p l e x i t ya n di m p r o v et h ec o m p u t a t i o n a l s p e e du n d e rt h ep r e c o n d i t i o no fg u a r a n t e et h er e c o g n i t i o ne f f e c t i nt h ef e a t u r ee x t r a c tp h a s e ，w en o to n l yd e t m lt h et h e o r ya n dt h es p e c i f i ca l g o r i t h mo f t h ep r i n c i p a lc o m p o n e n ta n a l y s i sa n dl i n e a rd i s c r i m i n a t ea n a l y s i s ，b u ta l s oe x t r a c tt h e t w o - d i m e n s i o n a lf e a t u r ef a c ef e a t u r e ，t h et w o d i m e n s i o n a l1 i n e a rd i s c r i m i n a t ef e a t u r ea n dt h e f e a t u r ef a c ef e a t u r eo f i m a g ed i f f e r e n c e s d i f f e r e n tc l a s s i f i e r sh a v et h e i rp a r t i c u l a ra d v a n t a g e s s oc o m b i n i n gd i f f e r e n tc l a s s i f i e r s w i l lb eaw i s ec h o i c e t h i sp a p e rd i s c u s s e st h ea c c u r a c yo fb a y e s i a nf u s i o n , a n dt h e ng i v e s t w om e t h o d so fc l a s s i f i c a t i o no fm u l t i - c h a n n e lb a y e s i a nf u s i o nb a s e do np o s t e r i o rp r o b a b i l i t y ： o n ei saw e i g h t e dd a t af u s i o n , a n dt h eo t h e ri sh i e r a r c h i c a lb a y e s i a nf u s i o nc l a s s i f i c a t i o n t h r o u g hw e i g h t e df u s i o no fp o s t e r i o rp r o b a b i l i t yo ft w of e a t u r e s0 c a , i d a ) a n dt h r o u g h h i e r a r c h i c a lb a y e s i a nf u s i o no fi m a g ed i f f e r e n c e s f e a t u r ef a c ef e a t u r ea n dl i n e a rd i s c r i m i n a t e i i i 东北大学硕士学位论文 a b s t r a c t f e a t u r e im a k et h r e eg r o u p so fe x p e r i m e n t s t h e o r e t i c a la n a l y s i sa n de x p e r i m e n t ss h o wt h a t t h er e c o g n i t i o na c c u r a c yo fm u l t i - c h a n n e lb a y e s i a nf u s i o ns y s t e mh a sb e t t e rp e r f o r m a n c et h a n a n ys i n g l e c h a n n e lr e c o g n i t i o n a c c u r a c yi n i d e a lc i r c u m s t a n c e s ，a n do b t a i n ss a t i s f y i n g r e c o g n i t i o ne f f e c t k e y w o r d s ：f a c er e c o g n i t i o n ；b a y e s i a nd e c i s i o n ；d a t af u s i o n ；w a v e l e td e c o m p o s i t i o n ；， f e a t u r es u b s p a c e i v 东北大学硕士学位论文 目录 目录 独创性声明i 摘要i i a b s t r a c t i i i 目录v 第1 章绪论l 1 1 人脸识别的研究背景、目的和意义1 1 2 研究现状及难点2 1 2 1 研究现状。2 1 2 2 人脸识别研究的难点3 1 3 人脸识别的研究内容和主要技术方法3 1 3 1 人脸识别研究内容4 1 3 2 人脸识别的主要技术方法5 1 4 本文所做工作及各章节安排8 第2 章人脸图像预处理1 l 2 1 人脸检测与定位1 l 2 2 预处理算法1 2 2 2 1 引言。1 2 2 2 2 滤波去噪1 2 2 2 3 几何归一化。1 2 2 2 4 灰度归一化13 2 3 人脸图像的小波分解1 6 2 3 1 小波理论1 6 2 3 2 小波变换在人脸识别中的应用18 2 4 本文采取的预处理方法- 1 9 第3 章基于子空间方法的特征提取2 l v 东北大学硕士学位论文目录 3 1 引言2 l 3 2 主成分分析2l 3 2 1 离散k - l 变换2 l 3 2 2 主成分分析人脸特征提取算法2 3 3 3 线性鉴别分析2 5 3 3 1 引言2 5 3 3 2 二维线性鉴别分析人脸特征提取算法2 5 3 4 主成分分析、线性鉴别分析优缺点分析2 6 第4 章基于贝叶斯决策的人脸识别2 9 4 1 贝叶斯决策原理2 9 4 2 两类问题的贝叶斯分类器3 2 4 3 基于贝叶斯融合判决的人脸识别3 4 4 3 1 贝叶斯融合规则3 5 4 3 2 多通道贝叶斯融合判决的精度3 7 第5 章人脸识别系统实现和实验结果分析3 9 5 1 本文的人脸识别算法3 9 5 1 1 预处理3 9 5 1 2 特征提取3 9 5 1 3 识别分类4 0 5 2 多通道贝叶斯融合判决的人脸识别方法的实现过程4 2 5 2 1 训练阶段4 2 5 2 2 识别阶段4 4 5 3 实验及结果分析4 5 5 4 本章小结4 9 第6 章全文总结和展望5 l 6 1 全文总结51 6 2 展望5l 参考文献5 3 v i 东北大学硕士学位论文目录 致谢5 5 v i i ， 东北大学硕士学位论文 第1 章绪论 1 1 人脸识别的研究背景、目的和意义 随着科技日新月异，以及电脑、通讯、内容的结合，全新互动多媒体已经登场。数 码智慧不仅是科技的连线，更是人类智慧的新形态。b i l lg a t e s 曾做过这样的断言，生物 识别技术，利用人的生理特征( 像指纹等) 来识别个人的身份，将成为今后几年i t 产业的 重要革新。g a t e s 的这段言论是因为自身安全和个人隐私保护已成为这个时代的热门话 题，而且有越来越多的个人、消费者、公司和政府机关都承认现有的基于智能卡、身份 号、密码和钥匙的身份识别系统是远远不够的。而生物识别技术为此提供了一个解决方 案。与传统的身份验证方法相比，生物特征识别突出的优势表现在生物特征可以从根本 上杜绝伪造和窃取，而且是人类自身拥有的，从而具有更高的可靠性、安全性和可用性。 因而，人们对生物特征识别技术寄予厚望，期望能够满足从国家公共安全，社会安全， 到金融安全以及人机交互等方面的各类应用。自动人脸识别问题的深入研究和最终解 决，可以极大的促进许多学科的成熟和发展。同时作为生物特征识别主要研究内容之一 的人脸识别和认证技术在国家安全和公共安全领域的应用前景十分广阔。 表1 1 人脸识别的典型应用 t a b l e1 1s t a n d a r da p p l i c a t i o no ff a c er e c o g n i t i o n 经过数十年的研究，生物特征识别在人脸、虹膜、指纹、手型、掌纹、人脸温谱图、 - l _ 东北大学硕士学位论文第1 章绪论 声纹、签名、步态等方而都取得了一定的成功。而人脸识别技术比其他的人体生物特征 识别技术的性能要优越，它不需要行为的配合便能方便有效地核查人的身份，而且只需 通用的p c 硬件及相关软件，因而经济、性价比高，由于其直观、准确，且应用更为广泛， 因此具有良好的可扩展性能。 1 2 研究现状及难点 1 2 1 研究现状 经过研究者们多年的探索，各式各样的人脸识别算法层出不穷，尤其是1 9 9 0 年以来， 人脸识别更得到了长足的发展，每年都有大量的学术论文发表，现在几乎所有知名的理 工科大学和i t 产业的主要公司都有研究组在从事人脸识别的研究。最近几年来，人脸识 别研究引起了学术和工业界越来越多的关注。人脸识别的输入图像通常有三类情况：正 面、侧面、倾斜。目前对人脸正面模式的研究最多，它的发展大致可分为三个阶段m 。 第一阶段以b e r t i l l o n 、a l i e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征1 1 。 在b e r t i l l o n 的系统中，采用一个简单语句与数据库中某一张脸相联系，并与指纹分析相 结合，取得了较好的识别效果。为了提高识别率，a l l e n 为待识别人脸设计了一种有效和 逼真的特征【4 1 。p a r k e 贝, l j 用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型 i s 。这一阶段工作的特点是识别过程几乎全部依赖于操作人员，显然这不属于自动识别 系统的范畴。 第二阶段是人机交互式识别阶段。g o l d s t i o n 等人用几何特征参数来表示人脸正面图 像，采用二维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统【6 】。 k a y a 和k o b a y a s h i 贝0 采用统计识别方法，用欧氏距离来表征人脸特征阴。t k a n a d 设y r t 一个高速且有一定知识导引的半自动回溯识别系统，创造性地运用积分投影法从单幅图 像上计算出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配【引。k a n a d 的系 统实现了快速、实时处理，是一个很大的进步。总的来说，这类方法需要利用操作员的 某些先验知识，仍然摆脱不了人的干预。 第三阶段是真正的自动识别阶段，近年来，随着高性能计算机的发展，人脸模式识 别方法有了较大的突破，目前已提出了多种机器全自动识别系统【1 捌。 目前国外从事人脸图像处理研究科研组的大学主要有美国麻省理工学院、卡内基 梅隆机器人研究及交互实验室、南加州大学、马里兰大学等。国内的许多研究机构在自 - 2 - z 查! ! 奎兰壁主兰竺笙查笙! 主竺堕 然科学基金、8 6 3 计划、攀登计划等资助下开始了对面像识别的研究，其中主要有清华 大学计算机系、自动化系、电子系、哈尔滨工业大学、中科院计算所、自动化所、南京 理工大学信息学院、中山大学数学系等。随着人脸识别技术的日趋成熟，逐渐出现了一 些用于金融、安检、保险、门禁等领域的商用软件，如c o g n i t e c 公司的f a c e v a c s s d k , i d e n t i x 公司的f a e e l t , z n f a c e ，h u n t e r , 台湾的b i o l d 系统等。 1 2 2 人脸识别研究的难点 人脸识别是一项非常复杂的技术，要实现人脸的机器自动识别，还存在着很多难点， 即使是同一个人的人脸图像会随着人脸如下变化而发生巨大变化： 人脸在三维方向上的位置可能发生变化，而且存在倾斜角度的不同，所得人脸图像会 有所不同； 图像获取过程的不确定性( 如光照、光源方向等) ，当光照的强度和方向因外界环境发 生变化时，所得人脸图像亦随之变化； 人脸塑性变形的不确定性，如表情的变化； 人脸模式的多样性( 如胡须、发型、眼镜、化妆等) ； 年龄变化会使人脸发生变化； 计算复杂性。 其中人脸塑性变形和不同光照条件是基于人脸身份认证技术的两大主要挑战问题。 近年来该领域的诸多研究致力于解决这些问题，比如在解决光照影响的研究中，主要形 成了三类方法：不变特征法、光照变化建模和人脸图像归一化方法。此外人脸识别技术 研究与相关学科的发展及人脑的认识程度紧密相关。总之，人的千姿百态，使得人脸检 测和识别都变得非常困难。同时，人脸识别研究跨越了图像处理，模式识别，计算机视 觉，人工神经网络以及神经生理学，心理学等研究领域，也使其变得更富有挑战性。 1 3 人脸识别的研究内容和主要技术方法 人脸识别技术就是利用计算机技术，根据数据库的人脸图像，分析提取出有效的识 别信息，用来“辨认身份的技术，其研究领域涉及图像处理、计算机视觉、模式识别、 计算机智能等领域，是伴随着现代化计算机技术、数据库技术发展起来的综合交叉学科。 自动人脸识别是一个典型的图像模式分析、理解与分类计算问题，作为一个模式识别问 题，它被认为是最具有挑战性的问题之一。 3 东北大学硕士学位论文第1 章绪论 1 3 1 人脸识别研究内容 人脸识别过程是从可感知的世界通过数据获取、预处理、特征提取和分类判决过程， 最后得到分类的结果，用图例表示如图。 图1 1 人脸识别过程 f i g 1 1f a c er e c o g n i t i o np r o c e s s 基于统计方法的模式识别系统主要由这4 个部分组成，下面分别进行描述： ( 1 ) 数据获取 我们要用计算机可以运算的符号来表示所研究的对象，数据获取就是从外部客观世 界获得我们要研究的对象的数字化描述的过程。输入对象的信息通常有三种：二维图、 一维波形、物理参量和逻辑值。通过测量、采样和量化，可以用矩阵或向量表示二维像 或一维波形。这就是数据获取的过程。 ( 2 ) 预处理 预处理是模式识别过程的第一步。预处理是将模式识别的样本从一定的环境中抽出 不受更多干扰因素影响的待识别样本。其目的是去除噪声，加强有用的信息，并对由于 测量仪器或其他因素所造成的退化现象进行复原。一般说来，预处理的功能包括消除或 者减少模式采集中的噪声及其它干扰，以便提高信噪比、清除或减少数据图像模糊( 特 别是运动模糊) 及几何失真，提高清晰度、改变模式的结构，例如将非线性的模式转变 成线性的模式、图像的滤波，变换，编码，标准化等都可以归类于预处理工作。需要明 确的是没有特定的标准来衡量预处理的效果好坏，而是要根据客观观察来评判。 ( 3 ) 特征提取和选择 在数据获取过程中，我们获得的数据量是相当大的，为了有效的实现分类识别，就 要对原始数据进行变换，得到最能反映类别本质的特征。特征选择和提取的基本任务是 如何从原始数据中找出那些最有效特征。任何识别过程的第一步，都要首先分析各种特 征的有效性并选出最有代表性的特征。 特征提取后得到的特征空间是为了分类，对于相同的物体在不同的分类规则下，所 提取的特征必须满足在某种准则下的分类错误最小。在一般情况下，选择适当的正交变 4 东北大学硕士学位论文第1 章绪论 换，考虑特征之间的统计关系，提取出最有效的特征；并在特征提取的同时删除贡献微 弱的特征，达到减少分类错误的目的。 ( 4 ) 分类决策 分类决策就是在特征空间中用统一方法把被识别对象归为某一类别。基本做法是在 样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成 的错误识别率最小或引起的损失最小。对于好的模式识别算法，在特征空间上必然有好 的分类算法来减少分类的错误率。而且特征空间充分地反应模式空间的程度也决定分类 的错误率。因此错误率的降低是模式识别研究的中心问题。 1 3 2 人脸识别的主要技术方法 人脸识别技术作为模式识别领域的一个研究热点，每年都有许多相应的研究成果发 表，并且涌现出各种各样的识别方法，可以说信息处理领域的各种新方法的研究和算法 的改建都在人脸识别中得到应用。本文在深入研究国内外人脸识别技术的发展和研究成 果的同时，将己有的不同的分类方法做一个比较，目的是希望能从不同角度认识人脸识 别问题，在较全面的了解各种方法优缺点的基础上，给本文的人脸识别方法提供研究方 向。 根据输入图像中人脸的角度，人脸识别技术可分为基于正面、侧面、倾斜人脸图像 的识别。由于实际情况的要求，对人脸正面模式的研究最多，这也是本文的研究内容； 根据图像来源的不同，人脸识别技术可分为两大类：静态人脸识别和动态人脸识别。静 态人脸识别，即人脸源为稳定的二维图像如照片。动态人脸识别具有更大的难度：首先， 时频输出的图像质量较差；其次，背景较复杂。目前对动态人脸识别的研究还局限于简 单背景、较少人物的情况，对静态人脸识别的研究比较多，本文研究也是基于静止图像 的。 根据人脸识别技术发展的历史，人脸识别方法大致可分为基于几何特征的人脸识别 方法、基于模板匹配的人脸识别方法和基于模型的人脸识别方法。 1 基于几何特征的人脸识别方法 这是人脸识别技术发展中应用最早的方法。该方法是通过提取人脸的几何特征，包 括人脸部件归一化的点间距离、比率以及人脸的一些特征点，如眼角、嘴角、鼻尖等部 位所构成的二维拓扑结构进行识别的方法。所构造的几何特征既要清晰区分不同对象人 脸的差异，又要对光照背景条件不敏感，常规的几何特征向量很难满足这些要求，因此 5 - 东北大学硕士学位论文第1 章绪论 该方法识别效果不理想。 2 基于模板匹配的人脸识别方法 基于模板匹配的方法，主要是利用计算模板和图像灰度的自相关性来实现识别功 能。一般基于人脸的全局特征，利用人脸模板和相关参数如灰度的相关性来进行检测和 识别的。b e r t o 将基于几何模型的人脸识别方法和模板匹配方法进行了全面比较后，得出 结论：前者具有识别速度快和内存要求小的优点，但在识别率上后者要优于前者。增加 几何特征对于基于几何特征的人脸识别方法只能轻微提高识别率，因为要提高几何特征 的提取质量本身十分困难，因而随着图像质量的下降和人脸遮挡的引入，基于几何特征 的人脸识别效果会大幅下降。总之，认为模板匹配法要优于几何特征法。 3 基于模型的人脸识别方法 通过统计分析和匹配学习找出人脸和非人脸，以及不同人脸之间的联系。该方法包 括特征脸法( e i g e n f a c e ) 、神经网络法( n n ) ，隐马尔可夫模型方法( h m m ) 和支持向量机 ( s v m ) 等方法。和模板匹配的方法相比，基于模型方法的模板是通过样本学习获得，而 非人为设定。所以该方法，从原理上更为先进合理，试验中也表现出更好的识别效果。 根据人脸表征方式( 即特征提取) 的不同，还可以将人脸识别技术分为三大类包括基 于几何特征的识别方法、基于代数特征的识别方法和基于连接机制的识别方法。 1 基于几何特征的人脸识别方法 该方法将人脸用一个几何特征矢量表示，用模式识别中层次聚类的思想设计分类器 达到识别目的。该方法的困难在于没有形成一个统一的、优秀的特征提取准则。由于人 面部的模式千变万化，即使是同一个人的面部图像，由于时间、光照、摄影机角度等不 同，也很难用一个统一的模式来表达，造成了特征提取的困难。不过由于现在各种优秀 特征提取算法( 如动态模板、活动轮廓等) 的提出，使得人脸的几何特征描述越来越充分。 而且在表情分析方面，人脸的几何特征仍然是最有力的判据。 2 基于代数特征的人脸识别方法 这类识别法仍然是将人脸用特征矢量表示，只不过用的是代数特征矢量。该方法在 实际应用中取得了一定的成功。由于代数特征矢量( 即人脸图像向各种人脸子空间的投 影) 具有一定的稳定性，识别系统对不同的倾斜角度，乃至不同的表情均有一定的鲁棒 性，所以，也说明了这种方法对表情的描述不够充分，难于用于表情分析。 3 基于连接机制的人脸识别方法 这类识别法将人脸直接用灰度图( 二维矩阵) 表征，利用了神经网络的学习能力及分 6 东北大学硕士学位论文第1 章绪论 类能力。这种方法的优势在于保存了人脸图像中的纹理信息及细微形状信息，同时避免 了较为复杂的特征提取工作，而且由于图像被整体输入，符合格氏塔心理学中对人类识 别能力的解释。与前两种识别方法相比，基于连接机制的识别法具有以下明显不同：信 息处理方式是并行而不是串行；编码存储方式是分布式。但由于原始灰度图像数量十分 庞大，因此神经元数目通常很多，训练时间很长。另外，完全基于神经网络的识别法在 现有的计算机系统上也有其内在的局限性。神经网络虽然有较强的归纳能力，但当样本 数目大量增加时，其性能可能会严重下降。 识别人脸主要依据那些在不同个体之间存在较大差异，而对于同一个人比较稳定的 特征，具体的特征形式和分类方式的不同决定了识别方法的不同。基于统计学习的方法 属于基于整体的研究方法，它主要考虑了模式的整体属性。因为基于整体的人脸识别不 仅保留了人脸部件的拓扑关系，而且也保留了各部件本身的信息。许多研究者认为基于 整个人脸的分析要优于基于部件的分析，理由是前者保留了更多信息。对于基于整个人 脸的识别而言，由于把整个人脸图像作为模式，那么光照、视角以及人脸尺寸会对人脸 识别又很大的影响，因此如何能够有效的去掉这些干扰尤为关键。 从知识表达上来讲，特征提取阶段获得的原始特征通常维数较高，而且有些维的特 征对分类也未必是有效的，因此不能直接送往分类器进行分类。为降低分类的计算量， 降低分类错误，通常都有一个对原始特征进行选择的过程。k - l 变换、基于类别可分性 判别准则、特征提取神经网络、主分量分析等传统模式识别算法是经常被采用的方法。 从知识分类的角度讲，通常情况下识别问题最终都归结为输入模式与己知模式在特 征空间内精确的或者模糊的匹配问题。匹配有两个核心问题：相似性度量和分类器。最 常使用的相似性度量包括：欧氏距离、马氏距离、角度相似性函数、相关量计算、能量 函数等，欧氏距离是最常采用的相似性度量准则。一般认为不同类别的人脸在特征空间 内是非线性可分的，分类器的设计很重要。主要分类算法有： 1 最近邻k 近邻分类。这是传统的但经常被采用的分类算法，具有简单有效的特点。多 数采用几何构形、主分量、变换系数、代数特征人脸描述方法的系统都可以使用这种分 类方法。 2 相关量计算。这是一种与基于模板的人脸描述相对应的方法。用模板和输入模式之间 的协相关量作为相似性度量实现匹配。 3 贝叶斯分类器。统计模式识别中经常采用的方法，用贝叶斯定理计算输入模式属于各 个类别的后验概率实现识别。被广泛应用于需要进行分类融合的系统中。 7 - 第1 章绪论 4 弹性图匹配。这种识别技术使用弹性图作为人脸的描述方式，定义不同弹性图之间相 似度的能量函数，该函数反映它们之间的形变的程度，通常有拓扑结构能量项和空间相 似度能量项。 5 人工神经网络。人工神经网络己广泛应用于模式识别领域。自组织映射( s o m ) 、自 联想神经网络( s a n ) 、动态连接结( d l a ) 等被应用于识别和归类任务，尤其是在表 情分析、性别判别、种族分类、年龄判断等应用中得到了广泛的应用。 6 隐马尔可夫。这种方法将人脸的结构过程( 如自上而下的灰度变化) 看作一时间序列， 用h m m 进行序列分析和识别。 7 模糊逻辑。这种方法主要用作人脸识别算法级的数据融合以及多通道的信息融合策 略。 8 集合划分通常用于基于特征的人脸识别系统中，考虑到不同类别在某些特征上的可分 性很强的事实，用集合划分的方法代替基于距离的分类方法。类似的方法还有判别树分 类。 通过对不同的人脸识别分类方法的总结，多视角的、全面的介绍了主要的人脸识别 方法。从对人脸识别方法的分析中可以看出，每种方法各有其优缺点，因此一些学者倾 向于将多种方法综合起来，或同时利用不同种类的特征。 在对各种人脸识别方法进行理论分析后，本文主要研究基于统计学习的、整体的人 脸识别方法，包括特征脸法、基于线性鉴别分析及特征融合的人脸识别方法并尝试新的 特征提取和分类方法。 1 4 本文所做工作及各章节安排 近年来，人脸识别一直是模式识别领域的研究热点之一，大量识别算法和人脸识别 软件也是层出不穷。目前人脸表情的变化、背景的复杂度、外部饰物的改变等都使人脸 识别的实用性极具挑战性。本文对人脸识别中的一些问题和难点进行了研究，在人脸预 处理、特征提取、识别分类等几个方面提出了一些改进算法，并进行了一系列实验，取 得了较好的效果。 ( 1 ) 本文首先介绍了人脸识别的应用背景、难点，并综合给出各种人脸识别方法： ( 2 ) 预处理是人脸识别中很重要的一个步骤，在此做了详细的介绍。包括人脸检测 与定位，人脸图像的标准化( 几何归一化和灰度归一化) ，对于光照变化的影响给出一 种光照补偿的方法：指数衰减法，实验验证了该方法的有效性。接着讲述了小波理论及 - 8 - 东北大学硕士学位论文第1 章绪论 其在人脸识别中的应用，由于人脸的数据量一般很大，而进行一次小波变换就能使数据 量降少为原来的二，既不会导致识别率降低，同时又对人脸图像的特征提取提高了处理 4 速度，并且通过分析发现，二层水平、垂直细节子图分别反映了人脸器官的高度位置信 息、人脸器官的宽度信息及人脸的外部轮廓，单纯地丢失这些信息对于提高人脸识别率 来说是个不小的损失，于是本文提出了一种小波子图融合方法：对水平、垂直细节子图 分别作垂直、水平积分投影，将得到的向量并接在低频子图向量之后，形成新向量 b = 【彳，届，属】。实验证明，该算法能够有效的提高人脸识别率。 ( 3 ) 特征提取是人脸识别的重要步骤，提取特征的好坏直接影响到后面的识别分类。 而基于统计的子空间方法由于其具有一定的稳定性、较快的识别速度和良好的可分性被 人们广泛利用。本文详细介绍了主成分分析和线性鉴别分析的原理，并在预处理和小波 子图融合的基础上给出了具体算法，该方法既提取了有效特征，同时又减少了计算量， 用此方法来表征人脸，能够更加充分地利用图像信息，更好的反映人脸特征，实验结果 也证明了该方法的有效性。 ( 4 ) 贝叶斯决策理论是统计决策理论的核心，本文详细介绍了贝叶斯决策理论，分 析了其在人脸识别问题中的应用：两类分类问题( 即对两幅人脸的图像差进行决策，看 其是属于类内差空间还是类间差空间，进而决策是否属于同一个人) ，还研究了贝叶斯 融合理论，指出理论上多通道贝叶斯融合的精度要高于任何单一通道的识别精度的，并 在此基础上提出了两种基于贝叶斯后验概率的融合方法：加权数据融合和分层式贝叶斯 融合判决，实现了基于统计特征( 特征脸特征、线性鉴别特征和差图的特征脸特征) 的 贝叶斯融合系统，经实验发现，整个系统的识别率得到了大幅度地提升。下面是本文的 各章节安排： 本文共六章，第一章为绪论部分，介绍了人脸识别的研究背景和意义，研究现状， 主要技术方法和面临的技术挑战和难点等。第二章、第三章、第四章按人脸识别问题的 几个主要步骤展开。其中第二章介绍了人脸图像的预处理，并进行了深入研究，本文提 出的算法和实验都是在此基础上进行的。第三章介绍了特征提取的意义，重点介绍了两 种统计方法：主成分分析和线性鉴别分析，并指出其优缺点。第四章介绍了贝叶斯决策 理论和贝叶斯融合方法。第五章基于上述理论实现了一个贝叶斯融合系统，并作了一些 对比实验。最后一章为全文总结和展望部分。 - 9 ， 东北大学硕士学位论文第2 章人脸图像预处理 第2 章人脸图像预处理 2 1 人脸检测与定位 人脸检测是人脸识别中非常重要的一个环节，也是难度最大的一个环节。人脸分割 的好坏直接影响到识别率的高低。背景的复杂程度，光照条件的好坏，姿势，表情等是 影响人脸检测精度的因素。直到9 0 年代，人脸检测还是集中在从一个简单或者复杂的背 景分割出一个单一的人脸区域。其方法主要包括人脸模板，基于特征的可变形模板，肤 色和神经网络等方法。在过去的几年里产生了一些更加可靠的人脸检测方法来处理复杂 背景中的多人脸分割问题。 下面简要介绍关于面部特征检测的算法： 1 手工定位在人脸识别研究的初期是一种主流的方法。在允许交互的应用环境中，人工 干预往往可以取得比完全自动识别要好得多的效果。 2 人脸检测和人脸面部分割主要的方法有：模板匹配，特征脸，肤色模型和人工神经网 络等。 3 模板匹配用相应的局部灰度图片或者滤波输出作为参考模板，在可能的人脸区域内进 行相关量的计算，搜索极小点，从而可以得到相应器官的粗略的位置。 4 变形模板( d e f o r m a b l et e m p l a t e ) 。变形模板可用于对眼睛、嘴、下巴和眉毛等器官 形状的获取。由于变形模板不但充分利用了器官全局的先验知识，同时有效利用了局部 的边缘、灰度、峰谷特征，将特征的定位和形状的估计过程描述为能量函数的极小化过 程，采用优化技术来实现特征的匹配，因而得到了广泛的应用。 5 h o u g h 变换。h o u g h 变换通过将边缘点从图像空间变换到合适的参数空间，使图像空 间中的曲线在参数空间中呈现点聚类趋势，从而可以用于包括圆弧、线段乃至任意已知 形状的检测。 6 主动轮廓( a c t i v ec o n t o u r ) 类似于可变形模板的思想，但主动轮廓同可变形模板相比， 更强调利用了局部的图像信息( 邻域) 如连续性、曲率和内外部能量项等，最后用优化 算法实现能量函数的极小化。 7 g a b o r d , 波变换。此变换通常用于弹性图匹配技术中关键点的检测。 8 曲线拟合。 东北大学硕士学位论文第2 章人脸图像预处理 以a d a b o o s t 为代表的基于统计学习的方法是主流方法。经过几年发展，基于 a d a b o o s t 的人脸检测算法取得了很大成功，检测率已经达到很高的水平，且能达到实时 检测。 2 2 预处理算法 2 2 1 引言 人脸图像预处理，作为特征提取和识别的前提步骤，是计算机人脸识别系统中的必 要环节。其目的是去除噪声、加强有用信息、对输入设备或其他因素造成的退化现象进 行复原，为后续的特征提取和识别做准备。 不同的人脸识别系统根据其采用的图像来源和识别算法需要不同，采用的预处理方 法也不同。常用的人脸图像预处理方法有：滤波去噪、几何归一化、灰度归一化、图像 二值化、边缘检测等。用在同一系统中的可能只有其中一种或者几种预处理方法。 2 2 2 滤波去噪 由于噪声给图像带来的失真和降质，在特征提取之前采用滤波的方式来去除噪声是 人脸识别系统所需的步骤。滤波的方法有很多，如各种平滑滤波、锐化滤波等。在人脸 图像预处理中使用较多的是平滑滤波，包括线性滤波、中值滤波、自适应滤波。下面简 单介绍一下中值滤波。 中值滤波法【9 1 是一种非线性滤波方法，该方法的最大