（应用数学专业论文）小波包在人脸识别中的应用.pdf

中山大学硕士学位论文：小波包在人脸识别中的应用 小波包在人脸识别中的应用 专业：应用数学 姓名：黄可坤 指导老师：戴道清教授 摘要 人脸识别是模式识别领域的一个重要研究课题。但人脸图像是一种非平稳信号，用 于分类的特征往往包含在局部的时频信息中，用一般的变换方法提取有效特征比较困 难。小波变换是近年来发展起来的一种分析非平稳信号的有效方法，而且可以获得与人 的视觉特性更为接近的多尺度的提取特征的效果，于是小波被人们应用于人脸识别中。 而小波包变换具有任意的多尺度分解特性，可以提供更丰富的基以供分类选择。 本文把原始的基于小波包进行特征提取的方法( l o c a ld i s c r i m i n a n tb a s i s ，l d b ) 应用于人脸识别之中，并主要做了以下三方面的工作： ( i ) 原始的l d b 以类能量的差异为判据选择最优基及其小波包系数特征，这个判 据并不是模式分类问题中的最佳判据，针对这个问题本文系统研究了各种可 分性判据，并提出了在l d b 中更有效的判据。 ( 2 ) 因为前d 个单独最有效的特征并不一定是最有效的( 数量为d 的) 特征组合， 对不满足线性可加的判据，本文引入遗传算法寻找最优特征组合，去掉一些 对分类无用或者有害的特征。 ( 3 ) 用l d b 所选取的特征仍然比较大量，而且受光照姿势的影响仍然比较大，本 文用基于f i s h e r 准则的方法把l d b 所提取的特征再进行线性重组，进一步降 维，并且在尽量保持类间差异的同时压制了类内的差异。 在o r l 数据库上随机选取每人5 幅人脸图像做训练，剩余的用来识别，进行5 0 次 实验取平均识别率，特征脸方法是9 3 1 4 ，f i s h e r 脸方法是9 1 2 0 ，原始的l d b 方法 是9 6 1 4 ，而本文提出的新的l d b 的方法达到了9 7 7 7 。在f e r e t 数据库中，特征脸 方法的平均识别率是7 9 1 7 ，f i s h e r 脸方法是9 2 3 1 ，原始的l d b 方法是6 8 4 3 ，而 本文的方法达到了9 3 7 1 。 关键词：人脸识别，特征提取，小波包，l d b 方法，遗传算法，p c a ，l d a 中山大学硕士学位论文：小波包在人脸识别中的应用 a p p l i c a t i o n o fw a v e l e tp a c k e to n f a c e r e c o g n i t i o n n a j o r ：a p p ii e dm a t h e m a t i c s n a m e ：h u a n gk e k u n s u p e r v i s o t ：d a i d a o - q i n g a b s tr a c t f a c er e c o g n i t i o ni so n eo ft h ei m p o r t a n ti s s u e so fp a t t e r nr e c o g n i t i o n b u t t h e i m a g e s o fh u m a nf a c ea r e n o n s t a r i o n a r ys i g n a l s ，t h e f e a t u r e sf o r c l a s s i f i c a t i o na r e u s u a l l y i nt h el o c a l t i m e f r e q u e n c yi n f o r m a t i o n i ti s d i f f i c u l tt oe x t r a c te f f i c i e n tf e a t u r e sb yc o m m o nt r a n s f o r mm e t h o d s w a v e l e t t r a n s f o r m ，w h i c hh a sb e e nd e v e l o p e dr e c e n t l y ，i sa ne f f i c i e n tm e t h o df o r a n a l y z i n gn o n s t a t i o n a r ys i g n a l s ，a n di tc a ne x t r a c tt h em u l t i s c a l ef e a t u r e s j u s tl i k et h eh u m a nv i s u a ls e n s e s ow a v e l e th a sb e e nu s e di nf a c er e c o g n i t i o n w a v e l e t p a c k e tt r a n s f o r m ，w h i c h c a n p r o v i d e s a n a r b i t r a r yt i m e f r e q u e n c y d e c o m p o s i t i o n f o rt h e s i g n a l s ，c o n t a i n s m o r ew a v e l e t p a c k e t b a s e sf o r c 】a s s i f i c a t j o n t h i sp a p e ru s e st h eo r i g i n a lm e t h o do fl o c a ld i s c r i m i n a n tb a s i s ( l d b ) t of a c e r e c o g n i t i o n ，a n dm a i n l yo f f e r st h r e ea s p e c t so fw o r k sa sf o l l o w s ： ( 1 ) ( 2 ) t h eo r i g i n a ll d bs e l e c t st h eb e s tb a s e sa n di t sc o e f f i c i e n tf e a t u r e s w i t ht h ec r i t e r i o no ft h ed i f f e r e n c eo f c l a s s e n e r g y ，h u t t h e c r i t e r i o ni sn o tt h eb e s to n ei np a t t e r nc l a s s i f i c a t i o n t h i sp a p e r s t u d i e ss e v e r a ls e p a r a b i l i t yc r i t e r i a ，a n dp r o p o s e sm o r ee f f i c i e n t c r i t e r i ai nl d b b e c a u s et h edm o s te f f e c ti v ef e a t u r e s a r en o t a l w a y s t h em o s t e f f e c t i v ec o m b i n e d f e a t u r e s ，t h i sp a p e ri n t r o d u c e st h eg e n e t i c a l g o r i t h mt of i n dt h eb e s tf e a t u r ec o m b i n a t i o n ，s ot h a tt h ef e a t u r e s o fn ou s ef o rc l a s s i f i c a t i o na r et h r o w n i i ( 3 ) t h en u m b e ro ff e a t u r e se x t r a c t e db yl d bi s s t i l ll a r g ea n ds t i l lb e g r e a ti n f l u e n c e db yi l l u m i n a t i o n a n dp o s e t h i sp a p e ru s e st h em e t h o d b a s e do nt h ec r i t e r i o no ff i s h e rt ol i n e a r l yt r a n s f o r mt h ef e a t u r e s ， s ot h a tt h ed i m e n s i o ni sr e d u c e da n dt h ed i f f e r e n c eo fi n n e r c l a s s i ss u p p r e s s e dw h e nt h ed i f f e r e n c eo fb e t w e e n c l a s s i s p r e s e r v e d i nt h eo r ld a t a b a s e ，w er a n d o mt a k e5i m a g e se a c hp e r s o nf o rt r a i n i n g ，t h e r e m a i n sf o rr e c o g n i t i o n t h ea v e r a g es u c c e s sr a t eo f5 0 t i m e si s ，9 3 1 4 f o r e i g e n f a c e ，9 1 2 0 f o rf i s h e r f a c e ，9 6 1 4 f o ro r i g i n a ll d b ，a n d9 7 7 7 f o rt h e p r o p o s e dn e wl d b i nt h ef e r e td a t a b a s e ，t h ea v e r a g es u c c e s sr a t ei s ，7 9 1 7 f o re i g e n f a c e 9 2 3 1 f o rf i s h e r f a c e ，6 8 4 3 f o ro r i g i n a ll d b ，a n d9 3 7 1 f o r t h ep r o p o s e dm e t h o d k e y w o r d s ： f a c er e c o g n i t i o n ，w a v e l e tp a c k e t ，l o c a ld i s c r i m i n a n tb a s i s ， g e n e t i ca l g o r i t h m ，p c a ，l d a i l l 中山大学硕士学位论文：小波包在人脸识别中的应用 1 1 论文选题的背景 第1 章引言 人脸自动识别技术就是利用计算机分析人脸图像，从中提取有效的识别信息，用 来辨认身份的一门技术。它涉及到模式识别、图像处理、计算机视觉、生理学、心理学 及认知学等诸多学科的知识，并与基于其它生物特征的身份鉴别方法以及计算机人机感 知交互的研究领域都有密切联系。与指纹、视网膜、虹膜、基因、掌纹等其它人体生物 特征识别系统相比，人脸识别系统更加直接、友好，其使用者无心理障碍。 人脸识别技术应用背景十分广泛，可用于公安系统刑侦破案的罪犯身份识别、身 份证及驾驶执照等证件验证、银行及海关的监控、自动门卫系统、视频会议、机器人的 智能化研究以及医学等方面。虽然人类可以毫不困难地根据人脸来辨别一个人，但利用 计算机进行完全自动的人脸识别仍存在许多困难，这主要表现在：人脸是非刚体，存在 表情变化；人脸随年龄增长而变化；发型、眼镜等装饰对人脸造成遮挡；人脸所成图像 受光照、成像角度、成像距离等影响。此外人脸识别技术研究与相关学科的发展及人脑 的认识程度紧密相关。这诸多因素使人脸识别研究成为一项极富挑战性的课题。 1 2 人脸识别技术回顾 早在2 0 世纪6 0 年代末，人脸识别即引起了研究者的强烈兴趣，但早期的人脸识 别一般都需要人的某些先验知识，无法摆脱人的干预。9 0 年代后，由于高速度高性能 的计算机的出现，人脸识别的方法有了重大突破，进入了真正的机器自动识别阶段，人 脸识别研究得到了前所未有的重视，国际上发表有关人脸识别等方面的论文数量大幅度 增加，可参考有关人脸识别的综述 1 2 。 广义的人脸识别系统由人脸检测，人脸特征提取与识别两部分组成。 第1 页 第1 章引言 1 2 1 人脸检测 人脸检测即检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其在 图像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标 尺内，此时人脸的定位很简单。证件照背景简单，定位也比较容易。在另一些情况下， 人脸在图像中的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与 定位将受以下因素的影响：( 1 ) 人脸在图像中的位置、角度和不固定尺度以及光照的影 响；( 2 ) 发型、眼镜、胡须以及人脸的表情变化等；( 3 ) 图像中的噪声。 人脸检测的基本思想是用统计或知识的方法对人脸建模，比较所有可能的待检测 区域与人脸模型的匹配程度，从而得到可能存在人脸的区域。其方法大致可分为基于统 计和基于知识两类。基于统计的方法有区分人脸样本与非人脸样本的两类模式分类问题 的样本学习方法 3 、特征脸方法 4 和模板匹配方法 5 ，基于知识的方法有基于轮廓 的规则 1 、器官分布规则 6 、肤色、纹理规则 7 、对称性规则 8 和运动规则 9 。 基于统计的方法将图像看作一个高维向量，从而将人脸检测问题转化为高维空间中分布 信号的检测问题；基于知识的方法则利用对人脸的认知知识建立若干规则，从而将人脸 检测问题转化为假设验证问题。 本文是在假定人脸已被正确检测的基础上来研究人脸特征提取与识别问题的。 1 2 1 人脸特征提取与识别 识别人脸主要依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定 的特征，具体的特征形式随识别方法的不同而不同。早期研究较多的静态人脸识别方法 有基于几何特征的人脸识别方法和基于相关匹配的人脸识别方法。目前，静止图像的人 脸识别方法主要有以下几个研究方向： 一、基于几何特征的人脸识别方法 常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征、脸型特 征以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。 在这种基于几何特征的识别中，识别归为特征矢量之间的匹配，基于欧氏距离的判决是 第2 页 中山大学硕士学位论文：小波包在人脸识别中的应用 最常用的识别方法。侧影识别是最早的基于几何特征的人脸识别方法，主要是从人脸侧 面轮廓线上提取特征点入手。一般将侧影简化为轮廓曲线，从中抽取若干基准点，利用 这些点之间的几何特征来进行识别。由于现在的证件照片多为正面，而且侧面照片约束 很多，所以对侧面人脸识别的研究最近已不多见。正面人脸识别最关键的一步是合适的 归一化，使之不依赖于图像中人脸位置的尺度和旋转变化。识别所采用的几何特征是以 人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点问的欧式 距离、曲率、角度等，见参考文献 1 0 。 基于几何特征的识别方法具有如下优点：( 1 ) 符合人类识别人脸的机理，易于理解； ( 2 ) 对每幅图像只需存储一个特征矢量，存储量小；( 3 ) 对光照变化不太敏感。该方 法同样也有其缺点：( 1 ) 从图像中抽取稳定的特征比较困难，特别是在特征受到遮挡时： ( 2 ) 对强烈的表情变化和姿态变化的鲁棒性较差；( 3 ) 一般几何特征只描述了部件的 基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，仅适合于粗分类。 二、基于模板匹配的人脸识别方法 模板匹配法是一种经典的模式识别方法，这种方法大多是用归一化互相关，直接计 算两幅图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相同的尺度、取 向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。另一种方法是将人脸 用一组独立的小模板表示，如眼睛、嘴巴、鼻子、眉毛和下巴等模板。但这些模板的获 得必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘。 即使获得了可靠度高的边缘，也很难从中自动提取所需的特征量。为此，用弹性模板方 法提取特征显示出其独到的优越性。弹性模板由一组根据特征形状的先验知识设计的可 调参数所定义。为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度信息及特 征形状的先验知识设计合适的能量函数。参数向能量减小的方向调整，当能量降到最小 时，这组参数对应的模板形状最符合特征形状。 b r u n e l l i 等人 1 0 专门将基于几何特征的人脸识别方法和基于模板匹配的人脸识 别方法进行了比较，并得出结论：前者具有识别速度快和内存要求小的优点，但在识别 率上后者要优于前者。增加几何特征对于基于几何特征的人脸识别方法只能轻微的提高 识别率，因为要提高几何特征的提取质量本身就十分困难，而且随着图像质量的下降和 第3 页 第1 章引言 人脸遮挡的引入，基于几何特征的人脸识别效果会大幅下降。 三、特征脸和f i s h e r 脸方法 特征脸方法 4 是从主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 导出的一 种人脸识别和描述技术。p c a 方法的目的是寻找一个正交归一的变换矩阵，使得变换后 的数据能在最小均方差意义下能够代表原始数据。p c a 方法用于人脸识别中时，求得的 变换矩阵中的前几个向量可以还原成与人脸相似的图像，故将其称为特征脸。利用这些 特征脸的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别和合成。识 别过程就是将人脸图像映射到由特征脸张成的予空间上，比较其与已知人脸在特征脸空 间中的位置。 特征脸方法对外在因素带来的图像差异和人脸本身带来的差异是不加任何区分的。 实验表明，特征脸方法随着光照、角度和人脸尺寸等因素的引入，识别率急剧下降，因 此特征脸方法还存在着理论上的缺陷。一种较好的改进方法就是f i s h e r 脸的方法 1 1 。 f i s h e r 脸方法是从线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 导出的一种方 法，在它所选择的特征脸空间投影后，能在尽量保留类间差异的同时压制类内差异，对 光照及人脸表情变化都不太敏感。 特征脸方法和f i s h e r 脸方法是两个常用的经典的统计模式识别方法，它们都是在 一个线性子空间上进行投影得到新的特征表达，但是人脸光照表情的变化并不是线性 的，在线性子空间进行投影不一定能得到比较好的特征。而且这两种方法都需要计算一 个大矩阵的特征向量，所花费的代价也是比较高的。不过f i s h e r 脸方法还是能比较好 的压制类内差异，我们将会在本文的第4 章给予详细介绍特征脸方法和f i s h e r 脸方法， 并将f i s h e r 脸方法的思想应用于本文的方法的一个步骤之中。 四、其他方法 此外，还有很多较新的方法用于人脸识别，如隐马尔科夫模型方法 1 2 ，基于神经 网络的方法 1 3 等。小波变换是近年来发展起来的一种时频变换方法 1 4 1 5 ，由于它 们具有良好的时频局部性，因此被迅速应用到数据压缩、模式分类等应用领域中。小波 包变换是小波变换的推广，可以视为普通的小波函数的线性组合，但它在表示信号时具 第4 页 中山大学硕士学位论文：小波包在人脸识别中的应用 有比小波变换更强的灵活性，因而被认为是一种更有力的信号处理方法。利用小波包变 换对信号进行特征提取，可以充分利用信号的时频信息，凸显某些难以在时域中观察到 的特征，是近年来新兴起的一种特征表示方法，比其它类型的方法有其独到的优势。 1 3 本文的主要工作 本文致力于基于小波包的人脸特征提取与识别算法的研究，首先简要描述了当前人 脸识别的主要技术、小波与小波包理论以及原始的基于小波包的特征提取的方法( l o c a l d i s c r i m i n a n tb a s i s ，l d b ) ，然后把l d b 方法应用于人脸识别之中，并主要做了以下三 个方面的工作： 第一，原始的l d b 以类能量的差异为判据选择最优基及其小波包系数特征，这个判 据并不是模式分类问题中的最佳判据，针对这个问题本文系统研究了各种可分性判据， 并提出了在l d b 中更有效的判据。发现原始的l d b 的这个缺陷以及提出更好的判据，是 本文的创新点之一。 第二，因为前d 个单独最有效的特征并不一定是最有效的( 数量为d 的) 特征组合， 对不满足线性可加的判据，本文引入遗传算法寻找最优特征组合，去掉一些对分类无用 或者有害的特征。在l d b 中引入遗传算法，这是本文的创新点之二。 第三，用l d b 所选取的特征仍然比较大量，而且受光照姿势的影响仍然比较大，本 文用基于f i s h e r 准则的方法把l d b 所提取的特征再进行线性重组，进一步降维，并且 在尽量保持类间差异的同时压制了类内的差异。把l d b 方法和f i s h e r 脸方法相结合， 是本文的创新点之三。 此外，本文还讨论了一些在最近邻的分类方法中的不同图像距离定义对识别效果的 影响，还做了用最近邻分类和支持向量机分类的效果的对比。 本文的第2 章介绍小波与小波包的理论基础，第3 章详细介绍本文的方法，第4 章 给出了实验结果。 第5 页 中山大学硕士学位论文：小波包在人脸识别中的应用 第2 章小波与小波包理论基础 为了在下一章应用小波包提取人脸特征，本章先介绍小波与小波包的理论基础。小 波分析 1 4 儿1 5 是近年来发展起来的最具生命力的数学方法之一，小波分析突破了傅氏 分析在应用中的平稳性假设、周期延拓等限制，具有时频定位的能力，并在算法实施过 程中实现了多分辨分析的功能。这使得小波分析迅速成为数字信号处理的强大工具，在 图像处理、语音识别等领域取得令人瞩目的成绩，成为国际研究的一个热点。 小波变换有连续和离散两种情形，由于小波变换在信号处理中一般是在计算机上实 现，为了使得叙述更直观易懂，本文将从多分辨率分析的角度简要讲述离散小波变换， 并给出离散小波变换的分解与重构算法( m a l l a t 快速算法) ，以及小波包变换的分解重 构算法。方程部分2 2 1 小波变换 2 1 1 多分辨率分析 多分辨率分析是s m a l l a t 与y m e y e r 于1 9 8 6 年左右共同引入的，这是构造小波 基和理解小波变换的一种有效途径。 设形 是三2 ( 胄) n n - 子空n n ，满足 ( 1 ) c 以1 c 亡k c ( 2 ) u 巧= r ( r ) ，n 一= o ji ( 3 ) ，( f ) 巧f ( 2 t ) 巧+ 。 ( 4 ) 厂( r ) 营f ( t - k ) ，v k z ( 5 ) 存在伊v o ，使得 妒o 一七) m 是k 的一个标准正交基 则称 _ ) 是i f ( r ) 的一个多分辨率分析，称伊( f ) 为尺度函数( s c a l i n gf u n c t i o n ) 第6 页 第2 章小波与小波包理论基础 或者父小波( f a t h e rw a v e l e t ) 。记吼女o ) = 2 2 妒( 2 t 一) ，n 可以i y _ n 9 j i ( f ) ) m 是巧的 一个标准正交基。但 ) 是互相包含的，所以 g j 。( f ) ) 似。：并不是r ( r ) 的标准正交基。 由于一c 巧故可以定义为_ 在巧+ t 中的正交补，即 + ，= _ o 杉 这时，对任何，有上+ l o 设y ( f ) l 2 ( r ) ，记 ，i ( f ) = 2 j 2 ( 2 7 t 一i ) ( 2 - 1 ) ( 2 2 ) 如果渺o 一七) ) 。是的一个标准正交基，则可以证明 ( f ) ) 一是的一个标准正交 基，而且 ，。( r ) ) 似。：是r ( 胄) 的一个标准正交基。这时称y ( f ) 为小波函数，或者母小波 于是，对于任何f ( t ) r ( r ) 都有小波级数展开 邝) = 。 由于巧= 0 ，我们可以引入滤波器系数 瑰) 和 ) ，它们满足如下双尺度方程 旧= 荟坝z h ， 1 | y o ) = 颤妒( 打一| 】 ) 其中，g 。= ( 一1 ) 瓦，万表示 的共轭。 第8 页 ( 2 6 ) 第2 章小波与小波包理论基础 对于( 2 5 ) 中的系数q ，。和嘭我们可以容易的证明得到如下m a l l a t 快速算法： 对于任意的 k z ，有 ( 1 ) 分解算法 ( 2 ) 重构算法 勺，。：i 1 砑扎， 、，二l 以，。= - 芳z g t - 2 k c j + ， z1 ( 2 7 ) o + 。 = 1 1 = ( “勺，i + g k “嘭，) ( 2 8 ) 、，z f 从物理上来分析小波分解过程，可以把小波函数y ( f ) 看作是一种简单标准振动( 不 过它没有简单到谐和振动的水平) ，y 。( f ) 是由l ；f ，( r ) 经适当伸缩和平移而得到的，所以 ，。( f ) 同样也是一些简单标准振动，只是振动频率不同，在振动时间上有一定延迟。因 此，上述分解过程实际上就是将一个时频信号表示为一系列不同频率、不同延迟的简单 标准信号的迭加。这就意味着我们在信号分析过程中，可以按不同频带进行信号分解， 进而可按实际问题的要求，对这些分解出来的信号成分，分别进行处理，然后再进行重 构，以达到解决实际问题的目的，比如信号压缩、去噪等等。 m a l l a t 快速算法在实际应用中占有重要的地位。根据多分辨率分析，对于充分大 的n ，可以用来j 鼢l 2 ( r ) 。因此，对于任何f ( t ) r ( r ) ，都有一个厶 f ( t ) 的 很好逼近，不失一般性，可假设n = 0 。在实际中，通常给定的都是经过采样的数字离 散信号f 柙= 力：1 k 疗 ，其分辨率总是有限的。于是可假设f z o ，使得 c o ，。= _ 矗“，从而我们有了初始系数 c o j 。只要知道滤波器系数佩) 和 繇) ， 我们并不需要知道尺度函数妒( f ) 和小波函数( r ) 的具体表达形式，就可以根据m a l l a t 第9 页 中山大学硕士学位论文：小波包在人脸识别中的应用 快速算法对信号 矗o 进行滤波分解( 如图2 - 1 ) 矗此i 1 砀u + - 、，z l 秽k 百1 虿i - ， 、，z l 图2 - 1 小波分解算法示意图 l l ：l 糊精采掸 ( 2 9 ) 实际上，魄 是一个离散的低通滤波器， g o 是一个高通滤波器，上述过程就是把 离散的信号不断重复的分别进行低通和高通滤波，然后再经过一个间隔采样得到不同分 辨率上的低频部分 矗1 和高频部分 碰1 。只不过为了使得 妒 一七) 。成为v o 的一个 正交基，纸) 首先要满足如下关系： 另外仇 还应该是低通的 = 2 以，。 k = 。= 1 i女 ( 2 1 0 ) ( 2 - - 1 1 ) 而由p ( d 和妙( ，) 的关系，我们可以取颤= ( 一1 ) 。：。而且，小波变换后的 刀 ) 和 磁力 的数据量的和与原信号是一样的，并可以完全无误地重构原信号： 第1 0 页 第2 章小波与小波包理论基础 胃l ( + g k - 2 研力) ( 2 1 2 ) v 二， 一般来说我们会用已经构造好的现成的小波，比如d a u b e c h i e s 小波系列，s y m l e t s 小波系列，c o i f l e t s 小波系列等等。但实际上我们是用其滤波器系数魄 和 g 。) ，而妒( f ) 和( ，) 的具体表达式根本不会用到，而且一般也是比较复杂甚至写不出来的，我们知道 它们的正交性、光滑性、紧支性、对称性等定性的指标就可以了。 通常我们都要求尺度函数妒( x ) 具有紧支集，即扛：伊( z ) 0 c 口，b 】，这时 ) 中也 只有有限个不为0 ，即当k 2 时魄= 0 ，而且这时有个比较奇妙的结论是 缸：伊( x ) 0 ) c l ，2 】。一般来说 1 ，2 】越长，妒( x ) 的光滑性越好，而【l ，2 】越短则 小波分解和重构时计算复杂性越低，这是一对矛盾。 虽然妒( f ) 和妒( r ) 的具体表达式一般比较复杂甚至写不出来，但是我们可以任意精确 的计算每一点函数值，从而画出伊( f ) 和妒( f ) 的函数图像。图2 - 2 是具有8 个玩0 的 d a u b e c h i e s 小波( d b 4 ) 的小波函数图像，其中分解时的低通滤波器为去 2 ( 一0 0 1 0 6 ， 、，二 0 0 3 2 9 ，0 0 3 0 8 ，一0 1 8 7 0 ，一0 0 2 8 0 ，0 6 3 0 9 ，0 7 1 4 8 ，0 2 3 0 4 ) ，注意这里把方程( 2 7 ) 前面的系数也算到滤波器里面去了。 第1 1 页 中山大学硕士学位论文：小波包在人脸识别中的应用 图2 - 2 小波函数图像 左上是尺度函数妒( x ) ，右上是小波函数0 ) ， 对比方程( 2 7 ) 和( 2 8 ) ，可以看出重构时的滤波器只是分解时的反转 图2 3 是一个一维信号( 正弦加白噪声) 中的进行3 层小波分解的示意图。其中， j 是原信号，a 3 是第3 层的低频部分的系数重构的信号，啊、吐、也是各层的高频部 分的系数重构的信号。可以看出用娩 滤波得到的系数再重构的信号是原信号的平滑， 并且分解层次也高，所得到的信号也就越平滑，如第3 层的a 3 。而用 岛 滤波得到的系 数再重构的信号则是一些细节或者噪声。 第1 2 页 第2 章小波与小波包理论基础 $ 懒蝴睁 图2 - 3 正弦加白噪声的信号进行3 层小波分解 利用张量积，一维信号的m a l l a t 算法可以很容易地推广到二维图象，这时二维尺度 函数和小波函数都可分离，所以图象的二维小波变换可以分解为在行和列方向上的一维 小波交换，如图2 - 4 所示。即先沿行方向作低通和高通滤波，得到低频和高频两部分系数 并进行2 ：1 间隔采样：然后再对行运算得到的两部分系数分别沿列方向作低通和高通 滤波，并进行2 ：1 间隔采样。这样得到的4 个输出中，巧。o ) f 为低频系数，一d ，2 t ) 厂、毯碧厂、 硝翟，分别为垂直方向、水平方向和对角线方向的高频系数。小波重构是小波分解的逆 过程，如图2 5 所示。 第1 3 页 中山大学硕士学位论文：小波包在人脸识别中的应用 端| 拧瘩蠢缝藤辩方蠢熊臻 由蛋t ， 唠t ， 雄t ， 雌l ， 图2 - 4 二维小波分解算法示意图 州方向处理 行方向处理 图2 - 5 二维小波重构算法示意图 擘l ， 端“， 雄t ， 孵t ， 蕊l 图2 6 是一个二维信号( 图像) 的小波分解的示意图。其中左上是原图像，左下是 所有系数重构后的图像，右上是第2 层低频系数重构后的图像。可以看出，用所有系数 重构的图像和原图像是没有差别的，而低频系数重构的图像比较模糊。另外，注意到小 波系数用图形显示出来时也能反映原图像的轮廓，低频系数是模糊的，而高频系数显示 的是边缘和噪声，这也是仇 和 g 。 的低通和高通性质决定的。但小波系数的数值范围 与大小和原图像都不一样的，和原图像更接近的概要和细节图像应该是这些系数重构的 信号。只是我们一般会直接处理系数而已( 就好像f o u r i e r 变换一样经常在变换后的频 率域处理) ，然后再根据需要与基函数伊似o ) 和y 似( f ) 线性组合重构信号，但这和循环 使用小波重构公式( 2 - 8 ) 所得到的最顶层的系数( 这时的系数和信号相等) 是一样的。 第1 4 页 第2 章小波与小波包理论基础 2 2 小波包变换 图2 - 6 一幅图像进行2 层小波分解 小波包变换是小波变换的推广，它能够提供一种更加精细的分析方法，它能对小波 变换没有细分的高频部分进行进一步的分解，并能够根据被分析信号的特征自适应的选 择相应的频带，使之与信号频谱相匹配，从而提高了时频分辨率，因此小波包具有更广 泛的应用价值。 2 2 1 小波包的定义 对于尺度子空间巧和小波子空间，若令叼= 巧，叼= ，则_ 。= 巧。可用 的统一表示为 暖。；叼。叫 第1 5 页 ( 2 1 3 ) 中山大学硕士学位论文：小波包在人脸识别中的应用 定义子空间町是函数( f ) 的闭包空间，而叼”是函数如。( f ) 的闭包空间，并令( f ) 满足下面的双尺度方程： 卜归压荟( 2 r “) 卜) = 压弘2 f - ( 2 一1 4 ) 显然( f ) 和“。u ) 分别为尺度函数p ( r ) 和小波函数妒( r ) ， h a 和 本身所要满足条件 和小波滤波器系数一样，如公式( 2 1 0 ) 和( 2 - 1 1 ) 。这时有 啄。= 巧“o u 2 ”1 这样就可以对小波的子空间再进行二进细分。 ( 2 一1 5 ) 集合 2 肌蚝( 2 。t - k ) 似，。z 称为一个小波包库，9 , d 、波包库中选择能构成r ( r ) 的一 个基函数系称为r ( r ) 的一个小波包基。显然在小波包库中能组成一组基的选择有很多 可以进行比小波变换更细致的分析。设 叼，( j ，胛) q ) 可以覆盖整个r ( 五) ( 为了方便叙 述，这时也称 叼，( ，珂) q ) 构成r ( r ) 的一组基) ，则任意的，( f ) r ( r ) ，在 w ，( _ ，h ) q 中都可以表示成 邝) = 碰”2 j 1 2 ( 2 。f 一七) ( 2 一1 6 ) ( j ，) e n 其中碰“町= 称为小波包系数。 2 2 2 小波包分解与重构 相似于小波，对于公式( 2 1 6 ) 的小波包系数掣朋，有如下小波包分解算法 第1 6 页 第2 章小波与小波包理论基础 以及小波包重构算法 碰川m ) - 去瓦：砑”， 吖zf 山枷：去西= = 耐”， 、，z ， ( 2 一1 7 ) 碰”= ( “研”。2 帕+ g 。，研”。2 “”) ( 2 - 1 8 ) ， 和小波一样，小波包也很容易推广到二维的情况。图2 7 是一幅图像的小波包分解， 其中左上是分解树的结构示意图，右上是原图像，左下是第2 层的低频部分的系数重构 的图像，右下是第2 层的系数。可见小波包变换是小波变换的推广，它能对小波变换没 有细分的高频部分进行进一步的分解。图中的完全分解树是一种基的选择，但事实上也 可以合并任何节点的四个子节点，形成另外的一组基。在这些丰富的基之中，根据某些 需要( 比如压缩、分类) 选择最优基是可能的。 图2 7 一幅图像进行2 层小波包分解 第1 7 页 中山大学硕士学位论文：小波包在人脸识别中的应用 第3 章本文的方法 本文在原始的基于小波包进行特征提取的方法( l o c a ld i s c r i m i n a n tb a s i s ) 的基 础上，针对以类能量的差异为判据得到的特征并不是模式分类问题中的最佳特征的问 题，系统研究了各种可分性判据，并提出了在l d b 中更有效的判据。在应用小波包进行 提取出不同分辨率下的特征之后，因为前d 个单独最有效的特征并不一定是最有效的 ( 数量为d 的) 特征组合，对不满足线性可加的判据，本文引入遗传算法寻找最优特征 组合，去掉一些对分类无用或者有害的特征。用l d b 所选取的特征仍然比较大量，而且 受光照姿势的影响仍然比较大，本文用基于f i s h e r 准则的方法把l d b 所提取的特征再 进行线性重组，进一步降维，并且在尽量保持类间差异的同时压制了类内的差异。最后， 用最近邻的方法进行分类识别。本文的这个人脸识别的过程可写为：方程部分 3 d = g o h o o 。甲 ( 3 1 ) 其中，甲为特征提取器( 小波包分解) ，o ，为特征选择器( 选择小波包系数) ，r i 为特 征重组器( 对所选择的系数进行线性重组) ，g 为分类器( 对重组后的特征进行分类识 别) 。 3 1 基于小波包的特征提取 特征提取是模式识别或分类中的核心问题，它直接影响到分类器的设计和性能。如 果不同类别的特征差别较大，就比较容易设计出较好性能的分类器。所以对识别或分类 来说关键不在于完整地描述模式，而是提取模式中有效的分类特征。所谓有效分类特征 就是不同模式类差别较大的特征。但这些特征在原始特征域通常不易被观察或检测。特 征提取就是通过变换的方法，使这些重要的特征在变换域显示出来，去掉对分类无意义 的信息，这样把原始的高维空间变为低维的特征空间。 然而人脸图像是一种非平稳的信号，通常包含长时低频( 面部) 和短时高频( 边缘) 不同尺度的特征，用于分类的特征往往包含在这些局部的时频信息中，比如面部、眼睛、 第1 8 页 第3 章本文的方法 嘴巴等特征部位的轮廓大小和位置。用一般的变换方法很难提取这些信号的重要特征。 傅里叶变换( d f t ) 是一种纯频率变换，具有最优的频率分辨率，而最差的时间分辨率， 不能提供任何局部时间段上的频率信息，也就是变换之后会丢失结构信息，所以用于提 取时变信号的特征通常效果不佳。短时傅里叶变换( s t f t ) 具有时频分析能力，但时频 单元( 窗) 是固定的，海森堡测不准原理说明时频窗的面积不小于1 4n ，这样很难找到 一个“好的”窗适用于提取包含不同尺度信号的特征。近年来小波变换( w t ) 在信号处理 和特征提取中得到了广泛应用，小波变换是一种多尺度分解的时频局部变换，可分析包 含不同尺度的信号。 但用于特征提取，固定的时频分解形式并不是最优的。如在某些情况下高频部分时 间分辨率低就是一个缺点，也就是说高频部分的结构信息比较差。而小波包变换( w p t ) 可以弥补这一缺点，其对信号具有任意的多尺度分解形式。从小波包的分解中可以选择 丰富的组合组成一组基( 其中包含了小波基和类似于短时傅里叶变换的子带基) ，不同的 基具有不同的性质，反映不同的信号特性，能提供其他变换所不能提供的信号的重要特 征。因此根据类别可分性准则，选择一个最优的小波包基，提取有效的分类特征是可能 的。 为此，n s a i t o 和r r c o i f m a n 提出了l o c a ld i s c r i m i n a t eb a s e s ( l d b ) 的算法 1 6 1 7 1 8 1 9 ，这种方法在给定的训练样本集对信号进行小波包分解后，按类能量 的差异来选择最优基，把该小波包变换对应的具有最大可分性的部分小波包系数作为特 征矢量。d j s t r a u s s 等还构造了形状自适应的滤波器用于类似小波包一样的多分辨 率分解，并用l d b 的方法选择最优基，提取有效的分类特征 2 0 。而杨颖娴则实现了具 体的类能量的计算方法，并把l d b 方法应用于人脸识别之中 3 2 。下面首先简要直观地 重新描述一下n s a i t o 提出的原始的l d b 方法，然后针对以类能量的差异得到的特征 并不是模式分类问题中的最佳特征的问题，系统研究了各种可分性判据，并提出了在 l d b 中更有效的判据。 1 原始的l d b 方法 设有足类的d 维样本空间x = w l ，w 2 ，k ，其中= z ( ”，x ( “，x t _ ) 是