（模式识别与智能系统专业论文）高维小样本数据的特征提取及分类器算法研究.pdf

博士论文 高维小样本教据的特征提取及分类器算法研究 摘要 小样本问题是指与模式特征空间的维数相比 训练样本的数量较少 因此 使用 线性鉴别分析 l d a 与二次判别分析 9 翻 算法所要面对的关键问题是如何解决 协方差矩阵的奇异性和不稳定性 对此 本文提出了一系列解决算法 首先 采用两种方法生成虚拟训练样本 一种方法是在特征子空间中采用一组标 准正交向量来生成虚拟样本 然后使用虚拟训练样本对各类协方差矩阵进行优化 另 一种是采用对训练样本进行扰动来生成虚拟样本 然后利用这些虚拟样本使各类协方 差矩阵非奇异 因此 可以直接使用二次判别分析 其次 是采用智能特征提取和分 类器算法 以及双空间算法 本文应用机器学习理论设计特征提取及分类器算法 提出 了具有学习功能的智能特征提取及分类器算法 该算法可以自动地向测试样本进行学 习并不断更新系统知识 另外 双空间算法是将在一个子空间中难以识别的测试样本 再投影到另一个子空间中 进行分类识别 最后 将两个子空间的识别结果一起进行 正确率测试 本文还提出了一种新颖的基于正交投影的分类器算法 该分类器的特点 是不需要计算样本的协方差矩阵的逆阵 且其识别率高于p d a 及最近邻分类器 在特征值及特征向量的扰动分析基础上 本文指出了病态特征值所对应的特征向量 会受到较大扰动 由此 提出了不相关鉴别矢量集的优化算法 利用该优化算法可简化 投影矩阵 从而提高特征提取的效率并使模式识别率的稳定性得到改善 关键词 模式识别 小样本问题 特征提取 分类器 虚拟样本 机器学 习 双空间算法 扰动分析 人脸识别 塑曼 苎主丝苎 1 1 砖 s m a l ls a m p l es i z e s s 鳓p r o b l e ma r i s e sf i o mt h es m a l ln u m b e ro fa v a i l a b l e t r a i n i n gs a m p l e sc o n l p a r e dt ot h ed i m 锄q i o n a l i t yo ft h es a m p l es p a c e t h e r e f o r e ac r i t i c a l i s s u eo f a p p l y i n g l i n e a rd i s e r i m i m ma n a l y s i s i d a a n d q u a d l a 蛀c d i s e r i m i n a n t a n a l y s i s q d a i sb o t ht h es i n g u l a r i t ya n di n s t a b i l i t yo ft h ee o v a r i a n e em a t r i x mp a p e r p r o v i d e ds o m ec o m p r e h e n s i v es o l u t i o n st ot h ep r o b l e m f i r s t t h i sp a p e rp r o p o s e dt w oi n c t h o d st op r o d u c ev i r t i l a ls a m p l e s o n eo f t h e mc h o s ea g r o u po f n o r m a lo r t h o g o n a lv e c t o r st op r o d u c ev i r t t l a ls a m p l e si na 剐 b 帜 w h m aw c i u s e d t oo p t i m i z ee o v a r i a n c em a l r i e e so f p e rc l a s s 1 1 把o t h e rm e t h o dg o tm a n yv i r t u a ls a m p l e sb y p e r t u r b i n g 位a i n i n gs a m p l e s t h e s ev i r t u a ls a m p l e sm a d ct h ee o v a r i a n e em a t r i c e so f p e rc l a s s b c c o n l en o n s i n g u l a r i t y 8 0t h ee l a s s i f i e ro fq u a d r a t i cd i s e r i m i n a n ta n a l y s i sc o u l db eu s e d d i r e c t l y s e c o n d t h ei n t e l l i g e n c ef e a t u r e t r a c t i o r la n dc l a s s i f i e r sa l g o r i t h m sa n dad u a l s p a c e a l g o r i t h mw e r l p u tf o r w a r dt os o l v et h ep r o b l e mo f t h es i n g u l a r i t ya n di n s t a b i l i t y t 拖sp a p e r a p p l y i n gt h em a c h i n e l e a r n i n gt h e o r yt od e s i g ni n t e l l i g e n c et h ef e a t u r ee x t r a c t i o na n d c l a s s i f i e r sa l g o r i t h m s p r o p o s e dt h ei n t e l l i g e n c ef e a t u r ee x l r a c t i o na n dc l a s s i f i e r sa l g o r i t h m s w i t hl e a m i n gf u n c t i o n t h e yc o u l da u t o m a t i c a l l yl e a r nf r o mt e s t i n gs a m p l e sa n dr e n e wt h e i r k n o w l e d g e a l s o t h ep a p e rp u tf o r w a r dad u a l s p a c ea l g o r i t h m w h i c hp r o j e c t e dt h et e s t i n g s a m p l e sd i 伍c u l tt or e c o g n i z ei no n es i n g l es 1 1 b s p a c ei n t oa n o t h e rs i 1 出s u b s p a e ea n d e l a s s i f i e d t h e n t h er e c o g n i t i o nr e s u l t so f t w os l b s p a c e w 嗽t e s t e dt o g e t h e r m o r e o c e l t h i s p a p e rd n 薨曙m e dan o v e lc l a s s i f i e rb a s e d0 1 1o r t h o g o n a lp r o j e c t i o nf o rs m a l ls a m p l es i z e p r o b l e m 1 kc h a r a c t e ro ft h ec l a s s i f i e ri st h a ti tn e e dn o tc a l c u l a t et h ec o v a r i a n e em a l l i c e s i n v e r s e sa n dt h er e c o g n i t i o na e e u t a e yi sb e t t e rt i mr d aa n dn e a r e s tn e i g h b o rc l a s s i f i e r b a s e do np e r t u r b a t i o nf e a t u r e so fe i g e n v a l u ea n de i g e t l v e c t o r t h ep a p e rp o i n t e do u t e i g e n v e e t o ro f m o r b i de i g e n v a l u em a yb ep e r t u r b e dt oag r e a td e g r e e 1 1 岫p r o p o s e da l g o r i t h m c a ns i m p l i f yp r o j e c t i o nm a l r i x i m p r o v et h ee t t i e i e a c yo ff e a t u r e s a i r a c t i o na n dt h e nn l a k e t h e r o g n i t i o nr a t i or o b u s t k e y w o r d s p a t t e r nr e c o g n i t i o n s m a l ls a m p l es i z ep r o b l e m f e a t u r ee x t r a c t i o n c l a s s i f i e r s v i r t u a ls a m p l e s m a e h i l a e l e a r n i n g d u a l s p a c ea l g o r i t h m s p a t u t b a l i o na n a l y s i s f a c e r e c o g n i t i o n 声明 本学位论文是我在导师的指导下取得的研究成果 尽我所知 在 本学位论文中 除了加以标注和致谢的部分外 不包含其他人已经发 表或公布过的研究成果 也不包含我为获得任何教育机构的学位或学 历而使用过的材料 与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明 研究生签名 互三至卫 呷年 月z 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档 可以借阅 或上网公布本学位论文的部分或全部内容 可以向有关部门或机构送 交并授权其保存 借阅或上网公布本学位论文的部分或全部内容 对 于保密论文 按保密的有关规定和程序处理 研究生签名 至啦刎年 月二日 博士论文 高维小样本数据的特征提取及分类嚣算法研究 1 1 概述 第一章绪论 在模式识别领域中 有大量的识别问题可以归结为高维小样本问题 例如 语音 识别 人脸识别 基因分类 遥感图象分析 医学图象识别等 因此 对高维小样本 问题的研究一直是模式识别领域中的热点 所谓高维小样本问题是指各类训练样本的 数量小于模式特征子空间的维数 或者训练样本的数量虽然大于模式特征子空间的维 数 但两者相差不多 对于前一种情况 小样本问题会造成某些特征提取及分类器算 法的参数无法进行估计 如会造成类内协方差矩阵奇异 使得如何抽取f i s h e r 1 最优 鉴别特征成为了一个公认的难题 1 另外 小样本问题还会引起各类协方差矩阵奇 异 导致不能直接使用基于贝叶斯理论的二次判别分析 q u a d r a t i cd i s c r i m i n a n t a n a l y s i s q d a 方法 对于后一种情况 虽然模式的训练样本数量可以满足协方差矩 阵非奇异性的要求 但如果训练样本数较少会引起协方差矩阵的逆阵不稳定 以上就 是高维小样本问题的主要特点 也是解决这类问题所要克服的难点问题 但是 从另 一方面分析 小样本问题自身也有一些优点可以利用 如因其训练样本很少 使得特 征提取及分类器算法的学习时间很短 这样就可以采用相对较复杂的特征提取或分类 器算法来提高小样本问题的模式识别率 即采用适当牺牲算法效率的策略 来提高分 类识别的精度 由于人脸识别问题是典型的高维小样本问题 本文以人脸识别问题作为课题的研 究对象 入脸识别属于生物识别技术 生物识别技术是指通过对人体特征的数字化测 量来进行身份鉴别的技术 指纹 人脸 声音 虹膜 视网膜 签名 掌纹 步态等 特征都可被用来尝试进行身份的鉴定研究 近年来随着人类社会对安全可靠性的需求 增加 对生物识另i j 技术的研究越来越受到广泛关注 人脸识别是模式识别领域中一个 非常活跃的研究方向1 4 7 如同人的指纹一样 人脸也具有唯一性 可用来鉴别一个 人的身份 计算机人脸识别技术就是利用计算机分析人脸图象 进而从中提取出有效 的识别信息 用来 辨认 身份的一门技术 人脸识别技术在商业 司法 监控和视 频检索等其他领域有着广泛的应用 可用于公安系统的罪犯身份识别 驾驶执照及护 照等与实际持证人的核对 银行及海关的监控系统及自动门卫系统等 虽然人类的人脸识别能力很强 能够记住并辨别上千个不同入脸 可是计算机则 困难得多 其表现在 人脸表情丰富 入脸随年龄增长而变化 人脸所成图象受光照 成象角度及成象距离等影响 而且从二维图象重建三维人脸是病态过程 目前尚没有 第一章绪论 博士论文 很好的描述人脸的三维模型 另外 人脸识别还涉及到图象处理 计算机视觉 模式 识别以及神经网络等学科 也和人脑的认识程度紧密相关 这诸多因素使得人脸识别 成为一项极富挑战性的课题 1 2 人脸识别问题 人脸识别技术就是以计算机为辅助手段 从静态图象或动态图象中识别人脸 问 题一般可以描述为 给定一个场景的静止或视频图象 利用已存储的人脸数据库确认 场景中一个或多个人 人脸识别研究一般可分为三个部分 从具有复杂背景的景物中 进行入脸检测以找到人脸 分割入脸 抽取入脸识别特征 然后进行匹配和识别 本课 题重点对人脸特征抽取及分类识别算法进行研究 目前经典的人脸特征提取及分类识 别理论主要包括以下几个方面 贝叶斯决策理论 线性鉴别分析 主成分分析 独立 成分分析 非线性鉴别分析及多分类器组合等算法 贝叶斯决策理论嘲是在最小风险条件下 将模式划分到具有最大后验概率的类别 中 而最大后验概率是由先验概率及类条件概率密度经计算得到的 对于高维小样本 数据的识别问题 利用训练样本协方差矩阵作为各类协方差矩阵的估计时 若各类的 训练样本数小于类别的特征维数 会造成各类协方差矩阵奇异 通常情况下 样本数不 应小于特征空间维数的5 1 0 倍 但对于人脸识别这种高维小样本数据很难达到上述 要求 线性鉴别分析 1 船甜d 如砷 玩聊f 4 姗的趣髓m 的主要思想是脚准则 其基 本恩想是选择使得f i s h e r 准则函数达到极值的向量作为最佳投影方向 从而使得样本 在该方向上投影后 达到最大的类间离散度和最小的类内离散度 对于高维小样本问 题 其类内协方差矩阵经常是奇异的 这是因为待识别图像矢量的维数较高 而在实际 衙题中难以找到或根本不可能找到足够多的训练样本来保证类内协方差矩阵的可逆 性 主成分分析 p r i n c i p a lc o m p o n e n t a n a l y s i s 简称p c a 是一种经典的代数特征 提取方法 它是由k i r b y 和s i r o v i c h 在k l 展开的框架下提出的人脸图像的最优表 示 而t u r k 和p e n t l a n d 由实验人脸数据库中的人脸图像得到了一个人脸平均图像 然后计算每个人脸图像与平均图像的差异 进而对所求出的样本散布矩阵作k l 变换 以求出本征矢量 即得到本征脸 e i g e n f a c e 在求得本征脸后 将人脸图像投影到每个 本征脸上 入脸图像就可以用一个权值矢量来表示 独立元分析 1 i n d e p e n d e n tc o m p o n e n ta n a l y s i s i c a 是近年来发展起来的一种 新的盲信号分离 b l i n ds o u r c es e p a r a t i o n 最镕 技术 盲信号分离是指在源信号和 信号混合模型未知的情形下 从混合信号即观察信号中分离源信号的过程 主成分分 2 博士论文 高维小样本数据的特征提取及分共嚣算法研究 析和线性判决分析都是基于训练样本集的二阶统计信息 而忽视了高阶统计信息 实 际上高阶统计信息有时对识别来说也是非常有用的 独立元分析的思想就是通过线性 变换 从训练样本中找到一组相互独立的基 独立元 并以此来描述样本数据 主成分 分析也可被认为是独立元分析的推广 独立元分析是基于所有阶的统计信息 所以在 求解上就没有主元分析和线性判决分析那么容易 支持向量机嘲级删v e c t o rm a c h i n e s v m 是一种基于统计学习理论的模式识 别方法 它是由b o s e e g u y o r t v a p n i k 在c o l t 9 2 上首次提出 现在已经在许多领域 生 物信息学 文本和手写识别等 都取得了成功 s 蹦的目标是找到一个超平面 使 得它能够尽可能多的将两类数据点正确的分开 同时使分开的两类数据点距离分类面 最远 其解决方法是构造一个在约束条件下的优化问题 具体的说是一个受限的二次 规划问题 c o n s t r a i n e d q u a d r a t i c p r o g r a m i n g 求解该问题 得到分类器 由于经验风险 最小不等于期望风险最小 经验风险最小不能保证分类器的推广能力 经验风险只有 在样本数无穷大时才趋近于期望风险 因此需要非常多的样本才能保证分类器的性 能 s 聊需要找到经验风险最小和推广能力最大的平衡点 对于实际上难以线性分类的问题 待分类样本可以通过选择适当的非线性变换映 射到某个高维的特征空间 使得在目标高维空间这些样本线性可分 从而转化为线性 可分问题 在上面的问题中只涉及训练样本之间的内积运算 这样在高维空间中 实 际上只需进行内积运算 因此 可以用原空间中的函数来实现 甚至没有必要知道变换 的形式 这就是核方法 4 删的基本思想 s m i k a 等嘲提出了核函数f i s h e r 鉴别 k e r n e l f i s h e r d i s c r i m i n a n t a n a l y s i s r 口d a 方法 该方法将核函数引入到线性f i s h e r 鉴别中 另外经典的例子还有 用核函数对主成分分析 p c z 进行推广 实现非线性主成分 分析 即核主分量分析渊 即c h 它是传统 经典p c a 的推广 目前 k p c a k f d a 已成为基于核技术的特征抽取的两个基本方法 多分类器组合是模式识别领域的前沿研究课题 并在许多应用方面 取得了较 好的应用效果 目前 已有许多采用多分类器组合的入脸识别方法 n t r a t o r 等应用 监督混合神经网络抽取人脸特征 进行人脸识别 y o o n 等基于脸部部件的一般知 识抽取脸部特征 提出了基于隐m a r 缸n 模型和神经网络的混合识别方法嘲 荆晓远 提出了基于有效互补性的多分类器组合方法呻1 陈熙霖等提出多姿态人脸识别的多候 选类加权识别方法u q 多分类器组合方法还有许多闯题值得进一步深入研究 对于人脸识别这种类别数 较多 而训练样本数较少的情况 怎样选择合适的组合准则才能保证组合结果较优还 是一个有待解决的难题 第一章绪论 博士论文 1 3 人脸识别的新进展 传统的二维人脸识别方法在数据库中记录的是每个人的二维照片的信息 这样势 必造成人脸这个本来是三维的物体经平面投影后一部分重要信息的丢失 由于二维人 脸识别易受光照 姿态 表情的影响 所以人们试图按照人脸原本三维的特征来建模 直接在三维条件下进行人脸识别 较好地解决了二维方法中的 瓶颈 问题 目前 三维人脸识别已经成为国际研究的热点 研究三维人脸识别一般包括以下几个方面 人脸图像的录入及特征提取 三维通用人脸模型的调整 变形 识别人脸 对于入脸识别 三维数据的表示主要有两种 三维网格图像和深度图像 婀 现有 的很多人脸识别系统就是利用深度图像和正面人脸纹理特征进行分类识别 然而 人脸深度信息会随表情及姿态变化而变化 给识别带来困难 因而利用三维人脸网格 模型可以避免噪声及表情变化对于识别率的影响 三维模型的建立主要有三种方法 1 激光扫描仪 l a s e rs c a n n e r 2 基于 图像的三维建模技术 i m a g e b a s e dm o d e l i n g i b m m 3 结构光技术 s t r u c t u r e dl i g h t 在三维模型的建模方面 h a l l i n a n 等提出三维弹性图匹配 的方法 踟 但是该方法只能解决小角度的姿态变化 l e e 等的三维模型 将边缘 模型 颜色模型以及网格模型结合起来 分别对人脸图像进行分析 x i a o 等提出了 利用二维人脸图像生成三维模型的方法 船 删 这些方法加大了人脸姿态估计的尺度 然而仍旧没有从根本上解决问题 v e t t e r 等提出三维形变模型的方法 将二维输 入图像与三维模型进行匹配 获得入脸的形状 纹理参数以及相应的光照 姿态和表 情等信息 模型可以分析更多的人脸姿态及更大范围的光照变化 另外还能排除眼 镜以及遮挡物等的影响 1 4 高维小样本闯题 在模式的分类过程中 要使特征提取及分类器算法得到充分的训练 训练样本的 数量必需满足一定的数量要求 假设模式特征向量的维数是量 各类训练样本数量是 以 根据妇伽 和e a u d y s c 4 1 关于小样本问题的讨论 以及凡幽口嘲睥 关于训练样本数 量对分类器的影响 知训练样本的数量弹应满足一 口 i 其中口的典型取值为2 5 1 0 等 下面针对不同的分类器算法分析训练样本的数量对其性能的影响 对基于贝叶斯规则的参数化分类器算法 其实现方法是利用训练样本在某种参数 化模型的基础上 对各类的概率密度函数进行估计 在这类方法中最简单的一种是 f i s h e r 线性鉴别分析 f i s h e r 方法需要计算类内协方差矩阵的逆阵 但是当n k 对 该矩阵是奇异的 不可逆 因此 要避免协方差矩阵的奇异性问题 训练样本数捍 必须大于模式特征向量的维数 另外 要得到更准确的参数估计 使得分类器的错误 4 博士论文 商维小样奉教据的特征提取及分类罂算法研究 率接近贝叶斯错误率 则需要更多的训练样本 对基于贝叶斯规则的非参数化分类器算法 这时对各类概率密度函数的估计是采 用非参数方式进行的 包括基于逝邻规则或胁g 玎窗口方法 这类分类器方法由于 缺乏关于各类的概率模型方面的知识 因此 比参数化分类器方法需要更多的训练样 本 对于经验风险最小化分类器 这类分类器不是基于对概率密度函数的估计及贝叶 斯规则 它是直接对某个参数化的鉴别函数进行优化 使分类器在训练样本集上达到 经验风险最小化 感知器及多层感知器都属于这类分类器方法 也包括采用均方误差 m s e m e a ns q u a r ee r r o r 作为误差测量方法的前馈神经网络 c o v e r 嘲分析了这 类分类器的推广能力 指出当n f k 时总能找到一个具有零错误率的线性分类器 同 时 当n 2 k 时 如果随机地给出训练样本的类别标签 则至少有5 0 的可能性找到 一个具有零错误率的线性分类器 基于上述原因 当n 2 k 时 线性分类器几乎没 有推广能力 v a p n i k 利用分类器的推广性及训练样本的数量给出了分类器错误界 的通用表示方式 目前 对于高维小样本问题的研究主要是在以下两个方面 一是当n k i n l o k 时 如何解决协方差矩阵的逆阵 不稳定性问题 1 5 类内协方差矩阵奇异性问题 在经典的f i s h e r 线性鉴别分析方法的基础上 s a m m o n 唧提出了的最佳鉴别平面 的概念 随后 f o 配y a n d s a m m o n 铷进一步提出了采用一组满足正交条件的最佳鉴别 矢量集进行特征抽取的方法 d u c h e n ea n dl e c l e r c q 删给出了多类情况下最佳鉴别矢 量集的计算公式 zj i na n d j yy a n g 等从统计不相关的角度 提出了具有统计 不相关性的最优鉴别矢量集的概念 具有统计不相关性的最优鉴别矢量集是满足共轭 正交条件的 对于高维小样本问题 由于类内协方差矩阵的奇异性 无法直接使用上述方法 因此 如何解决小样本情况下 f i s h e r 最优鉴别的抽取问题 成为了近年来模式识别 领域的一个研究热点 涌现出了大量的新算法 这些方法可分为以下三种类型 基于 变换的方法 基于算法的方法 虚拟样本方法 基于变换的方法是在采用线性鉴别分析之前 通过事先给定的线性变换来达到降 低图像向量的维数从而消除类内散布矩阵奇异性的目的 其中最经典并被广泛采用的 方法是b e l h u m e u r 等提出的f i s h e r f a c e 方法嘲 该方法首先采用主成分分析来事先降 低图像向量的维数 在p c a 变换后的特征空间内 再采用f i s h e r 线性鉴别分析做二 第一章绪论 博士论文 次特征抽取 此外 还有d 3 w e t s 等人提出的最具有鉴别能力的特征抽取方法 m o s t d i s c r i m i n a t o r yf e a t u r e s t j 和c j l i u 等提出的增强f i s h e r 线性鉴别模型法 e n h a n c e d f i s h e rl i n e a rd i s c r i m i n a n tm o d e 函删 1 但是当训练样本很少时 即使采用p c a 进行降维 类内协方差矩阵仍可能是奇异的 在这种情况下 x i a o s h e n g z h u a n g 等 提出了逆f i s h e r 准则的线性鉴别方法 该方法寻找最大的类内离散度和最小的类间离 散度 由此 通过对类闻协方差矩阵的求逆操作 避免了类内协方差矩阵的奇异性问 题 基于算法的方法是从算法本身入手 直接针对小样本问题的算法来解决问题 i t a n 建议用类内散布矩阵 的广义逆矩阵 代替逆矩阵蜀1 但该文没有从理论上 分析采用广义逆矩阵所带来的一系列理论问题 例如求出的解是否为最佳鉴别矢量 解的误差如何等 h o n g 等提出的扰动法m 1 的基本思想是 当类内散布矩阵奇异时 通过对之进行一个小的扰动 使得扰动后的矩阵变为非奇异的 以扰动后的矩阵代替 原来的类内散布矩阵进行鉴别矢量的求解 从而将问题转化为可逆的情形加以解决 h o n g 的方法是一个近似算法 k l i u 给出了正交补空间法 该方法证明了小样本情 况下的最优鉴别矢量必存在于原始样本空间的一个子空间的正交补空间内 进而通过 空间变换 基于变换后的凡妫b 摊则求解最优鉴别矢量 c h e n 提出的零空间法 是在 类内协方差矩阵的零空间内寻找极大化类间散布量的一组标准正交的特征向量并将 其作为投影轴 该方法抛弃了零空间之外的鉴别信息 而且砌陋妇提出了一神直接的 线性鉴别分析方法 d i r e c t l d a d l d a 此方法利用了类内协方差矩阵的零空间包含 的鉴别信息 但同时又舍弃了类间协方差矩阵的零空间 y a n g 等人提出的压缩变换方 法 在不损失任何有效鉴别信息的前提下 求解最优鉴别矢量只需要在低维的欧氏 空间内进行 近年来提出的核方法已被证明可以高效地表示输入数据的复杂非线性关 系 核f i s h e r 鉴别分析删脚4 1 是一种高效的非线性子空间方法 该方法将核技 术同线性鉴别分析结合起来 在将输入数据映射到隐含的特征空间后 线性鉴别分析 被期望可以处理输入数据的非线性特征 w e il i u 等嘲进一步将核方法同零空间方法 结合起来 提出了k f d a n u l ls p a c e b a s e d k f d a 方法 并取得了较好的识别结果 在以上这些算法中 除了y a n g 的压缩变换法 其他算法理论都存在着一个共同的弱点 那就是需要在原始维数空间中求最优鉴别矢量集 从计算上来看不适合处理高维空间 中的问题 类内协方差矩阵的奇异性问题既然是由训练样本的数量太少引起的 一个非常合 理的解决方法就是增加训练样本的数量 由于无法从问题本身得到更多的训练样本 因此 目前广泛采用的方法是利用虚拟训练样本来解决协方差矩阵的奇异性问题 如 果能够在保持各类的分布特征不变的前提下 生成大量的虚拟训练样本 则协方差矩 阵的奇异性问题甚至逆阵的不稳定性问题将迎刃而解 现有的虚拟样本生成方法大都 6 博士论文高维小样本数据的特征提取及分类器算法研究 是对原始图象进行简单几何变换 如平移 旋转 对称变换等 如s e b a s t i e nm a r c e l 嘲 提出了一种基于对称变换的虚拟样本生成方法 并将其应用于人脸认证系统 w e n j i n w e p l 提出了一种基于虚拟样本的人脸识别方法 该方法将人脸图象分解为几何特 征和纹理特征 再对图象的几何特征进行变换生成虚拟训练样本 这种方式在提取了 人脸的几何特征后 可以生成各种姿态的人脸图象 但该方法的不足是人脸几何特征 的提取是 常困难韵 由于图象中含有的大量噪音干扰 会使所提取的几何特征产生 较大的误差 陈杰等嘲利用训练样本图象借助于遗传算法来生成虚拟样本 并利用虚 拟样本进行人脸认证系统的设计 遗传算法的优点是虚拟样本可以具备父类图象的遗 传基因 但这种算法具有一定的随机性 可能会破坏各类模式的分布特征 1 6 各类协方差矩阵奇异性问题 前面讨论了基于线性鉴别分析 l d a 的优化算法 尽管线性鉴别分析在许多环境 下得到了成功的应用 但是当人脸图象的位置 姿势及表情有较大变化的情况下 利 用线性鉴别分析方法就不能得到很好的识别结果 这是由于在这种情况下 模式特征 具有较大的非线性特征 并且人脸图象的分布特征比较复杂 线性鉴别分析由于它的 线性特征 限制了它的应用范围 l d a 可以被视为某种特殊情况下优化的贝叶斯分类 器 线性鉴别分析是假设各类模式服从高斯分布 并且各类具有相同的协方差结构 显然 对于实际的人脸识别任务 由于这种假设的限制 使得l d a 的判别晃通常是欠 拟合的 直观上采用二次方法来解决入脸识别这类非线性闷题 应该可以得到更好的 识别结果 例如采用二次判别分析 q u a d r a t i c d i s c r i m i n a n t a n a l y s i s q d a q d a 不 再要求各类具有相同的协方差结构并且允许得到更复杂的判别边界 但是当解决小样 本问题时 采用 d 方法可能比采用l d a 更困难 这是由于 4 与l d a 相比需要估计 更多的参数 因此 q d a 方法需要更多的训练样本 为了解决各类样本协方差矩 阵的奇异性问题 j h f r i e d m a n 等咖提出了正则化判别分析 r e g u l a r i s e dd i s c r i m i n a n t a n a l y s i s p d a r d a 方法采用两个参数 复杂参数 和收缩参数j 通过对各类样 本协方差矩阵与总体协方差矩阵之间的插值运算 解决了各类样本协方差矩阵的奇异 性问题 r d a 方法可以减少各类协方差矩阵的波动 该方法对解决小样本问题产生了 重大的影响 即使在训练样本的数量远小于特征空间维数的情况下 r d a 方法也具有 很好的性能 但是z r d a 方法仍有许多不足之处 例如 如何选取优化参数 的值 另外 当各类训练样本的数量与特征空间的维数相比小于某个阈值时 r d a 的模式识 别率会迅速下降 造成这种情况的原因是 当训练样本的数量远远小于特征空间的维 数时 由于r d a 方法需要估计每个类的协方差矩阵 而这时的估计是很不准确的 删三礴矧提出了正受 化直接q 删方法 r e g u l a r i z e d d i r e c t q d a r d q d a 该方法将 7 第一章绪论 博士论文 d l a d 与r d a 方法结合在一起 r d q o a 是介于 与 董之间的一种更全面的解决 小样本问题的分类器方法 通过调整r d q d a 的参数可以得到一系列新的或传统的分 类器方法 如d l a d d o d a 分类器等 另外 强孵优矿 还提出了一种基于q d a 的 协方差矩阵估计方法 称为l o o c w 法 1 e a v e o n e o u tc o v a r i 6 n c f 该方法仅对每个 类的协方差矩阵进行优化 其算法思想是将各类协方差矩阵与总体协方差矩阵进行对 角化后相加 由于己0 d d 殴需要对参数 取每个点的值估计一个概率密度函数 因此 在 般情况下 它的计算时间少于足d 4 方法 1 7 协方差矩阵的不稳定性问题 当训练样本数矗大于特征空间的维数k 时 就可以避免协方差矩阵的奇异性问题 但 是若n g 则将x 归于w j 其中h 为各类均值向量 e 为各类的协方 差矩阵 对 和三 的估计可采用极大似然估计法 假设模式类别有c 个 h 表示第i 类训练样本数 五为f 类第 个训练样本 则 和三 的极大似然估计为 驴吉弘 妻j 1 一吩啪一啊 7 2 1 2 正则化判别分析 2 1 3 2 1 4 小样本数据的各类协方差矩阵 通常是奇异的 而正则化判别分析嗍 i 凹h 可以 克服矩阵 的奇异性问题 r d a 包括两个参数 复杂参数川铂收缩参数 其各类协 方差矩阵的估计如下 z 篇 2 1 5 f 在 2 1 5 式中 0 s 五s l 蜀 一 f s 一 l 嘞表示第f 类样本数 矗表示全部样 i 1 本总数 参数y 是用来进一步调整 2 i 5 式的协方差矩阵 7 1 一 舻 a j 2 1 6 在 2 1 6 式中l 为p x p 维单位矩阵 o y l c 五 r r e 2 2 协方差矩阵的逆阵不稳定性 小样本问题会造成各类样本协方差矩阵三 的逆阵不稳定 为了表示这种不稳定 性 对该矩阵进行对角化表示 矾矿 五吼 2 2 1 其中屯为三 的第k 个特征值 纯为对应的特征向量 假设特征空间的维数是只 则该矩阵的逆阵可表示为 l 杰里乒 2 2 2 i i l7 h 由 2 2 2 式可以看出 三 的逆阵受较小的特征值及其特征向量的影响较大 因此 逆 阵的不稳定性将会夸大小特征值的影响 r d a 算法的协方差矩阵e 可以表示为 博士论文 商维小样本数据的特征提取及分类嚣算法研究 口岛 k s g 2 3 其中 a b 为正整数 s 为非奇异矩阵 故矩阵蜀也非奇异 则该矩阵可对角化表示为 磁 7 e 磊 4 2 2 4 在 2 2 4 式中 如 五 是矩阵 的特征值 由公式 2 2 3 2 2 4 得 4 碱昭 五 如 一 五 2 叼 譬 2 2 5 互口 孝1 7 5 l 掌l 矗 毒 r 辩 7 a t 6 r 其中 正 t 为非对角矩阵 但由于互 t 的线性和为对角矩阵爿 故互 t 的非对角元素 必相互抵消 由公式 2 2 5 得 4 口互 b t d i a g a f 口 4 0 d i a g b 六 6 免 6 0 2 2 6 d i a g a 矗 一 口f 6 f p 其中 爿 彰及岛 蟊 一 磊可以分别看作是各类样本协方差矩阵和总体样本协 方差矩阵对应的特征值 由公式 2 2 2 得 一 砉器 7 由公式 2 2 7 知 造成矩阵 不稳定的原因主要是由较小的特征值及其对应的特 征向量引起的 在r d a 算法中 对矩阵墨很难进一步优化 但可通过增加总体训练样 本的数量 使矩阵s 的小特征值变大 这样就可提高其逆阵的稳定性 2 3 利用正交基向量生成随机虚拟训练样本 2 3 1 训练样本的分布特征 根据 1 a i n 等 的理论 训练样本的数量不应小于特征空间维数的5 l o 倍 要得 到较高的模式分类正确率 样本数应是特征空间维数的1 0 倍以上 首先计算各类模式 的标准差 可以将各类样本看作是分布在以一为中心 为半径的超球体内 各类样本协方 差矩阵为 击粪 x 一嘶 一岣 7 令巧 毛一毡 公式 2 3 1 2 3 2 可转化为 t 上h i 羔j i 匕巧 2 3 2 2 3 3 2 f 3 4 公式 2 3 3 2 3 4 可看作是去中心化后的样本进行的相应计算 其中巧为第i 类去 中心化后的训练样本 则各类样本的均值为0 标准差为 2 3 2 虚拟训练样本的生成方法 虚拟训练样本应满足样本均值为零 样本标准差小于等于 即虚拟训练样本 戢应处于以原点为球心且以标准差 为半径的超球体内 也就是要满足以下公式的 要求 h i 专艺弼 o 2 3 5 f l 一 呓 x x q 3 q sr l 2 3 7 其中行 为第i 类虚拟样本的数量 嘭为第f 类第 个虚拟样本的标准差 要生成满足公 式 2 3 5 卜 2 3 7 的随机虚拟样本 方法很多 本文取p 维模式特征子空间中的一组基 x 1 o j 0 z o i j o x o o j 1 同时再取另一组对称向量一捌 爿 x 则这两组向量的均值为0 满足公式 2 3 5 但对于计算协方差矩阵 因 掣耐7 一墨 卜墨 7 故取墨 x x 即可 要满足公式 2 3 n 可以令 巧 奶 磁 2 3 8 其中 模式的类别数为c 则i 1 2 c j 1 2 也为取值范围在o 1 的随机数 为 第i 类的标准差 下面证明生成的虚拟训练样本满足公式 2 3 7 证 根据公式 2 3 6 2 3 8 把 7 巧 蜀广 弼 2 3 9 蜀 磁 7 墨 由于弼是单位向量 故0 i 弓i l 成的虚拟样本满足公式 2 3 7 1 因凡s l 由公式 2 3 9 得 毛 l i 故生 口 博士论文高维小样本数据的特征提取及分类器算法研究 2 4 采用虚拟训练样本优化正则化判别分析 2 4 1 优化算法 根据公式 2 3 8 每个类可以生成p 个虚拟训练样本 共可生成p x c 个虚拟训练 样本 利用虚拟训练样本及原训练样本一起计算公式 2 1 5 中的协方差矩阵s 由 专芸啊 得到 一 雎 i e l 式中栉 为虚拟样本的数量 则公式 2 1 5 2 1 6 可转化为 坚竖墨 1 一五 n 兄 z 玎 卜y 匹 玛 五 j 2 4 2 算法的时间复杂度分析 2 4 1 2 4 2 2 4 3 本文算法的显著特点是随机生成大量的虚拟训练样本 并利用这些虚拟样本对协 方差矩阵 的逆阵不稳定性进行优化 算法的时间复杂度由两部分组成 计算各类协 方差矩阵三b 计算二次判别函数及对未知样本进行识别 与传统的r d a 算法相比 在计算矩阵三 时 本文算法增加了虚拟样本的生成时间 这样就延长了矩阵 的计 算时间 但对于小样本问题 这样做并不会使系统的性能显著下降 而对二次判别函 数的计算及对未知样本的识别 两种算法的时间复杂度完全相同 2 5 实验及分析 本文采用o r l 人脸库进行对比实验 d 赳标准入脸库由4 0 人 每人i o 幅9 2 1 1 2 图象组成 其中有些图象是拍摄于不同时期的 人的脸部表情和脸部细节有着不同程 度的变化 比如 笑或不笑 眼睛或睁或闭 戴或不戴眼镜 人脸姿态也有相当程度 的变化 深度旋转和平面旋转可达2 0 人脸的尺度也有多达1 0 的变化 先对所有 样本进行两次小波变换 将图像交换为2 3x 2 8 象素 下图是o r z 入脸库中某 入的 1 0 幅图象 1 5 翻2 10 r l 人脸厍中的1 0 幅图象 实验1 本文算法与传统r d a 算法的对比实验 以每人的前5 幅图像作为训练样本 后5 幅作为测试样本 采用基于类间离散矩 阵s 的离散k l 变换 对原始特征进行特征提取 模式特征降为3 9 维 将本文算法称 为优化算法 优化算法首先计算各类的样本均值及标准差 在均值及标准差的范围内 每个类别可生成3 9 个 等于模式特征子空间的维数 虚拟训练样本 则共可生成4 0 3 9 1 5 6 0 个虚拟训练样本 将所有虚拟样本与原训练样本一起计算总体协方差矩 阵 根据公式 2 4 1 2 4 2 2 4 3 计算优化算法的协方差矩阵 这些矩阵不但可逆 而且其逆阵的稳定性得到了优化 对本文的优化算法与传统r d a 算法的总体协方差 矩阵s 的特征值进行比较 取前2 0 个最小的特征值 按e h d 至u 大的顺序排序 如下表 所示 表2 5 1 优化算法与r d a 算法的总体协方差矩阵的特征值对比 由表2 5 1 可以看出 优化算法的总体协方差矩阵s 的特征值明显大于传统r d a 算法 对应的特征值 这是由于优化算法的总的训练样本数量 原训练样本加虚拟训练样本 得到了很大的提高 使得优化算法协方差矩阵的逆阵稳定性得到了显著增强 采用p c a 进行特征提取 对传统的r d a 算法与优化算法进行对比实验 其中 参 数a 取不同的值进行比较 表2 5 2 参数 取不同值时两种分类器识别率 1 6 博士论文奇雏小样本数据的特征提取及分类器算法研究 由表2 5 2 可以看出 优化算法利用随机生成的大量虚拟样本 显著地增大了总 体协方差矩阵的各个特征值 从而提高了协方差矩阵的逆阵稳定性 因此 无论参数 y 取何值 优化算法的模式分类正确率均明显优于传统r d a 算法 且对不同的 y 值 优化算法模式识别正确率的波动小于r d a 算法 说明优化算法比传统r d a 算法鲁 棒 优化算法的时间复杂度由两部分组成 计算各类协方差矩阵三 和计算判别函数 及分类识别 下表对算法的时间复杂度分析 表2 5 3 优化算法与r d 4 算法的时间复杂度对比 从表2 5 3 可以看出 与传统的r d a 算法相比 在计算矩阵e 时 优化算法增加了 虚拟样本的生成时间 但由于训练样本数较少 并未使系统的性能显著下降 实验结 果显示仅延长1 秒左右 而对判别函数的计算及对未知样本的识别 两种算法的时间 复杂度几乎完全相同 实验2 与传统分类器算法的对比实验 以每人的前5 幅图像作为训练样本 后5 幅作为测试样本 采用p c a 及f i s h e r f a c e 算法进行特征提取 分类器采用最小距离 最近邻 r d a 及本文的优化算法分别进 行分类识别 其中r d a 及优化算法的参数 r 取表2 5 2 中的