（计算机应用技术专业论文）模糊支持向量机在人脸识别中的应用.pdf

摘要 支持向量机作为一种机器学习方法，较好地解决了非线性、高维数等实际问 题，是机器学习领域的研究热点，为人脸识别提供了一条有效的路径。 鉴于样本通常具有模糊特性且分布有稀疏的差别，在研究了现有的一些模糊 支持向量机方法的基础上，本文提出了基于模糊k 近邻的模糊支持向量机方法。 该方法首先针对每一类样本，计算出样本均值，得到样本类中心点；然后计算出 样本与中心点的距离，根据距离计算出样本的初始隶属度；计算每个样本的k 个近邻点，按照模糊k 近邻方法计算样本的隶属度，将初始隶属度和模糊k 近 邻隶属度以一定比例融合，得出样本的最终隶属度值。结合稻米图像检测问题， 验证了该方法的有效性。 针对人脸图像的特征提取，本文在重点分析了主成分分析方法和二维主成分 分析方法的基础上，提出了用二维特征求解样本隶属度，用主成分特征进行支持 向量机分类的方法。该方法结合了二维主成分特征在选取少量分量时人脸重构图 像稳定的优点和主成分特征重构图像局部特征清晰的优点。为了与二维主成分特 征分类结果进行比较，还通过引入矩阵内积，给出了针对二维特征的三类核函数。 实验表明，本文提出的利用两种特征进行分类的方法在人脸识别中具有较高的精 度。 关键词：模糊支持向量机；隶属度；模糊k 近邻；人脸识别；主成分分析；二维 主成分分析 a b s t r a c t a sam a c h i n el e a r n i n gm e t h o d ，s u p p o r tv e c t o rm a c h i n ec a ns o l v et h en o n - l i n e a r , h i g hd i m e n s i o na n do t h e rp r a c t i c a lp r o b l e m ，i ti st h ef o c u si nt h ef i e l do fm a c h i n e l e a r n i n g ，a n dp r o v i d e sa v a l i dp a t hf o rf a c er e c o g n i t i o n b e c a u s et h es a m p l eu s u a l l yh a sal o to fv a g u ei n f o r m a t i o n ，a n dt h es p a r s e n e s so f t h es a m p l e sd i s t r i b u t i o na r ed i f f e r e n t ，t h r o u g hs t u d y i n gs o m eo ft h ee x i s t i n gf u z z y s u p p o r tv e c t o rm a c h i n em e t h o d ，af u z z ys u p p o r tv e c t o rm a c h i n em e t h o db a s e do n f u z z ykn e i g h b o r si sp r e s e n t e di n t h i sp a p e r i nt h i sm e t h o d ，t h es a m p l em e a ni s c a l c u l a t e d ，a n dt h ec e n t e ro fe a c hc a l s si sg o t ；t h e nt h ed i s t a n c eb e t w e e nt h es a m p l e a n dt h ec e n t e ri sc a l c u l a t e d ，a c c o r d i n gt ot h ed i s t a n c es a m p l e si n i t i a lm e m b e r s h i pi s g o t ；b yf i n d i n gkn e i g h b o r sf o re a c hs a m p l ep o i n t ，t h es a m p l em e m b e r s h i pd e g r e ei s c a l c u l a t e da c c o r d i n gt ot h ef u z z ykn e a r e s tn e i g h b o rm e t h o d ，t h e nt h ep a p e ri n t e g r a t e s i n i t i a lm e m b e r s h i pd e g r e ew i t hf u z z ykn e i g h b o r sm e m b e r s h i pb yac e r t a i n p e r c e n t a g et h a to b t a i n e st h ef i n a lm e m b e r s h i pv a l u eo ft h es a m p l e c o m b i n ew i t hr i c e i m a g ed e t e c t i o n ，t h ev a l i d i t yo f t h i sm e t h o di sv e r i f i e d a c c o r d i n gt oa n a l y z et h em a i nc o m p o n e n ta n a l y s i sa n dt h et w o d i m e n s i o n a l p r i n c i p a lc o m p o n e n ta n a l y s i sr e g a r d i n g f a c e i m a g e f e a t u r e e x t r a c t i o n ，u s i n g t w o d i m e n s i o n a lf e a t u r e sf o rt h ec a l c u l a t i o no ft h em e m b e r s h i pa n dt h ep r i n c i p a l c o m p o n e n tf o rs u p p o r tv e c t o rc l a s s i f i c a t i o ni sp r o p o s e di nt h i sp a p e r t h em e t h o d c o m b i n e st h es t a b i l i z a t i o no ft w o - d i m e n s i o n a lp r i n c i p a lc o m p o n e n ti nr e c o n s t r u c t i n g f a c ei m a g ea n dt h eo b v i o u s n e s so ft h ep r i n c i p a lc o m p o n e n tt ot h er e c o n s t r u c t e di m a g e l o c a lc h a r a c t e r i s t i c s i no r d e rt oc o n t r a s tw i t ht h es o r tr e s u l t so ft w o - d i m e n s i o n a l c h a r a c t e r i s t i c s ，t h r o u g h i n t r o d u c t i o no fm a t r i xi n n e rp r o d u c t ，t h r e et y p e so f t w o d i m e n s i o n a lc h a r a c t e r i s t i c sk e r n e lf u n c t i o na r eg i v e n e x p e r i m e n t ss h o wt h a tt h e m e t h o do ft h i sp a p e rh a sah i g hc l a s s i f i c a t i o na c c u r a c yf o rf a c er e c o g n i t i o n k e y w o r d s ：f u z z ys u p p o r t v e c t o rm a c h i n e ；m e m b e r s h i p ；f u z z yk n e i g h b o r s ； f a c er e c o g n i t i o n ；p r i n c i p l ep o m p o n e n ta n a l y s i s ；t w o d i m e n s i o n a l p r i n c i p a lc o m p o n e n ta n a l y s i s i i 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：虱f 1 彳 日期：w 僻6 月j 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。同时授权中国科学技术信息研究所将本论文收录到 中国学位论文全文数据库，并通过网络向社会公众提供信息服务。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密因。 ( 请在以上相应方框内打“”) 作者签名： 跳 导师妊存哿l 囔 日期f 0 年f j 、3e 1 日期砌o 年月3 e l 1 1 研究背景及意义 第一章绪论帚一早三百t 匕 自2 0 世纪9 0 年代中期以来，综合统计学习理论、支持向量机算法的优点和最优化 技术，设计实现新算法成为机器学习领域的一个研究热点，并取得了丰硕的成果。 支持向量机，方法是上世纪九十年代中期v a p n i k 等人提出的一类新型的机器学习 算法【l 】，受到理论界和工程界的广泛关注。它基于v c 维理论和结构风险最小化原理训练 学习机器，在很大程度上克服了传统机器学习中的维数灾难以及局部极小等问题【2 1 。同 时，根据有限的样本信息在模型的复杂性( 即对特定训练样本的学习精度) 和学习能力 ( 即无错误地识别任意样本的能力) 之间寻求最佳折衷，以期获得最好的推广能力。因 为支持向量机针对小样本情况所表现出来的优良学习性能和其使用便利，己经成功地应 用于模式识别、图象处理等许多方面 3 , 4 1 。 支持向量机针对小样本情况所表现出来的优良学习性能，引起了众多对人脸识别研 究人员的注意。由于人脸可以作为计算机视觉在人的个体识别方面的一个友好的交互接 口，而且其小样本和具有高维特征的性质，因此将支持向量机方法与人脸识别相结合， 既有理论意义又有实际价值。 从支持向量机本身来说，尽管有着很高的数据分类性能，但作为一种尚未成熟的新 技术，对于现实世界中存在的很多数据样本中参杂的不规则和模糊信息，尤其是在构造 最优分类面时所有的支持向量样本具有相同的作用，当训练样本中含有噪声与野值样本 时，这些含有“异常”信息的样本在特征空间中常常位于分类面附近，导致获得的分类面 不是真正的最优分类面。另外，在实际应用中，对某些重要的类需要非常高的分类精度， 而对其它类分类精度的要求相对低一些，所有这些问题，对于常规的支持向量机都无法 解决。因此对模糊支持向量机和多类分类的研究有着重要的意义。 同样对于具有高维特征的人脸样本，其受到复杂环境和噪声点的影响非常大，虽然 支持向量机的应用能够很好的提高人脸的识别率，但是对于人脸图像的预处理工作要求 还是比较大，如果图像稍微参杂一些噪声点，便就有可能导致识别结果的误差率增加。 所以就有必要针对其中的某些问题进行研究，以提出一些新的方法，提高人脸的识别率。 1 2 相关研究现状 支持向量机算法的潜在应用价值吸引了国内外众多的研究学者的目光。国内外学者 对支持向量机的理论做了深入研究并取得了丰硕的成果，可归结为几个大的研究方向： ( 1 ) 改进学习算法 虽然支持向量机发展时间较短，但是由于它的产生是基于统计学习理论的，因此具 有坚实的理论基础。随着支持向量机在理论上的深入研究，出现了许多变形支持向量机。 比如针对支持向量机分类问题中存在的不可分区域和对噪音的敏感问题，t a k u y a 和l i n 等人分别提出了模糊支持向量机踊6 1 ，通过给样本增加一个模糊隶属关系，来充分利用 样本的信息。s u y k e n s 等人提出了最小二乘支持向量机订3 ，引入最小二乘线性系统到支 持向量机中，代替传统的支持向量机采用二次规划方法解决函数估计问题。另外，还有 光滑支持向量机3 、小波向量机、支持向量聚类，以及其他的一些新的s v m 模型。在 这些方法中，对模糊支持向量机的研究比较系统。例如，刘畅等利用基于线性规划下的 一类分类算法来确定模糊隶属度阻3 ；吴青等提出了一种基于边界向量提取模糊支持向量 机的方法n0 l ；王琳等提出了基于熵和蚁群算法的模糊支持向量机方法n 等。模糊支持向 量机算法也已应用于模拟电路故障诊断n 列、公司财务困境预测口3 3 和白血病检测n 4 1 等实际 问题中。 ( 2 ) 改进训练算法 标准支持向量机的训练需要求解一个二次规划的优化问题，传统的解法一般都利用 标准二次型优化技术来求解其对偶问题。但由于需要计算和储存整个核函数矩阵，当样 本点数目较大时，需要很大的内存空间另外，在二次型寻优过程中要进行大量的矩阵运 算。这些都可能导致训练算法的速度较慢。为了解决支持向量机的训练问题，提出了很 多适合实际应用的优化算法。 如块处理算法n 朝是将样本集分成工作样本集和测试样本集，每次对工作样本集利用 二项规划求得最优解，剔除其中的非支持向量，并用训练结果对剩余样本进行检验，将 不符合训练结果一般是指违反条件的样本或其中的一部分与本次结果的支持向量合并， 成为一个新的工作样本集，然后重新训练，直到获得最优结果。 ( 3 ) 多分类方法研究 由于支持向量机是针对两分类问题提出的，因此，存在一个如何有效地将其推广到 多类别分类问题上，特别是对极大类别分类的问题上。 2 如吕晓丽等人在分析了几种支持向量机多分类方法存在的问题和缺点的基础上利 用类均值距离思想提出了一种新的基于二叉树的多类s v m 分类方法n6 1 。张永等人针对 直接多类分类方法，提出了一种新的基于直接构造多类s v m 分类器的模糊多类支持向 量机算法f c s s v m ，它通过重构了优化问题及其约束条件，得到了比较理想的分类精 度n 7 1 唐发明等人采用聚类分析中的类距离思想，提出了一种新的基于二叉树的多类 s v m 分类方法，得到了较高的推广性能n 引。 ( 4 ) 核函数构造及选择研究 支持向量机的非线性处理能力是通过“核映射”的方法来实现的。“核映射”把输 入空间的样本映射到高维的特征空间，在h 空间中，我们只需进行线性的识别或回归 就能达到非线性处理的目的。但上述的核函数有一限制，一般须满足m e r c e r 条件。 选择核函数最通常的做法是找出观测数据的分布特点与最优超平面之间可能的对 应关系，或根据一些先验知识来选择其类型和参数，或直接构造新类型，并在训练过程 中逐步优化。遗憾的是这些做法都缺乏相应的理论指导，因此，核函数的选择和构造是 支持向量机算法研究的一个主要研究方向。 ( 5 ) 参数优化研究 支持向量机核函数的选择和参数优化影响着支持向量机的性能。支持向量机的参数 包括核函数的参数以及误差惩罚参数。推广能力的估计方法是实现支持向量机参数选择 的基础。目前，对支持向量机推广能力的估计还没有简单、准确的方法。对支持向量机 而言，理想的参数优化准则是实际风险最小。但是，由于实际风险描述的是学习机器对 参数空间所有数据的逼近能力，仅仅利用己知的、有限数目的训练样本不能直接和准确 地计算实际风险，现有方法主要是通过计算实际风险上界的某种估计来选择参数。研究 者们也提出了一些支持向量机风险上界的估计函数，如g o l d 等人研究了后验概率在支 持向量机模型参数选择中的应用n 引；袁小芳等提出一了基于混沌优化算法的参拳选择方 法啪1 ；还有许多国际上近期开发的常用优化算法，像s v m l i g h t 算法乜、s m o 算法乜刳、 s o r 算法1 和l s v m 算法乜钔等。 对于人脸识别的研究则一般可分为三个部分：从具有复杂背景的景物中进行人脸检 测、定位和分割人脸；人脸特征提取；最后是模式匹配和分类识别。人脸识别研究跨越 了图像处理、模式识别、计算机视觉、人工神经网络以及神经生理学、心理学等研究领 域。早在六七十年代在计算机视觉的研究过程中，人脸识别就引起了研究者们的兴趣。 人脸图像的预处理工作主要是针对去噪和人脸的姿态校正。而去噪工作就需要用到 各种滤波方法和对图像的归一化，而对于人脸姿态的校正主要的方法就是根据模版来进 行。 人脸识别中特征提取方法主要有三种：基于特征的结构匹配法、整体匹配法和组合 法。基于特征的结构匹配法通常使用人脸的几何特征来表征人脸，如眼睛、鼻子、下巴 等的位置、尺寸、及相互关系等；整体匹配法则使用整个人脸的灰度图象作为输入进行 分类器的训练和测试；组合法是前两者的结合，其通常先使用整体特征进行初步识别， 然后使用局部特征作进一步识别。 在2 0 世纪6 0 年代初期，b l e d s o e 乜明首先提出了半自动人脸识别系统的模型和特征提 取方法。t u r l 和p e n t l a n d 于1 9 9 1 年提出了基于k l 变换的特征脸方法乜6 。，该方法首先使 用k l 变换来表达和识别人脸，确定了特征脸后，每幅人脸都可以表示为一个权值矢量。 c o m o n 于1 9 9 4 年提出了独立成份分析概念并且h y v a r n e r 和k a r h u n e n 于1 9 9 7 年提出 了不同的i c a 算法 2 7 o 还有提取奇异值特征啪1 ，用小波分析啪3 0 。，和应用人工神经网络1 3 2 1 等方法来提取特征。至于人脸分类器比较常用的有神经网络，支持向量机等。 1 3 本文的研究内容和组织结构 1 3 1 研究内容 本文的研究内容有以下几个方面： 1 结合模糊识别方法和国内外对模糊支持向量机的研究成果，通过分析人脸样本 空间分布特点，找到现有方法在求解模糊隶属度时存在的问题。 2 分析模糊k 近邻算法对样本隶属度函数的影响，改进模糊k 近邻算法，将其作 为模糊支持向量机的模糊隶属度函数。针对二分类问题，将该算法与其它一些算法进 行仿真实验，对结果进行比较。 3 分析现有的支持向量机的内积函数。针对二维特征，给出适用于二维特征的内积 函数。并结合实验，给出高维样本空间各种核函数分类的结果，从中找出一种或多种应 用于像人脸这样的高维特征分类比较合适的核函数。 4 研究人脸识别中特征的提取过程，分析主成分分析和二维主成分分析方法提取特 征的过程，应用o r l 和y a l e 人脸库，结合不同方法提取的样本特征，以模糊支持向量机 做分类器，使用m a t l a b 工具进行仿真。根据实验结果，与已有的支持向量机、模糊 4 支持向量机方法进行比较，分析算法在高维多分类问题中的优劣性。 1 3 2 组织结构 第一章阐述了支持向量机方法在分类识别中的应用，并介绍了模糊支持向量机方法 的研究现状及人脸识别的过程。 第二章介绍了支持向量机方法，主要介绍了支持向量机的理论基础。 第三章则分析了模糊支持向量机方法的特点，并针对模糊隶属度的求解过程，给出 了用模糊k 近邻求解模糊隶属度的方法。并用简单的二分类问题测试了该方法的可行性 和有效性。 第四章和第五章则是专门针对人脸识别来进行研究，其中第四章着重研究了人脸图 像的特征，第五章则应用模糊支持向量机方法来对人脸进行识别。 最后对论文工作做了总结，以及对人脸识别和模糊支持向量机的发展做了展望。 第二章支持向量机及其理论基础 统计学习理论是支持向量机算法的理论基础，寻找一个最优分类面则是支持向量机 算法的目的。 2 1 统计学习理论 统计学习理谢3 3 1 是针对小样本情况研究统计学习规律的理论，是传统统计学的重 要发展和补充，为研究有限样本情况下机器学习的理论和方法提供了理论框架，其核心 思想是通过控制学习机器的容量实现对推广能力的控制。 2 1 1 学习过程的一致性条件 关于学习一致性的结论是统计学习理论的基础，也是它与传统统计学的基本联系所 在。所谓学习过程的一致性，就是指当训练样本数目趋于无穷大时，经验风险的最优值 就能够收敛到真实风险的最优值。只有满足一致性条件，才能保证在经验风险最小化原 则下得到的最优化方法当样本无穷大时趋近于使风险最小的最优结果。 学习过程的一致性：记f ( x ，缈) 为在刀个独立同分布样本( x ，少。) ，( 石：，y ：) ， ( x 。，y 。) 下在函数集中使经验风险取最小的预测函数，由它带来的损失函数为 l ( y ，f ( x ，国l 门) ) ，相应的最小经验风险值为r e m p ( c o l 刀) 。记r ( c o j ) 为在 l ( y ，f ( x ，彩+ i 力) ) 下的r ( c o ) = f l ( y ，f ( x ，c o ) ) d f ( x ，少) 所取得的真实风险值( 期望风 险值) ，其中f ( x ，y ) 为一个未知的联合概率。当下面的两式成立时称这个经验风险最小 化学习过程是一致的： 尺( 缈l 门) 1 j i 专r ( 缈o ) r e i n p ( c o + l 疗) 忑一r ( ) 其中，r ( c o o ) = i n f r ( c o ) 为实际可能的最小风险，即r ( ) 的下确界或最小值。 定理l ( 学习理论关键定理) ：对于有界的损失函数，经验风险最小化学习一致的充 分必要条件是经验风险在如下的意义上一致地收敛于真实风险： l i m p s u p ( r ( o ) 一r 。( 缈) ) s 】- 0 ，v 占 0 h - - p w 脚 其中，p 表示概率，r e i n p ( ( 1 ) ) 和r ( r o ) 分别表示存在刀个样本下的经验风险和对于同一国的 6 真实风险。 定理中的公式称作单边一致收敛，与此相对应的双边一致收敛，即 l i mp s u p r ( c o ) 一r 。p ( 缈) i 占】= 0 ，v 6 0 h 。、 学习理论关键定理给出了经验风险最小化原则成立的充分必要条件，但这一条件没 有给出什么样的学习方法能够满足这些条件。为此，统计学习理论定义了一些指标来衡 量函数集的性能，其中最重要的是v c 维。 2 1 2 函数集的学习性能与v c 维 学习理论的三个里程碑定理： 定理2 ：函数集学习过程双边一致收敛的充分必要条件是： l i m 旦盟：0 定理3 ：函数集学习过程收敛速度快的充分条件是： l i m 型：o t l - - o o ，z 定理4 ：函数集学习过程一致性收敛的充分必要条件是对任意的样本分布，都有 l i m 型：0 1 1 - ) 0 0 刀 且这时的学习过程收敛速度一定是快的。 定理中h ( n ) 是指示函数集的熵( v c 熵) ，h 。( 刀) 为退火的v c 熵，g ( 力) 为生长函 数。这三个定理在不同程度上回答了学习理论中最基本的问题，即在什么条件下，一个 遵循经验风险最小化原则的学习机器或学习算法，当样本数趋向无穷大时收敛于期望风 险最小的最优化解，而且收敛的速度是快的。对于生长函数又有以下规律： 定理5 ：所有函数集的生长函数或者与样本数成正比，即g ( 刀) = n l n 2 ，或者以下列 样本数的某个对数函数为上界，即g ( 刀) 办( 1 n 孚+ 1 ) ， h ，其中h 是一个整数，它是 ，l 从生长函数满足式g 0 ) ：n l n 2 至4 。1 - , 足式g ( 刀) 办( 1 n n + 0 的转折点，即当力：h 时，有 r t g ( 刀) = n l n 2 而g ( h - t - 1 ) 0 ，只要使 f ( 毋= 彭 最小就可以使错分样本数最小。在线性不可分情况下为使分类间隔最大，可引入约束 i l w l l 2 吼 即此时分类问题就变成了以下的约束问题： r a i n c ( 孝) = 只 i = 1 s t y ， ( w x ，) + b + 专l 求解这个约束问题就可得到线性不可分情况下的最优分类面，称作广义最优分类面。为 计算方便，取盯= 1 。为了进一步简化，可将上述约束问题改为： m i n 矽( w ，孝) = 互1 ( w w ) + c ( 喜专) ( 2 - 7 ) s j y ，【( w x ) + b + 专1 ，i = 1 ，刀 其中c 为某个指定的常数，它实际上起控制对错分类样本惩罚的程度的作用，实现在错 分样本的比例与算法复杂度之间的折衷。 2 3 支持向量机( s v m ) 注意到分类判别函数( 2 6 ) q p 只g 含待分类样本与训练样本中的支持向量的内积运 算( x 。t ) ，同样，它的求解过程( 2 5 ) 中也只涉及训练样本之间的内积运算( t ) ，可 见，要解决一个特征空间中的最优线性分类问题，只需知道这个空间中的内积运算即可。 对于一个问题在其定义的空间中不是线性可分的，就可以考虑通过构造新的特征向 量，把问题转换到一个新的空间中，这个空间一般比原空间维数增加，但却可以用线性 判别函数实现原空间中的非线性判别函数。而对于这种变换，没有必要知道其形式，只 要变换空间中的内积可以用原空间中的变量直接计算得到就可以。统计学习理论指出， 只要一种运算满足m e r c e r 条件，它就可以作为这里的内积使用。 定理8 ( m e r c e r 条件) ：对于任意的对称函数k ( x ，x ) ，它是某个特征空间中的内 积运算的充分必要条件是，对于任意的妒( x ) 不衡等于。且眵2 ( x ) 出 o 如果用内积k ( x ，x ) 代替最优分类面中的点积，就相当于把原特征空间变换到了某一个 新的空间，此时( 2 5 ) 中的优化函数变为： ”1拧 q ( 口) = 口，一去口，口，y ，y ，k ( x j x j ) p l z j ，j = i 而( 2 6 ) 也变为 f ( x ) = s g n 口? j ，k ( x ，x ) + b ) ， i = l 其它条件都不变，这就是支持向量机。 支持向量机求得的分类函数形式上类似于一个神经网络，因此也被叫做支持向量网 络。其示意图如下所示。 x 2x 3 图2 3支持向量机示意图 由于最终的判别函数中实际只包含与支持向量的内积和求和，因此识别时的计算复 杂度取决于支持向量的个数。支持向量机的推广性也是与变换空间的维数无关的，只要 1 2 能够适当地选择一种内积定义，构造一个支持向量数相对较少的最优或广义最优分类 面，则就可以得到较好的推广性。 目前研究的内积函数主要有三种：多项式内积函数( k ( x ，x ，) = ( x - 一) + 1 】9 ) 、径 向 基 函数 ( k ( x ，x j ) = e x p ( - ( 1 x 一誓f 万) 2 ) )和 s i g m o i d 函 数 ( k ( x ，x ，) = t a n h ( v ( x x ；) + c ) ) 。对于相同的问题，不同的内积函数有不同的结果。至 于每一种内积函数，还需要根据实际问题来调节其参数。 2 4 本章小结 统计是面对数据而又缺乏理论模型时最基本的分析手段，传统的方法由于其某些前 提条件在实际应用时往往得不到满足，所以难以应用。统计学习理论使用了与传统方法 完全不同的思路，即不是像传统方法那样首先试图将原输入空间降维( 即特征选择和特 征变换) ，而是设法将输入空间升维，以求在高维空间中问题变得线性可分( 或接近线 性可分) ；因为升维后只是改变了内积运算，并没有使算法复杂性随着维数的增加而增 加，而且在高维空间中的推广能力并不受维数的影响。支持向量机( s v m ) 就是在统计学 习理论的v c 维理论和机构风险最小化理论基础上建立的，它根据有限的样本信息在模 型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。s v m 可以自动 寻找对分类有较好区分能力的支持向量，由此构成的分类器可以最大化类与类之间的间 隔。 本章主要介绍了统计学习理论和支持向量机的基本思想，并对支持向量机的内积函 数做了简要介绍，为以后的工作做准备。 主要内容包括：1 、统计学习理论。2 、最优分类面。3 、支持向量机和内积函数。 第三章模糊支持向量机算法和二分类问题 随着对支持向量机算法的研究，人们提出了模糊支持向量机算法。同支持向量机算 法一样，模糊支持向量机算法也主要是针对二分类问题的。 3 1 模糊支持向量机 模糊支持向量机的提出为支持向量方法解决含有模糊信息分类问题提供了一条有 效的手段。对于支持向量机来说，每个类的每个训练点都可以同等影响最优分类面的确 定，而它并没有考虑这个点重不重要，也就是说支持向量机对普通集合比较适用。在大 量的实际应用中，训练集中存在一些不清晰的元素，甚至有些噪声，这些训练点就对分 类面的确定没有多大意义。所以如果要减少这些点的影响就需要计算这个点对这个类的 隶属程度，这也就将s v m 理论概念推广到具有模糊信息的s v m ，称之为模糊支持向量 机嵋6 1 ( f u z z ys v m ) 。 模糊支持向量机中，首先对所有样本进行模糊化，每一个样本x ，都赋予一个隶属度 g ，) ，这样就得到一个训练样本集，_ ，( _ ) l ，一，x n ，( ) ) ，其中t r ， y ， - 1 ，l ，扛1 , 2 ，3 ，刀，0 - ( z f 磺 i = l s 1 y ， c o x f + b 】1 一参 毒0 其中，惩罚因子c 为常数，国为分类函数y ，的权系数。引入l a g r a n g e 乘子a i ( 汪1 , 2 ，n ) ， 得到其对偶形式为： m a x q - 1 2 口j 口j y ，y j k ( x ) i = l i , j = l s 1 0 a f c 以( f ) q y ，= 0 i = l 1 4 ( 3 1 ) 式中k ( x ，x j ) 为核函数。由此得到的决策函数为： 厂( x ) = j 柳 口，y ，k ( x ，x ) + 6 】 t = l 由( 3 1 ) 式可以看到，c ( x ，) 越大，表示样本x ，被错分的可能性越小；反之，样本x ， 被错分的可能性越大。因此隶属度函数的设计是整个模糊算法的关键，这就要求隶属度 函数能客观、准确地反映样本的分布特性。对于人脸识别这样的问题，在现实获取人脸 图像的时候并不能保证每个人的图像都是一样多的，就如同一个人如果见得次数多就很 容易认的出，而一个人见得次数少可能在识别的时候不容易认出，所以现实中人脸样本 的集合是有紧致和稀疏之别的。基于样本到类中心距离来计算隶属度的方法，往往在遇 到紧致和稀疏两个样本集时，到样本中心距离相等的点可能被赋予相等的隶属度，如图 3 1 所示。这就要求在设计隶属度函数的时候不仅要考虑到样本到中心的距离，还要考 虑样本之间的关系。 ( a ) 紧敛集( b ) 稀疏集 图3 1稀疏样本和紧致样本的差别 对于这个问题，张翔等人提出了基于紧密度计算隶属度的方法口4 l 。而这种样本之间 的紧密度是用包围样本集的最小球半径来度量的。样本集的最小球半径求解过程如下： 设样本集中珂个样本表示为 t ，江l ，2 ，刀) ，当样本集中不存在噪声或野值样本，或 者事先不知道样本集中是否存在噪声或野值样本时，通过引入一个非负松弛变量 参，i = 1 ，2 ，刀来允许一部分样本位于球的外面采用寻找最优分类面类似的方法，通过 对下面目标函数的最小化得到最小包围球即表示为 ，一、 ( r ，口，孝) = r 2 + d i 缶i i = l 其中，r 为能够包围样本集的最小球半径；口为球中心；d 0 是一个自定义的惩罚因 子，用来控制包围球的体积与允许球外面存在样本的个数之间的折衷。d 越大，惩罚就 越大，对允许球外面存在样本的约束程度也就越大。 约束条件为 一口1 1 2 r 2 + 专，i = 1 ，刀 六o ，i = l ，以 为了求解这个带约束条件的优化问题，可以定义如下的l a g r a n g e 函数： 上( r ，口，厂，孝) ：r 2 + d 窆毒一n 屈 r z + 专一i l x j - a i l 2 ) - 主以磊 ( 3 2 ) t = it = lj = i 其中，屈0 为l a g r a n g e 系数。 求解式( 3 2 ) 的最小值，可以令该泛函对r ，口及毒求偏导，并令它们等于0 ，得到 屈= l ， 口= 屈薯 d 一层一以= o ，i = l ，刀 将式( 3 2 ) 展开并进行组合为 l ( r ，口，7 ，孝) ：r 2 ( 1 一n 屈) + 兰每( d 一层一以) + 窆屈 i l 蕾一口1 1 2 ) f = lf = l ，= i 再将约束条件代入上式中，并进行合并整理，得到 即在约束条件 q ( f 1 ) = l ( r ，口，y ，孝) = 屈( 誓t ) 一屈色( 葺x j ) ( 3 3 ) i = 1 i , j = 1 月 屈= 1 f = l 0 屈d ，i = 1 ，n 之下对屈求解式( 3 3 ) 函数的最大值。 当屈 0 时，对应的样本称为支持样本；屈= d 时，对应的样本位于包围球外边， 称为野值或含噪声的样本。当0 屈 d 时，对应的样本用来描绘包围球，位于包围球 附近。因此，最小包围球的半径由0 屈 d 中对应的任意样本与球中心之间的距离来 确定，即为r = lx i - - o r 其中，薯为l a g r a n g e 系数0 屈 0 为了防止( x ，) = 0 如果只根据样本的k 近邻来进行样本的隶属度计算【3 3 1 ，可设样本x ，的k 个近邻为 x 1x 2 ，x t ，则样本的隶属度为： 刖= 扣删矿州) 喜( 1 i 矿州) ( 3 7 ) 由( 3 7 ) 式可知，在第二次求解的过程中样本本身的作用大大的减弱，如果遇到紧致样本 则经过( 3 7 ) 式修正后，噪声点可能与这个正常样本的隶属度相似。如图3 2 所示为噪声 的隶属度与噪声点的隶属度相同，因为此时( 3 7 ) 表示样本的隶属度就是最近邻样本的隶 舻点 6暑。 正罗。 1 9 我们还可通过一个二维特征样本集来进一步验证，在随机取1 0 个和5 0 个样本的情 况下，根据公式( 3 6 ) 和( 3 7 ) 求得的隶属度如图3 图3 31 0 个样本的隶属度分布 - 4 - 6 图3 45 0 个样本的隶属度分布 图中x 坐标和y 坐标分别代表样本的两个特征值，大点为根据公式( 3 6 ) 求得的隶属度值， 其上方( 或下方) 的小点为根据公式( 3 7 ) 求得的隶属度值，可见稀疏集边缘样本的两个隶 属度值差别比紧致集大，当用公式( 3 7 ) 时，稀疏集样本的隶属度被大大的提高了。这虽 然有效的增加了样本关系在分类时的作用，但势必也会相应加大噪声的影响。 为避免样本之间关系对隶属度的过度影响，本文将样本的初始隶属度以一定的比例 融入n - 次计算中，这样就可将样本到中心的距离和样本之间的关系有机的结合在一 起。样本的最终隶属度设计为： ( t ) ：( 1 一口) 。 ，) + 口k - t o ( _ ) ( i 0 x i - - x j i l 6 ) 壹( 1 忙，一x ，b ) ( 3 8 ) j = l，j = l 其中0 口 l ，bi - 8 ( 3 5 ) 式中的作用相同。 f l = l ( 3 8 ) 式定义的基于模糊k 近邻的隶属度可以看出：近邻一定的情况下，样本到样 本集中心的距离越大，则该样本属于该样本集的隶属度就越小；到样本集中心的距离一 定的情况下，样本集越紧密，样本的隶属度调整的越小，反之样本的隶属度调整越大， 隶属度也就越大。 这样就可以将( 3 8 ) 式求得的隶属度值用于模糊支持向量机中。 3 3 模糊支持向量机算法在二分类中的简单应用 3 3 1 人工数据的测试 采用m a t l a b 语言编写一个s v m 工具箱进行数值试验。实验首先用人工数据进行测 2 0 试。随机选取个相对紧密的样本集和一个相对稀疏的样丰= 集，用传统的支持向量机算 法和改进的模糊支持向量机方法分类的结果如图35 、图3 6 所示。其中算法采用 g a u s s i a n 核函数，惩罚因子c 取2 0 0 ，j = o1 ，b = 2 ，g = 0 9 ，吲中带豳的点为支持 向量。从图中可以看出，支持向量机取得的支持向量比较多，这也就影响了分界线划分 的精细程度：而新的模糊支持向量机算法取的支持向量少但能有效的提高分辨率。 幽3 5 传统支持向量机分类结果 3 32 稻米恶白粒率检测 随着国际竞争日益激烈，稻米的质量成了影响进出口的主要因素，稻米检测自然 就成了重中之重。然而，人工目测的方法主观性和随意性大，且效率低下。随着计算机 信息技术的发展，计算机视觉技术的应用为稻米的检测带来了新的方法”】 3 6 1 。稻米的 品质主要是从稻米的垩白粒率、粒型、整精米率、黄粒米、蛋白质、裂纹等方面来衡量 的9 ”。其实垩自粒率的检测就是一个将垩白颗粒与正常颗粒分开的识别问题，只是需要 找到一个能够有效反映稻米垩白特征的方法，然后进行分类。我们就将模糊支持向量机 方法用于稻米的恶白粒率检测中。 ( 1 ) 恶白稻米的特征提取 现行的对稻米垩白的检测都是从狄度值做起的。晟简单的方法就是在灰度直方图中 寻找闽值来计算每个稻米的垩白部分面积，同样的用阐值的办法来确定整个稻米的面 积，晟终得到这个稻米的垩白度，进而计算出稻米的垩白粒率。但是这种办法由于受到 光照影响需要对每一个稻米国像都要确定一次闭值，这就增加了工作量。如图3 7 、3 8 所示： 口 口口 图37辈向稻米与非垩白稻米 _ o _ 哗一二叫。一二 ( a ) 稻米a 的扶度直方幽 _ _ _ o 鍪毒一； ( h ) 格米b 的灰度直方圈 _ 哆2 笠- 二_ _ _ _ i 一 ( c ) 稻米c 的农度直方幽( d ) 稻米d 的敷度直方图 凹3 8坚白稻米与非垩白稻米灰度直方凹比较 米粒( a ) 和米粒( b ) 为j 下常米粒，它们所要选取的闽值却有很大的差别，( b ) 由于光照 较强，图像比较亮，所以总体获度值要偏大，它需要选取的闽值就比f a ) 要大。但是它们 的扶度值分布总体上呈现一个单峰的曲线；而对于一个含有垩白的米粒来说其灰度值 分怖却大体呈现一个敢峰曲线，如( c ) 和( d ) 所示，这主要是由于米粒垩白部分比米粒正常 部分的灰度值大照成的。这样我们就找到了一个垩白稻米与正常稻米的区别之处。为了 能将这种区别具体的表现出来，本文采用了正态函数拟合曲线的方法，用正态拟合函数 的参数作为垩白稻米的特征。正态拟合函数如下： y = ie x p ( - ( ( x b 】) c 1 ) 2 ) + a 2e x p ( 一( 扛一b 2 ) c 2 ) 2 ) +( 3 9 ) + “e x p ( - ( ( x b ) c ，) 2 ) 其中n 为所需要的丁f 态函数个数，a j 包分别为单个正态函数的系数。 为什么该拟合函数的参数可以作为区分垩白米粒的依据，我们可以简单的用辨= 2 时的拟合函数来分析。此时为求拟合函数中每个峰值的位置，可以对式( 3 9 ) e e 的每个分 式求x 的导数，并令其等于零。假设第f 个分式求得的值为t ，易得x ，= 参，即参数6 i 就 代表了单个峰值的横坐标位置。然而，在正态函数拟合灰度直方图的时候，如果拟合双 峰陡峭明显，则6 = i b 。一b ，i 就可大体上作为区分垩白稻米的依据；可是像( b ) 这样的稻 米，在拟合的时候可能出现一个单峰陡峭，一个单峰平缓，而6 = l6 1 一b ，l 很大的情况， 就需要将峰值的纵坐标以及平缓度考虑进来，此时易得y ，= 口，c 则反映了波峰的平缓 程度。故此看来，正态拟合函数的各个参数能够反映稻米垩白的特征。 当m = 2 时的拟合曲线如图3 9 所示。可见用正态函数很好的拟合了稻米的灰度直 方图，这也就说明了拟合函数中的各个参数有效代表了稻米的垩白特征。 ( a ) 稻米a 的灰度直方图拟合( b ) 稻米b 的灰度直方图拟合 ( c ) 稻米c 的灰度直方图拟合 图3 9 不同米粒的拟合曲线 但对于m 的选取，虽然其取值越大灰度直方图总体拟合越精确，可这并不意味着 它能更好的体现出稻米的垩白特征。由于灰度直方图中的点是离散的，所以过度拟合可 能在两点之间出现奇异峰值。例如稻米( a ) 在m = 3 , 4 ，5 时的拟合图像( 图3 1 0 所示) 。 j飞 ( a ) m = 3( b ) m = 4( c ) m = 5 图3 1 0 稻米( a ) 灰度图像的不同拟合 由于稻米只需分为恶白部分和正常部分两部分，故令m = 2 就可合适的拟合稻米的 灰度直方图。 ( 2 ) 模糊支持向量机对垩白