（概率论与数理统计专业论文）模糊支持向量机的研究与应用.pdf

融l!fi； ，0，翳 ，0工，n毒 ， l f l 启示和所提供的帮助，均已在论文中做了明确的声明并表示谢意。 i i i li ii lli 11 13 1i i i 弋 y 1 8 9 0 2 0 1 成果。论文中除特别加以标注和 ，其他同志的研究成果对本人的 学位论文作者签名：签重 学位论文版权的使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规定，及学校有 权保留并向国家有关部门或机构送交复印件或磁盘，允许论文被查阅和借阅。本文授权 辽宁师范大学，可以将学位论文的全部或部分内容编入有关数据库并进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文，并且本人电子文档的内容和纸质 论文的内容相一致。 保密的学位论文在解密后使用本授权书。 学位论文作者签名：签重 指导教师签名：3 卫垫 签名日期：少f f 年步月) g 日 0 。 一 f 111 - o-叮j，k， 奄 l l 辽宁师范大学硕士学位论文 摘要 统计学习理论具有强大的理论基础，支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称 s v m ) 作为一种常用的学习方法又是建立在结构风险最小化原理( s t r u c t u r a lr i s k m i n i m i z a t i o n ，s 1 w ) 和v c 维理论基础上的。支持向量机在解决一些小样本等实际问 题时，具有很强的泛化能力，并且有效地克服了传统机器学习中存在局部最小和维数灾 难等问题的出现。支持向量机能够根据模型的学习能力和模型的复杂性衡量取舍，找到 最合适的分类器，获得最优的推广能力( g e n e r a l i z a t i o na b i l i t y ) 。 支持向量机作为一种尚未成熟的新技术，还存在不足和局限，通过改进和完善，可 以增强它的适用性，其中有几个问题亟待解决： 第一，支持向量机刚开始只是应用于二分类问题，如何应用于多类分类问题成为一 项研究热点。目前，多类分类器的构造主要包括直接构造和间接构造两种方法，间接构 造法需要构造多个二类分类器，而直接构造法只需构造一个分类器，但分类精度较低。 怎样提高分类精度，更好的服务于多类分类问题也是需要研究的热点问题之一。 第二，s v m 对孤立点和噪声数据的影响是非常敏感的，各类别样本数目可能不均 衡。如何克服噪声对训练过程的影响，还有各类样本数目不均衡时所造成的不利影响， 这些问题都还需要研究改善和提高。 第三，核函数的选择与参数设置的优化一直也是研究的热点问题。在小样本研究中， 由于先验信息的不足，往往导致搜索区间过大，再加上需要优化的参数不只一个，训练 过程就需要消耗更多的时间。 本文阻支持向量机理论为基础，结合模糊理论进行研究。针对支持向量机中不能把 每个样本所起作用的重要程度体现出来，将模糊理论引入支持向量机，在已有研究的基 础上，提出了一种基于去边缘数据的模糊支持向量机，取得了较好的分类效果。同时将 该算法运用到人为数据和u c i 数据中，和标准支持向量机算法做对比实验。 关键词：统计学习理论；模糊支持向量机；隶属度函数；核函数；分类 。 ， - 一 。t-， t h er e s e a r c ha n dt h ea p p l i c a t i o no ft h e f u z z ys u p p o r tv e c t o rm a c h i n e s a b s t r a c t b a s e do n as o l i dt h e o r e t i c a lf o u n d a t i o no fs t a t i s t i c a ll e a r n i n gt h e o r y , i td e v e l o p e dan e w u n i v e r s a ll e a r n i n gm e t h o d s u p p o r tv e c t o rm a c h i n e ( s v m ) u s i n gv ct h e o r ya n ds t r u c t u r e r i s km i n i m i z a t i o n p r i n c i p l e ( s r m ) a s t h et h e o r e t i c a lf o u n d a t i o n , s v mh a v e s t r o n g g e n e r a l i z a t i o na b i l i t yi ns o l v i n gs o m ep r a c t i c a lp r o b l e m ss u c ha sl i m i t e ds a m p l e s ，a n d e f f e c t i v e l yo v e r c o m et h et r a d i t i o n a lm a c h i n el e a r n i n gi nr e l a t i o nt ot h el o c a lm i n i m u ma n d t h ec u r s eo fd i m e n s i o n a l i t ya n ds oo n a tt h es a m et i m e ，s u p p o r tv e c t o rm a c h i n ec a nb eb a s e d o nl i m i t e ds a m p l ei n f o r m a t i o ni nt h em o d e lc o m p l e x i t y ( i e ，l e a r n i n ga c c u r a c y ) a n dl e a r n i n g a b i l i t y ( i e ，e r r o r - f r e ec a p a c i t yt oi d e n t i f ya n ys a m p l e s ) i no r d e rt o o b t a i nt h e b e s t g e n e r a l i z a t i o na b i l i t y s u p p o r tv e c t o rm a c h i n e a san e w t e c h n o l o g yi sn o ty e tm a t u r e ，b u t a l s oh a ss h o r t c o m i n g s a n dl i m i t a t i o n s t h r o u g hi m p r o v e da n dp e r f e c t e d ，i tc a ne n h a n c et h ea p p l i c a b i l i t y , o fw h i c h t h e r ea res e v e r a lp r o b l e m st ob es o l v e d ： f i r s t ，s u p p o r tv e c t o rm a c h i n ew a so r i g i n a l l ym a d ef o rt h et w o c l a s sc l a s s i f i c a t i o n ，h o w e x t e n d e dt om u l t i c l a s sc l a s s i f i c a t i o nb e c o m ear e s e a r c hh o t s p o t c u r r e n t l y , t h ec o n s t r u c t i o n o fm u l t i - c l a s sc l a s s i f i e ri n c l u d e sb o t hd i r e c tc o n s t r u c t i o na n di n d i r e c tm e t h o do fc o n s t r u c t i o n , i n d i r e c tc o n s t r u c t i o nm e t h o dr e q u i r e sm o r et h a nt w oc l a s s i f i e rc o n s t r u c t i o n ,a n dd i r e c t c o n s t r u c t i o nm e t h o dt oc o n s t r u c to n l yo n ec l a s s i f i e r , b u tt h ec l a s s i f i c a t i o na c c u r a c yi s r e l a t i v e l yl o w e r h o wt oi m p r o v et h ec l a s s i f i c a t i o na c c u r a c yo fd i r e c tc o n s t r u c t i o nm e t h o d a n de f f e c t i v em u l t i c l a s sc l a s s i f i c a t i o ni so n eo fh o ti s s u e st ob es t u d i e d s e c o n d ，s v mi sv e r ys e n s i t i v ei s o l a t e dp o i n t s a n dn o i s ed a d a , t h en u m b e ro fs a m p l e so f e a c hc l a s sm a yn o tb eb a l a n c e d h o wt oo v e r c o m et h ei m p a c to fn o i s eo nt h et r a i n i n gp r o c e s s a n dt h ec l a s s i f i c a t i o nr e s u l t so ft h ei m b a l a n c es a m p l e s ，f u r t h e rr e s e a r c hi sn e e d e dt oi m p r o v e a n de n h a n c et h ep r o b l e m t h i r d ，t h ec h o i c eo fk e r n e lf u n c t i o na n dp a r a m e t e r so ft h eo p t i m i z a t i o nh a sb e e na l s oa h o ti s s u e i nt h el i m i t e ds a m p l e ss t u d y , b e c a u s eo ft h el a c ko fp r i o ri n f o r m a t i o n ，t h es e a r c h i n t e r v a l sa r e o f t e nl a r g e ，i nt h ec a s eo fm u l t i p l ep a r a m e t e r st ob eo p t i m i z e d ，t h et r a i n i n g p r o c e s st a k e sal o to ft i m e i nt h i s p a p e r ，s u p p o r t v e c t o rm a c h i n eb a s e do nt h e f u z z yt h e o r y s u p p o r tv e c t o r m a c h i n e sc a nn o tr e f l e c t e dt h ei m p o r t a n c eo fe a c hs a m p l e ，t h ef u z z ys u p p o r tv e c t o rm a c h i n e t h e o r y ，o nt h eb a s i so ft h ee x i s t i n gr e s e a r c h ，p r o p o s e dt or e m o v a lt h ee d g eo ft h ed a t a ，t o fr10 一 l o b t a i nab e t t e rc l a s s i f i c a t i o n t h ea l g o r i t h mi sa l s oa p p l i e dt oh u m a nd a t aa n du c id a t a , a n d u s e di nt h ec o m p a r a t i v ee x p e r i m e n t sw i t hs t a n d a r ds u p p o r tv e c t o rm a c h i n e s k e yw o r d s ：s t a t i s t i c a ll e a m i n gt h e o r y ；f u z z ys u p p o r tv e c t o rm a c h i n e ；m e m b e r s h i p f u n c t i o n ；k e r n e lf u n c t i o n ；c l a s s i f i c a t i o n -、，k i ， i l 模糊支持向量机的研究与应用 目录 摘要i a b s t r a c t i i 1 绪论。1 1 1 研究背景及意义1 1 2 论文的研究内容和结构安排2 1 2 1 研究内容2 1 2 2 结构安排2 2 支持向量机与统计学习理论3 2 1 统计学习理论的核心内容3 2 1 1 经验风险3 2 1 2v c 维4 2 1 3 结构风险4 2 2 支持向量机理论5 2 2 1 最优分类超平面5 2 2 2 线性可分情况的最优超平面6 2 2 3 线性不可分情况的最优超平面。8 2 2 4 非线性情况及核函数9 2 3 基于支持向量机的多类分类1 0 2 3 1o n e a g a i n s t r e s t 方法1 0 2 3 2 0 n e a g a i n s t o n e 方法11 2 3 2 有向无环图法( d a g s v m ) 1 2 2 3 4 基于一类分类的多类分类算法1 3 3 模糊支持向量机15 3 1 模糊集的概念16 3 2 模糊支持向量机1 6 3 3 模糊隶属度的选择1 9 3 3 1 基于距离确定隶属度函数1 9 3 3 2 基于s 型函数确定隶属度1 9 3 3 3 基于k n n 确定隶属度2 0 3 4 基于去边缘数据的模糊支持向量机2 l 3 5u c i 数据库实验结果2 4 ，、；-i l i 辽宁师范大学硕士学 4 总结与展望2 6 参考文献2 7 攻读硕士学位期间发表学术论文情况2 9 至| 【谢3 0 1 j 量 3 、 ， ? - 3 理论的研究表明无需假设样本分布，这是与传 统统计理论的本质区别。统计学习的实际风险r ) 由经验风险r 唧( 国) 和置信界限( v c c o n f i d e n c e ) 两部分组成。由( 2 3 ) 可知道，当较大时，经验风险对期望风险起决 定作用，此时效果最好。然而，当较小时，最小化r 唧( 缈) 的值并不一定能保证实际 一4 一 毒 ： j 、 ： 一 f 。 1 t 辽宁师范大学硕士学位论文 风险r 洄) 取到最小值，还应该同时使v c 维尽可能的小( 即降低分类函数集合的复杂度) ， 记为结构风险最小化原则( s t r u c t u r a lr i s km i n i m i z a t i o n ，s r m ) 。 如果训练样本的数目与学习机器函数的v c 维的比值比较小，如小于2 0 ，则 我们称大小为，的样本集为小样本集。当样本数目为有限个时，要想实际风险最小，不 但要最小化经验风险，同时还要使v c 维尽可能的小。否则会出现过学习现象，即实验 和经验的差别会随置信范围增大而增大。分类器的设计过程包括：选择能使v c 维较小 的分类器模型和根据经验风险最小原则对模型参数进行估计。 2 2 支持向量机理论 2 0 世纪9 0 年代，由v a p n i k 教授等人提出的支持向量机( s u p p o r tv e c t o rm a c h i n e ， s ) 是在小样本情况下发展起来的统计机器学习理论，该技术由v c 维理论和结构风险 最小化原则作为理论基础，选取适当函数子集，使学习机的实际风险达到最小。 假设存在样本( _ ，y 1 ) ，( x 2 ，y 2 ) ，( 而，y ，) ，x r 4 ，y 1 ，- i ) ，z 为样本个数，n 为输入 空间的维数，接下来我们要构造一个决策函数，将测试数据尽可能正确的分类，且使分 类具有更好的推广能力。 2 2 1 最优分类超平面 根据前面给出的假设题设，我们为了更加正确的区分开两类样本，去寻找一个超平 面。其被表述为： + 6 = 0 ( 2 4 ) 其中， 代表向量的内积。当两类样本线性可分时，不妨设满足下面的条件： + 6 1 ，对于y ，= + l 对于y ，= - i i = 1 , 2 ， ( 2 5 ) ( 2 6 ) ( 2 7 ) w 是权值，b 为一个常数( 偏移值) 。显然，不单只有一个分类平面可以正确无误 的将两类样本分开。为了使分类效果最好，常常选择训练错误率为0 并且能够使分类间 隔最大的分类平面。这样即能保证分类的正确率又能获得最好的鲁棒性。这样的分类平 面被称为最优分类超平面( o p ti m a ls e p a r a t in gh y p e r p l a n e ，o s h ) 。 如图2 1 和图2 2 我们可以知道，能将两类样本正确分开的超平面有无数多个。但 是最优超平面不但能将两类正确分类，还能使每一类的样本数据与超平面的距离最近的 点到超平面的距离最大，即使分类间隔最大。 一 一汁悯 嵋 一 0 的样本才对 i = i w 起作用，这些样本点就是支持向量。 对于分类阀值，根据k k t 条件，由约束条件式( 2 1 1 ) 以及口；0 可知，分类面为最 优分类面的充要条件是 口f 少f ( w 五+ 6 ) 一1 = 0 ，i = 1 , 2 ， 再由互补松弛条件知，口，和y j ( w 一十6 ) 一1 不能同时为0 。这样，只要从口， o 对 应的训练样本选一个( 即从支持向量中任选一个) ，就可以得到6 = y ，一w x i 。 设口。= ( a l ，口；，口? ) 是式( 2 1 5 ) 的解，则样本分类函数即为 ， 厂( 工) = s 朗( y ，口沁，工) + 6 ) ( 2 1 8 ) u入=-一，r o 模糊支持向量机的研究与应用 其中s g n ( ) 是符号函数： s g n ( t ，= 兰。 对于待测样本x ，只要代入厂( x ) = s 盟( y ，口；i ( t x ) + 6 ) 就可以求出样本类别。 2 2 3 线性不可分情况的最优超平面 对于那些线性不可分的数据，比如数据受到噪声污染，或者事先不知道是否线性可 分，那么我们就不一定能构造出一个没有分类误差的超平面，但是我们想要构筑的超平 面是使得在训练样本时能降低分类误差到最小值。下面采用松弛变量解决这个问题，将 原约束条件改为： + 6 1 一卣，对于y i = + 1 ( 2 1 9 ) + 6 一1 + 磊，对于y j = - 1 ( 2 2 0 ) 磊0 ， i = 1 , 2 ， 其中，每被看作训练样本关于分类超平面的偏差( 磊兰0 时，即为线性可分情况) 。 若薯被错误分类，必有磊 1 ，所以是训练样本识别错误总数的一个上界。 于是，优化问题就改为： m i n i l 1 2 + c 量 ( 2 2 1 ) 约束条件为： 少f + 6 】1 一当 i = 1 , 2 ， ( 2 2 2 ) 蠡0 ，i = 1 , 2 ，z ( 2 2 3 ) 其中c 为惩罚参数，c 越大表示对错误分类的惩罚越大，但范化能力下降( 即1 1w i i 增加) ； c 越小则情况相反。通过调节c 的大小，能使范化能力与训练误差之间达到平衡。c 的 选取与训练集的噪声有关，通常情况下由用户设定。 引入拉格朗日函数 上= 去j | w i f 2 + c 毒一抄，( + 6 ) 一1 + 蠡) 一以缶 ( 2 2 4 ) 其中q ，以o ，i = 1 ， 函数l 应满足极值条件： 丽a 瑚，刍刎，旦= o (225)a4, 抓8 b 二 8 一 彳 j 二 ： 、 f ! i ， ： - 辽宁师范大学硕士学位论文 于是，得到 ， w = 口f y i = l ， y 口，y ，= 0 一 i = l ( 2 2 6 ) ( 2 2 7 ) c 一口f 一厂f = 0 ，f = 1 ， ( 2 2 8 ) 将( 2 2 6 ) 至( 2 2 8 ) 代入式( 2 2 4 ) 中，把优化问题转化为它的对偶形式再加以求解： ， ， m a x 口f i 1 口i 口，y i y ， (229)max2 9 ) 乞口f i 乙口i 口，y i ， l z i - - - i f ，j = l 约束条件为 ， y ，= 0 ( 2 3 0 ) i = l 0 c ，净1 ， ( 2 3 1 ) 与线性可分情况的对偶问题相比，唯一的区别就是对加了一个上限限制。对于线 性不可分情况而言，如果口；i 0 ，称五为支持向量；如果口：= c ，定义t 为边界支持向 量；反过来当0 口： c 时，定义为界内支持向量。这样计算得到决策函数： ， 八x ) = s g n ( z y ，口? “功+ 6 ) ( 2 3 2 ) i = l 判断一个新样本时，就把该样本代入决策函数计算即可。 2 2 4 非线性情况及核函数 倘若在输入空间中，上面所说的线性判别函数不足以进行分类时，我们就无法实现 在输入空间内构筑最优分类超平面了。这时，我们选取一个非线性的变换，将训练样本 由低维空间映射到高维特征空间。使得在低维空间中线性不可分的问题转化为在高维空 间中线性可分。这样，就可以在这个高维空间中进行分类，找到最优分类平面，再映回 原空间得到分类器的决策函数。如图2 3 所示。 一y飞伊-” 模糊支持向量机的研究与应用 图2 3 输入空间与特征空间 f i g 2 3i n p u ts p a c ea n df e a t u r es p a c e 假设事先选择好的某个非线性变换( 功，将样本从输入空间尺”映射到特征空间 h ： x 专( x ) = ( 么( x ) ，丸( 曲，以( 功，) 2 ( 2 3 3 ) 其中，唬( x ) 是是函数。 核空间理论是把低维空间的数据通过非线性映射函数映射到高维空间，然后在高维 空间中进行分类，这样就把不可分问题转化成了可分问题。大多数在输入空间不可分的 数据映射到高维空间后都可转化为线性可分问题。对于不同的核函数，支持向量机算法 能构造出不同的学习机。通过非线性变换( 功，把输入空间的内积运算变成核运算， 这样运算就是在输入空间中进行的，而不是在高维空间中进行的，此为核技巧的主要思 想。 2 3 基于支持向量机的多类分类 支持向量机最初是针对二分类提出的，如何将其推广到多类分类问题也是一个重要 的研究课题n 1 8 1 。假设给定的多类训练样本集( ( 墨，y ，) ) ，江1 ，。其中，五r ”， y 。 1 ，2 ，m ) ，r “为n 维实数空间，z 为样本个数，m 为类别数。应用支持向量机方 法解决多类分类问题实质上就是找一个函数，这个函数可以把r ”空间上的点分成m 个 部分。下面介绍几种常见的方法：一对多法、一对一法、有向无环图构造方法( d a g s v m ) 和基于一类分类的多类分类算法。 2 3 1o n e - a g ain s t - r e s t 方法 一对多支持向量机分类算法是最早的多类分类s v m 算法，其思想是把所有类重新定 义类别，方法为选取其中一类为新的一类，剩下所有类别归为令一类，这样就变成了一 个二分类问题。接下来，重复上面的方法使每一类都能得到正确分类。但是，这样的方 ： 0 i ： f ： f ： 辽宁师范大学硕士学位论文 法需要构造m 个二分类支持向量机，在训练第f 个二分类器对应的支持向量时，把属于 第f 类的样本标记为一类( 如+ 1 类) ，不属于第i 类的样本标记为令一类( 如一1 类) ，这样 该问题对应的优化问题如下： 嬲主。1 1w i | 2 + c f 善彰 s 1 w ( x ，) + b 。1 一善；，fy ，= f ， w 。尹( x ，) + b - 1 + 孝；，fy ，f ， 孝；0 ，j = 1 , 2 ，z ( 2 3 4 ) 求解m 个这样的优化问题得到m 个决策函数： i z ( 石) = s g n ( w 1 ( 工) + 6 1 ) ( 2 3 5 ) l 名( x ) = s g n ( w 肘矽( 功+ 6 肘) 测试样本时，将样本x 分别代入式( 2 3 5 ) 中的m 个决策函数中，函数值最大的一类 就是待分样本石的类别。 c l a s s ( x ) = a r g 啦畸，( w ( 功+ 6 ) ( 2 3 6 ) = l 。 f 一对多方法将复杂的多类分类转化为多个二分类，提高了决策速度，因而得到了广 泛的应用。但是，该方法也存在一些弊端，首先该方法需要多次重复训练全部样本，所 以当样本数目较多时，训练速度就会很慢，分类效率相应也会很低；其次，有时会出现 每个二分类支持向量机所含负样本个数要远大于正样本的个数，因此致使所关注的正样 本的分类准确率偏低且存在不可分区域等问题。 2 3 2 0 n e a g ain s t o n e 方法 一对一支持向量机分类算法是在多类分类中最长用的一种方法。该方法每次只考虑 其中两类训练样本，即对这两类训练样本设计一个二分类支持向量机。这样，总共需要 训练m ( m 一1 ) 2 个二分类支持向量机。虽然需要构造多个二分类器，但 o n e a g a i n s t o n e 方法确实能得到理想的分类效果。当训练第f 类和第，类对应的分类 器时，就选择第i 类训练样本作为正类，将第，类训练样本作为负类。这就构成了一个 新的小二分类问题。其对应的优化问题如下： 月爨，壶。1 1w 扩1 1 2 + c u 善劈 j t w 9 矽( 一) + b 1 一劈，纩y t = f ， 模糊支持向量机的研究与应用 w 8 爷b t 、) + b 自s - 1 + 考? ， f y t = j ， 掣o ，t = 1 , 2 ，l ( 2 3 7 ) 求解m ( m 一1 ) 2 个这样的优化问题得到m ( m 一1 ) 2 个决策函数： 厶( 功= s g n ( w 扩( 功+ b 扩)f ，= l ，m 并且f _ ， ( 2 3 8 ) 采用一对一支持向量机算法对待测样本进行判断分类时，需要将待测样本z 代入到 每一个分类器以中进行类别判断，将判断结果所在的类别数累加起来，最终所属类别最 多的类就是待测样本的判断类别。 一对一支持向量机算法的分类精度较高，但是这种方法需要构造多个二分类器，测 试时需要对每两类都进行比较，使计算复杂度很高并且存在不可分区域。 2 3 2 有向无环图法( d a g s v m ) j o h nc p l a t t 给出的向无环图构造方法( d a g s ) 是结合了有向无环图与支持向量 机两种方法来实现多类分类。d a g s v m 方法的训练过程和一对一支持向量机算法大体没有 差别，两者都是均必须对样本集中的任意两类样本构建一个二分类器，从而总共需要构 造m ( m 一1 ) 2 个子分类器。例如，对于一个4 类分类问题，应用d a g s v m 方法的分类 过程如图2 4 所示。将一个待测样本代入到第一层节点判断是否属于第一类或第四类。 如果不属于第四类，那么被归类为下层左叶子继续判断；如果不属于第一类，那么被归 类为下层右叶子节点继续判断。依次类推第二层左叶子节点判断是否属于第一类或第三 类，如果不属于第三类就划归为第三层左叶子节点判断，反之划归为第三层右叶子节点。 同理，直到第三层的每一个节点处，只含有两类类别，非彼即此。从而得到待测样本的 类别。d a g s v m 方法把分类器分布在一个二叉树的有向无环图上，不同于一对一方法把样 本集中两类样本单独拿出来讨论。有向无环图构造方法( d a g s ) 采用了组合结构，在 分类时不必运行所有的分类器，就能得到理想的结果。但是，当类别数目较多时，由于 子分类器数目庞大也需要消耗很长的时间。训练速度会降低。 ： 0 1 ； 厶 _ 露 ， ： l f 专 心 辽宁师范大学硕士学位论文 图2 4 有向无环图支持向量机 f i g d i r e c t e da e y c l i cg r a p hs u p p o r tv e c t o rm a c h i n e s 2 3 4 基于一类分类的多类分类算法 由于构造多类分类的一般方法具有较高的计算复杂度，下面以一类分类算法为基础 建立一种多类分类算法。首先借助核映射的思想将每一类样本都映入高维特征空间，对 每一类样本求出一个超球体中心，然后计算待测样本到每类中心的距离，最后根据最小 距离判断该点的类别，具体步骤如下所述。 将训练样本各类分开写成， ( x ( s ) ，y ( s ) ) ，( x ，y 譬) ，s = 1 ，m ) ，其中， ( x ；”，y ；) ，i = 1 ，) 代表第j 类训练样本，。+ 乞+ + t = ，。通过引入核函数k ( x ，y ) 代替高维空间中的内积，可以得到核方法下的优化方程为： m | 。ml 。t 。 m a x 口；”k ( 墨”，x ，) 一口；”口夕足( “，x 岁) s = li = 1s = li = ij = l 约束为： 0 口c ，s = l ，肘，f = 1 ， 口；。) = 1 ，s = 1 ，m ( 2 3 9 ) 百 基于一类分类的多类分类方法的计算复杂性主要与样本总数有关，而样本分类数对 此的影响很小。因此，该算法在处理多类分类问题时比构造一系列二分类要简单许多。 i 一【n”iillhif 模糊支持向量机的研究与应用 根据k i t 条件，对应于0 _、一 3 i 争 ： ： f = 、 - 辽宁师范大学硕士学位论文 样每个样本都会增加一个特征。接下来再利用支持向量机方法对新的带有隶属度的训练 样本构造分类器，这就是f s v m 方法。 下面介绍台湾学者h a n - p a n gh u a n g 与c h u n f ul i u 于2 0 0 2 年提出的模糊支持向