（概率论与数理统计专业论文）支持向量机与数学规划.pdf

支持向量机与数学规划 摘要 本文全面而系统地阐述了支持向量机与数学规划之间的关系。支持向量机 ( s u p p o r tv e c t o rm a c h i n e s ，简称s v m s ) 是近些年来提出的、用于数据分类、回 归、聚类问题等的新方法，它的理论基础是统计学习理论，是机器学习的重要组 成部分支持向量机的理论最近有着迅猛的发展，并逐步完善，其理论基础是结 构风险极小，其基本方法是求两张支持超平面之间的最大间隔( m a r g i n ) ，这就 导出了相应的数学规划问题 数学规划起源于上世纪4 0 年代，在6 0 7 0 年代逐步成熟目前，数学规划 问题的研究转向处理大规模的优化问题和具有特殊结构的优化问题，如序列二次 规划方法、非线性最小二乘问题和m i n i m a x 优化问题等。 本文首先介绍本人在读博士期间完成的数学规划研究方面的部分工作，包括 非线性最小二乘问题、m i n i m a x 优化问题，以及求解凸二次规划的迭代方法 然后，从数学规划的角度介绍关于数据分类的支持向量机方法在论文的最后， 介绍本人在支持向量机方面的工作进展，主要是关于变量的特征选择和模糊支持 向量机 第1 章，绪论在这一章，简短地导出了支持向量机与数学规划问题之间的 关系，简单地介绍了最优化问题的最优性条件( k k t 条件) 、凸规划问题的w o l f e 对偶定理，以及原始问题与对偶问题之间的关系 第2 章，具有特殊结构的最优化问题的求解方法。在这一章介绍本人在最 近完成的、求解具有特殊结构的优化问题的新方法，讨论了非线性最小二乘、 m i n i m a x 优化问题求解方法，和求解凸二次规划问题的迭代法特别是凸二次规 划问题的求解方法可以在求解支持向量机中用到 在5 2 1 和2 2 中，专门介绍求解非线性最小二乘的新方法在5 21 中，介 绍了基于求解线性方程组的实用型方法该方法直接解g a u s s n e w t o n 方程，但 所不同的是，在解n e w t o n 方程时，当方程线性相关或接近线性相关时，该方法 可以保证得到方程的解的最小模这样可以使新方法克服了原g a u s s n e w t o n 法 中当系数矩阵奇异时，其方程解的模趋于无穷的缺点。在5 2 2 中，考虑将新的 第i i 页北京工业大学理学博士学位论文 拟n e w t o n 方程应用到求解非线性最小二乘问题的割线法中，由于新拟n e w t o n 方程为二阶项提供了更精确的逼近，因此证明出新方法优于原结构式方法进一 步，将新的拟n e w t o n 方法与乘积结构方法相结合，建立了一套新算法在这里 证明了，新算法对于零残差问题具有二阶收敛性，对于非零残差问题具有超线性 收敛性 在2 3 中介绍求解m i n i m a x 优化问题的序列二次规划方法，该方法是求解 m i n i m a x 优化问题的非常有效的方法一般地讲，m i n i m a x 问题属于不可微问 题，可以化成等价的约束问题来求解，但这样做会失去问题本身的某些特性这 里应用序列二次规划( s q p ) 的基本思想，借助于二次规划子问题得到m i n i m a x 问题在当前点的搜索方向，使得算法具有全局收敛性和局部超线性收敛性采用 类似的方法，还可以得到求解m i n i m a x 的n e w t o n 方法 在24 中讨论求解凸二次规划问题的迭代方法该方法的基本思想是用迭 代方法求解凸规划问题的w o l f e 对偶的k k t 条件该方法的主要优点是简单、 方便、计算效率高，可以用于求解大规模问题与m a t l a b 软件优化工具箱中的 q p 函数比较，迭代法有明显的效果 第3 章，支持向量机的数学规划表示在这一章，给出了支持向量机的各种 数学规划表示形式，这些表示形式是借助于优化问题研究支持向量机的基础这 些内容是本人在前人工作的基础上对支持向量机方法的总结，但以前的工作，基 本上是从统计学习理论的观点出发的，而我在这里是借助于优化方法展开问题讨 论。 在31 中，介绍支持向量分类的对偶与几何在这一节中，给出了线性可分 离问题和线性不可分离情况标准支持向量机分类的直观解释，并在几何上给出严 格的推导对于线性可分离情况，求两个集合的最大间隔( m a r g i n ) 等价于求包 含各自数据点凸包的最小距离借助于简约凸包的概念，这一结论可以扩充到线 性不可分离的数据这里证明了，在选择适当的参数后，求简约凸包的数学表达 式严格等价求解不可分离问题的标准s v m 方法 在3 2 中，详细介绍支持向量机的各种数学规划表达式在这节里，讨论如 何将线性可分离和线性不可分离的线性支持向量机化成标准的数学规划形式， 借助于映射或核函数，将非线性分离数据的支持向量机也写成了与线性情况具有 相同计算量的数学规划形式对于s v m 方法，核函数在数学规划问题中是十分 重要的，它可以克服由映射带来的维数爆炸因此，有关核函数的定义、定理、 摘要第i i i 页 相应的性质，以及一些实用的核函数，诸如多项式核、g a u s s 径向基函数，都 在这里进行了详细的讨论在这节，还讨论了一些其它形式的数学规划问题，如 v s v m 就是重要的形式之一由上述形式的数学规划表达式，我们可以开展进 一步的研究工作。 在3 3 中，对一般化理论进行了讨论介绍了v c 维与结构风险极小，这 些是s v m 方法的理论基础在这节介绍期望风险、经验风险与v c 置信区间之 间的关系，通过控制经验风险、v c 置信区间，可以使经验风险的界达到极小 第4 章，支持向量机的部分进展在这一章讨论在支持向量机研究中的部分 进展，这部分内容包括变量的特征选择和模糊支持向量机。这些概念都是最近才 提出来的，其研究工作也都是刚刚开始在这里，主要讨论本人在这方面工作的 进展 特征选择问题考虑的是在作两集合识别时，识别出那些与问题本质无关或多 余的特征，并将这些无关、多余的特征去掉，它是机器学习中非常重要的问题。 在5 4 1 中，首先介绍了m a n g a s a r i a n 特征选择的序列极小算法，然后讨论了本 人在这方面的研究工作一特征选择的序列极小化方法该方法的基本思想是， 通过求解序列优化问题来控制v c 置信区间，从而达到减少期望风险的目的 模糊支持向量机( f s v m ) 是最近才提出的处理模糊数据分类的新方法在 5 4 2 中，首先介绍林、王提出模糊支持向量机方法，该方法是基于这样的事实，每 个数据点可能并不完全被指定为两类数据的某一类但林、王方法有着严重的不 足，当数据是可以被线性分离时，对应于数据的隶属度反而不起作用在这里， 本人提出了个求解带有模糊数据的模糊支持向量机的新方法，这种方法基于支 持向量机的几何与对偶的基本概念它可以很好地克服林、王方法的缺点当数 据点的隶属度为1 时，对应的点在f s v m 方法中的意义与s v m 方法中的意义 相同当数据点的隶属度为o 时，该数据不起作用这样也给模糊支持向量机中 的隶属度有一个更好的解释 在5 4 3 中，简单地介绍了s v m 方法的应用，如在线文本分类，图像中的面 部识别和手写数字识别然后就本文提出的方法一数据的特征选择，对于人工 心脏瓣膜置换手术安全因素进行了分析，得到良好的计算结果 第i v 页北京工业大学理学博士学位论文 本人在论文中的贡献 系统地从数学规划的角度出发，对支持向量机方法进行全面的论述 给出本人在近年来在求解特殊结构的数学规划问题算法的研究成果，这里包 括求解非线性最小二乘问题的实用方法和乘积结构割线方法、求解m i n i m a x 优化问题的序列二次规划方法和求解凸二次规划的迭代方法 给出了本人在支持向量机的研究工作进展，这里包括变量特征选择的新方法 一序列极小化方法和应用于模糊数据分类的模糊支持向量机的新方法 关键词：支持向量机，数据分类，数学规划，非线性最i j s - 乘，m i n i m a x 优化问 题 s u p p o r tv e c t o rm a c h i n e sa n d m a t h e m a t i c a lp r o g r a m m i n g a b s t r a c t i nt h i sp a p e r ，id i s c u s st h er e l a t i o nb e t w e e ns u p p o r tv e c t o r m a c h i n e s ( s v m s ) a n dm a t h e m a t i c a lp r o g r a m m i n g s u p p o r tv e c t o rm a c h i n e si st h en e wm e t h o d f o rd e a l i n gw i t hc l a s s i f i c a t i o n ，r e g r e s s i o na n dc l u s t e ro f d a t a ，w h i c hi sp r o p o s e di n r e c e n t l y ，i ti so n eo ft h ei m p o r t a n tp a r to fm a c h i n el e a r n i n g ，b a s e do ns t a t i s t i c a l l e a r n i n gt h e o r y t h et h e o r yo fs u p p o r tv e c t o rm a c h i n ei sw o r k i n gu p t op e r f e c t i o n ，t h ef o u n d a t i o no ft h e o r yi ss t r u c t u r er i s km i n i m i z a t i o n ，t h eb a s i cm e t h o di s t om a x i m i z et h em a r g i nb e t w e e nt h et w os u p p o r tv e c t o rs u p e r p l a n e s ，w h i c hl e a d t ot h em a t h e m a t i c a lp r o g r a m m i n gp r o b l e m s m a t h e m a t i c a lp r o g r a m m i n g o r i g i n a t e di n4 0 so f t h el a s tc e n t u r y ，h a v eb e e n p e r f e c t e di n6 0 7 0 8 a tp r e s e n t ，t h er e s e a r c ho fm a t h e m a t i c a lp r o g r a m m i n gi s t od e a lw i t ht h el a r g e s c a l eo p t i m i z a t i o np r o b l e m sa n dt h eo p t i m i z a t i o np r o b l e m t h a th a v et h es p e c i a ls t r u c t u r ef o re x a m p l e s ，s e q u e n t i a lq u a d r a t i cp r o g r a m n f i n gm e t h o d ，n o n l i n e a rl e a s ts q u a r ep r o b l e m ，m i n i m a xo p t i m i z a t i o np r o b l e m a n ds oo n i nt h i sp a p e r ，if i r s ti n t r o d u c et h em yw o r ki nm a t h e m a t i c a lp r o g r a m m i n g d u r i n gm yp h dp e r i o d ，i n c l u d i n gn o n l i n e a rl e a s ts q u a r ep r o b l e m ，m i n i m a xo p t i m i z a t i o np r o b l e ma n di t e r a t i v em e t h o df o rs o l v i n gc o n v e xq u a d r a t i cp r o g r a m m i n g t h e n ii n t r o d u c et h es u p p o r tv e c t o rm a c h i n em e t h o df o rd a t ac l a s s i f i c a - t i o nf r o mt h ep o i n to fv i e wo ft h em a t h e m a t i c a lp r o g r a m m i n g a tl a s tp a p e r ，i i n t r o d u c et h en e wd e v e l o p m e n to fs u p p o r tv e c t o rm a c h i n eo nf e a t u r es e l e c t i o n a n df u z z ys u p p o r tv e c t o rm a c h i n e ，t h i sp a r ti sm y m a i n l yw o r k c h a p t e r1 ，i n t r o d u c t i o n i nt h i sc h a p t e r ，ii n t r o d u c et h er e l a t i o nb e t w e e n s u p p o r tv e c t o rm a c h i n ea n dm a t h e m a t i c a lp r o g r a m m i n gi nb r i e f , t h eo p t i m a l i t yc o n d i t i o n ( k k tc o n d i t i o n ) o fo p t i m i z a t i o np r o b l e m ，w o l f ed u a lo fc o n v e x v 第v i 页北京工业大学理学博士学位论文 p to g ta m m i n gp r o b l e ma n dt h ee q u i v a l e n c er e l a t i o no fp r i m a lp r o b l e ma n dd u a l p r o b l e m c h a p t e r2 ，t h em e t h o d s f o rs o l v i n go p t i m i z a t i o np r o b l e mw i t ht h es p e c i a l s t r u c t u r e i nt h i sc h a p t e r ，ii n t r o d u c es o n l en e wm e t h o d s ，w h i c ha r ec o m p l e t e d b ym y s e l fi nr e c e n t l y , f o rs o l v i n gs p e c i a ls t r u c t u r eo p t i m i z a t i o np r o b l e m s i ti s d i s c u s s e dt h en o n l i n e a rl e a s ts q u a r ep r o b l e m ，m i n i m a xo p t i m i z a t i o np r o b l e ma n d i t e r a t i v em e t h o df o rs o l v i n gc o n v e xq u a d r a t i cp r o g r a m m i n g p r o b l e m e s p e c i a l l y ， t h em e t h o df o rs o l v i n gq u a d r a t i cp r o g r a m m i n gc a l lb eu s e dt os o l v et h es u p p o r t v e c t o rm a c h i n ep r o b l e m s o nt h en e wm e t h o d sf o rd e a l i n gw i t ht h en o n l i n e a rl e a s ts q u a r ep r o b l e mi n s e c t i o n2 1a n ds e c t i o n2 2t h e p r a c t i c a lm e t h o d 、w h i c h i sb a s e do nt h ei t e r a t i v e m e t h o df o rs o l v i n gl i n e a rs y s t e mo fe q u a t i o n s ，f o rs o l v i n gn o n l i n e a rl e a s ts q u a r e p r o b l e m i sd i s c u s s e di ns e c t i o n2 1 t h ep r a c t i c a lm e t h o di st os o l v ed i r e c t l yt h e g a u s s n e w t o ne q u a t i o n ，a n dk e e p i n gam i n i m u mn o r ms o l u t i o nc a nb eo b t a i n e d w h e nc o e f f i c i e n tm a t r i xo ft h ee q u a t i o ni ss i n g u l a ro ri l l c o n d i t i o n s t h i sm e t h o d c a no v e r c o m et h ed i s a d v a n t a g eo fo r i g i n a lg a u s s n e w t o nm e t h o d ，i nw h i c ht h e n o r l i lo fs o l u t i o no fg a u s s n e w t o ne q u a t i o nm a yb ei n f i n i t yw h e nt h ec o e m c i e n t m a t r i xi s s i n g u l a r i ns e c t i o n2 2 c o n s i d e r i n gan e wq u a s i n e w t o ne q u a t i o ni s a p p l i e dt ot h es t r u c t u r e ds e c a n tm e t h o d sf o rn o n l i n e a rl e a s ts q u a r e sp r o b l e m s i n t h i s ，i ti ss h o w e dt h a tt h en e we q u a t i o ni s b e t t e rt h a nt h eo r i g i n a lq u a s i n e w t o ne q u a t i o na si tp r o v i d e sam o r ea c c u r a t ea p p r o x i m a t i o nt ot h es e c o n do r d e r i n f o r m a t i o n f u r t h e r m o r e ，c o m b i n i n gt h en e wq u a s i n e w t o ne q u a t i o nw i t ha “p r o d u c ts t r u c t u r e ”ai l e wa l g o r i t h m i se s t a b l i s h e di ti ss h o w nt h a tt h er e s u l t i n g a l g o r i t h mi sq u a d r a t i c a l l yc o n v e r g e n tf o rt h ez e r o r e s i d u a lc a s ea n ds u p e r l i n e a r l y c o n v e r g e n tf o rt h en o n z e r o r e s i d u a lc a n e t h es e q u e n t i a lq u a d r a t i cp r o g r a m m i n gm e t h o df o rs o l v i n gm i n i m a xo p t i m i z a t i o np r o b l e mi sd i s c u s s e di ns e c t i o n2 3 w h i c hi sa ne f f i c i e n ta l g o r i t h mt o s o l v em i n i m a xo p t i m i z a t i o np r o b l e m s i ng e n e r a l ，m i n i m a xo p t i m i z a t i o np r o b l e m ，w h i c hb e l o n gt on o n s m o o t ho p t i m i z a t i o np r o b l e m ，c a nb e s o l v e db yt h ef o r m o fn o n l i n e a rp r o g r a m m i n gp r o b l e mt ob ee q u i v a l e n tt ot h em i n i m a xo p t i m i z a t i o n p r o b l e m ，b u tt h i sc a nl o s et h ec h a r a c t e r i s t i c so fi t s e l f i nt h e r e ，u s i n gt h ei d e ao f 垒塑竺丝董兰星 s e q u e n t i a lq u a d r a t i cp r o g r a m m i n g ，b ym e a no fq u a d r a t i cp r o g r a m m i n g s u b p r o b l e mo b t a i nt h ed e s c e n td i r e c t i o no fo b j e c t i v ef u n c t i o na tc u r r e n tp o i n t ，e n s u r i n g t h a tt h ea l g o r i t h mh a sg l o b a lc o n v e r g e n c ea n dl o c a ls u p e r l i n e a r l yc o n v e r g e n t b y s i m i l a rd i s c u s s jt h en e w t o nm e t h o df o rs o l v i n gm i n i m a xo p t i m i z a t i o np r o b l e m c a nb eo b r a i n e d ai t e r a t i v em e t h o df o rs o l v i n gc o n v e xq u a d r a t i c p r o g r a m m i n g i sd i s c u s s e di n s e c t i o n2 4 ，t h eb a s i ci d e ao ft h em e t h o di sb a s e do nt os o l v et h ek k t c o n d i t i o n s o fw o l f ed u a lp r o b l e mo fc o n v e xq u a d r a t i cp r o g r a m m i n g b yi t e r a t i v em e t h o d t h em o s t l ya d v a n t a g eo ft h i sm e t h o di s s i m p l e ，c o n v e n i e n t ，a n dh i g he f f e c t i v e n u m e r i c a lr e s u l t s t h em e t h o di sa l s ob eu s e dt os o l v e l a r g e s c a l es p a r s eq u a d r a t i c p r o g r a m m i n g c o m p a r e d w i t ht i l eq pf u n c t i o ni no p t i m i z a t i o nt o o l b o xi nm a t l a b s o f t w a r e ，t h ei t e r a t i v em e t h o dh a sg o o de f f i c i e n c y c h a p t e r3 ，t h em a t h e m a t i c a lp r o g r a m m i n gf o r m so fs u p p o r tv e c t o rm a - c h i n e st h i sc h a p t e rg i v e sv a r i o u sm a t h e m a t i c a lp r o g r a m m i n gf o r m so fs u p p o r t v e c t o rm a c h i n e ，w h i c hi st h ef o u n d a t i o nf o rs t u d y i n g s u p p o r tv e c t o rm a c h i n ef r o m o p t i m i z a t i o nm e t h o d t h e s ec o n t e n ti sm ys u m m a r i z a t i o nf o rp r e v i o u sw o r ko n s u p p o r tv e c t o rm a c h i n e ，b u tw h i c hi sd i s c u s s e df r o mt h ep o i n to fv i e wo ft h es t a t i s t i c a ll e a r n i n gt h e o r y i nt h i sc h a p t e r ，id i s c u s st h e m b ym e a no fo p t i m i z a t i o n m e t h o d d u a l i t ya n dg e o m e t r yi ns u p p o r tv e c t o rm a c h i n ec l a s s i f i e r si si n t r o d u c e di n s e c t i o n3 1 i nt h i ss e c t i o na ni n t u i t i v eg e o m e t r i ci n t e r p r e t a t i o no ft h es t a n d a r d s u p p o r tv e c t o rm a c h i n ef o rc l a s s i f i c a t i o no fb o t hl i n e a r l ys e p a r a b l ea n di u s e p a - r a b l ed a t aa r ed e v e l o p e d ，a n dar i g o r o u sd e r i v a t i o no ft h ec o n c e p t sb e h i n dt h e g e o m e t r ya r ep r o v i d e d f o rt h es e p a r a b l ec a s ef i n d i n gt h em a x i m u m m a r g i nb e t w e e nt w os e t si se q u i v a l e n tt o f i n d i n gt h ec l o s e s tp o i n t si nt h es m a l l e s tc o n v e x s e t st h a tc o n t a i ne a c hc l a s s t h i sa r g u m e n ti se x t e n d e dt ot h ei n s e p a r a b l ec a s e b yu s i n gar e d u c e dc o n v e xh u l lr e d u c e da w a yf r o mo u t l i e r s i ti sc a nb ep r o v e d t h a ：s o l v i n gt h er e d u c e dc o n v e xh u l lf o r m u l a t i o ni se x a c t l ye q u i v a l e n tt os o l v i n g t h es t a n d a r di n s e p a r a b l es v mf o ra p p r o p r i a t ec h o i c e so fp a r a m e t e r s t h ev a r i o u sm a t h e m a t i c a lp r o g r a m m i n gf o r m so f s u p p o r tv e c t o rm a c h i n e i s i n t r o d u c e di nd e t a i li ns e c t i o n3 2 i nt h i ss e c t i o n 1 i n e a rs u p p o r tv e c t o rm a c h i n e s 第v i i i 页北京工业大学理学博士学位论文 f o rs e p a r a b l ea n di n s e p a r a b l ed a t aa r ed e s c r i b e da st h em a t h e m a t i c a lp r o g r a m m i n gp i o b l e m s ，a n db ym e a n so fm a p p i n g o rk e r n e lf u n c t i o nt h es u p p o r tv e c t o r m a c h i n ef o rn o n l i n e a rs e p a r a b l ed a t ai sa l s ow r i t t e na sm a t h e m a t i c a lp r o g r a m r u i n gp r o b l e m ，w h i c hi ss a m ee v a l u a t i o n s w i t hl i n e a rc a s e f o rs v m m e t h o d ， k e r n e lf u n c t i o ni sv e r yi m p o r t a n ti nt h em a t h e m a t i c a lp r o g r a m m i n g ，i tc a no v e r c o m et h ed i m e n s i o ne x p l o d i n gb ym a p p i n g t h e r e f o r e ，t h ed e f i n i t i o n ，t h e o r e m ， p to p e t t i e so fk e r n e la n ds o m ep r a c t i c a lk e r n e lf u n c t i o n s ，s u c ha sp o l y n o m i a lk e r n e l ，g a u s s i a nr a d i a lb a s i sf u n c t i o n ，a r ed i s c u s s e d i nd e t a i l t h eo t h e rf o r m s m a t h e m a t i c a lp r o g r a m m i n g p r o b l e m sa r ei n t r o d u c e di nt h i ss e c t i o n ，s u c ha st h a t 一s v mi so n eo fi m p o r t a n tf o r m sf r o ma b o v ef o r m si n t r o d u c e db yt h i ss e c t i o n j w ec a nd e v e l o pf u r t h e rr e s e a r c hw o r k g e n e r a l i z a t i o nt h e o r yi sd i s c u s s e di ns e c t i o n3 3 a no v e r v i e wo ft h ec o n c e p t s o fv cd i m e n s i o na n ds t r u c t u r er i s km i n i m i z a t i o na r ei n t r o d u c e d ，w h i c ha r et h e t h e o r yf o u n d a t i o no fs v m m e t h o di nt h i ss e c t i o n ，t h er e l a t i o no fe x p e c t e dr i s k ， e m p i r i c a lr i s ka n dv c c o n f i d e n c ei si n t r o d u c e d ，t h r o u g hc o n t r o l l i n gt h ee m p i r i c a l r i s ka n dv cc o n f i d e n c et h ee x p e c t e dr i s kb o u n dc a nb em i n i m i z e d c h a p t e r4 ，t h es o m ed e v e l o p m e n to fs u p p o r tv e c t o rm a c h i n e t h es o m e d e v e l o p m e n to ns u p p o r tv e c t o rm a c h i n er e s e a r c h i sd i s c u s s e di nt h i s c h a p t e r ， c o m p r i s i n gf e a t u r es e l e c t i o na n df u z z ys u p p o r tv e c t o rm a c h i n e s t h e s ec o n t e n t w a sp r o p o s e di nr e c e n t l y ，t h er e s e a r c hw o r ki sj u s tb e g i n n i n g i nt h e r e ，ii n t r o d u c e s o m ew o r ka n dd e v e l o p m e n to fm y s e l fo nt h e s ea s p e c t s t h ef e a t u r es e l e c t i o np r o b l e mc o n s i d e r e di st h a to fd i s c r i m i n a t i n gb e t w e e n t w os e t sw h i l er e c o g n i z i n gi r r e l e v a n ta n dr e d u n d a n tf e a t u r ea n ds u p p r e s s i n g ， w h i c hi st h ev e r yi m p o r t a n tp r o b l e mi nm a c h i n el e a r n i n g ，h ls e c t i o n4 、l 、if i r s t i n t l - o d u c em a n g a s a r i a n ss u c c e s s i v el i n e a r i z a t i o na l g o r i t h mf o rf e a t u r es e l e c t i o n ， t h e nid i s c u s st h ew o r ko fm y s e l f ，w h i c hi sc a l l e dt h es e q u e n t i a lm i n i m i z a t i o n m e t h o df o rf e a t u r es e l e c t i o nt h ei d e ao ft h em e t h o di st oc o n t r o lt h ev cc o n f i d e n c et h r o u g hs o l v i n gs e q u e n t i a lo p t i m i z a t i o np r o b l e m ，s u c ha st or e d u c et h e e x p e c t e dr i s k f u z z ys u p p o r tv e c t o rm a c h i n e ( f s v m ) i san e wm e t h o dp r o p o s e di n r e c e n t l yf o rc l a s s i f i c a t i o n i ns e c t i o n4 2 ，if i r s ti n t r o d u c et h el i na n dw a n g sf u z z y a b s t r a c t第i x 页 s u p p o r tv e c t o rm a c h i n em e t h o d ，w h i c hi sp r o p o s e db yt h ef a c t t h a te a c hi n p u t p o i n tm a y n o tb ef u l l ya s s i g n e dt oo n eo ft h e s et w oc l a s s e s b u tl i na n dw a n g s m e t h o dh a ss e r i o u ss h o r t c o m i n g ，w h e nd a t ao ft w oc l a s s e si sl i n e a rs e p a r a b l e ， t h ef u z z ym e m b e r s h i pi sn oa n ya c t i o n ip r o p o s et h en e wf h z z ys u p p o r tv e c t o rm a c h i n e st os o l v et h ep r o b l e mw i t hf u z z yd a t a ，t h en e wm e t h o d ，w h i c hi s b a s e do nt h eb a s i cc o n c e p t so fg e o m e t r ya n dd u a l i t yi ns u p p o r tv e c t o rm a c h i n e c l a s s i f i c a t i o n ，c a no v e r c o m et h es h o r t c o m i n go fb i na n dw a n g sm e t h o d w h e n t h ef u z z ym e m b e r s h i po ft h ep o i n ti sl ，t h a tt h i sp o i n ta c te f f e c ti nf s v ma r e s