（管理科学与工程专业论文）鲁棒最小二乘支持向量机研究与应用.pdf

摘要 摘要 二分类问题是统计学习理论、机器学习以及人工智能中研究的一个重要问 题。支持向量机模型采用结构风险极小化原则和核函数方法来构造分类模型，模 型比较简单，解具有唯一性。最小二乘支持向量机模型使用误差均方和作为目标 函数，把二次规划模型的求解转化成求解线性方程组，克服了支持向量机模型求 解二次规划计算量大的问题。但是最小二乘支持向量机模型中的等式约束以及目 标函数中的均方误差和使得模型的解丢失了稀疏性，降低了解的鲁棒性。 由于随机的或者非随机过程的存在，现实生活中的数据经常带有噪声和不确 定性。数据的噪声以及不确定性会影响统计学习分类算法模型的性能，降低分类 的准确率及其分类模型的推广能力。支持向量机和最小二乘支持向量机模型都是 采用了固定范数的目标函数，这种建立模型的方法不能够很好的适应各种各样的 数据结构，从而使得模型的适应能力较弱。为了加强最小二乘支持向量机模型的 鲁棒性和稀疏性，增强其推广能力，使模型能够根据数据结构自动进行调整，本 文主要开展了以下几个方面的工作： 1 系统整理了文献中对支持向量机模型( s v m ) 和最小二乘支持向量机模型 ( l s s v m ) 中改进鲁棒性的方法，并指出这些改进模型存在的问题和缺陷。从而 得到了本文将要研究的主要问题，即以加强最小二乘支持向量机模型的稀疏性、 鲁棒性和可解释性为目的，对原有模型进行了较大的改进，给出了基于最小二乘 支持向量机模型的有效二分类算法模型。 2 针对最小二乘支持向量机模型丢失稀疏性和鲁棒性的原因，提出了使用核主 成分法对样本数据中存在的噪声特征进行剔除，并借鉴先前的增强最小二乘支持 向量机模型稀疏性的方法，对特征进行压缩，给出了一个双层厶范数最小二乘支 持向量机模型一k p c a 厶l s s v m 。通过使用k p c a 方法，可以有效的进行特征 抽取和提取。同时以厶范数作为目标函数，可以有效的消除噪声点对模型推广能 力的影响，并使模型的解更稀疏，从而可以降低计算的复杂度。在仿真数据集和 基准数据库上对该模型的测试表明该方法是有效的。 3 在实际的二分类问题中，由于噪声点或者噪声特征的存在使得样本的标签会 出现不确定的情况。分类模型应该能够自动判别哪些是相对重要的点，哪些是受 噪声点影响较大的样本，从而在分类函数的构造中剔除这种样本。模糊隶属度的 概念则可以用来描述样本标签的不确定性。本文采用厶范数作为目标函数以及模 糊隶属度的概念可以构造出一个具有稀疏性和鲁棒性的基于最d - 乘支持向量 摘要 机的分类模型一模糊厶l s s v m 。在测试数据集上的测试表明这个模型同样可以 消除噪声点的影响，并具有较好的可解释性。 4 在分类问题中，不同的样本在分类函数的构造中所起的作用是不同的。在分 类函数的构造中，样本所包含的判别信息越是重要，相应的样本对分类模型的构 造所起的作用就越大。因此，为了区别不同样本对于决策函数构造的不同作用， 可以对包含重要信息的样本赋予较大的权重，而包含次要信息的样本所对应的权 重就会较小。通过这种赋权的方法也可以消除噪声点对分类模型的影响，使得模 型具有鲁棒的特征。无论是支持向量机还是最小二乘支持向量机模型，在目标函 数中都使用固定的l 范数，这是一种基于先验知识的建模方法，不能适应各种 各样复杂的数据结构。从模型更好的适应数据的角度出发，本文提出了一个赋权 鲁棒最小二乘支持向量机模型一r w l 。l s s v m 。在仿真数据集以及u c i 基准数 据库上的测试表明该模型具有鲁棒性特征，稀疏性好，具有较好的解释能力。 5 信用评估数据库所包含的数据类型比较特殊，其类别比例极不均衡。为了检 验本文所提出的三个模型的分类性能，我们使用这三个模型在三个信用数据库上 进行测试，所得到的结果说明模型能够较好的适应信用数据库类别不均衡的特 点，因而可以作为信用风险评价的备选模型。 关键词：最小二乘支持向量机鲁棒性特征选择稀疏性 a b s t r a c t ab s t r a c t b i n a r yc l a s s i f i c a t i o ni saw i l d l ys t u d i e dt o p i ci n s t a t i s t i c a l l e a r n i n gt h e o r y , m a c h i n el e a r n i n ga n da r t i f i c i a li n t e l l i g e n c e s u p p o r tv e c t o rm a c h i n e s ( s v m ) a d o p t s s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l ea n dk e r n e lm e t h o d i ti sas i m p l eq u a d r a t i c p r o g r a m mi n ga n dh a sau ni q u es o l u t i o n t h eo b j e c t i v eo ft h el e a s ts q u a r e ss u p p o r t v e c t o rm a c h i n e s ( l s - s v m ) i sas u mo fs q u a r e se r r o r ( s s e ) t e r m ，t h u si t ss o l u t i o ni s o b t a i n e db ys o l v i n gal i n e a rf o r m u l a t i o ne q u a t i o n s ，w h i c hm a k e si te a s i e rt ob es o l v e d t h ed r a w b a c ko fl s s v mi st h a ts p a r s e n e s si sl o s ti nt h es o l u t i o nb e c a u s et h eu s eo f e q u a l i t yc o n s t r a i n t s a n dt h es s e t h es o l u t i o ni nl s s v mi sa l s ol e s sr o b u s t t h er e a ld a t as e t sa r eo f t e na c c o m p a n i e dw i t hn o i s ea n du n c e r t a i n t yb e c a u s eo f t h er a n d o m n e s sa n dn or a n d o m n e s s t h en o i s ea n du n c e r t a i n t ym a yh a v eag r e a t i m p a c to nt h ec l a s s i f i c a t i o nm o d e l ，w h i c hr e d u c et h ec l a s s i f i c a t i o na c c u r a c ya n dt h e g e n e r a l i z a t i o na b i l i t yo ft h em o d e l b o t hs v ma n dl s - s v ma d o p tf i x e do b j e c t i v e f u n c t i o n ，w h i c hi sas t a t i s t i c a ll e a r n i n gm e t h o db a s e do i lp r i o rk n o w l e d g e t h em o d e l c o n s t r u c t i o ni ns v ma n dl s s v mm a yn o tb ea d a p t i v et ov a r i o u sk i n d so fd a t as e t s ， t h u sm a k e st h eg e n e r a l i z a t i o nw o r s e t h i st h e s i si sm a i n l yf o c u so nh o wt oi m p r o v e t h es p a r s e n e s sa n dr o b u s t n e s so f l s - s v ma n di n c r e a s i n gi t sg e n e r a l i z a t i o na b i l i t y 1 t h i st h e s i sm a d eas y s t e m a t i cr e v i e wo nh o wt oi m p r o v et h er o b u s t n e s so fs v m a n dl s - s v m w ea l s op o i n t e do u tt h ed r a w b a c k so ft h ee x i s t i n gm o d e l s ，f r o mw h i c h w ed e r i v e do u rm a i nr e s e a r c ht o p i c s ，i e h o wt oo b t a i na ne f f i c i e n tb i n a r y c l a s s i f i c a t i o nm o d e lb a s e do np r e v i o u sl s - s v ma n dh o wt oi m p r o v et h es p a r s e n e s s ， r o b u s t n e s sa n di n t e r p r e t a b i l i t yo ft h em o d e l 2 c o n c e n t r a t i n go nt h el e s sr o b u s t n e s sa n ds p a r s e n e s so fl s - s v m ，w ep r o p o s e dt o u s et h ek e r n e lp r i n c i p l ec o m p o n e n ta n a l y s i s ( k p c a ) t or e d u c et h en o i s yf e a t u r e so f t h ed a t as e t s b a s e do nt h eo r i g i n a lw o r ko nh o wt oi n c r e a s et h es p a r s e n e s so ft h e l s s v m ，w eg a v eab i l e v e l 厶l s - s v mm o d e l - k p c a - 厶l s - s v m k p c ac a n e f f i c i e n t l ye x t r a c tf e a t u r e sf r o mt h eo r i g i n a lf e a t u r e sa n dt h eu s a g eo f 厶i nt h e o b j e c t i v ef u n c t i o no ft h ep r o g r a m m i n gm a k e sk p c a - 厶l s - s v me f f i c i e n t l yr e d u c e t h ee f f e c to ft h en o i s yd a t ao nt h em o d e l ，w h i c hr e d u c e st h ec o m p u t a t i o n a lc o m p l e x i t y s e v e r a lt e s t so nt h es i m u l a t i o na n db e n c h m a r k i n gd a t as e t sp r o v et h ee f f i c i e n c yo f k p c a - 厶- l s - s v m 3 t h ee x i s t e n c eo fn o i s yd a t aa n df e a t u r e sm a k e st h el a b e l so ft h es a m p l ed a t a a b s t r a c t u n c e r t a i ni nb i n a r yc l a s s i f i c a t i o n a ne f f i c i e n tc l a s s i f i c a t i o nm o d e lc a na u t o m a t i c a l l y d e t e r m i n ew h i c ht h er e l a t i v e l yi m p o r t a n td a t aa r ea n dw h i c ha lel e s si m p o r t a n t t h e l e s si m p o r t a n td a t ap l a yal e s s e rr o l ei nt h ec o n s t r u c t i o no ft h es e p a r a t i n gh y p e r - p l a n e t h ei d e ao ff u z z ym e m b e r s h i pc a nb eu s e dt od e s c r i b et h eu n c e r t a i n t yo ft h el a b e l s b ya d o p t i n gt h ef u z z ym e m b e r s h i pa n dt h e 厶n o r mi n t h eo b j e c t i v ef u n c t i o n ，w e p r o p o s e dan e wm o d e l ，w h i c hi sc a l l e df u z z y 厶- l s s v m t h en u m e r i c a lt e s t so n t h i sm o d e lp r o v e dt h a ti tc a ng e tr i do ft h ei m p a c to fn o i s yd a t ao nt h es o l u t i o na n d h a dg o o di n t e r p r e t a b i l i t y 4 d i f f e r e n td a t ap l a y sad i f f e r e n tr o l ei nt h ec o n s t r u c t i o no ft h ed e c i s i o nf u n c t i o n t h em o r ei m p o r t a n tt h ei n f o r m a t i o nc o n t a i n e di nt h ed a t a ，t h em o r ei m p o r t a n ti nt h e c o n s t r u c t i o no ft h es e p a r a t i n gp l a n e t od i f f e r e n t i a t et h ed i f f e r e n tr o l eo ft h ed a t ai n t h ef o r m u l a t i o no ft h ed e c i s i o nf u n c t i o n ，t h et h e s i sp r o p o s e dt oa s s i g nah e a v yw e i g h t o nt h em o r ei m p o r t a n td a t a ，w h i l et h el e s si m p o r t a n td a t am a yb ea s s i g n e das m a l l w e i g h t t h ew e i g h tc a na l s og e tr i do ft h en e g a t i v ei m p a c to nt h ec l a s s i f i c a t i o nm o d e l t os o m ee x t e n t ，t h u sm a k e st h em o d e lar o b u s to n e t h eu s eo ff i x e d l p n o r mi nt h e o b j e c t i v ef u n c t i o ni ns v ma n dl s - s v mi sn o tad a t a - d r i v e nm o d e l ，w h i c hm a k e si t l e s ss u i t a b l ef o rv a r i o u sc o m p l e xd a t as t r u c t u r e i no r d e rt ob em o r ea d a p t i v et ot h e d a t as t r u c t u r e ，aw e i g h t e dr o b u s tl s s v mm o d e li sp r o p o s e d t h es i m u l a t i o na n dt h e u c ib e n c h m a r k i n gd a t at e s t sp r o v e dt h a tt h em o d e li sr o b u s t ，s p a r s ea n dh a v eg o o d i n t e r p r e t a b i l i t y 5 t h ec r e d i te v a l u a t i o nd a t as e t sh a v eav e r ys p e c i a ld a t as t r u c t u r e ，w h i c hh a s u n b a l a n c e dc a t e g o r y w et e s t e dt h et h r e em o d e l so nt h et w ou c lc r e d i td a t as e t sa n da c r e d i td a t as e to fa l la n o n y m o u sa m e r i c a nb a n kt op r o v et h ee f f i c i e n c yo ft h e s et h r e e m o d e l s t h er e s u l t ss h o w e dt h em o d e l sa r ee f f i c i e n ti nh a n d l i n gt h ek i n do f u n b a l a n c e dd a t as e t sa n dc a nb ea na i t e r n a t i v et o o li nc r e d i tr i s ke v a l u a t i o n k e yw o r d s ：l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s ，r o b u s t ，f e a t u r es e l e c t i o n ，s p a r s e 符弓说明 符号说明 实数集合 ”维欧氏空间 实数g n x i v 维矩阵空间 元素全为1 的列向量 元素全为0 的列向量 单位矩阵 矩阵q 的p 阶范数 p 阶范数 拉格朗日乘子 条件概率 自然对数 符号函数 分类超平面的法向量 分类超平面的阈值 松弛变量 核函数 核矩阵 非线性映射 惩罚参数 分类超平面 p 卜r “、 r肜胪p o ， 口删h蹭缈6善 地足矽y日 图目录 图附录 图2 1 线性可分情况下的线性超平面1 6 图2 22 一维空间非线性映射到3 一维空间样本线性可分1 8 图3 1 过滤法的示意图2 3 图3 2 包裹法的示意图2 4 图4 1l 。欠定问题的求解方法及收敛速度。5 8 图4 2 演化算法流程图6 1 图5 1 七个分类模型的敏感度对比8 2 图5 27 个分类模型的特异性比较8 3 图5 3 七个模型的平均分类准确率对比8 3 表h 录 表附录 表2 1 几种可能的核函数表达式1 9 表3 1 在超球仿真数据集上进行分类的结果比较3 l 表3 2 测试样本的信息3 1 表3 3c l e v e l a n d 数据库不同的主成分数p 所对应的分类误差3 4 表3 4k p c a 厶- l s - s v m 在6 个数据库上的平均测试结果3 4 表3 5k p c a - 厶一l s - s v m 在5 个数据库选取的支持向量数与其他几个模型的比较3 4 表3 6k p c a 厶l s - s v m 在4 个数据库选取的特征向量数与其他几个模型的比较3 6 表3 7f 厶一l s - s v m 模型在仿真数据集上进行分类的结果比较4 3 表3 8fl ，一i s s v m 在6 个数据库上的平均测试结果4 6 表3 9f 厶一l s s v m 与k p c a l s s v m 模型在6 个数据库上的平均测试结果4 6 表3 1 0f 厶- l s r s v m 所选取的支持向量数与其他几个模型的比较。4 6 表3 1 1f 厶。l s r s v m 所选取的特征向量数与其他儿个模型的比较”4 8 表4 1 在超球仿真数据集上进行分类的结果比较6 4 表4 2r w 一0 。l s r s v m 在6 个数据库上的平均测试结果”6 5 表4 3r w 一p - l s s v m 与k p c a 厶。l s - s v m 和f 厶。l s s v m 的测试结果比较6 6 表4 4r w 一0 l s - s v m 模型选择的支持向量数与其他模型的比较6 6 表4 5r w l p 。l s s v m 模型选择的特征数与其他模型的比较”6 8 表4 6 三个模型在p i m a 数据库上的分类结果6 9 表5 1 信用数据库信息7 2 表5 2k p c a - 厶一l s - s v m 在三个信用数据库上的分类准确率7 4 表5 3k p c a - 厶- l s - s v m 与其他模型分类准确率的比较7 4 表5 4k p c a 一厶- l s - s v m 模型在a m c 上的误分类率与其他模型结果的比较7 4 表5 5k p c a 一厶一l s - s v m 与其他模型在a u c 和g c 选择的特征数量和分类准确率比较7 5 表目录 表5 6k p c a 一厶i s - s v m 与其他模型在a m c 数据库选择的特征数量和分类准确率。7 5 表5 7 模糊厶- 5 - s v m 在三个数据库上的分类准确率7 7 表5 8 模糊l i - l s s v m 与k p c a 厶- l s s v m 模型分类准确率的比较7 7 表5 9 模糊厶一1 3 一s v m 与其他模型分类准确率的比较7 8 表5 1 0 模糊厶一l s - s v m 在a u c 和g c 上与其他模型分类准确率的比较7 8 表5 1 1f 厶- l s s v m 在a m c 数据库上与其他模型分类误差的比较7 9 表5 1 2f 厶- l s s v m 在a m c 数据库上与其他模型选择特征数量和分类误差的比较7 9 表5 1 3r w - l p - l s - s v m 在三个数据库上的分类准确率8 1 表5 1 4r 、0 。l s s v m 与k p c a - 厶- l s s v m 及f 厶l s - s v m 模型分类准确率的比较8 1 表5 1 5r w - l p - 5 一s v m 与其他模型分类准确率的比较8 1 表5 1 6r w - l p - 5 一s v m 与其他模型分类误差的比较8 2 表5 1 7r w l p 5 - s v m 与其他模型选取特征向量和支持向量个数的比较8 3 中国科学技术大学学位论文原创l 生声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人己经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作 了明确的说明。 储龋4 魍 签字吼塑丛必7 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 导师签名： 签字日期：塑鲤：! ：丛签字日期： 第1 章绍论 第1 章绪论 这一章我们主要介绍论文的研究背景和意义，论文的主体鲁棒最d x - - 乘支持 向量机二分类问题的文献综述以及研究要点，论文的研究内容和结构安排，论文 研究中所使用的技术路线和论文的创新点。 1 1 研究背景与意义 信息是现代社会人类各种活动的基石。随着信息、通讯和网络技术的飞速发 展，各种各样的数据库例如银行客户数据库，超市交易信息数据库，发明数据库， 医疗和统计数据库的数据规模也在不断快速的增长。比如，一个有很多分支机构 的商业银行，其网络终端会记录银行客户每一次交易的时间，地点，存取款的数 量，使用金融卡消费的金额等，这种记录每天都会产生几个g b 的数据量。这些 数据往往呈现出一种非线性、高维的特征。而且，这些数据库中包含了大量隐含 和丰富的信息，可以用来帮助更好的进行决策。如何对这些数据进行高效的分析 和管理，从隐含在数据库的信息中提取出有用的知识是人工智能、模式识别以及 机器学习中一个非常关键的问题。 一个学习问题可以被描述为( v v a p n i k1 9 9 5 ) ：给定空间z 上的一个概率测 度f ( z ) ，( z ) 是未知的，给定的样本z ，z ，是独立同分布的。考虑函数集合 q ( z ，口) ，口a 。学习问题的目标是极小化风险函数r ( 口) = lq ( z ，a ) d f ( z ) ，a a ，其 中q ( z ，口) 是特定的损失函数，例如0 1 损失函数，二次损失函数等。从这个定义 来看，学习问题的任务就是从给定的数据中推断隐含在数据中的函数依赖关系， 并根据这种依赖关系，对未来的数据作出预测和推断( v a p n i k1 9 9 8 ) 。 分类是学习问题的一种，是统计学中最古老和研究得最多的一个问题，也是 人工智能、模式识别和机器学习理论研究的重点问题。现实中的许多问题比如手 写汉字识别，疾病检测，电子邮件过滤，语音识别，图像分类，违约贷款预测， 网页检索，信用数据分类，分子特性的确定等( d u b aa n dh a r t1 9 7 3 ；f u k u n a g a l9 9 0 ；d e v r o y e 。g y o r f ie ta 1 19 9 6 ；d i e t t e r i c hl9 9 7 ；s r k u l k a m il9 9 8 ) 都属于分 类问题。分类在统计学中被称为是判别分析，而在工程领域中则被叫做是模式识 别。在2 0 世纪6 0 年代之前，统计学家所研究的大多数问题的样本量都比较小，而 且样本的维数较低。对于这种数据，可以假定样本数据服从带有未知参数的某一 种分布，从而可以采用各种估计方法来求解参数，这属于传统的参数统计方法。 第1 章绪论 在处理非线性高维数据时使用传统的参数统计方法会出现维数灾难的问题，因此 需要寻找传统的统计分析方法的替代方法。 对于一个特定的分类问题来说，很重要的一点是确认分类中需要用到哪些最 重要的属性( 特征) ，这个问题被称为特征选择。分类问题另一个重要的部分是 构造决策函数( 分类函数) ，也就是如何利用有限的样本数据来选择分类模型， 这是分类问题的核心。在分类问题中，决策函数的形式，也就是决策函数的结构 是模式分类中一个研究的热点问题。带标签的观测值的数量，每一个观测值的维 数，观测值所选择的特征，观测值的独立性，噪声点的多少等问题都会对分类函 数的选择及分类的准确率有很大的影响。 在现实生活中，由于随机的或者非随机过程的存在，所收集到的样本数据具 有不确定性，数据可能有噪声，甚至是相互矛盾的。那么，对于使用这些样本数 据来进行学习所构造的分类模型来说，需要模型对这些数据具有鲁棒性，即模型 所导出的分类函数受数据中不确定性因素的影响较小。鲁棒这个词最早出现在 1 9 5 3 年( h u b e r1 9 8 1 ) ，主要是在统计理论中分析数据的较小的摄动对统计模型的 影响，后来被广泛应用到控制理论中，研究带有摄动的数据对模型稳定性的作用。 传统的规划模型中处理包含不确定性因素的方法是采用随机规划( k a l l ，w a l l a c e 1 9 9 4 ) ，以及在管理学中常采用的敏感性分析( d a n t z i g1 9 5 5 ；d a n t z i g ，l n f a n g e r 1 9 9 3 ；b e n t a l ，n e m i r o v s k i1 9 9 8 ) 。采用这些分析可以发现数据的不确定性对于模 型的影响，从而在构造模型时能够尽量减小这种影响。 1 2 鲁棒支持向量机研究综述 本文主要研究的是对最d x - - 乘支持向量机模型的鲁棒性和稀疏性加以改进 的方法。这一部分我们将对最d x - - 乘支持向量机的鲁棒性改进方法加以详细论 述，包括最d - - 乘支持向量机模型的统计学习理论基础，模型存在的问题以及支 持向量机模型的鲁棒改进方法和最小二乘支持向量模型的鲁棒改进方法。二分类 学习算法和支持向量机模型以及最小二乘支持向量机模型我们将在下一章做具 体介绍。 1 2 1 统计学习理论的发展 统计学习理论的发展可以分为四个阶段( v v a p n i k1 9 9 5 ) ： 1 感知器的出现( 2 0 世纪6 0 年代) 1 9 6 2 年，心理学家f r o s e n b l a t t 在其撰写的神经动力学原理：感知器和人 脑机制原理一书中提出了感知器的最初模型。这是一个模仿人类学习过程的线 第1 章绪论 性分类模型，能够使用机器对人类的学习方式进行模拟并对使用函数关系来对这 个过程进行刻画。n o v i k o f r ( 1 9 6 2 ) 对感知器可以分类训练数据的定理的证明是学 习理论研究的一个里程碑。 2 基础学习理论的发展( 2 0 世纪6 0 7 0 年代) 这一时期出现了许多学习理论，包括经验风险极小化理论( v c 熵，v c 维， 结构风险极小化归纳原则( v v a p n i k1 9 8 2 ) 等) ，求解病态问题的理论( 规范化 理论( a n t i k h o n o v19 6 3 ) ，无参数概率密度估计理论( v v a p n i kl9 7 8 ) ，算法复 杂性理论( r j s o l o m o n o f fl9 6 0 ) 等。 3 神经网络( 2 0 世纪8 0 年代) 1 9 8 6 年，通过使用s i g m o i d i 蚕l 数来代替感知器输出中的符号函数，解决了同 时计算所有神经元系数的问题。这就是后来被称为神经网络的后向传播感知器方 法。神经网络以及决策树都可以用来处理样本数据中存在的非线性关系。但是对 于神经网络模型，容易出现过拟合以及局部最优的问题。 4 支持向量机模型的出现( 2 0 世纪9 0 年代至今) 2 0 世纪9 0 年代初，v a p n i k ( 1 9 9 5 ) 提出了支持向量机模型。该模型是基于统计 学习理论，以结构风险极小化原则( v n v a p n i k ，a j a c h e r v o n e n k i s1 9 7 4 ) 和极小 描述长度原则( r i s s a n e n1 9 7 8 ) 从小样本( v a p n i k1 9 9 8 ) ) 数据中进行学习的一种 分类模型。s v m 模型的形式简单，有唯一解，通过使用核函数可以处理非线性 的高维数据。s v m 在核学习方法和模式识别之间建立了一个桥梁( s h a w e t a y l o r , c r i s t i a n i n i2 0 0 4 ) ，它提供了一个推理的统一框架并可以处理各种类型的数据。 1 2 2 支持向量机模型的鲁棒性 s v m 模型采用极大间隔方法以及结构风险极小化原则来对分类函数进行学 习，其模型是一个二次规划模型，具有较好的稀疏性。但该模型对于噪声点也比 较敏感，因此出现了许多改进s v m 模型的鲁棒性的模型。对该模型的鲁棒性进 行改进的方法主要是要消除噪声点对分类超平面构造的影响，使得样本数据中包 含的信息量与样本点对于构造分类超平面的作用是成比例的。 c h e n ( 1 9 9 4 ) 为了能够从信号表示的过完备词典中找到信号表示的最优叠加， 而采用了基追踪的方法。该方法中的最优准则是采用矩阵等式中系数的厶范数形 式，也就是在满足约束缸= s 的条件下极小化m i n l l 口1 1 。其实质也是对等式约束 中的系数口进行压缩，从而得到信号的一个稀疏表示。该规划模型的求解是采用 了原始对偶对数障碍法。b r a d l e ye ta 1 ( 1 9 9 8 ) 提出了一个能够进行特征选择的凹 函数形式，该方法在目标函数中使用了厶范数。h e r b r i c he ta 1 ( 1 9 9 9 ) 提出了一个 3 第1 章绪论 自适应间隔的s v m 模型，这个模型中，当输入点葺的映射缈( 五) 要成为一个奇异 值的时候，根据算法就会给它对应的拉格朗日乘子一个较大的值，从而使得奇 异值对分类平面的影响较小。z h ue ta 1 ( 2 0 0 4 ) 提出了一个厶一支持向量机模型， 并给出了求解局部极小的一个多项式迭代算法。该模型的损失函数采用了铰链损 失函数o - y , 7 x + b ) l ，并把标准厶范数的正则化项c u 缈l l ，改为岭惩罚函数 c 0 缈i | l o 把厶范数改为厶的主要目的是压缩的非零元素个数，使得缈的多数元 素都为0 ，从而简化了模型，增强模型的可解释性同时达到稀疏性的目的。该模 型主要用来处理样本数据存在多余的噪声特征的情况。l i u ( 2 0 0 7 ) 贝j j 针对s v m 模 型提出了一个自适应的三。范数惩罚硕，范数g 可以根据数据自动选择数值，改进 的模型具有较好的鲁棒性。j u n ge ta 1 ( 2 0 0 8 ) 给出了一个带有自适应约束的原始对 偶内点算法，在训练s v m 模型的时候使用了铰链损失函数。d ue ta 1 ( 2 0 0 9 ) 提出 了一个双层规划模型，该模型可以同时进行模型和特征的选择。这些方法中的目 标函数大多是采用厶范数的形式，这说明对于厶范数来说具有较好的稀疏性和鲁 棒性特征( m a n g a s a r i a n2 0 0 6 ；q i n g g a o w e ie ta 1 2 0 0 8 ) 。 在传统的回归方法中使用最多的是最小二乘法( o l s ) ，利用o l s 方法来进 行预测，其准确率的偏差小，但是方差较大，而且容易受到数据扰动的影响。回 归预测模型中的系数大部分不为0 ，因此模型的解释能力不强。l a s s o ( t i b s h i r a n i 1 9 9 6 ) 方法则克服了模型易受到数据扰动的影响和对模型系数压缩不理想的这两 个缺点，该回归方法在回归系数的不等式约束中采用了厶范数， 上i 弦，i f( 1 1 ) j = l 。 口 其中参数f 表示的是回归系数的收缩程度。对于固定的t ，约束i 缈i f 可 石“ 以转化成至多2 p 个不等式，从而可采用l a w s o ne ta 1 ( l a w s o n ，h a n s e n1 9 7 4 ) 所提 出的求解一般的带有线性不等式约束的最小二乘问题的方法来进行求解。或者可 以采用如下的转化方法：令，= 国：一国i ，矿0 ，听0 ，这样就可以把( 1 1 ) 中的非线性约束转化成线性约束，因此原模型成为一个线性规划模型。 其他使用厶范数的支持向量机模型的求解可参见( e j b r e d e n s t e i n e r1 9 9 7 ； b r e d e n s t e i n e r ，b e n n e t t19 9 8 ) 。 m a n g a s a r i a n ( 1 9 9 9 ) 讨论了在实数空间彤上的不可分的点集a r “”， b r 椭的二分类问题。其规划模型是建立在被分类超平面误分类的点到超平面 4 第1 章绪论 的任意范数的距离之和的极小化的基础上的。在该模型中，非凸的球面约束被替 换成两个单位球凸约束和一个双线性约束，因此，可以使用厶范数和t 范数把 原模型转换成在凸集上的一个凸函数和一个双线性函数之和的极小化。对模型中 的厶范数的求解是通过求解2 刀个有线性约束的线性规划问题得到的。 s v m 在模型中所使用的正则化项是采用了固定的p 范数，如果数据中存在较 多的噪声数据，那么使用厶或者厶比较合适，因为厶和厶范数可以使超平面的 法向量缈的大部分元素为0 ，从而减少噪声数据对分类预测函数的影响。如果数 据中的噪声数据点较少，那么可以使用厶范数的支持向量机，但是对于厶来说， 其模型需要求解二次规划，那么当样本的数据量较大时，其运算量大，支持向量 的个数较多，因此模型比较复杂，从而有可能造成过拟合现象，推广能力差。对 于采用固定p 范数的支持向量机来说，它不是一种数据驱动的建模方法。也就是 模型本身并不一定适应于数据的结构，导致模型对数据结构的模拟效果不好。 为了克服这个问题，l i ue ta 1 ( 2 0 0 7 ) 提出了一个自适应。范数支持向量机模 型，来处理线性分类问题。其思想是把范数p 作为一个可调整的参数而不是使用 固定的p 范数。k n i g h te ta 1 ( 2 0 0 0 ) 研究了l a s s o 类型的估计器的概率性质。当p 0 以及f s ， 不等式 郴舭) + 产 2 3 ) 至少以概率1 一万成立，其中刀为训练样本点的个数，刀 h 。 由定理2 1 可以看出，要实现结构风险极小化原则，需要控制不等式( 2 3 ) 右 端两项的值，经验风险和v c 置信区间。其中的一种方法就是固定经验风险，极 第2 章二分类问题 小化v c 置信区间。由这个思想出发就构造出了实现结构风险极小化原则的一种 算法一支持向量机算法。 2 5 2 支持向量机模型 s v m 是利用小样本数据的统计学习理论在高维特征空间中寻找最优线性分 类超平面对数据进行分类的一种模型。其基本思想源自最优分离超平面一最大化 间隔并采用核学习的方法，是结构风险极小化原则在统计学习问题上的一个具体 实现( 邓乃扬，田英杰2 0 0 5 ) 。 ( 1 ) 线性可分支持向量机 给定训练数据( 五，m ) ，( 而，乃) ，x r ”，只 一l ，1 ) ，i = 1 ，2 ，超平面 h ：( t o x ) + b = ( 。如果训练数据在输入空间是线性可分的，存在一个超平面何能 够分类训练样本数据，并且其分类的误差为零，即m ( 薯) + 6 ) l ，江l ，2 ，。 支持向量机的基本思想是：使用线性最优超平面来分类训练样本数据，固定 经