（运筹学与控制论专业论文）基于支持向量机的上市公司财务信用评价预测方法研究.pdf

论文摘要 上市公司是证券市场的基石，其行为的规范与否及财务状况的好坏将直接 影响到证券市场的发展和投资者的利益近年来，上市公司陷入财务危机的数 量急剧上升，企业普遍抗风险能力减弱如何客观评价一个企业财务经营状况 的好坏，使企业财务状况还未发展到恶化的时候，就能揭示其潜在的风险，可 预示其危机的发生，提前向经营者发出警告，使其能早做准备或及时采取对策， 阻止财务状况的进一步恶化，避免严重的财务危机真正发生，就显得格外的重 要本论文正是基于这样的思想，利用统计学方法和支持向量机方法，建立上 市公司信用评价模型，对我国上市公司的财务状况进行信用评价 支持向量机s v m 是二十世纪九十年代发展起来的统计学习理论的核心内 容，核函数是它的重要组成部分在众多核函数中，高斯核函数由于其特殊的 性质以及广泛的应用，得到了广大研究者的重视 本文主要利用高斯核s v m 建立上市公司财务风险评价模型，从上市公司 1 3 个主要财务指标中选出部分指标，建立了4 2 种财务风险评价预测模型，并 利用这4 2 种模型对评估预测精度进行比较研究 最后，文章对比了支持向量机和统计学方法，并基于数值仿真实验说明了 基于高斯核的支持向量机在上市公司进行财务风险评价预测的优越性 关键词：支持向量机，高斯核函数，信用风险评价 a b s t r a c t s ac o m p a n yt h a ts h a r e so w n e r s h i po fs t o c k si sc a l l e dl i s t e dc o m p a n yi nt h e s t o c km a r k e t t h el i s t e dc o m p a n i e sa r e 也ef o u n d a t i o no ft h es t o c km a r k e t , w h e t h e r t h e i rb e h a v i o ri sn o r m a la n dt h ef i n a n c i a ls i t u a t i o ni sg o o do rb a dw i l ld i r e c t l y i n f l u e n c es e c u r i t i e so fm a r k e t sa n dt h ei n t e r e s t so fi n v e s t o r s i nr e c e n ty e a r s ，t h e f i n a n c i a lc r i s i so fs o m el i s t e dc o m p a n i e si ns t o c km a r k e th a v eb e e ns h a r pr i s i n gi na n u m b e ro fe n t e r p r i s e sg e n e r a lw e a k e n e da b i l i t yt or e s i s tr i s k s h o wo b j e e t i v e e v a l u f i o no ft h ef i n a n c i a lo p e r a t i o no fab u s i n e s si sg o o do rb a d ，s ot h a ta n e n t e r p r i s e sf i n a n c i a ls i t u a t i o nh a sn o td e v e l o p e dt ot h ed e t e r i o r a t i o no f t h et i m e ，w e c a nr e v e a lt h ep o t e n t i a lr i s k s ，p r e d i c ti t sc r i s i so c c u r r e de a r l i e ri s s u e daw a r n i n gt o t h eo p e r a t o r ss ot h a tt h e yc a nd os oa se a r l ya sp r e p a r e do rt a k et i m e l ym e a s u r e st o p r e v e n taf u r t h e rd e t e r i o r a t i o no ft h ef i n a n c i a ls i t u a t i o nt oa v o i ds e r i o u sf i n a n c i a l c r i s e sa c t u a l l yh a p p e n e d ，i ti sp a r t i c u l a r l yi m p o r t a n t t i l i sp a p e ri sb a s e do nt h e t h i n k i n go fu s i n gs t a t i s t i c a lm e t h o d sa n ds u p p o r tv e c t o rm a c h i n em e t h o dt oc r e a t e t h ec r e d i te v a l u a t i o nm o d e lf o rc h i n a sl i s t e dc o m p a n y sf i n a n c i a lc o n d i t i o n f e e d b a c k s u p p o r tv e c t o rm a c h i n e ( s v m ) h a sd e v e l o p i n gr a p i d l yi nt h ed e c a d eo ft h e 2 0 lc e n t u r y 1 n h es t a t i s t i c a ll e a r n i n gt h e o r yi st h ec o r ec o n t e n to fi t a m o n gt h e m a n yk e r n e lf u n c t i o n s ，g a u s s i a nk e r n e li ss t u d i e db yt h em a j o r i t yo fr e s e a r c h e r s b e c a u s eo fi t ss p e c i a lp r o p e r t i e s ，嬲w e l la saw i d er a n g eo fa p p l i c a t i o n s ， i nt h i sp a p e r ，u s i n gg a u s s i a nk e r n e ls v m ，w eh a v ee s t a b l i s h e d4 2f i n a n c i a lr i s k a s s e s s m e n tm o d e l sf r o m13m a j o rf i n a n c i a li n d i c a t o r so ft h es e l e c t e di n d i c a t o r si n t h el i s t e dc o m p a n i e s f i n a l l y ，t h ea r t i c l ec o m p a r e dt h es u p p o r tv e c t o rm a c h i n ew i t hs t a t i s t i c a l m e t h o d ，b a s e do nt h en u m e r i c a ls i m u l a t i o nw i t ht h eg a u s s i a nk e r n e l ，t h es u p p o r t v e c t o rm a c h i n eh a sm u c hs u p e r i o r i t yi nl i s t e dc o m p a n i e sf i n a n c i a lr i s ka s s e s s m e n t f o r e c a s t k e yw o r d s ：s u p p o r tv e c t o rm a c h i n e ，g a u s s i a nk e r n e l ， c r e d i tr i s ka s s e s s m e n t 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究成 果据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经发表或撰 写过的研究成果对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说 明并表示谢意 作者签名：碰日期： 学位论文授权使用声明 本人完全了解华东师范大学有关保留、使用学位论文的规定， 学校有权保留学位论文并向国家主管部门或其指定机构送交论文的 电子版和纸质版有权将学位论文用于非赢利目的的少量复制并允 许论文进入学校图书馆被查阅有权将学位论文的内容编入有关数 据库进行检索有权将学位论文的标题和摘要汇编出版保密的学 位论文在解密后适用本规定 学位论文作者签名彳座褊导师张 学位论文作者签名珈西茚匈 导师签名： 日期： 1 购夺 吼出巧功 华东师范大学硕士论文第一章引言 第一章引言 上市公司是证券市场的基石，其行为的规范与否及财务状况的好坏将直接影 响到证券市场的发展和投资者的利益近年来，上市公司陷入财务危机的数量 急剧上升，企业普遍抗风险能力减弱，企业资产负债率一直处于较高水平，企 业的净资产收益率却很低据统计，仅在2 0 0 1 年中期，我国出现亏损的上市公 司就超过1 0 0 家，发布亏损预警的公司超过7 0 家虽然国家相继出台了一系列 财政金融政策，如企业债转股、技术改造贴息贷款、提高出口退税率等，但这 些举措均集中在企业已形成的巨额债务的化解上，目的是减轻企业的负担，而 对如何防范新增债务风险却重视不够，企业账面亏损局面虽暂时得到缓解，但 不能从根本上解决问题，结果只能是从一种风险转化为另一种风险，财务危机 的可能性仍然很大，直接威胁到我国经济的持续、稳定与健康发展 随着全球化竞争的展开，企业竞争日趋激烈，市场环境变化日益激烈，给全 球企业带来了日益巨大的财务风险无论是美国、欧洲还是亚洲，在残酷的竞 争压力下，陷入财务失败境地的企业数目都是巨大的对于经营者来说，如何 建立防范日益加大的财务风险的机制，规避或减少潜在的经营风险是悠关企业 生死的大问题；对于投资者和监管层而言，如何客观评价上市公司财务状况， 尤其是预测可能出现财务失败的公司，对于投资者及时调整投资决策、监管层 准确识别盲目融资公司以及投资银行有效发掘潜在客户都具有重要意义。正是 在这种意义下，信用风险分析和预测的研究成为了一个世界性的问题 国外相关预测模型的研究起步较早，且已经被广泛应用于银行、企业及投资 机构等早在2 0 世纪6 0 年代，b e a v e r ( 1 9 6 6 年建立单变量分析模型) 和a l t m a n ( 1 9 6 8 年建立著名的z 8 c , o r e 模型) 等美国与欧洲许多国家的研究者们已经进 行信用风险研究亚洲金融风暴之后，全世界又兴起了打破旧的信用风险分析 方法，重新建立一套新的信用风险分析方法的热潮而国内在这一领域的研究 还是刚刚起步，且大部分研究还是停留在定性分析方法或定量分析中的统计方 法迄今为止，信用风险分析方法已经从统计学方法( 2 0 世纪6 0 - - - 7 0 年代) 、专 家系统法( 2 0 世纪8 0 年代) 、神经网络方法( 2 0 世纪9 0 年代初) 到近年来研 究很热的支持向量机方法 上市公司财务状况是决定公司股票内在价值的根本因素，各种财务活动、各 项财务指标都是相互联系、相互影响的单独评价或分析任何一项财务指标， 都难以全面反映、评价上市公司的财务状况和经营成果故有必要将公司财务 活动看作是一个大系统，对系统内的相互依存、相互作用的各种因素进行综合 分析对上市公司财务状况和经营成果综合评价，应包括以下几个方面：盈利 华东师范大学硕士论文第一章引言 能力评价( 常用指标有主营业务利润率、总资产利润率、净资产收益率、成本 费用率和销售利润率等) 、偿债能力评价( 常用指标有资产负债率、股东权益比 率、负债与股东权益比率、权益总资产率和利息保障倍数等) 、营运能力评价( 主 要指标有应收帐款周转率、存货周转率和流动资产周转率等) 随着全球化竞 争带来的企业财务风险加大，主要因为银行风险管理业务的需要发展起来的信 用风险评价，逐渐成为企业财务困境预测研究的主要手段 财务困境又称为财务危机或财务问题，最严重的财务危机是财务失败或破产 在我国，一般认为，财务困境( 或财务危机) 是指企业丧失偿还到期债务的能 力企业产生财务危机，其原因是多方面的，极可能是内部原因造成的，如： 企业经营者决策失误，管理失控等：也有可能是外部环境恶化造成的，如：战 争、经济衰退、通货膨胀等但通常情况下，企业出现财务危机，是一个逐渐 显现、逐渐恶化的过程：从资产存量的角度静态来看，通常表现为企业总资产 帐面价值低于总负债帐面价值，即企业净资产为负植；从现金流量的角度动态 来看，通常表现为企业缺乏偿还即将到期债务的现金流入，现金总流入小于现 金总流出，即企业现金净流量为负值对于发生财务困境( 或财务危机) 的公 司，我国相继出台了一些政策、法规，对其实施特别处理1 9 9 8 年4 月2 2 日， 沪深证券交易所宣布将对财务状况异常的上市公司的股票交易进行特别处理 ( 英文为s p e c i a lt r e a t m e n t ，缩写为“s t ”) 其中异常主要有两种情况：一是上 市公司经审计两个会计年度的净利润均为负值，二是上市公司最近一个会计年 度经审计的每股净资产低于股票面值在上市公司的股票交易被实行特别处理 期间，其股票交易应遵循下列规n - ( 1 ) 股票报价日涨跌幅限制在5 ；( 2 ) 股 票名称改为原股票名前加“s t ，例如“s t 钢管 ；( 3 ) 上市公司的中期报告必 须经过审计如果受到特别处理的公司下一年度财务报表审计结果表明财务状 况已恢复正常，则可以向交易所申请取消特别处理如果一家公司因连续两年 亏损被予以特别处理后，第三年仍然亏损，交易所将暂停其股票的交易，并向 证监会提交暂停上市证券交易所对存在股票终止上市的的公司股票交易实行 “警示存在终止上市的风险的特别处理 ，是在原有“特别处理 基础上增加的 一种类别的特别处理，在其股票简称前加“* s t ”字样，以区别于其他股票， 在交易方面，被实施退市风险警示处理的股票，其报价的日涨跌幅限制在5 甚p * s t ，就是有退市风险的股票，如企业亏损满三年的股票、财务状况恶劣的 股票等因此，我们认为，公司一旦被s t 或* s t ，即认为该公司陷入了“财务 危机 在实践中，大多数公司的财务困境都经历了一个由财务状况正常到逐渐恶 化，再到财务困境和破产的全过程，因而大多数是可以预测的因此，研究并 2 华东师范大学硕士论文第一章引言 努力准确预测企业财务困境具有重大的现实意义和理论意义： ( 1 ) 对于企业管理层来说，如果能有效预测财务困境，可在企业陷入困境之 前采取及时有效的措施，防范危机的真正发生 ( 2 ) 对于企业的股票持有人而言，财务困境预警分析能起到投资指导作用 ( 3 ) 对于企业债权人而言，如能准确预测企业的财务困境，可在企业陷入财 务困境之前改变偿还条款，提前收回本利 ( 4 ) 对于与企业有业务往来的公司而言，财务困境预警分析可以为其是否加 大业务合作提供参考 ( 5 ) 对于有收购或兼并意向的公司而言，财务困境预警分析可为其正确估价 目标公司的整体价值提供参考 ( 6 ) 对于国家经济管理部门而言，财务困境预警分析可为其制定宏观经济政 策、调控经济运行提供参考 ( 7 ) 对于企业的员工而言，其经济利益与公司的经营状况紧密联系，通过对 财务困境的预警分析能对自己工作的安全保障和未来发展的可能作出评 价 ( 8 ) 对于审计企业财务报表的注册会计师而言，财务困境的预警分析能使其 保持更高度的警惕，正确处理企业财务报表中可能存在的错误与舞弊 有鉴于我国信用风险分析方法的发展现状以及识别企业财务风险的重要 性，本文首先研究了传统分类方法中的统计分类方法和神经网络方法在我国信 用风险分析中的应用，着重叙述了统计分类方法中常用的线性判别分析法 ( l i n e a rd i s c r i m i n a n ta n a l y s i s ，简称l d a ) 和l o g i s t i c 回归模型法，限于论文 篇幅，没有详细叙述神经网络方法然后重点叙述支持向量机( s v 】) 学习算 法在我国信用风险分析中的应用，并结合我国上市公司的一些财务数据，通过 采用上面的算法建立我国信用评价模型，利用现有数据分别进行判别和分析， 研究其计算结果与实际情况的差距，重点探讨支持向量机在信用风险分析和财 务困境预警领域中的应用，为我国上市公司进行信用评级提供科学、可行、有 效的方法 本文支持向量机中使用的核函数是高斯核函数，选用0 6 年7 0 家上市公司 的财务数据作为训练集，6 0 家上市公司作为测试集，2 6 家0 6 年s t 公司在0 5 年和0 4 年的财务数据( 它们在0 5 和0 4 年为非s t 公司) 作为预测集，使用上 市公司主要的1 3 个财务指标：每股收益、每股净资产、每股现金流量、销售毛 利率、主营业务利润率、净资产收益率、存货周转率、应收帐款周转率、总资 产周转率、资产负债率、股东权益比率、流动比率、速动比率，从中选取部分 指标，建立4 2 个上市公司财务风险预测模型对于企业管理层、股票持有人和 华东师范大学硕士论文 第一章引言 企业债权人，可以使用上述4 2 个模型中部分或全部对公司财务状况进行分析、 评价和预测，提前采取相应的行动，保护自身的权益 4 华东师范大学硕士论文第二章传统分类方法及其应用 第二章传统分类方法及其应用 第一节线性判别分析法 线性判别分析( l m e 盯d i s c r i m i n a n ta n a l y s i s ，简称l d a ) 法是根据已知的 陷入财务困境公司和非陷入财务困境公司进行分类构成若干个总体，由这若干 个总体的特征找出一个或多个判别函数( 或准则) ，用于判别任一已观察的变量 应判属于哪一个总体 对于k 类模式的分类问题，假设这k 类所构成的总体分别为g l ，g 2 ，q 若要判定样本工来自于哪一个总体，首先必须计算样本x 到每个总体 g f ( f = l ，2 ，k ) 的距离d ( 五g ：f ) ，然后比较这些距离如果工距离某个g ，最近，即 d g ，) = m i n d ( x ，q ) ii = l ，2 ，七 则认为工g ，其中样本x 到总统g 的距离采用l a h a l a n o b i s 距离，即 d ( 工，q ) 2 ( x 确) 趣确) r 其中，以和；分别为q 的均值和协方差矩阵，：为协方差矩阵e ，的 逆矩阵 对于两类模式分类问题，可通过如下方式建立判别分析模型进行判别 1 ： h x ) = o 一) ：1 ( 肛一一) 1 其中2 丙与 ( 啊一1 ) 。+ ( 伤一1 ) ：】，n 为总体样本的个数，n 2 g l ，g 2 的样本数，。，：为g l ，g 2 的协方差矩阵 从2 0 0 6 年上市公司中随机选出的1 3 0 家上市公司中，选取7 0 家公司( 3 5 家非s t 公司和3 5 家s t 公司) 组成训练样本集( 见附录一) ；余下的6 0 家公司 ( 3 5 家非s t 和2 5 家s t ) 组成样本测试集( 见附录二) 另外，使用0 6 年2 6 家s t 公司在0 5 年时( 0 5 年它们为非s t 公司) 的财务数据作为预测集，进行 提前一年预测( 附录三) ，0 4 年时( 0 4 年它们为非s t 公司) 的财务数据作为预 测集，进行提前两年预测( 附录四) 对于每一家上市公司，主要考虑其经营 状况的4 个财务指标 1 ，如下：每股收益，每股净资产，每股现金流量，净资 产收益率 实验结果如下： 华东师范大学硕士论文 第二章传统分类方法及其应用 模型类别测试集上准确率提前一年预测准确率提前二年预测准确率 线性判别分析 法 8 5 76 9 2 3 1 第二节l o g i s t i c 回归模型法 l o g i s t i c 模型最早是由m a r t i n 在1 9 7 7 年用以预测公司的破产及违约概率 他从1 9 7 0 - - - 1 9 7 7 年问大约5 7 0 0 家美联储成员银行中界定出5 8 家困境银行，并 从2 5 个财务指标中选取总资产净利润率等8 个财务比率，用来预测公司的破产 及违约概率，建立了l o g i s t i c 回归模型( l o g i s t i cr e g r e s s i o nm o d e l ，l 跚) ， 根据银行、投资者的风险偏好设定风险警戒线，以此对分析对象进行风险定位 和决策 l o g i s t i c 回归模型可表述为： 1 p 2 而i 肿 s = c o + q i = k 其中，吒( 七= l ，2 ，朋) 为信用风险评定中的影响变量( 或表示企业的特征指标 变量) ，勺u = 1 ，2 ，朋) 为技术系数，通过回归或极大似然估计获得，l o g i s t i c 回归值p “0 ，l 】为信用风险分析的判别结果 l o g i s t i c 回归模型中，p 是s 的连续、严格递增函数，s e ( - 0 0 ，佃) 并且： 鲰p = 烛- ，0 0 专一- ， mjl 口。 坚p = 磐专= o s - f l4 口 对于某一公司i ( i = l ，2 ，刀) 来说，如果l o g i s t i c 回归值奶接近于0 ( 或 扔0 ) ，则被判定为经营“差”的一类企业；如果l o g i s t i c 回归值接近于1 ( 或 忍1 ) ，则被判定为经营“好的一类企业并且只值越接近于0 ，表示该公 司陷入财务困境的可能性就越大；反之，觑值越接近于1 ，表示该公司陷入财 务困境的可能性就越小即： 6 华东师范大学硕士论文 第二章传统分类方法及其应用 1 0公司f 被判定为陷入财务困境公司 a 1 l公司f 被判定为非财务困境公司 在易的定义中，如果某公司f 被判定为陷入财务困境的公司，是指该公司被 判定为一类经营“差的公司；如果某公司i 被判为非财务困境的公司，是指该 公司被判定为一类经营“好”的公司 对于每一家上市公司，主要考虑其经营状况的4 个财务指标如下：而= 每股 收益，毛= 每股净资产，而= 每股现金流量，_ = 净资产收益率 令 s 2 c o + q 五+ 乞恐+ c 3 毛+ c 4 首先，要确定系数c o ，c l ，c 2 ，c 3 ，c 从2 0 0 6 年上市公司中随机选出的 1 3 0 家上市公司中，选取7 0 家公司，3 5 家非s t 公司和3 5 家s t 公司组成训练 样本集( 见附录一) ，建立无约束非线性规划： 船 m i n ( 见一q k ) 2 k = l 即：求岛，c l ，c 2 ，c 3 ，c 4 ，使( 既一吼) 2 达到最小 k = l 其中： 1 p r = 再7 雨磊磊弓而万 f o公司k 被判定为陷入财务困境公司 吼= 1 l公司k 被判定为非财务困境公司 利用上述7 0 家公司财务组成的样本集求解上述无约束非线性规化，求出最 优解 余下的6 0 ( 3 5 家非s t 和2 5 家s t ) 家公司组成样本测试集( 见附录- - ) 另 外2 6 家s t 公司作为预测集( 附录三、附录四) ，即对于2 0 0 6 年2 6 家s t 公司， 用它们前两年财务指标进行风险预测判别结果如下： 模型类别测试集上准确率提前一年预测准确率提前二年预测准确率 l o g i s t i c 回 归模型 76 7 7 3 1 2 6 9 第三节其它分类方法 其他分类方法还有不少，这里仅介绍神经网络方法2 0 世纪9 0 年代，神经 7 华东师范大学硕士论文第二章传统分类方法及其应用 网络引入银行业，用于信用风险识别和预测神经网络是一种具有模式识别能 力，自组织、自适应、自学习特点的计算机制，它的知识编码于整个权值网络， 呈分布式存储且具有一定的容错能力神经网络对数据的分布要求不严格，也 不需要详细表述自变量与应变量之间的函数关系神经网络的这点特性，使之 很快成为信用风险分析方法的一个热点神经网络在信用风险分析的作用是通 过神经网络的分类功能进行的，首先找出一组影响分类的因素作为神经网络的 输入，然后通过有导师或无导师的训练，形成信用风险分析模型对新样本的 输入，模型可产生信用风险分析的判别结果 华东师大数学系0 2 级学生江宇琛 1 6 在其毕业论文中用b p 神经网络对上市 公司进行分类，正确率为7 5 8 华东师范大学硕士论文 第三章支持向量机分类方法及其相应问题分析 第三章支持向量机分类方法及其相应问题分析 1 9 6 2 年，r o s c n b l a t t 2 提出了第一个学习机器的模型，称作感知器，标志 着人们对学习过程进行数学研究的真正开始v o v i k o f l l 3 】( 1 9 6 2 年) 证明了关于 感知器的第一个定理，定理指出： ( 1 ) 训练向量z 的模以某个常数r 为界( 即m r ) ； ( 2 ) 训练数据能够以间隔p 分开，即 s u p m m y , ( z l 。m ) p wl r 21 ( 3 ) 在对感知器进行足够多次训练的过程中，最多在s i 冬1 次修正后，可 l j 以构造出将训练数据分开的超平面 v o v i k o f f 的这一定理实际上是学习理论的开始，在创建学习理论中起到了非 常重要的作用，它在一定意义上将导致机器具有推广能力的原因和最小化训练 集上的错误数的原则联系了起来 传统的统计模式识别方法是在样本数目足够多的情况下进行的，然而在实 际应用中，这一前提往往得不到保证1 9 6 8 年，v a p n i k 和c h e r v o n e n k i s 首次提 出了统计学习理论( s t a t i s t i cl e a r n i n gt h e o r y 简称s l t ) 【4 】，专门研究有限样本 情况下的机器学习规律1 9 9 5 年，v a p n i k 等( 1 9 9 5 年，1 9 9 8 年) 又根据统计学 习理论提出支持向量机( s u p p o r tv e c t o rm a c h i n e , 简称s v m ) 的学习方法，研究 如何根据有限学习样本，进行模式识别和回归预测等，使在对未知样本的估计 过程中，期望风险达到最小 5 】 6 】近年来，s v m 已成为解决模式分类和回归问 题的有利工具 与现有的的各种学习机器相比，支持向量机建立在坚实的理论基础上，有 较好的推广能力和非线性处理能力尤其在处理高维数据时，有效地解决了“维 数灾难”问题，在人脸识别、文本识别、手写体识别、上市公司信用风险评价 等应用中均表现出优于传统学习机器的性能，成为近年来学习机器领域研究的 一个热点 7 】 第一节支持向量机简介 支持向量机( s u p p o r tv e c t o rm a c h i n e ) 是v a p n i k 于1 9 9 5 年提出的一种新 的分类技术该方法是建立在统计学习理论的v c 维理论和结构风险最小化基 础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以 9 华东师范大学硕士论文 第三章支持向量机分类方法及其相应问题分析 期获得最好的推广能力 1 0 1 1 线性可分情形 下面先说说线性支持向量机线性支持向量机包括线性可分和近似线性 可分两种对于线性可分样本的的分类问题，设样本集 “，弗) c f 一1 1 ) ，f = 1 ，寻找最佳分类超平面g ( 功= ( w 工) + 6 = 0 ，使得对 于线性可分样本集，满足 i ( w - x t ) + b 1 ，乃= l 【( w 玉) + 6 - 1 ，以= - 1 , f = l ，2 ， 超平面( w 工) + 6 = 1 和( w 功+ 6 = 一1 2 间不存在任何样本，他们之间的距离 志称为( 几何) 间隔支持向量机要求最大化间隔，这样得到的分类面称为最 m i 优分类面，他使得分类器有较强的泛化能力 按照“最大间隔法 提出线性可分支持向量机的原始最优化模型： 算法1 1 ( 最大间隔法) ( i ) 设已知训练集t = ( 五，m ) ，( 毛，只) ) ( x y ) 其中而xc r ” 乃】，= - 1 ，1 ) ，i = 1 ，； ( i i ) 构造并求解对变量w 和b 的最优化问题 曾扪1 2 ( 1 ) s f 咒( ( w 而) + 功1 ，i = l ， 求得最优解矿，b ； ( i i i ) 构造分化超平面( 矿曲+ 6 = 0 ，由此求得决策函数 厂( 曲= s g n ( ( w 曲+ 6 ) 问题( 1 ) 是可微的凸最优化问题，按照最优化理论中凸二次规划的解法， 将其转化为w 0 l f e 对偶问题来求解： 在求解上述最优化问题的过程中，引入l a g r a n g e 乘子：a t ，吃，q ，可以 得到下面l a g r a n g e 方程 1 ， l ( w , b , a ) = 寺( 矿们一q 乃( w 而+ b ) + - - o t l l=l i = l 利用l a g r a n g e 优化理论，把上述优化问题转化为它的对偶问题： l o 华东师范大学硕士论文 第三章支持向量机分类方法及其相应问题分析 n 乒丢喜妻儿乃q 吩c 而乃，一嘉哆 其中，呸是每个样本相对应的l a g r a n g e 乘子，这是一个不等式约束f 篚j - - 次规 划问题，故存在惟一解，而且是最优化问题的整体解解出最优解 o f * = ( q ，) 后，则： ， 矿= 哆乃西 ，l i 矿= 乃一窆乃哆，w k o i = i 上述解口= ( q ，q ) 中一部分。是非零的，其对应的样本称为支持向量 此时，最优分类函数是： ， 厂( 工) = s 伊( ( w 工) + 6 。) = s 印( q 乃( 而j ) + 6 ) i = l 上述算法称为线性可分支持向量机，又称为线性硬间隔分类机，对于输入石。 其类别决策值f ( x ) 仅依赖于( 而x j ) ，( 五工) ，f ，_ = oo $ ， 对于近似线性可分问题，即两类数据可能有少量的融合、交叉，不存在严 格的最优超平面，那么必须“软化”对间隔的要求，即允许有不满足原始问题 ( 1 ) 中的约束条件m ( ( w 玉) + 6 ) l 的样本点存在通过引入非负的松弛变量 点，i = oo ，把约束条件放松为 乃( ( w 。而) + 6 ) + 磊1 ，参o ，i = l ，l j 显然向量孝= ( 卣，磊) 体现了允许训练集被错化的情况，可以采用磊作为 一种度量，描述训练集被错化的程度这样，现在就有两个目标：仍希望间隔丽2 尽可能大；同时希望错化程度磊尽可能小为把这两个目标综合为一个目标， - - j - 以引进一个惩罚参数c 作为综合这两个目标的权重，即极小化新的目标函数 圭。训2 + 唔i 鼻最大间隔分类问题归结为如下二次规划问题： 华东师范大学硕士论文 第三章支持向量机分类方法及其相应问题分析 m 蚶i l l 扣2 + 嘻缶 s t 咒( ( w 五) + 6 ) l 一参，i = l * - 9 1 磊0 ，i = 1 ， 利用l a g r a n g e 优化理论把上述优化问题转化为它的对偶问题： 咖圭善i 蔷1 咒乃q ( 五乃) 一高吩 j j 0 s q c ，i = o ， ， q 乃= o l = i 其中q 是每个样本对应的l a g r a n g e 乘子若口= ( q 09 o * j q ) 是上述最优化问题 的解，则决策函数 ， 厂( 工) = s 印( ( w 工) + 6 ) = s 印( q 乃( 五工) + 6 ) i f f i l 其中矿= 乃一咒q ， - ，l 吩 0 这样，我们就求得了近似线性可分情况下 l f f i i 的最优分类面，称为广义最优分类面 2 线性不可分情形 上面研究了在输入空间存在线性分类面的情况，而对输入空间中训练集线 性不可分时，通过一个非线性映射，把原低维空间上的线性不可分问题转化 为一个高维特征空间上的线性可分或近似线性可分问题，将分类问题映射到高 维特征空间上，在高维特征空间中用线性支持向量机来分类但这种方法面临 两个现实问题：一是怎样在这样一个高维特征空间找到推广性很好的分类超平 面? 二是如何处理高维空间中的计算呢? 定义变换中( 工) ：r ”一日，将输入空间中的样本x 变换到高维( 可能是无 穷维) 特征空间h ( h i l b e r t 空间) 利用与线性可分情形类似的方法，将公式中的 x 换成( 工) ，就可以在高维特征空间上得到一个分类超平面，该分类超平面对 应着原空间上的一个分类超曲面即如下算法： 算法1 2 ( 支持向量分类机) ( i ) 设已知训练集r = ( 而，乃) ，( 毛，只) ) ( x y ) 其中而x c r ” 乃y = - 1 ，1 ) ，f = 1 ，； 1 2 华东师范大学硕士论文第三章支持向量机分类方法及其相应问题分析 ( i i ) 选择惩罚参数c ，构造并求解最优化问题 l 吵寺乃乃q 哆( ( 玉) ( 乃) ) 一吁 “z ，f = l - l ，t i s t 0 嘶c ，i = o ， 咒= o 得最优解口= ( q ，q ) ( i i i )选择口的一个小于c 的正分量口，并据此计算 矿= 乃一毒乃q ，w k o ； ( i v ) 求得决策函数( 功= s 垆( q 乃( ( 毛) ( 石) ) + 矿) 算法1 2 对输入玉，i = l ，和石的依赖关系，其决策函数值仅依赖于 ( ) ( 工，) ( 毛) c a ( x ) ，i ，j = l ， 由于( 工) 维数很高，计算就会非常烦琐，即所谓的“维数灾难 如何克服 “维数灾难 ，解决高维空间中的计算呢? 如果能找到一个函数满足 c ( x ，工) = ( x ) ( x ) ，计算就可以在原空间上进行，计算量将大大减少，而 且也避免了对的直接处理这样的函数我们称为核函数因此，我们只需要在 原空间中计算核函数，而不需要知道变换的具体形式，也不需要在高维特征 空间中计算于是算法1 2 可写为： 算法1 3 ( 支持向量分类机) ( i ) 设已知训练集r = ( “，m ) ，( 毛，y 。) ) ( x y ) 其中五xc r “ 咒y = - 1 ，1 ) ，i = 1 ，8 9 ，； ( i i ) 选择核函数k ( x ，工和惩罚参数c ，构造并求解最优化问题 吵丢喜套乃乃q 哆k c 五，_ ，一言吩 j f 0 q c ，i = 0 ， m = o 华东师范大学硕士论文第三章支持向量机分类方法及其相应问题分析 得最优解口= ( 口。，q ) ( i i i ) 选择口的一个小于c 的正分量哆，并据此计算 6 = 乃一喜m q ，w _ ，k 。 ； ( i v ) 求得决策函数( 工) = s 印( q 乃k ( ，工) + 6 ) 算法1 3 是处理一般分类问题常用的方法在使用支持向量机解决实际问 题时，选择适当的核是一个关键因素常用的核函数有多项式核、s i g m o i d 核、 高斯径向基核等高斯径向基核常常因为它的优越性能引起人们的注意，它的 形式如下：置( 工，工：c x p _ 些手 ，其中工，x 彤，是样本点，仃 。是核半径而 s i g m o i d 核k ( x , x 9 = t a n h ( k ( x x g + v ) ，其中七 0 ，y 0 这个函数虽然不是正定 核，但它在某些实际应用中却非常有效 第二节函数集的学习性能和v c 维 定义2 1 ( 期望风险) 设p ( x ，y ) 为x x y 上的概率分布，c 为给定的损失 函数再设f ( x ) 是一个假设( 决策函数) f ：x ( x c r 4 ) 一y = - 1 ，1 ) 所谓假设f ( x ) 的期望风险是指损失函数关于概率分布p ( x ，y ) 的 r e i m a n n - s t i e l t j e s 积分 a 一一 尺【厂】= e 【c ( 毛y ，厂( 功) 】= l ，c ( 而j ，厂( z ) ) 讲( 五y ) 期望风险的大小可以直观地理解为，当我们用假设f ( x ) 进行预测时，“平 均 的损失程度，或“平均犯错误的程度 期望风险的概念，不仅可用于比较不同假设的优劣，而且是建立求解分类 问题的基础我们力图寻找使其期望风险最小的假设 在分类问题中，只知训练集丁，并不知其概率分布p ( x ，y ) ，所以要构造一 个仅仅根据若干个样本点就能找出使期望风险最小的假设厂的学习算法看来是 不可能的因此我们将放松对对学习算法的要求，不再要求它保证决策函数的 1 4 华东师范大学硕士论文第三章支持向量机分类方法及其相应问题分析 期望风险最小，而只要求它能保证其期望风险能以比较大的概率取比较小的值 由于我们仅知训练集丁，所以只能计算出f ( x ) 在这些样本点上的偏差， 这导致下面的“经验风险 的概念我们希望在一定的条件下，用评价训练集 上的经验风险大小的方法来评价厂( 工) 定义2 2 ( 经验风险) 设给定训练集t - ( 五，舅) ，( 而，乃) ) o y ) 7 ， 其中五x c r n , 咒y = - 1 ，1 ) ，i = 1 ，并且给定损失函数c ，所谓假设f ( x ) 对 于它们的经验风险是指 r e m p f = c ( 玉，乃，厂( 而) ) 定义2 3 ( 经验风险最小化归纳原则)设给定训练集r ，并适当选定由 假设构成的集合fc 厂：j o t = r ”) 专j ，= 一l ，l 经验风险最小化归纳原则就 是在f 中，选择使其经验风险r e m p f 】最小的假设 经验风险最小化原则强调使经验风险r e m p f 】达到最小但是如果只考 虑选择厂使得r e m p f 】达到最小而忽视对f 的选择是不可行的，可能会产生过 拟厶，如若，中包含假设厂( 曲= 皆嘉而扛1 ”，贝| j 这个假设的经验风 险满足r e m p f = 0 ，然而把这个厂作为决策函数显然是不妥当的由此我们可 以看出，如果使用经验风险最小化原则，应该适当缩小假设集f ，然后在f 的 范围内寻求使经验风险最小的假设，形式地讲，该学习算法应具有如下的结 构： 算法2 4 ( 学习算法) ( i )给定训练集t = “，m ) ，( 而，乃) ) ( x x y ) 7 ，其中 而x c r “, 奶j ，= - 1 ，l ，f = 1 ，并且给定损失函数c ； ( i i )选择适当的假设集f ； ( i i i )在f 中找出一个使经验风险达到最小值的假设厂( 功，即 厂( x ) = a r g m i n r e m p ( f ) ； ( i v )以f ( x ) 作为决策函数 华东师范大学硕士论文第三章支持向量机分类方法及其相应问题分析 为研究函数集f 在经验风险最小化原则下的学习一致性问题，统计学习理论 定义了一系列有关函数集，学习性能的指标，其中最重要的是v c 维 ( v a p n i k - c h e r v o n e n k i sd i m e n s i o n ) 函数集，的v c 维概念是建立在点集被f “打散的基础上的记乙= 而， 为x c r “中的m 个点组成的集合定 义n ( f ，z 艉) 为当厂取遍f 中的所有可能的假设时产生的m 维向量 ( ( 五) ，f ( x m ) ) 的个数称乙被f 打散，如果n ( f ，z 历) = 2 1 定义2 5 ( 增长函数) 增长函数( f ，m ) 定义为 n ( f ，m ) = m a x n ( f ，乙) ：z _ cx ) 假设集，能打散的点的个数越多，表明f 的“表达能力”越强，的v c 维就是使n ( f ，m ) - - 2 ”成立的最大的m 的值 定义2 6 ( v c 维) 设假设集f 是一个由x 上取值为l 或1 的函数值组成的 集合定义f 的v c 维为 v c d i m ( f ) = m a x 伽：n ( f ，聊) = 2 _ ) 当 m ：n ( f ，聊) = 2 ”) 是一个无限集合时，定义v c d i m ( f ) = o o v c 维是统计学习理论的一个核心