（通信与信息系统专业论文）支持向量机在企业财务预警中的应用研究.pdf

支持向量机在企业财务预警中的应用研究 摘要 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，简称s v m ) 是在统计学习理论基础上发 展起来的一种新型的机器学习方法，通过采用结构风险最小化原则，s v m 较好 的解决了有限样本学习的问题。它拥有众多的优良特性，如利用核函数避免解的 局部最小、具有解的稀疏性、通过界限的作用达到容量控制或支持向量数目的控 制等等，在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势。 学术界普遍认为它是继神经网络之后的一个新的研究方向。 本文首先对支持向量机的理论基础进行了研究和探讨，并对s v m 这一更具 构造性的机器学习方法的研究现状以及主要改进算法做了综述和比较说明：针对 支持向量机目前存在的主要问题进行了分析。对于针对具体问题所使用的算法、 核函数和参数选择也做了相应的研究。进而将主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，简称p c a ) j i 支持向量机( s v m ) 结合，提出一种分行业、适用有限样本 空间的财务预警模型：以传统财务指标为基础，通过主成分分析，简化输入向量， 并利用s v m 作为判别企业状态的工具。 本文利用s v m 提取优秀企业各比率之间的内在相关知识，在小样本量、高 维数、强噪声、非线性的数据条件下，通过对企业财务数据的分析处理，得到对 企业状态的准确预测，作为评判企业状态的依据，克服了以往在区分企业状态方 法上线性判别的局限性，也克服了有限样本条件下b p 网络推广能力不强的缺陷。 关键词：支持向量机，企业财务预警系统，统计学习理论，主成分分析，b p 神 经网络 a p p li c a t i o na n dr e s e a r c ho fs v mo nf i n a n c ee a ri y w a r n i n gs y s t e m a b s t r a c t t h r o u g ha d o p t i o no fs t r u c t u r er i s km i n i m i z a t i o np r i n c i p l e ，s u p p o r tv e c t o rm a c h i n e ( s v m ) w h i c hi so n en e wm a c h i n el e a r n i n gm e t h o db a s e do i lt h es o l i dt h e o r y f o u n d a t i o no fs t a t i s t i c a ll e a m i n gt h e o r ys o l v e st h el i t t l e s a m p l es t a t i s t i cl e a r n i n g p r o b l e m ，a n di sb e c o m i n gt h en e wr e s e a r c hf o c u sa f t e rn e u r a ln e t w o r kw i t hs u c h a d v a n t a g e sa su s i n gk e r n e lf u n c t i o nt oa v o i dl o c a lm i n i m a lp o i n t ，s p a r s en a t u r eo f s o l u t i o n s ，l i m i tu s e dt oc o n t r o lc a p a c i t yo rt h en u m b e ro fs u p p o r tv e c t o r s t h et h e s i sd e s c r i b e sa n de x p l o r e st h et h e o r yf o u n d a t i o no fs v m ，a n dm a k e sa s u m m a r i z a t i o nf o rp r e s e n ts t u d i e s ，ac o m p a r i s o nb e t w e e nm a i ni m p r o v e da l g o r i t h m s o nt h i sb a s i sa n da na n a l y s i so nt h em a i np r o b l e mi ns v m ，e s p e c i a l l yi nt h es e l e c t i o n a n dt u r n i n go fs v mp a r a m e t e r si ns p e c i f i cm e t h o d o nt h i sb a s i s ，c o m b i n a t i o no f p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) a n ds v m ，af i n a n c ee a r l yw a r n i n gm o d e l a p p l i c a b l et od i f f e r e n ti n d u s t r ya n dl i t t l e s a m p l es p a c ei sp r o v i d e dw h i c hd e c i d e st h e e n t e r p r i s es t a t u sb a s e do nt r a d i t i o n a lf i n a n c eg u i d e l i n ea n dt h r o u g ht h em a i ne l e m e n t a n a l y s i st os i m p l i 毋t h ei n p u t a b s t r a c tt h ei n t e rc o r r e l a t i o nt h r o u g hs v mb e t w e e nt h ee x c e l l e n te n t e r p r i s er a t e s ， u n d e rs u c hd a t ac o n d i t i o na ss m a l ls a m p l e ，h i g hd i m e n s i o n ，b i gn o i s ea n dn o n l i n e a r r e l a t i o n s h i p ，t h et h e s i sa n a l y z e st h ee n t e r p r i s ef i n a n c ed a t aa n dg e t st h ea c c u r a t e p r o g n o s t i c a t i o n f o r e n t e r p r i s e s t a t u sa s s e s s m e n t t h i sm e t h o do v e r c o m e st h e l o c a l i z a t i o no fl i n c a r i t yd i s t i n g u i s hi no l dm o d e l sa n dn e e d sl e s ss a m p l e st ot r a i nt h e n e tt h a nb pn e u r a ln e t 、o r k k e y w o r d s ：s u p p o r tv e c t o rm a c h i n e s ，f i n a n c ee a r l yw a r n i n gs y s t e m ，s t a t i s t i c a l l e a r n i n gt h e o r y , p r i n c i p a lc o m p o n e n ta n a l y s i s ，b pn e u r a ln e t w o r k 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含未获得 ( 洼! 垫遗直甚丝盂噩挂别直盟 鲍：奎拦卫窒2 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 签字日期：年月 日 学位论文作者毕业后去向 工作单位： 通讯地址： 导师签字叮彰锄 签字目期：护年j 月叩日 | 电话 邮编 支持向皿机在企业财务预警中的应用研究 1 绪论 基于数据的机器学习是现代智能技术中的重要研究内容，而从观测数据( 样 本) 出发，以一定的学习算法来实现对企业状态的预警正是其具体应用之一。但 企业预警中普遍遇到的小样本量、高维、非线性的数据特征已成为制约其准确度 的瓶颈：因此，研究在小样本量、高维数据环境下的企业财务预警方法显得尤为 迫切。在统计学习理论( s t a t i s t i c a ll e a r n i n g t h e o r y ，简称s l t ) 基础上发展起来 的新的通用学习方法支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 目前 已经应用到很多方面，表现出很多优异的性能，为有限样本情况下的机器学习提 供了良好的实现技术和手段，其突出的推广性能已激起众多研究者的热情。将支 持向量机方法应用到企业财务预警当中，以提高系统预测准确度以及学习模型的 推广性能是本文的主要研究内容。 1 1 选题背景及其研究意义 1 1 1 选题背景 中国加入w t o 后，中国企业比以往面临着更大的机遇和挑战，面对经济全 球化的冲击，面对外国公司的抢摊威胁，面对知识经济带来的竞争压力，企业面 i 临的不确定性日益增大，由财务危机而引发企业破产的例子屡见不鲜。但任何财 务危机都有一个逐步显现、恶化的过程，因此我们可以通过财务预警系统及时了 解各种异常征兆，迅速的采取措施，从而达到防范风险或是将损失减到最小程度 的目的。建立一套财务预警系统，是避免企业陷入财务危机直至破产的有力武器。 但是，单纯依靠传统财务理论和脑力对企业经营做出判断，显然不能适应现 代经济市场的特征。由此引发了寻找新理论、新工具，采用更加有效的方式对企 业经济状况进行分析、判断的需要。 统计学习理论以及在此理论框架下产生发展的支持向量机方法有着完备的 理论基础和严格的理论体系，其出发点立足于有限样本的假设，更符合实际应用 的数据环境 1 ；在摆脱以样本数目无穷多为假设的理论束缚后，为系统的研究有 支持向量机在企业财务预警中的应用研究 限样本情况下机器学习问题搭建了有力的理论框架和具体实现方法。统计学习理 论为从本质上研究学习问题提供了更为一般性的方法和途径。 目前，支持向量机方法在模式识别、函数估计、密度估计等领域中所表现出 令人向往的优良特性和不俗的应用效果已引起众多研究人员的兴趣【2 】。对于智能 技术和机器学习领域的研究工作者，密切关注和深入研究这一新兴的理论和技术 是十分必要的。 1 1 2 研究意义 任何企业的财务危机绝非朝夕之间突如其来，往往是企业管理者对财务风险 的监测与危机前的种种征兆重视不够，未能及时采取措施，以至于财务危机不断 恶化，最后引致危机爆发。因此，对企业的财务运营过程进行跟踪、监控，及时 发现企业财务管理中存在的问题，及早察觉财务危机的信号，预测企业的财务危 机，使经营者能够在财务危机出现的萌芽状态采取有效措施改善企业经营管理， 预防失败，以提高管理质量【3 1 。从国内外财务预警系统的研究现状可以看出，当 前大多数理论己比较成熟，且有很好的预警能力。但由于受到数据据过大，计算 复杂等因素的限制，不能为企业提供实时、有效的财务预警机制。因此，有必要 借助新的方法与技术来实现财务预警系统。 支持向量机作为一门新兴的技术方法尽管在诸多领域已表现出优良的学习 推广性能，但较多的集中在手写体数字识别、文本识别、人脸检测、故障诊断、 图像处理等领域”。而在企业预警这样复杂的、高噪声且低质量的样本数据条件 下的应用研究相对较少，其可行性与应用效果有待于深入探讨和研究。与其理论 研究相比，应用研究相对比较滞后。另外，如何适应特殊的、复杂的数据环境以 及算法的具体应用设计、改进与实现都是目前支持向量机应用研究的热点和难 点，其理论和应用意义很大。 1 2 支持向量机理论的发展概况及研究现状 1 2 1 支持向量机理论的发展概况 作为s v m 的奠基者v v a p n i k 早在6 0 年代就开始了统计学习理论的研究 支持向量机订：企业财务预替中的应用研究 v a p n i k ，19 6 3 ：19 71 年，vv a p n i k 和a c h e r v o n e n k i s 在“t h en e c e s s a r ya n d s u f f i c i e n tc o n d i t i o n sf o rt h eu n i f o r m sc o n v e r g e n c eo f a v e r a g e st oe x p e c t e dv a l u e s ” 一文中，提出了s v m 的一个重要的理论基础v c 维理论。 1 9 8 2 年，在“e s t i m a t i o no f d e p e n d e n c e sb a s e do ne m p i r i c a ld a t a ”一书中， v v a p n i k 进一步提出了具有划时代意义的结构风险最小化原理，堪称为s v m 算 法的基石。 19 9 2 年，b o s e r g u y o n 和v a p n i k 在“a t r a i n i n ga l g o r i t h mf o ro p t i m a lm a r g i n c l a s s i f i e r s ”一书中，提出了最优边界分类i 黯： b o s e r , 1 9 9 2 。 1 9 9 3 年，c o r t e s 和v a p n i k 在“t h es o f tm a r g i nc l a s s i f i e r ”一书中，进一步 探讨了非线性最优边界的分类器 c o r t e s ，1 9 9 3 。 1 9 9 5 年，v _ v a p n i k 在“t h e n a t u r e o f s t a t i s t i c a l l e a r n i n g t h e o r y ”一书中，完 整的提出了s v m 分类。 1 9 9 7 年，vv a p n i k ，s g o k o w i c h 和a s m o l a ，发表的“s u p p o r t v e c t o r m e t h o d f o rf u n c t i o na p p r o x i m a t i o n r e g r e s s i o ne s t i m a t i o na n ds i g n a lp r o c e s s i n g ”一文中， 详细介绍了基于s v m 方法的回归算法和信号处理方法。 v v a p n i k 对统计学习理论及s v m 的研究作了开拓性的工作，b s c h 6 1 k o p f , j s h a w e t a y l o r , d a m c a l l e s t e r , r h e r b r i c h 等学者在s v m 及相关理论方面进行 了深入研究m ，6 ，”，j c p l a t t ，s sk e e r t h i 等学者在s v m 的实现算法方面成绩斐 然”1 。同时，国内研究也取得了长足的进展，清华大学张学工博士将v v a p n i k 的经典著作( ( t h en a t u r eo f s t a t i s t i c a ll e a r n i n gt h e o r y ) ) 一书译成中文于2 0 0 0 年9 月出版12 1 ，推动了国内统计学习理论以及s v m 方法的研究；国立台湾大学 的林智仁博士在s v m 实现算法的收敛性研究方面作了大量工作”i 。 1 2 2 支持向量机理论的研究现状 由于s v m 算法的潜在应用价值，吸引了国际上众多的知名学者，近几年出 现了许多发展和改进的支持向量机算法，如文献 1 0 ，1 1 所述；有关非线性s v m 中核的研究方法。值得一提的是：1 9 9 8 年，s m o l a 在他的博士论文中详细研究了 s v m 算法中各种核的机理和应用，为进一步完善s v m 非线性算法做出了重要的 贡献。 支持向量机在企业财务预警中的应用研究 s v m 在模式识别领域已经有了一些应用，如手写体数字识别、人脸识别与 人脸检测以及文本分类等各种领域。此外，s v m 还很好的应用于时间序列分析 和回归分析等领域的研究。例如，m i t 、b e l ll a b 和微软研究所等己成功的将s v m 算法应用于动态图像的人脸跟踪、信号处理、语言识别、图像分类和控制系统等 诸多领域。1 1 3 1 1 3 研究工作的内容 随着现代智能技术的不断发展，其应用领域不断延展，从当初单纯的工程技 术领域，早已进入社会生活的各个方方面面。而企业发展状况如何，与经济发展 紧密相连。将现代智能技术应用于企业状况判断及预测中，具有极大的社会及经 济价值。 上市公司绩效评价及其发展情况预测是经济管理领域的一项新的研究课题， 也是社会主义市场经济体制条件下企业的一项新的实践活动。企业绩效评价，是 指为了实现企业的战略目标，运用特定的指标和标准，采用科学的方法，对企业 经营过程及其结果进行的价值判断。纵观近几年中国绩效评价实践，国内有关部 门和研究机构虽然对绩效评价工作进行了积极的探索，但中国企业的绩效评价体 系仍然尚未完全建立，特别是对上市公司的绩效评价仍然缺乏科学、系统和可操 作性的评价体系。 本文以上市公司财务数据为基础，将支持向量机理论应用于企业绩效评价及 其发展情况预测。利用支持向量机善于处理小样本量、高维、非线性的数据的特 点，通过对其进行改进，寻找输入财务数据与企业状态之间的关系，使其能够根 据企业的财务状况对企业的发展进行准确的预测。 1 4 本文的组织结构 第一章作为绪论，从总体上概述本文选题背景、意义以及相关领域的发展和 现状； 第二章简要介绍了企业财务预警系统，明确了预警系统的概念、功能、意义 以及发展现状； 第三章从学习问题的一般表示、统计学习理论等角度对支持向量机的理论基 支持向量机框企业财务预警中的应用研究 础进行了描述和探讨； 第四章对s v m 这一更具构造性的机器学习方法目前的研究现状以及主要改 进算法作了综述和比较说明； 第五章作为本文的重点，着重讲述一种改进的支持向量机方法在企业财务预 警当中的应用，解决企业预警的多类划分问题，并以实际上市公司的财务数据作 为支持进行试验验证。 第六章总结并展望支持向量机的发展前景。 支持向量机在企业财务预警中的应用研究 2 企业财务预警系统 2 1 企业财务预警的概念 预警原义是指在敌人进攻之前发出警报，以做好防守应战的准备。1 9 世纪 末，人们开始把预警思想应用于经济领域，但主要是对宏观经济的预测与警示， 以显示一个国家经济运行过热或过冷的不良状态。直到2 0 世纪6 0 年代，欧美一 些国家才开始将预警思想运用于微观经济领域，对企业的经营状况进行事前监 测，以便在企业经营出现险情之前，发出警告，采取措施，加以排除。美国著名 财务学家彼佛0 3 e a v e r ) 、奥特曼( a i r m a n ) 等将预警思想运用于企业财务领域，以 对企业财务危机进行预警【1 4 】【1 5 】。 随着预警思想的广泛运用，极大地丰富了预警的含义。预警的一般含义可概 括为：预警是指人们通过一定的方式对事物的逆境状态进行监测，判断逆境发生 的可能性，并发出警戒信号的过程。预警按其性质可分为经济预警和非经济预警 ( 如军事预警、社会预警) ；按其范围可分为宏观预警和微观预警；按其时间可分 为短期预警和长期预警。【1 6 】 通过上述对预警一般含义的认识，再结合财务管理的基本知识，我们可以知 道所谓企业财务风险预警系统，是指为了防止企业财务系统运行偏离预期目标而 建立的报警系统f 1 ”。财务预警就是对企业的财务危机进行监测具体来说就是： 以企业的财务报表、经营计划及其他相关的财务资料为基础，通过对企业的经营 成果、财务状况及其变动等进行分析和预测，及时发现企业在经营管理活动中存 在或潜在的经营风险和财务风险，判断财务危机发生的可能性，并向经营者发出 警告，为其提供决策依据，督促其采取有效措施。 2 2 财务预警系统的功能 一个有效的财务预警系统具有以下五大功能： 1 、信息收集。它通过收集政治、经济、政策、科技、金融、各种市场状况、 支持向皿机铂：企业财务顶警中的应用研究 竞争对手、供求信息、消费者等与企业发展有关的信息，集中精力分析处理那些 对企业经营和发展有重大或潜在重大影响的外部环境信息，同时结合企业自身的 各类财务和生产经营状况信息，进行分析比较。 2 、预知潜在的财务危机。经过对大量信息的分析，获得财务危机的先兆信 息，当出现可能危害企业财务状况的关键因素时，财务预警系统能预先发出警告， 提醒经营者早作准备或采取对策以减少其给企业带来的损失。 3 、控制发生的财务危机。当企业出现财务危机时，一方面财务预警系统密 切跟踪危机的进展，另一方面迅速寻找导致财务状况恶化的原因，使经营者有的 放矢，对症下药，制定有效的措施，阻止财务状况的进一步恶化。 4 、提供对策。当企业出现财务危机时，能够提供有效的、便于操作的处理 财务危机的基本对策和方法，起到辅助决策的作用。 5 、避免类似财务危机再次发生。财务预警系统通过详细地记录财务危机发 生的原因、处理经过、解决的措施以及处理的反馈与改进意见，对企业现有财务 管理及经营中存在的缺陷提出改进建议，不断增强企业的免疫能力，同时不断完 善财务预警系统。 从总体上说，构建企业财务预警管理系统必须完成以下三个方面的工作： 一是对企业财务管理风险的监测、识别与评价，以此明确并预控企业财务活 动状态和财务活动的过程与结果：二是建立企业财务预警管理系统的评价指标体 系；三是构建企业财务预警的运作流程与对策系统。 上述三个目标的完成，必须依靠特别的预警评价指标才能进行，否则，预警 系统的工作将处于经验性，随机性，不统一的过程。为此，企业财务预警系统要 建立对企业财务管理状态，过程监测，评价的指标及其体系。 2 3 建立财务预警系统的原则 建立财务预警系统的目的性很明确，它利用财务分析方法，对企业财务危机 进行监测，使企业管理层及时了解和掌握危机信息，以便采取危机防范措施，保 持企业继续健康发展。要实现这个目标，财务预警系统必须遵循以下基本原则： 1 科学性原则。所谓科学性是指财务预警系统的监测方法和监测指标设计 必须科学。监测方法科学是前提，如果方法不科学，就不能得出科学的结论，那 支持向量机在企业财务预警中的应用研究 么据此做出的经营管理决策将造成严重的后果。监测指标设计的科学性要求财务 危机监测指标应能够准确反映各组相关财务数据的内在联系，揭示财务运行规 律，如实反映企业经营管理和财务活动的潜在危机。 2 系统性原则。这要求财务预警系统必须把企业作为一个整体来考虑。财 务预警系统不仅要求监测指标具有先进性，而且要求监测对象必须具有完整性和 全面性。即要求财务预警系统应对企业可能面临的内外部风险进行监测，而且对 各个影响因素都予以充分的考虑，做到监测指标不重复、不遗漏，使监测指标体 系能够全面真实反映企业的风险程度。 3 预测性原则。这要求财务预警系统必须具有预测未来的价值，即它应依据 企业经营活动中形成的历史数据资料分析预测未来可能发生的情况，而不是对企 业过去的经营成果和受托管理责任履行情况做出考核评价。所以，监测指标设计 必须注意财务预警系统与财务评价系统的区别，并通过对潜在危机的监测，帮助 企业采取有效措施加以防范，把危机消灭在萌芽状态，防患于未然。 4 动态性原则。它要求财务预警系统必须是一种动态的分析监测，要把过 去与未来连接在一起，在分析过去的基础上，把握未来的发展趋势。动态性还体 现在这个财务预警系统必须根据市场经济的发展、企业危机的变化而不断修正、 补充系统的内容，做到“与时俱进”，确保财务预警系统的先进性。 5 及时性原则。“预警”是一种预报，即在企业的经营情况及财务状况出现 恶化或发生险情之前，就能够及时地亮出“黄牌”，发出警报。如果预警系统不 及时，等到危机发生之后，才拉响警报，而此时“木己成舟”，预警已经毫无意 义，不仅不能起到警示作用，而且会造成严重的后果，也浪费了企业构建财务坝 警系统所耗费的人力物力。从某种意义上来说，及时性是财务预警系统的灵魂。 6 实用性原则。财务预警系统最根本的还是要运用于实践，即具有实用性。 这要求所设计的财务预警系统应非常直观地反映企业经营活动的潜在危机，使使 用者一看就懂，就能理解和掌握：实用性还要求所选择的财务预警系统的监测指 标应能反映敏感的问题，即预报的信号要明确，判断要简单，不能把指标搞得过 于复杂。【1 8 】 支持向量机柏：企业财务预警中的应用研究 2 4 企业财务预警的意义 构建一个有效适用的财务预警系统，对财务运营做出预测预报，无论从哪个 立场分析都是十分必要的。经营者能够在财务危机出现的萌芽阶段采取有效措施 改善企业经营，预防失败：投资者在发现企业的财务危机萌芽后及时处理现有投 资，避免更大损失：银行等金融机构可以利用这种预测，帮助做出贷款决策并进 行贷款控制；相关企业可以在这种信号的帮助下做出信用决策并对应收账款进行 有效管理；注册会计师也可利用这种预警信息确定其审计程序，判断该企业的前 景。 总之，在竞争激烈的市场经济舞台，总有些企业因失误没表演成功，甚至陷 于危机，但任何危机都有一个逐步显现、不断恶化的过程，也最终会通过财务指 数反映出来。及早察觉危机的信号，及时对发现的问题进行分析并采取有效措施， 化逆境为顺境，是包括成功企业在内的任何企业所必需的。针对我国当前企业效 益滑坡、停产半停产等逆境现象严重的国情，其现实意义尤为明显。小而言之， 它能保证企业的成长，促进经济的发展：大而言之，它是企业避防风险或摆脱危 机的理论，对构建企业现代化的经营管理机制和提高管理水平具有普适性意义； 2 5 财务预警的发展现状 目前，识别企业财务风险的方法分为定性和定量两种。传统方法大都是从定 性分析出发，选定研究对象，落实到定量分析，通过对企业多项指标进行分析， 反映、预测企业的运行状况。其中，应用较为广泛的主要有：单变量分析模型、 多变量z s c o r e 模型”1 、在z s c o r e 模型基础上的改进模型及人工神经网络的应用。 由于神经网络在模式识别领域的良好表现，也被广泛用于金融( 经济) 领域，建 立新的预警模型。 胡燕京2 0 睫用改进的b p 神经网络方法，建立中国金融风险预警模型，杨保 安【”1 利用三层b p 神经网络可以以任意精度逼近非线性函数的特性，利用b p 网 络作为对企业状态进行分类的工具。另有王琦、黄继鸿【2 2 1 提出的基于多智能体 ( a g e n t ) 的企业预警支持系统，将每一种定性或定量的预警方法都设计成一个预警 智能体，各个预警智能体都有相应的求解方法、知识处理及同其它智能体通讯合 支持向量机在企业财务预警中的应用研究 作的能力而且各个智能体都有不断地学习以提高自己的能力，从而提高预警系统 的准确性。胡一朗2 纠提出模糊模式识别理论模型，通过建立相对隶属度矩阵和超 标权重矩阵通过理论模型作用于指标值矩阵，构造出模糊识别矩阵，实现对金融 危机的预警研究。定性与定量结合预警分析方法：“a ”记分法【2 “，也称管理记 分法，该方法首先将与企业风险有关的各种现象或标志性因素列出，依据它们对 企业经营失败的影响大小进行赋值，然后将一个企业的所得数值或记分加起来， 就可以知道该企业的确切风险程度。 以上方法在对企业分类方面作了大量的工作，但是由于企业预警中普遍遇到 是小样本量、高维、非线性的数据特征，使其在准确度受到很大制约。这就是本 文选题的根本原因之一。 支持向量机托企业财务预警中的应用研究 3 学习问题和统计学习理论 3 1 学习问题的表示 3 1 1 学习问题的一般表示 机器学习的目的是根据给定的训l 练样本，对某系统输入输出之间的依赖关系 进行估计，使它能够对未知作出尽可能准确的预测。其基本模型可以用图3 1 表 示。其中，系统s 是研究的对象，它在给定输入x 下得到一定的输出y ，l m 是 所求的学习机，输出为y 。 图3 - 1 机器学习的基本模型 学习问题可以形式化地表示为：已知输出变量y 和输入x 之间存在一定的未 知依赖关系，即存在一个未知的联合概率e ( x ，y ) ，( x 和y 之间的确定性关系可 以看作是一个特例) ，学习就是根据n 个独立同分布观测样本 ( x l ，y 1 ) ，( 戈2 ，y 2 ) ，- 一，( x 。，y 。) ( 3 - 1 ) 在一组函数 f ( x ，0 9 ) 中求一个最优的函数f ( x ，甜o ) ，使预测的期望风险 r ( c o ) = f ( y ，f ( x ，c o ) ) d p ( x , y ) ( 3 2 ) 最小。其中 f ( x ，) 称作预测函数集，为函数的广义参数，故 f ( x ，) 可 以表示任意函数集：l ( y ，f ( x ，m ) ) 为由r ( x ，) 对y 进行预测而造成的损失。不 同类型的学习问题有不同的损失函数。预测函数也称作学习函数、学习模型或者 学习机器。 学习问题的上述形式化表述的面是很广的，它包括了很多特殊的问题。其中 支持向量机在企业财务预警中的应用研究 的主要问题包括：模式识别、回归函数估计和概率密度估计心1 。 对于模式识别问题，令输出变量y 只取两种值y = 0 ，1 ，并令f ( x ，) ，a 为指示函数集合( 指示函数即只有0 或l 两种取值的函数) 。考虑下面的损失函数； 坳以硼= 0 i f y = 粉 b s ， 对于这个损失函数，( 3 3 ) 式的泛函确定了输出变量y 和指示函数f ( x ，) 所 给出的答案不同的概率。把指示函数结出的答案与训练器输出不同的情况叫做分 类错误，这样学习问题就成了在概率测度p ( x ，y ) 未知，但数据( 3 1 ) 式已知的情 况下，寻找使分类错误的概率最小的函数。 3 1 2 经验风险最小化 要使式( 3 2 ) 定义的期望风险最小，必须依赖于联合概率p ( x ，y ) 的信息，但 是在实际问题中，我们只能利用已知样本式( 3 1 ) 的信息，因此期望风险不能直接 计算和最小化。根据概率论中的大数定理的思想，人们自然想到用算术平均代替 式( 3 2 ) 中的数学期望，于是定义了经验风险 r e m p ( 2 吉善叫y t , f 。一) ) 4 来逼近期望风险。由于昱( 甜) 是用已知的训练样本( 即经验数据) 定义的因 此称为经验风险。用对参数功求经验风险的最小值代替求期望风险的最小值，就 是所谓的经验风险最小化原则( e m p m c a lr i s km i n i m i z a t i o n ；简称e r m 原则) 。 仔细研究经验风险最小化原则和学习问题的期望风险最小化要求，可以发 现，从期望风险最小化到经验风险最小化并没有可靠的理论依据，只是直观上合 理的想当然做法f 2 】。首先，r e m p ( ) 和r ( 国) 都是的函数，概率论中的大数定理 只是说明了( 在定的条件下) 当样本趋于无穷多时月( 甜) 将在概率意义上趋 近于r ( 缈) ，并没有保证使r e m p ( 缈) 最小的。与使r ( ) 最小的( 9 0 是同一个点， 支持向量机在企业财务预警中的应用研究 更不能保证能够r 。，( c o 。，) 趋近于尺( ) 【2 5 】；这可用图3 - 2 说明。 矽，砷 图3 - 2 ： 经验风险最小并不一定意味着期望风险最小 其次，即使我们有办法使这些条件在样本数无穷大时得到保证，我们也无法 认定在这些前提下得到的经验风险最小化方法在样本数有限的情况下仍能得到 好的结果。 3 1 3 学习问题中存在的困难 学习问题的困难一是学习样本不充分，二是学习模型设计不合理；这两个问 题是互相关联的。因为学习模型的复杂性不但和要研究的系统有关，而且要和有 限的样本相适应，这就出现了学习精度和推广性之间的矛盾。 其实上述两个困难可归结于一点，即样本量有限。如果样本量不受限制，也 有足够的计算资源来处理这些样本，则完全可以把分布p ( x ，y ) 恢复出来或直接 计算任一点输出y 的值。但是，有限样本是普遍存在的问题，在大多数情况下我 们是不能够得到充足样本的。 3 2 统计学习理论 与传统统计学相比，统计学习理论( s l t ) 是一种专门研究小样本量情况下机 器学习规律的理论。v a p n i k 等人从六、七十年代开始致力于此方面研究，到九十 年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上 缺乏实质性进展，统计学习理论- 刀：始受到越来越广泛的重视。 支持向量机在企业财务预警中的应用研究 目前，统计学习理论被认为是针对小样本统计估计和预测的最佳理论。它从 理论上较系统地研究了经验风险最小化成立的条件、有限样本下经验风险与期望 风险的关系以及如何利用这些理论找到新的学习原则和方法等问题。统计学习 理论主要内容包括四个方面： ( 1 ) 经验风险最小化准则下统计学习一致性的条件； ( 2 ) 在这些条件下关于统计学习方法推广性的界的结论； ( 3 ) 在这些界的基础上建立的小样本归纳推理准则； ( 4 ) 实现新的准则的实际方法。 其中最有指导性的理论结果是推广性的界。与此相关的一个核心概念是v c 维。 3 2 1 函数集的v c 维 v c 维是统计学习理论中的一个核心概念，它是目前为止对函数集学习性能 的最好描述。v c 维反映了函数集的学习能力，v c 维越大则学习模型越复杂( 容 量越大) 。v c 就是取v a p n i k 和c h e r v o n e n k i s 名字的首字组成的。 v c 维：存在一个有h 个样本的样本集，能够被一个函数集中的函数按照所 有可能的2 “种形式分为两类，则称函数集能够把样本数为h 的样本集打散 ( s h a t t e r i n g ) 。指示函数集的v c 维就是用这个函数集中的函数所能够打散的最 大样本集的样本数目。 若对任意数目的样本集都有函数能将它们打散，则函数集的v c 维是无穷 大。有界实函数的v c 维可以通过用一定的阈值将它转化成指示函数来定义。 利用v c 维的概念，结合统计学习的一系列定理，可以得到一个非常重要的 结论：经验风险最小化学习过程一致的充分必要条件是函数集的v c 维有限，且 这时收敛速度是快的。 3 2 2 推广性的界 如果损失函数l ( y ，f ( x ，出) ) 为一般的有界非负实函数，即 支持向量机在企业财务预警中的应用研究 0 l ( y ，f ( x ，c o ) ) b( 3 - 5 ) 则有以下的结论：对于函数集中的所有函数f 包括使经验风险最小化的函 数) ，下面的关系至少以概率1 q 成立 扣，+ 争肛挈，仔s ， 其中： = 4h ( 1 “百2 n + 1 ) _ l n ( ) ( 3 7 ) 盯 这一结论从理论上说明了学习模型的实际风险是由两部分组成的：一是经验 风险( 训练误差) ，另一部分称作置信范围( 即3 6 式右边第二项) 。置信范围不 但与蚤信水平1 一n 有关，还和学习模型的v c 维及训练样本数有关，且随着它的 增加而单调减小。( 3 - 6 ) 式可以简单地表示为 r ( 彩) sr 。( ) + ( 鲁) ( 3 - 8 ) 进一步研究发现，当n h 较小时( 比如小于2 0 ，此时我们说样本数较少) ， 爱信范围较大，用经验风险近似真实风险就有较大的误差，用经验风险最小化取 得的最优解就具有较差的推广性；如果样本数较多，则n h 较大，置信范围就会 很小，经验风险最小化的最优解就接近实际的最优解。 另一方面，对于一个特定的问题，其样本数n 是固定的，学习机器的v c 维 越高( 复杂性越高) 则置信范围越大，导致真实风险与经验风险之间可能的差别 越大。这就是为什么某些学习模型会出现过学习现象的原因。因此设计学习模型 时不但要使经验风险最小，还要尽量使v c 维小，以缩小置信范围，刁能取得较 小的实际风险，即对未来样本有较好的推广性能。 3 2 3 结构风险最小化( s r m ) 原则 从上面的结论看到，经验风险最小化原则在样本有限时是不合理的，因为此 时置信范围较大。事实上，在传统方法如神经网络设计中，选择学习模型和算法 支持向量机在企业财务预警中的应用研究 的过程就是调整置信范围的过程；如果模型比较适合现有的训练样本( 相当于 n h 值适当) ，则可以取得比较好的效果。但因为缺乏理论指导，这种选择只能依 赖先验知识和经验，造成了网络设计对使用者“技巧”的过分依赖。 有了式( 3 - 8 ) 的理论依据，我们就可以用另一种策略来解决这个问题，就是首 先把函数集s = 扩( x ，形) ，形a 分解为一个函数子集序列( 或叫子集结构) ， s 1 亡s 】c cs tc cs 使各个子集能按照h 的大小排列，也就是按照v c 维的大小排列，即 h l 茎h ，蔓h ts 这样在同一个子集中置信范围就相同；然后在每一个子集中寻找最小经验风 险，通常它随着子集复杂性的增加而减小。选择最小经验风险与置信范围之和最 小的子集，就可以达到期望风险的最小，这个子集中使经验风险最小的函数就是 待求的最优函数。这种思想称为结构风险最小化或者有序风险最小化原则 ( s t r u c t u r a l r i s k m i n i m i z a t i o n ：简称s r m 原则) 【2 1 。如图3 3 所示。 风险 一8 函数集子集：s cs tcs ，vc 维：h i ，sh j 图3 - 3 ：结构风险最小化示意图 支持向量机枉企业财务预警中的应用研究 4 支持向量机 4 1 支持向量机基础 统计学习理论从9 0 年代以来受到越来越多的重视，很大程度上是因为它发 展出了支持向量机这一通用的学习方法。支持向量机是一种非参数机器学习方 法，较好地实现了结构风险最小化( s r m ) 原则的设计思想；困扰以往机器学习方 法的许多问题，如神经网络中的模型选择问题、过学习与欠学习问题、非线性和 维数灾难问题以及局部极小点等问题在s v m 中都得到了较好的解决。 支持向量机的基本思想可以概括为：它通过某种事先选择的非线性映射将输 入向量x 映射到一个高维特征空间z ，然后在这个特征空间中构造最优分类超平 面口i 。上面的非线性映射是通过定义适当的内积函数实现的。其结构如图4 - 1 所 示。 输出( 决策规则) ，。叫4 r 耳z 1 1 一i + 6 i r l 权值w 一口， 基j ：支持晦量x ，x i 的非 螋懒c 内积) 输入向量x c 。j j 。) 图4 - 1 ：支持向量机示意图 用支持向量机在线性不可分情况下进行模式分类的方法，关键的思想是利用 核函数把一个复杂的分类任务映射转化成一个线性分类问题，在高维特征空间构 造具有最大间隔的分类超平面。s v m 的学习问题就是寻找最大间隔分类超平面 的问题。而最大间隔分类超平面可以通过解决一个二次规划问题获得：其中包括 线性可分、非线性可分和带有噪音的情况。线性可分时可以在输入空问构造分类 支持向量机在企业财务预警中的应用研究 超平面，非线性可分时利用核函数映射；考虑噪音数据时引入松弛变量构造分类 超平面。s v m 符合结构风险最小化原则，它在保持训练错误固定的情况下控制 分类超平面集合的复杂性，使得置信范围最小，从而使测试错误的上界最小。 4 1 1 最优分类面 s v m 是从线性可分情况下的最优分类面发展而来的，基本思想可用图4 2 的两维情况说明。图中，实心点和空心点代表两类样本，h 为分类线，h l 、h 2 分别为过各类中离分类线最近的样本且平行于分类线的直线，它们之间的距离叫 做分类间隔( m a r g i n ) 。所谓最优分类线就是要求分类线不但能将两类正确分开 ( 训练错误率为0 ) ，而且使分类间隔最大。 图4 2线性可分情况下的最优分类线 假设给定的样本集为 ( x l ，y ) ，( 石2 ，y 2 ) ，( _ ，y ) ) ，其中一r 。，y f + 1 ) 。 经过归一化处理，分类线h 与h l 、h 2 的方程总可以表示为下面的形式： 打：w 苫+ 6 = o i ： w x - b 。l 2 ： w 工一5 = 一l 此时 h l 、h 2 上的点距分类线h 的足巨离均为佩1 ，分类间隔为面。使分类间隔 最大相当于是恻1 2 ，而训练错误率为。意味着对所有的样本( x ，y ，) 有 支持向量机在企业财务预警中的应用研究 y ( 珊x 。+ b ) 一1 0