（管理科学与工程专业论文）商业银行内部信用评级与支持向量机应用研究.pdf

商业银行内部信用评级与支持向量机应用研究 研究生姓名：李波导师：何建敏教授学校名称：东南大学 摘要 我国商业银行业务中的主要风险，仍然是信用风险。在全球竞争的背景下，提高我国 商业银行的信用风险管理能力至关重要。信用评级是一个“古老”的问题，信用评级系统 是商业银行信用风险管理的基础，也是信贷业务管理的支撑。随着全球金融竞争背景的变 化，精确计量信用风险技术、风险调整收益计算以及资本充足率计算等各方面的需求均对 作为基础的信用评级体系提出了更高的要求。髓着信息技术的飞速发展，使用高级机器学 习模型和人工智能方法处理信用评级问题，构建精确、定量的信用评级系统将是未来的主 要研究方向，并且可以的极大地推动商业银行信用风险管理水平的提高。 本文首先对商业银行内部信用评级的相关理论和问题进行了详细的分析和研究，对统 计方法应用于信用评级存在的问题进行了详细的说明，并提出了解决方法。 接着，本文简要研究了统计模式识别的各种经典方法，并指出了这些方法在信用评级 问题中的适用性。 然后，本文详细研究了关于统计学习和支持向量机的相关理论和算法，并详细说明了 支持向量机相对于一般分类方法在泛化能力上的优越性。 最后，本文使用上市公司数据，对s v m 在信用分析中的应用效果进行了实证分析， 并与b p 神经网络模型进行了对比，证明了该方法适于处理这类数据。在实证分析的基础 上，结合商业银行的管理需要和业务特点，本文得到了一系列关于支持向量机模型用于信 用评级问题的结论，并对未来的深入研究进行了展望。 关键词信用评级；专家分析法；线性判别；神经网络；支持向量机 c o m m e r c i a lb a n k si n t e r n a lc r e d i tr a t i n ga n d a p p l i c a t i o n r e s e a r c ho ns u p p o r tv e c t o rm a c h i n e g r a d u a t e ：l i b o s u p e r v i s o r ：h ej i a n m i n s o u t h e a s tu n i v e r s i t y a b s t r a c t r i s kf a c i n gc h i n ac o m m e r c i a lb a n k si ss t i l lc r e d i tr i s km a i n l y i t sp a r t i c u l a r l yi m p o r t a n tf o r d o m e s t i cc o m m e r c i a lb a n k st oi m p r o v et h e i rr i s km a n a g e m e n ta b i l i t yw h e nc o m p e t i n gg l o b a l l y c r e d i tr a t i n gs y s t e mi st h ef u n d a m e n t a lo fr i s km a n a g e m e n tf o rc o m m e r c i a lb a n k s ，a n ds u p p o r t s t h eo p e r a t i o no fc r e d i tb u s i n e s s e sa sw e l l w i t ht h ec h a n g i n go fg l o b a lf i n a n c ec o m p e t i n g c i r c u m s t a n c e ，r e q u i r e m e n t so fp r e c i s e l yc r e d i tr i s km e a s u r i n g ，e v a l u a t i n go fr i s ka d j u s t e dr e t u r n a n dc a p i t a la d e q u a c y , a l lb r i n gf o r w a r dr e q u e s tt oi n o v a t et h ef u n d a m e n t a lc r e d i tr a t i n gs y s t e m w i t ht h er a p i d l ya d v a n c i n go fi n f o r m a t i o nt e c h l o n o g y , a l la s p e c tf o rf u t u r er e s e a r c hi sa b o u th o w t ob u i l dm a c h i n el e a r n i n ga n da r t i f i c i a li n t e l l i g e n c ea p p r o a c h e sb a s e dc r e d i tr a t i n gs y s t e m t h ep a p e rf o c u s e so nt h e o r i e sa n dp r o b l e m sc o n c e m i n gc o m m e r c i a lb a n k s i n t e r n a lr a t i n g i nd e t a i l ，a n da n a l y z e si s s u e sw h e na p p l y i n gs t a t i s t i c a la p p r o a c h e st oc r e d i tr a t i n gt o o t h e nt h ep a p e rs t u d i e sm o s to ft h ec l a s s i c a lm o d e l so f p a t t e r nr e c o g n i t i o na n da n a l y z e st h e a p p l i c a b i l i t yo f t h e s em o d e l sf o rr a t i n gp r o b l e m f u r t h e r m o r e ，t h ep a p e rs t u d i e st h e o r i e sa n da l g o r i t h mo fs t a t i s t i c a ll e a r n i n gt h e o r ya n d s u p p o r tv e c t o rm a c h i n e ，a n ds h o w si t sa d v a n t a g e so v e ro t h e rm o d e l so ng e n e r a l i z a t i o na b i l i t y a tl a s t ，u s i n gd a t ao fl i m e dc o m p a n i e s ，t h ep a p e rg i v e sap o s i t i v ee x a m p l eo ft h ee f f e c t w h e na p p l y i n gs v mt oc r e d i ta n a l y z i n gp r o b l e m t h ep a p e rc o n c l u d e ss u p p o r tv e c t o rm a c h i n ei s s u i t a b l et op r o c e s sc r e d i tr a t i n gp r o b l e m s k e y w o r d s ：c r e d i tr a t i n g e x p e r ta n a l y s i s l i n e a rd i s c r i m i n a n ta n a l y s i s n e u t r a ln e t w o r k s u p p o r tv e c t o rm a c h i n e 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意。 i 研究生签名：垄数 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和 纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办 理。 期：坦垒! 幽继 东南大学硕士学位论文 前言 刖舀 o 1 选题背景和意义 本文研究的是商业银行内部信用评级问题以及运用模式识别各种模型建立离级评级 系统的可能性。 信用评级问题是一个较“古老”的闯题，各大商业银行以及评级公司均建立了以专家 评级法或有控制的专家评级法为基础的评级体系，国内外学术界也对使用各种统计方法进 行评级和信用分析进行了广泛和深入的研究。以z e t a 模型为代表的多元判别模型已经在 信用分析中得到了广泛应用，一些国外大银行已经开始将神经网络模型等方法应用于信用 风险管理。但由于对信用评级问题认识以及统计方法的局限，当前信用评级过程中主要使 用的仍然是主观性方法。 随着金融竞争背景的剧烈变化，基于v a r ( v a l u ea tr i s k ) 框架进行信用风险精确计量、 基于风险调整收益进行风险成本计量、基于高级内部评级法进行资本充足率计量等各方面 信用风险管理需求既对信用评级结果提出了更高的要求，又推动了从不同角度对信用评级 问题进行深入研究。尤其是对违约概率计算相关问题的理论和应用研究，促进了国内外学 术界和商业界对信用评级问题进行“重新发现”，并推动了对信用评级统计本质问题进行 深入研究。再加上信息技术的飞速发展，使用高级机器学习和人工智能方法处理信用评级 问题，构建精确、定量的信用评级系统将是未来的主要研究方向，并且可以极大的推动商 业银行信用风险管理水平的提高。本文所作的就是这方面的探索性研究，通过结合研究信 用评级问题和模式识别方法，对建立基于数学方法的信用评级系统会遇到的问题进行分 析，提出解决方案，并探讨一些模式识别方法在该领域应用的可能性和效果，具有重要的 理论和现实纛义。这就是本文的选题背景和依据。 o 2 论文框架 商业银行信用评级问题从结构上看，是典型的模式识别问题，但各种复杂统计方法在 这个领域的应用并不显著。它是一门科学，但更多的还是一门艺术，主要依靠专家的经验 进行综合决策。 理论上说，人类的综合决策过程是一种经验积累的学习过程，是可以使用机器学习系 统和人工智能系统进行模拟的。那么，是否可以使用机器学习的手段来替代专家决策，建 立个自动的信用评级系统呢? 东南大学硕士学位论文 前言 单就信用评级问题本身而言，建立一个基于模式识别方法的自动分类系统并非不可能 虽然由于信用评级问题本身具有的各种特点将使得建立这样一个系统会有显著的不 同。本文在第一章中首先介绍的就是信用评级问题的特点给应用统计方法造成的困难，并 提出了一些解决途径。另一方面，信用评级问题是一个应用性问题，能否建立这样一个统 计评级系统，涉及到更加复杂的因素银行的管理目标和需要，第一章还进一步研究了 现代金融背景下的风险管理需求，以对信用评级问题做出深入理解。 就统计方法而言，本文在第二章，根据统计模式识别模型的基本类型：参数和非参数 密度估计法、线性和非线性边界估计法，介绍了多种典型的统计模式识别方法，并简单评 价了这些方法在信用评级问题上的适用性。 本文的主要目的之一，是探讨支持向量机( s v m ，s u p p o r t v e c t o r m a c h i n e ) 在信用分 析问题上的应用前景。因此，在第三章，本文简要介绍了相关的统计学习理论和支持向量 机基本算法，指出了支持向量机在泛化性能上相对于其他方法的优越性。 为了考察支持向量机处理企业财务数据并进行信用分析的能力，本文在第四章使用上 市公司的财务报表数据，进行了实证研究。结果表明，对于这个可分性并不特别良好的数 据集，在没有使用过多先验知识和特别处理的前提下，s v m 模型的分类能力是可以接受并 且相当稳定的。这说明在信用评级问题上使用这种方法是可行的。 o 3 主要创新 本文所做的主要工作和创新主要在两个方面。 首先，本文对信用评级问题进行了深入研究，指出了信用评级问题虽然表面上是典型 的模式识别问题，但是其特征集和寸l l 练集都不完全符合模式识别方法处理问题的前提假 设。因此，本文对这些缺陷进行了研究，并提出了解决方法。而一般研究均忽略了这些缺 陷，侧重于对方法本身的研究。本文所作的这一方面的工作是对已有研究的补充，但可能 还不够深入，可以以此为基础进行深入探讨。 其次，本文对支持向量机模型在信用分析中的应用进行了实证分析，针对企业数据的 特点，设计了较好的增量训练方法，取得了很好的效果。在对于结果的解释上，充分结合 了商业银行风险管理理论和需要，得出了很多符合商业银行风险管理实际的结论。而一般 的研究往往仅仅从模型本身出发，侧重于对模型效果和性能的评价，没有更好的结合银行 的管理需要。因此，本文所作的这方面的工作是很有意义的。 东南大学硕士学往论文第一章信用评级系统研究 第一章信用评级系统研究 信用等级是对债务人信用能力的简单符号化表示，信用等级高的债务人违约概率相对 低于信用等级低的债务人。 信用评级过程的实质是通过综合考虑影响企业偿债能力的各种因素对企业信用能力 进行的评估，本章研究内容主要集中在使用模式识别模型对这个过程进行模拟时面临的各 种问题。 信用评级问题是一个应用性的问题，成功的信用评级系统是与银行的风险管理需求紧 密联系的。因此，本章还将对信用评级的信用风险管理意义进行说明。 1 1 信用评级概述 1 1 1 信用评级的概念 现代信用评级制度一般认为是从1 9 0 9 年穆迪公司对美国2 0 0 条铁路及其证券的评级 开始的。从广义上说，信用评级( c r e d i tr a t i n g ) 是对债务人( o b l i g o r ) 就其将来完全偿 还或按期偿还债务的能力及其可偿债程度进行综合评价的过程【l 】。 美国穆迪( m o o d y ) 公司1 9 9 4 年在全球信用分析一书中指出：“评级之目的，在 于设定一种指标，预测债券发行人未付、迟付或欠付而可能遭至信用损失，所谓信用损失， 一般系指投资人实际收到与发行人约定给付发生金钱短少或延期。” 因此，信用评级实质上是对经济活动中借贷信用行为的可靠性和安全程度进行的分 析，并提供有关信用风险程度的信息，因而有助予投资者、授信人，判断某一投资或债权 发生损失的相对可能性( 在本文后面可以看到，这种损失的相对可能性实质上是与违约概 率和违约损失相联系的) 。 但值得注意的是信用等级仅是对信用风险的独立评价过程，而信用风险仅是投资者在 决策过程中考虑的因素之一，因此信用评级并不提供关于信用工具( f a c i l i t y ) 投资价值的 指导。 从实施主体上看，信用评级主要可以分为内部评级和第三方评级两种。前者由商业银 行自己组织实掩后者由独立的信用评级机构对债务人或债务工具进行的信用评级。就评级 对象来看，信用评级主要可以分为债务人( o b l i g o r ) 评级和债务工具( f a c i l i t y ) 评级。根 据b a s e l 委员会在1 9 9 9 年和2 0 0 1 年分别对g 1 0 国家3 0 家银行和非g 1 0 国家3 5 家银行( 包 括我国) 进行的调查，g 1 0 银行中有3 0 的评级系统是二维的，对借款人的违约概率( p d ， 东南大学硕士学位论文 第一章信用评级系统研究 p r o b a b i l i t yo f d e f a u l t ) 和工具的违约后损失率( l g d ，l o s sg i v e nd e f a u l t ) 分别予以级别 划分。非g 1 0 银行中有1 4 家明确指出评级使用借款人p d 为主要标准，1 2 家银行拥有二 维评级体系，我国银行大都拥有初步的二维评级体系，但两类级别的划分都没有明确和p d 及l g d 挂钩。 本文的研究对象主要是商业银行对债务人进行的内部评级，但是就评级过程和考虑因 素来看，第三方对债券进行的评级与其有相似之处。因此，在说明评级过程和内容时借鉴 其部分内容。 1 1 。2 信用评级的过程和内容 由于风险管理政策和业务目标的不同，不同商业银行的内部信用评级过程和内容所涉 及的具体细节有很大差别，但存在一些基本的共同点。 现代商业银行内部信用评级主要采用的是以专家主观决策为基础的评估方法，为了减 少由于主观决策带来的操作风险，并提高结果的一致性，现代商业银行或评级机构在信用 评级过程中采用了严格的流程、组织结构、制度和定量方法作为保证。例如1 2 ，穆迪公司 的评级过程就是由一套严密的组织结构和流程来支持的，其评级由评级委员会最终确定 的。通常由首席分析师提出召集评级委员会的建议，评级委员会成员至少包括一位管理董 事指定的高级副总裁和首席分析师。另外还将视评级的内容，选择不同级别、不同背景、 不同地区的专家，来形成一个多方位的评级委员会，委员会的专业经验的宽度和深度都足 以应付所面临的信用风险。 银行在采用专家分析法进行评级时，需要考虑多方面的内容。 对企业偿债能力的评估最重要的依据是对企业的财务和非财务状况分析。对企业来 说，最可靠的偿债来源是正常的经营活动产生的盈利。因此，财务分析主要是围绕企业的 盈利能力进行的。企业的盈利能力可以由各种利润率指标进行衡量，例如净利润率、销售 利润率等。各种营运效率指标，例如存货周转率、资产周转率等，可以验证企业盈利能力 的稳定性，因为运营效率低的企业是不可能长久的获得收益的。虽然企业的利润是偿债的 最终来源，但是还款直接依赖于企业的现金流状况。因此，对流动能力和现金流情况的分 析也非常重要。企业的流动能力可以由流动比率等指标来反映，现金流情况则与运营现金 流、投资现金流、筹资现金流等指标相关。在企业正常运营出现问题时，债务需要企业权 益和其他负债来保障，通过债务结构和杠杆比率的分析可以得到相关信息。杠杆比率主要 包括资产负债率等一系列指标，用于反映企业债务的安全性。长短期资金结构及来源则反 映企业债务安排能力和负债经营能力。 4 东南大学硕士学位论文 第一章信用评级系统研究 除了财务分析外，非财务方面的特征也会反映出企业的经营质量并可以对财务数据反 映的信息进行验证。这些非财务因素包括企业管理层特征、企业技术特征、销售特征等等。 对企业财务和非财务信息的分析，一般要在宏观分析和行业分析基础上进行。 由于不同行业的企业各个方面特征的差异非常大，因此，上述的财务分析，尤其是各 种指标比率的对比评估都需要使用行业平均数据作为参照。除了作为参照依据外，行业分 析和宏观分析更重要的作用是提供关于企业环境及其变动的信息，而这种环境变动往往会 对企业偿债能力产生巨大影响。 行业分析的基本内容包括行业竞争结构、成本结构以及其他各种风险趋势。竞争结构 是指行业的集中程度，对行业风险的主要影响是从规模、产品同质性和价格控制能力等几 个方面来体现的。越接近完全竞争的行业企业规模相对越小，产品同质性越高，价格控制 能力也越低，企业的风险也相对越高。行业成本结构是指成本中固定成本与变动成本的比 例，固定成本比重大的行业经营杠杆比较高，则达到平衡点所需的销售量较大，造成竞争 激烈，但在达到盈亏平衡点后，产量越大盈利性越商。行业成熟度也是行业的重要特征， 不同生命周期的行业中的企业营运及财务特征都不一样。例如成长期的行业投资需求高， 现金流情况较差但销售增长也很快，而成熟期行业销售收入稳定，有正的现金流，运营稳 定但投资需求较低。行业依赖性、替代性和监管环境等构成行业其他风险特征，在这些方 面不利趋势的发生往往会使得行业迅速衰退，造成企业偿债能力恶化。 宏观经济对企业偿债能力的影响一般情况下是通过经济波动实现，僵同时政治、经济、 自然等各方面的突发事件也往往会造成严重后果。 在商业银行中，一般有专门的行业分析小组对行业趋势和特征进行研究。例如【引，花 旗银行对航空、汽车等重点行业分别设立了机构，由行业分析专家组进行评估，日本第一 劝业银行也设立了产业调查部对9 8 个行业进行跟踪分析，行业分析的结果用于确定对行 业内企业的评级政策。在行业分析基础上由评级人员或更高级专家评级委员会对企业的财 务、非财务因素进行综合考虑，得到初步的评级结果。初步评级结果和各种结论还要受到 更高级别机构的复审、检查和调整，然后得到比较客观、一致的最终评级结果。同时，当 各种突发事件发生时，评级机构会在企业各种指标还未受到影响发生变化以前，提前对企 业等级进行调整。 综上所述，银行或评级公司的信用评级基本是基于由一系列管理流程、组织机构进行 规范的专家主观评级过程，本文将在后面简要介绍主观评估方法。至于信用评级流程和因 素方面更加具体的内容，本文不做详细讨论，请参阅文献【4 】【5 【6 】 7 】 8 】。 东南大学硕士学位论文第一章信用评级系统研究 1 。2 信用评级的专家方法 1 2 1 专家分析法 专家分析法的主要是依靠专业专家的经验和知识对企业的偿债能力及其发展趋势进 行评估。常用的信用评估要素有“5 c ”，“5 p ”级“l a p p ”等几种形式。“5 c ”即品格( c h a r a c t e r ) 、 能力( c a p a c i t y ) 、资本( c a p i t a l ) 、担保( c o l l a t e r a l ) 和经营状况( c o n d i t i o n ) ；“5 p ”即为 个人因素( p e r s o n a l ) 、目的因素( p u r p o s e ) 、偿还因素( p a y m e n t ) 、保障因素( p r o t e c t i o n ) 和前景因素( p e r s p e c t i v e ) ；“l a p p ”指的是流动性( l i q u i d i t y ) 、适应性( a d a p t i v e ) 、盈利 性( p r o f i t a b i l i t y ) 以及潜力( p o t e n t i a l i t y ) 。这些分析要素基本包括了本文上一节中列举的 各种企业偿债能力影响因素，并且可以由各种财务非财务指标进行描述。 专家主观分析最重要的一点就是要对这些指标和因素进行全面的综合权衡。例如，企 业的偿还债务最可靠的来源是其运营过程中的正常盈利。因此，为了评估企业的盈利能力， 专家必须对企业所处行业的盈利模式有比较清晰的认识，能够根据特定的指标对企业的盈 利能力进行判断。而且，还必须综合考虑行业发展状况、国民经济运行情况等对企业盈利 趋势进行评估。但正如本文前面所述的，影响和反映企业偿债能力的各种因素具有很强的 因果、相关性。例如一个企业虽然盈利能力很强，但是现金流状况较差，在进行分析时就 必须深入分析造成这种情况的原因。例如，是否由于季节性原因，造成企业临时现金匮乏， 还是企业管理不善，或者企业本来就是处于高速成长中投资需求很大。面如果企业处于成 长期，又要深入考虑企业所处行业是否具有支持其长期成长的环境和条件。 从以上分析中可以看出，对企业信用能力的评价是一个非常综合的过程。即使是高级 专家也往往很难将所有因素一次性全面考虑完全，评级结果受到专家自身知识、经验甚至 主观情绪的影响，这使得评级结果的可靠性和一致性都比较差。因此，商业银行在依靠专 业专家进行主观评级时，往往会由多个领域的专家组成跨学科的评级小组或委员会。依靠 专家间的相互讨论来得到对问题的深入了解，并通过各种复审程序来保证结果的可靠和一 致。专家分析法中采用的一些沟通技术如d e l p h i 法、头脑风暴法等，本文不作介绍。 6 东南大学硕士学位论文 第一章信用评级系统研究 1 2 2 信用记分表法 专家分析法的主要优点是综合性强，在严格的流程控制下，基本可以对企业偿债能力 进行综合衡量，而且也可能做到比较客观、一致。但为了取得较好的效果，成本和时间的 花费都很高。受限于人力成本和业务要求，大多数银行都难以对所有业务进行专家分析， 而是寻求各种替代方法。 信用记分表法是对专家决策过程的模拟，在我国商业银行得到了非常广泛的应用。银 行首先根据对专家的调查，确定对企业进行评价时需要考虑的因素和指标，将其做成记分 表。然后再由专家确定每个指标或因素的记分标准和分值以及加权计算方法。信用分析人 员在收集了相关指标数据后，可以直接根据指标标准进行打分，最后得到的分数可以直接 映射到企业信用等级。 信用记分表法的突出优点是特别具有可操作性，在我国由于评级操作人员的素质较 低，因此得到了很广泛的应用。 但是信用记分表法的综合性处理能力确相当有限，尤其是在处理对各个指标分使的加 权求和时，存在严重的线性补偿问题。对于最后总分值的计算，一般是由专家确定每个指 标的权重，然后进行简单的线性加权求和，不同权重实际上反映了不同因素的相对重要程 度。但是，指标闻的重要性关系实际上是高度非线性的，雨且在不同条件和情况下可能会 发生巨大变化。专家主观分析综合时，是可以将这些情况纳入考虑并进行综合评估的，而 简单的加权评分则难以做到这点。面且，由于指标间往往还存在严重的相关性，使用线性 记分法，还会产生重复记分问题，使得企业在相关的指标上发生重复得分或重复扣分，从 而降低最后结果的准确性。 由于信用记分表法使用相当广泛，对其进行改进是非常必要的。下面简要介绍一下如 何使用层次分析法来提高权重估计的客观性和准确性，以及使用模糊综合评价法来减少线 性加权引起的重复记分问题。 7 东南大学硕士学位论文第一章信用评级系统研究 1 2 3 层次分析法和模糊综合评价法 层次分析法( a h p ，a n a l y t i ch i e r a r c h yp r o c e s s ) 是一种定性与定量分析相结合的多目 标决策分析方法，其核心是通过分析复杂系统的有关要索及其相互关系，将系统简化为有 序的递阶层次结构。在每一层次上，对要素进行两两相对比较，建立判断矩阵然后计算出 该层要素的权重，最后得至g 多层要素对于总目标的组合权重。 a h p 法主要使用判断矩阵来间接计算权重。假设在信用评级是使用n 个指标对企业进 行评价。定义判断矩阵4 = ( ) ，岛= ，a j , = l ，其中嘞表示指标i 相对于指标j 的重要 程度，其中重要性程度使用9 级标度法表示，标度意义按下表确定。 表1 19 级标度表 标度l 1 i 3 l 5 l 7 l 9 2 、4 、6 、8 定义l 同样重要i 稍微重要i 明显重要l 重要的多i 极端重要i 相邻的折中 根据判断矩阵可以得出每个指标的权重w i =，标准化w i ： l 。对权重是否 嵋 j = l 合理，可以通过一致性检验进行验证。 占 使用根法求a 最大特征值旯：丢喜盘筹，随机一致性指标c i ：鲁暑1 ，一致性比率使用根法求a 最大特征值旯= 三罗型一，随机一致性指标 = 竺竺，一致性比率 阼。葛 n c r 2 面l , 1 ，- 若c r v 水+ 1 ) 为评语矩阵，表 示样本的行个指标对应p 个评语级别的临界值。定义隶属度函数 r = f ( v ，曲；r = ( ) ，【o ，l 】，即样本的第j 个评价指标的样本数据x ，属于第k 个评 语的隶属度为r ， 隶属度函数厂可以采取各种形式，例如以下分段线性函数： ，? = 害三二； ；v f - i x ， 、f 一、| + 1 v ，一x r ，+ l = = ： v ，+ 1 x 1 0。 v ，一v ，+ l 。 。 ，l = l ；v ，- p ( 吼lx ) ，k = l c ，k # j ，则认为将x 归入口，类可以使得 错误可能最小。对所有样本均采用这个准则，则可以使得对所有样本总的分类错误可以达 到最小。根据贝叶斯定理，可以得到以上决策准则的等价形式。即 p ( x i 珂，) p ( ，) p ( x 1 吼) p ( r a k ) ，七= 1 c ，k j 。这就是最小错误贝时斯决策准则，它使得分 类错误可能最小，其中分类错误概率定义为p ( e r r o r ) = p ( e r r o rq ) p ( q ) 。 在很多应用中，由于还存在错分损失问题，而且错分损失不仅与样本所属类相关，还 与样本被错分到的类相关。假设九为将本属于研的类分到叮，的损失，则x 被判为q 类的 c 平均损失( 曲= 以p ( q l 曲， 区域q ，上所有样本的平均损失 j - i 2l ( x ) p 。) a x 2l 善如p ( q i x ) p ( x ) 出，总损失r 。喜。如果对样本n 将x 归于类q 使九p ( q i x ) p ( x ) o 是判定x 为第一类 否则判为第二类。此时，分类界面为超平面w r y ( x ) + = 0 。该平面的方向由权向量w 决 定，权向量方向和法线方向一致，位置由闽值w o 决定。重新定义工= 妒7 ，旷为增广样本 向量，则超平面定义为w t x = 0 。 若样本完全线性可分，则存在超平面，使得对第类矿x 0 ，对第二类w 7 x 0 。在线性不可分情况下，该不等式组无法求解。允许一定分类错误的存在，目口 允许对一些样本，该不等式不成立，将其错误的“距离”表示为等式，用求解线性方程组 来代替原来的线性不等式组。 设对n 个样本w 7 一= 6 ，i = 1 m ，用矩阵表示为肌= b 。对于该方程组，在一般情况下， 由于方程数( 即样本数) 大于变量数( 即权重向量维度) ，是矛盾方程因此不能直接解， 经典的求解方法是使得对所有样本误差平方和极小化( m s e ，m e a ns q u a r ee r r o r ) ，即使用 准则函数j ( 爿i m p 一6 1 1 2 = 7 鼍一6 ；) 2 。 该函数的经典解为帚= c 7 x ) 。1 爿7 b 。其中x + = ( x 7 x ) 。1 x 7 称为伪逆阵。由于求解伪 逆阵计算量很大( 还需证明x r x 非奇异) ，可以使用梯度下降算法求解，迭代公式为【3 0 j ： 砘) 一日垒掣- w ( t ) - - n 双挑f ) _ 6 ) 心) 2 h ，) 一日5 尹 n 爿( 直w ( f ) 一 可以证明该算法能够收敛到使得准则函数的导数为0 的解，而且不管x 7 x 是否为奇 异矩阵，该下降算法总能解的一个有效的权向量。 选择不同的b 值使得m s e 解具有不同的性质，一般取类别标签。但是在取其他值时 m s e 解可以等价于f i s h e r 解，甚至可以在样本数趋于无穷时以最小均方误差“最好地”逼 近b a y e s 解。 除了“旋转”分类界面，得到最优判别界面的思路外，还可以使用“投影”观点来看 待分类问题。f i s h e r 准则就是关于如何选择最优“投影”方向的。 东南大学硕士学位论文第二章统计模式识别方法综述 2 3 4f i s h e r 准则判别 线性判别函数g ( x ) = w 7 x + w 0 可以看作将原始数据从特征空间投影到一维向量上( 对 于c 类情况，则等于投影降维到c 1 维空间) 。关于数据降维的投影技术，另外的一种经 典方法是主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 。p c a 的基本目标是选取最能 够代表原始数据的投影方向进行降维，但是p c a 对提高数据可分性并没有什么作用，因为 p c a 丢掉的非主轴方向的分布信息可能正是类别的区分信息。显然的，为了达到将投影后 的数据最大程度分散的目的，必须选择最优的投影方向。这个目标仅与投影方向w 有关， 与其模和w o 无关。f i s h e r 准贝| j 口1 1 就是解决关于如何选择该方向的问题。 假设“、鸬分别维两类样本的均值，投影后样本均值为届= w 7 “，i = 1 2 定义类内散布为哥= ( y 一丘) 2 ，i = 1 2 ，称砰+ 霹为总的类散布，定义类内散布矩阵 s = q 一“) 臼一“) 7 ，i = 1 2 ，则霹= w 7 墨w ，i = l 2 删溅舢c 帅= 料= 攀卷寒掣。 则使得j 最优的投影方向w = ( 昌+ 最) 。( h 一心) f i s h e r 准则仅解决了数据投影问题，要建立判别函数，可以根据一维概率密度分布计 算出阈值得到分类器。也可以将投影后的结果用其他分类器分类。 2 3 5l o g i s t i c 线性判别 多元线性组合的l o g i s t i e 概率函数定义为p 。i 翻r 。j 印，其中x 为增广样本 向量。l o g i s t i c 概型的对数差为线性，这在很多情况下都是适用的。 定义c 个总体m ，i = 1 c 的类条件密度函数分别为： 氕( x i ) = n ? ，e x p f 与( x p ? ) a 。l ( x u j ) 1 死砖i = 、c 其中玛是使得f a x ) 在一上积分为1 的常数，辟为该类的均值向量，a 为任意正定对 称阵，f ( x ) 0 为任意函数 根据贝叶斯判别规则，当工使得只，( x lc o , ) 5 a ( x l q ) ，( 坶七，k = 1 c ) 时，判定x 属 东南太学硕士学位论文第二章统计模式识别方法综述 于总体q ，而1 璺五鱼l _ ! 韭：p ( ql x ) 。因此判别规则可转化为求p ( qi x ) l ：k 。 p 。l ( x l 吼) t l 将，( x l 鸱) 定义代入得： p l j 其中日= 一圭一4 1 一+ l q 。 由于分母相同，指数函数又是单增函数，得到等价的判别函数 ( 工) = x a 。肛+ 骂，i = l c ，且该函数与，( x ) 无关 为了求解判别方程组，p ( 曩i x ) 分子分母同除e 坤【x a 。1 心+ 】得 剐巧i 夥：_ _ 掣型丝丛型业户j c j l + e x p x a 。l h k 一) 七b k b c l d 则判别函数变换( x ) = x a 。( 肛一心) + ( 且一) = x 屈，i = 1 c 一1 ， 其中 风= 日一磁，x o s l 。 该判别方程组可以使用n e w t o n - r a p h s o n 法迭代求解： 定义样本向量x 属于q 类的概率= e x p , z t ) ，i = 1 c - 1 ，属于类的概率 z ：酉l l + e x p ( 届t 戈) hc b 定义一阶导矩阵g ，g 目- - z - z p o s t ；s = 1 c 一1 j = 1 n i - 1f ll - 1 定义二阶导矩阵g ， 则的迭代公式为展+ 。= 鼠- g g s ，f = 1 c - 1 ；j ，1 = l 趋 s = t 一般认为，l o g i s t i c 判别更充分的利用了样本分布的先验信息，而对其分布又未作假 盟地生 嚣 竺筹 ：擎 垆 弹 啦 蜗 壤 “ 赢 辫罄 堕骗鱼 东南大学硕士学位论文第二章统计模式识别方法综述 设，因此在类概率密度严重偏离正态分布时，效果较好。l o g i s t i c 判别可以输入任意类型 的变量( 包括离散型) ，而且可以迭代求解参数因此适用性也比较好。 2 1 3 6 小结 本节简要介绍了常用的各种线性判别准则和模型，线性判别的实际应用非常广泛。因 为线性判别模型形式简单，易于分析和建模。通过核函数等变换方法，很多非线性可分的 数据也可以使用广义线性判别模型来处理。 关于线性判别模型还有很多其他的训练算法和参数估计方法，包括分段线性判别、线 性规划、随机逼近法等等。本文不做深入讨论，更详细和深入的相关内容请参阅文献 【2 6 】【2 7 】 2 9 】。 东南大学硕士学位论文第二章统计模式识别方法综述 2 4 非线性判别模型 除开可以纳入广义线性判别中的内容外，以人工神经网络和分类树等为代表的软计算 ( s o rc o m p u t i n g ) 方法是非线性分类器中最典型的代表，这些人工智能技术在各种工程、 管理领域取得了广泛应用。本节进行简要介绍。 2 4 1 人工神经网络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 是由大量简单的处理单元广泛连接组成的复 杂网络，用于模拟人类大脑神经网络的结构和行为。人工神经网络的研究是从1 9 4 3 年 m c c u l l o c h - p i t t s 首次给出神经元的数学模型开始的，之后d 0 h e b b 在1 9 4 9 年提出了神经 元的h c b b 学习率，为人工神经网络学习训练算法开创了起点。在2 0 世纪5 0 年代和6 0 年 代，单级感知机的创建和广泛用于各种问题的求解使得神经网络研究达到了一个高潮。但 随着研究的深入，m i n s k y 等人从理论上证明了单层感知机无法解决很多简单问题。8 0 年 代h o p f i e l d 网络和b p 算法提出后，人工神经网络的研究与应用又进入了一个新的高潮。 当前神经网络的研究正处于新一轮的再认识中，除了改进算法外，对基础理论和工作机理 的深入解释均有待突破。 神经网络开始用于银行信用风险管理最早是在2 0 世纪9 0 年代初。1 9 9 0 年o d o m 和 s h a r d a 用z 评分模型5 个比率作为a n n 输入，进行企业破产研究，发现准确率大大高于 m d a 模型。1 9 9 6 年，b a c k 等人建议用遗传算法对输入指标进行筛选，并与a n n 结合起 来对企业破产进行分析，发现比m d a 和l o g i s t i c 回归优越的多。 在我国，王春峰等人【1 6 1 选用z 评分模型的5 个比率用b p 神经网络对国内8 7 家企业的 贷款违约进行了研究，并与线性判别模型进行了对比。杨保安等人1 3 那研究多种人工智能方 法在贷款分类中的应用，但没有进行实证检验。朱兴德和冯铁军【3 4 l 研究了遗传规划神经网 络在个人信用评级中的应用，并进行了试验，但是没有和其他模型对比。陈雄华f 3 郧，张柳 圆【3 印在其论文中详细研究了使用神经网络模型和专家系统结合。陈雄华等人使用b p 网 络进行了国内企业信用等级评估，选择了1 7 个指标分别对制造类企业和非制造类企业采 用三层b p 网络进行信用评估，发现结果优于一般统计模型，但效果并不特别显著。石庆 焱和靳云汇【3 8 】研究了多种模型在我国个人信用评级中的应用，发现神经网络模型优于判别 分析和l o g i s t i c 回归，也优于分类树方法。值得注意的是，在他们的研究中使用了大量的 定性离散型变量，也从侧面显示了神经网络模型能够有效处理任意类型变量。关于人工神 东南大学硕士学位论文第二章统计模式识别方法综述 经网络模型在信用评级中的应用研究还有很多，就不列举了。 人工神经网络实际上仍然使用的是线性判决，其基本组成就是感知器判别函数。但是 由于其网络结构的非线性映射能力，因此多层神经网络具有对非线性函数进行任意逼近的 能力。当前训练多层网络最经典的方法是反向传播算法b p ( b a c kp r o p a g a t i o n ) 。 b p 网络的拓扑结构如下图所示： 输出层 y k 隐含层 输入层 图2 1b p 神经网络模型 输入信号先向前传播到隐层结点，经过变换函数变换后，把隐层结点的输出信息传播 到输出层结点，再给出输出结果。结点的变换函数通常选取s i g m o i d 型函数。b p 神经网络 的输入与输出关系是一个高度非线性映射关系，如果输入结点数为r n ，输出结点数为n ， 则网络是从m 维欧氏空间到n 维欧氏空间的映射。通过调整b p 神经网络中的连接权值以 及网络的规模，可以实现非线性分类，并且可以以任意精度逼近任何非线性函数。 设x = ( x f ) ，为训练样本矩阵，t = ( 0 ) ，为期望输t b 矩阵。b p 神经网络由 v = ( ) 。，w = ( ) 。，口= ( 鼠) b d ，a = ( 4 ) 。和激发函数，定义。矿为m 个输入层节点到 k 个隐层节点的路径权重；矿为k 个隐层节点到疗个输出层节点的路径权重；0 为个隐层 节点的阈值；a 为n 个输出层节点的阈值。反向传播算法为：计算隐层和输出层输出 mk 玩= ，( + 巩) ，c f = ，( 巩+ ) ， 计算输出层误差和隐层误差 j - 1h = l 4 = q ( 1 一q ) ( 0 一q ) ，e j , = b h o - - b h l i h 4 ， 根据误差调整网络权重 i l 1 = c t b h d t ，a v t h = 口x 脚，鼠= 口以， = e i ；a 关于b p 网络，还有很多改进算法，包括初始化、学习率、快速下降、惩罚复杂度， 以及与随机搜索算法的结合等等，本文不作进一步论述。 东南大学硕士学位论文 第二章统计模式识别方法综述 2 4 2 树方法 分类树( c l a s s i f i c a t i o na n dr e g r e s s i o nt r e e ，c a r t ) 采用分级的形式，逐步解决分类 问题。该方法的基本思想是使用多个简单的联合区域逼近一个复杂的决策区域。分类树由 一个根节点、一组