（工商管理专业论文）基于数据挖掘技术的个人信用评估模型.pdf

南京理t 大学硕士学位论文基于数据挖掘技术的个人信用评估模型 摘要 随着个人消费贷款业务的不断发展，个人信用风险越来越受到商业银行和监管者 的关注。目前，相对于商业信用风险评估而言，对个人的信用评估显得十分薄弱，大 部分银行基本是靠信贷人员的经验和定性分析来决定，针对业务量大幅度上升，信贷 人员相对不足，这种授信措施会造成审批时间长、人为失误上升，服务水平和风险管 控能力下降，导致资产质量下降，失去潜在客户，不科于银行竞争力的提高。构建个 人信用评估模型，可以有效帮助银行提高个人授信效率和准确性，提高个人信贷产品 质量和风险管控能力。 本文对比了国内外常用的几种风险评估模型，提出了基于数据挖掘技术的个人信 用评估模型，该模型采用信息增益法对属性进行筛选，找出对分类预测影响较大的属 性进行建模，采用贝时斯分类方法进行分类预测。用某大型银行个人住房按揭贷款数 据对模型进行实证分析，结果表明在原始信息不很充分情况下，该模型预测偏离度较 低，具有较好的预测效果。 关键词：个人信用评估数据挖掘贝叶斯分类器 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 a b s t r a c t w i t ht h ed e v e l o p m e n to fp e r s o n a lc o n s u m p t i o nl o a n s ，c o m m e r c i a lb a n k sa n di t s r e g u l a t o r sp a ym o r ea t t e n t i o nt ot h ep e r s o n a lc r e d i tr i s k s n o w a d a y s ，p e r s o n a lc r e d i tr i s k e v a l u a t i o nw h i c hb a s i c a l l yd e c i d e db ye x p e r i e n c eo rq u a f i t a t i v ea n a l y s i sr e v e a l sm o r e d i s a d v a n t a g e sc o m p a r e dw i t hc o m m e r c i a lc r e d i tr a t i n g f a c i n gt h es u r g eo fl o a np o r t f o l i o s a n dt h es h o r t a g eo fe m p l o y e e s ，i tm a yr e s u l ti np r o l o n g i n go f a p p r o v a l ，i n c r e a s i n go ff a u l t s ， d e c l i n i n go f s e r v i c es t a n d a r da n dr i s kc o n t r o la b i l i t y , t h u sl e a d i n gt od e t e r i o r a t i o no fa s s e t q u a l i t y , t h el o s s o fp o t e n t i a lc l i e n t s ，a n dt h ed e c l i n eo fc o m p e t i t i v e n e s s t h i sp a p e r d e v e l o p sap e r s o n a lc r e d i te v a l u a t i n gm o d e lf o rt h ep u r p o s eo fi m p r o v i n ge f f i c i e n c ya n d a c c u r a c yo fl e n d i n g , a n de n h a n c i n gt h ea s s e tq u a l i t ya n dr i s kc o n t r o la b i l i t y b yc o n t r a s t i n ga n da n a l y z i n gs o m eo t h e rp e r s o n a lc r e d i te v a l u a t i n gm o d e la th o m e a n da b r o a d ，t h i sp a p e rp r e s e n t sap e r s o n a lc r e d i te v a l u a t i n gm o d e lb a s e do nd a t am i n i n g t e c h n o l o g y i tf d t c r sa t t r i b u t e sb yg a i no fi n f o r m a t i o ne n t r o p y , f i n d i n gt h ea t t r i b u t e sw h i c h a r ei m p o r t a n tt oc l a s s i f i c a t i o na n dp r e d i c t i o n ，s oa st oc l a s s i f ya n dp r e d i c tb yb a y e s i a n c l a s s i f i e r t h em o d e li st e s t e da n de v a l u a t e db yd a t ao fi n d i v i d u a lh o u s i n gl o a no fab a n k t h er e s u r sd e m o n s t r a t et h a tt h ed e v i a t i o ni sl o wa n dt h ea c c u r a c yo fp r e d i c t i o ni sb e t t e ra t t h ec o n d i t i o n0 fi n s u i f i c i e n lo r i g i n a li n f o r m a t i o n k e yw o r d s ：p e r s o n a lc r e d i te v a l u a t i o n ，d a t am i n i n g , b a y e s i a nc l a s s i f i e r 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名：少岬年7 月莎日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的全部或部分内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的全部或部分内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：墨：出廷逸舳7 年7 月五日 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 1 引言 目前，贷款业务仍然是银行( 本文所指银行，包括政策性银行、大型银行、股份 制商业银行、城市商业银行、农村合作金融机构：大型银行包括工商银行、农业银行、 中国银行、建设银行、交通银行；农村合作金融机构包含农村商业银行、农村合作银 行、农村信用社) 主要的经营业务，利息收入是目前我国银行利润的主要来源。每笔 贷款发生之前，银行必须对借款人进行授信，在授信范围内贷款。银行对借款人的授 信时，必须对借款人的信用水平作出正确判断，而这些判断并非总是正确的，借款入 的信用水平也可能因为各种原因而发生变化。因此，银行在经营过程中面临的主要风 险就是信用风险，即借款入拒绝或无力按时、全额支付所欠债务时，给银行带来的潜 在损失。这种风险既存在于贷款业务中，也存在于其他各种表内表外业务中，如担保、 承兑等。如果银行未能及时认定发生问题的资产，未能及时采取有效的防护措施，将 会造成严重的损失。而且，随着最近几年来信用衍生产品的大量涌现，银行的经营业 务也在不断的扩展，相应地，银行所承受的信用风险也在不断加大，信用风险管理已 经成为银行经营的核心内容。因而，研究信用风险的特点，建立量度信用风险的信用 风险模型，是银行定量地对各项业务实施有效的风险管理的措施，也是提高经营水平 的最基本的要求( 5 】。 近年来，在住房、汽车消费以及个人投资拉动下，针对个人的零售贷款发展很快， 甚至有些银行把个人类贷款作为主打产品，把自己打造成零售银行。据统计，某市个 人类贷款已经占各项贷款的4 5 以上，两住房按揭贷款占个人消费贷款的7 0 以上。 因此个人信用风险应受到密切关注。事实上，相对于商业信用风险评估，对个人的信 用评估十分薄弱，大部分银行基本是靠信贷员的经验和定性分析决定。随着业务量大 幅度上升，信贷人员相对不足，这种授信措施会造成审批时间长、人为失误上升，服 务水平和风险管控能力下降，导致资产质量下降。失去潜在客户，不利于银行竞争力 的提高。因此建立个人信用评估模型势在必行，可以有效帮助银行提高个人授信效率 和准确性，提高个人信贷产品质量和风险防范能力。 个人信用评估实质上是一个分类问题，按照不同情况把客户分成若干组( 如，违 约客户和不违约客户) ，f i s h e f ( 1 9 3 6 ) 最早提出将总体划分成不同组的思想【3 8 1 ，d a v i d d u r a n d ( 1 9 4 1 ) 首先想到将之应用于对贷款的分类。国内外已经有人做了大量的研究工 作，提出了各种评估模型，如f i c o 方法、判别分析方法、回归分析方法、数学规划 方法。 h c o 方法是在2 0 世纪5 0 年代由b i l lf a i r 和e a r li s a a c 共同研究出来，已成西方 发达国家信用评估方面的标准1 。 判别分析方法由d a v i dd u 砌d ( 1 9 4 1 ) 提出1 3 7 1 ，e i s c n b e i s ( 1 9 7 7 、1 9 7 8 ) 将判别分析 南京理工大学_ 颐士学位论文基于数据挖掘技术的个人信用评估模型 作为一种评估方法推广到商业、金融及经济领域【3 9 , 4 0 l ，国内也有人进行了这方面的研 究【1 5 1 刀。 回归分析法包含线性回归法和l o g i s t i c 回归法，是目前应用最广泛的模型。 o r g e r ( 1 9 7 0 ) 将线性回归分析用于消费者贷款的信用风险评估，并利用线性回归分析设 计了一个评价未偿还贷款的评分卡。其他的关于将线性回归方法用于信用评分的研究 有f i t z p a t r i c k ( 1 9 7 6 ) 1 4 1 1 ，l u c a s 0 9 y 2 ) 2 乏h e n l e y ( 1 9 9 5 ) 1 4 2 1 。l o g i s t i c 回归模型是对线性回 归模型改进的模型，w i g i n t o n ( 1 9 8 0 ) 对l o g i s t i c 回归模型应用于信用评分的效果的进 行了分析，与线性回归相比，两者的结果差别不大。国内也有不少文献对回归方法在 个人信用模型评估方面应用进行了研究i 埔以】 线性规划方法由m a n g a s a f i a n ( 1 9 6 5 ) 是第一个提出，但是直到f r e e da n d g l o v e r ( 1 9 8 1 ) 的文章发表以后，才引起了很多人的兴趣，此后，有关的研究文献大量 涌现。 判别分析法、回归分析法、数学规划法三种方法实质上都是线性分析法，具有模 型简单，易于理解，便于操作等特点，在个人信用评估中被广泛应用，但是线性分析 最大的弱点就是它只能处理线性问题。除此之外还有很多方法被应用于个人信用评估 1 2 2 - 2 6 1 。随着数据挖掘技术的不断发展，越来越多的人把目光投向了数据挖掘技术， 在信用评估中应用较多的是神经网络模型、决策树模型、贝叶斯分类模型。 在数据挖掘技术中，神经网络模型最早被应用在个人信用评估上，从1 9 9 0 年 o d o m 首次将神经网络的方法引入信用风险评测中，到m o o d y s 公司在2 0 0 0 年公布 了以神经网络为主要方法的上市公司信用风险模型，神经网络方法得到研究者和实践 者的广泛关注1 2 7 , 2 s 。虽然神经网络用于信用等级分类取得了一定的效果，但网络结构 设计的不确定性、复杂性以及模型本身缺乏较好的可解释性和理解性造成了使用上的 困难【1 9 1 。 在用决策树方法进行个人信用评估中，国内有许多研究f 3 0 - 3 4 1 ，但贝叶斯分类方 法与之相比具有结构简单、运算量小，在某些领域表现出优异的分类性能，贝叶斯分 类模型是目前公认的简单有效的分类方法【3 5 州。 针对上述情况，本文引入基于数据挖掘技术的个人信用评估模型，该模型采取信 息增益和贝叶斯分类相结合的办法，用信息增益法对属性进行筛选，找出对分类预测 影响较大的属性来进行建模，提高模型效率和针对性，核心部分采用贝叶斯分类方法， 该方法建立在严密的数学理论基础上，经过实证分析，具有较好的分类预测效果。 2 南京理工大学硕士学位论文 基于数据挖掘技术的个人信用评估模型 2 个人信用评估 2 1 个人信用评估概念 个人信用评估( p e r s o n a lc r e d i te v a l u a t i o n ) 是指根据客户的信用历史资料，利 用一定的信用风险评估模型，给客户评以不同信用等级，根据客户的信用等级，授信 者可以决定是否准予授信以及授信的额度和利率。个人信用评估通过综合考察个人及 家庭的内外客观原因、微观环境，包括经济、金融、司法、社会、工商、财产等过程 在内的，使用科学严谨的分析方法，对个人及家庭履约各种经济承诺的信用程度进行 全面评判与估计，为信贷决策提供科学依据。 个人信用评估模型是采用数学和统计方式，通过适当算法，对个人履行各种承诺 的能力和信誉程度进行全面评价，确定信用等级和信贷限额的一种模型，其功能是以 个人的信贷申请书和征信报告等资料为基础信息，对该申请人的信贷风险程度进行数 学分析，并得到数字量化的结果作为贷款决策的依据，从而使信贷决策自动化、科学 化。 2 2 我国个人信用评估现状 个人信用评估在欧美国家已有近2 0 0 年的发展历史1 1 1 l ，在中国香港地区也已发展 了2 0 多年，而在中国内地，个人信用评估在一些地方刚刚起步。个人信用体系发展 程度低主要有三个方面的原因。一是个人信用制度建设不健全，缺少必需的信用评价 机制和及惩戒和规范机制【1 0 1 。二是缺少有关信用评价机构来提供高质量个人信用报 告，社会相关的信用数据和资料无法通过正常、便捷的途径获得。三是建立覆盖全国 的个人征信体系和网络化的征信数据库非常复杂。与企业评估机构相比，个人信用评 级不仅机构少，而且没有一个统一的操作规范，评估标准有很大的差异。比如，中国 人民银行的全国银行信贷登记咨询系统覆盖全国3 0 1 个城市，是目前我国最大的征信 数据库。但由于没有配套法规，目前还难以对外公开使用。虽然上海资信有限公司成 立之前已有大公、中诚信、华安等一批资信公司从事资信调查、评级活动，但要建立 个人信用制度仅靠这些征信公司是不够的，还必须有能覆盖全社会的信用记录和严格 的信用监督法律法规。 银行的个人信用评估进度也参差不齐，大部分金融机构目前主要靠信贷员的经 验，以定性指标为主，这种方式不足之处是评估标准不一，起伏较大，人为因素太强。 但也有的银行先走一步，如中国建设银行1 1 3 】自2 0 0 0 年1 0 月起率先向全国推出了个 人信用评分标准，一个人到底能贷多少款，最关键在于他能打上多少个人信用分，个 人信用评分标准从个人的“自然情况”、“职业情况”、“家庭情况、“与建行关系”四 大方面1 9 个个项目，细分7 2 档分值进行逐项打分。不同的打分给予不同的评级、不 3 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 用的授信额度。交通银俐1 2 】将影响个人信用评分为“一级信用参数”和“二级信用参 数”。一级信用参数包含五大类：保障支持、经济支持、稳定情况、个人背景。二级 信用参数又包含许多小项。根据个人情况对这些参数打分，经测试，用这套信用评分 系统计算的最高信用分数为9 9 1 分，最低为2 0 7 分。在个人信贷系统中。可以以 此为参考，限定给某用户信用贷款数额的最高上限。其他银行目前还没有推出较为完 善系统的个人信用评价体系。 2 3 加强个人信用评估的意义 个人信用评估在我国市场经济的发展中起n ! i i e 常重要的作用，一方面可以发展消 费信贷、扩大内需，另一方面可以扩大投资规模，提供创业机会，对于银行更是非常 必要的。 建立个人信用风险评估模型有利于银行提高市场竞争能力，拓展个人贷款业务。 个人贷款单笔数额小，风险分散。多年来中国经济持续稳定发展，个人收入稳步增长， 还款意愿和还款能力都在提高，发展个人贷款业务具有较大的优势。但是，目前银行 个人贷款是比照企业贷款来操作的，手续繁杂，环节过多，在一定程度上影响了银行 优势的发挥，制约了银行个人贷款业务的发展。个人信用风险评估模可以在科学决策 的基础上，简化手续，提高工作效率，从而为贷款客户提供更为方便、快捷、优质服 务，提高银行在个人贷款业务领域的竞争能力。 建立个人信用风险评估模型还有利于银行提高个人贷款管理水平。目前，银行信 贷人员对个人贷款的考察评估基本上是经验判断式的。从银行的实际看，信贷人员知 识层次不一，业务素质参差不齐，而且人员变动比较频繁，熟悉客户和有管理经验的 信贷人员不足。在这种情况下，建立个人信用评估模型无疑给信贷人员提供了一个比 较简便、科学的个人贷款审查评判方法，从而有利于提高信贷管理水平。 建立个人信用风险评估模型更有利于银行防范贷款风险，提高贷款质量和效益。 对个人贷款的考察评估要涉及到诸多因素。信贷人员往往只逐一考虑评估每一个因 素，很难在考察评估一个因素的同时考虑到其他因素对这一因素的影响。个人信用风 险评估模，可以根据贷款申请人的有关信息资料，对运用有关算法，预测贷款申请人 的信用等级，并施以不同的信贷策略，从而提高对个人贷款决策的科学性和准确性。 因此，建立个人信用风险评估模型势在必行。 2 4 影响个人资信状况的主要因素 个人资信状况主要是由其自身的物质条件和道德水准决定的。具体分析，影响个 人资信状况的因素主要有以下几个方面： ( 1 ) 家庭背景和受教育的程度。个人道德品质培养离不开学校教育，同样地离 4 南京理工大学硕士学位论文 基于数据挖掘技术的个人信用评估模型 不开家庭教育。家庭的熏陶对一个人工作生活习惯的形成起着非常重要的作用，出身 于良好的家庭背景的人，其经营能力，社会信誉或到期还款的能力都是有一定保证的。 同时，一般情况下受教育的程度与一个人的道德修养或素质是成正比的。接受过良好 教育的人通常更懂得法律和道德规范标准，以及维护个人信誉的意义。因此，他们通 常具有较强的自我约束力，以维护其资信度。反之，那些文化程度较低，没有受过良 好教育的人，则往往缺乏信用意识，违约的可能性也就较大。 ( 2 ) 个人收入水平及其稳定性。收入水平的高低，对于个人资信状况具有重要 意义。个人收入水平的高低以及未来收入的稳定性，是用来衡量个人是否具有履约能 力的最重要的指标。必须明确的是，能够作为评价个人资信状况依据的收入应是居民 的合法收入。 ( 3 ) 个人财产状况。个人拥有的财产可以作为债务的担保而成为清偿债务的第 二来源。如果借款人拥有充足的流动性和保值性强的财产作抵押，其履约还款的可能 性就会大大提高，因而其资信程度也就较高。 ( 4 ) 负债及支出状况。在收入水平一定的前提下，其支出负担及原有负债状况 是决定借款人举债能力的关键。原有债务负担及家庭赡养负担应是评估个人资信状况 的重要依据。 ( 5 ) 就职状况。一个人的职业及其稳定程度，不仅决定了其收入水平，收入的 稳定性，而且还影响着其对待事物的态度。尤其在我国现阶段，职业差别甚至决定一 个人的能够享受的住房、医疗劳保、退休等方面的待遇。因此，职业状况是评估一个 人资信度的又一个重要指标。一般来说，国家公务员、事业单位职工、教师等较之其 他行业职工，工作和收入稳定性更好、工资外的各种福利待遇更有保障。而且，由于 职业特点，他们对于诚实守信的认同感较强，资信度一般较高。此外还有些垄断性行 业和处于成长期的行业，职工的工作相对稳定，收入水平较高，这类人一般资信度也 较高。 除上述主要因素外，还有年龄、婚姻状况、个人所处社会环境、信用履历，也都 是衡量个人资信度的重要参考依据。 2 5 个人信用评估方法 个人信用评估本质上是模式识别中的一类分类问题，就是根据历史上每个类别的 若干样本，从已知的数据中找出违约及不违约者的特征，从而总结出分类的规则，建 立数学模型，用于测量借款人的违约风险，为消费信贷决策提供依据。随着市场竞争 的加剧以及计算机技术的发展，越来越多的计量方法被运用到信用评分领域。目前国 内外的个人信用评估主要有以下几个方法： 5 南京理工大学硕士学位论文 基于数据挖掘技术的个人信用评估模型 2 5 1f i c o 方法嗍 提到个人信用评估，无一例外的都要提到f i c o 方法，它由f a i ri s a a cc o m p a n y 推出的，也由此得名。一般来讲，美国人经常谈到的“你的得分”，通常指的是你目 前的f i c o 分数。而实际上，f a i ri s a a c 公司开发了三种不同的f i c o 评分系统，三种 评分系统分别由美国的三大信用管理局使用，评分系统的名称也不同f a i ri s a a c 公司 所开发的这三种评分系统使用的是相同的方法，并且都分别经过了严格的测试。即使 客户的历史信用数据在三个信用管理局的数据库中完全一致，从不同的信用管理局的 评分系统中得出的信用得分也有可能不一样，但是相差无几。这主要是由于三家信用 管理局的信用评分模型是在相互独立的基础上开发的，可能导致同样的信息以不同的 方式进行存储，这种微小的差异会最终带来分数上的不同。 f i c o 评分系统得出的信用分数范围在3 0 0 - - 8 5 0 分之间。分数越高，说明客户的 信用风险越小。但是分数本身并不能说明一个客户是“好”还是“坏”，贷款方通常 会将分数作为参考，来进行贷款决策。每个贷款方都会有自己的贷款策略和标准，并 且每种产品都会有自己的风险水平，从而决定了可以接受的信用分数水平。一般地说， 如果借款人的信用评分达到6 8 0 分以上，贷款方就可以认为借款人的信用卓著，可以 毫不迟疑地同意发放贷款。如果借款人的信用评分低于6 2 0 分，贷款方或者要求借款 人增加担保，或者干脆寻找各种理由拒绝贷款。如果借款人的信用评分介于6 2 0 - - 6 8 0 分之间，贷款方就要作进一步的调查核实，采用其它的信用分析工具，作个案处理。 f i c o 评分主要用于贷款方快速、客观的度量客户的信用风险，缩短授信过程。 f i c o 评分在美国应用的十分广泛，人们能够根据得分，更快地获得信用贷款，甚至 有些贷款，可以直接通过网络申请，几秒钟就可以获得批准，缩短了交易时间，提高 了交易效率，降低了交易成本。f i c o 信用评分系统使用，能够帮助信贷方做出更公 正的决策，而不是把个人偏见带进去，保证了评分的客观公正性。在评分系统中，每 一项信用信息的权重不同，越早的信用信息，对分数的影响越小。从2 0 0 5 年9 月1 日起，在美国5 0 个州的人们，每年有权利从三大信用管理局的任何一家获得一份免 费的个人信用报告，从而可以帮助自己管理好自己的信用得分。 f i c o 评分模型中所关注的主要因素有五类，分别是客户的信用偿还历史、信用 账户数、使用信用的年限、正在使用的信用类型、新开立的信用账户。这五类因素在 信用评分中的权重如图2 - 1 所示。 6 南京理工大学硕士学位论文 基于数据挖掘技术的个人信用评估模型 正在使用的信 用类型。 偿还历史， 3 5 愁用譬 u 鼙黜年 户数。1 0 图2 - 1h c o 评分关注的主要因素 由图2 - 1 可以看出，f i c o 评分模型对信用历史依赖较多，虽然是比较成熟和完 善的信用模型，它必须建立个人信用制度比较发达的基础上，而目前我国个人信用制 度基本上还是一片空白，个人信用制度欠缺矧，缺少支持h c o 模型的的平台，因此 直接移植h c o 模型是行不通的，并且由于f i c o 评分模型和算法都是保密的，也不 好进行升级和本土化改造，因此这种方式在我国推广应用难度较大。专家学者们一直 在探询适用于我国的方法，下面介绍其他三种方法。 2 5 2 判别分析( d i s c r i m i n a t ea n a l y s i s ) 法嘲 假设信用申请者总体( 用a 表示) 由“好”客户( 用g 表示) 和“坏”客户( 用口表示) 两部分组成。我们的目的是将彳分成两个部分彳g 和a b ，在a g 中是所谓“好”客户， 而将“坏”客户划分到山中，并且希望错分的可能性尽量小。设： p g 和岛分别表示总体中“好”客户和“坏”客户的比例： 表示将一个“好”客户错分为“坏”客户所造成的平均利润损失： d 表示将一个“坏”客户错分为“好”客户所引起的平均债务坏帐损失； p 仁i q 和p 仁i 剀分别表示“好”客户和“坏”客户的特征项向量取值为算时的密 度函数； q 够m 向伊m ) 表示某个申请者的特征项向量取值为x 时他是一个“好”客户( “坏” 客户) 的概率。显然口俺 x ) i t f 比f p ( x l g ) p c ，口伊m 正比于所i 口愚。 为了减少错分的可能往，一种考虑的方法是最小化期望损失，也就是 m i n l o s s = ll p 缸i t ；) p , d x + d l p q b ) p d x 也c ，邑- = 三f q ( oi 石) d 譬+ df q ( bl 石) 西r ( 2 1 ) 7 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 这当然有一定的近似，因为在实际中对不同的申请者工和d 的值一般并不是相 等的。 由于p ( x g ) p a p ( x l b ) p s = q ( g i 矽鼋但m ，式( 1 ) 的最优解可以表示为 a s = x l q ( c m q 但恸 d l ( 2 2 ) 如果p 仁i 回和p ( x l b ) 是多元正态分布，则式( 2 2 ) 可以转化成一个线性关系： 勋w i + x 2 w 2 + 一 + x n w n c 对一个坏的客户，满足： w l x u + w 2 x i 2 + + 1 仍西，l c - 口i k i = n g w i x i i + w 2 x j 2 + + x 拥= c + a in g + 1 = i = n g + ，细 很明显，这一线性规划实际上是将所有可能的错误分类的总和最小化。 判别分析法、回归分析法、数学规划法三种方法实质上都是线性分析法，线性分 析法特点就是，模型简单，易于理解，便于操作，在个人信用评估中被广泛应用1 1 s l 。 但是在信用评分领域有相当多的学者偏向于统计学方法，有些学者对统计学方法与线 性规划方法的效果进行了比较，大部分研究认为统计学方法要比线性规划方法好。这 一方面是因为统计学方法的意义更加直观一些，另一方面则是线性规划本身也存在一 9 南京理工大学硕士学位论文 基于数据挖掘技术的个人信用评估模型 些问题，它有一个最大的弱点就是它的一个假设前提，所有的指标都具有线性特征， 而现实生活中很多都不是线性的，如年龄，甚至有的量化根本没有意义，如性别、职 业，因此线性法受到了诸多限制。随着数据挖掘技术的不断发展，越来越多的人把目 光投向了数据挖掘技术，通过数据挖掘从大量数据中提取或挖掘知识，以达到个人信 用评估目的。 i o 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 3 数据挖掘技术 数据挖掘( d a t am i n i n g ) 是从大量的、不完全的、有噪声的、模糊的、随机的实际 应用数据中提取人们感兴趣的知识，这些知识是隐含的、事先未知的、潜在有用的信 尉动。它是通过分析数据发现数据内部的信息和知识的过程。随着数据库的广泛应用， 数据挖掘的应用领域也越来越广泛。 数据挖掘定义首先强调了数据挖掘的基础是大量数据，所以数据挖掘应该具有高 效处理大量数据的能力。这也是目前数据挖掘技术的一个难题，一些算法在小数据集 上效果很好，但数据量增加到一定程度，算法的实现代价过大、效率太低，甚至无法 实现。同时，从定义中可以看出，数据挖掘处理的数据特点是不完全的、有噪声的、 模糊的、随机的。 数据挖掘是一个交叉学科，它涉及了多个学科的思想和方法，比如数据库系统、 数理统计学、人工智能、可视化和信息科学。 3 1 数据挖掘的产生【1 l 随着计算机软硬件的飞速发展，尤其是数据库技术与应用的日益普及，人们面临 着快速扩张的数据海洋，如何有效利用这一丰富数据海洋的宝藏为人类服务，业已成 为广大信息技术工作者所关注的焦点之一。与日趋成熟的数据管理技术和软件工具相 比，人们所依赖的数据分析工具功能却无法有效地为决策者提供其决策支持所需要的 相关知识，从而形成了一种“丰富的数据，贫乏的知识”之独特的现象。为有效解决 这一问题，自2 0 世纪8 0 年代开始，数据挖掘技术逐步发展起来，数据挖掘技术的迅 速发展，得益于目前全世界所拥有的巨大数据资源，以及对将这些数据资源转换为信 息和知识资源的巨大需求，对信息和知识的需求来自各行各业，从商业管理、生产控 制、市场分析到工程设计、科学探索等等。数据挖掘可以视为是数据管理与分析技术 的自然进化产物，如图3 - 1 所示。 自2 0 世纪6 0 年代开始。数据库及信息技术就逐步从基本的文件处理系统发展为更 复杂功能、更强大的数据库系统。7 0 9 代的数据库系统的研究与发展，最终导致了关 系数据库系统、数据建模工具、索引与数据组织技术的迅速发展，这时用户获得了更 方便灵活的数据存取语言和界面。此外在线事务处理手段的出现也极大地推动了关系 数据库技术的应用普及，尤其是在大数据量存储、检索和管理的实际应用领域。 自2 0 世纪8 0 9 代中期开始，关系数报库技术被普遍采用，新一轮研究与开发新型 与强大的数据库系统悄然兴起，并提出了许多先进的数据模型：扩展关系模型、面向 对象模型、演绎模型等，以及应用数据库系统：空问数据库、时序数据库、多媒体数 据库等。目前异构数据库系统和基于互联网的全球信息系统也已开始出现并在信息工 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 业中开始扮演重要角色。 被收集并存储在众多数据库中且正在快速增长的庞大数据，已远远超过人类的处 理和分析理解能力( 在不借助功能强大的工具情况下) ，这样存储在数据库中的数据就 成为“数据坟墓”，即这些数据极少被访问，结果许多重要的决策不是基于这些基础 数据而是依赖决策者的直觉而制定的，其中的原因很简单，这些决策的制定者没有合 适的工具帮助其从数据中袖取出所需的信息知识。而数据挖掘工具可以帮助从大量数 据中发现所存在的特定模式规律，从而可以为商业活动、科学探索和医学研究等诸多 领域提供所必需的信息知识。数据与信息知识之问的巨大差距迫切需要系统地开发数 据挖掘工具，来帮助实现将“数据坟墓”中的数据转化为知识财富。 数据收集与数据库创建 ( 6 0 年代或更早) 基础文件处理 数据库管理系统 ( 7 0 年代) 网络和关系数据库系统 数据建模工具 索引和数据组织技术 查询语言和查询处理 用户界面与优化方法 在线事物处理 先进数据库系统 ( 8 0 年代中期至今) 先进数据模型( 扩展关系、 面向对象，对象关系) 面向应用( 空间、时间、多 媒体、知识库) 数据仓库和数据挖掘 ( 8 0 年代后期至今) 先进数据模型( 扩展关系、 面向对象，对象关系) 面向应用( 空间、时问、多 媒体、知识库) 新一代信息系统 ( 2 0 0 0 年以后) 图3 - 1 数据挖掘进化过程示意描述 南京理工大学硕士学位论文 基于数据挖掘技术的个人信用评估模型 3 2 数据挖掘的过程 数据挖掘的全过程定义描述如图3 2 所示。可见，整个知识挖掘过程是由若干挖 掘步骤组成，而数据挖掘仅是其中的一个主要步骤。整个知识挖掘的主要步骤有： 数据清洗( d a t ac l e a n i n g ) 。其作用就是清除数据噪声和与挖掘主题明显无关的数 据。 数据集成( d a t ai n t e g r a t i o n ) 。其作用就是将来自多数据源中的相关数据组合到一 起。 数据转换( d a t at r a n s f o r m a t i o n ) 。其作用就是将数据转换为易于进行数据挖掘的数 据存储形式。 数据挖掘( d a t am i n i n g ) 。它是知识挖掘的一个基本步骤，其作用就是利用智能方 法挖掘数据模式成规律知识。 模式评估( d a t ae v a l u a t i o n ) 。其作用就是根据一定评估标准，从挖掘结果筛选出有 意义的模式知识。 知识表示( k n o w l e d g ep r e s e n t a t i o n ) 。其作用就是利用可视化和知识表达技术，向 用户展尔所挖掘出的相关知识。 图3 - 2 知识挖掘全过程示意图 尽管数据挖掘仅仅是整个知识挖掘过程中的一个重要步骤，但由于目前工业界、 媒体、数据库研究领域中，“数据挖掘”一词已被广泛使用并被普遍接受，因此“数 据挖掘”一词还可以表示整个知识挖掘过程，即数据挖掘就是一个从数据库、数据仓 库或其它信息资源库的大量数据中发掘出有用的知识。 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 3 - 3 数据挖掘的功能 利用数据挖掘技术可以帮助获得决策所需的多种知识。在许多情况厂、用户并不 知道数据存在哪些有价值的信息知识，因此，对于一个数据挖掘系统而言，它应该能 够同时搜索发现多种模式的知识，以满足用户的期望和实际需要。此外，数据挖掘系 统还应能够挖掘出多种层次( 抽象水平) 的模式知识。数据挖掘系统还应允许用户来指 导挖掘搜索有价值的模式知识。 数据挖掘功能以及所能够挖掘的知识类型说明描述如下： 3 3 1 分类与预测( c l a s s i f i c a t i o na n dp r e d i c a t i o n ) 分类就是找出一组能够描述数据集合典型特征的模型( 或函数) ，以便能够分类识 别未知数据的归属或类别( c l a s s ) ，即将未知事例映射到某种离散类别之一。分类模型 ( 或函数) 可以通过分类挖掘算法从一组训练样本数据( 其类别归属已知) 中学习获得。 分类挖掘所获的分类模型可以来用多种形式加以描述输出。其中主要的表示方法 有：分类规贝, u o f t h e n ) 、决策树( d e c i s i o nt r e e s ) 、数学公式( m a t h e m a t i c a lf o r m u l a ) 和 神经网络。决策树是一个具有层次结构的树状结构。决策树可以很容易地转换为分类 规则。 分类通常用于预测未知数据实例的归属类别( 有限离散值) ，如一个银行客户的信 用等级是属于a 级、b 级还是c 级。但在一些情况下需要预测某数值属性的值( 连续 数值1 ，这样的分类就被称为预测( p r e d i c a t i o n ) 。尽管预测既包括连续数值的预测，也 包括有限离散值的分类，但一般还是使用预测来表示对连续数值的预测，而使用分类 来表示对有限离散值的预测。 3 - 2 聚类分析( c l u s t e r i n ga n a l y s i s ) 聚类分析与分类预测方法明显不同之处在于后者所学习获取分类预测模型所使 用的数据是己知类别归属。属于有教师监督学习方法，而聚类分析( 无论是在学习还 是在归类预测时) 所分析处理的数据均是无( 事先确定) 类别归属，类别标志在聚类分析 处理的数据集中是不存在的。究其原因很简单，它们原来就不存在，因此聚类分析属 于无教师监督学习方法。 聚类分析中，首先需要根据“各聚集内部数据对象间的相似度最大化和各聚类对 象间相似度最小化”的基本聚类分析原则，以及度量数据对象之间相似度的计算公式， 将聚类分析的数据对象划分为若干组。因此一个组中数据对象问的相似度要比不同组 数据对象问的相似度要大。每个聚类分析所获得的组就可以视为是一个同类别归属 的数据对象集合，更进一步从这些同类别数据集，又可以通过分类学习获得相应的分 类预测模型( 规则) 。此外通过反复不断地对所获得的聚类组进行聚类分析，还可获得 1 4 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 初始数据集合的一个层次结构模型。 3 3 3 异类分析( o u t l i e ra n a l y s i s ) 一个数据库中的数据一般不可能都符合分类预测或聚类分析所获得的模型。那些 不符合大多数数据对象所构成的规律( 模型) 的数据对象就被称为异类。以前许多数据 挖掘方法都在正式进行数据挖掘之前就将这些异类作为噪声成意外而将其排除在数 据挖掘分析处理范围之外。但在一些应用场合，如各种商业欺诈行为的自动检测，小 概率发生的事件( 数据) 往往比经常发生的事件( 数据) 更有把掘价值。对异类数据的分 析处理通常就称为异类挖掘。 数据中的异类可以利用数理统计方法分析获得，即利用已知数据所获得的概率统 计分布模型，或利用相似度计算所获得的相似数据对象分布，分析确认异类数据。而 偏离检测就是从数据已有或期望值中找出某些关键测度显著的变化。 3 3 a 演化分析( e v o l u t i o na n a l y s i s ) 数据演化分析就是对随时变化的数据对象的变化规律和趋势进行建模描述。这一 建模手段包括：概念描述、对比概念描述、关联分析、分类分析、时间相关数据分析 ( 这其中又包括：时序数据分析、序列或周期模式匹配以及基于相似性的数据分析) 。 3 4 常用的分类和预测模型 数据库中隐藏着许多可以为商业、科研等活动的决策提供所需要的知识。分类与 预测是两种数据分析形式，它们可用于抽取能够描述空实数据集合或预测未来数据趋 势的模型。分类方法用于对离散类别对象的预测数据，而预测则用于对连续变量的预 测。本节将介绍并对比数据挖掘中常用的3 种分类法：贝叶斯法、决策树法、神经网 络法。 3 4 1 贝叶斯分类方法 贝叶斯分类器是一个统计分类器。它能够预测类别所属的概率。如：一个数据对 象属于某个类别的概率。贝叶斯分类器是基于贝叶斯定理( 以下将会介绍) 而构造出来 的。对分类方法进行比较的有关研究结果表明：简单贝叶斯分类器( 称为基本贝叶斯 分类器) 在分类性能上与决策树和神经网络都是可比的。在处理大规模数据库时，贝 叶斯分类器巴表现出较高的分类准确性和运算性能。 设确一个类别未知的数据样本。h # 3 某个假设，若数据样本蹁于一个特定的类 别c ，那么分类问题就是决定_ e t h i x ) ，即在获得数据样本埘，h e 设成立的概率。 p ( h 协o 是事后概率，或为建立在条件) 之上的剜甄率。例如：假设数据样本是水 果，描述水果的属性有颜色和形状。假设劝红色和圆状，日为腿一个苹果的假设， 南京理工大学硕士学位论文基于数据挖掘技术的个人信用评估模型 因此p f 刎幻就表示在已知影黾红色和圆状时，确定肭一个苹果的假设成立的概率； 相反删j 为事前概率，在上述例子中，p 就表示任意一个数据对象，它是一个苹果 的概率，无论它是的种颜色和形状。与尸卿相比，p 俾恸是建立在更多信息基础之上 的，而前者则与x 无关。 类似的，p i 挪删是建方在h 基础之上的碱立概率，也就是说：若已知x 是一个苹 果，那它是红色和圆状的概率可表示为户f 研硼。 由于p ( 矽，p f 删和p f 研硼的概率值可以从( 供学习使用的) 数据集合中得到，贝叶 斯定理则描述了如何根据p ( 习，p 卿和p ( 脚计算获得的p 似。有关的具体公式定 义描述如下： p ( h i x ) - 警 ( 3 1 ) 基本贝叶斯分类器( n a i v eb a y e s i a nd a s s i f i c 菇) 假设一个指定类别中各属性的取值 是相互独立的。这一假设也被称为：类别条件独立( c l 鹪sc o n d i t i o n a li n d e p e n d e n c e ) ，它 可以帮助有效减少在构造贝叶斯分类器时所需要进行的计算量。 3 4 2 基于决策树的方法 所谓决策树就是一个类似流程图的树型结构，其中树的每个内部结点代表对一个 属性的测试，其分支就代表测试的每个结果，而树的每个叶结点就代表个类别。树 的最高层结点就是根结点。如图3 3 所示，就是个决策树示意描述、该决策树描述 了一个购买电脑的分类模型，利用它可以对一个学生是否会在本商场购买电脑进行分 类预测。决策树的中间点通常用矩形表示，而叶结点常用椭圆表示。 图3 - 3 决策树示意描述 为了对未知数据对象进行分类识别可以根据决策树的结构对数据集中的属性值 进行测试，从决策树的根结点到叶结点的一条路径就形成了对相应对象的类别预测。 1 6 南京理工大学硕士学位论文 基于数据挖掘技术的个人信用评估模型 决策树可以很容易转换为分类规则。算法i d 3 就是学习构造决策树的一个基本归纳算 法，该算法是一个贪心算法，它采用自上而下、分而治之的递归方式来构造一个决策 树。基本学习策略说明如下： ( 1 ) 决策树开始时，作为一个单个结点( 根结点) 包含所有的训练样本集。 ( 2 ) 若一个结点