（系统工程专业论文）基于遗传算法的贝叶斯分类器及在CRM客户保持中的应用.pdf

东北大学硕士学位论文 摘要 基于遗传算法的贝叶斯分类器及在c r m 客户保持中的应用 摘要 随着经济全球化，信息时代的来临，金融行业的竞争环境发生了天翻地覆的变 化。在西方发达国家中，信用卡的普及、提前消费的观念被社会广泛所接受使得各 大金融机构将目光放在了信用卡客户的借贷经营中。同时，客户对市场的了解越来越 深，对信用卡提供商要求也越来越高。这些严峻的现状使得企业不得不将经营理念向 “以客户为中心”转变。因此，如何吸引并保持现有客户、培养和挖掘潜在客户己成 为企业竞争的焦点，良好客户关系的提升成为信息时代的致胜关键。 客户保持是客户关系管理的一个重要组成部分，精明的市场的经营策略是尽可 能的保持与现有客户的长期合作关系。在金融行业中，一个企业拥有上百万个客户， 在如此庞大的群体中实施客户保持策略的开销是难以想象的。因此对现有客户进行 分类，找出潜在的流失客户是客户保持得以实施的关键因素。 然而客户的行为状态存在着很大的不确定性，其出现和变化不能通过简单的物 理规律加以确定。在金融行业的数据库系统中，拥有大量客户信息和客户历史交易 信息，如何管理和分析大量，庞杂的信息，从中找出对企业管理决策有价值的信息 则需要有先进的技术和工具的支持，而数据挖掘等新兴技术的出现为数据分类问题 提供了良好的支持。随着数据挖掘的兴起，对数据分类问题的研究也越来越多，其 中贝叶斯分类器是解决不确定性分类问题的一个非常有效的工具。 目前，我国在金融行业的客户保持的研究与荫方还有很大差距，随着我国经济 的发展，人民消费水平的提高和消费观念的更新，信用卡的普及是必然的发展趋势， 随着中国加入w t o ，世界各大金融机构将对我国的企业产生强大的冲击，客户保持 策略可以提高我国企业的竞争力，是在经济全球化的市场环境中得以生存的关键。 因此本研究课题具有重要的理论与实际意义。 本文首先分析了当今西方发达国家中金融行业中的背景，针对金融业中客户保 持的特点，进行了大量的统计和分析，使用遗传算法来构造贝叶斯分类器模型，构 造出的分类模型拥有较高的分类精度，可以从大量的客户中准确地找出少数潜在流 东北大学硕士学位论文 摘要 失的客户。本文研究的贝叶斯分类器构造算法己经作为核心模块嵌入在潜在流失窖 户预测系统中，在一家知名的目本企业中得以应用，并获得了满意的结果。 本文主要的研究目标是贝叶斯分类器网络结构的构造算法，在对现有的构造算 法的研究的基础上，提出了基于遗传算法的贝叶斯网络分类器的新的构造算法，在 相同训练数据和评价数据下，对该算法和现有的构造算法进行仿真，结果证明，基 于遗传算法的贝叶斯分类器拥有更高的分类精度。同时，在该算法的基础上，开发 了潜在流失客户预测系统，并应用在实际之中。 本论文的研究工作为数据挖掘中的不确定性分类问题提供了有效的问题描述与 分析工具。 关键词：遗传算法；贝叶斯网络；贝叶斯分类器：数据挖掘；机器学习：客户保持 客户关系管理；借贷；金融 东北大学硕士学位论文 a b s t & a c t g e n e t i ca l g o r i t h m sb a s e db a y e s i a nn e t w o r k sc l a s s i f i e r sa n di t s a p p l i c a t i o n st oc u s t o m e rr e t e n t i o ni nc r m a bs t r a c t w i t ht h ec o m i n go fe c o n o m yg l o b a l i z a t i o na n di n f o r m a t i o nt i m e s ，t h ec o m p e t i t i o n e n v i r o n m e n to ff i n a n c ei n d u s t r yh a sb e e nc h a n g i n gs h a r p l y i nt h ew e s t e r nd e v e l o p e d c o u n t r i e s ，t h ef a c t o r , w h i c ht h ei d e ao fc r e d i tc a r d s 。s p r e a d i n ga n ds p e n d i n gb e y o n di s w i d e l ya c c e p t e d ，m a k e sm a n ye c o n o m i ci n s t i t u t e sf o c u so nt h ec r e d i tc a r d s b u s i n e s so n m a n a g e m e n to fd e b i ta n dc r e d i to ft h ec r e d i t - c a r dc u s t o m e r s ，a tt h es a m et i m e ，t h eb e t t e r c u s t o m e r sk n o wa b o u tt h ec r e d i t c a r dm a r k e t ，t h em o r el e v e ld e m a n d st oc r e d i t c a r d s u p p l i e r sc o m e t h ea u s t e r ea c t u a l i t i e sm a k et h ee n t e r p r i s e sh a v et oc h a n g et h ei d e ao f m a n a g e m e n tt o c u s t o m e r s - c e n t e r t h u s ，h o wt oa t t r a c ta n dk e e pc u r r e n tc u s t o m e r s ，a n d f i n dp o t e n t i a ls e c e d ec u s t o m e r sh a sb e c o m em o r ea n dm o r ei m p o r t a n t ag o o dc u s t o m e r r e l a t i o n s h i pi st h ek e yp o i n tt ob es u c c e s s f u li nc u r r e n ti n f o r m a t i o nt i m e s c u s t o m e rr e t e n t i o ni sa ni m p o r t a n tp a r ti nt h ec u s t o m e rr e l a t i o nm a n a g e m e n t 。t h e s h a r pm a r k e t m a n a g e m e n ts t r a t e g i e s a r et o t r yt h e i r b e s tt o k e e pt h el o n g t e r m r e l a t i o n s h i pw i t ht h ec u r r e n tc u s t o m e r s ，i nf i n a n c i a li n d u s t r y , a ne n t e r p r i s eh a sm i l l i o n s o fc u s t o m e r s ，s o s p e n d i n go fc a r r y i n g o u tc u s t o m e rr e t e n t i o ns t r a t e g i e si s h u g e t h e r e f o r e ，c l a s s i f y i n gt h e c u r r e n tc u s t o m e r sa n df i n d i n go u tt h e p o t e n t i a ls e c e d e c u s t o m e r sa r et h ek e yf a c t o rf o rt h ec u s t o m e rr e t e n t i o n h o w e v e r ，t h es t a t e so fc u s t o m e r s a c t i o n sa r eu n c e r t a i n ，a n dt h e i ra p p e a r a n c e sa n d c h a n g e sc a nn o tb ec o n f i r m e db ys i m p l ep h y s i c a lr u l e s t h e r ea r ea g r e a td e a l o f c u s t o m e r s i n f o r m a t i o na n dt h e i rh i s t o r yb a r g a i n i n gi n f o r m a t i o ni nt h ed a t a b a s es y s t e m o ff i n a n c i a li n d u s t r yh o wt om a n a g ea n da n a l y z et h eh u g ea m o u n to fi n f o r m a t i o nt of i n d o u tt h ev a l u a b l ek n o w l e d g ef o rd e c i s i o n - m a k i n go ft h ee n t e r p r i s em a n a g e m e n tn e e d st h e h e l po fa d v a n c e dt e c h n o l o g i e sa n d t o o l s a n dt h ea p p e a r a n c eo fn e wt e c h n o l o g i e s ，s u c h a sd a t am i n i n g ，p r o v i d e sag o o ds u p p o r t sf o rt h ep r o b l e m so fd a t ac l a s s i f y i n g 。w i t h r i s i n go fd a t am i n i n g ，t h e r ea r em o r er e s e a r c h e so nt h ed a t a c l a s s i f i c a t i o np r o b l e m i n t h o s et o o l s ，b a y e s i a nc l a s s i f i e r sa r ee f f e c t i v em e t h o dt os o l v et h ep r o b l e mo fu n c e r t a i n l y c t a s s i f i c a t i o n a t p r e s e n t ，t h e r e i sal o n gd i s t a n c eb e t w e e nw e s t e r nr e s e a r c h e sa n do u r so n c u s t o m e rr e t e n t i o ni nf n a n c ei n d u s t r y a st h ed e v e l o p m e n to fe c o n o m y ，b e c a u s eo ft h e r v 东北大学硕士学位论文 a b s t r a c t p r o m o t i n g o fc o n s u m p t i o nl e v e la n dt h ec h a n g i n go f c o n s u m p t i o n i d e a t h e p o p u l a r i z a t i o no fc r e d i tc a r di s a ni n e v i t a b l et r e n d w h e nc h i n ag o e si n t ow t o ，g l o b a l f i n a n c eo r g a n i z a t i o n sm a k eab i gi m p a c tt oi n t e r n a le n t e r p r i s e t h ec u s t o m e rr e t e n t i o n s t r a t e g i e sc a ni m p r o v et h ec o m p e t i t i v ea b i l i t yo f i n t e r n a le n t e r p r i s e s ，w h i c hi st h ek e yo f s u r v i v i n gt h em a r k e te n v i r o n m e n to fe c o n o m yg l o b a l i z a t i o nf o r i n t e r n a lf i n a n c i a l e n t e r p r i s e s s ot h i sr e s e a r c ht o p i ch a si m p o r t a n ta c a d e m i ca n dp r a c t i c a ts i g n i f i c a t i o n ， i nt h i sp a p e r ，a tf i r s ti t a n a l y z e st h eb a c k g r o u n do ff i n a n c i a li n d u s t r yi nw e s t e r n d e v e l o p e dc o u n t r i e sa n dc a r r i e so u tag r e a td e a lo fs t a t i s t i ca n da n a l y z e sf o re x t r a c t i n g t h ec h a r a c t e r i s t i c so fc u s t o m e rr e t e n t i o np r o b l e m si nf i n a n c i a li n d u s t r y ，t h e nb u i l ta b a y e s i a nc l a s s i f i e r sm o d e lb yg a t h i sm o d e lh a sh i g h e rc l a s s i f y i n gp r e c i s i o n ，a n dc a n m a t c hf e wp o t e n t i a ls e c e d ec u s t o m e r sf r o mt h el a r g ea m o u n to fc u s t o m e r s a st h ec o r eo f t h i sp r o j e c t ，t h i sa r i t h m e t i ch a sb e e ne m b e d d e di n t of o r e c a s t i n gs y s t e mf o rp o t e n t i a l s e c e d ec u s t o m e r s ，a n da p p l i e di naf a m o u sj a p a n e s ee n t e r p r i s ew i t hw e l l p l e a s e dr e s u l t t h ep r i m a r yw o r ko ft h i sp a p e ri st os t u d ya r i t h m e t i ct oc o n s t r u c tan e t w o r k s t r u c t u r eo fb a y e s i a nc l a s s i f i e rb ys t u d y i n gt h ec u r r e n tr e s e a r c h e s ，i tp r o p o s e san e w g a b a s e da r i t h m e t i cf o rc o n s t r u c t i n gb a y e s i a nc l a s s i f i e r s b a s e do nt h es a m et r a i n i n g d a t a ，t h er e s u l to fg a - b a s e dm e t h o ds h o w sh i g h e rc l a s s i f y i n gp r e c i s i o nt h a no t h e r m e t h o d s a tt h es a m et i m e ，o nt h eb a s i so ft h ea r i t h m e t i c ，t h ef o r e c a s t i n gs y s t e mf o r p o t e n t i a ls e c e d ec u s t o m e ri sd e v e l o p e da n di m p l e m e n t e di nr e a lp r a c t i c e t h i sp a p e rw i l lp r o v i d ee f f e c t i v ea n a l y s i st o o l sf o rt h eu n c e r t a i nc l a s s i f i c a t i o n p r o b l e m si nd a t am i n i n gf i e l d k e yw o r d s ：g e n e t i ca l g o r i t h m s ，b a y e s i a nn e t w o r k ，b a y e s i a nc l a s s i f i e r ，d a t am i n i n g ， m a c h i n el e a r n i n g ，c u s t o m e rr e t e n t i o n ，c u s t o m e rr e l a t i o nm a n a g e m e n t ，d e b i ta n dc r e d i t ， f i n a n c e v 独创声明 本人声明所里交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加 以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也不包括本人为 获得其他学位而使用过的材料。与我同工作的同志对本研究所做的任何贡献均己在论 文中作了明确的说明并表示诚挚的谢意。 学位论文作者签名 毛竭芮 签字日期： 伽牟2 闩鲁伯 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即 学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交 流。 ( 如作者和导师同意网上交流，请在下方签名：否则视为不同意) 学位论文作者签名：毛涵跨 导师签名 签字日期：细鳞2 日。日 签- 7 - 日期 东北大学硕士学位论丈 第一章绪论 第一章绪论 1 1 研究背景与意义 作为广义e r p 的个组成部分，客户关系管理( c u s t o m e rr e l a t i o n s h i p m a n a g e m e n t ，c r m ) 使企业能够全面观察其外部的客户资源，实现获得潜在客户、保 留现有客户和提高客户忠诚度和满意度的目标，完成从以产品为中心的模式向以客 户为中心的模式的转变【”。 客户关系管理始于2 0 世纪8 0 年代的联络管t 望( c o n t a c tm a n a g e m e n t ) ，经过9 0 年代的客户关注( c u s t o m e rc a r e ) ，演进至今以客户为中心的发展模式 2 1 。客户关系 管理是1 9 9 9 年下半年伴随着因特网和电子商务的大潮进入中国的。它是信息技术与 传统的营销、销售和服务管理整合的产物。客户关系管理是一种观念，是一个不断加 强与顾客交流，不断了解顾客需求，并不断对产品及服务进行改进和提高以满足顾客 需求的连续的过程。它的根本目的是使客户资源价值最大化 3 】。 在新世纪中，人们更加注重服务的品质与个性化，市场也早就从以产品为导向 转向以顾客服务为导向，精明的金融企业都开始积极地实施个性化、差异化的客户 服务策略，以求培养忠实和稳定的客户群。客户关系管理作为一种旨在改善金融企 业与客户关系的新型运作机制，已成为金融企业开展各种个性化服务的首选工具 ”。 拥有对市场活动和销售活动的透彻分析能力，并且对客户、产品、职能部门以及地理 区域等进行多维分析是c r m 最重要的功能之一。 c r m 是个不断演变的概念。较早的概念把c r m 定义为一种营销工具，最近的 概念把其提高到企业的战略层次上，但到目前还没有个统一的定义。下面国际上普 遍承认的几种对c r m 的描述【5 】= ( 1 ) 卡尔森市场营销集团：是一项通过个别雇员、渠道或客户为某个组织或企 业建立形象，从而挽留老客户，提升表现的商业策略。 ( 2 ) g a r t n e rg r o u p ( 最早提出客户关系管理) ：是整个企业范围内的一个战略，这 个战略的目标是通过组织细分市场，培养客户满意行为，将从供应商到客户 的系列处理过程联系在块，使得利润、收益、客户满意程度最大化。 东北大学硕士学位论文 第一章绪论 ( 3 ) 企业资源管理中，b ( a m t ) ；是一种以客户为中心的经营策略，它以信息技术 为手段，对业务功能进行重新设计，并对工作流程进行重组。 尽管没有一个通用的定义，但从上面的各种描述中，一方面可以看出，c r m 在帮 助企业识别、吸引和保留有价值的客户这几方面是被广泛认同的。另方面也可以 看出c r m 是管理理念和信息技术相结合的产物。为了实现c r m 的目标，经营者首 先必须转变管理理念，以客户为中心，通过客户关怀提升客户满意度、忠诚度，这是 c r m 成功的必要条件，没有它，c r m 就失去了基础；其次要有信息技术来支持这种 新的管理模式，表现为以i n t e r n e t 和电子商务、多媒体技术、数据仓库和数据挖掘、 专家系统和人工智能及呼叫中心等最新的信息技术为基础，没有它们的支持，c r m 工作的效率将难以保证，经营理念的贯彻也失去了落脚点。 总之，c r m 就是通过对客户进行系统化研究，改进对客户的服务水平，提高客户 的忠诚度，吸引和保持更多的客户，从而增加营业额，并通过加强管理，降低企业经营 成本，是在正确的时间利用正确的途径为正确的客户提供正确的服务，从而达到吸引 和保持客户，降低企业成本之目的。 客户保持是c r m 的重要组成部分。企业争取一个新的客户的开销是保持现有 客户的开销的数倍，因此精明的市场的经营策略是尽可能的保持与现有客户的长期 合作关系。本论文是以西方发达国家的信用卡公司的借贷业务为背景，主要研究信 用卡客户流失的客户保持问题。在当今的西方发达国家中，信用卡消费十分普及， 不同的金融机构发行的信用卡所提供的服务业各不相同。由于提前消费观念被广泛 的接受，越来越多的公司将目光转移到了信用卡借贷业务上来。而客户拥有选择信 用卡借贷业务提供商的主动权，如果企业不采取一定的客户保持策略，那么在激烈 的商业竞争将处于不利地位。调查结果表明，在该行业中每争取一位新客户的成本 是保持一位现有客户的成本5 到7 倍。可以看出，保持现有客户，防止客户流失是 企业生存的关键所在1 6 1 。 金融行业中的客户群体巨大，目前西方发达国家中，从事信用卡借贷业务的公 司，平均每家拥有3 0 0 万左右的客户，而流失客户仅仅占其中的5 左右，但是由 于市场基数大，尽管客户流失的比例很小，但是每年企业也会从中损失巨大的利润。 随着市场经济的发展，我国的金融行业也在飞速的发展之中，虽然目前信用卡 一2 一 东北大学硕士学位论文 第一章绪论 借贷业务在我国还没有出现，但随着经济的增长，人民生活水平的逐步提高，消费 观念的更新，信用卡普及是必然趋势，因此同样的阔题在我国也将会出现，然而目 前国内在这方面的研究还是空白。随着中国的市场逐步开放，外国各大金融机构必 将进入我国市场，对我国的金融行业造成巨大的冲击，我国的金融机构也将面l 临前 所未有的挑战，客户保持的研究对在激烈的国际化市场竞争中，增强我国的企业的 竞争实力，具有更重要的意义。 除此之外，本论文所研究的不确定性分类方法对于客户生命周期分析【7 1 、直接 销售市场中的反复购买模型【8 】、电信流失客户的预测分析9 1 、保险欺诈识别】、 信用卡犯罪识别、不良债券预测、不良债券回收分析、电信行业不良债务预测【瞳】 等实际应用中，有着重要的参考价值，在数据挖掘，知识发现，机器学习等领域的 方法研究上也有一定的理论指导意义。 1 2 信用卡借贷业务中的客户保持的概述 1 ，2 1 信用卡借贷业务概述 在通常的意义上，信用卡是银行或其它财务机构签发给那些资信状况良好人士 的一种特制卡片，是一种特殊的信用凭证。持卡人可凭卡在发卡机构指定的商户购 物和消费，也可在指定的银行机构存取现金。信用卡是当今发展最快的一项金融业 务之一，它是一种可在一定范围内替代传统现金流通的电子货币；信用卡同时具有 支付和信贷两种功能。持卡人可用其购买商品或享受服务，还可通过使用信用卡从 、 发卡机构获得定的贷款：由于信用卡具有减少现金货币的使用、提供结算服务， 方便购物消费，增强安全感、简化收款手续，节约社会劳动力、促进商品销售，刺 激社会需求等诸多优点，在西方发达国家中已经成为人们生活之中必不可少的理财 工具。 信用卡起源于美国，至2 0 世纪8 0 年代末，拥有信用卡的家庭己超过一半，达 到5 6 ，接近零售专营卡的6 1 ，信用卡平均欠款额达到2 4 0 4 美元，迄今信用卡 已为全球所接受。近些年，随着经济、电子商务与旅行、娱乐消费的芨展，在中国 信用卡的使用也逐渐增多。 信用卡的除了可以代替现金消费以外，还提供了很多其他服务。在美国和f 本 东北大学硕士学位论文第一章绪论 等发达国家，持卡者可以实现贷款业务。普通的信用卡消费是在月末进行结算，持 卡者需要将持卡消费的金额还信用卡提供商，不支付任何的利息。在这个过程中， 信用卡公司是不能获取任何利润的，其目的主要是扩展市场。信用卡公司的获利方 式主要是来源于分期付款服务和借贷服务。 分期付款和借贷服务的客户都需要向信用卡提供商交付一定的利息，分期付款 是在契约开始时就规定了每月的还款金额和还款期限，而借贷服务则有所不同，在 契约开始时，不需要规定还款期限，用户可以无限期借款，但是每个月必须偿还本 金的利息，由于信用卡借贷服务的契约的条件限定比较宽松，手续简单，没有还款 期限限定，信用卡借贷服务在广大低收入人群中被广泛使用。 信用卡借贷服务提供商根据用户的信息和以往的信用度确定借贷限额和借贷利 率，一般情况下，借贷限额比社会的人均月收入略高，比如在美国大约是5 千美元， 在日本是5 0 万f ； ! i 元。借贷利率一般在每年1 3 到2 9 之间，尽管利率很高，但由 于借贷金额有限，利息不计入本金，必须每月偿还，这样，每月必须偿还的金额很 少，所以利用非常广泛。信用卡借贷服务商在给客户提供了方便的同时，通过大量 的客户和长时间的运营可以从中获取大量利润。 市场数据显示，客户在享有借贷服务后，一般都会长时间维持借贷状态，每个 月只还利息和部分本金来履行契约义务，或者在还清借贷金额后的一段时间内再次 与信用卡提供商签订借贷契约。 在这一行业中，公司的利润完全取决于客户盼数目和客户的借贷生命周期。因 此保持现有借贷客户，维持长时间的借贷关系是企业经营的根本策略。然而由于激 烈的市场竞争，客户流失是借贷公司面临的最严峻的问题。信用卡借贷的客户可以 根据当时借贷状态分为如下几类： ( 1 ) 持续利用客户：契约以后，没有过还完本金的经历。 ( 2 ) 反复利用客户：反复借款，并反复偿还本金的客户。 ( 3 ) 再利用客户：偿还本金后，间隔很长时间再次借款的客户。 ( 4 ) 再利用对象：偿还本金，但最终偿还日期距离现在时间很短，一般为18 0 日以内。 ( 5 ) 流失客户：偿还本金，长时间没有再次借款，一般为18 0 日以上。 一4 - 东北大学硕士学位论文 第一章绪论 在上面的5 类客户中，第5 类的流失客户是信用卡借贷公司最为关注的对象， 提前预铡出这部分客户，在客户流失之前对其采取客户保持策略，防止客户的流失， 将给企业带来巨大的利润。 1 2 2 信用卡借贷业务中客户保持策略的实施 在借货行业。，客户在选择借贷公司的时候主要考虑以下几个医素： ( 1 ) 服务：这包括职员的服务态度，对客户信息的保密措施是否完善，a t m 网 点是否分布广泛，方便客户借款和还款等。 ( 2 ) 借贷利率：这个因素是最重要的，因为它直接关联着客户的经济利益。利 率根据公司和客户信誉度”1 的不同，从13 n2 9 i q 。借贷利率越低， 越吸引客户。 ( 3 ) 借贷限额：信贷限额是指客户的账户中可以借贷的最高额度，限额的高低 根据公司和客户的信誉度的不同而不同，个别信誉良好的客户有更高的借 贷限额。限额越高，越吸引客户，但同时企、【k 的风险也越高。 为了保持住更多的客户，借贷公司应该做到以下几点： ( 1 ) 认识客户保持对企业生存和发展的重要作用，客户保搏对于管理队伍柬流 是一个无价的商业工具。 ( 2 ) 收集信息，包括客户的基本信息，客户的借贷交易信息和市场信息等。这 些信息对于管理者来说是分析客户行为的基本要素。 ( 3 ) 要理解对于不同的客户群体，保持率是不同的，对于不同的客户采用的保 持措施也是不同的。通过分析不同保持率的客户群体，公司可以决定哪些 客户群体更有保持价值。更重要的是，对客户分类分析，可以使企业将财 力和资源集中在保持那些更有价值的客户中。使用统计学理论和些统计 工具进行分析，建立数学模型，分辨出潜在的流失客户群，对该类客户采 取一定的保持策略，可以节省大量的开支。 ( 4 ) 培养客户保持文化。贯彻执行客户保持，不断的改进现有船务和客户保拷 策略对于一个企业的成功是非常重要的。 策略对于一个企业的成功是非常重要的。 东北大学硕士学位论文 第一章绪论 1 3 本论文的研究思路 客户分类是客户保持中最重要的环节，任何一家金融机构都不可能对数目庞大 的全体客户都采取客户保持策略，如何有效的对客户进行分类，缩小客户保持的对 象群体是客户保持得以实施的关键。而客户的行为状态存在着很大的不确定性，其出 现和变化不能通过简单的物理规律加以确定。在金融行业的数据库系统中，拥有大 量客户信息和客户历史交易信息，如何管理和分析大量，庞杂的信息，从中找出对 企业管理决策有价值的信息则需要有先进的技术和工具的支持。 数据挖掘【h 1 技术的出现为我们提供了解决问题的基本思路。企业要对客户进行 分类，必须通过不断地获得与客户相关的信息来了解客户。现在许多企业都缺乏大 量的，有效的客户数据，即使有客户数据，也是被分散存储在异构的，跨平台的多 个业务数据库中，内容、格式往往不一致，甚至相互矛盾。要解决客户分类问题， 首先就要将各个分散的数据库中进行有效的集成，建立数据仓库【” ，这个过程包含 原数据库分析，数据整理，数据相关性分析，数据清理，和数据转换等过程 1 。在 信用卡借贷行业中的数据主要有用户基本信息，用户交易历史信息，和来至外界的 数据信息。原始的数据是不会给分类问题带来任何帮助的，必须借助统计学理论， 和一些分析工具从原始数据中提取隐含在其中的，人们事先不知道的但又是潜在有 用的信息和知识1 。 在有了充足的数据信息的支持下，需要建立分类模型对问题进行求鳃。分类模 型的求解方法很多，目前研究比较多的有决策树( d e c i s i o nt r e e ) 1 8 】，神经元网络 ( n e r v e n e t w o r k ) f 19 1 ，支持向量机( s u p p o r t v e c t o r m a c h i n e ) 【2 钟，贝叶斯网络( b a y e s i a n n e t w o r k s ) 2 1 】等。 客户保持中的流失客户预测的问题与许多其他分类问题十分类似，如电信流失 客户的预测分析f9 1 、保险欺诈识别 t t l 、信用卡犯罪识别、不良债券预测、不良债 券回收分析、电信行业不良债务预测 1 2 1 等。本论文的研究过程中参考了大量的相似 问题的研究方法与实际的应用情况，其中美国电信行业不良债务预测与本论文的研 究问题及其相似，它们都具有如下特点： ( 1 ) 客户可以分为2 类：在美国电信行业中客户分为正常交纳通讯费用的客户 东北大学硕士学位论文 第一章绪论 和不交纳通讯费用的不良客户；在信用卡借贷行业中，客户可以分为忠诚 客户和流失客户。 ( 2 ) 关心的客户群体所在比例非常少：无论是电信行业中的不良客户还是信用 卡借贷行业中的流失客户都仅占全体客户的5 左右。 ( 3 ) 客户意图无法推测。 ( 4 ) 错误识别率限制：在电信行业中，由于需要确保客户的满意度，需要降低 将正常客户识别为不良客户的比率。在借贷行业中，错误预测流失客户人 数的增多会增加客户保持的操作成本。 ( 5 ) 数据库中数据量巨大，数据分散。 ( 6 ) 数据信息形式多种多样，数据分布情况各不相同。 早在1 9 9 7 年，美国a t & t 客户实验室对美国电信产业的不良客户预测问题进 行了细致的研究，并开发出了电信不良客户预测系统a p r i ( a d v a n c e dp a t t e r n r e c o g n i t i o na n di d e n t i f i c a t i o ns y s t e m ) 【2 2 1 。a p r i 可以在大量数据收集的基础上自动 的构造贝叶斯网络分类器模型，它的优势是可以有效地选择变量并描述变量之间的 关联信息。该系统构造的模型在评价数据中可以正确匹配3 6 5 7 的不良客户，错误 匹配9 1 1 的正常客户。考虑到了不良客户所占的比例十分的少，和给问题的复杂 性，该结果已经取得了很大的突破。 图1 1 客户保持中客户分类的实施过程 f i g 1 1t h ec l a s s i f i c a t i o np r o c e d u r e si nc u s t o m e r r e t e n t i o n 在经过大量的类似问题的成功案例的调查后，本论文确定了使用贝叶斯分类器 作为分类模型用来解决客户流失的预测问题。贝叶斯分类器是基于贝叶斯理论的概 东北大学硕士学位论文 第一章绪论 率推理模型，对不确定分类有着很好的求解方法，这一点也十分符合本论文研究的 问题的特点。综上所述，客户保持中的客户分类过程可以用图1 1 描述。 1 4 本论文的主要的研究工作 本文主要工作包括五部分： ( 1 ) 对信用卡借贷客户的流失客户预测问题进行调查，对西方国家中，关于客 户保持问题以及经济领域中的数据挖掘和不确定性分类问题进行了调研： ( 2 ) 研究了在数据挖掘中解决不确定性分类问题的分类方法和贝叶斯分类器的 分类推理机制； ( 3 ) 运用统计学理论和计算机技术对数据进行大量的统计分析，抽取出对分类 模型有帮助的信息： ( 4 ) 研究了构造贝叶斯分类器的构造算法，用遗传算法对贝叶斯网络进行优化， 得出具有更高分类精度的贝叶斯分类器网络结构，并将其和现有的几种经 典的贝叶斯分类器的构造方法进行了比较和分析； ( 5 ) 设计开发了流失客户预测系统，将基于遗传算法的贝叶斯分类器嵌入其中 作为分类引擎，并将该系统应用在实际中。 论文组织结构如下： 第一章的主要内容是本论文的研究背景与意义，介绍了客户保持在金融行业的 激烈竞争中所占的重要作用和本论文的主要研究思路； 第二章对贝叶斯网络和贝叶斯分类器进行概述，主要介绍了贝叶斯网络的起源， 发展、贝叶斯分类器的研究历史和推理机制； 第三章对贝叶斯分类器的网络结构构造方法进行了研究，介绍了朴素贝叶斯分 类器，基于相关信息的贝叶斯分类器，树增强型贝叶斯分类器，最后提出了基于遗 传算法的贝叶斯分类器构造方法，并对几种贝叶斯分类器进行了比较分析； 第四章介绍了流失客户预测系统的体系结构和主要设计思想，熏点介绍了g a 引擎在提高执行效率上的改进方法； 第五章给出了4 种贝叶斯分类器的分类结果，对分类精度进行了比较。 第六章是结论和展望。 东北大学硕士学位论文 第二章贝叶斯网络与贝叶斯分类器概述 第二章贝叶斯网络与贝叶斯分类器概述 2 1 贝叶斯网络 2 1 1 贝叶斯推理和贝叶斯网络的起源、发展与应用 a ，f i j 根据不确定性信息作出推理和决策需要对各种结论的概率作出估计，这类 推理称为概率推理。贝叶斯推理的问题是条件概率推理问题，这一领域的探讨对揭 示人们对概率信息的认知加工过程与规律、指导人们进行有效的学习和判断决策都 具有十分重要的理论意义和实践意义23 1 。 早在1 8 世纪，英国学者贝叶斯( 1 7 0 2 1 7 6 1 ) 曾提出计算条件概率的公式用来 解决如下一类问题：假设爿，x ：，x 。互斥且构成一个完全事件，已知它们的概率 p ( x ，) ，i = 1 , 2 ，n ，现观察到某事件c 与x l ，z ：，。相伴随而出现，且已知条件 概率p ( c x ，) ，求p ( x ，c ) 。贝叶斯公式【2 4 】( 发表于1 7 6 3 年) 为： j d ( x ，c ) p ( x ，) p ( c x 。) p ( x 。) 尸( c x 1 ) + 尸( z 2 ) p ( c x ：) ( 2 1 ) 这就是著名的“贝叶斯定理”。 贝叶斯网络( b a y e s i a nn e t w o r k ) ，又叫概率因果网络、信任网络、知识图等【2 “， 它是在1 9 8 1 年由r h o w a r d 和j m a t h e s o n 提出的。贝叶斯网络就是建立在贝叶斯定 理的理论基础上发展起来的，它是用来表示不确定变量集合联合概率分布的图形模 式，它反映了变量间潜在的依赖关系2 副。 现实世界中的一个对象通常可以由若干属性变量来描述，这些变量集的各种取 值组合就构成了该对象的状态空间。由于这些变量间存在着一定的关系( 独立或依 赖) ，所以通过对它们的研究可以得到对象的知识表达。贝叶斯网模拟人的认知思维 推理模式，是用一组条件概率函数以有向无循环图( d a g ) 形式表示不确定性的因 果推理模型【“j 。 由于贝叶斯网表示了因果过程的总体结构，故它可被看作是拥有许多不同组合 的一个抽象知识库。它的语义可以从两方面来理解，其一是将网络看作一种联合概 东北大学硕士学位论文 第二章贝叶斯网络与贝叶斯分类器概述 率分布的表示，即贝叶斯网络完整紧凑地表示了网中各变量的联合概率分布。其二 是将网络看作条件独立性声明集合的一种表示。这两种观点实质上是等价的，而且 在贝叶斯网的表达、学习、推理算法中都得到了统一。 从1 9 8 1 年r h o w a r d 和j m a t h e s o n 提出贝叶斯网络以来，贝叶斯网络的研究已 经引起了人们相当大的兴趣。8 0 年代早期，贝叶斯网络成功地应用于专家系统中对 不确定知识的表达；8 0 年代后期，贝叶斯推理得到了迅速发展；进入9 0 年代，面 对信息爆炸的局面，研究人员已经开始尝试直接从数据中学习并生成贝叶斯网的方 法，并取得了初步的成果 27 1 。目前微软已将它用于问题解答想到、o f f i c e 帮助系统 合打印机故障检测28 1 ；在疾病诊断方面，人们成功地构建了基于贝叶斯网的专家系统 【2 引；动态贝叶斯网( d y n a m i cb a y e s i a nn e t w o r k s ，d b n ) 已在语音识别和基因研究中得 到了成功的应用【3 。 2 1 2 贝叶斯网络模型的知识表达 贝叶斯网的信息由两部分组成：首先是表示条件独立性信息的一种自然方式一 有向无环图( d a g ) 网络结构g ，g 中的每一节点表示特定域中的一个概念或变量， 在节点间的连接( 有向弧) 表示了可能的因果关系，体现了域内知识定性方面的特 征；其次，每一节点都附有与该变量相联系的条件概率分布函数( c p d ) ，如果变量 是离散的( 文章只考虑离散变量的情况) ，则它表现为给定其父母节点状态时该节点 取不同值的条件概率表( c p t ) 。c p t 体现了域内知识定量方面的特征。可见，贝叶 斯网是一种表示数据变量间潜在关系的定性定量的方法，它使用这种图形结构指定 了一组条件独立的声明和用于刻画概率依赖强度的条件概率的数字值【2 。 一个贝叶斯网络的网络结构的例子如图2 1 所示。在贝叶斯网络结构中如果 有条边从a 指向b ，我们就称a 为b 的父节点，在图2 1 中，节点h 是节点b 和节点l 的父节点，节点b 是节点f 的父节点，节点l 是节点f 和节点c 的父节 点。如果一个节点的值已知，则称该节点为证据节点，或者成为属性节点。节点不 仅仅是限于表达一个随机变量，一个节点可以描述任何类型的变量，它可以是观一 个测值，一个参数，一个潜在变量或者一个假设】，每一个节点都有它自己的值域。 东北大学硕士学位论文第= 章贝叶斯网络与贝叶斯分类器概述 图21 一个贝叶斯网络结构的例子 f i g2 1a ne x a m p l eo f b a