（管理科学与工程专业论文）基于COX模型的移动通信中低端客户流失预测研究.pdf

基于c o x 模型的移动通信中低端客户流失预测研究 摘要 随着电信业的发展，大量的客户流失让运营商蒙受巨大损失，从而使得现 有客户的维系与保持逐渐成为国内移动通信运营商关注的焦点。本文针对客户 的日益流失问题，以国内某移动通信分公司的客户流失数据为研究样本，提出 了将c o x 模型运用于客户流失预测研究中，通过实证角度阐述了通信行业如何 应用定性和定量相结合的方法对中低端客户进行流失预测。 本文首先分析可能影响客户流失的各种因素，检验它们与客户流失之间的 相关性并指出单变量分析的不足；在这个基础之上，进行多因素的分析，筛选 出具有显著预测能力的协变量，并检验这些协变量是否满足比例危险假定，进 而建立客户流失预测模型，并用验证样本对模型的预测能力进行检验。 研究结果表明，年龄、是否本地身份证、是否有联系方式、月均短信费用、 网间通话比、i p 长话费等十个协变量都对流失行为有显著的影响。利用这些协 变量，通过训练样本建立c o x 比例危险模型，同时对验证样本中8 6 3 3 0 ( 其中 在网7 9 0 4 2 个，离网7 2 8 7 个) 个客户进行预测，可以明确得到每一个客户的离 网概率，然后按离网概率从大到小排序，排在前面百分之十的客户8 6 6 3 个，其 中流失客户有6 5 1 7 个，占流失总数的8 9 4 3 ，也就是说，只要挽留住离网概 率排在前面l o 的客户，就可以挽留8 9 4 3 的流失客户。 实验得到的数据证明了该模型在预测中低端客户的流失有很好的预测效 果，能够为企业大大减少挽留成本。 关键词：客户流失；c o x 模型；预测 t h er e s e a r c ho fl o w e n dc u s t o m e rc h u r np r e d i c t i o n b a s e do nc o xm o d e li nm o b i l et e l e c o mmu n i c a t i o n i n d u s t r y - a b s t r a c t w i t ht h ed e v e l o p m e n to ft e l e c o m m u n i c a t i o ni n d u s t r y ，t om a i n t a i nc u s t o m e r si s b e c o m i n gt h ef o c u so fd o m e s t i cm a j o rt e l e c o m m u n i c a t i o no p e r a t o r s ，a st h eg r e a t l o s sr e s u l t sf r o mal a r g en u m b e ro fc u s t o m e r sc h u r n a i m e da tt h ec u s t o m e rc h u r n p r o b l e m ，t h i sd i s s e r t a t i o np r o p o s e st h a t t h ec o xm o d e li sa p p l i e dt oc u s t o m e r c h u r np r e d i c t i o n b ys t u d y i n gt h eh i s t o r i c a ld a t ap r o v i d e db yas u b s i d i a r yo fc h i n a m o b i l et e l e c o m m u n i c a t i o n w ei d e n t i f yt h ea t t r i b u t e st h a ts i g n i f i c a n t l ya f f e c t c u s t o m e rc h u r na n dt h e nd e v e l o pap r e d i c t i o nm o d e lu s i n gc o x sp r o p o r t i o n a l h a z a r dm o d e l t h i sd i s s e r t a t i o na n a l y z e sv a r i o u sf a c t o r st h a tm a yc a u s ec u s t o m e ra t t r i t i o n ， e x a m i n e st h e i rc o r r e l a t i o nw i t hc h u r nb e h a v i o r ，a n di l l u s t r a t e st h ep r o b l e m sw i t h v a i l a b l e a n a l y s i s t h e n ，s i g n i f i c a n tp r e d i c t o r s a r es e l e c t e d b y m u l t i v a r i a b l e a n a l y s i s ，ac u s t o m e rc h u mp r e d i c t i o nm o d e li sb u i l tu s i n gc o x sp r o p o r t i o nh a z a r d m o d e l ，a f t e rc h e c k i n gt h eb a s i ca s s u m p t i o no fp r o p o r t i o n a lh a z a r d s a tl a s t ，t h e m o d e li sv a l u a t e du s i n gt h eh o l d o u ts a m p l e t h ee m p i r i c a lr e s u l t ss u g g e s tt h a tt h es i g n i f i c a n tp r e d i c t i o nv a r i a b l e si n c l u d e ： a g e w h e t h e rt h ec u s t o m e ri s l o c a lr e s i d e n t ，w h e t h e rt h ec u s t o m e rl e a v ep h o n e n u m b e r ，h o wm u c hm e s s a g e f e ep e rm o n t h ，t h ep r o p o r t i o no fc a l lt i m eb e t w e e n d i f f e r e n tn e t w o r k s h o wm u c hl o n g d i s t a n c ec a l lf e e ，a n ds oo n u s eo ft h e s e c o v a r i a b l e s ，t h r o u g ht h et r a i n i n gs a m p l e st oe s t a b l i s hc o xp r o p o r t i o n a lh a z a r d s m o d e l s ，a tt h es a m et i m e ，t h ep r e d i c t i o no fv a l i d a t i o ns a m p l e8 6 ，3 3 0 ( i n c l u d i n g 7 9 0 4 2i nt h en e t ，o f f - g r i d7 2 8 7 ) ，e a c hc u s t o m e r sp r o b a b i l i t yo fo f f - g r i dc a nb e c l e a r l ya p p e a r ，a n dt h e nt a k eo f f - g r i dp r o b a b i l i t yo fd e s c e n d i n gs o r t ，w h i c hi nt h e f r o n t10p e r c e n to ft h ec u s t o m e r s8 6 6 3 i n c l u d i n gt h el o s so fc u s t o m e r s6 5l7 ， a c c o u n t i n gf o r8 9 4 3 o ft h et o t a ll o s s i no t h e rw o r d s a sl o n ga st h ec u s t o m e r s t h a ta r eb e l o n g e dt ot h ef r o n to f10 c a nb er e t a i n e d ，8 9 4 3p e r c e n to ft h el o s so f c u s t o m e r sc a nb er e t a i n e d i t sa l s o s u g g e s t st h a tt h i sm e t h o dh a sag o o de f f e c t o nc u s t o m e rc h u r n p r e d i c t i o nf o rt h em o b i l ec o m m u n i c a t i o n si n d u s t r y ，e n t e r p r i s e sc a ns i g n i f i c a n t l y r e d u c et h er e t a i nc o s t k e y w o r d s ：c u s t o m e rc h u r n ；c o xm o d e l ；p r e d i c t i o n 图1 1 图1 2 图3 1 图3 2 图3 3 图3 4 图3 5 图3 - 6 图3 7 图3 8 图3 - 9 图3 1 0 图3 1 1 图3 1 2 图3 1 3 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 图4 1 2 图4 1 3 图4 1 4 插图清单 决策树示意图5 论文组织结构示意图9 流失率按年龄分类2 1 流失率按是否本地身份证分类2 2 流失率按性别分类2 2 流失率按是否留有联系电话分类。2 2 流失率按月均短信费用分类。2 3 流失率按网间通话费分类2 3 流失率按i p 长途话费分类2 4 流失率按月均总费用分类2 4 流失率按信用度分类。2 5 流失率按是否漫游分类2 5 流失率按平均开通业务数分类2 5 流失率按是否有欠费记录分类2 6 流失率按手机品牌分类2 6 协变量x 1 ( 年龄) 是否满足p h 假设的图法检测3 4 协变量x 2 ( 是否本地身份证) 是否满足p h 假设的图法检测3 4 协变量x 4 ( 是否留有联系电话) 是否满足p h 假设的图法检测3 4 协变量x 5 ( 短信费用) 是否满足p h 假设的图法检测3 5 协变量x 6 ( 网间通话比) 是否满足p h 假设的图法检测3 5 协变量x 7 ( i p 长话费) 是否满足p h 假设的图法检测3 5 协变量x 8 ( 月均总费用) 是否满足p h 假设的图法检测3 6 协变量x l l ( 平均开通业务数) 是否满足p h 假设的图法检测3 6 协变量x 1 2 ( 是否欠费) 是否满足p h 假设的图法检测3 6 协变量x 1 5 ( 呼叫次数) 是否满足p h 假设的图法检测3 7 竞争优惠流程。4 0 业务挽留流程图4 0 一对一针对性回访流程图。4 2 离网点挽留流程4 3 表1 1 表3 1 表3 2 表3 3 表4 1 表4 2 表4 3 表格清单 算法优缺点比较表7 客户人口学特征和行为学特征属性2 0 预测变量与客户流失的独立性检验2 8 各预测变量与客户流失相关性检验2 9 协变量是否满足p h 假设的柯尔莫戈洛夫上届检验结果3 7 模型中的协变量3 8 按概率排序分类结果3 8 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得金a 巴王些太堂或其他教育机构的学位或证书而使用过的材 料。与我一同j i ：作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签字：坪教签字日期：叫砗。归2 = 7 日 学位论文版权使用授权书 本学位论文作者完全了解佥胆工些盔堂有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权 金蟹王些太堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 僦文僦名：好搬聊虢与设弧 签字日期夕小年。归刁日 学俜论文作者毕业后去向： - ：作单位： 通讯地址： 签字日期纠卿归刁日 电话： 邮编： 致谢 值此论文完成之际，首先向我的导师马溪骏教授致以衷心的感谢和崇高的敬意! 感谢马老师在我硕士研究生学习期间对我的关怀和支持。马老师精心指导我的每一项 工作，帮助我确立了研究方向和目标，并为我提供了良好的学习和实验环境。马老师 严谨的治学态度、开阔的学术视野和精益求精的工作作风深深地影响了我。马老师的 谆谆教诲让我受益终生，教育了我如何适应今后漫长的人生道路，如何不断超越自我， 向更高的目标迈进。 感谢尊敬的杨善林老师。感谢杨老师在我三年的学习和生活中给与我的指导和帮 助，感谢他对我的谆谆教导和无微不至的关怀。杨老师敬业的精神、渊博的专业知识 以及在学术领域取得的成就，让我深受感动。 感谢网络所的余本功、褚伟、孙超平、左春荣、付超、潘若愚、胡笑旋、潘申、 毛雪岷等老师和管理学院刘心报、刘业政、李兴国等老师对我学业上及生活上的关心、 帮助和指导，感谢管理学院以及所有培养和帮助过我的老师。 感谢吕军、黄文焱、董艳、詹同军、徐草、詹小燕、叶兵、郭云、张玮等同学对 我学习和生活上的关心和帮助，同时感谢张强、夏维、朱克毓、吴明明、梁裕生、谢 先丽、高袁袁等同学的热情帮助。在此向他们表达我最诚挚的谢意。 永远感谢父母和夫人陈志君这么多年对我学业的支持并为我承担着压力。他们对 我殷切的期望和无私无悔的支持是我不断奋斗进取的动力。 衷心感谢在百忙中抽出时间评阅我的论文以及参加论文答辩的各位专家。 最后，在此向所有帮助和关心过我的人们表示衷心的感谢。 作者：邓森文 2 0 1 0 年0 4 月 第一章绪论 1 1 研究的背景与意义 随着我国改革开放的深入以及全球经济一体化的发展，市场竞争愈来愈激 烈。要想在竞争中生存，必须把企业的主角一客户一放在首要位置。但是企业用 于客户这方面的资源是有一定限制的，不能对所有客户都一视同仁地进行发展 和维护，而只能将有限的资源投入到那些能够在现在或者将来给企业带来效益 并且有必要投入的客户身上j ，使支出成本最小化、获利最大化，毕竟，企业 的目的在于获得尽可能多的利润。比如，首先，把客户分为有流失倾向和没有 流失倾向两类，一般情况下，有流失倾向的客户占1 0 左右，没有流失倾向的 客户占9 0 左右，然后，如果把有限的资源平均使用到所有客户身上，那么， 得到的效果是不明显的，然而，如果把这些的资源用在有流失倾向的客户身上， 那么，得到的效果将是前者的十倍。当前我国的企业大多还停留在尽力扩大市 场份额，将有限的资源放到吸引新客户的阶段【2 l ，还没有转化经营理念。市场 竞争愈来愈激烈，客户的生命周期不断地在缩短，采用先进的管理手段和技术 已成为移动通信企业解决利益问题的必由之路。因为竞争的加剧而导致利润急 剧下降，使得国内运营商不得不考虑寻求新的盈利模式、以及如何提升自身的 核心竞争力。移动通信运营商意识到，客户才是企业生存和发展的基础和根本， 而保持已有客户、吸引新客户和充分挖掘客户的潜在盈利是企业提高核心竞争 力的核心，归根结底，客户才是企业的上帝，客户才是利益的源泉。但是吸引 一名新客户的成本是让一名老客户重新购买或使用的成本的数倍1 3 j ，这不得不 迫使运营商考虑把客户细分化。过度的市场扩张导致企业处于高成本、低效率 的运行状态，使企业的综合竞争能力大大下降。况且，现在各个行业的客户基 本上都已经处于饱和状态，要想获得一个新客户就得需要从竞争对手那里抢过 来，这样做成功率非常低，还不如把精力用在巩固企业已有客户身上划算，提 高客户对企业的忠诚度，延长客户对公司的产品或服务使用的时间。从这个意 义上讲，企业要想获取长期稳定发展，必须具备以下前提条件：正确识别已有 客户的特征，将企业有限的资源优化配置到那些即将离网的客户身上即挽留 有流失倾向的客户，对于那些没有流失倾向的客户只做一般性日常挽留，节约 成本，增加收益【2 1 。 我国的移动通信企业经过前几年突飞猛进的发展，现在正步入缓慢增长期。 移动通信注册客户数动态增长，即存在大量新客户入网的同时，又有大量老客 户离网；每月新注册客户数与在网活动客户数相差悬殊，涌现出大批量零次通 话客户【l 】；业务与收入总量增长相对趋缓，有时还有下降趋势。因此，对客户 离网进行分析，其目的就是要通过某些特定算法，分析出哪些客户具有较大的 离网概率，从而对这些客户实行有目的有计划的挽留工作，尽量减少因为客户 流失给企业带来的经济损失。通过建立离网预测模型，可以提高对客户挽留的 成功率，降低客户因为离网而流失的概率，降低挽留服务成本，做到有的放矢， 减少由于客户离网带来的经济损失。可以说，谁对客户挽留工作做的好，谁就 掌握了客户，谁就掌握了市场的主动权，因此，良好的客户流失预测模型的建 立就是移动通信企业在激烈市场竞争中制胜的关键【2 j 。 从经济学的角度来看，随着移动通信市场垄断地位的打破，国内移动通信 企业获利将由垄断时期的高额利润逐步下降到市场的平均利润水平。尽管国内 移动通信行业在某种程度上讲并没有进入完全的竞争时代，而是处于寡头垄断 和垄断竞争之间( 比如，中国移动和中国联通的客户比例完全失衡) ，但是随着 移动通信市场的放开，垄断的因素必然要慢慢被竞争取代，这是每个移动运营 商都必须面临和接受的挑战，从移动通信企业为了争夺客户的价格战就能看出 竞争的因素比重是越来越大，愈来愈激烈【4 】。而目前不管是理论界还是实业界 都把目光集中到对客户的研究上，新客户的获得和老客户的保持成了客户理论 的核心内容，尤其在移动通信市场圈地时代己经一去而不复返的现代市场经济 条件下，跟国外著名移动通信企业相比，我国移动通信企业最大的优势就是目 前所拥有的庞大的客户数量，因此，如何通过各种渠道和策略来保留已有客户 已经成为现阶段移动通信企业工作的重中之重，而要做好客户的保留工作，进 行客户流失预测分析及挽留工作就显得非常之重要。 在中国移动通讯市场将要面临强有力的国际市场竞争的情况下，在恶性市场 竞争造成行业发展受阻的条件下，中国移动通讯运营商必须适应新的市场竞争 发展环境，提高服务水平，把握市场经济发展的动脉。 以上的种种数据研究表明：如何防范老客户的流失必然要引起高度的重视。 客户流失给企业的业绩产生巨大的影响，其给运营商带来的主要问题是1 3 j ： ( 1 ) 客户群大进大出，不仅增加营销成本，而且浪费资源； ( 2 ) 客户大量流失是业务收入增长缓慢的主要原因之一。 目前，新增客户是带动收入增长的主要因素，而流失用户造成的收入损失 占新增用户收入的很大一部分，大大降低了收入的增幅。 经营分析系统中的一个重要主题就是客户的流失分析1 3 j ，就是根据流失客 户和在网客户的性质和消费行为的不同，进行分析处理，建立客户流失预测模 型，分析哪些客户的流失概率较大、流失客户的人口学特征和消费特征以及客 户流失的其他相关因素等，以此来实施针对性的客户挽留工作。 通过建立客户流失预测模型，使移动通信企业能够预测客户流失的可能性 有多大，并通过对客户流失原因的分析，提出并实施具有针对性的挽留政策， 来降低客户的流失率，从而大幅减少移动通信企业的运营成本，增加企业的收 益。因此，有效的客户流失预测模型的建立对移动通信企业来说具有非常重要 2 的意义。 1 2 客户流失现状 1 2 1 国内客户流失现状 通过大量客户流失分析得出了这样的结论：百分之十五的客户选择离开原来的运 营商是因为别的运营商可以提供更低的价格，百分之十五的客户选择离开是因为可 以从新的运营商那里获得更好更优秀的产品，然而，高达百分之七十的客户选 择离开是源于客户所在运营商提供的糟糕服务【l 】。近年来，由于国内移动通信 行业的分割、竞争的加剧以及体制的快速变革使得各移动通信企业侧重于发展 新客户和开拓新市场，而对现存客户的流失管理好像大部分都不是非常重视； 或者说，虽然注意到了这个问题却又找不到好的解决方式而裹足不前。首先， 企业把大量的人力、物力、财力和时间去投入到新客户的开发项目中；其次， 由于客户流失管理【5 】不够完善而致使已有的老客户出于对企业提供的产品和服 务的不满而选择离开原来的运营商。因此，不注重已有老客户的维护而只专注 于发展新客户，这样长期下去，移动通信企业将会出现严重的“增量不增收”的 被动局面，具体来说就是每月新客户人数不断增加而客户每月人均话费却是在 不断下降【2 1 。我国移动通信运营商经过长期的业务支撑系统建设，拥有了大量 的客户原始数据信息。这些数据包括客户的缴费、数据业务费用单、业务变更、 通信计费、客户服务等各个方面的内容，而这些庞大的数据信息每隔一段时间 都按时转存到固定存储器中存档。从数据挖掘角度来分析，如此繁杂多样的数 据信息中保留存大量的潜在有用的客户信息资料。如何使这些数据发挥应有的 作用，已经成为国内移动通信运营商面临的一个当务之急。目前，国内移动通 信企业提出“保存量、激增量”的经营目标，确立了“精确营销”的销售观念。“保 存量”就是对有流失倾向的客户进行流失预警，并且提出防止老客户流失的管理 理念，这是企业经营的重点内容。作为一套专门的管理理论和技术的客户流失 管理开始走进了国内移动通信企业，很多软件厂商与顾问公司也提出了自己的 方案。但是在具体操作的技术细节上，却并没有一个完全统一的观点。 1 2 2 国外客户流失现状 目前，世界上绝大部分移动通信企业都很重视客户流失问题，比如，欧洲 移动通信行业的客户流失率为百分之二十五，而美国则更高，为百分之三十。 客户流失给美国的移动通信运营商每年造成的经济损失高达九十亿美元，另外 还有额外的七十五亿美元的获得新客户的费用。而不断推出的新业务将加速客 户的流失，据i n s t a t m d r 市场研究公司估计，号码携带计划的实施，将使美 国的客户流失率增加至百分之四十六1 2 1 。g a n e s h ，a r n o l da n dr e y n o l d s ( 2 0 0 0 ) 的研究报告中显示，高转换率会对企业的利润以及在市场的竞争力产生非常大 的负面影响，如果能够降低顾客的转换率，公司的盈利额将会有大幅度地增加； k o t l e r ( 19 9 4 ) 在其著作中也提到，留住老顾客的成本仅为开发新客户成本的 五分之一；b o l t o n ( 1 9 9 8 ) 更指出如果能够有效地延缓顾客流失的速度，预估 企业将可以增加百分之十五的长期收益。因此，近年来，无论在学术界或实务 界都积极地参与客户转换流失行为的相关研究中来，并提出以客户关系管理、 关系营销为执行典范，以客户的需求为核心价值，提升企业整体的服务效率， 来长期保留已有客户以此来降低客户的高转换比率1 4 j 。 由各界专家和学者的种种热烈讨论可以知道，事实上，降低客户流失率对 企业而言，确实对提高利润收入以及在节约成本开支方面有很多实质性的帮助。 r e i c h h e l e da n ds a s s e r ( 1 9 9 0 ) 的研究报告中指出客户的流失对企业存活的影 响意义深远，以服务业的获利来说，比起经营规模、市场占有率和单位成本等 竞争优势效果更为明显1 4 j 。 本文认为通过降低客户流失率来增加客户保留，不但是移动供应商永续经 营的关键，更是运营商提升企业的市场竞争力、获得长期利润的重要法宝，为 移动通信市场提供了重要参考。 1 3 客户流失分析和预测的研究现状 最初对于客户流失的预测研究主要使用的是定性分析的方法【6 j ，而最常用 的分析方法就是指标分析法，也就是指同一类型企业的专家和学者依赖自己的 个人观点来进行决策判断，建立客观指标( 比较主观) ，通过衡量比较客户的这 些指标值来判断和识别哪些是可能流失的客户。这类分析方法看似简单易行， 但存在以下几个方面的缺陷：第一点，由于人类的分析和识别能力在某些方面 是有一定的局限性的，那么由专家( 同样也是人类) 制定的客观指标集合在一 定程度上就会存在一些不完整和不确定性；第二点，因为事物是动态变化发展 的，指标集对于目标类的影响也是会随着时间的变化而变化，但是，专家和学 者们很可能由于某些原因而无法发现这些微小的变化，因此这样的结果会使企 业错过一些更新的重要指标，而经过长期这样的累积，企业的客户资料数据库 会变得越来越复杂越来越庞大，使其中大量的数据指标对目标类而言成为多余 的或者是不相关的，从而很难对这样庞大的如此复杂的原始数据资料进行有效 的监控和处理分析1 6 j 。 随着现代科技的进步与数据分析方法与设备的更新与发展，大多数企业都 转变了思想，一般现在都使用高效的基于数据挖掘的客户流失模型。国外的众 多专家学者们已经在保险、金融、电信等行业上，运用数据挖掘技术来进行客 户流失预测分析，所采用的方法主要有下面几种【6 】i 7 j 【8 j ： ( 1 ) 统计分析方法 统计分析方法【9 1 ，顾名思义，就是指对与客户流失危机发生有关的历史客 户数据进行统计分析，通过定量和定性两种方式相互结合预测的方法对这类数 4 据进行分析处理，通过这样的方法来获取客户流失危机发生的概率的方法。二 次世界大战之后，就开始对这方面进行研究，并且，很快就在客户流失预测中 得到了较为广泛的应用。这么多的分析方法，其中常见的有判别分析、相关分 析、主成分分析、线性回归和l o g i s t i c 回归等。 ( 2 ) 决策树( d e c i s i o nt r e e ) 决策树算法【7 】【1 0 】是最常见的一类分类算法，它通过把客户数据样本集中含 有的基本客户信息以及消费信息进行系统有序地分解和分离来发掘其中的关系 和规律。从数据集中计算寻找并且提取出那些能够提供最大分离信息的变量作 为树权的转折点，每一次“分枝”都只选取能够最大程度地区分客户数据记录的 变量作为节点，决策树多次重复上面的过程一直往下延伸，直到找不到这样的 变量时，最后，决策树就形成了。为了提高决策树算法的适用性，还要对树进 行全面“剪枝”和系统地优化。决策树通过这样的方法来进行分类：把研究的对 象从根节点出发，一直延伸到某个叶子结点，这样的一条路径就是一个分类方 法。其中，最后的叶子结点就是研究对象所属于的分类。树中的任何的一个结 点说明对研究对象的某一个对应的变量的测试和分析，并且对应的结点的每一 个后续分支对应于这个变量的一个可能的结果值。一个典型的决策树算法如图 1 1 所示，它用来描述客户是否可能离网( 叶子结点的“是”表示离网，“否”表示 不离网) 。 图l l 决策树示意图 由决策树可以提取出分类规则，图1 1 用i ft h e n 的形式来表示，可以产生 下面的分类规则： i f 在网时长的值为“ = 1a n d = 1a n d 4 ”a n d 是否学生的值为“是”t h e n 流失的值 为“否” i f 在网时长的值为“其它”a n d 信用等级的值为“高”t h e n 流失的值为“否” i f 在网时长的值为“其它”a n d 信用等级的值为“低7t h e n 流失的值为“是” 世界上出现最早的、影响最大的决策树方法是q u i n l a n 提出的i d 3 算法， 自i d 3 算法出现后，研究人员又展开了大量的研究，提出了更富有成效的算法， 如c 4 5 算法、c h a d 算法、r a i nf o r e s t 算法、c a r t 算法、s p r i n t 算法等。 这些算法归纳起来，可以分为下面三类： 第一类是基于信息理论的方法，此类算法中，非终端节点的分枝由样本类 别个数决定，以i d 3 算法为代表； 第二类是基于统计学理论的方法，此类算法中，对于非终端节点来说，有 两个分枝，c a r t 算法为代表； 第三类是以a i d 、c h a i n 为代表的算法，此类算法中，非终端节点的分枝 数分布在两个到样本类别个数范围之内。 ( 3 ) 神经网络( n e u r a ln e t w o r k ) 神经网络【6 】【9 】主要用于聚类、分类、估计与预测，是最复杂的分类算法之 一。神经网络是一种模仿人脑来分析问题的分析模型，通过输入数值和输入变 量来进行自我学习，并根据数据学习的经验来不断自我调整模型参数，不断改 进的模型。每个结点都可以用一个函数公式来表达，这个结点函数是用与该结 点相邻的结点的值的加权总和进行计算出来的。函数的形式可以自由选择变化， 权的大小确定也可以通过一种特定的算法把已知真实结果和输出结果进行对比 来不断地调整。 ( 4 ) 遗传算法( g e n e t i ca l g o r i t h m s ) 遗传算法【9 】【1 2 】是一种运用了进化论思想的分类算法。它仿效人类选择培育 优良品种的思维方式，从一个随机生成的初始集合开始，通过一步一步改变对 象成员来产生群体，评估并且选择最优秀的复制，优胜劣汰，一步一步积累计 算，最后获得最优化的知识集合。 遗传算法学习的过程如下面所示：创建一个由随机产生的规则组成的初始 群体，每个规则可以用一个二进制串表示，最简单的一个例子，假设给定的训 练集用两个布尔属性a 1 和a 2 来表示，并且存在有两个类c l 和c 2 ，规则i fa 1 a n dn o ta 2t h e nc 2 ，可以用二进制串l0 1 来进行编码，类似的，规则i fn o t a 1a n dn o t a 2t h e nc 2 可以用0 0 1 来进行编码。如果一个属性具有k 个值， 则可以用k 个二进制位对该属性的值进行编码，类可以用类似的形式编码，根 据进化论适者生存的原则，形成由当前群体中最适合的规则组成新的群体，以 及这些规则的后代。一般情况下，训练样本集的分类准确率用规则的适合度来 进行评估。 根据以上分析介绍，可总结出各种方法的优缺点如表1 1 所示： 客户流失预测问题从根本上来说，是属于众多分类问题中的一种，如表1 - 1 显示，每一种方法在分类问题或者判别分析上或多或少都会存在一定的优点和 缺点。但由于客户流失数据集本身的特殊性，使用这些方法的时候，都需要根 据实验数据的具体情况来决定。 6 表1 - i 算法优缺点比较表 统 优 ( 1 ) 方法比较简单； 计 点 ( 2 ) 工作量较小 分 ( 1 ) 如果历史统计数据不够完整或者不够准确，那么，定制的标准将失去意义； 析 ( 2 ) 标准要和分析方法配套，不然会严重影响标准的科学性和实用性： 方 缺 法 点 ( 3 ) 统计资料只反映历史的情况而不能反映现实条件的变化对标准的影响； 【9 】 ( 4 ) 由于仅仅利用需要分析的企业的历史统计资料为某项目工作确定标准，可能会 低于本行业的先进水平，甚至是平均水平。 ( 1 ) 生成的规则比较简单，比较容易理解： 决 优( 2 ) 计算量相对来说不算大； 策 点( 3 ) 能够准确地识别那些重要变量； 树 ( 4 ) 使用起来效率比较高、分类比较精确等优点。 【7 】 ( 1 ) 很难预测那些连续型的字段； 【1o 】 缺( 2 ) 对有时间顺序的数据，需要进行很多预先处理工作： 点 ( 3 ) 分类越多，错误增加的越快； ( 4 ) 只能有唯一的目标变量。 ( 1 ) 非线性拟合能力强； 神优( 2 ) 学习规则简单，计算机容易实现； 经 点 ( 3 ) 鲁棒性和记忆力较好； 网 ( 4 ) 同时可以生成多个目标变量。 算 络 ( 1 ) 没有能力来解释自己的推理过程和推理依据； 法 f 5 】 缺( 2 ) 不能向客户提出必要的询问，而且当数据不充分的时候，无法进行工作； 9 1 点( 3 ) 把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必 会丢失信息。 ( 1 ) 所选择的方法与所处理的问题领域没有关系； 遗 优 ( 2 ) 具有潜在的并行性； ( 3 ) 处理过程比较简单： 传 点 ( 4 ) 具有良好的随机性； 算 ( 5 ) 具有很好的扩展性，容易与其它算法相结合。 法 ( 1 ) 搜索速度比较慢，要得到比较精确的解需要比较长的训练时间； 【9 l ( 2 ) 算法依赖于初始种群的选择； 【1 2 】 缺 点 ( 3 ) 并行机制的潜在能力没有得到充分的发挥和利用； ( 4 ) 可解释性较差，最终得出的表达式复杂并且无法得知各个属性变量与目标 变量之间的关系。 根据中国的国情，从客户流失数据集本身的角度来看，就存在如下这些特 殊的性质：首先，客户流失分析所使用的数据集中不仅含有已经流失的客户， 而且还含有正在使用本公司或者企业提供的服务或产品的现有客户的数据，因 为现有客户每时每刻都有可能会流失，所以，使用上面的数据挖掘模型就会碰 到一个问题( 这也是需要重点解决的问题) ，也就是数据集中可能出现很多这样 的客户：他们在收集分析数据的时候是还没有流失的，是在网的，但是当得出 结果的时候他们却已经流失了，假如是这样的话，挖掘工具就会获得一个不正 7 确的指导信息，而据此建立的模型的可靠性就大打折扣了。其次，截止到数据 分析完成的时候，许多客户并没有发生流失，仍然在使用原来的服务和产品， 但我们并不知道他们将来是不是会流失，具体什么时间流失，只知道这些客户 接受移动通信运营商提供的业务的时间肯定大于或者等于某个已知的数值，期 间由于某些未知或者已知的原因被截断了。如果对于这种数据使用l o g i s t i c 回 归等来进行分析处理的话，因为这些工具只是对没有截断的完整数据进行分析 处理的，然而，截断值并不是客户信息的真实的值，所以，得到的分析结果将 会偏低，失去参考的意义i i 引。 对于那些既包含生存时间又不能及时准确观测到的研究对象，生存分析提 供了比较好的解决办法。生存分析是这样一类模型：它可以估计事件发生的时 间，也就是指对客户的生存数据资料进行统计分析处理，是研究客户的生存现 象和事件响应的时间数据及其统计规律的方法，近年来人们越来越关注以随机 删失数据为研究对象的这类方法【l4 1 。生存分析一般都是用来分析和处理收集来 的生存时间以及与之有关系的其他方面的因素的生存数据，其起源可能要追溯 到大半个世纪前开始的工程研究，甚至还可以追溯到好几个世纪以前对病人死 亡的研究情况。 根据了解可以知道，c o x 比例危险模型是到目前为止最常用的生存分析方 法，它通过分析客户的生存时间与所有预选n ( n 为自然数) 个变量之间的关 系，全面的了解和掌握变量对流失影响的大小，并根据变量的不同取值预测客 户的流失概率，给出预防警报。c o x 模型在预测客户流失问题方面的具有以下 六个方面的优点： 能够反映社会经济环境的变化； 能够包含随时间而变化的预测协变量； 能够给出各危险因素对结局的相对危险度，反映危险因素对结局的关系 大小； 不仅考虑客户是否发生流失，同时也充分利用了生存时间的信息； 对于删失数据，能够妥善地进行处理。观测期结束的时候，还没有流失 的客户可以以删失样本的身份进入预测模型，通过这种方式，在很大程度上提 高了模型的实效性，并且这有利于模型系数的实时更新； 与传统模型大不一样的地方是不需要让人主观地来决定预测区间的长 度。在这个模型中，把时间作为反应变量代入方程，从而避开了这个问题，从 某种方面来说，这大大提高了模型的适用性。 怎样把国家的宏观经济政策的影响作为有效的变量引入评分模型是目前理 论界比较关注的一个话题。本方法可以把国家宏观经济政策的影响作为有效的 协变量引入模型，因此，优于其它客户流失的预测模型。 因此，通过以上的分析和对比，我们可以很明确地知道，采用半参数模型 8 下的生存分析中的c o x 比例危险模型对移动通信类型的行业的中低端客户的流 失进行预测研究是最合乎逻辑的。 1 4 本文研究的主要内容 论文以国内某移动通信行业某分公司的客户流失数据信息为样本，具体详 细地分析了移动通信行业通过定量和定性相互结合的方法对中低端客户进行流 失预测。本文首先通过单变量对客户流失的影响的显著性大小挑选出具有显著 预测能力的预测变量，然后，在此基础上建立c o x 比例风险模型，对移动通信 行业的中低端客户的流失进行预测分析。 本论文遵循从发现问题、分析问题到解决问题的研究思路。具体思路如下 图所示。 图1 2 论文组织结构示意图 9 第二章客户生存分析的相关理论 本章我们首先将要分析本文所建立的客户流失危机预测模型时所用到的方 法生存分析，阐述了生存分析的意义、有关的一些概念与一些主要的数学 计算公式，然后对生存分析的常用方法进行了简单扼要的介绍，最后重点分析 了本文建模需要使用的最常用的模型之一c o x 比例风险模型。 客户生存就是指在规定的时间里，客户还在享用某企业提供的服务或者使 用某企业生产的产品，就定义客户还是生存的，这个存活的过程就叫客户生存。 客户生存分析就是分析客户经过使用公司的产品或服务一段时间之后是否存活 下来，并且分析存活与流失的客户之间的差别。生存分析就是指对客户的生存 数据资料进行统计分析，是一类研究对象个体的生存现象和事件响应时间数据 以及统计规律的一门统计分析技术。下面是客户生存分析的一些相关的理论。 2 1 相关定义 2 1 1 生存时间 生存时间也可以称作“生存寿命”或者称作“存活时间”，是指从某个确定的 已知的起点开始一直到被观测对象出现终点事件所经过的时间，比如移动通信 行业的客户从营业大厅开户注册直到不再使用本服务的时间等。生存时间是一 个大于零的随机数，一般情况下，我们通常用下面叙述的三个函数来描述它的 分布特征情况：生存函数s ( t ) 、概率密度函数f ( t ) 以及危险函数h ( t ) 。生存分析 就是对所抽取随机样本的生存数据进行处理和分析，估计计算出这三个函数， 通过这样的处理方法推断出整个数据样本总体的生存模型。 ( 1 ) 生存函数 生存函数【1 5 】，又称为累计生存函数，记作s ( t ) ，它是指个体生存时间大于 时间t 的概率，用如下公式表示： s ( f ) = p ( 个体生存时间大于等于t ) = p ( t 0 = 1 一f ( t )( 2 1 ) f ( t ) 是指对象个体的生存时间t 的分布函数。假设用s ( t k ) 表示生存概率， 其中生存概率是指对象个体经历t k 个单位时间后仍然存活的概率。如果没有删 失数据( 有关删失数据的定义见下一节2 1 2 ) ，则生存概率表达式为： s c 气，= p c t t 。，= 奎专丢嘉品拿姜雾器 c 2 2 ， 其中，t 为对象个体的生存寿命，也就是存活时间。但是，当样本中包含 删失数据的时候，生存概率用下面的公式的来计算： 1 0 s ( f k ) = p ( t t i ) p 1 仍以 ( 2 - 3 ) 其中，这些概率p l 、岛、a 表示对象个体在不同时间间隔的生存概率。从 上面的公式我们可以知道，生存概率是多个时间间隔的生存概率的积累，因而， 在这种情况下，我们把生存概率亦称作累积生存概率。 生存函数s ( t ) 的图形曲线称作生存曲线，平缓的生存曲线则表示较长的生 存时间或者说是较高的生存概率，陡峭的生存曲线则表示较短的生存时间或是 指较低的生存概率。作为一个单调的非增的数学函数，当自变量取值为0 时生 存曲线取值为l ，当自变量取值趋于正无穷大时生存曲线取值为0 ，它的下降速 度由在时刻t 经历某时间的风险大小来决定，所以，通常用生存函数来对两个 或两个以上死亡概率模式进行对照分析。 ( 2 ) 概率密度函数 概率密度函数【”】，亦称作密度函数，记为f ( t ) ，它的图形则称为密度曲线， 在任何时间区间内死亡的比例和死亡出现的机会峰值都可以从密度曲线中找 出，函数表达式为： 胁牌坠堕等等业型 ：l i i i l 丝三! 三! 箜 棚厶| ( 2 _ 4 ) 生存函数是概率密度函数的积分，表示为： s ( t k ) = p ( t t i ) 2lf ( t ) d t ( 2 5 ) 所以，概率密度函数也可以用下面的数学公式来表示： ( f ) ：一_ - d s ( t ) ( 2 - 6 ) 口f ( 3 ) 危险函数 危险函数”】，亦称为风险函数、瞬间死亡概率、