（管理科学与工程专业论文）数据挖掘技术在电信客户价值管理中的应用.pdf

北糸邮电人学颀l j 学位论文 数据挖掘技术在电信客户价值管理中的应用 摘要 客户是公司最重要的资产，是市场竞争的焦点，客户保持对公司 的利润底线有着惊人的影响，远远超过公司规模、市场份额、单位成 本和其它许多通常认为与竞争优势有关的因素的影响。客户保持率一 个小的提高都能导致利润可观的改善。 现代企业或大或小都认识到客户对企业的重要，因此企业的经营 理念也由以生产、销售为中心转变为客户为中心，从而应对越来越激 烈的市场竞争，提升企业自身的核心竞争力。顺应这种现实需求，催 生了客户关系管理这样一种新的信息技术，并在近几年里得到了迅猛 的发展。客户价值分析是客户关系管理中很重要也很基础的一部分。 本文着重对于电信行业的客户价值管理工作进行了分析和研究。 数据挖掘是近几年来信息行业中研究的热点之一，数据挖掘可从 大量的历史数据中寻找隐含其中而事先不为人知的知识。本文在研究 客户价值时，采用了b p 神经网络等数据挖掘技术对与客户价值相关 的一些因素，进行预测和估值。对客户的历史价值进行挖掘，通过分 析影响客户价值的因素及这些因素之间的关系，发现其中的知识，从 而对客户的未来价值进行预测。 本文从第二章开始，分别介绍了当前数据挖掘技术的发展现状和 数据挖掘技术n i i u 信客户价值管理中的应用 总4 7 页第2 页 水平，包括数据挖掘的定义、主要技术、体系结构、方法论以及一些 具体算法等，主要目的在于从普遍意义上综合分析当前主流的数据挖 掘技术。第三章主要介绍了经典的客户价值管理理论，包括其内涵、 具体表现和意义，引出了客户生命周期的概念及其价值分析，并深入 分析客户价值管理的具体理论。本文的第四章为本文的主要创新点， 主要介绍了数据挖掘技术在电信运营企业中客户价值管理中的应用 和研究，包括数据仓库的建设和数据挖掘的应用，并通过数据挖掘技 术中的神经网络算法，此外还建立了一个客户价值管理分析模型，并 对模型结果进行分析和研究。本文的最后一章，主要对电信企业应用 数据挖掘技术以及客户价值管理的未来发展和应用，进行了分析和预 测，分析了电信企业与其他传统企业相比的数据分析和客户管理的优 势和局限所在，提出了进一步工作的重点和方向。 关键词：客户价值，生命周期，数据挖掘技术，电信行业 c u s t o m e rv a l u em a n a g e m e n to f t e l e c o m m u n i c a t l 0 ni nd a t a m i n i n gt e c h n i c a l s 数据挖掘技术d f u , 信客户价值管理中的脏用 a bs t r a c t 总4 7 页第2 页 水平，包括数据挖掘的定义、主要技术、体系结构、方法论以及一些 具体算法等，主要目的在于从普遍意义上综合分析当前主流的数据挖 掘技术。第三章主要介绍了经典的客户价值管理理论，包括其内涵、 具体表现和意义，引出了客户生命周期的概念及其价值分析，并深入 分析客户价值管理的具体理论。本文的第四章为本文的主要创新点， 主要介绍了数据挖掘技术在电信运营企业中客户价值管理中的应用 和研究，包括数据仓库的建设和数据挖掘的应用，并通过数据挖掘技 术中的神经网络算法，此外还建立了一个客户价值管理分析模型，并 对模型结果进行分析和研究。本文的最后一章，主要对电信企业应用 数据挖掘技术以及客户价值管理的未来发展和应用，进行了分析和预 测，分析了电信企业与其他传统企业相比的数据分析和客户管理的优 势和局限所在，提出了进一步工作的重点和方向。 关键词：客户价值，生命周期，数据挖掘技术，电信行业 c u s t o m e rv a l u em a n a g e m e n to f t e l e c o m m u n i c a t l 0 ni nd a t a m i n i n gt e c h n i c a l s 数据挖掘技术d f u , 信客户价值管理中的脏用 a bs t r a c t 北京邮i 也人学硕l ：学位论义 总4 7 贝第3 贝 i nt h eg l o b a lc o m p e t i t i v em a r k e t p l a c e ，b u s i n e s s e sr e g a r d l e s so fs i z e a r eb e g i n n i n gt or e a l i z et h a tc u s t o m e r sp l a yam o r ea n dm o r ei m p o r t a n t r o l et ot h e m t h et e c h n i q u e sf o rc r ma r eb e i n gd e s i g n e d ，d e v e l o p e da n d i m p l e m e n t e d t h e s et e c h n i q u e ss h o u l dh e l pd e v e l o pt a r g e t e dp r o m o t i o n s w h i c ho r en o to n l yb e t t e rt a i l o r e df o re a c hc u s t o m e r , b u ta r ea l s om o r e p r o f i t a b l et ot h eb u s i n e s s e si nt h el o n gt e r m t h i st h e s i ss t u d i e sa k i n do f m e t h o do fc u s t o m e rv a l u e ，a n de s t a b l i s h e sac a l c u l a t i o nm o d e lf o ri t t h e d e t e r m i n a t i o no ft h ec a l c u l a t i o nm o d e lf o rc u s t o m e rl i f e t i m ev a l u eh a sa c l o s er e l a t i o n s h i pw i t ht h eo b j e c ts t u d i e d t h em o d e li nt h i st h e s i sa i m sa t t h ea p p l i c a t i o nt ot e l e c o m m u n i c a t i o ni n d u s t r y t h e s ey e a r s ，d a t am i n i n gh a sb e c o m eo n eo ft h eh o ti s s u e si n i n f o r m a t i o ni n d u s t r y d a t am i n i n gi se x t r a c t i o nn o n t r i v i a l ，i m p l i c i t ， p r e v i o u s l y , u n k n o w na n dp o t e n t i a l l yu s e f u li n f o r m a t i o no rp a t t e r n sf r o m d a t ai nl a r g ed a t a b a s e s i nt h i st h e s i s ，d a t am i n i n gi sa p p l i e dt oc a l c u l a t e c u s t o m e rv a lu eo ft e l e c o m m u n i c a t i o ni n d u s t r y , a n dt h eh i s t o r i c a lv a l u eo f c u s t o m e r si sm i n e db ya n n t h r o u g ha n a l y z i n gt h e s ef a c t o r sw h i c h a f f e c tt h ec u s t o m e rv a l u ea n dt h er e l a t i o n s h i p sa m o n gt h e m ，w ec a nf i n d t h ek n o w l e d g ei nt h e m ，a n dt h u sc a np r e d i c tc u s t o m e r 。sf u t u r ev a l u ea n d h e l pc l a s s i f y i n gt h ew h o l ec u s t o m e rg r o u p k e yw o r d s ： c u s t o m e rv a l u e ，l i f et i m e ，d a t am i n i n g ， t e l e c o m m u n i c a t i o n 数据挖掘技术n i f u f 矗客户价值管理中的应用 独创性( 或创新性) 声明 本人声明所呈交的论文足本人在导师指导下进行的研究：_ e 1 1 - - - 及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢f f j 所罗列 的内容以外，论文中不包含其他入已经发表或撰写过的研究成果，也 不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示t n 意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：二 k 日期：二芝笪产 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论义。( 保密的学位论文在解密后逆) ：此规定) 保密论义注释：木学位论文属于保密在年解密后适用本授权 书。非俅密论文注释：本学位论文不屈于保密范阍，适j f j 本授j 义书。 本人签彩： 茑垄煎 i ij f j ： 导州j 签名：生立生 i - i , j t l ： 卫生弛叠塑一 。彦。歹7 北京邮i u 人学帧i j 学化论义 恐4 畈镶5 炙 第一章绪论 当前，国内电信市场的竞争同趋激烈。尤其在一些丌放程度较高的业务领域， 如移动通信、i p 电话、宽带接入等业务领域，由于客户选择机会的大大增加， 迫使各电信运营商围绕着客户尤其是大客户的争夺愈演愈烈，更是使得电信运营 商们面临着前所未有的竞争压力。世界在不断改变，电信业也面临着巨大的变革， 垄断已经打破，竞争逐步展开，产品及服务的差异逐步变小，新技术的不断采用， 在加上加入w t o 以后虎视眈眈的外来的电信资本及运营商，国内电信企业的竞争 优势到底在哪罩? 国内电信运营商与外资等相比，最大的优势是原本已经拥有的客户。因此如 何保留住既有客户，及如何由这些客户获得最大的收益，成为电信企业重要的课 题。针对于此，客户关系管理( c r m ) 就可以为电信运营商有效地开源节流。通 信市场竞争风云变幻，用户对电信服务的需求急速膨胀，电信运营商正迅速地把 业务重点从网络建设转换到业务经营，经营理念正在从以产品为中心转变为以客 户为中心。 顾客上帝! 这已经不是一句简单时髦的商业话语了。不过在以往的经济社会 中，我们又了解多少上帝的实际需求呢? ，”上帝”依然是比较被动的角色。而新 经济时代的到来，使企业的战略从”以产品为中心”向”以客户中心”进行转变，因 为在今后的商业环境中，客户是企业至关重要的因素和利润来源，谁把握了客户 谁就拥有了市场。 关注客户价值，掌握更多的客户信息，改善客户关系，提高客户满意度，从 而让企业比客户本身更了解客户，是当今企业生存、发展的核心所在几乎每 个企业都知道所谓的“- - a , 法则”，即2 0 的客户创造了8 0 的利润。这2 0 的 客户就是自己的大客户，他们位于客户价值金字塔的塔尖。而要看到金字塔的塔 尖必须建立自己的客户价值金字塔。 本文拟从客户价值管理的角度出发，利用业界先进的数据挖掘技术和思想， 对电信企业的经营现状和未来发展趋势，进行分析和研究，帮助企业找到最有价 值的客户，并利刚客户价值管理的结果，对整个客户群体进行细分，更好的制定 有针对性、高效的营销策略和计划，从而提高整个企业的价值。 本文从笫二章丌始，分别介绍了当前数据挖掘技术的发展现状和水平，包括 数据挖掘的定义、主要技术、体系结构、方法论以及一些具体算法等，主要目的 在于从普遍意义上综合分析当前主流的数据挖掘技术。第三章主要介绍了经典的 数据挖掘技术相：i u f 膏铎户价值管理巾的应用 北京邮l 乜人学硕i ：学位论文总4 7 - 贝第6 页 客户价值管理理论，包括其内涵、具体表现和意义，引出了客户生命周期的概念 及其价值分析，并深入分析客户价值管理的具体理论。本文的第四章为本文的主 要创新点，主要介绍了数据挖掘技术在电信运营企业中客户价值管理中的应用和 研究，包括数据仓库的建设和数据挖掘的应用，并通过数据挖掘技术中的神经网 络算法，此外还建立了一个客户价值管理分析模型，并对模型结果进行分析和研 究。本文的最后一章，主要对电信企业应用数据挖掘技术以及客户价值管理的未 来发展和应用，进行了分析和预测，分析了电信企业与其他传统企业相比的数据 分析和客户管理的优势和局限所在，提出了进一步工作的重点和方向。 数据挖掘技术确：i u 信客户价值管理中的应用 北京邮i u 人学谚! i j 学位论义 总4 7 贝第7 呱 2 1 什么是数据挖掘 第二章数据挖掘技术 近十几年来，人们利用信息技术生产和搜集数据的能力大幅度提高，千万个 数据库被用于商业管理、政府办公、科学研究和工程丌发等等，并且这一势头仍 将持续发展下去。于是，一个新的挑战被提了出来：在这被称之为信息爆炸的时 代，信息过量几乎成为人人需要面对的问题。如何y j 。能不被信息的汪洋大海所淹 没，从中及时发现有用的知识，提高信息利用率呢? 要想使数据真正成为一个公 司的资源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则大 量的数据可能成为包袱，甚至成为垃圾。因此，面对”人们被数据淹没，人们却 饥饿于知识的挑战，数据挖掘和知识发现( d m k d ) 技术应运而生，并得以蓬勃发展， 越来越显示出其强大的生命力。 数据挖掘( d a t am i n i n g ) 就是从大量的、不完全的、有噪声的、模糊的、随 机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和 知识的过程。还有很多和这一术语相近似的术语，如从数据库中发现知识( k d d ) 、 数据分析、数据融合( d a t af u s i o n ) 以及决策支持等。人们把原始数据看作是形 成知识的源泉，就像从矿石中采矿一样。原始数据可以是结构化的，如关系数据 库中的数据，也可以是半结构化的，如文本、图形、图像数据，甚至是分布在网 络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的：可以是 演绎的，也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策 支持、过程控制等，还可以用于数据自身的维护。因此，数掘挖掘是一门很广义 的交叉学科，它汇聚了不同领域的研究者，尤其是数据库、人工智能、数理统计、 可视化、并行计算等方面的学者和工程技术人员。 特别要七匕l - i | 一j 的是，数据挖掘技术从一丌始就是面向应用的。它不仅是面向特 定数据库的简j 社检索查询调用，而且要对这些数据进行微观、中观乃至宏观的统 计、分析、综台和推理，以指导实际问题的求解，企图发现事件问的相互关联， 甚至n - i j 已有的数据对未来的活动进行预测。例如加拿大b c 省电话公司要求加 拿大s i m o n f r a s e r 大学k d d 研究组，根据其拥有十多年的客户数据，总结、分析 并提出新的电话收费和管理办法，制定既有利于公司又有利于客户的优惠政策。 数据挖掘技术稚i 乜侨客户价值管理巾的应用 北京邮l 【1 人学硕i j 学位论文 总4 7 页第8 负 这样一来，就把人们对数据的应用，从低层次的末端查询操作，提高到为各级经 营决策者提供决策支持。这种需求驱动力，比数据库查询更为强大。同时需要指 出的是，这罩所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要 去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。所有发现 的知识都是相对的，是有特定前提和约束条件、面向特定领域的，同时还要能够 易于被用户理解，最好能用自然语言表达发现结果。因此数据挖掘的研究成果是 很讲求实际的。 2 2 数据挖掘的技术和特点 所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微 观到中观再到宏观，以满足不同用户、不同层次决策的需要。例如，从一家超市 的数据仓库中，可以发现的一条典型关联规则可能是”买面包和黄油的顾客十有 八九也买牛奶”，也可能是”买食品的顾客几乎都用信用卡”，这种规则对于商家 开发和实施客户化的销售计划和策略是非常有用的。至于发现工具和方法，常用 的有分类、聚类、模式识别、可视化、决策树、遗传算法、不确定性处理等。 数据挖掘涉及的学科领域和方法很多，有多种分类法。根据挖掘任务分， 可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、 依赖关系或依赖模型发现、异常和趋势发现等等；根据挖掘对象分，有关系数据 库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、 异质数据库、遗产数据库以及互联网w e b 。 根据挖掘方法分，可粗分为：机器学习方法、统计方法、神经网络方法和数 据库方法。机器学习中，可细分为：归纳学习方法( 决策树、规则归纳等) 、基于 范例学习、遗传算法等。统计方法中，可细分为：回归分析( 多元回归、自回归等) 、 判别分析( 贝叶斯判别、费歇尔判别、非参数判别等) 、聚类分析( 系统聚类、动 态聚类等) 、探索性分析( 主元分析法、相关分析法等) 等。神经网络方法中，可 细分为：前向神经网络( b p 算法等) 、自组织神经网络( 自组织特征映射、竞争学 习等) 等。数据库方法主要是多维数据分析或o l a p 方法，另外还有面向属性的归 纳方法。 目前应用比较广泛的主要有关联分析、分类分析、回归分析、时间序列分析 等方法，每种方法都解决了不同类型的问题。 数据挖掘技术确：i 乜信客户价值管理中的戊用， 北京邮i u 入学坝l j ! f 、) ：论义总4 7 贝第9 页 2 3 数据挖掘技术的步骤和体系结构 2 3 1 步骤 数据挖掘是一个利用各种分析工具在海量数据中发现模型和数掘间关系的 过程，这些模型和关系可以用来做出预测。 在实施数据挖掘之前，先制定采取什么样的步骤，每一步都做什么，达到什 么样的目标是必要的，有了好的计划才能保证数据挖掘有条不紊的实施并取得成 功。总的说来基本数据挖掘步骤一般包括以下三个部分数据的准备、模型的建立、 模型的验证和评价。 ( 1 ) 数据的准备。 包括数据取样、数据特征探索、分析和预处理，同时要明确问题，选择适合 的数据，必要时要进行调整。具体说来，例如计算统计变量( 比如平均值、均方 差等) ，再用图表或图片直观的表示出来，进而可以看出一些变量之间的相关性 ( 比如有些值经常同时出现) 。选择正确的数据源对整个数据挖掘项目的成败 至关重要。 通过数据取样，要把好数据的质量关，在任何时候都不要忽视数据的质量， 即使你是从一个数据仓库中进行数据取样，也不要忘记检查其质量如何。因为通 过数据挖掘是要探索企业运作的规律性的，原始数据有误，还谈什么从中探索规 律性。若你真的从中还探索出来了什么”规律性”，再依此去指导工作，则很可能 是在进行误导。若你是从j 下在运行着的系统中进行数据取样，则更要注意数据的 完整性和有效性。 ( 2 ) 建立模型。 这一步是数据挖掘工作的核心环节。对建立模型来说要记住的最重要的事是 它是一个反复的过程。需要仔细考察不同的模型以判断哪个模型对你的商业问题 最有用，在寻找好的模型的过程中学到的的东西会启发你修改你的数据，甚至改 变最初对问题的定义。 一上t 决定了挖掘类型之后，就需要选择模型的类型。可能是一棵决策树、神 经网络、甚至传统的数学统计。选择什么样的模型决定了你需对数据做哪些预处 理工作。如神经网络需要做数据转换，有些数据挖掘工具可能对输入数据的格式 有特定的限制等。一旦所有的数据准备好之后，就可以开始训练你的模型了。 就i i 前的技术发展水平，数理统计方法还是数据挖掘工作中最常用的主流技 术手段。市场上很多的软件供应商和数据挖掘咨询公司一般都提供了很多的软件 包，包含有很多实用数理统计方法。而在你的数据挖掘模型中使用哪一种方法， 具体用软件包| | 1 的什么方法来实现，这主要取决于数据集的特征和要实现的商业 数抛挖瓤i ；技术红l u 信客户价值管理中的心用 北京邮i 【1 人学硕f ：学位论文总4 7 页第l o 页 目标。实际上，这种选择也不一定是唯一的，可以多试几种方法，从具体的实践 中选出最适合的方法和软件。 ( 3 ) 验证和评价模型。 从上述过程中将会得出一系列的分析结果、模式或模型，评价的办法之是 直接使用原来建立模型的样板数据来进行检验。假如这一关就通不过的话，那末 决策支持信息的价值就不太大了。一般来说，在这一步应得到较好的评价。这说 明确实从这批数据样本中挖掘出了符合实际的规律性。 另一种办法是另外找一批数据，已知这些数据是反映客观实际的规律性的。 这次的检验效果可能会比前一种差。差多少是要注意的。若是差到所不能容忍程 度，那就要考虑第一次构建的样本数据是否具有充分的代表性；或是模型本身不 够完善。这时候可能要对前面的工作进行反思了。若这一步也得到了肯定的结果 时，那数据挖掘应得到很好的评价了。 再一种办法是在实际运行的环境中取出新鲜数据进行检验。如在一个应用实 例中，就进行了一个月的现场实际检验。 一般来说，使用模型得到的如果是一个直接的结论当然很好，但是实际上这 种情况非常的少，更多的时候得出的是对目标问题多侧面的描述，这时就要能很 好的综合它们的影响规律性提供合理的决策支持信息。所谓合理，实际上往往是 要在所付出的代价和达到预期目标的可靠性的平衡上做出选择。假如在数据挖掘 过程中，就预见到最后要进行这样的选择的话，那末你最好把这些平衡的指标尽 可能的量化，以利你综合抉择。 ( 4 ) 模型的实施。模型建立并经验证之后，可以有两种主要的使用方法。 第一种是提供给业务人员或分析人员做参考，通过察看和分析这个模型之后提出 行动方案建议。比如可以把模型检测到的聚集、模型中蕴含的规则、或表明模型 效果的r o i 图表拿给分析人员看。另一种是把此模型应用到不同的数据集上。模 型可以用来标示一个事例的类别，给一项申请打分等。还可以用模型在数据库中 选择符合特定要求的记录，以用0 l a p 工具做迸一步的分析。 数始挖掘技术在电信客户价值管理中的应用 北京邮i 【1 人学坝i ：q - 位论义 总4 7 页第l i 贞 图2 - 1 数据挖掘的步骤示意图 这里需要指出的是，上面的各个步骤按顺序排列，要注意数据挖掘过程并不 是线性的一要取得好的结果就要不断反复重复这些步骤。比如在“建立模型”时 你可能觉得在“数据预处理”时作的不够好，或者是要往里面添加一些新的数据 等等。 当提交一个复杂的应用时，数据挖掘可能只是整个产品的一小部分，虽然可 能是最关键的一部分。例如，常常把数据挖掘得到的知识与领域专家的知识结合 起来，然后应用到数掘库中的数据。在欺诈检测系统中可能既包含了数据挖掘发 现的规律，也有人们在实践中早已总结出的规律。 2 3 2 体系结构 早期出现的数撕挖掘工具是独立j 二数据仓库以外的，它们需要独立地输入输 出数据，以及进行相对独立的数据分析。为了最大限度地发挥数据挖掘工具的潜 力，它必须象很多商业分析软件一样，能够紧密地和数据源集成起来。这样，在 人们对参数和分析深度进行变化的时候，数据挖掘工具和数据源( 特别是数据仓 数据挖掘技术订：i 【l 竹客户价值管理中的心川 北京邮l 【1 人学锨i j 学位论文总4 7 贝筇1 21 ；i 库) 之间的高集成度就能大大地简化数据挖掘过程。 虽然我们说数据挖掘技术的应用不是完全依赖于数据仓库的应用，但是应j 讨 数据挖掘技术，相对较为理想的起点就是从一个数据仓库开始，这个数据仓库罩 面应保存着所有客户信息，并且还应有相应的市场竞争对手的相关数据。这样的 数据库可以是各种市场上的数据库：s y b a s e 、o r a c l e 、r e d b r i c k 和其他等等， 并且可以针对其中的数据进行速度上和灵活性上的优化。 我们已经知道，o l a p 服务器可以使一个十分复杂的最终用户商业模型应用 于数据仓库中。而数据库的多维结构又可以让用户从不同角度，例如业务类型分 类，地域分类，或者其它角度来分析和观察运营状况。因此，数据挖掘服务器必 须和o l a p 服务器，以及数据仓库紧密地集成起来，这样就可以直接跟踪数据、 辅助用户快速做出商业决策，并且用户还可以在更新数据的时候不断发现更好的 行为模式，并将其运用于未来的决策当中。 数据挖掘分析人员 查询分析应用人员 一准备数据、 建立模型 厂、 评估，解释模型 i 即席查询 j 运用，巩固模型 预定义报表 i 一一 一一一一 一一一一一一一一 一一一il 一一 ( 理习一 黛 c 数姗厍 弋纠) 磔( ， 图2 - 2 数据挖掘的体系结构及流程示意图 上图展示了数据挖掘同数据仓库和数据集市及其应用结合的流程示意图。可 以首先基于确定的业务问题和目标，由专业的数据挖掘分析人员通过数据挖掘工 具对数据仓库( 或在由此进行数据再组织而生成的数据集市) 挖掘找出规律，生 成模型，再把这个模型应用于相关数据仓库( 或数据集市) 中的数据，进而生成 数据挖掘投术a ：i 乜信客户价值管理中的应用 北京邮l 乜人学f l ! i ! l ：。化论文总4 7 负第1 3 页 报表等，供数据挖掘结果应用人员访问和应用数据挖掘所产生的各类结果，以了 解业务和客户状况。因而要求数据挖掘工具具有同数据仓库及数据仓库的其它应 用紧密集成的能力。 数据挖掘系统的出现代表着常规决策支持系统的基础结构的转变。不像查询 和报表语言。仅仅是将数据查询结果反馈给最终用户那样，数据挖掘高级分析服务 器把用户的商业模型直接应用于其数据仓库之上，并且反馈给用户一个相关信息 的分析结果。这个结果是一个经过分析和抽象的动态视图层，通常会根据用户的 不同需求而变化。基于这个视图，各种报表工具和可视化工具就可以将分析结果 展现在用户面前，以帮助用户计划将采取怎样的行动。 2 4 数据挖掘方法论 目前比较流行的数据挖掘方法论主要有以n c r 、s p s s 大公司提出的跨行 业标准数据挖掘过程c r i s p - d m ( c r o s si n d u s t r ys t a n d a r dp r o c e s sf o rd a t a m i n i n g ) ，i b m 公司提出的通用数据挖掘方法( t h eg e n e r i cd a t am i n i n gm e t h o d ) ， 以及s a s 公司提出的s e 龇( s a m p l e ，e x p l o r e ，m o d i f y ，m o d e l ，a c c e s s ) 方法 论。实质上，它们的内容是大同小异的，基本上均包括了数据准备，数据抽取、 模型建立、模型评估、模型修正等过程。 这罩，我主要介绍一下s p s s 的c r i s p d m 方法论。 n c r 、s p s s 提出的跨行业标准数据挖掘过程c r i s p d m 则包括了以下的步 骤【3 】：商业理解、数据理解、数据准备、建立模型、模型评估以及结果发布。 下面，将对这些步骤进行详细的解释： 商业理解：包括确定商业目标，形势评估，确定数据挖掘目标，制定项目计 划： 应该精确的定义数据挖掘项目的l ；j i 业目标。所谓商业目标，指的是通过挖掘 项目，可以为商业流程所带来的可量化的正面影响。定义商业目标应该从数据挖 掘所能解决的问题丌始。 例如，对于一个电信领域的数据挖掘项目，能够回答的问题可能有： 一那些是我们公司的优质客户7 这些优质客，o 有什么特征7 那些是不良客户，他们又什么特征7 在欠费用，r l | ，那一些是恶意的欠费，哪一些是善意的欠费7 哪一些客户可能会有最好的潜力7 通过什么米细分公司的客户? 数据挖掘技术“叫! 信客户价值管理中的心用 北京邮t l i 人学硕l ：学位论文 总4 7 页第1 4 页 一个客户能给公司带来的价值如何衡量? 哪一些是高价值的客户? - 在清晰的定义了目标之后，需要对项目的成功标准做一个界定。例如，在一 个电信客户流失数据挖掘项目中，成功的标准可能是“下一个季度的客户流失率 从现在的1 0 降到5 ”。另外，由谁来评定结果也是需要界定的。项目评价者 的缺位通常是数据挖掘项目成果不能应用到实际工作中的一个重要原因。 接下来，就应该对项目组目前所处的形势做一个客观的评估。要进行数据挖 掘项目，需要依赖很多的资源，包括是否有足够处理能力的硬件( 由于数据量庞 大，对数据挖掘服务器的要求是相当高的) ，是否有高效能的数据挖掘软件，是 否有足够的数据积累( 足够的数据积累是开展数据挖掘的前提) ，还有很重要的 一点是否有足够的高素质的人员。 另外一个很重要的工作就是进行数据挖掘项目的成本效益分析，包括估计数 据采集的费用，开发相关解决方案的费用，估计项目成功后的收益，以及项目运 行与维护的费用。在这里，需要注意的是无论是收益还是运行维护费用，都应该 考虑到那些隐含的因素。对收益来说，包括节省的人力成本，企业形象的提升等 等，都应该考虑进来；而对于成本来说，由于集成数据挖掘模块功能所造成对原 有系统的改造，以及增加的管理人员等，都应考虑在内。 在确定商业目标以及对形势做出评估之后，就需要考虑如何将商业目标转化 维数据挖掘的目标了。 所谓数据挖掘目标，指的是选择商业目标所对应的数据挖掘技术，以及应用 该技术所能达到的结果。以电信客户细分的挖掘项目为例，商业目标就是按照某 种内在的特征对不同客户进行分群，以便得到有针对性的营销策略。而这个目标 转化为数据挖掘目标，则可以表述为“使用聚类技术( c l u s t e r i n g ) 对客户账户数 据进行聚类，得到若干个( 群体个数在挖掘实施时确定) 客户群体，并得到每一 个群体的特征”。有了对数据挖掘目标的详细定义，就可以开始数据理解的过程 了。 数据理解：包括收集原始数据，数据描述，数据探索性分析，数据质量描述； 对其中的每一个活动，都应该有相应的文档纪录。 数据准备：包括选择数据，数据清理，数据重构，数据整合，格式化数据； 数据准备是一个相对单调的阶段，但是这个阶段通常会占到整个项目时间的 5 0 以上；这个阶段的成果，对后期模型的效果有非常重要的影响。 建立模型：包括选择建模技术，产生检验设计，建立模型。评价模型； 针对不同的数据挖掘问题，有不同的工具以及解决方法： 对数据描述与汇总类型的问题，可以采用一般的报表软件或者统计软件包解 决： 数据挖掘技术神：l 乜侪客户价值管理中的应用 对细分问题，可以采用聚娄算法神经网络技术，加上图形展示的方式解扶： 对概念描述类的问题，则需要依顿于规则判断( 关联规则算法) ，以及概念 聚类来解决； 至于分类问题，则有十1 1 当多的解决手段，包括：规则判断，决策树，判别分 析，神经网络，逻辑回归，快速聚粪，阻及近年束发展的模拟退火算法和基因算 法： 对预测类的问题，可以采用回归分析( r e g r e s s i o n ) t 神经网络以及时间序 列分析等算法解决： 相关分析类的问题，可以采用回归分析，关联规则，神经网络等算法解决。 模型评估：包括结果评估，数据挖掘过程回顾确定下一步工作： 结果发布：包括发布结果计划，监测和维护模型计划，生成最终数据挖掘报 告，项目回顾。 盘2 - 3 ：c r i s p 一喇方法论的流程囤 以上的各个阶段在整个数据挖掘项目过程中所占用的时白j 以及它们的重要 性可以用下面的表格说明： 数据挫折技术“i u f 二g p 竹信* 目中j * m ) i b r 忡l u 学i # 位n i肥4 7 m 辨1 6 花费的时间 占项目的重姜性 商业理解 1 0 7 9 数据理解2 0 - 3 0 3 数据准备5 0 - 7 0 1 5 琏棰和评估“厦日 1 0 2 顺 橇型发布 5 1 0 1 裹z2c r i s p - 一各十阶段在整个敷据挖掘项目过程中所占用的时问 以丑它们的重要性 值得注意的是，除了提出c r i s p d m 方法论之外，s p s s 还将该方法论集成 到他们的数据挖掘工具c l e m e n t i n e 中，从而使c p d s p d m 与工程实践紧密结合。 o 墨毫。墨e = = 亚口雹品昆墨疆盈臣彗置咝量嚣疆墨匿蜀壁。署，盥川 图2 - 4c r s p p m 数据挖掘方珐论与敷据挖掘工具c le m e n l i n e70 集成 数椰控“h $ “i “n # p ”值管d 中“1 1 北京梆：l 乜人学兜l j 学仲论文 总4 7 页第1 7 贝 2 5 数据挖掘的具体算法和常用技术 在上一节中介绍了数据挖掘的分析模型和方法，我们下面将要介绍的是数 据挖掘中常见的和应用较广泛的具体的算法。大多数数据挖掘产品使用的算法都 是在计算机科学或统计数学杂志上发表过的成熟算法，所不同的只是算法的实现 和对性能的优化。当然也有一些公司采用的是自己研发的未公开的算法，效果也 不错。 ( 1 ) 神经网络：仿照生理神经网络结构的非线形预测模型，通过学习进行 模式识别。 这些年来神经网络近来越来越受到人们的关注，因为它为解决大复杂度问 题提供了一种相对来说比较有效的简单方法。神经网络可以很容易的解决具有上 百个参数的问题( 当然实际生物体中存在的神经网络要比我们这里所说的程序模 拟的神经网络要复杂的多) 。神经网络常用于两类问题：分类和回归。在结构上， 可以把一个神经网络划分为输入层、输出层和隐含层。 输入层的每个节点对应一个个的预测变量。输出层的节点对应目标变量， 可有多个。在输入层和输出层之间是隐含层( 对神经网络使用者来说不可见) ， 隐含层的层数和每层节点的个数决定了神经网络的复杂度。 目前很多软件提供商或者数据挖掘咨询公司都能够提供比较成熟的神经网 络的算法，简化了很多的计算过程。 ( 2 ) 决策树：代表着决策集的树形结构。决策树提供了一种展示类似在什 么条件下会得到什么值这类规则的方法。 数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也 可以用来作预测。常用的算法有c h a i d 、c a r t 、q u e s t 和c 5 。0 。 建立决策树的过程，即树的生长过程是不断的把数据进行切分的过程，每 次切分对应一个问题，也对应着一个：1 7 点。对每个切分都要求分成的组之间的“差 异”最大。 ( 3 ) 遗传算法：基于进化理论，并采用遗传结合、遗传变异、以及自然选 择等设讨方法的优化技术。 ( 4 ) 近邻算法：将数据集合中每一个记录进行分类的方法。 ( 5 ) 规则推导：从统计意义一1 | 对数据中的”如果一那么”规则进行寻找和推导。 采用上述技术的某些专门的分n - 工具已经发展了大约十年的历史，不过这 些工具所丽时的数据量通常较小。而现在这些技术已经被直接集成到许多大型的 工业标准的数扳0 仓库和联机分析系统- p 去了。 在计算机科学、统计数学、和人工智能领域的专家们已经在研究和改进这 些算法方衙作了大量的工作。几乎所彳j 的数据挖掘技术都可称为是数据驱动的， 数据挖掘披本：i 也仨i 客户价值管理中的心用 北京邮【i 人学硕：i ：学位论文 总4 7 页第1 8 页 而不是用户驱动的，也就是说用户在使用这些算法时，只要给出数据，不用告诉 算法程序怎么做和期待得到什么结果，一切都是算法自身从给定的数据中自已找 出来。 因此应注意的是大部分算法都不是专为解决某个问题而特制的，算法之间 也并不互相排斥。不能说一个问题一定要采用某种算法，别的就不行。一般来说 并不存在所谓的最好的算法，在最终决定选取那种模型或算法之前，可以各种模 型都试一下，然后再选取一个较好的；或者可能只试了一个就已经满足了对准确 度的要求。 数据挖掘技术在l 乜佑客户价值管理中的应用 北京j l j l 5 , b 人学倾i j 学f t 论义 总4 7 页第1 9 页 第三章客户价值管理理论研究 3 1 什么是客户价值及其意义 3 1 1 客户价值的内涵 客户终生价值( l i f e t i m ev a l u e ，l t v ) ，也成客户寿命期价值，它等于对一 个客户所期望的终生受益减去该客户的终生成本( 包括获得该客户的成本、维持 成本以及服务成本) 。利用适当的信息，企业可以对一个客户在其寿命期内可能 的收益和价值进行估计。 通过分析客户终生价值，我们可以预估对某一客户或客户群的营销是否会成 功，如果成功的话，利润大约是多少；反之，如果失败率很高的话，就应该取消 对这些客户的营销。 广义的客户价值，是指公司在与其客户保持买卖关系的全过程中从该客户处 所获得的全部利润的现值。对现有客户来说，其终生价值可分为两个部分，一是 历史价值，即到目前为止客户为公司创造的利润总现值，二是未来价值，即客户 在将来可能为公司带来的利润流的总现值。由于计算客户的历史价值比较简单， 因此，我们接下来所要讨论的是客户的未来价值。 3 1 2 分析客户价值的意义 客户对企业的价值，从长远米看j 汉决于“客户的价值”客户自身价值增 值的能力，即考虑客户是否有i j 途。这样企业与客户就从波特竞争结构中的竞争 关系转变为战略伙伴关系。而客户对企业是否具有价值，还取决于企业对客户的 培养，即客户价值是否具有可操作性。如果企业无力改变客户价值，则企业只能 选择，也就足选抒那些企业认为l l j 能会有价值的客户，但反过来客户就有可能不 选择你。i = = l = j 此，获得谁、培养准、维持准? 这足企业需要选择的，这也是客户价 值评价的匝要1 的。客户与企业灭系发展是动念的，因而分析客户价值应从定量 与定性相结合，动态指标与静态指标棚结合的两个方面进行综合评价。 数据挖掘技术靠 l u f 矗客户价值管理中的鹰j f j 北京邮电人学硕f ：学位论文 总4 7 页第2 0 页 3 1 3 客户价值的具体表现 企业进行客户管理本质上是项长期投资决策。也就是企业通过把客户群看 作是一个需要进行管理以取得最大收益的客户组合，那么就可以把客户关系进一 步比作一种金融资产。总的来说，客户价值主要表现在以下几个方面： 利润性，是指客户能否提供给企业一定的赢利性，这是客户价值的基本要求。 形象性，是指企业与客户合作能够提高企业的形象，如为著名公司、重大的 工程进行配套或服务，此时，企业可以忽略利润性这一要素。 稳定性，是指客户长期、稳定、大批量购买能够保持企业生产的稳定性，使 企业保持在盈亏平衡点之上，此时客户看似是无利润的，但该客户却分摊了大量 的固定费用。 壁垒性，是指该客户可能赢利性很小，但却成为企业保持核心客户的有利屏 障，也就是成为竞争对手获取企业客户的进入壁垒。 战略同盟性，是指客户是否有可能成为企业未来的战略伙伴，这样就能形成 企业与客户的价值共同体，这种情况一般发生在互补产业之间。 3 2 客户生命周期分析 定义：“在某个客户对公司产品的持续购买期间，公司将从与其交易中获得 的纯利润。 a r t h u rm 。h u g h e s 完全数据库市场人员 客户生命周期是指客户与企业建立并保持关系的时间过程。在核定客户的客 户价值的时候，客户生命周期是指自核定之同起到预期客户关系解除( 客户流失) 为止的时问。一般而言，基于客户的忠诚，忠诚类客户的客户生命周期可以以人 口的平均寿命为客户生命周期或者产品提供的生命周期为客户生命周期的止点， 而一般客户则可以客户生命周期的均值计算。 与其他事物的发展规律一样，客户与企业从开始建立关系到关系结束有其一 般性的随时问变化的发展轨迹，我们称之为客户生命周期。在不同的关系状态下， 客房的消费行为呈现出不同的特点，从而导致客户对企业收益贡献的非均衡性。 为此，在计算客户终身价值时应充分考虑关系处于不同阶段对其大小的影响。 与其他事物的发展规律一样，客户与企业从开始建立关系到关系结束有其一 般性的随时问变化的发展轨迹，我们称之为客户生命周期。在不同的关系状态下， 客房的消费行为呈现出不同的特点，从而导致客户对企业收益贡献的非均衡性。 为此，在计算客户终身价值时应充分考虑关系处于不同阶段对其大小的影响。 数捌挖掘技术n ：l 乜信客户价值管理中的心用 北京邮l 【1 人学帧i j 学化论义总4 7 贞第2 i 页 3 3 生命周期价值 图3 - 1 典型的客户生命曲线 在直接营销的早期，收入的大部分增长来源于新客户的获取。然而到了今天， 时长更加饱和了，这使得获取新客户变得原来越困难，而且花费非常昂贵。为了 弥补这一不足，许多公司正在以来现有的客户基础来产生公司的利润的主体。他 们更多的通过把重点放在为现有客户开发新的产品和提供新的服务上来保持竞 争能力。这不仅对现有客户的价值产生影响，也改变了潜在客户的价值。 结果，企业开始倾向于吸收具有长周期价值生命周期价值( l i f et i m e v a l u e ) 的新客户投入更多的资金。客户生命周期价值是指所有从新客户期望得 到的纯价值和利润，简单的说就是客户未来能产生的价值。 从另一种意义上说，所谓生命周期价值，指的是客户或者潜在客户在一段时 间内