（系统工程专业论文）基于统计的数据挖掘技术在CRM系统中的应用研究.pdf

捅姜 2 0 世纪9 0 年代初，随着竞争的加剧，顾客资源的短缺，企业逐渐意识到维 系与顾客间的长久关系的重要性。客户关系管理( c r m ) 思想应运而生。而企业 在实施c r m 的过程中，无时不要通过对纷繁信息的深层分析以取得对决策的支 持。数据挖掘技术以其能够从纷繁、混乱的实际应用数据中提取有用信息和知识 的强大功能而在c r m 中有着较大的应用潜力。基于统计的数据挖掘技术更是具有 从日常易得的数据中提炼有用信息的功能，而目前，基于统计的数据挖掘技术在 c r m 中的应用极其有限。 论文以基于统计的数据挖掘技术在c r m 中的应用为研究目标。在回顾了已有 的研究和实践的基础上，提出了基于统计的数据挖掘技术的实施模型，并以此为 内核建立了一套c r m 数据挖掘系统，提出了适应与c p a l 数据挖掘系统的空间数据 分类模型。 进一步地，论文通过实证研究来验证所提出模型的有效性。实证研究以房地 产企业的顾客为研究对象，通过对日常搜集到的顾客数据的挖掘，解决了房地产 企业从市场细分，到目标市场选择，直至产品的特征设计等一系列问题。 论文的创新点主要在于提出并实证了c r m 中基于统计的数据挖掘的过程模 型，对数据挖掘技术的丰富和c r w 系统在实践中的完善都有一定的贡献。 关键词：客户关系管理；数据挖掘；过程模型；隶属度 a b s t r a c t i nt h ee a r l y9 0 so f 2 0 ”c e n t u r y ，w i t hm o r ef i e r c ec o m p e t i t i o na n d s h o r t a g eo fc u s t o m e rs o u r c e ，c o m p a n i e sc a m et or e a l i z et h ei m p o r t a n c eo f r e t a i n i n g s u s t a i n e d r e l a t i o n s h i p b e t w e e nc u s t o m e r s i nt h e s e c i r c u m s t a n c e s ，c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ( c r m ) c a m et r u e w h e n c o m p a n i e si m p l e m e n tc r m ，t h e yn e e dt oo b t a i nd e c i s i o ns u p p o r tf r o md e e p a n a l y s i s o fn u m e r o u sa n d c o m p l i c a r e d i n f o r m a t i o n t h e r ei sa l a r g e a p p l i c a t i o np o t e n t i a lo fd a t am i n i n gi nc r mb e c a u s eo fi t sc a p a c i t yo f e x t r a c t i n gu s e f u lk n o w l e d g ea n di n f o r m a t i o nf r o mn u m e r o u s d a t a d a t a m i n i n g b a s e do ns t a t i s t i ci sm o r eu s e f u li n e x t r a c t i n g i n f o r m a t i o n h o w e v e r ，t h e r ei s al i m i t a t i o ni na p p l i c a t i o no fd a t am i n i n gb a s e do n s t a t i s t i ci nc r m t h eg o a lo ft h i st h e s i si st os t u d ya p p l i e a t i o no fd a t am i n i n gb a s e d o ns t a t i s t i ci nc r m o nt h eb a s i so fr e v i e w i n gr e l e v a n tr e s e a r c h e sa n d p r a c t i c e s ，t h ea u t h o rp r e s e n t sa ni m p l e m e n t a t i o nm o d e l o fd a t am i n i n g b a s e do ns t a t i s t i ci nc r m c e n t e r i n go nt h em o d e l ，ad a t am i n i n gs y s t e m f o rc r mi se s t a b l i s h e da n db a s e do nt h es y s t e m ，as p a t i a ld a t as o r t i n g m o d e li sp r e s e n t e d f u r t h e r m o r e ，t h et h e s i st e s t st h ee f f e c to ft h ei m p l e m e n t a t i o nm o d e l a b o v et h r o u g he m p i r i c a lr e s e a r c h t h eo b j e c to fe m p i r i c a ls t u d yi sr e a l e s t a t ec o m p a n y t h r o u g hm i n i n go fo r d i n a r y c u s t o m e r d a t a ，t h es t u d y r e s o l v e st h ep r o b l e m so fm a r k e ts e g m e n t a t i o n ，t a r g e tm a r k e ts e l e c t i o na n d p r o d u c td e s i g n i n n o v a t i o n so ft h et h e s i sa r et op r e s e n ta n de m p i r i c a l l yt e s t t h e i m p l e m e n t a t i o nm o d e lo fd a t am i n i n gb a s e d o ns t a t i s t i ci nc r m t h et h e s i s c o n t r i b u t e st ob o t hd a t am i n i n gt e c h n o l o g ya n dc r mp r a c t i c e s k e yw o r d s ：c u s t o m e rr e l a t i o n s h i p m a n a g e m e n t d a t am i n i n g ， i m p i e m o n t a t i o nm o d e i ，g r a d eo fs u b j e c t i o n 堪于统计的数据挖掘技术在c r m 中的应用研究 1 引言 1 1 问题的提出 2 0 世纪9 0 年代的商业环境概括起来有三大趋势，那就是全球化、放松的商 业管制、以及信息技术目新月异的发展。 市场竞争的加剧使得企业意识到客户资源的短缺，企业管理者逐渐明确：与 其不断地开发新客户不如提高本企业老客户的保持率，客户关系管理思想应运面 生。这一管理思想的核心就是企业的营销活动应致力于保持与目标顾客的长久联 系。完整概念的客户关系管理( c u s t o m e r r e l a t i o n s h i p m a n a g e m e n t ，c r m ) 从物 理结构上说是一套智能化的信息处理系统，从功能上说它是将企业的经营、管理 导向“以客户为中心”的一套管理和决策方法。c r m 同时是一种改善企业与客 户之间关系的新型管理机制，它贯穿企业的市场营销、销售、服务与技术支持等 于客户相关的领域。其目的，一方面是通过提供更快和更周到的优质服务吸引和 保持更多的客户；另一方面通过对业务流程的全面管理、实现商业规则的自动化 以降低企业的经营成本。由于不同企业采集和存储的数据不同，对它的分析、建 模处理和算法也不同，特别是决策支持部分更是与本企业内部的管理运作密切相 关“。 随着企业所处环境的快速变化和日益复杂化，企业每天都要面临纷繁的信息， 如何对这些信息进行有效的处理，使之成为企业决策的有效依据正是诸多实践者 关注的问题。信息技术的飞速发展使得这一实际问题的解决成为可能，而数据挖 掘技术正是解决这一问题的最有效的手段之一。数据挖掘( d a t am i n i n g ，d m ) 就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐 含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 在企业实施c r m 的过程中，无时不要通过对复杂信息的深层分析以取得对决 策的支持，因此数据挖掘技术在c r m 中应有着广泛而有效的应用。1 。从最初的市 场细分、目标市场选择，直到客户投诉处理以及如何为顾客提供个性化的售后服 务等决策问题都可以通过数据挖掘来取得有效的信息支持。 笔者梳理出以下的案例来说明数据挖掘技术在c r m 中的应用。 广州素有“食在广州”之美誉，因而很多人并没料到洋快餐竟能在此大行其 道。但只要分析洋快餐进攻广州之前的餐饮市场定位图( 图卜1 ) ，就可知洋快 餐的成功并非偶然。 基于统计的数据挖掘技术在c r m 中的应用研究 高价 l - - f 境 r 瞬 o ； r 图卜l 广州餐饮业市场的对应分析 f i g u r e1 1c o r r e s p o n d e n c ea n a l y s i sf o rg u a n g z h o u sr e s t a u r a n ti n d u s t r y 图上的点主要集结在两个区域：环境、服务俱佳但价格不菲的部分是星罗棋 布的高档酒楼；另部分低档价廉，这是遍布大街小巷的小食肆。由此反映出广 州餐饮业：( 1 ) 主要分为两个类型：高档酒楼和低档食肆；( 2 ) 这两类型的从业 者间的竞争相当激烈。市场空隙甚少。 虽然市场上众饮食企业竞争得不可开交，但从图上看到，满足中等收入的人 群消费的场所却尚是一片空白。而若了解广州近年的经济发展状况及市民对餐饮 消费需求的变化，这很容易明白这片空白是大好机会所在。随着经济的发展，人 们的收入有了很大增长，对进餐的卫生条件、环境、服务质量等方面的要求也提 高了，因而低档食肆已不能满足越来越多人的要求，特别是日益壮大的白领阶层， 更是将在这类食肆进餐看作是有失身份的事，但此高档酒楼进餐只能偶然而为 之，将其作为解决日常进餐问题的场所是不现实的。生活水准的提高，生活节奏 的加快，都令中档快餐有着不可估量的市场潜力。洋快餐正是瞅准这一机会而进 攻广州市场的。洋快餐供应快捷，环境洁净，服务彬彬有礼，这些特点与客户的 需求相当合拍，因而它一打人广州市场，其发展便势不可挡，成为了都市生活的 新景观。也挣到了他们在中国饮食业的第一桶金”1 。 图l - 1 的分析实际上仅仅是应用了数据挖掘技术中的对应分析技术，这一案 例实际上说明了数据挖掘技术在c r m 中的市场细分和目标市场选择阶段的应 用。 基于统计的数据挖掘技术在c r m 中的应用研究 1 2 数据挖掘技术在c r m 中的应用现状 1 2 1 数据挖掘技术发展现状 数据挖掘( d a t am i n i n g ) 就是从大量的、不完全的、有噪声的、模糊的、随 机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和 知识的过程。还有很多和这一术语相近似的术语，如从数据库中发现知识 ( k d d ) 、数据分析、数据融合( d a t af u s i o n ) 以及决策支持等。人们把原始数 据也就是我们业务系统积累的大量数据，看作是形成知识的源泉，就像从矿石中 采矿一样。原始数据可以是结构化的，如关系数据库中的数据，也可以是半结构 化的，如文本、图形、图像数据，甚至是分布在网络上的异构型数据即来自不同 业务系统的数据。发现知识的方法可以是数学的，也可以是非数学的：可以是演 绎的，也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支 持、过程控制等，还可以用于数据自身的维护。 当今数据库的容量已经达到上万亿的水平( t ) 1 ，0 0 0 ，0 0 0 ，0 0 0 ，0 0 0 个字节。在这些大量数据的背后隐藏了很多具有决策意义的信息，那么怎么得到 这些“知识”昵? 也就是怎样通过一颗颖的树木了解到整个森林的情况? 计算机科学对这个问题给出的最新回答就是：数据挖掘，在“数据矿山”中 找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时提高资金回报。数据 挖掘给企业带来的潜在的投资回报几乎是无止境的。世界范围内具有创新性的公 司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户、重新制定他们的 产品推广策略( 把产品推广给最需要他们的人) ，以用最小的花费得到最好的销 售。 数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的 过程，这些模型和关系可以用来做出预测。 它的第一步是描述数据计算统计变量( 比如平均值、均方差等) ，再用 图表或图片直观的表示出来，进而可以看出一些变量之间的相关性( 比如有一些 值经常同时出现) 。选择正确的数据源对整个数据挖掘项目的成败至关重要，在 后面数据挖掘的步骤中我们会着重强调这一点。 单单是数据描述并不能为人们制订行动计划提供足够的依据，你必须用你的 这些历史数据建立一个预言模型，然后再用另外一些数据对这个模型进行测试， 一个好的模型没必要与数据库中的数据1 0 0 的相符( 城市交通图也不是完全的 基于统计的数据挖掘技术在c r m 中的应用研究 实际交通线路的等比缩小) ，但他在你做决策时是个很好的指南和依据。 最后一步是验证模型。比如用所有对产品推广计划做出回应的人的数据库做 了一个模型，来预测什么样的人会对产品感兴趣。能在得到这个模型后就直接利 用这个模型做出决策或采取行动吗? 还是更稳妥一点先对- - + 部分客户做个 实际的测试，然后再决定? 目前的数据挖掘技术来源于很多领域。遗传算法和神经元网络来源于对生物 处理过程的模拟；m b r 来源于人工智能领域；连接分析来源于图论。统计可用 于对数据的分析，如回归分析，也可用于对数据的收集，著名的例子有：g r e g o r m e n d e l s 的豌豆实验”，通过对大量数据的手工分析，最终发现了基因的存在。 目前数据挖掘技术的应用研究成果主要有： ( 1 ) a g r a v w a l 等综合机器学习与数据库技术，对分类、关联及序列问题作 为一个统一的蕴藏于巨量数据中的规则发现来处理，给出一个统一的规模和过程 中的几个基本运算，并给出了数据挖掘问题如何映射到模型和通过提出的基本运 算如何解决发现问题的方法”1 。 ( 2 ) a n a n d 等提出的基于证据理论( e v i d e n tt h e o r y ) 的数据挖掘一般框架 e d m ( 3 ) s e l lw e l l 公司中的s b i s ( s e l lw e l l 商业智能服务) 系统提出了多层的 b i s 体系结构技术，并内置大量数据模型算法”。 数据发掘除了集成方法或一般框架上的研究和对某种特定规则的研究外，对 特定数据库的数据发掘也做了大量的工作，如交易数据库、空间数据库、时态数 据库以及面向对象的数据库、演绎数据库等9 1 。 在应用层面，数据挖掘技术在下列领域发挥了重要作用：( 1 ) 在生物医学领 域，面对不计其数的d n a 序列模式，应用数据挖掘和数据集成的方法有助于基 因数据集成和基因数据分析的数据仓库构造：还有助于确定目标样本中同时出现 的基因种类。( 2 ) 在金融领域，数据挖掘可以进行贷款偿还的预测和进行客户信 用政策的分析；利用聚类的方法对客户群进行识别和目标市场的分析；还可以把 不同数据库的相关数据集成起来，为金融罪犯的寻找提供线索。( 3 ) 在零售业， 数据挖掘有助于识别顾客的购买行为，发现他们的购买模式和趋势，还可以对促 销的有效性通过序列模式挖掘进行分析。( 4 在电信行业，数据挖掘技术用来对 呼叫时间、呼叫类型等进行多维分析，同时还能够用来进行盗用模式分析和异常 模式识别。 在实际应用中，数据挖掘也有了很多经多经典案例，例如加拿大b c 省电话 4 基于统汁的数据挖掘技术在c r m 中的应用研究 公司利用加拿大s i m o nf r a s e r 大学数据挖掘研究组的研究成果，根据其拥有十多 年的客户数据，总结、分析并提出新的电话收费和管理办法，制定出了有利于公 司又有利于客户的优惠政策。美国著名国家篮球队n b a 的教练，利用i b m 公司 提供的数据挖掘技术，临场决定替换队员唧。数据挖掘技术不仅是面向特定数据 库的简单检索查询调用，而且要对这些数据进行微观、中观乃至宏观的统计、分 析、综合和推理，以指导实际问题的求解，企图发现事件间的相互关联，甚至利 用已有的数据对未来的活动进行预测。这样就把人们对数据的应用，从低层次的 末端查询操作，提高到为各级经营决策者提供决策支持。这种需求驱动力，比数 据库查询更为强大。需要指出的是，这里所说的知识发现，不是要求发现放之四 海而皆准的真理，也不是崭新的自然科学定理和纯数学公式，更不是什么机器定 理证明。所有发现的知识都是相对的，是有特定前提和约束条件、面向特定领域 的，同时还要能够易于被用户理解，最好能用自然语言表达发现结果。因此数据 挖掘的研究成果很讲求实际。最近，还有不少数据挖掘产品用来筛选。i n t e m e t 上的新闻，保护用户不受无聊电子邮件的干扰和商业推销，受到极大的欢迎。 笔者通过对目前数据挖掘应用实例的树立和分析，认为数据挖掘的功能可划 分为描述和预测两大部分，见图1 2 。 图1 2 数据挖掘功能图 f i g u r e 1 - 2f u n c t i o no f d a t am i n i n g 基于统计的数据挖掘投术在c r m 中的应用研究 1 2 2c i n 理论的研究现状 最早发展客户关系管理的国家是美国，在1 9 8 0 年初便有所谓的“接触管理” ( c o n t a c tm a n a g e m e n t ) 专门收集客户与公司联系的所有信息。到1 9 9 0 则演变成 包括电话服务中心支持资料分析的客户关怀( c u s t o m e rc a r e ) 。 关于c r m 的定义，不同的研究机构有着不同的表述。 g a r t n e t g r o u p 认为，所谓的客户关系管理就是：为企业提供全方位的管理视角； 赋予企业更完善的客户交流能力，最大化客户的收益率。 h u r w i t zg r o u p 认为，c r m 的焦点是自动化并改善与销售、市场营销、客户 服务和支持等领域的客户关系有关的商业流程。c r m 既是一套原则制度，也是 一套软件和技术。它的目标是缩减销售周期和销售成本、增加收入、寻找扩展业 务所需的新的市场和渠道以及提高客户的价值、满意度、赢利性和忠实度。c r m 应用软件将最佳的实践具体化并使用了先进的技术来协助各企业实现这些目标。 c r m 在整个客户生命期中都以客户为中心，这意味着c r m 应用软件将客户当 作企业运作的核心。c r m 应用软件简化协调了各类业务功能( 如销售、市场营 销、服务和支持) 的过程并将其注意力集中于满足客户的需要上。c r m 应用还 将多种与客户交流的渠道，如面对面、电话接洽以及w e b 访问协调为一体，这 样，企业就可以按客户的喜好使用适当的渠道与之进行交流。 i b m 所理解的客户关系管理包括企业识别、挑选、获取、发展和保持客户的 整个商业过程。i b m 把客户关系管理分为三类：关系管理、流程管理和接入管 理。其他的厂商又有另外的观点。 从管理科学的角度来考察，客户关系管理源于( c r m ) 市场营销理论；从解 决方案的角度考察，客户关系管理( c r m ) ，是将市场营销的科学管理理念通过 信息技术的手段集成在软件上面，得以在全球大规模的普及和应用。 作为解决方案的客户关系管理，它集合了当今最新的信息技术，它们包括： i n t e r n e t 和电子商务、多媒体技术、数据仓库和数据挖掘、专家系统和人工智能、 呼叫中心等等。作为一个应用软件的客户关系管理( c r m ) ，凝聚了市场营销的 管理理念。市场营销、销售管理、客户关怀、服务和支持构成了c r m 软件的基 石。我们从0 r a c l e 、s i e b e l 、o n x y 、w i n s a l e s 等应用软件公司的c r m 产品中都可 以找到这样的内容。 目前c r m 理论领域的焦点问题主要有： ( 1 ) 客户服务理念的翎新。首先，要突破“客户就是上帝”这种传统观念 基于统计的数据挖掘技术在c r m 中的应用研究 的桎梏。制订企业客户互动战略，首先要搞清究竟谁才是真正的客户? 他们的需 要到底为何? 然后，以此为依据，再来合理分配相应的销售和服务资源。要建立 企业整合性的业务能力，进行客户数据分析，建立模型进行客户细分，并实现客 户渠道间的协同运作。显然，这些都将影响到企业的经营效果。 ( 2 ) 了解客户关系管理的真实成本。通过客户细分，实施企业当前销售与 客户服务模式，就要对其真实成本有详细、准确的了解。在客户接触当中，诸如 劳动力、设施建立与通信等直接成本通常很容易算得出来。然而，大多数企业还 要更加深入挖掘，才能确定c p - , m 的间接成本：包括运作支持成本、信息技术成本、 供应商管理成本、与其他业务部门间的整合成本等等。 ( 3 ) 将成本与收入挂上钩。要从客户需求出发，以新战略确定的利润率为 依托，确定跨渠道组合的服务水准。通常情况下，大部分客户服务交易都能通过 自助或导购式渠道来予以解决。企业要将更为昂贵的支持服务留给更有价值的客 户群体和交易种类。当然，提供自助式服务并不意味着要降低服务质量：它同样 也涉及提供个性化、高效和始终如一的优质服务。 ( 4 ) 采用恰当的绩效考核工具。对企业而言，劳动力成本占客户服务中心 整体预算的比例不下6 0 。有鉴于此，企业采用恰当的组织结构和绩效工具，对 优化人员编制、提升服务效率与员工积极性尤为重要。若要衡量上述成本，采用 “平均处理时间”与“初次呼叫问题鳃决率”等绩效评估指标就足够了。然而， 如果从员工一生整个工作周期来看：还要考虑人员招聘、培训员工效率提升速度、 成果相关绩效指标和其他诸多因素。譬如，奖励措施有助予鼓励服务人员在客 户互动中努力达成绩效目标。而电子化学习方法的运用，既有助于降低培训成本， 同时也能改善服务人员的销售、服务技能。 ( 5 ) 另辟蹊径，探索其他模式。通过外包与“共同外包”( 多家企业共同管 理现有资源) 方式，达成企业间的高效协作，对推动客户互动经济效益的转型具 有至关重要的作用。因此，相比传统投资模式，外包提供了一条崭新而灵活的途 径。它能降低销售和客户关系管理中固定成本与变动成本的比率。 在c r m 中客户是企业的一项重要资产“ 在传统的管理理念以及现行的财务制度中，只有厂房、设备、现金、股票、 债券等是资产。然而，这种划分资产的理念，是一种闭环式的，雨不是开放式的。 无论是传统的固定资产和流动资产论，还是新出现的人才和技术资产论，都是企 业能够得以实现价值的部分条件，而不是完全条件，其缺少的部分就是产品实现 其价值的最后阶段，同时也是最重要的阶段，在这个阶段的主导者就是客户。 基于统计的数据挖掘技术在c r m 中的应用研究 在当今以产品为中心的商业模式向以客户为中心的商业模式转化过程巾，是 尤为重要的关键。美国著名的研究机构h u r w i t zg r o u p 在份白皮书中指出， “c r m 比e r p 更进了几步，它可以帮助各企业最大限度地利用其以客户为中心 的资源( 包括人员和资产) 并将这些资源集中应用于客户和潜在客户身上”。正 如实施e r p 可改善企业的效率一样，c r m 的目标是通过缩减销售周期和销售成 本，通过寻求扩展业务所需的新市场和新渠道，并且通过改进客户价值、满意度、 赢利能力以及客户的忠实度来改善企业的有效性。通过将e r p 与c r m 组合为一 体并建立个闭合的系统，企业可以更有效地处理客户关系，处理的效率也更高， 同时，该系统还能为企业在方兴来艾的关键领域，如电子商务方面，抓住新的商 业机遇开辟新的道路。” + 客户关怀是c r m 的中心 企业向客户提供售后服务是作为对其特定产品的一种支持。原因在于这部分 产品需要定期进行修理和维护。例如，家用电器，电脑产品、汽车等等。这种售 后服务基本上被客户认为是产品本身的一个组成部分。如果没有售后服务，客户 根本就不会购买企业的产品。那些在售后服务方面做的好的公司其市场销售就处 于上升的趋势。反之，那些不注重售后服务的公司其市场销售则处于不利的地位。 客户服务系统中最典型的代表就是呼叫中心环境，这些系统大部分限制在具 有中等数量规模客户的企业地区网络中的使用。在这样的客户服务系统中，一 般都存在着多种数据处理需求，因为一方面需要查询支持来增加对客户的了解， 另一方面在收集客户信息的过程和方式中又带有o l t p 特征。 总体而言，现在还没有强大的企业应用集成( e a i ) 方案可用于c r m 应用。 完整的c r m 方案需要将营销自动化、销售跟踪、客户服务、e r p 、s c m 以及其 他的系统紧密的集成起来，不仅需要具有对企业营销活动的支持功能，还要具有 强大的信息分析功能。笔者认为，c r m 系统的信息分析功能要比其活动支持功 能更为重要，因为：“做正确的事”是“正确地做事”的前提。目前我国的c r m 系统实践者还不具备开发完整的c r m 系统的能力”“。 1 2 3 数据挖掘技术在c r m 系统中应用的现状 目前见到的专门讨论数据挖掘技术在c r m 系统中的应用的论著还很少。目 前主要集中在单独应用数据挖掘对公司的数据库进行针对性的分析当中，很少有 实际的c r m 系统中应用到数据挖掘为企业进行深入的客户分析，来达至4 量体裁 衣的目的。 摹于统计的数据挖掘技术在c r m 中的应用研究 在c r m 系统中，必不可少的要素是将海量的、复杂的客户行为数据集中起 来的，形成整合的、结构化的数据仓库( d a t a w e a r h o u s e ) ，这是数据挖掘的基础。 在此基础上，就需要借助大量的知识和方法，把表面的、无序的信息整合，揭示 出潜在的关联性和规律，从而用于指导决策。 形式上，数据挖掘在c r m 中应用的主要方式可以分为以下三个部分： ( 1 ) 顾客获取( a c q u i s i t i o ng a p ) 。利用顾客档案找出客户的一些共同的特 征，通过这种办法深入了解客户，并通过聚类分析( c l u s t e ra n a l y s i s ) 对客户进 行分群，再通过模式分析( p a r e ma n a l y s i s ) 预测那些潜在黄金客户，看哪些人 可能成为企业的高利润贡献度的客户，以此帮助营销人员找到正确的营销对象， 从而降低成本，提高营销的成功率”“。 ( 2 ) 销售( s a l e sg a p ) 。利用市场购物篮分析”( b a s k e t a n a l y s i s ) 帮助了解 客户对产品的消费模式，找出客户最容易一起购买哪些产品，从两有效地决定产 品组合、产品摆放等，或是利用序贯分析( s e q u e n c ed i s c o v e r y ) 预测客户在买 了某一样产品之后，在多久之内会买另一样产品等等，从而更有效决定产品的推 荐、不同时间的进货量与存货量等，还可以用来评估促销活动的成效。 ( 3 ) 顾客维系( r e t e n t i o n g a p ) 。分析那些流失顾客( 即原先是企业客户， 后来却转成竞争对手的客户) ，根据分析结果，在现有客户数据中找出可能流失 的客户，然后采取一些相应措施预防客户流失；更系统的做法是通过类神经网络 ( n e u r a ln e t w o r k ) ，根据客户的消费行为与交易记录，对客户忠诚度进行得分 ( s c o r i n g ) 排序，从而根据不同的流失率等级配合不同的经营管理对策”。 在方法上主要有下面几种： 横向关联 是挖掘表面看似独立的事件间的相互关系，例如“9 0 的顾客在一次购买活动 中购买商品a 的同时购买商品b ”之类的知识。比如经典的“尿布和啤酒”的故事， 就是利用这种方法，发现二者之间有很高的相关系数，引起重视，然后深入分析 后才找出内在原因的。 次序关联 这种分析的侧重点在于分析事件的前后序列关系，+ 发现诸如“在购买a 商品 后，一段时间里顾客会接着购买商品b ，而后购买商品c ”的知识，形成一个客 户行为的“a b c ”模式。可以想见的是，一个顾客在买了电脑之后，就很有可 能购买打印机、扫描仪等配件。不过，要是通过数据挖掘找出“刮胡7 3 - - - , 抽水马 桶一钻石戒指”这样的模式，估计企业客户服务部门就要忙乎一阵搞明白其中潜 基于统计的数据挖掘技术在c r m 中的应用研究 在的联系了。 分类 分类分析就是通过分析样本客户数据库中的数据，为每个类别作出准确的描 述或建立分析模型或挖掘出分类规则，然后用这个分类规则对其它客户的记录进 行分类。比如，信用卡公司根据顾客的信用记录，把持卡人分成不同等级，并把 等级标记赋与数据库中的每个记录。对于每一等级，找出它们共同点，比如：“年 收入在1 0 万元以上，年龄在4 0 5 0 岁之间的外企白领”总体上信用记录最高。 有了这样的挖掘结果，客户服务部门就知道一个新的客户的潜在价值，在客户服 务投入上就心中有底。 聚类 这是分类的逆向方法。聚类把没有分类的记录，在不知道应分成几类的情况 下，按照数据内在的差异性大小，合理地划分成几类，并确定每个记录所属类别。 它采用的分类规刚是按统计学的聚类分析方法决定的。比如，面对数据库中“消 费额”、“购买频率”、“收入水平”等多个评价指标，没有办法按照一个指标去分 类，就可以通过聚类按照数据间的自然联系把分散的记录“聚”成几“堆”，然后再 对每堆进行深入分析。 综上，数据挖掘融合了数据库、人工智能、机器学习、统计学等多个领域的 理论和技术，对数据进行标准化、抽象化、规范化分类、分析，从而淘出所需要 的“金”。在技术上，客户关系管理系统采用嵌入数据挖掘系统的方式，可以自动 地产生一些所需要的信息。这样的组合才能更好的发挥两者的功能。但数据挖掘 技术在c r m 系统中的应用主要还停留在理论阶段，其功能可概括为：( 1 ) 按照 不同顾客对企业盈利的贡献进行顾客细分，实现重点顾客的重点跟踪：( 2 ) 预测 顾客购买行为的变化，为企业内部营销活动计划的制定提供依据。 1 3 本文的论题 c r m 的主要目的就在于在适当的时间通过适当的渠道将合适的产品提供给合 适的客户。通过c r m 系统的应用，企业提高了前台业务的运作效率。客户信息可 以从中央数据库完整地获取，而不依赖于销售渠道；产品及客户分析结果以及产 品销售、地区销售等的预测能够非常容易且实时地得到利用；同时企业可以通过 c r m 软件系统来对销售进行管理，使得能在有很多决策部门的大型组织中实现复 杂的销售过程：c r m 软件还能简化识别目标客户的工作，加强与目标客户的联系； 能够更为合理地分配营销资源，提高反馈率，并加强宣传的作用，从而减少市场 1 0 某于统计的数据挖掘技术在c r i v i 中的廊用研究 营销成本。 战略管理理论中的基本思想就是企业的资源和能力是有限的，因此，企业更 应该有的放矢，合理的安排和使用资源。在这一思想的指导下，市场细分和目标 市场便成为企业营销管理最前端的工作。市场细分的基本含义是根据顾客需求特 点的不同而将整个市场划分为若干群体。在市场细分的基础上，企业才能够选择 最适合的细分市场作为本企业营销活动的对象，这一被选中的细分市场就是企业 的目标市场。目标市场的选择原则有二：一是这一细分市场应是有利可图的；二 是这一细分市场的需求特征应与本企业的资源和能力相吻合，即企业应具有满足 这一细分市场特定需求特点的能力”。目标市场确定以后，企业才能根据其个性 化的需求特点为其提供个性化的产品或服务。从市场细分到产品提供的问题不仅 是企业营销管理活动的基础，也是企业实施客户关系管理的基本前提，由于目标 市场的需求特点与企业的资源相匹配，企业的客户关系维系工作就能事半功倍。 目前，从检索到的文献看，学术界和企业界尚没有形成有效地细分市场并以 此为基础选择和服务于目标市场的有效的方法体系。鉴于此，本文选取了以解决 这一问题作为研究的对象。 市场细分和目标市场选择的基础是对可得的顾客信息和企业内部信息进行 有效的分析和提炼，而数据挖掘则在技术和方法上为这一功能提供了支持。同时， 统计技术是信息分析和提炼的最有效的手段之一。因此，本文的研究目的是实证 基于统计的数据挖掘技术在客户关系管理中的应用，实证研究解决的问题是 c r m 中的关键性问题：从市场细分和目标市场选择到产品( 服务) 特点设计。 基于统计的数据挖掘技术在c p , m 中的应用研究 2 基于统计的空间数据挖掘技术 2 1 基于统计的空间数据挖掘理论和过程 2 1 1 数据挖掘的一般过程 数据挖掘所要处理的问题，就是在庞大的数据库中找出有价值的隐藏事件， 并且加以分析。主要的贡献在于，它能从数据库中获取有意义的信息以及对资料 归纳出有用的结构。作为企业进行决策的依据。此外，数据挖掘主要目的是发现 数据库拥有者先前关系却未曾知悉的有价值信息。 数据挖掘并不只是一种技术或是一套软件，而是一种结合对中专业技术的应 用。数据挖掘应该是面向应用的。它不仅是面向特定数据库的简单检索查询调用， 而且要对这些数据进行微观、中观乃至宏观的统计、分析、综合和推理”，以指 导实际问题的求解，企图发现事件闻的相互关联，甚至利用已有的数据对未来的 活动进行预测。同时一般所说的知识发现，所有发现的知识都是相对的，是有特 定前提和约束条件、面向特定领域的，同时还要能够易于被客户理解，最好能用 图形表达发现的结果。 数据挖掘可以在很多类型的信息存储上进行。这包括关系数据库、数据仓库、 事物数据库、高级数据库系统、展开文件和w w w ”“。但具体到c r m 系统中， 企业可以通过分别针对企业经营策略、目标定位、操作效能与测量评估等几个方 面的相关问题，从市场与顾客所搜集积累的大量数据中高效率地挖掘出消费者最 关心、最重要的答案。为了达到这个目标几乎所有的数据挖掘方法都要经历下面 这几个步骤： 图2 - 1 数据挖掘的一般过程 f i g u r e 2 - 1b a s i cp r o c e s so fd m 基于统计的数据挖掘技术在c r m 中的应用研究 2 1 2 空间数据挖掘的思想 空间数据挖掘( s p a t i a ld a t am i n i n g ，s d m ) ，或称“从空间数据库中发现知 识”( k n o w l e d g ed i s c o v e r yf r o ms p a t i a ld a t a b a s e s ) ，是指从空间数据库中提取研 究者感兴趣的空间模式与特征、空间与非空间数据的普遍关系及其它一些隐含在 数据库中的普遍的数据特征，它是对知识发现技术在空间数据库发面应用的延 伸。研究者们从不同的角度研究数据挖掘，因而提出了不同的理论框架。有的学 者提出用证据理论( e v i d e n c et h e o r y ) 、r o u g h 集理论( r o u g hs e t st h e o r y ) 和发 现状态空间理论( d i s c o v e r ys t a t es p a c et h e o r y ) 等作为d m 的理论框架，这里 仅对发现状态空间理论作一简单介绍，发现状态空间是一个三维立体空闷，是发 现系统实施多种算法的运作空间。在一个二维的平面基底知识基上逐步抽 象，关系数据库可以抽象地看成一个二维通用大表，纵向为属性( a t t r i b u t e s 或 f i e l d s ) ，横向为元组( t u p l e s 或r e c o r d s ) 。根据知识发现任务，在原始的数据 库经过查询、选择 + 砖 卜丛兰 或采用“2 c o “l 型 此时的条件同上，但第一个公式的计算量小日 2 其中表示d 。所对应客户在客户类型的隶属度。如下图2 - 2 ： 图2 - 2 客户隶属度分析图 f i g u r e 2 2c u s t o m e r g r a d eo f s u b j e c t i o na r i a l y s i s 1 4 摹于统计的数据挖掘技术在c r m 中的应用研究 与一般的聚类方法对比，该方法具有以下优点：1 分类过程中运算量小；2 方便使用模糊数学知识对客户进行分类，使分类更科学。同时也有它的不足：就 是在分类前，需要客户对分类的行业情况非常了解，能够给分类指标定义符合事 实的权重。 2 1 3 基于统计的数据挖掘过程 笔者通过对数据挖掘一般过程的研究，结合统计分析方法，提出了下面这个 基于统计的数据挖掘模型，如下图2 - 3 所示： 图2 - 3 基于统计的数据挖掘模型 f i t r u r e2 - 3p r o c e , g , qa f d a t am i n i n g 该数据挖掘模型是在图2 - 1 中的模型的基础之上笔者提出的。下面把各步骤 简单介绍一下。 ( 1 ) 目标确定( d e f i n eg o a l s ) 每一个c r m 应用程序都有一个或多个商业目标，为此企业需要建立恰当的 模型。根据特殊的目标，如“提高响应率”或“提高每个响应的价值”，需要建 立完全不同的模型。问题的有效陈述包含了评测c r m 程序结果的方法。 ( 2 ) 建立营销数据库( b u i l di n a r k e t i n gd a t a b a s e ) 步骤2 到4 是组成数据准备的核心。他们花费的时间或努力比其他几步加起 来还多。数据准备和模型建立之间可能反复进行，因为从模型中学到新的东西， 而这又要修改数据。数据准备阶段无论如何也要占去全部数据挖掘过程的5 0 到9 0 的时间和努力。 基于统计的数据挖掘技术在c r m 中的应用研究 ( 3 ) 探索数据( e x p l o r ed a t a ) 在建立良好的预测模型之前，必须理解所使用的数据。可以通过收集各种数 据描述( 如平均值、标准差等探索统计量) 和注意数据分布来开始进行数据探索。 可能需要为多元数据建立交叉表( 枢轴表) 。 图形化和可视化工具可以为数据准备提供重要帮助，但它们对数据分析的重 要性不能过分强调。数据可视化常产生可引出新的洞察力和成功的内容。非常有 用和普遍使用的图形是直方图和箱式图，它们显示了数据的分布情况，也可以使 用不同变量组的二维或三维散点图。这种增加第三覆盖变量的能力极大地提高了 一些图形的可用性。 ( 4 ) 为建模准备数据( p r e p a r e d a t af o r m o d e l i n g ) 这是建立模型之前数据准备的最后一步。这一步中主要有四个主要部分：首 先，要为建立模型选择变量。理想情况是：将企业拥有的所有变量加入到数据挖 掘工具中，找到那些最好的预示值。下一步是从原始数据中构建新的预示值。例 如使用债务一收入比来预测信用风险能够比单独使用债务和收入产生更准确的结 果，并且更容易理解。接着，企业需要从数据中选取一个子集或样本来建立模型。 使用所有的数据会花费太长的时间或者需要购买更好的硬件。对大多数c r m 问 题来讲，使用经过恰当的随机挑选的子集并不会引起信息不足。建立模型的两种 选择为：使用所有数据建立少数几个模型，或者建立多个以数据样本为基础的模 型。后者由于更充分的利用了数据所以常常能帮助客户建立更准确有力的模型。 最后，需要转换变量，使之和选定用来建立模型的算法一致。 ( 5 ) 数据挖掘模型的建立( b u i l d m o d e l ) 关于模型建立，要记住的最重要的事情是模型建立是一个迭代的过程。需要 研究可供选择的模型。从中找出最能解决客户商业问题的一个。在寻找好的模型 的过程中所获悉的知识，常常要求企业回头修改正在使用的数据甚至修改问题陈 述。 大多数c r m 应用程序都基于一种叫做监督学习的掷议。开始使用客户信息， 而且期望的结果是已知的。例如，当有来自以前的邮件列表的历史数据，它与现 在使用的数据非常相似。或者，可能不得不进行邮寄钡0 试来确定人们对一个提议 的响应如何。将数据分为两组，使用第一组来训练或评估模型，接着使用第二组 数据来测试模型。当训练和测试周期完成之后，模型也就建立起来了。 ( 6 ) 评价模型( e v a l u a t em o d e l ) 评价模型结果的方法中，最可能产生评价过高的指标就是精确性。假设有一 1 6 基于统计的数据挖掘技术在c r m 中的应用研究 个提议仅仅有l 的人响应。模型预测“没有人会响应”，这个预测9 9 是正确 的，但这个模型1 0 0 是无效的。另一个常使用的指标是“提升多少”，用来衡量 使用模型后的改进有多大，但是它并没有考虑成本和收入。所以最可取的评价指 标是收益或r o i ”。针对不同的目标，如提升最大化、最大利润或最大r o i ( 投 资回收率) ，企业可以选取不同百分比的邮件列表来发出请求函。 ( 7 ) 应用模型获得