（计算机软件与理论专业论文）基于数据挖掘的crm的研究.pdf

摘要 融合数据挖掘技术和数据仓库技术的客户关系管理( c i u 4 ) 系统对企业的信 息管理和决策支持起着至关重要的作用。目前基于数据挖掘的客户关系管理系统 的研究偏重于理论和算法研究，应用也集中在电信、金融和保险等大型企业中， 缺少能够满足中小企业需求的基于数据挖掘的客户关系管理系统的体系结构、关 键技术及其具体实现的研究。 本文在分析了传统c r m 系统的体系结构的基础上，结合中小企业的信息化现 状和实际需求以及数据挖掘和数据仓库技术的特点，改进了c r m 系统体系结构， 使其适用于中小企业。然后，详细论述了基于数据挖掘的客户关系系统的数据仓 库的构建模型和构建过程，接下来研究了数据挖掘技术中的决策树分类算法，引 入s p r i n t 算法作为客户分类建模算法，并对s p r i n t 算法设计过程中的预处理、 计算最佳分割和执行分裂等几个大的阶段进行了探讨，最后结合某报业公司的实 际情况，实现了客户分类的决策树建模，完成了c r m 系统业务体系结构和功能模 块的设计。 关键词：客户关系管理数据挖掘数据仓库决策树 a b s t r a c t c r m ( c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ) b a s e do nd a t aw a r e h o u s ea n dd a t a m i n i n gt e c h n o l o g i e s i s v e r yi m p o r t a n t f o ri n f o r m a t i o n m a n a g e m e n t a n d d e c i s i o n - m a k i n go fe n t e r p r i s e s a tt h ep r e s e n td a y , t h ec r mr e s e a r c h e sb a s e do l ld a t a m i n i n gl a yp a r t i c u l a rs t r e s so nt h ea s p e c to ft h e o r ya n da l g o r i t h m ，a n di t sa p p l i c a t i o n s a l s om a i l l l yf o c u so nl a r g e - s c a l ee n t e r p r i s e s ，s u c ha st e l e c o m m u n i c a t i o n , f i n a n c e ， i n s u r a n c ea n ds oo n t h ec r mr e s e a r c h e sb a s e do i ld a t am i n i n ga i m i n ga tm e d i u ma n d s m a l le n t e r p r i s e si sf e w f i r s t l y , t h ep a p e ra n a l y s e sc o n v e n t i o n a ls t r u c t u r eo fc r ms y s t e ma n dp r e s e n t s t a t u so fm e d i u ma n ds m a l le n t e r p r i s e s i n f o r m a t i o n s y s t e m s ，t h e ni t s t u d i e st h e r e q u i r e m e n t so fm e d i u ma n ds m a l le n t e r p r i s e sf o rc r ma n dt h ec h a r a c t e r i s t i co fd a t a w a r e h o u s ea n dd a t am i n i n gt e c h n o l o g i e s ，a n dt h e ni tm a k e si m p r o v e m e n t so nt h e s l l n c t u r eo fc o n v e n t i o n a lc r m s y s t e mt og e ti tm u c hf i t t e rf o rt h er e q u i r e m e n t so f m e d i u ma n ds m a l le n t e r p r i s e s s e c o n d l y , t h ea r t i c l ed e s c r i b e st h em e t i l o d so fu s i n gd a t a w a r e h o u s et e c h n o l o g yt ob u i l dm o d e l sa n dt h ep r o c e s so fp r a c t i c i n gd a t aw a r e h o u s e t e c h n o l o g yi nd e t a i lw h i c hi sak e yt e c h n o l o g yo fc r ms y s t e mb a s e do nd a t am i n i n g t h i r d l y , i ts t u d i e st h ed e c i s i o nt r e ea l g o r i t h m so fd a t am i n i n gt e c h n o l o g yd e e p l y , e s p e c i a l l y s p r i n ta l g o r i t h mi s a d o p t e df o rm a k i n gam o d e lo fd a t am i n i n gf o r c u s t o m e r - c l a s s i f i e da s s o r t m e n tw h i c hi sa ni m p o r t a n tr e q u i r e m e n to fm e d i u ma n ds m a l l e n t e r p r i s e sf o rc r m t h e r ea r es e v e r a lm a i nd e s i g ns t e p so fs p r i n ta l g o r i t h m ，w h i c h a r cp r e s o r t i n g ，b e s t s p l i ta n de x e c u t i n gs p l i te t c e v e r ys t e pi sd i s c u s s e di nt h ep a p e r f i n a l l y , a c c o r d i n g t oa c t u a lr e q u i r e m e n t so f a ne v e n i n gp a p e rc o m p 柚yf o rc r m s y s t e m b a s e do nd a t am i n i n g ，a na p p l i c a t i o nc a s eh o wt ou 5 es p r i n ta l g o r i t h mt ob u i l da m o d e lf o rc u s t o m e ra s s o r t m e n t , a n dh o wt oe s t a b l i s ht h es t r u c t u r eo fc r a ms y s t e m b a s e do nd a t am i n i n ga n dr e a l i z ei t sf u n c t i o n si nr e a l i t ya r ep r o v i d e d k e y w o r d ：c r m d a t am i n i n gd a t aw a r e h o u s ed e c i s i o nt r e e 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 蔓主盛日期墨! ! i ：! ! ：塑 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名 导师签名 邈垄 。匀互 f ：| 期2 q q ：q ! ：兰q 日期”6 一。2 印 第一章绪论 第一章绪论 1 1 论文背景 信息技术的发展让我们的世界呈现前所未有的繁荣与高速进步的状态，同时 使企业间的竞争非常激烈。对于现代企业来说，客户资源正成为最具价值的资产， 建立客户信息数据库，对这些最有价值的资产进行有效管理，成为企业的核心任 务之一。与此相应，c r m ( c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ，客户关系管理) l l 】 作为企业营销管理中基于电子商务平台的一个非常重要的课题被提出来了。 c r m 起源于2 0 世纪8 0 年代的活动管理系统( c a m p a i g nm a n a g e m e n ts y s t e m ) 【2 】，即帮助推销专家管理和执行商业活动的系统。经过近2 0 年的不断发展，c r a m 不断演变发展并趋向成熟，最终形成了一套完整的管理理论体系。c 砌订的目标是 获取最大利益，它通过处理客户信息数据，使企业能更好地分辨和更有效地分配 资源，从而帮助企业获得可靠的信息支持策略和商业决策，提高市场营销有效性， 在竞争中以更大的优势生存下来。 c 砌也是一种将管理理念与计算机信息技术相结合的深入应用的企业管理软 件。然而，随着数据采集和数据库存储技术的迅速发展以及数据库管理系统的广 泛应用，企业积累的数据越来越庞大。面对海量数据，如果企业不能有效地将这 些数据转化成有用的战略信息，就有可能陷入信息危机当中。因此c i t m 需要从这 些冗杂而又不断激烈增长的数据中发现并提取潜在有用的信息和知识，作为c r m 关键技术之一的数据挖掘技术( d a t am i n i n g ，简称d m ) 1 3 j 正是为了解决这样的问题 而出现的。 数据挖掘是一门边缘学科，汲取了统计学、模式识别、人工智能、机器学习、 数据库技术、神经网络和数据可视化等领域的知识，从不同角度关注和分析数据。 数据挖掘作为一种决策支持过程，对企业数据进行高度自动化地分析，做出归纳 性推理，从所观测的数据中确定模式或合理模型，预测客户的行为，使得企业能 预先掌握客户需求和动向，及时有效地留住创利客户，实现客户关系管理的目标。 数据挖掘技术在客户关系管理生命周期的各个阶段可以发挥作用：首先，数 据挖掘能够辅助基于数据库的销售，利用数据库的信息创建模型和预测客户行为， 帮助销售人员更准确地定位推销活动，提高活动的响应率，从而提高销售、交叉 销售和投资收回率；其次，数据挖掘和活动管理软件结合使用，能够活动管理软 件利用数据挖掘模型得到的结果来定位客户和潜在客户，从而提高响应率和增加 活动效果：最后，对于2 1 世纪的商业竞争者来说，善于利用数据仓库有效的数据 基于数据挖掘的c r m 的研究 管理策略和交换式的数据分析能力将使他们拥有更大的竞争力，而数据挖掘则是 交互式数据分析技术发展的巅峰，因此数据仓库与数据挖掘技术的结合使用给c r m 系统带来更大的好处。 1 2 国内外研究现状 1 c r m 研究现状 最初的c r m 在2 0 世纪9 0 年代初投入使用，到了9 0 年代后期，i n t e r a c t 技术 的迅猛发展加速了c r m 的应用和发展。现在，诸多公司、企业和学者从不同角度 对c r m 进行了研究和应用，主要体现在以下几个方面： 1 ) c i 洲应用与集成 从应用集成方面，可以将c r m 分为c r m 专项应用、c r m 整合应用和c r m 企业集成应用。在c r m 专项应用方面，呼叫中心( c a l lc e n t e r ，又称为客户服务中 心) 4 1 是典型的应用实例。呼叫中心在2 0 世纪8 0 年代迅速发展，成为c r m 的早 期应用之一。到目前为止，这些专项的研究和应用仍然具有广泛的市场，并处于 不断发展中。代表公司有a v a y a 等。c r m 整合应用指实现多渠道、多部门、多 业务的整合与协同及实现信息的同步与共享。c r m 业务的完整性和软件产品的组 件化及可扩展性是衡量c i t m 整合应用能力的关键。这方面的代表公司有s i e b e l ( 企 业级c r m ) 、p i v o t a l ( 中端c r m ) 、m y c r m ( 中小企业c r m ) 。c r a m 企业集成应用 一般用于信息化程度较高的企业，对于这类企业的c r m 与财务、e r p 、s c m ，以 及群件产品如e x c h a n g e m so u t l o o k 和l o t u sn o t e s 等集成应用很重要的。这方面 的代表公司有o r a c l e 、s a p 和用友等1 5 。 2 ) c i 洲智能化 c r m 智能化指在c r m 系统的设计中使用人工智能技术，包括数据挖掘、神 经网络、智能体以及情景抽取等，进一步提升c r m 系统的智能化水平【6 l 。 2 数据挖掘技术的研究现状 数据挖掘作为2 0 世纪末刚刚兴起的数据智能分析技术，由于其所具有的广阔 应用前景而备受关注。作为数据库与数据仓库研究与应用中的一个新兴而富有前 途的领域，数据挖掘常常又被称为数据库知识发现( k n o w l e d g ed i s c o v e r yi n d a t a b a s e ，简称k d d ) 1 3 1 。数据挖掘技术的研究现状主要体现在一下几个方面： 1 ) 基于w e b 的c r m 数据挖掘 互联网络的发展使得企业可以通过网络吸引客户，并且更广泛快速地收集客 户的详细资料，基于w e b 的c r m 数据挖掘由此发展起来。从分析和建立模型的 技术和算法角度来说，基于w e b 的数据挖掘和原来的数据挖掘差别并不是特别大， 不同之处在于网站的数据主要有两类，即客户的背景信息和来自浏览者的点击流 第一章绪论 ( c l i c k - - s t r e a m ) 1 7 1 ，和传统的数据库格式有区别。因此基于w e b 的数据挖掘所做 的主要工作是数据准备。 2 ) 基于文本表达的c r m 数据挖掘 一 文本数据挖掘无论在数据结构还是在分析处理方法方面，同传统的数据挖掘 有很大差别。例如在客户服务中心，基于文本表达的c r m 数据挖掘需要把同客户 的谈话转化为文本数据，再对这些数据进行挖掘。基于文本表达的c r m 数据挖掘 虽然是一个很好的发展方向，但是目前还未出现真正具有分析功能和智能化能力 的方法 3 ) 更具预测能力的数据挖掘模型 数据挖掘技术是以统计学的相关技术为强大背景的，这使得各种数据挖掘工 具在竞争中客观地促使预测模型将会越来越准确。现代化数据挖掘产品不像传统 的数据挖掘工具那样对取样有非常高的依赖程度，现代化产品可以利用具备延展 性、以树状模型为基础的分类方式，根据极为大量的资料将模型建立起来。有了 这些强大的工具，决策者就可以根据更大量的资料来建立起更具有预测能力的模 型。 4 ) 与关系型数据管理系统服务器之间的整合 随着数据挖掘以及预测分析技术的发展，一些特定的数据挖掘功能正在转变 成为私有技术而被整合到关系型数据库系统核心之中，成为企业大型数据库系统 的效能负担。例如d a r w i n 被整合到o r a c l e 数据库、i n t e l l i g e n tm i n e r 被整合到i b m d b 2 数据库、以及t e r a m i n e r 被整合到t e r a d a t a 关系型数据库管理系统之中。由此 可见，适用于部门或者个人等级的数据库系统预测模型也会同时崛起。 5 ) 不断进化成长的数据挖掘标准 预测模型标记语言( p r e d i c t i v em o d e lm a r k u p l a n g u a g e ，p m m l ) 1 7 1 是由各相 关厂商所组成的联合组织数据挖掘群组( t h ed a t am i n i n gg r o u p ) 1 7 】所采用的一种 用x m l 格式来描述逻辑回归分析、决策树以及神经网络等预测模型的标记语言。 目标是创造出一种可以被其它数据挖掘以及商业智能应用程序不需要重新手动建 立程序代码而直接采用的模型。并且让这些使用p p m l 来描述的模型能够安全、 实时地注入持续运行的系统之中。 1 3 本文研究目的和主要工作 虽然当前基于数据挖掘的c r m 系统的研究比较多，但是，大多侧重于理论和 算法研究。偏重局部研究，缺少较为系统全面的研究；c r m 系统应用也集中在银 行、保险和电信等大型企业，缺少针对中小企业的具体需求的研究，对于中小企 业应用基于数据挖掘的c r m 系统指导意义不大。 基于数据挖掘的c r m 的研究 为此，本文在分析了传统c r m 系统的体系结构的基础上，结合中小企业的实 际需求以及数据挖掘和数据仓库技术的特点，提出了能够满足中小企业需求的基 于数据挖掘的客户关系系统的体系结构和关键技术。深入研究了c r m 的关键技 术一一数据挖掘、数据仓库等技术，探讨数据挖掘技术在c r m 上的实际商业模式 中主要涉及的客户分类这个方面的研究和应用，深入研究数据挖掘技术对企业经 营发展的价值，详细阐述了面向c r m 系统的数据仓库的构建、并在数据挖掘子系 统中引入s p r i n t 算法作为决策树分类算法，研究了基于数据挖掘的c r m 系统中 客户分类的实现过程，最后，结合某晚报公司的项目，论述了基于数据挖掘的c r m 系统结构的设计和实施过程。下面是本文主要工作： 1 ) 通过分析中小型企业c i t m 系统需求和传统大型企业c r m 系统的特点，改进 了传统c r m 系统体系结构，在操作型数据库和数据存储层之间添加了数据接 入层，能够采集异构数据，从而使c r m 系统更适用于中小型企业。 2 ) 研究了数据仓库的构建。数据仓库是c r m 系统的基础，尤其是数据挖掘子系 统进行数据挖掘的重要基石，所以数据仓库的构建是c r m 系统设计与实施的 首要任务。对于中小型企业来说，数据仓库的构建周期不易过长，而且在满足 现阶段的使用需求同时也要充分考虑系统的扩展性。本文以企业需求为基础， 在具备基本要素的前提下，尽量简化数据仓库体系结构，缩短实施周期。 3 ) 通过研究数据挖掘技术在c r m 系统中的应用，对c r m 系统中的客户分类进 行了深入的探讨，并根据企业需求和数据特点，选择决策树作为分类算法，然 后对多种决策树分类算法的原理、适用范围等做了全面的分析，引入建树和剪 枝算法，最后将其应用在c r m 系统中，实现了客户分类模型的建立。 1 4 章节安排 本文供分为六章，其余部分的章节安排如下： 第二章：c r m 和数据挖掘。首先简要提及了c r m 的概念和内涵，然后介绍 了数据挖掘的概念和基础技术，接下来介绍了数据仓库的特点和体系结构，最后 阐述了数据挖掘和数据仓库技术与c r m 系统的结合应用的意义及c r m 系统中数 据挖掘一般步骤。 第三章：基于数据挖掘的c r m 系统体系结构的改进。在分析了传统c r m 系 统的基础上，结合中小企业的客观现状和实际需求，改进了c r m 系统体系结构， 使其适用于中小企业。 第四章：数据仓库的构建。本章结合用户的实际需求，按照数据仓库设计流 程，依次完成了数据仓库体系结构的设计，概念模型、逻辑模型、物理模型的设 计与实现的工作。 第一章绪论 第五章：数据挖掘系统中的分类算法。本章首先介绍了分类算法，然后引入 决策树分类算法作为客户分类建模算法，对该算法作了介绍和分析后，对算法中 预排序、节点分裂和属性分割等关键步骤的设计和实现进行了详细讨论。 第六章：基于数据挖掘的c r m 系统设计与实现。本章主要论述了该项目c r m 系统中运用数据挖掘技术的客户分类模型的建立过程，然后对系统体系结构和功 能模块进行了概述。 6 基于数据挖掘的c r m 的研究 第二章c r m 和数据挖掘理论 2 1c p - i i 概念和内涵 2 1 1c r m 的定义 基于不同的理解和侧重点，国内外都出现了不少关于c r a m 的概念解释，比较 流行的定义有如下几种l _ l 】： 定义l ：由g a r t n e r g r o u p 给出的定义，这个定义适用于企业经营管理者。 c r m 是企业的一项商业策略，它按照客户的分割情况有效的组织企业资源， 培养以客户为中心的经营行为以及实施以客户为中心的业务流程，并以次为手段 来提高企业的获利能力，收入以及客户满意度。 定义2 ：由m e t a 1 m tg r o u p 给出的定义，这个定义适用于营销经理。 c r m 就是让企业能够更好地了解客户的生命周期以及客户利润回报能力。 定义3 ：由d r r a v ik a l a k o t a 给出的定义，这个定义适用于销售和服务经理。 c r m 是为了消除企业在与客户交互活动时的“单干”现象，整合销售、营销 和服务业务功能的一个企业经营策略，它需要企业全方位协调一致的行动。 定义4 ：由c r mg u r u c o l n 给出的定义，这个定义适用于所有人。 c r m 是一种企业文化，它使得客户如此容易地同你的公司做生意以致于不想 找到别的卖家。 本文采用何荣勤在c r m 原理、设计、实践一书中提到的由c r mg u r u c o r n 给出对c r m 的定义：c r m 是企业在营销、销售和服务业范围内，对现实的和潜 在的客户关系以及业务伙伴关系进行多渠道管理的一系列过程和技术。这个定义 适用于c r m 系统开发人员和其他i t 技术人员。 2 1 2c r m 的分类 从体系结构角度来看，c r m 应用系统可以分为操作型( o p e r a t i o n a l ) 、分析型 ( a n a l y t i c a l ) 和协作型( c o l l a b o r a t i v e ) 三判”。操作型c r m 用于自动地集成商 业过程，包括客户接触点( c u s t o m e r t o u c h p o i n t ) 1 2 1 渠道和前后方办事处的集成。 分析型c r m 是以数据仓库为基础，运用数据挖掘、o l a p ( o n _ l i n ea n a l y t i c a l p r o c e s s i n g ，联机分析处理) i s 】、交互查询和报表等手段，了解客户的终身价值、 信用风险和购买趋向等。协作型c r m 用于合作的服务，包括电子邮件、人性化的 出版、电子社区和其它类似的交流手段，提供这些服务的应用程序方便了客户和 机构间的交互。 第二章c r m 和数据挖掘理论 7 数据挖掘工具，0 l a p ， 数据统计报告，行为预测 图2 1 分析型c r m 系统结构图 本文所研究的对象是分析型c r m ，如图2 1 所示。分析型c r m 系统的设计 主要利用数据仓库、数据挖掘等计算机技术。其主要原理是将交易操作所累积的 大量数据过虑，抽取到数据仓库，再利用数据挖掘技术建立各种行为预测模型， 最后利用图表、曲线和可视化数据挖掘技术等对企业各种关键运行指标( k e y p e r f o r m a n c ei n d i c a t o r s ，k p dl l 】以及客户市场分割情况向操作型应用发布，达到成 功决策的目的。 2 2 数据仓库 2 2 i 数据仓库的概念和特点 数据仓库【l l 技术是一门用来对海量数据进行有效的分析，深层次的挖掘，为 企业提供战略信息的技术。数据仓库之父w h i n l n o n 将数据仓库定义为：数据仓 库是用于支持管理决策过程的面向主题的、集成的、随时间而变化的、持久的( 非 易失的) 数据集合【。这个定义中清楚的表达了数据仓库的五个特征： 1 ) 决策支持：数据仓库是为管理分析人员提供决策支持服务的，明确指出了所服 务的用户群。 2 1 面向主题：不同与以往的面向应用的设计方法，而使用更有利于分析数据的面 向主题的方法。 3 ) 集成性：表明数据仓库系统是一个多种数据源中数据的集合，必然要解决统一 命名规范、存储格式、度量单位等问题。 4 ) 时变性：数据仓库中数据都是和时间相关并随时间不断增加的，通常都会使用 时间序列分析的方法。 5 1 非易失性：数据仓库中的数据一旦进入数据仓库就不再改变，因此不需要传统 数据库中类似插入、更新、删除等操作，在数据仓库中只有装载操作。 3 基于数据挖掘的c r m 的研究 2 2 2 数据仓库的体系结构 数据仓库体系结构建立在关系数据库管理系统服务器的基础上，是信息数据 的中心存储仓。在数据仓库体系结构中，操作型数据及其处理与数据仓库处理是 完全分开的。这个中心信息仓的周围有很多关键部件，它们使将源数据引入仓库 的操作型系统和最终用户查询以及分析工具都能作用、管理和访问整个环境。 从最终用户的角度来看，数据仓库表示一种数据源。可以看作是相对于客户 端一一使用前端工具的最终用户一一的信息服务器。常见的数据仓库体系结构有 两层数据仓库体系结构和多层数据仓库体系结构。分别见图2 2 ，图2 3 。 图2 2 两层数据仓库结构 图2 3 三层数据仓库结构 两层数据仓库体系结构的基础是第一代客户，服务器体系结构。两者表现出来 的特性相同。客户端系统的功能包括用户界面、查询说明、数据分析、报告格式 化、聚类和数据访问。数据仓库服务器完成数据逻辑、数据服务和文件服务以及 维护元数据。两层体系结构缺乏可扩展性和适应性。多层数据仓库体系结构解决 了这个问题，它反映了多层月务器模型。应用服务器完成数据过虑、聚类和数据 访问：支持元数据：提供多维数据视图。 第二章c r m 和数据挖掘理论 9 2 3 数据挖掘 2 3 1 数据挖掘概念 数据挖掘定义为通过挖掘数据仓库中存储的大量数据，从中发现有意义的新 的关联模式和趋势的过程。数据挖掘包含了一系列旨在从数据集中发现有用而尚 未发现的模式的技术。数据挖掘的目的是为决策建模，即根据过去活动的分析预 测将来的行为。这也是数据挖掘最吸引入的地方，即它能建立预测型而不是回顾 型的模型。 数据挖掘不专用于任何产业一一它需要智能化的技术和愿意去探索隐藏在数 据中的知识。大部分机构采用数据挖掘作以下工作：发现知识、使数据可视化、 纠正数据。数据挖掘常用的算法是：决策树、神经网络、最近邻规则和规则推导 等等。 2 3 2 数据挖掘的基础技术 数据挖掘技术主要的六大类技术为统计、最近邻技术、聚类技术、决策树、 神经元网络和规则归纳技术。其中的每一项技术几乎都常常用于c r m 系统数据挖 掘的现实世界。 数据挖掘中使用较早的技术是统计、最近邻和聚类技术。统计技术是由数据 驱动的，并用来发现模式和建造预测模型。最近邻技术是为了预测在一个记录中 的预测值是什么，在历史数据库中寻找有相似预测值的记录，并使用未分类记录 中最接近的记录值作为预测值。聚类是一种用于将记录聚集起来的方法。做聚类 常常是为了给最终用户一个在数据库中正在进行什么的高层视图。 决策树、神经元网络、规则归纳技术是近二十年发展起来的比较常用的技术。 决策树是能够被看作一棵树的预测模型，树的每个分支都是个分类问题，树叶 是带有分类的数据分割。决策树可用于勘测，数据预处理和预测等活动。神经元 网络更确切地说应称为人工神经元网络，是在计算机上运行的实现模式识别和机 器学习算法的计算机程序，通过对大量历史数据库的计算来建立预测模型。神经 元网络可用于聚类，奇异分析和特征抽取等活动。规则归纳是数据挖掘的一种主 要形式。它也是与大多数人想象的数据挖掘过程最为相似的一种数据挖掘形式， 即在大型数据库中发掘人们感兴趣的规则一些原来不知道，或不能明确表达 出来的有关数据库的信息。 1 0 基于数据挖掘的c r m 的研究 2 4c r m 系统和数据挖掘技术 2 4 1c r m 系统中的数据挖掘应用 数据挖掘作为一种海量数据的处理技术，对于c r m 系统来说是不可缺少的。 客户关系管理活动通过数据挖掘活动能够从现有的客户数据中获得更加完善和深 入的客户知识。从市场营销的角度来说，数据挖掘对c r m 的促进作用主要有以下 四个方面： 1 数据挖掘促进c r l v i 吸引新客户 在大多数的商业领域中，业务发展的主要指标中都包含新客户的获取能力。 然而企业在吸引新客户的时候也往往是缺乏客户数据的时候，这时候就需要通过 数据挖掘技术收集和分析以前的客户或者其他企业的客户信息，对客户进行个性 化的细分，提高客户对活动的响应率，帮助企业完成潜在客户的筛选工作，从而 吸引更多的客户。 2 数据挖掘帮助c r i v i 维持客户关系 市场营销专家曾经针对客户对企业利润的贡献做过调查评估，结果得到了有 名的- - - - k 定律，即企业2 0 的客户对企业利润做出了8 0 的贡献。同时还发现， 如果讲一个企业的客户流失率减少5 那么它的利润就能增加2 5 8 5 。利用 数据发掘技术就可以及时的发现易流失客户，针对客户的需求采取相应措施，以 付出最少的价值来维持与对企业很重要的那2 0 的客户的关系。 3 ，数据挖掘分析客户价值实行实行一对一营销和交叉销售 企业与客户之间是一种持续发展的双向关系。通过运用数据挖掘技术，可以 使这种关系趋于完善。数据挖掘技术可从客户的历史纪录中发现一些行为模式， 并使用这些行为模式来预测客户盈利能力的变化，帮助企业制定有效的营销策略， 采用一对一营销或者交叉销售等方法来有效维持与客户的持久关系。 4 客户欺诈风险管理 数据挖掘技术对交易纪录中无法解释的数据关系和发生欺诈行为的关联数据 进行挖掘，可以帮助企业有效预防商业欺诈行为。 2 ，4 2 数据挖掘系统的体系结构 数据挖掘系统结构可以通常分为三层，如图2 4 所示， 第二章c r m 和数据挖掘理论 图2 4 数据挖掘系统体系结构图 第一层是数据源，包括数据库和数据仓库。数据挖掘不一定要建立在数据仓 库的基础上，但如果数据挖掘与数据仓库协同工作，将大大提高数据挖掘的效率： 第二是数据挖掘工具，利用数据挖掘方法分析数据库中的数据，包括关联分析、 序列模式分析、分类分析、聚合分析等：第三层是用户界面，使获取的信息以便 于用户理解和观察的方式反映给用户，可以使用可视化工具。知识库存放专业领 域知识，用于知道数据准备或数据挖掘结果的评估。 2 4 3c r m 系统中数据挖掘步骤 c r m 的过程其实就是数据处理的过程，许多厂商都提出过自己的数据挖掘过 程模型，如s a s 的s e m m a 模型，s p s s 的5 a 模型等。在数据挖掘过程标准化的 过程中，c r i s p - d m 是已被广泛接受的一种标准。c r i s p d m 模型1 0 版【9 】是由几 家相关开发和应用行业的跨国公司集团所支持( 并由欧洲委员会部分支持) 的一 个特别兴趣小组在1 9 9 7 年7 月到1 9 9 9 年4 月间研究后提出的。由于其直接动机 是将数据挖掘技术转化为商业应用，所提出的过程模型均在d a i m l e r - b e n za g 和 o h r a 的项目中进行实际实践和验证，因此具有一定的代表性。c r i s p d m 标准 将数据挖掘过程分成六个阶段，如图2 5 所示。 1 2 基于数据挖掘的c r m 的研究 图2 5c r a m 中数据挖掘的六个步骤 1 ) 商业问题的理解 在b u s i n e s su n d e r s t a n d i n g 开始阶段专注于从商业的角度理解项目目标和需 求，然后将这种知识转换成一种数据挖掘的问题定义，在定义了要解决的问题之 后需要具体定义最终项目和数据挖掘系统的交付指标，这个过程可以是设计或者 项目文档，也可以是一个简单的演示，最后设计出达到目标的一个初步计划。 2 ) 数据理解 数据理解的目的也是为了定义数据，将数据规范化，探求数据的表达方式。 在d a t a u n d e r s t a n d i n g 数据理解阶段，当挖掘技术和工具在明确了所要解决的商业 问题属于哪一类应用问题后，先收集初步的数据，然后进行熟悉数据各种活动， 包括识别数据的质量问题、找到对数据的基本观察、或假设隐含的信息来检测出 感兴趣的数据子集，最后就可以选择合适的数据挖掘技术。 3 ) 数据预处理 d a t ap r e p a r a t i o n 数据预处理是建立模型之前数据准备的最后一步，它包含四 个主要部分：为建立模型选择变量，从原始数据中构建新的预示值、选取子集或 样本建立模型和转换变量。数据预处理分为三个阶段；访问数据、创建建模数据 集、清理数据。数据的好坏决定着模型是否能产生有力的结果。数据预处理阶段 是模型开发过程中非常重要的步骤之一。 4 ) 建立模型 在m o d e l i n g 建模阶段，可以选择和应用各种建模技术，并将其参数校正到优 化值。多数c r m 应用程序都基于一种叫做监督学习的协议，将数据分为两组，一 组用来训练或评估模型，另一组用来测试模型。当训练和测试周期完成之后，模 型也就建立起来了。由于某些技术对数据的形式有具体的要求，常常要退回到数 据准备阶段。 5 ) 模型评估 在e v a l u a t i o n 模型评估阶段，一个重要的目的是检查是否有某些重要的商业问 题还没有充分地考虑。模型评估最重要的是要选择好评价指标，目前比较可取的 第二章c r m 和数据挖掘理论 评价指标是收益或投资回报率。验证模型是处理过程中的关键一步，它可以确定 是否成功地执行了前面的步骤。验证模型有很多种方法，基本工具是收益表和收 益图。在这个阶段的结尾，应该获得使用数据挖掘结果的判定。 6 ) 扩展阶段 一般地，创建完模型并不意味着项目结束。即使模型的目的是增加数据的知 识，所获得的知识也要用一种用户可以使用的方式来组织和表示。根据要求，扩 展阶段可以简单到只生成一份报告，或复杂到实现一个可重复的数据挖掘过程。 在许多情况下，这将由客户，而不是分析员来实施。因为分析员来实施扩展将达 不到预期的扩展效果，因此在这之前，客户理解实际利用所建模型所要实施的动 作很重要。 。 数据挖掘在建立c r m 应用时是整个产品中很小的一部分，但是意义却很重 大。通过数据挖掘建立的预测模型可以和多种领域的专家知识结合在一起，构成 一个可供不同类型的用户使用的应用程序。 2 5 本章小结 本章简单介绍了c r a m 的概念和分类，并对其关键技术数据仓库和数据挖掘技 术的概念、特点及基础技术作了简要的描述，最后分析了数据挖掘技术应用在c r a m 系统中的意义和一般步骤。在此基础上将展开本文的具体工作，首先会接下来的 第三章中讨论适用于中小型企业的c r m 系统体系结构。 基于数据挖掘的c r m 的研究 第三章基于数据挖掘的o r m 系统体系结构的改进 3 1 中小企业基于数据挖掘的c r m 系统需求特点 3 1 1 中小企业应用c r m 系统的瓶颈 前几年，c r i v l 对中小企业无疑是陌生的。然而，现在情况变了。中小企业管 理信息化的向前发展、c r m 本身的魅力以及供应商三方合力，促进了c r m 在中 小企业应用时机的成熟。 1 ) 中小企业经过几年的管理信息化建设，已经基本上完成了以进销存、财务 为核心的基础管理信息化建设的工作，开始了出现了对中高端管理应用的需求， 中小企业在解决了“生存类”( 进销存、财务一体化建设) 的需求后，开始向“发展 类”应用升级，而首要的就是完成以客户信息管理和销售过程管理为核心的客户关 系管理。这是c r m 在中小企业应用的前提。 2 ) 市场的激烈竞争、产品与服务的高度同质化，使中小企业开始关注客户的 需求。尤其是那些以直销模式为主的各类销售和服务企业，如i t 业中以直销为主 的各类企业、咨询、广告、保险等行业。如何使自己所面对的最终用户在向竞争 对手转向成本越来越低的情况下，实现对自己所提供的产品和服务的多次重复消 费，是这些中小企业主必须认真考虑和应对的问题。而c r m 作为以获取客户终身 价值为目标的管理系统，无疑受到中小企业的青睐。 3 ) 从中小企业管理软件供应商的角度看，为了加速启动中小企业市场，为自 己的发展开拓更深入的空间，有实力的供应商希望在巩固低端市场的同时，向中 高端升级。 然而，基于数据挖掘的c r m 系统的应用依然主要集中在银行、保险和电信等 大型企业中，在中小企业中应用不普遍，原因是： 1 ) 现有c i l m 系统庞杂，相对于中小企业功能闲置。 当前，大型软件公司开发的基于数据挖掘的c r i v l 系统都是大而全的系统，涉 及销售、营销和服务等各个方面，功能复杂，系统庞大。这对业务系统复杂细致 的大型企业来说，这样的基于数据挖掘的c r m 系统是其必然的要求，基于数据挖 掘的c r i v l 系统能够满足其业务系统各个方面的需求。但是，对中小企业来讲，由 于其业务系统相对简单集中，目前对基于数据挖掘的c r m 体系要求也主要在销售 过程中的客户信息管理和决策支持方面，无疑会造成功能的闲置和浪费。相对于 大型企业，目前中小企业的管理信息化建设可以说还处于一个比较低的阶段，企 第二章基于数据挖掘的c r a m 系统体系结构的改进 1 5 业人员对管理信息化的认识和理解还不能说很透彻。难以使用太复杂的基于数据 挖掘的c r m 系统，这意味着要以通用软件满足个性化的需求 2 ) 实施周期长。实际情况表明，大而全的基于数据挖掘的c r m 系统的实施 是一个庞大的工程，要经过长时间调研、规划、实施和试运行，到真正完成要花 上两三年甚至更长的时间。这对成长和变化很快的中小企业来说，无疑是不可行 的。同时相对于大型企业相对稳定的业务系统，中小企业灵活的业务系统对实施 周期提出更高的要求。企业人员不能正确的应用实施势必使c r m 很难发挥其应用 的功能，相反可能带来负面的影响。事实表明，基于数据挖掘的c r m 系统的许多 失败案例都来自与没有得到企业人员的支持。 3 ) 产品价位高、管理费用高。在投资信息化建设时，资金的投入量是中小企 业用户考虑的重点。由于中小企业本身的运营资金相对不多，又加上要实现快速 发展，资金需要多方分配，因此，几十、几百万元的c r m 系统对中小企业来讲是 难以承受的。同时，由于中小企业部门集中，一般不会有单独的部门或人员来做 管理系统的维护工作的。而原有大而全的基于数据挖掘机的c r m 系统则必须有专 门人员进行维护，以确保整个系统的正常运行，这自然与中小企业的人员配制特 点产生了矛盾。 因此，对中小企业关于基于数据挖掘的c r m 系统的具体需求进行分析，采用 合理的基于数据挖掘的c r m 系统解决方案满足中小企业8 0 的实际需求。 3 1 2 中小型企业c r m 系统的需求 中小企业对基于数据挖掘的c r m 系统的需求相对比较单一，主要集中在以下 几个方面： 1 ) 支持客户价值的挖掘 激烈的市场竞争，使客户选择更多了。对中小企业来讲，在留住客户的基础 上深入挖掘是促进其发展的一个重要因素。通过客户关系网络的建立，一方面实 现客户信息在工作交叉部门问的共享，不同部门的不同人员进入系统后，可以得 到公司与客户交往的全部记录和最新信息，从而提供出让客户满意的服务，留住 客户；另一方面，通过对客户人脉关系中相关信息的记录，实现对客户价值的进 一步挖掘。 2 ) 体系结构可以应对分支机构扩展 当企业的业务扩展、分支结构增加的时候，基于数据挖掘的c r m 系统的体系 结构应该能够应对这种变化趋势，采集各分支机构的数据信息，为企业决策提供 准确的数据支持。 3 ) 销售过程量化控制 6 基于数据挖掘的c r m 的研究 对于一个客户，从初步接触到签单，可以人为的划分成几个状态，每个状态 则隐含着不同成功的可能性，不同的状态和成功可能性都由0 - 9 之间的数字表示， 从而使销售主管对销售人员的订单情况一目了然，使企业对员工的管理可以细分 落实到销售过程中的每一周。这样，一方面保证销售任务的完成，另一方面为上 级监管下级、销售过程业绩评估提供了合理的量化指标。 3 2 基于数据挖掘的c r m 系统体系结构 3 2 1 传统c r m 系统体系结构 目前传统c r m 系统通常采用的系统结构有两种：客户服务器架构 ( c l i e n t s e r v e r ，即c s ) 和浏览器服务器架构( b r o w s e r s e r v e r ，即b s ) 。这两种 结构都可以进行用样的业务处理：根据不同的需要采用相应的结构。 1 客户机服务器结构 客户机服务器结构( c l i e n t s e r v e r ，即c s 结构模式，见图3 1 ) 是在八十年 代末针对主机终端架构的不足提出的。这种结构适合局域网运行，得到广泛应用。 这个体系