（计算机软件与理论专业论文）基于数据挖掘的crm系统应用研究.pdf

摘要 c r m ( c us t0 m e rr e l a t i0 ns h i l 3 m a l q a g e m e n t ：客户关系管理) 既是一种以客户为中心为核心思想的企业经营管理模式，同时也 是一种先进技术的集成系统，通过对面向客户的各个领域实现业 务的自动化，采用计算机应用技术等手段，整合业务模块，将这 种营销理念实践到企业的日常运作中，并且发挥出为企业提供决 策支持的作用，实现了一种由数据驱动的企业决策过程。数据挖 掘技术在c r m 中的有效运用可以从与客户有关的大量数据中挖掘 出对企业经营决策有价值的知识和规则。 本文主要是以基于数据挖掘技术的客户关系管理应用为研究 内容，在概述了数据挖掘技术的基本理论知识、以及客户关系管 理的理论和应用后，讨论了数据挖掘在客户关系管理上实施过程， 在基于j 2 e e 架构的软件体系结构和组件技术设计思想的基础上， 将工作流技术设计模式运用到c r m 业务流程的实现中，实现了面 向汽车行业的基于数据挖掘的c r m 软件框架，并论述了数据挖掘 运用于c r m 系统中的方法、过程，结合组件技术实践了数据挖掘 模型。通过w e b 方式重新定义企业与用户的交互模式。证实数据 挖掘在客户关系管理应用中的有效性，探索和实践数据挖掘运用 于客户关系管理的主要过程和一般分析方法，对于数据挖掘实践 研究有着重要的现实意义。 关键词：数据挖掘，c r m ( 客户关系管理) ，j 2 e e ，组件技术，工作 流，w e b a b s tr a c t c r m ( c u s t o m e r r e l a t i o n 8 h i pm a n a g e m e n t ) i sn o t o n i y a n e n t e r p r i s e m a n a g e m e n t m o d eo fc u s t o m er - c e n tr i c t b u ta i s o a n i n t e g r a t e ds y s t e m a f t eri n t e gr a t i n gt h ed e p a r t m e n to p er a t j o nm o d u j e ， t h i sm o d ei su s e dt ot h ew 0 r kr o u t i n et opr o v i d et h ed e c i s i o ns u p p or t f ore n t e r pr i s e ，b y t h eo p er a t i o nau t o m a t i o no fe v e r yd e p a r t m o n tt o c u s t o m era n dt h e c o m p u t e ri n f or m a t i o nt e c h n o l o g ys oo n t h i si s a d e c i s i o nd a t a dr i v er pr o c e s s t h ea p p i i c a t i o no fd a t am i n i n gi nc r m c a ne x tr a c tt h eu s e f u ik n o w l e d g ea n dr u i e st oe n t e r pr i s ed e c i s i o nfr o m v o i u m in o u sd a t aa b o u tt h ec u s t o m er s t h i st h e s i s a n a l y z e st h ea p p | i c a t i o no fb a s i ct h e or i e so fd a t a m i n i n g inc r m i nt h i sl h e s i s ，w ef ir s t i ysu m m a r i z et h eb a s j ct h e or i e s a n dd e v e i o p m e n ts t a t u so fd a t am i n i n gr e s o a r c h ，a n dt h e nd e s c r b et h e t h e or i e s ，m e t h o d sa n da p p | i c a t i o na b o u tc r m s e c o n d l y ，w ed i s c u s s t h ed e s i g na n dpr a c t i c em e t h o d so ft h ea p p | i c a t i o no fd a t a m i n i n g in c r m b a s e do nj 2 e es o f t w a r ear c h i t e c t ur e sa n dt h e t h i n k i n g o f m o d u l e t e c h n o i o g y ， w e a p p l y t h e d e s i g n m o d e io fw o r k i n g f i o wt o e n t e r p r i s eo p er a t i o nf i o w ， c o m p i e t et h es o f t w a r 0fr a m eo fc r mb a 8 e d o nd a t am i n i n gt oa u t o m o b i l etr a d e ，d i s c u s st h em e t h o da n dpr o c e s so f t h ea p p i i c a t i o no fb a 8 i ct h e or i e so fd a t am i n i n gi nc r m ，a n db u i i dt h e d a t a m i n i n g m o d e i b y t h em o d u i e t e c h n o l o g y w er e b u i | dt h e i n t er a c t i o nm e t h o do fe n t e r pr i s e a n dc u s t o m er b y w e b a t l a s t ， j t p r o o f st h a tt h ea p p i i c a t i o no fd a t am i n i n gjnc r mj s pr a c t j c a b i l i t y w e e x p l o r et h ec ur r e n tm e t h o d sfr o mt h epr o c o s so fa p p l i c a t i o npr a c t l c e h a sgr e a ts i g n i f i c a n c et ot h er e s e ar c ho fd a t am i n i n g k e yw o r d s ：d a t am i n j n g ，c r m ( c u s t o m er r e l a t i o n s h i pm a n a g e m e n t ) m o d u l et e c h n o l o g y ，j 2 e e ，w o r k i n gf i o w ，w e b 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：土盘!日期：应眄年月尹日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：叁：垫2 导师签名：逆! 日期： o ，年f 月群日 电子科技大学硕士学位论文 1 1 论文研究背景 第一章引言 随着市场经济的快速发展，消费者的观念也发生了质的变化， 开始从只关注产品的价格、质量、和品牌等，发展到考虑产品的无 形价值如售后服务、服务态度的好坏等方面，同时市场竞争的不断 加剧，企业的产品越来越趋向于同质化，仅仅依靠产品本身已经很难 在日趋激烈的竞争中取胜，所以愈来愈多的先进企业将重点从以产 品为中心转向以客户为中心的新型商业模式转移，对客户关系管理 进行有效的管理是势在必行，客户关系管理( c r m ：c us t o l l l e r r e l a t i o n s h i pm a n a g e m e n t ) 也就应运而生。 c r m 起源于西方的营销管理理念，其基本核心就是将企业的客 户( 包括最终客户、分销商和合作伙伴) 作为最重要的企业资源， 强调对客户价值进行管理，通过完善的客户服务和深入的客户分析 来满足客户的需求，保证实现客户的终身价值。这种新型的管理机 制，将企业从“以产品为中心”的模式向“以客户为中心”的模式 发展，通过将企业面向客户的部门：市场、销售、客户服务以及支 持等的业务流程以及涉及到内部管理的其他领域进行完美的整合， 企业可以获取客户信息，再根据客户的价值来提供优质的服务，使 得企业可以低成本，低投入来获取高利润的回报，从而在竞争中立 于不败之地。 同时，c r m 也是一种将管理理念与计算机信息技术相结合的深 入应用的企业管理软件。由于现在信息技术的快速发展，c r m 为企 业的销售、客户服务和决策支持等领域提供了一个业务自动化的解 决方案，c r m 应用系统软件针对这些面向客户的业务领域设计出各 种软件功能模块，c r m 的经营理念在企业应用中得到了具体实践。 但是，随着数据采集和数据库存储技术的迅速发展以及数据库管理 系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏 着许多重要的信息，人们希望能够对其进行更高层次的分析，以便 更好地利用这些数据。目前的数据库系统可以高效地实现数据的录 入、查询、统计等功能，但无法发现数据中存在的关系和规则，无 法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏知 电子科技大学硕士学位论文 识的手段，导致了“数据爆炸但知识贫乏”的现象。数据挖掘( d a t a m in i n g ) 技术的发展却能够帮助企业解决这些问题。 数据挖掘研究的内容就是如何从大量的、不完全的、有噪声的、 模糊的、随机的数据中，提取潜在有用的信息和知识的相关理论和技 术，是人们长期对数据库技术进行研究和开发的结果。由于超大规 模数据库的出现，例如商业数据仓库，先进的计算机技术，咀及海 量数据快速访问和精深的统计计算的能力激发了数据挖掘的开发、 应用和研究的兴趣。数据挖掘技术从一开始就是面向应用的，为解 决实际问题而产生的。 c r m 是9 0 年代西方发展起来的新型的管理策略，它在国外的 应用已经取得了极大的成功，而我国对它的认识才刚刚起步。我国 企业面临着来自国外企业强大的竞争压力，要想在竞争中立于不败 之地，就必须加快企业信息化建设的步伐，采用国外先进的管理思 想和技术手段，并结合自身的情况走出一条具有中国特色的c r m 之 路。由于数据挖掘技术在c r m 中所起的核心作用对于它的研究对我 国企业成功实施c r m 战略、提高竞争能力就有着十分重要的意义。 1 2 国内外研究现状 客户关系管理( c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ，c r m ) 源 于美国8 0 年代初期提出的“接触管理”( c o n t a c tm a n a g e m e n t ) 一 一专门收集整理客户与公司联系的所有信息。目前在c r m 中进行有 效数据挖掘的研究主要集中在几个方面：( 1 ) 通用且合理的c r m 系统 体系结构的研究。主要考虑应用对象、应用目标、企业规模等等实 际问题i ( 2 ) 数据挖掘与数据库、数据仓库的有机结合；( 3 ) c r m 中 的复杂数据挖掘模型的研究。这方面主要集中在挖掘的知识类型、 多个抽象层的交互知识挖掘算法的研究；( 4 ) 数据的研究。这方面主 要包括数据库类型的多样性问题、复杂数据类型的处理、噪声数据 和缺失数据的处理，以及异种数据库和w e b 上的数据挖掘等；( 5 ) 与用户交互的研究。这方面主要研究数据挖掘结果的可视化和可理 解性，领域知识的运用等。 数据挖掘作为一种新的商业信息处理技术可以在企业管理客户 生命周期的各阶段发挥作用，目前数据挖掘在c r m 上的实际商业模 式研究主要涉及以下几个方面： 1 、客户群体划分：即客户细分，根据客户特征和背景，分析客 电子科技大学硕士学位论文 户价值，按照分析结果对客户进行细分，设定相应的客户级别，从 而指导企业将有限的服务资源进行更有效的分配，以期望最少的投 入获得更大的回报。 2 、客户行为分析：即客户生命周期价值分析、客户流失性分析、 客户满意度分析、客户贡献分析、客户响应度分析、欺诈发现、交 叉销售等分析问题，有助于保持良好的客户关系，有效地指导销售 和促销行为，给企业带来更大的利益。 3 、市场分析：分析预测产品发展趋势、预测不同区域消费者对 不同产品的消费趋势、以及分析季节性变化、非规则变化等，来把 握市场动态的发展趋势，更好地占领市场空间。 自从c r m 出现以来，其市场有着迅猛的发展，目前，全球的众 多的国外大厂商都在积极开辟c r m 市场，由于企业和市场的复杂度 决定了c r m 产品的多样性，大多( 例如i b m 、黼解g 誊a d 钒戮s 受b a i s e 等) 都是针对特定行业提出的专业解决方案，但是方案鲜有十分适 合中国市场，或者提供中小规模的产品( 例如t u r b o c r m 和m y c r m ) ， 或者针对其原本的业务模式特点实现业务突破( 例如国内的用友和 金蝶) 。据互联网数据中心( 1 1 1 te r n e td a t ac e n t e r ，i d c ) 统计， 从2 0 0 3 年开始，c r m 市场开始有较快的增长速度，到2 0 0 9 年将突 破4 0 6 8 亿美元。从1 9 9 9 年开始，国内进入c r m 领域的企业现在已 经有6 0 0 多家，但是国内实施c r m 的成功率却很低。c r m 的发展需 要企业的认同，但只有具有较高的实施成功率，才能被企业认同。 因此，怎样才能提高企业实施c r m 的成功率是摆在这个市场的一个 很严峻的问题，本人通过对c r m 理论的研究、分析以及c r m 实施， 将从基于数据挖掘的c r m 系统的研究，对我国企业c r m 实施的方法 来进行探讨，以期为提高我国企业c r m 实施的成功率和促进我国c r m 发展作出贡献。 1 3 本论文主要的研究工作 本论文主要研究的内容是基于数据挖掘的c r m 系统应用研究。 通过对面向汽车贸易行业进行基于数据挖掘的c r m 系统的构建，探 索和实践客户关系管理系统的实施过程和一般分析方法，以及数据 挖掘模型运用在客户管理关系管理上的实践过程。全文章节安排如 下：第一章为引言，内容为论文研究的背景、意义、国内外相关研 究的现状等；第二章阐述了数据挖掘理论，包括数据挖掘的定义、 电子科技大学硕士学位论文 研究的知识类型以及挖掘的功能技术和实施数据挖掘的过程：第三 章论述了c r m ( 客户管理系统) 的核心思想、定义，c r m 的应用系统 模型以及在c r m 系统运用数据挖掘技术的相关内容：第四章介绍了 项目背景，详细叙述了需求分析过程和系统功能模块分析，采用基 于分层思想的j 2 e e 架构的软件体系结构，相关设计模式，构件以及 协作关系的技术框架，并且还介绍了设计和构建o r a c l e 数据仓库 数据库的数据挖掘存储模型过程；第五章详细论述了数据挖掘运用 于客户关系管理的主要过程和一般分析方法，结合分层思想的组件 技术和数据挖掘来实现商业智能模块，采用j 2 e e 标准下的e j b 开发 的构件对象封装挖掘业务逻辑。第六章是对全文的总结，并指出本 文的工作需进一步完善和深入研究的地方。 电子科技大学硕士学位论文 第二章数据挖掘理论概述 随着计算机、网络技术的发展，获得有关资料已经非常简单易 行。但是对于数量大、涉及面宽的数据，依靠以往那种由简单汇总、 按指定模式去分析的统计方法是无法完成这类数据的分析。因此， 一种智能化的、综合应用各种统计分析、数据库、智能语言来分析 庞大数据资料的技术就应运而生，这就是目前国际上统计最热门的 话题“数据挖掘”( d a t am jn in g ) 技术的市场需求和它的技术支持背 景。 2 1 数据挖掘的定义 2 1 1 技术上的定义 数据挖掘( d a t am i n if i g ，简称d m ) ，就是指从大量的，不完全 的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、 人们事先不知道的、但又是潜在有用的信息和知识的过程，就是利用 各种包括数据仓库在内的分析工具在海量数据中发现模型或规律等 知识并做出预测的复杂过程。由于数据挖掘是一门交叉性学科，汇集 了统计学、机器学习、数据库、模式识别、人工智能等学科的内容， 所以也有许多其他的术语名称，常常被称为知识发现( k 1 2 0 w le d g e d isc o v e r yf r o md a t a b a s e ，简称k d d ) 。 2 1 2 商业角度的定义 数据挖掘是面向应用的深层次的数据分析方法和技术，其主要 是对现有的大型的商业数据库中的业务数据进行抽取、转换、分析 和其他模型化处理，从中提取辅助商业决策的关键性数据。数据分 析本身已经有很多年的历史，只不过在过去数据收集和分析的目的 是用于科学研究，现在，由于各行业业务自动化的实现，商业领域 产生了大量的业务数据，并且计算能力的提升，分析数据为商业决 策提供有价值的信息，成为了当今商业信息处理热门技术。 2 2 数据挖掘研究的知识类型 随着d m k d ( d a t am i n in g k n o w le d g ed is c o v e r y 一一数据开 电子科技大学硕士学位论文 采和知识发现) 研究逐步走向深入，数据挖掘和知识发现的研究已 经形成了三根强大的技术支柱：数据库、人工智能和数理统计。目 前d m k d 的主要研究内容包括基础理论、发现算法、数据仓库、可视 化技术、定性定量互换模型、知识表示方法、发现知识的维护和再 利用、半结构化和非结构化数据中的知识发现以及网上数据挖掘等。 数据挖掘所发现的知识最常见的有以下四类： 1 、广义知识( g e n e r a l iz a t i o n ) 广义知识指类别特征的概括性描述知识。根据数据的微观特性 发现其表征的、带有普遍性的、较高层次概念的、中观和宏观的知 识，反映同类事物共同性质，是对数据的概括、精炼和抽象。 广义知识的发现方法和实现技术有很多，如数据立方体、面向 属性的归约等。数据立方体还有其他一些别名，如“多维数据库”、 “实现视图”、“o l a p ”等。该方法的基本思想是实现某些常用的代价 较高的聚集函数的计算，诸如计数、求和、平均、最大值等，并将 这些实现视图储存在多维数据库中。既然很多聚集函数需经常重复 计算，那么在多维数据立方体中存放预先计算好的结果将能保证快 速响应，并可灵活地提供不同角度和不同抽象层次上的数据视图。 另一种广义知识发现方法是加拿大s i m o n f r a s e r 大学提出的面向属 性的归约方法。这种方法以类s q l 语言表示数据挖掘查询，收集数 据库中的相关数据集，然后在相关数据集上应用一系列数据推广技 术进行数据推广，包括属性删除、概念树提升、属性闽值控制、计 数及其他聚集函数传播等。 2 、关联知识( a s s 0 c i a t i o n ) 它反映一个事件和其他事件之间依赖或关联的知识。如果两项 或多项属性之间存在关联，那么其中一项的属性值就可以依据其他 属性值进行预测。最为著名的关联规则发现方法是r a g r a w a l 提出 的a p r i o r i 算法。关联规则的发现可分为两步。第一步是迭代识别 所有的频繁项目集，要求频繁项目集的支持率不低于用户设定的最 低值；第二步是从频繁项目集中构造可信度不低于用户设定的最低 值的规则。识别或发现所有频繁项目集是关联规则发现算法的核心， 也是计算量最大的部分。 3 、分类和聚类知识( c l a s s i f ic a t i o n c 1 u s t e r i n g ) 它反映同类事物共同性质的特征型知识和不同事物之间的差异 电子科技大学硕士学位论文 型特征知识。最为典型的分类方法是基于决策树的分类方法。它是 从实例集中构造决策树，是一种有指导的学习方法。该方法先根据 训练子集( 又称为窗口) 形成决策树。如果该树不能对所有对象给 出正确的分类，那么选择一些例外加入到窗口中，重复该过程一真 到形成正确的决策集。最终结果是一棵树，其叶结点是类名，中间 结点是带有分枝的属性，该分枝对应该属性的某一可能值。最为典 型的决策树学习系统是i d 3 ，它采用自项向下不回溯策略，能保证 找到一个简单的树。算法c 4 5 和c 5 0 都是i d 3 的扩展，它们将分 类领域从类剐属性扩展到数值型属性。 数据分类还有统计、粗糙集( r o u g h $ e t ) 等方法。线性回归和 线性辨别分析是典型的统计模型。为降低决策树生成代价，人们还 提出了一种区间分类器。最近也有人研究使用神经网络方法在数据 库中进行分类和规则提取。 4 、预测型知识( p r e d i c t i0 1 1 ) 它根据时间序列型数据，由历史的和当前的数据去推铡未来的 数据，也可以认为是以时间为关键属性的关联知识。 目前，时间序列预测方法有经典的统计方法、神经网络和机器 学习等。1 9 6 8 年b 0 x 和j e n k i n s 提出了一套比较完善的时间序列建 模理论和分析方法，这些经典的数学方法通过建立随机模型，如自 回归模型、自回归滑动平均模型、求和自回归滑动平均模型和季节 调整模型等，进行时间序列的预测。由于大量的时间序列是非平稳 的，其特征参数和数据分布随着时间的推移而发生变化。因此，仅 仅通过对某段历史数据的训练，建立单一的神经网络预测模型，还 无法完成准确的预测任务。为此，人们提出了基于统计学和基于精 确性的再训练方法，当发现现存预测模型不再适用于当前数据时， 对模型重新训练，获得新的权重参数，建立新的模型。也有许多系 统借助并行算法的计算优势进行时间序列预测。 5 、偏差型知识( d e v i a t i0 n ) 此外，还可以发现其他类型的知识，如偏差型知识( d e v i a t i0 n ) ， 它是对差异和极端特例的描述，揭示事物偏离常规的异常现象，如 标准类外的特例，数据聚类外的离群值等。所有这些知识都可以在 不同的概念层次上被发现，并随着概念层次的提升，从微观到中观、 到宏观，以满足不同用户不同层次决策的需要。 电子科技大学硕士学位论文 2 3 数据挖掘的功能和技术 2 3 1 数据挖掘的功能 数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的 决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识， 其功能用于指定数据挖掘任务中要找的模式类型，一般可以分为两 类：描述和预测。描述性挖掘任务刻画数据库中数据的般特性， 预测性挖掘任务在当前数据上进行推断，以进行预测。数据挖掘的 功能和它们可以发现的模式类型如下： 1 、特征化和区分描述 数据可以与某类对象或概念相关联，对该类对象有关特征进行 描述。数据特征化可以汇集具有目标类数据的一般特征或特性的数 据，基本方法有：基于数据立方体的o l a p 方法和面向属性的归纳方 法( a o i ，a t t r i b u teo r ier l te di n d u c t i0 n ) ：数据区别描述是将目 标类数据的一般特性与一个或多个对比类数据的一般特性进行比 较，这种比较必须是在具有可比性的两个或多个类之间进行的。 2 、关联分析 广泛用于购物或事务数据分析，是指发现某种事物发生时其他 事物会发生的这样一种联系，也可以发现属性值对一起在给定数据 信箱集中出现的频繁程度等。 关联规则需要进行筛选，一般用“支持度”和“可信度”两个 阀值来淘汰那些无用的关联规则。“支持度”表示该规则所代表的事 例( 元组) 占全部事例( 元组) 的百分比。“可信度”表示该规则所 代表事例占满足前提条件事例的百分比。 3 、时间序列模式分析 通过时序模式搜索出重复发生概率较高的模式，其目的也是为 了挖掘数据之间的联系但其侧重于在于分析数据间的前后序列关 系，需要找出在某个最小时间内出现比率一直高于某一最小百分比 ( 阀值) 的规则，同时也会随着形式的变化作适当的调整。 时序模式中，最具有影响的方法事“相似时序”，按时间顺序查 看时间事件数据库，从中找出另一个或多个相似的时序事件。 4 、分类 电子科技大学硕士学位论文 分类是数据开采中应用的最多的任务，分类分析就是通过分析 训练数据集中的数据，为每个类别做出准确的描述，一般用规则或 决策树表示，该模式能把数据库中的元组影射到给定类别中的某个， 这种插述也分为：特征描述和辨别性描述。 特征描述是对类中对象的共同特征的描述。辨别性描述是对两 个或多个类之间的区别的描述。特征描述允许不同类中具有共同特 征，而辨别性描述对不同类不能有相同特征。 5 、聚类 聚类分析输入的是一组未分类记录，被合理地划分为一系列有 意义的记录子集合，即类，在同类别中，个体之间的距离较小，而 不同类别上的个体之间的距离偏大，即分类原则是最大化类内相似 性、最小化类间的相似性原则。聚类分析与分类分析是一个互逆的 过程，实现聚类分析的方法包括统计分析方法、机器学习方法、神 经网络方法和面向数据库方法。聚类算法的类型可分为基于划分方 法、基于层次的方法、基于密度的方法、基于网格的方法、基于模 型的方法。 在最初的分析过程中，通常会先利用聚类分析将要分析的数据 进行标定，划分类别，然后再用分类分析数据集合，挖掘出分类规 则，以获得更好的分类结果。 6 、偏差预测 偏差预测是对很多异常和极端特例进行检测和分析，揭示了事 物的异常现象。数据中的一些异常记录，与其他数据的一般描述不 一致，这些异常数据就叫做偏差，也叫孤立点。偏差存在很多潜在 的知识，检测的基本方法是寻找观察结果与参照之间的差别，观察 常常是某一个域的值或多个域值的汇总，参照是给定模型的预测、 外界提供的标准或另一个观察，具体就是统计方法、基于距离的方 法和基于偏移的方法等。 2 3 2 数据挖掘的技术 作为一门处理数据的新兴技术，数据挖掘有许多的新特征。首 先，数据挖掘面对的是海量的数据，这也是数据挖掘产生的原因。 其次，数据可能是不完全的、有噪声的、随机的，有复杂的数据结 构，维数大。最后，数据挖掘是许多学科的交叉，运用了统计学， 电子科技大学硕士学位论文 计算机，数学等学科的技术。数据挖掘的技术方法通常可以分为两 大类，一类是统计型，常有的技术是有概率分析、聚类分析和相关 性等；另一类是人工智能中的机器学习型，通过训练和学习大量的 样本集得出需要的模式或参数。各种方法都有自身的功能特点以及 应用领域。下面对数据挖掘中常用和应用最为广泛的几种技术方法 进行讨论： 1 、传统统计方法 统计分析是应用最早、也是目前最成熟和有效的一种数据挖掘 方法，方法的关键是构造合适的统计模型和数学模型来解释数据模 式，一般分为两大步骤：首先，选择数据，从数据源中抽取适当的 样本；第二，通过统计分析工具来寻找数据间的关系，并构造统计 模型和数学模型来解释数据。这种建模的过程是反复直到准确。 抽样技术：我们面对的是大量的数据，对所有的数据进行分 析是不可能的也是没有必要的，就要在理论的指导下进行合理的拙 样。 多元统计分析：因子分析，聚类分析等。 统计预测方法：回归分析，时间序列分析等。 2 、决策树 决策树分析利用树形结构来建立一系列规则，建立树状图进行 决策，主要用于分类分析和预测。首先，利用决策树算法建立决策 树，可称之为“学习”或“训练”阶段，算法寻找数据库中具有最 大信息量的属性，构造出树根，再根据属性的取值建立树的下层结 点和分支，循环下去直到所有属性都被嵌入到树结构中去为止。然 后，再根据树结构得到的决策规则对新事例进行分类，即根据属性 取值将其归入最为接近的树叶结点。最为典型的决策树算法是i d 3 ， 它采用自顶向下不回溯策略，保证找到一个简单的树结构。算法 c 4 ，5 、c 5 0 都是1 d 3 的扩展，它将分类领域从类别属性扩展到数 值型属性。除此之外，还有c a r t 、c h a i d 常用的算法等，目前出现 的两种新算法s l i q 和s p r i n t 可以通过非常大的数据集进行决策树 归纳，可以处理分类属性和连续性属性。 3 、聚类算法分析 在机器学习中，数据分类成为监督学习，而数据聚类则称为无 监督或者无教师归纳。聚类分析与分类分析不同，聚类分析就是通 电子科技大学硕士学位论文 过对象分成几个群体，在群体内部具有较高的相识性，而在不同的 群体之间，力求相识性更低。与分类不同的是，聚类分析事先不 知道每个对象的类别和特征结构，主要就是基于当前所处理的数 据，分类的原则既是采用资大化类内的相识性、最小化类间的相识 性，合理得划分记录集合，所以计算量、时间复杂度都要比分类分 析大的多。 4 、神经网络 神经网络源于自然界的神经网络，由许多神经元所组成，模拟 人类的直觉思维和神经元功能，根据生物神经元和神经网络的特点， 通过带有一定权重的“导线”连接神经元以形成并行网络。利用非 线性映射的思想和并行处理的方法，经过输入层，隐藏层，输出层 等，实现输入到输出的映射关系，对数掘进行调整，计算，最后得 到结果。神经网络可以完成用于分类、聚类、特征规则和回归等数 据挖掘功能。但其缺点在于对分析后的结果解释性差。 5 、遗传算法 基于自然进化理论，模拟基因联合、突变、选择等过程的一种 优化技术，但也是人们理解最少的一种方法。它是以模拟生物进化 过程为基础，就如同进化是产生较优的生物种类一样，遗传分析应 用定向搜索的迭代过程，先找出两个合适的父样本，通过基因组合、 交叉、变异和自然选择四种典型的带有生物遗传特点的操作产生子 样本，反复迭代操作直至4 收敛为止。遗传分丰厅常用于作预测。 6 、关联规则挖掘算法 关联规则是数据挖掘的核心技术，是由r a g r a w a l 等人首先 剔出的，关联规则就是给定一组属性和个记录集合，通过分析记 录集合，推导出属性间的相关性，是以形式为“a 1 八a 2 八a n b 1 8 2 八b n ”来描述数据之间存在关系的翘则。其作用是在数据仓 库的对象间挖掘出满足一定条件的依赖关系，并有可能描述属性间 的因果关系，一般关联算法分为三个步骤：预处理与挖掘人物有 关的数据，构成规格化后的数据集合。利用规格化后的数据集合， 得到所以满足最小支持度的大数据项集。用大数据项集产生满足 最小霪信度的关联规则，解释并输出。关联规则常被用来分析顾客 的购买模式、产品生产模式等。关于关联规则的算法很多，但绝大 部分都是由经典算法a p r io f i 改进的。a p r i o r i 是一种宽度优先算 电子科技大学硕士学位论文 法，通过对规格化后的数据集多趟扫描来发现所有的频繁项目集， 在每趟扫描中只考虑项目集中所含项目的个数。 7 、粗( r o u g h ) 集方法 该理论最初是由波兰教授z p a w l a k 在1 9 8 2 年提出来的一种新 的数据分析工具，常用于处理含糊性和不确定性的问题，发现不准 确数据或噪声数据内在的结构联系，其基本原理是基于等价类的思 想，用粗集近似的方法将信息系统中的属性值进行离散化，对属性 来划分等价类，利用等价关系来进行信息系统的简化。由于其优点 就在于不需要任何关于数据的初始的或附加的信息，因此广泛应用 于不确定、模糊的信息分类，也可以用于特征归约合相关性分析。 8 、可视化技术 采用图形方式把数据特征或趋势直观得表述出来，如直方图、 散点图等，用户也可以通过可视化界面与数据挖掘系统直接交互。 可视化技术主要包括数据、模型和过程三方面的可视化。目前已经 实现应用有许多描述统计的方法，方法的采用与具体的数据挖掘算 法有关。可视化技术面对的一个难题是高维数据的可视化。 除了上述的常用方法外，还有模糊集合方法，b a y e s i a nb e l i e f n e t o r d s ，最邻近算法( k - n e a r e s tn e i g h b o r sm e t h o d ( k n n ) ) 等。 在实际问题解决中，数据挖掘算法是最核心的问题，关键就在于算 法的选择和实现，根据实际问题就能决定选择的数据的质量和数量， 往往为了达到更好的挖掘效果，还要同时使用多种数据挖掘技术， 例如：在挖掘初期会使用聚类分析方法来预分类，简约规格化后的 数据集合，为后面采用其他的数据挖掘方法来达到更好的挖掘效果； 当在挖掘过程中，发现选择的数据不合理，或者采取的挖掘技术达 不到预期效果，就重新开始挖掘过程，因此可以说，整个挖掘过程 就是一个不断反复的过程。 电子科技大学硕士学位论文 第三章基于数据挖掘的c r m 系统应用 3 。1c r m 的概述 3 1 1 c r m 思想、系统的产生和研究意义 客户关系管理( c u s t o m e rr e l a t i 0 n s h i pm a n a g e m e n t ，c r m ) 源 于美国8 0 年代初期提出的“接触管理”( c 0 n t a c tm a n a g e m e n t ) 一 一专门收集整理客户与公司联系的所有信息。首先它是一种管理理 念，属于西方的市场营销理论。当全球经营体制和产品同化，消费 者价值观的变迁和互联网技术的发展，以及企业内部管理需求，都 促使了企业开始转变经营模式。 c r m 从产生之日起，就一直处于快速发展的趋势当中，尤其是 近几年，全球c r m 市场呈现出爆炸性的增长趋势，可以归纳为下面 几个方面的推动因素： 1 、市场竞争的不断加剧 2 0 世纪8 0 年代来不断加剧的市场竞争是c r m 快速增长的主要 动因。市场资源由于市场竞争在全球范围里被重新分配，企业必须 利用一切技术和手段来发展产品，增强自身的竞争能力，同时竞争 又导致产品趋于同质化，于是企业的竞争力从产品转向服务，良好 的客户服务成为新经济条件下的增值点。长期以来，企业依靠信息 化技术来优化内部各种流程，比如企业资源规划( e r p ) 系统以及供 应链管理( s c m ) 系统，来提高内部工作运转效率。大部分企业都实 现了这种自动化机制的时候，就不足以产生明显的竞争优势，不得 不寻求新的手段来提升竞争优势，关注客户资源成为必然的选择。 2 、消费者价值观的变迁 在工业化进程的发展迅速的阶段，人们的物质生活发生量和质 的变化，面对无尽的选择，消费者的价值观也发生质的变化，开始 从只关注产品的价格、质量、和晶牌等，发展到考虑产品的无形价 值如售后服务、服务态度的好坏等方面。客户选择产品的标准发生 变化，产品同质化，都促使了企业从“以产品为中心”的经营模式 向“以客户为中心”的经营模式转移，客户成为了企业的核心资源。 信息技术的发展和渠道的扩宽，人们对产品和服务的选择范围 电子科技大学硕士学位论文 扩大，选择的欲望和要求增强，如何把握客户的需求，如何吸引客 户，如何保留客户等等都成为了企业迫切需要解决的问题，企业需 要同客户保持良好的联系，了解客户的各种相关信息，并能根据这 些信息作出快速的反应，相应地调整自己的经营策略来合理得支配 自己的企业资源。 3 、企业自动化的要求 企业内部管理系统例如传统的e r p 主要是针对财务、生产管理、 销售等领域，s c m 主要是对供应链的管理，b p m 是针对企业绩效管 理，而对于客户相关的企业对外经营活动，比如在销售、营销和服 务方面，还没有提供有效的系统整合方案。来自企业销售、市场、 制造、库存、采购等内部部门信息不能统一而是很零散，主要都是 根据企业现行的流程所决定的，企业无法从中直观地得到客户的信 息，这就需要一个能整合多个部门对面向客户的活动和信息的前台 系统，以减少内部资源的浪费，使得企业的销售、营销和客户服务 部门获得急需的客户互动信息。 4 、信息技术的快速发展 从上世纪9 0 年代开始大型关系数据库技术、局域网技术、客户 服务技术( c s ) 、以及个人计算机在企业应用上的普及使得在促使 的在整个公司范围内建立一个基于局域网、多用户共享的前台系统 成为了可能。而近几年的互联网技术的快速发展，又推动了c r m 系 统的建设，利用互联网这种最新的渠道方式一下予缩短了企业和客 户之间的距离，使得企业和客户之间可以更便捷得交流，一个全新 的、融入了c r m 管理概念的、以客户为中心的业务模型建立起来， 集成了前台和后台业务流程的一系列应用程序来支撑起c r m 应用系 统，并逐步趋于完善，保证了更令人满意的客户体验，因而使企业 直接受益，现在以成为了企业管理应用系统的一个关注的焦点。 自1 9 9 7 年以来，全球c r m 市场一直处于爆炸式的快速发展中， 主要应用领域集中在制造、金融、电信等行业，许多新兴企业如 a m a z o n 、c is c o 已率先成为c r m 的使用者和受益者。以o r a c l e 、i b m 、 s ie b le 等为代表的i t 厂商对c r m 前景表现出坚定的信心，国内也 有创智科技、清华同方等知名软件企业正在着力开发和部署解决方 案。s a p 、s i e b e l 、p e o p le s o f t 等c r m 厂商在自己的c r m 系统中集 成b o 等专业智能系统的同时，也在陆续推出自己的智能分析工具， 作为c r m 服务的拓展。 电子科技大学硕士学位论文 3 1 2c r m 的定义 关于c r m 的概念最早是由美国的研究机构g a r t n e rg r0 u p 提出 来的，他们认为“c r m 是企业一项商业策略，按照客户的分割情况 有效地组织企业资源，培养以客户为中心的经营行为以及实施以客 户为中心的业务流程，并以此为手段来提高企业的获利能力以及客 户满意度”。目前，对于c r m 的定义，不同的研究机构和厂商都有着 不同的内容，一致以来都没有一个统一的、权威的定义，他们都是 从不同的角度来表述。例如：h u r w i t z g r o u p 认为：c r m 的焦点是 自动化并改善与销售、市场营销、客户服务和客户支持等领域的客 户关系有关的商业流程，它的目标是缩减销售周期和销售成本、增 加收入、寻找扩展业务所需的新市场和渠道以及提高客户的价值、 满意度、和忠诚度。i b m 所理解的客户关系管理则包括企业识别、 挑选、获取、发展和保持客户的整个商业过程，客户关系管理分为 三类：关系管理、流程管理和接入管理，等等。 综合不同的定义，本文认为c r m 一客户关系管理应该将客户 关系管理理念和c r m 应用系统以及c r m 应用领域这些概念加以区分， 客户关系管理实际上体现了管理理念、决策应用和信息技术三个层 面内容，应该从这三个方面去把握它的概念模型。 从营销管理理念的角度去看，c r m 首先应该是一种管理理念， 起源于西方的商场营销理论，由于市场竞争加剧得到了迅速的发展。 其基本核心就是将企业的客户( 包括最终客户、分销商和合作伙伴) 作为最重要的企业资源，强调对客户价值进行管理，通过完善的客 户服务和深入的客户分析来满足客户的需求，保证实现客户的终身 价值。这种新型的管理机制，将企业从“以产品为中心”的模式向 “以客户为中心”的模式发展，通过将企业面向客户的部门：市场、 销售、客户服务以及支持等的业务流程以及涉及到内部管理的其他 领域进行完美的整合，企业可以获取客户信息，再根据客户的价值 来提供优质的服务，使得企业可以低成本，低投入来获取高利润的 回报，从而在竞争中立于不败之地。 从决策应用的角度去看，企业的商业成功需要了解客户的特点 及需求，使用客户信息来满足客户需求的效果越好，就会获得越多 的收益，而c r m 应用系统以客户关系管理理念为目标，在实践中采 用数据挖掘技术等计算机应用和分析技术，通过对企业环境变化对 电子科技大学硕士学位论文 各种可能的因素进行分析，对大量客户信息进行分析和处理，获取 有助于企业营销决策的大量有价值的信息，建立起有利于企业发展 的各环节各阶段决策目标，使企业能及时、准确掌握客户需求及变 化趋势，有效地对客户资源进行管理，赢得更多客户，从而获得竞 争优势。 从信息技术的角度去看，c r m 是一种深入应用的企业管理软件， 根据企业的经营模式，将商业的运作流程和大型的关系数据库、从 信息技术的角度去看，c r m 也是一种管理软件和信息技术，它将商 业运作模式和关系数据库、数据仓库、数据挖掘技术、分布式处理 技术、销售自动化以及其他信息技术结合在一起，为企业的销售、 客户服务和决策支持等领域提供了一个业务自动化的解决方案，c r m 应用系统软件针对这些面向客户的业务领域设计出各种软件功能模 块，c r m 的经营理念在企业应用中得到了具体实践。使企业有了一 个基于电子商务的面对客户的前沿，从而实现由传统企业模式到以 电子商务为基础的现代企业模式的转化。 通过从三个角度去阐述和理解客户关系管理的内涵，我们可以 这样总结，客户关系管理既是蕴涵着一种迅速发展的企业经营管理 理念，也是一种以客户为中心为核心思想的新型的企业经营体制， 同时客户关系管理也是一种先进技术的集成系统，通过对面向客户 的各个领域实现业务的自动化，采用计算机应用技术等手段，整合 业务模块，将