（管理科学与工程专业论文）crm中基于cabosfv改进算法的客户聚类研究.pdf

c r m 中基于c a b o s f v 改进算法的客户聚类研究 摘要 n l 茬竞争激烈的商业时代，资源占有成为决定企业生死成败的关键。在客 户亨拿系方面，企业总希望建立与客户最稳固的关系，并最有效率地把这种关 系转化为利润，即留住老窖户、发展新客户并锁定利润率最高的客户，这也 就是c r m 要重点研究的问题。为了实现这个目标，企业就需要尽可能地了解 客户的行为，但这种了解不可能通过与客户接触直接获得，因为企业不可能 挨个与客户交谈，而且他们所需要的信息，单个客户往往无法提供。企业所 能做的，就是尽可能收集客户的信息，借助各种分析方法，透过无序的、表 层的信息挖出内在的知识和规律，即利用数据挖掘技术实现c r m 管理理念。 在挖出大量信息之后，企业就可以根据这些规律或用这些信息设计数学模型， 对未发生行为做出结果预测，为企业的综合经营决策、市场策划提供依据， 从而体现c r m 管理理念。 在c r m 应用系统中，采用嵌入数据挖掘系统的方式，利用数据挖掘技术 从大量的有关客户的数据中挖掘出隐含的、先前未知的、对企业决策有潜在 价值的知识和规则。本文通过对客户关系管理和聚类数据挖掘技术研究，提 出基于改进的g a b o s f v 算法的客户聚类算法，用于解决客户关系管理中，对 由大量高维稀疏数据组成的客户行为数据集进行聚类分析。 由于一个数据库或者数据仓库都有很多的维，一些分析算法在处理维数 比较少的数据集时表现不错，例如两、三维的数据；人的理解能力也可以对 两、三维数据的聚类分析结果的质量作出较好的判别，但对于高维数据就没 有那么直观了。所以对于高维数据的聚类分析是很具有挑战性的，特别是考 异度闽值的计算公式，从而改进c a b o s f v 算法；然后，在研究大数据集对象的 数据消减策略的基础上，阐述如何采用采样策略进行数据消减，并利用集合 晗尔滨工程大学博士学位论文 i l l i 上下确界的概念，完成非样本对象向基础类的匹配：其次，为进一步完善聚 类的应用，还进行了异常数据的挖掘研究，并为弥补采样策略给聚类带来的 概率缺陷，提出了孤立点对象的处理方案：最后，针对某药厂客户购买行为， 提出基于客户购买能力的稀疏特征的转换算法，重新构造了聚类过程，并以 该药厂的药品销售记录为聚类数据源，进行了聚类过程的实证检验及分析。 关键词：聚类；数据挖掘：客户关系管理；c 4 8 0 s f y 算法 c 肼中基于c a b o s f v 改进算法的客户聚类研究 a b s t r a c t i nt h ec o m m e r c i a le p o c h sw h e r et h e r ei sk e e nc o m p e t i t i o n ， p o s s e s s i n gr e s o u r c ei s f a t a lt od e c i d ee n t e r p r i s e s1 i v i n g s f o r c u s t o m e rr e l a t i o n s h i p ，e n t e r p r i s e sa l w a y sw i s ht ob u i i dt h em o s t s t e a d yr e l a t i o n s h i pa n dt r a n s f e ri ti n t op r o f i te f f e c t i v e l y i ta l s o c a nb es a i dt h a tk e e pf o r m a lc u s t o m e r s ，d e v e l o p i n gn e wc u s t o m e r sa n d l o c k i n gt h o s ev e r yi m p o r t a n tc u s t o m e r s t h i si sw h a tc r gw a n tt os t u d y m a i n l y f o rr e a l i z i n gt h i sg o a l ，e n t e r p r i s e sn e e dd ot h e i rb e s tt o k n o wc u s t o m e r sb e h a v i o r s h o w e v e r ，t h e yc a n tm e e tw i t hc u s t o m e r s o n eb yo n et og e ti n f o r m a t i o n w h a tt h e yc a nd oi st h a tt h e yd ot h e i r b e s tt oc o l l e c ti n f o r m a t i o na n dt h e nd i s c o v e rt h ei n n e rk n o w l e d g ea n d r u l e sf r o md i s o r d e r e da n ds u r f a c ei n f o r m a t i o nb yk i n d so fa n a l y s i s m e t h o d s ，w h i c ha l s oc a nb en a m e dd a t am i n g a f t e rm i n i n gm a s s i n f o r m a t i o n ，e n t e r p r i s e sc a nd e s i g nm a t h e m a t i c a lm o d e l sa c c o r d i n gt o t h e s e r u l e so ri n f o r m a t i o na n df o r e c a s tt h eu n k n o w n r e s u l t st op r o v i d e b a s i sf o rs e l l i n gd e c i s i o na n dm a r k e ts c h e m et oe x h i b i tc r m i nc r ma p p l i e ds y s t e m ，d a t am i n i n gs y s t e mi se m b e d d e di na n dd a t a m i n i n gi s u s e dt os e e k i m p l i c a t i o n s ，u n k n o w nb e f o r e a n dv a l u a b l e k n o w l e d g ea n dr u l e sb e n e f i tt oe n t e r p r i s e sd e c i s i o nf r o mm a s sd a t a r e l a t e dt oc u s t o m e r s t h i st h e m ep u tf o r w a r dt oak i n do fc u s t o m e r s c l u s t e r i n ga l g o r i t h mb a s e do ni m p r o v i n gc a b o s f va l g o r i t h mt os o l v eh o w t oc l u s t e rg l a s s h i g h d i m e n s i o ns q u a r ed a t aw h i c he x p r e s sc u s t o m e r s b e h a v i o r sa f t e rs t u d y i n gc r ma n dc l u s t e r i n gd a t am i n i n gt e c h n o l o g y t h e r ea r em a n yd i m e n s i o n si nad a t a b a s eo rd a t aw a r e h o u s e s o m e a l g o r i t h m sa r eg o o df o rd e a l i n gw i t hf e wd i m e n s i o n ss u c ha s t w o d i m e n s i o no rt h r e e d i m e n s i o nd a t a p e o p l ec a n d i s t i n g u i s ht h e q u a l i t i e so ff e w d i m e n s i o nd a t ac l u s t e r i n gr e s u l t se a s i l y ，b u tt h e r e s u l t so fm a n y d i m e n s i o na r en o ts ov i s u a l s o ，c l u s t e r i n ga n a l y s i s 哈尔滨工程大学博士学位论文 o fh i g h d i m e n s i o nd a t ai sc h a l l e n g i n g e s p e c i a l l y ，t h ed i s t r i b u t i o n o fd a t ai nh i g h d i m e n s i o ni sv e r ys q u a r ea n dn o ti r r e g u l a r t h u s ，d a t a m i n i n gt e c h n o l o g yo fc l u s t e r i n gh i g h d i m e n s i o ns q u a r e d a t ai ss t u d i e d f i r s t ，t h ea l g o r i t h mo fh i g h d i m e n s i o ns q u a r ed a t ai sm a i n l ys t u d i e d p u t t i n gu pd e f i n i t i o n o fs e t - d i f f e r e n c e d e g r e ea n dc a l c u l a t i n g f o r m u l ao ft h r e s h o l dt oi m p r o v et h ea l g o r i t h mo fc a b o s f v s e c o n d ， b e c a u s ec l u s t e r i n go b j e c t sa r eu s u a l l yi nm a s sd a t as e t d a t a r e d u c e s t r a t e g yi nm a s ss e ti ss t u d i e d h o wt ou s es a m p l et o r e d u c ed a t ai ss t a t e da n dm a t c hn o n s a m p l et ob a s i sc l u s t e r su s i n gt h e c o n c e p t i o n so fs e tu p p e ra n dl o w e rb o u n d t h i r d ，f o rp e r f e c t i n g c l u s t e r i n gu t i l i t i e sm o r e ，m i n i n ga n o m a l o u sd a t a i ss t u d i e da n d s o l u t i o no fi s o l a t e do b j e c t si sp u tf o r w a r dt om a k eu pt h e p r o b a b i l i t i e s f a u l t o f s a m p l e s c l u s t e r l a s t ，t h eb o u n d a r yo f d a t a m i n i n gt e c h n o l o g yb a s e do nc l u s t e r i n ga n a l y s i su s i n gi na n a l y t i c a lc r m a p p l i e ds y s t e mi ss t u d i e da n dt r a n s f e r r i n ga l g o r i t h m o fs q u a r ef e a t u r e b a s e do nc u s t o m e r sp u r c h a s i n ga b i l i t i e si sp u tf o r w a r d ，t h e nr e b u i i d c l u s t e r i n gp r o c e d u r e s e l l i n gm e d i c i n eo fs o m ep h a r m a c e u t i c a lf a c t o r y isu s e dt oc h e c ka n da n a l y z et h en e wp r o c e d u r e k e y w o r d s ：c l u s t e r i n g ；d a t am i n i n g ；c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ： c a b o s f va l g o r i t h m 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ： 日期：年月曰 第l 章绪论 第1 章绪论 1 1 论文写作的背景、目的及意义 1 。1 1 论文写作的背景 论文选题来源于黑龙江省高新技术重点攻关项目“中小企业c 跚系统解 决方案研究”。 随着市场经济的深入发展，企业对市场和客户的依赖已经逐步提高到关 乎企业生存高度，谁能把握住市场的脉搏，满足客户对产品的需求，谁就能 赢得市场，赢得客户，从而企业才能生存、发展、壮大。因此，必须将客户 放在提高企业竞争力的核心位置，寻找更有效的竞争策路。客户关系管理 ( c 跳) 正是在这样的形势下产生的。 c r m ，即c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ( 客户关系管理) ，源于 1 9 8 0 年代初提出的“接触管理”( c o n t a c tm a n a g e m e n t ) ，即专门收集整理客 户与公司联系的所有信息，是一种旨在改善企业与客户之间关系的管理机制。 它实施于企业的市场、销售、技术支持等与客户有关的工作部门，是一种以 客户为中心的经营策略，它以信息技术为手段，对业务功能进行重新设计， 并对工作流程进行重组，以达到留住老客户、吸引新客户的目的。c r y 作为 种管理现象早就存在，但作为种成熟的管理思想和管理技术，则是这几 年才兴起的。支持这种管理机制的c r m 软件也在短短几年问成为软件市场的 新宠，成为继e r p 之后各大企业为改善企业管理而追逐的又一个亮点。全世 界范围内的各个企业都因为c r m 而正在经历一场深刻的变革，它关系到企业 在未来怎样与客户和与潜在客户进行交流和互动。信息技术和电脑网络不仅 改变了企业的管理和运营模式，也直接影响了竞争能力。如果说e r p 软件稚 助企业优化了内部的管理流程和其他内部资源，那么c f 3 1 的出现则使企业的 外部资源主要是客户资源得以合理利用，从而成为推动企业腾飞的动力。随 着市场环境的日益成熟，竞争日趋激烈，客户资源日显重要。现代企业管理 哈尔滨工程大学博士学位论文 的重心随之从传统的生产、物流、财务等内部管理转向全面的客户关系管理， c r m 系统因而成为企业的核心管理系统之一。 正是c 跳的独创性的管理理念和管理手段，真正把“以客户为本”的观 念结合到企业的日常业务之中，期待着在多个方面改善企业的管理： ( 1 ) c r m 可以加速企业对客户的响应速度 c r m 改变了企业的运作流程，企业应用与客户多种方式直接进行交流， 大大缩短了企业对客户的响应时间，企业也可以更敏锐地捕捉到客户的需求， 从而为改进企业的业务提供了可靠的依据。 ( 2 ) c r m 可以帮助企业改善服务 c r m 向客户提供主动的客户关怀，根据销售和服务历史提供个性化的服 务，在知识库的支持下向客户提供更专业化的服务，这些都成为企业改善服 务的有力保证。 ( 3 ) c 蹦可以提高企业的工作效率 由于c r m 建立了客户与企业打交道的统一平台，客户与企业一点接触就 可以完成多项业务，因此办事效率大大提高。另一方面，由于自动化程度的 提高，使得很多重复性的工作( 如批量发传真、邮件) 都由计算机系统完成， 工作的效率和质薰都是人工无法比拟的。 ( 4 ) c r m 可以有效的降低成本 c r m 的运用使得团队销售的效率和准确率大大提高，服务质量的提高也 使得服务肘阈和工作量大大降低，这些都无形中降低了企业的运作成本。 ( 5 ) c r m 可以规范企业的管理 c r m 提供了统一的业务平台，并且通过自动化的工作流程将企业的各种 业务紧密结合起来，这样就将个人的工作纳入到企业规范的业务流程中去， 与此同时将发生的各种业务信息存储在统一的数据库中，从而避免了重复工 作，以及人员流动造成的损失。 ( 6 ) c r m 可以帮助企业深入挖掘客户的需求 c n 注意牧集各种客户信息，并将这些信患存储在统一的数据库中，同 时c r m 还提供了数据挖掘工具，可以帮助企业对客户的各种信息进行深入的 分析和挖掘，使得企业“比客户自己更了解客户”。 ( 7 ) c r m 可以为企业的决策提供科学的支持 第1 章绪论 c r m 是建立在“海量”的数据库之上的，c r m 的统计分析工具可以帮助企 业了解信息和数据背后蕴含的规律和逻辑关系。掌握了这些，企业的管理者 就可以做出科学、准确的决策，使得企业在竞争中占尽先机。 一般来说，c r m 应用系统划分为操作型、分析型和合作型三种类型。该 系统将c r m 先进的思想与最佳的实践具体化，通过使用当前多种先进的技术 手段最终帮助企业来实现改善管理的需要：企业与客户通过包括呼叫中心、 电子门户网站、电子邮件、市场活动和现场销售( 服务) 等方式与客户交流， 并将交流中的各种客户信息有序的保存在客户信息数据库之中。同时，c r m 系统提供了信息自动传递工具，适时的将服务请求传递给客户服务人员，将 销售机会传递给销售人员等等。此外，c 蹦系统还拥有数据挖掘功能，对客 户信息进行深入的分析和挖掘：帮助战略分析人员研究市场和产品战略；帮 助市场人员策划市场活动；帮助企业管理层评价销售、市场和服务业务的效 率。其体系结构如图1 1 所示。 数据源销售数据存储抉策劐蝴信息渠道 f - t 翻劾脯旷笥 i 联秭中h 一海噌理卜 联系管理 ( ： c ：= i l 活| 搬 () e i l r 1 上集市， 交臌卜工具 ， 一 呼叫中心 销售力量 lj一躲 销雠 赢f 魏蝴 客服中心 除翮 装载 仓库 i 集市 _ 1 分析 工期 l 黜l 罅广 、 一! ! ! 塑! ! i 、- e 二 l 将蝴i 1 塑! 壁l 历乱 n 撮耥 - j 和髓蓖i 、黼，一 l集市 l 一 1 圈 3 、一一 图1 1c 蹦体系结构 f i g u r e 1 1s t r u c t u r eo fc r m 3 哈尔滨工程大学博士学位论文 随着网络时代的到来，世界经济全球化已经成为一种共识，从而带动了 信息的全球化。于是，2 0 世纪9 0 年代初，出现了为科学决策提供科学、智 能信息支持的数据仓库技术。数据仓库技术的出现是数据库发展到一定阶段 的产物。数据仓库是一个用来存放大容量的只读数据的分析性数据库，它提 供了以分析为主的工具。数据仓库是面向主题的集成的、稳定的和随时间变 化的数据集合。数据仓库的核心工具是o l a p 技术和数据挖掘技术。 联机分析处理o l a p 是针对特定问题的联机数据访问和数据分析而产生 的一种技术。它能满足c r m 从多种角度对数据进行快速、一致、交互的分析， 使决策者对数据能够进行深入观察。o l a p 为用户定义的多维数据视图对数据 仓库的信息进行统计分析处理，为具有明确分析范围和分析要求的用户提供 离性能的决策支持。 数据挖掘，又称为数据库的知识发现( k d d ) ，是从大型数据痒的数据中 提供有效的、新颖的、有潜在价值的知识和规则的过程。随着数据仓库技术 的发展，大量的数据已经被集成和预处理。由于数据仓库中数据的高质量和 可用信息处理设施的存在，在数据仓库中进行复杂的数据分析成为可能。于 是基于大型数据仓库的数据挖掘技术的研究也得到了空前的重视。把数据挖 掘建立在数据仓库之上，一方面能够提高数据仓库的决策支持能力；另一方 面，由于数据仓库完成了数据的收集、变换、集成、存储和管理工作，数据 挖掘面对的是经过初步处理的数据，从而使得数据挖掘能够更加专注于知识 的发现，有利于发展数据挖掘的潜在能力。 数据挖掘的产生从企业需求方面讲，c 糊上马后，运营特性最先显露出 来，公司日常所有的营销业务都可以流程化和自动化地管理起来，随后客户 信息的日趋复杂，客户数据大量积累，仅限于营销流程的管理已经难以满足 企业进一步的需要，企业家期待c r m 扮演更重要的角色，分析大量复杂的客 户数据j 挖掘客户价值。c r m 数据应该适应多种分析的需求： 客户特征多维分析：挖掘客户个性需求，客户属性摇述要包括地址、年 龄、性别、收入、职业、教育程度等多个字段，可以进行多维的组合型分析， 并快速给出符台条件的客户名单和数量。 客户行为分析：结合客户信息对某一客户群的消费行为进行分析。针对 4 第1 苹绪论 不同的消费行为及其变化，制定个性化营销策略，并从中筛选出“黄金客 产”。 客户关注点分析：客户接触与客户服务的分析。 客户忠诚度分析：对客户持久性、牢固性及稳定性分折。 销售分析与销售预期：包括按产品、促销效果、销售渠道、销售方式等 进行的分析。同时，分析不同客户对企业效益的不同影响。分析客户行为对 企业收益的影响，使企业与客户的关系及企业利润得到最优化。 参数调整：为了提高分析结果的灵活度，扩大其适用范围，企业需要对 有关参数进行调整。例如，价格的变化对收入会有什么样的影响? 客户的消 费点临近什么值开始成为“正利润”客户2 企业需要通过对收集到的各种信 息进行整理和分析，利用科学的方法，做出各种决策。 在c 刚中，数据仓库将海量复杂的客户行为数据集中起来，建立一个整 合的、结构化的数据模型，在此基础上对数据进行标准化、抽象化、规范化 分类、分析。为企业管理层提供及时的决策信息，为企业业务部门提供有效 的反馈数据。现在，n c r 、i b m 、o r a c l e 等等厂商都在数据仓库领域有所建树， 一些预见性的模型和解决方案已经被建立起来，数据仓库已不仅仅是简单的 数据存储，而成为对客户资料进行分析，挖掘客户潜力的基石。 数据仓库、数据挖掘( d a t am i n i n g ) 、o l a p 、知识库和互联网技术的研究 和开发，使c 跳的发展跃上一个新的台阶。 1 1 2 论文写作的目的和意义 在竞争激烈的商业时代，资源占有成为决定企业生死成败的关键。在客 户关系方面，企业总希望建立与客户最稳固的关系，并最有效率地把这种关 系转化为利润，即留住老顾客、发展新颓客并锁定利润率最高的客户，这也 就是c r m 要重点研究的问题。为了实现这个目标，企业就需要尽可能地了解 客户的行为，但这种了勰不可能通过与客户接触直接获得，因为企业不可能 挨个与客户交谈，而且他们所需要的信息单个客户往往无法提供。企业所能 做的，就是尽可能收集顾客的信息，借助各种分析方法，透过无序的、表层 的信息挖出内在的知识和规律，这就当前十分流行的数据挖掘技术所研究的。 5 哈尔滨工程大学博士学位论文 在挖出大量信息之后，企业就可以根据这些规律或用这些信息设计数学模型， 对未发生行为做出结果预测，为企业的综合经营决策、市场策划提供依据。 所谓数据挖掘，是从大型数据库和数据中提供潜在价值的知识和规则的 过程。数据挖掘是目前发展极为迅速的一个研究领域，结合了数据库、数理 统计、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检 索、图像与信号处理、空间数据分析等技术，能够高度自动地分析原有的数 据，做出归纳性的推理，帮助决策者最终认识数据的真正价值。数据挖掘技 术包括很多挖掘策略，主要包括以下几种： ( 1 ) 关联分析，就是从给定的数据集中发现频繁出现的项集模式知识， 也称关联规则，广泛应用于市场营销、事务分析等应用领域。 ( 2 ) 分类与预测。分类就是找出一组能够描述数据集合典型特征的模型 ( 或函数) ，以便能够分类识别未知数据的归属或类别，即将未知事例映射到 某种离散类别之一。需要预测某数值属性的值( 连续数值) 的分类称为预测。 分类通常用于对有限离散值进行预测，预测表示对连续数值的预测，是有指 导的学习。 ( 3 ) 聚类分析。聚类是一种对具有共同趋势和模式的数据元组进行分组 的方法，聚类又称为分段，是将数据集划分成若干个不同组别的过程。聚类 分析所分析处理的数据均是无类别归属的，是无指导的学习。 ( 4 ) 异类分析。一个数据库中的数据一般不可能都符合分类预测或聚类 分析所获得的模型。那些不符合大多数数据对象所构成豹规律( 模型) 的数 据对象就被称为异类。数据中的异类可以利用数理统计方法获得，主要应用 于如各种商业欺诈行为的自动检测等小概率发生事件。 ( 5 ) 演化分析。就是对随时间变化的数据对象的变化规律和趋势进行概 念描述、对比概念描述、关联分析、分类分析、事件相关数据分析等建模手 段描述。 以上数据挖掘策略各有侧重，但由于聚类分析是无指导的学习，适于对 海量数据进行挖掘、分析以提供决策依据，在c p , y ! 系统中应用范围更为广泛。 例如，零售商想知道在他们的客户群众是否存在某种相似性，以便以此为依 据划分消费群体，并掌握各自的特点，更好地销售商品和拓展市场。零售商 将采用客户信息数据库，并在此基础上划分客户消费群体。聚类技术试图找 第l 章绪论 出数据集中的共性和差异，并将具有共性的元组聚合在相应的类或段中。因 此，本文主要研究基于聚类分析的数据挖掘技术，对c 跚系统的功能完善更 具有理论和实践意义。 尽管目前对聚类分析的挖掘策略有一定的研究，但结合c r m 系统的研究 有限，故本论文以客户关系管理应用系统中海量数据为研究对象，重点研究 高属性维空间中稀疏数据的聚类分析算法，以期寻求挖掘效率高、分析准确 合理、输出数据具有可视化特征，便于为用户正确理解的聚类分析算法，并 提出应用聚类数据挖掘技术的行业c r m 解决方案，以促进c 跚管理理念及应 用技术的发展。 1 2 国内外研究现状及发展趋势 1 2 1 数据挖掘的研究历史和现状 ( 1 ) 研究历史 从数据库中发现知识一词首先出现在1 9 8 9 年举行的第十一届国际联合 人工智能学术会议上。到目前为止，由美国人工智能协会主办的k d d 国际研 讨会已经召开了8 次，规模由原来的专题讨论发展到国际学术大会，研究重 点也逐渐从发现方法转向系统的应用，注重多种发现策略和技术的集成，以 及多种学科之间的相互渗透。1 9 9 9 年，亚太地区在北京召开的第三届p a k d d 会议收到1 5 8 篇论文，空前热烈。i e e e 的k n o w l e d g ea n dd a t ae n g i n e e r i n g 会刊率先在1 9 9 3 年出版了k d d 技术专刊。并行计算、计算机网络和信息工程 等其他领域的国际学会、学刊也把数据挖掘和知识发现列为专题和专刊讨论。 ( 2 ) 促进数据挖掘的工业界发展动态 由于计算机计算能力的提高和硬件成本的降低，数据挖掘技术的应用范 围得到大大拓展。同时，工业界的某些发展趋势也促使数据挖掘技术在更广 泛的领域得到应用。 数据仓库日益普及 与前几年相比。数据仓库如今已经被更广泛地接受。尽管数据挖掘并不 7 哈尔滨工程大学博士学位论文 一定要有数据仓库的支持，但它仍然经常被看成是数据仓库的后期市场产品， 因为那些努力创建数据仓库的人有最丰富的数据资源可供挖掘。 i n t e r n e t 数据挖掘 许多供应商将数据挖掘技术应用于电子商务，以提高i n t e r n e t 站点和客 户的关联性。i b m 已经发布了一个以w e b 为中心的数据挖掘方案s u f a i d 。 s u f a i d 跟踪传统的w e b 统计数据，通过分析它们来了解客户如何与站点交互。 i b m 采用自己的数据挖掘技术，s u f a i d 能让计算机市场人员很容易地了解用 户如何在于他们的站点交互。h i l t o n 宾馆是最早使用这种新型软件的客户之 一o e i s 工具供应商集成数据挖掘功能 e i s 和查询工具供应商试图将数据挖掘工具和传统的查询及决策支持工 具集成起来。过去，为了获得有意义的答案，查询和e i st 具要求最终用户 对有关问题作出明确的陈述，这是一种基于假设豹过程。将数据挖掘工具和 查询及e i s 工具集成起来将导致一个基于发现的过程，由此发现过程最终用 户能获得最有用的东西，进而根据这些新韵信息对有关问题进行更明确的阐 述。 1 9 9 6 年，商务项目( b u s i n e s so b j e c t s ) 公司与公司合作进行数据挖掘 工具的集成工作。商务项目公司的数据挖掘解决方案b u s i n e s sm i n e r ( 商务 挖掘器) 的目标是为主流商业用户提供数据挖掘解决方案。 注重纵向市场 数据挖掘涉及到对数据内在本质的理解，因此供应商们更注重纵向市场。 例如，h n c 转售着重予银行和保险业信用欺诈分析的f a l c o n 系列产品，该产 品在这一市场非常成功。 ( 3 ) 典型的数据挖掘工具供应商及产品 目前，世界上比较有影响的典型数据挖掘系统有：a n g o s s 国际有限公 司的k n o w l e d g e s e e k e r 、k n o w l e d g e s t u d l o ；a t t a r 软件公司的x p e r r u l e m i n e r ：商务项目公司的b u s i n e s s m i n e r ；c o g n o s 软件公司的s c e n a r i o ：i b m 公司的i n t e l l i g e n tm i n e r ：s p s s 公司的c l e m e n t i n e ；s a s 公司的e n t e r p r i s e m i n e r ：i s o f t 公司的a c 2 、a l i c e 。还有s g i 公司的s e t m i n e r 、s y b a s e 公司 的w a r e h o u s es t u d i o 、r u l e q u e s tr e s e a r c h 公司的s e e 5 、c o v e r s t o r y 、 第1 章绪论 e x p l o r a 、k n o w l e d g ed i s c o v e r yw o r k b e n c h 、d b m i n e r 、q u e s t 等等。 a n g o s s 国际有限公司 提供的产品为k n o w l e d g e s e e k e r ，它采用决策树技术进行数据挖掘，其 中使用了两种著名的算法：c h a i d 和c a r t 。该产品以图形方式表示决策树， 它能根据所有的重要关系自动形成决策树，同时允许用户在还没有的关系上 “强行定义”一个图形树。该产品易于为最终用户所理解，它通过o d b c 连接 相关的后台终端。 美国a t t a r 软件公司( x p e r r u l e ) a t t a r 是一家美国数据挖掘公司，拥有一系列数据挖掘产品。x p e r r u l e k b s 是一个开发软件包，该软件包具有用于建立知识系统的内置资源优化功 能。x p e r r u l ep r o f i l e r 是一个基于客户服务器方式的数据挖掘软件包，其 中客户端和后台终端数据库服务器是通过0 d b c 连接的。 商务项目公司 g u s i n e s s m i n e r ( 商务挖掘) 是一个集成化客户端数据挖掘解决方案，它 与该公司的查询、报表和o l a p 解决方案自成一体。该产品采用i s o f ts a 公 司的a l i c e 技术开发，a 1 i c e 技术是一种决策树数据挖掘方法。 c o g n o s 软件公司 该公司在提供查询和o l a p 工具方砸处于领先地位，正大力销售s c e n a r i o 方案。s c e n a r i o 是一种与p o w e r p l a y 和i m p r o m p t u 集成在一起的客户端数据 挖掘解决方案。这种客户端数据挖掘方案基于c l a i d ( c h i s q u r e e da u t o m a t i c i n t e r a c t i o n ) 。 i b m 公司 i b m 公司销售的i m 智能挖掘器是一套软件工具，用来提供高端数据挖掘 解决方案。i 聃采用一系列不同的算法解决不同的问题。e x p l o r e 是一种用于 聚类的神经网络实用工具；d i a m o n d 是一种可视化数据挖掘软件产品；q u e s t 则是一种链接分析的工具。 s p s s 股份公司 s p s s 在统计软件领域处于领先地位，与s a s 研究所并驾齐驱。s p s s 的产 品有s p s s 和s y s t a r 统计软件包，这些软件包采用线性回归技术，其结果和 传统的统计软件的结果是一致的。s p s s c l l m d 是基于决策树的数据挖掘软件， 9 哈尔滨工程大学博士学位论文 分析人员可以用它开发预测模型并产生易于阅读的树形图。该产品主要应用 于市场和客户部门。 s a s 研究所股份公司 s a s 公司的统计软件包s a s 和j m p 被广泛使用，这两个软件包用于进行 线性回归分析，其结果和类似的数据挖掘工具的结果是一致的，而这些挖掘 工具采用的是传统的统计方法。j m p 是面向最终用户的独立软件包：s a s 是一 种被广泛使用的可伸缩的统计软件包，能在每一种硬件平台上运行，在市场 上处于领先地位。通过其企业挖掘器软件为快速识别隐藏在数据中的模式提 供了自动化的分析解决方案，从而节省了决策者的实践并提高了r o i 。 i s o f t ( a c 2 ，a li c e ) i s o f t 是一家法国公司，已开发成功了基于决策树方法的数据挖掘软件。 a l i c e 是基于p c 机、具有图形化前端的数据挖掘解决方案。i s o f t 已与商务 项目公司( b u s i n e s so b j e c t s ) 结成了合作伙伴关系。商务项目公司将i s o f t 的软件作为一种添加模块而直接继承在他们的工具中。a c 2 可作为一个开发 环境，它提供一个c + + 库和o l e 支持。这两个产品都支持采用s q l 语言、通 过o d b c 访问关系数据库。 ( 4 ) 数据挖掘应用实例 数据挖掘技术在美国西部电信公司中的应用 美国西部电信公司( u sw e s t ) ，作为美国最大型的长途电信公司之一， 拥有2 0 0 0 万以上客户。目前该公司正使用s a s 研究所的企业挖掘器 ( e n t e r p r i s em i n e r ) 软件以进一步增强其已经获得成功的目标市场战略。 西方电信利用销售活动管理软件，连同s a s 的企业挖掘器一起，使得销售专 家可以对列入目标的销售活动进行援划、执行及评估。将数据挖掘工具与销 售活动管理软件结合在一起既消除了销售人员对全都客户数据进行评分的负 担，也减少了手工干预所造成的人为错误，其结果，公司的市场销售周期大 为缩短，而且由于能够对市场作更加细致和高度目标化的划分而使企业得到 了更加细致和高度目标化的划分而使企业得到了更离的营销投资回报( r o i ) 。 数据挖掘在贝斯出口公司的应用 贝斯出口公司是英国最大的啤酒出口商。为保持公司在英国啤酒市场中 的领先地位，公司认为仅仅依靠大量的品牌和良好的服务还不够，了解每一 l o 第1 晕绪论 位客户的购买习惯，每一个账户的赢利情况，以及公司内每一个品牌的赢利 情况都是至关莺要的。因此，该公司选择了i b m 的智能挖掘器作为其数据挖 掘的商务解决方案。 数据挖掘在路透社的应用 路透社在金融信息提供商中处于世界领先地位，它可以为许多金融领域 的应用提供在线价格数据，如外汇交易，农产品市场和股票市场等。路透社 使用的数据来自许多外部数据源，而数据差错是其面崎的主要业务问题。路 透社通过使用s p s s 公司的数据挖掘工具c l e m e n t i n e 所建立的数据挖掘模型 以提高发现数据差错的比例。路透社已将c 1 e m e n t i n e 用于实现数据质量控制 过程的自动化。建立上述模型的过程还发现了若干以往未知的数据差错。 ( 5 ) 国内现状 与国外相比，国内对数据挖掘的研究稍晚，没有形成整体力量。1 9 9 3 年 国家自然科学基金首次支持对该领域的研究项目。目前，国内的许多科研单 位和高等院校竞相开展知识发现的基础理论及其应用研究，这些单位包括清 华大学、中科院计算所、海军装备论证中心等。其中，北京系统工程研究所 对模糊方法在知识发现中的应用进行了较深入的研究；北京大学在开展对数 据立方体代数的研究，华中理工大学、复旦大学、浙江大学、中国科技大学 等单位开展了对关联规则开采算法的优化和改造；南京大学、四川联合大学 和上海交通大学等单位探讨、研究了非结构化数据的知识发现以及w e b 数据 挖掘。 国内企业关于数据挖掘技术的应用主要集中于国外软件产品的引进。国 内成功应用数据挖掘技术的典型案例就是宝钢配矿系统和铁路春运客运研 究。 宝钢在冶炼钢铁的过程中要使用多种矿石原料，且大多靠进口，这使 得配矿一直是宝镳努力研究解决的问题。因此，宝钢决定采用数据挖掘技术， 应用s a s 全套的数据挖掘和数据分析软件产品。在系统中，宝钢应用s a s 的 聚类分析技术鳃决配矿方案分类和矿石分类的问题；采用s a s 神经元网络来 探索配矿规律。建立配矿模型：应用s a s 全面的数据分析技术，对配矿方案 整体优化，寻求配矿方案中“足够优”的答案。整个配矿系统由转换和编辑、 矿石评价和分类、训练、方案预测、方案优化和回归分析等模块组成。数据 哈尔滨工程大学博士学位论文 转换和数据编辑模块用来将多种异构的数据源转换为s a s 格式；矿石评价和 分类模块用来进行聚类分析和综合评价矿石；利用训练模块训练形成各种配 矿模型，而方案预测模块根据需求调用相应的模型对新方案进行质量预测； 方案优化模块利用配矿模型产生优化的配矿方案。 如何对现有运力进行更加合理的调度、寻找春运期间影响客运量的主 要因素及制定合理对策等是铁路部门迫切需要解决的问题。1 9 9 8 年铁道部应 用s a s 数据分析预测和数据挖掘工具，对春运期间的铁路客流量进行了分析 和研究，目的是对全国铁路客运总量进行分析和预测，同时对北京、上海、 广州、南京及西安等大城市的铁路客运总量进行分别预测，挖掘春运期间影 响铁路客运总量的关键因素。通过实时地改变解释变量的组合，结果发现： 农历天的偏移量、民工返潮及一些其他关键性因素和春运期间铁路客运总量 有很大关系。这就为在预测过程中对模型进行优化，消除突发性因素对铁路 客运总量预测和分析结果的影响提供了很好支持。 ( 6 ) 业晃观点 最近，g a r t n e rg r o u p 的一次高级技术调查将数据挖掘和人工智能列为 “未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且还将 并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。 根据最近g a r t n e r 的h p c 研究表明，“随着数据捕获、传输和存储技术的快 速发展，大型系统用户将更多地需要采用新技术来挖掘市场以外的价值，采 用更为广阔的并行处理系统来创建新的商业增长点。” 1 2 2 聚类分析的研究现状 作为统计学的一个分支，聚类分析已有多年的研究历史，这些研究主要 集中在基于距离的聚类分析方面。许多统计软件，诸如：s p s s 、s - p l u s 和s a s ， 都包含k 均值、k 中心等诸多聚类分析方法。在机器学习中，聚类分析属于 一种无( 教师) 监督学习方法。与分类学习不同，无( 教师) 监督学习不依 靠事先确定的数据类别，以及标有数据类别的学习训练样本集合。正因为如 此，聚类分析又是一种通过观察学习方法( 1 e a r n i n gb yo b s e r v a t i o n ) ，而 不是事例学习( 1 e a r n i n gb ye x a m p l e ) 。 1 2 第l 蕈绪论 聚类分析的典型应用有：在商业方厦，聚类分析可以帮助市场人员发现 顾客群众所存在的不同特征的群组，并可以利用购买模式来描述这些具有不 同特征的顾客组群。在生物方面，聚类分析可以用来获取动物或植物所存在 的层次结构，或根据基因功能对其进行分类以获得对人