（工商管理专业论文）数据挖掘在企业营销领域中的应用研究.pdf

a p p l i c a t i o no fd a t a m i n i n gt e c h n o l o g yi n 一 一11一一 e n t e r p r i s em a r k e t in gf i e l d 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文所 涉及的研究工作做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律责任由本人承担。 特此声明 学位论文作者签名：气女吝沫 2 0 1 0 年3 矽日 学位论文版权使用授权书 本人完全了解对外经济贸易大学关于收集、保存、使 位论文的规定，同意如下各项内容：按照学校要求提 位论文的印刷本和电子版本；学校有权保存学位论文 刷本和电子版，并采用影印、缩印、扫描、数字化或 其它手段保存论文；学校有权提供目录检索以及提供本学 位论文全文或部分的阅览服务；学校有权按照有关规定向 国家有关部门或者机构送交论文；在以不以赢利为目的的 前提下，学校可以适当复制论文的部分或全部内容用于学 术活动。保密的学位论文在解密后遵守此规定。 学位论文作者签名：嘛碲& 口矽年产月哆日 导师签名：飞b t 妙fi ) 年甲月c9 日 摘要 在当今激烈的市场竞争环境中，根据瞬息万变的市场环境制定快速响应的营销策 略，是企业在营销战略中不变的主题。如何制定高效、随需而变的营销策略，是企业在 市场中面临的一大挑战。数据挖掘技术的诞生和发展成为企业制定营销策略的有力工 具。本论文从数据挖掘技术、根据企业类型进行数据挖掘应用分析、企业营销系统的数 据挖掘实施步骤等几大方面进行研究。 论文第一章主要介绍了论文的写作背景和思路。第二章分析了目前的市场营销环 境，提出了使用数据挖掘技术支持营销分析的必要性和紧迫性。第三章对数据挖掘的概 念及其相关内容进行分析和归纳，对数据挖掘技术及外延含义有清晰的理解。第四章主 要从方法论层面研究了数据挖掘的实施过程，分析了实施过程的关键步骤，阐明实施中 是如何以围绕营销策略为目的展开的。随后的第五章通过详细的分类和研究提出数据挖 掘在企业实际环境中的应用模式，进一步阐述了数据挖掘在企业营销中的作用和价值， 希望对中国的企业在营销方面有所启示。第六章研究了一个实际案例一国内a 航空公司 的企业营销管理系统。最后第七章对数据挖掘在营销领域中的应用方式进行了归纳和总 结，同时对数据挖掘在中国企业中应用面临的问题及解决方法提出了建议。 该论文旨在研究在企业营销领域中如何充分利用数据挖掘技术，充分发挥数据挖掘 作用，希望给企业营销的应用带来更新的理念和实现手段。 关键词：数据挖掘，营销，市场 a b s t r a c t i nc m t c n tf i e r c em a r k e t c o m p e t i t i o nc i r c u m s t a n c e s ，o n eo ft h ep e r m a n e n te n t e r p r i s e s o b j e c t i v e si s t om a k eq u i c k r e s p o n s em a r k e t i n gs t r a t e g i e si nt h er a p i d l y - c h a n g i n gm a r k e t s oh o wt om a k eah i g h - e f f i c i e n ta n de a s y t o c h a n g em a r k e t i n gs t r a t e g yb e c o m e sa c h a l l e n g e o f e n t e r p r i s e t h ee m e r g e n c ea n dd e v e l o p m e n to fd a t a - m i n i n gt e c h n o l o g ym a k ei ta c h i e v a b l e t h i sr e s e a r c hf o c u so nt h es t u d yo fd a t a - m i n i n gt e c h n o l o g y , t h ea p p l i c a t i o na n a l y s i s o f d a t a 。m i n i n gb a s e do nd i f f e r e n te n t e r p r i s et y p e sa n dt h ei m p l e m e n ts t e p so fd a t a m i n i n gi n e n t e r p r i s em a r k e t i n gs y s t e m c h a p t e ro n em a k e sab r i e fi n t r o d u c t i o no ft h ep a p e r sc o n c e p ta n db a c k g r o u n d c h a p t e rt w oi n t r o d u c e st h ec u r r e n tm a r k e tc i r c u m s t a n c e sa n dp o i n t so u tt h en e c e s s i t yo f a p p l y i n gd a t a - m i n i n gt e c h n o l o g yo nm a r k e t i n ga n a l y s i s c h a p t e rt h r e ei sa no v e r v i e wo f d a t a - m i n i n gd e f i n i t i o na n dr e l a t e dc o n c e p t ，a n dt h e nt r yt om a k ead e a ru n d e r s t a n d i n go f d a t a 。m i n i n gt e c h n o l o g y c h a p t e rf o u rs t u d i e st h ei m p l e m e n tp r o c e s so fd a t a - m i n i n gb a s e d o nm e t h o d o l o g ya n da n a l y z e st h ek e ys t e p sa r o u n dt h em a r k e t i n go b j e c t i v e c h a p t e rf i v e c o m b i n e st h ea p p l i c a t i o nm o d eo f d a t a - m i n i n gt e c h n o l o g yi nr e a lm a r k e ta n dd i s c u s s e st h e a p p l i c a t i o nv a l u eo fd a t a m i n i n gt e c h n o l o g yi nm a r k e t i n gp r o c e s s c h a p t e rs i xi n t r o d u c e s c a s es t u d yo faa i r l i n ee n t e r p r i s em a r k e t i n gm a n a g e m e n ts y s t e m a n d c h a p t e rs e v e n c o n c l u d e st h ea p p l i c a t i o nt y p e so fd a t a m i n i n gt e c h n o l o g yi n m a r k e t i n gf i e l da n dg i v e s s u g g e s t i o n sf o rd o m e s t i ce n t e r p r i s e so nt h ea p p l i c a t i o nf o rd a t a - m i n i n gt e c h n o l o g y t h ep a p e ra i m sa tt h e s t u d yo fe f f i c i e n t l yu t i l i z i n gd a t a m i n i n gt e c h n o l o g ya n d p e r f o r m i n gi t sf u n c t i o ni no r d e rt om a k ei tm o r ea c h i e v a b l ea n dv a l u a b l e k e yw o r d s ：d a t a - m i n i n g ，m a r k e t i n g ，m a r k e t i i 目录 第1 章绪论1 第2 章当前企业面临的营销挑战2 2 1 市场营销的发展阶段分析2 2 1 1 第一阶段以产品为中心的4 p 理论2 2 1 2 第二阶段以顾客为中心的4 c 理论2 2 1 3 第三阶段以竞争为导向的4 r 理论3 2 2 共赢时代的营销环境变化3 2 2 1 企业与消费者关系的变化3 2 2 2 消费需求的变化3 2 2 3 消费行为空间的变化4 2 2 4 消费行为时间的变化。4 第3 章数据挖掘及相关内容概述5 3 1 数据挖掘的基本概念一5 3 1 1 数据挖掘的由来5 3 1 2 数据挖掘的含义5 3 2 数据挖掘相关外延概念6 3 2 1 数据库与数据仓库6 3 2 2 数据挖掘与统计分析7 3 2 3 商业智能7 3 3 数据挖据的主要实现方式。8 3 3 1 数据的分类和特征提取8 3 3 2 关联分析8 3 3 3 序列分析9 3 3 4 聚类分析9 3 3 5 偏差检测分析9 第4 章企业数据挖掘实施研究1 l 4 1 企业数据挖掘实施概述1 1 4 1 1 定义业务问题和范围1 2 4 1 2 选取和抽样1 2 4 1 3 探索型数据分析1 2 4 1 4 建模12 4 2a b 银行基于数据挖掘的专题营销实施案例分析1 2 4 2 1 业务背景及目标13 4 2 2 数据抽取和取样1 3 4 2 3 探索数据、业务模型分析一1 5 4 2 4 实施结论及营销策略1 6 第5 章数据挖掘在企业营销中的应用研究1 8 5 1 数据挖掘与企业信息化1 8 i l i 5 1 1 企业信息化概述1 8 5 1 2 数据挖掘与企业信息化的关系1 9 5 2 数据挖掘在企业营销中的实现种类1 9 5 2 1 市场( 客户) 特征细分2 0 5 2 2 产品的深度、广度关联。2 l 5 2 3 客户消费行为细分2 2 5 3 数据挖掘在企业营销中的应用类型2 2 5 3 1 数据来自单一业务产品( 深度营销) 2 3 5 3 2 数据来自同一企业的不同业务系统( 宽度销售跨产品交叉营销) 2 5 5 3 3 数据来自不同企业的不同业务系统( 宽度销售跨专业交义营销) 2 6 5 3 4 基于事件特征驱动销售( 精准营销) 2 6 第6 章成功案例分析2 8 6 1 项目建设背景分析2 8 6 1 1a 航空公司面临的市场挑战2 8 6 1 2a 航空公司的企业营销需求2 8 6 2a 航空公司的企业营销管理系统逻辑结构分析2 9 6 3a 航空公司的企业营销管理系统功能类型分析3 2 6 3 1 客户基础信息3 2 6 3 2 消费行为3 3 6 3 - 3 客户附加属性3 3 6 3 4 客户分群3 3 6 3 5 客户服务质量3 3 6 3 6 客户销售状况、营销活动分析3 3 6 4a 航空公司市场营销主题域实践方法分析3 4 6 4 1 常客细分3 4 6 4 2 客户利润分析3 4 6 4 3 客户服务3 5 6 4 4 事件和活动营销3 5 6 5a 航空公司企业营销管理系统的作用3 5 6 5 1 营销活动效率的提高3 6 6 5 2 渠道资源效率的提高。3 6 6 5 3 全面提升服务质量3 6 6 5 4 提升企业核心竞争力3 6 第7 章数据挖掘在企业中的应用总结及给中国企业带来的思考3 7 7 1 数据挖掘在企业营销领域中的应用总结3 7 7 1 1 客户信息整合席用3 7 7 1 2 产品整合应j j 一3 7 7 1 3 消费行为分析应用3 8 7 1 4 客户、产品、消费行为关联分析应用一3 8 7 1 5 快速的响应和变化3 8 7 2 数据挖掘在中国企业中的应用建议3 9 7 2 1 企业管理层面建议3 9 i v v 4 0 4 1 z i ：! 4 3 4 5 第l 章绪论 我们j 下处在一个信息技术高速发展的时代，摩尔定律一再验证了科技发展的速度。 这样的一个背景下，企业的信息化得以在自动化的发展、互联网的出现、数据计算、存 储能力的提高而快步发展起来。信息化对企业的发展发挥着越来越重要的作用，以前我 们总是感叹得不到信息，是因为我们掌握的数据太少，而现在人们又感叹已经淹没在数 据的海洋中。 企业经常面临的困境就是缺乏足够的信息来支持有效的营销决策。企业经理人经常 面临着这样的难题：在社会的高速发展和市场的干变万化中如何能准确的把握目标市场 并及时准确地做出科学有效的营销策略。其实他们往往忽略了答案可能就在企业多年积 累的数据中，这些数据还在企业的存储设备中沉睡。 从二十世纪九十年代初期开始，企业开始了信息化的发展进程。这个进程从信息行 业的电信业开始迅速发展，随后银行、保险、证券、传统制造业、能源业等都加快了信 息化的脚步。从生产作业自动化、信息化到经营管理信息化的发展进程中，中国企业虽 然起步较晚，但是发展速度却较快。随着我国加入了世贸组织，传统行业不得不面临国 际市场的竞争压力，企业如何在激烈的竞争环境中生存，是一个永久的话题。企业的经 营和发展不仅仅要依靠现代的经济、市场理论，更应该充分发挥信息化对企业决策的作 用。不应该简单的把信息化视为公司生产经营的辅助手段，现代化企业的信息系统甚至 可以充当企业的隐形“c e o ”，对公司决策、市场营销发挥更积极的作用。 信息化时代的企业发展是一个非常广泛而深刻的主题，我在这篇论文中想就其中一 个分支来进行分析和研究数据挖掘在企业营销领域中的应用。通过这个专项的研究也 希望能对信息技术如何促进企业经营管理这个大的课题有所启示。 本文并没有着重分析数据挖掘的理论和技术，重点还是在于研究数据挖掘产生的思 路，以及这项新技术对传统企业营销手段带来思想上的变革。面对竞争日益激烈的市场 环境，企业的营销手段必须从传统的粗放型向精细型、高价值型转换，而这个过程中数 据挖掘技术是一个非常好的支撑手段。数据挖掘的兴起和发展所带来的营销观念上的变 革对企业的借鉴意义远远要大于技术本身为企业所创造的价值。为了适应残酷的市场竞 争环境，企业营销观念必须变革，但是应该如何变革，希望通过本篇论文的分析和研究 带来更多的启示。 第2 章当前企业面临的营销挑战 随着中国加入w t o 的不断深入，在全球经济一体化的大背景下，中国的企业不可 避免的面临着世界范围的市场竞争环境。随着2 0 0 8 年底波及世界的金融危机的到来， 世界经济进入了前所未有的寒冬。在宏观调控、拉动需求的一系列的措施下，经济已经 开始复苏，从复苏到发展的这个历程中必然要经历更加残酷的市场竞争，中国的企业要 抓紧机遇尽快做好以市场需求为导向的战略转型，这个目标的指导下企业的营销策略同 样面临着严峻的挑战。 2 1 市场营销理论的发展阶段分析 随着社会的进步和科技的高速发展，市场环境日新月异，人们的生活方式以及消费 心理都发生了巨大的变化。消费者的购买习惯和方式也发生了巨大的变化，消费者的消 费行为变得更加成熟和理性。消费环境和行为的转变使得优秀的企业无法再停留于仅仅 对自身产品的关注，他们的营销战略已经从以产品为导向转变到客户为中心导向。市场 营销理论在这个转变的过程中也经历了4 p 到4 c 再到4 r 的转变过程，营销理论在不断 的研究市场的快速变化情况，旨在从理论上指导企业营销策略的转变。 2 1 1 第一阶段以产品为中心的4 p 理论 4 p 理论最早由麦卡锡( m c c a r t h y ) 提出，主要是指p r o d u c t 产品、p r i c e 价格、p l a c e 地点和p r o m o t i o n 推广1 。该理论产生于由企业处于市场主导地位的2 0 世纪6 0 年代，此 时企业将更多的精力投入到自身产能的开发上。4 p 理论后来由菲利普科特勒进行了延 伸，但仍旧停留在以产品为中心的营销理念。随着产品日趋同质化，这种理论已经使企 业无法适应变幻的市场环境。 2 1 2 第二阶段以顾客为中心的4 c 理论 2 0 世纪末期，由于科技的进步，竞争的加剧，消费者掌握了更多主动权，以客户为 中心的4 c 理论也应运而生。劳朋特( r o b e r tl a u t e r b o r e ) 的4 c 理论主要包括：c o n s u m e r n e e d sa n dw a n t s 顾客需要和欲望，c o s tt ot h ec o n s u m e r 顾客的成本，c o n v e n i e n t 便利性， c o m m u n i c a t i o n 沟通2 。它强调面向顾客来定制产品和服务，与顾客进行沟通，并根据顾 客可以承担的成本进行产品定价，并在整个交易过程为顾客提供更多的空间以及时间上 的便利。然而4 c 理论忽视了市场中的竞争因素，同时因为过多强调满足消费者需求而 1 菲利普科特勒( p h i l i pk o t l e r ) ，凯文莱恩凯勒( k e v i nl a n ek e l l e r ) ，卢泰宏( t a i h o n gl u ) 著，卢泰 宏高辉译，臂销管理( 中困版) ，中困人民人学出版社，2 0 0 9 年4 月第1 3 版，p 1 3 2 吴涛主编，市场营销管理，中国发腱i b 版社，2 0 0 5 年2 月第1 版，p i 6 2 处于十分被动的地位。 2 1 3 第三阶段以竞争为导向的4 r 理论 至2 1 世纪初，舒尔茨( d o n e s c h l t z ) 又提出了以提高顾客忠诚度和占有率为主 旨的4 r 理论，即r e l e v a n c e 关联性、r e a c t i o n 回应、r e l a t i o n s h i p 关系和r e t r i b u t i o n 回 报3 。4 r 理论的重点在于与顾客建立稳定的关系，减少顾客的流失，以快速的反应抓住 市场机会，以顾客的满意为出发点实现企业的盈利目标。4 r 理论使企业关注与顾客的 互动性，并与之建立了学习型关系，使企业赢得了竞争优势。 通过以上营销理论的发展可以看出，目前的营销趋势实际上是经历了一个被动接触 用户到主动接触用户，最后达到和用户互动的一个过程。这个过程对企业的营销战略提 出了很大的挑战，就是如何发现客户，精准的找到客户特征来进行互动策略的策划和执 行。i t 技术的应用是企业制定精准营销策略的非常有效的手段。随着近几年数据挖掘技 术的新兴和发展，基于数据挖掘技术的市场营销分析系统开始发挥了越来越重要的作 用。 2 2 共赢时代的营销环境变化 普拉哈拉德( p r a h a l d ) 和拉马斯瓦米( r a m a s w a m y ) 提出，2 l 世纪的营销管理进入 共赢营销时代，企业需要充分利用每一次与顾客互动的机会，并使顾客在购买前积极参 与到价值的共同创造过程中来4 。 2 2 1 企业与消费者关系的变化 传统的营销环境中，企业单方向地去发现并努力满足消费者的需求，使企业处于被 动地位。借助信息技术，建立商业智能系统去辅助企业发现客户的潜在需求，同时通过 i t 技术可以建立更有效和直接的与消费者沟通互动的渠道，以及时响应消费者的需求变 化，并逐渐提高客户的忠诚度。 2 2 2 消费需求的变化 当今的消费者更加强调个性化，以同一种产品去满足所有消费者的营销模式已经无 法达到预期效果。企业必须建立与消费者沟通的渠道，并根据不同消费者的需求来定制 产品和服务，才能够赢得更多的顾客。这个客户特征细分的过程正是数据挖掘技术的优 势所在，i t 系统可以为企业提供更准确的分析支持。 3 沈磊，营销组l 合理论的演进分析，伞国商情经济理论研究，2 0 0 5 年第l 期，p p 3 8 - 4 0 4 菲利普科特勒( p h i l i pk o t l e r ) ，凯文莱恩凯勒( k e v i nl a n ek e l l e r ) ， 卢泰宏( t a i h o n gl u ) 著，卢泰 宏i 岛辉译，僻销管理( 中圈版) ，中围人民人学h j 版社，2 0 0 9 年4 月第1 3 版，p 5 6 4 3 2 2 3 消费行为空间的变化 互联网的广泛应用，使交易行为的发生地不再局限于传统的实体店铺中。消费者开 始热衷于使用网络来挑选商品并达成交易。这为消费者节省了时间和空问，同时也对传 统的实体销售带来了极大挑战，企业需要以消费者能够接受的成本进行产品的研发、采 购和生产，以实现成本的领先，同时也要创建多渠道的产品提供方式。电子商务网站的 兴起是非常明显的代表，在b 2 b 、b 2 c 的网络接触模式下，如何展开营销策略，也是一 个新的课题，这些都要依靠信息手段来更好的实现。 2 2 4 消费行为时间的变化 市场竞争的加剧，丰富的信息传播手段和惊人的传播速度，要求企业必须以更短的 时间识别顾客的需求，做出快速的反应，销售策略需要做到因需而动。 综上所述，在信息时代的市场营销环境的种种变化下，优秀的企业都离不开信息系 统的支撑和保障，数据挖掘和分析系统针对企业市场营销策略的支撑和保障发挥了至关 重要的作用。 4 j 下的开始在i t 界流传开来6 。 3 1 2 数据挖掘的含义 数据挖掘作为一门新兴的技术，在国际上一直没有一个标准的定义，但是各种定义 的本质是基本一致的。一般意义上，知识( k n o w l e d g e ) 是人类在实践中认识世界所得到的 信息、技艺、诀窍、真理、原则等及其集合7 。数据挖掘简单说就是从数据中挖据出知 识，它是从人工智能的机器学习中发展起来的。而这里所谓的知识的定义就是人们希望 能从海量数据中得到的有价值的信息。d a v i dh a n d 在数据挖掘原理中这样定义：数 据挖掘就是对观测到的数据集( 经常是很庞大的) 进行分析，目的是发现未知的关系和 以数据拥有者可以理解并对其有价值的新颖方式来总结数据8 。这个定义强调了是数据 挖掘是为了发现未知的关系，是为了区别传统的统计分析。 上述是广义的数据挖掘的定义。从企业应用层面来看，目前的企业都面临着一个问 题：在企业信息化经过一个建设周期后，企业的原始数据积累已经非常大，而能直接从 其中得到真正有价值的信息又非常有限。如何对这些数据进行分析，从而获得有利于企 业经营发展，提高行业竞争力的信息。因此数据挖掘针对企业营销来讲，就是从日常生 产经营中积累的大量的客户属性信息、消费信息、行为信息中分析出其消费行为的特征， 5 赵丹群，数据挖掘：原理、方法及j 应用，现代图书情报技术，2 0 0 0 年第6 期，p 4 1 6 李箐菁，邰培幕，黄亦潇，数据挖掘靠；中困的现状和发展研究，管理t 程学报，2 0 0 4 年第3 期，p 1 0 。李醒民，知识、常识和科学知识，北方论从，2 0 0 8 年第1 期，p 1 2 3 8d a v i dh a n d ，h e i k k i m a n n i l a ，p a d h r a i cs m y t h 著，张银李，廖婀，宋俊译，数据挖掘原理，机械- 丁业 f ；版社，2 0 0 4 年4 j 版，p 1 2 5 从而来指导企业的营销策略的一种营销手段。 上面提到的是数据挖掘的基本理念，而要为了实现挖掘未知知识的这个目标，还要 依赖更多形式的数据挖掘技术，数据挖掘技术是一个交叉学科领域，受多个学科影响， 包括数据库系统、统计学、机器学习、可视化和信息科学。此外，依赖于所用的数据挖 掘方法，可以使用其他学科的技术，如神经网络、模糊和或粗糙集合论、知识表示、归 纳逻辑程序设计或高性能计算9 。 3 2 数据挖掘相关外延概念 在谈到数据挖掘时，就不得不提到数据库和数据仓库的概念。数据库和数据仓库是 数据的载体，载体的技术差异也直接影响统计分析及数据挖掘的实现方式和挖掘效果。 另外一方面，数据挖掘的概念通常会被人们与传统的统计分析混为一谈，实际二者从设 计理念和本质上还是有较大区别的，但在学科技术上也有相通之处。下面分别针对这几 个概念进行简单的阐述，以便达到对数据挖掘更好的理解。 3 2 1 数据库与数据仓库 信贷业务等分别由单独独立的数据库来支撑其业务开展。这样的孤立系统无法给银行提 供一个客户的全景信息，因此产生了数据仓库的概念。数据仓库实际是多维数据库，经 过多渠道数据的汇总、加工处理，数据仓库中存储了多客户的多个业务信息，这为数据 挖掘的应用提供了可能性1 2 。数据仓库的数据处理结果可以提供给挖掘系统进行客户信 息的多维分析，从而做出科学有效的营销策略。 数据库主要是为事务处理设计的，主要存储的是短期的生产经营数据，以满足生产 经营为主要目的，快速操作和响应是其主要要求，面向的使用对象是一线的生产操作人 员；数据仓库主要是为多业务决策分析进行设计的，存储数据为多业务长期生产数据的 集合( 经过加工处理，并不是简单的数据堆叠) ，充分利用数据挖掘技术，从数据中找 出规律及关系用以指导企业经营。决策分析、财务分析、市场分析等是建设数据仓库的 主要目标，其分析结果通常以日、周、月为单位，往往不要求实时处理。使用对象主要 是生产经营的决策者，部门的管理者，以及营销的相关人员。 3 2 2 数据挖掘与统计分析 传统的数据分析主要是针对数据库的数据进行数值计算的定量分析，虽然结果是未 知的，但是数据结果揭示的规律方式是事先设定好的，其主要目的是得到相关指标具体 数值，主要反映的信息为最大值、最小值、平均值、总和等，体现在报表中多是报表指 标的汇总、下钻等多颗粒度指标的反映。 数据挖掘区别于统计分析的最本质的地方就是数据挖掘在没有明确的假设的前提 下去挖掘信息并发现知识。数据挖掘所得到的知识具备三个特征：事先未知、有效、可 用b 。在数据的海洋中，如何能找到意想不到的答案，这才是数据挖掘价值所在。 统计分析和数据挖掘又不是完全割裂的，应该说是互为补充的关系。数据挖掘应用 的技术在很多方面与统计分析类似，例如统计学中的聚类分析和判别分析与数据挖掘中 的聚类和分类类似。但是采用的标准不一样1 4 。 3 2 3 商业智能 商业智能( b u s i n e s si n t e l l i g e n c e ，b i ) 这一术语是由美调查公司g a r t n e r 公司的分析 师的h o w a r dd r e s n e r 先生于1 9 8 9 年提出的概念1 5 ，通过基于数据的支持系统来辅助商 业决策的制定。商业智能在广义上讲就是对企业业务系统等积蓄的企业内庞大的生产经 营的原始数据进行加工分析，通过数据挖掘技术等手段，以企业经营分析目标为导向， 用以支持经营计划和销售策略的一整套系统工程。 坦l ：水峰，陆东儒，数据仓库j 数据挖掘的研究，科技信息( 学术版) ，2 0 0 8 年第2 2 期，p p l 8 9 1 9 0 1 3 l ：彦龙编善，企业数据仓库( e d w ) 原理、设计j 实践，电子丁业f | ；版社，2 0 0 6 年9 第l 版，p 2 5 0 4 陈义伟编酱，数据仓库j 数据挖掘教程，清华人学版社，2 0 0 6 年8 ，j 第l 版，p l o 1 5 许建，罗水强，商业智能系统建设的若十问题探讨，计算机系统心用，2 0 0 8 年第8 期，p p l1 8 1 2 3 7 可以说数据仓库、联机分析处理( o l a p ) 、数据挖掘这几个要素共同组成了商业 智能体系，数据仓库技术充分满足了数据存贮的需求以及对数据大运算量处理的保证， 联机分析处理( o l a p ) 技术实现了数据的多维度、多颗粒度的汇总、下钻、切片等分 析手段，而数据挖掘为企业提供发现知识方法。 3 3 数据挖据的主要实现方式 3 。3 1 数据的分类和特征提取 针对原始数据通过不同的维度分类及特征提取，为数据挖据目标提供数据支持。 通过特征化数据提取和分类数据的发现对企业营销决策提供支持。 实例说明：某商业银行对本市网点的业务量进行分类和特征提取，根据分类分别对 校园网点、繁华网点、社区网点、商厦网点、普通网点进行金融业务量分析，发现校园 网点和繁华网点的平均网点余额远高于普通网点，因此可以分析出该商业银行的主要价 值客户的特征，同时商厦网点的户均余额非常高，但是平均每一网点的账户数偏低，这 说明商厦网点依然还有较大发展潜力。可以指导银行的金融产品的营销策略： 不同网点的客户对于产品的需求不同，营销时需要区别对待：1 、商厦网点的客户 倾向于流动性更强的产品2 、社区网点的客户倾向于收益率更高的产品。 业也表 很高，从而指导货架的摆放策略，最后达到啤酒和尿布的高销售率。这个案例被视为数 据挖掘的经典案例一再被1 1 r 界传颂。其经典就在于这个关联关系的发现充分的说明关 联结果并不是人们可以预期的，而真正出乎经营者意料的关联关系才是最有价值的信 息。 3 3 3 序列分析 序列分析主要是建立事件之间在时间轴上的某些高概率联系，从而根据客户当前的 行为来预测客户下一阶段的高概率行为，从而来指导营销的策略。 序列分析的对数据要求较高，其难度主要在需要跨业务系统对用户进行整合才能得 出序列分析的有效结论。跨业务系统，跨产品，跨专业的数据分析，对客户信息的一致 性要求很高，不然基础数据很难支撑序列分析模型。 实例说明：对金融行业将储蓄系统和证券交易系统数据进行整合，会发现某类账户 的行为序列规律，如在近期对其储蓄账户存款后，在一周内会划拨其证券交易系统中操 作。这样银行就可以根据序列分析结果在这类用户即将购买金融产品的黄金时间内进行 证券类产品营销，从而大大提高产品的销售成功率。 3 3 4 聚类分析 某些情况下，定义数据分析参数的难度很大甚至是不可能的。当参数不可确定时， 可以使用聚类方法将数据按照某些度量标准划分为不同的组( 组中数据对该度量标准是 类似的) 1 7 0 可以根据内部最大相似性和最小相似性纬度进行分组，而分组的本身就是 规律和知识的发现过程，通过聚类的结果来影射出业务层规律来指导经营决策。 实例说明：例如信用卡业务，商业银行可以根据注销信用卡作为聚类特征，对这类 特定人群进行分析，从而找出共性规律，用以指导信用卡发卡策略。 3 3 5 偏差检测分析 根据时问段数据分析同常生产规律，对数据库中的一些异常记录的实时、有效的偏 差分析。可以应用在对生产数据实时监控，根据偏差类型进行预先判断原因并及时预警， 以达到提高经营效率的一类分析方式。 麦瑞卡斯( m a r a k a s ，g m ) 著，敖富江译，数据仓库、挖掘和可视化核心概念，清华大学h 版社，2 0 0 4 年1 0 月 第1 版，p 7 8 9 实例说明：沃尔玛在全球拥有3 个大型数据中心，全球店面的销售详细信息在一小 时内就可以更新到数据仓库内，数据仓库根据数据挖掘规则可以实时进行偏差检控，用 以指导销售。其中有一个真实的例子能很好说明偏差检测分析的作用，在沃尔玛美国的 一个卖场一般情况下到中午1 2 点，可乐的销售会达到5 0 0 瓶以上。而某一天中午数据 仓库统计分析数据发现可乐销售数量非常低，数据仓库分析后将结果反馈给卖场生产系 统，并提出可能情况预测：l 、货架断货2 、可乐出现爆瓶，污损货架区等。现场工作 人员去现场勘察，果然发现可乐爆瓶引起货架污损从而导致了销售量减少。这是一个数 据挖掘和生产操作实时结合的一个典型案例，偏差检测对企业的一线生产有很好的预警 提示作用。 1 0 第4 章企业数据挖掘实施研究 4 1 企业数据挖掘实施概述 企业数据挖掘的实施，首先要依赖于企业原始积累的一线生产数据，分析挖掘的源 数据是根本，其数据质量的好坏、描述行为的数据纬度完整性对数据挖掘的效果都有非 常大的影响。一个企业要实施成功的数据挖掘战略，需要一套完整的闭环机制，从企业 组织机构到信息系统的配合，从数据管理规范制度到数据纬度探索都是在不断迭代式优 化的发展模式下才会发挥数据挖掘的最大优势。 对于数据挖掘实施的方法论而言，由业界领先的i t 公司经过不断的实施和积累已 经形成一套比较成熟的理论体系。像i b m 、o r a c l e 、t e r a d a t a 等数据仓库厂家都 有自己的整套实施方法论，由于公司产品特点的差异，在各自的理论体系中也会略有差 异，但是其根本理念和步骤基本都是相同的。例如t e r a d a t a 公司提出的方法论分为 5 个阶段，包括定义业务问题和范围、选取和抽样、探索型数据分析、建模和实施1 8 。 如图4 1 所示： 资料来源：王彦龙编著，企业数据仓库( e d w ) 原理、设计与实践，电子工业出 版社，2 0 0 6 年9 第1 版，p 2 5 1 图4 1 数据挖掘实施流程图 8 资料来源：王彦龙编著，企业数据仓库( e d w ) 原理、设计与实践，电子工业f i ；版社，2 0 0 6 年9 第l 版，p 2 5 2 1 1 4 1 1 定义业务问题和范围 数据挖掘实施的第一步首先是确认数据挖掘的业务目标，就是希望从哪方面得到有 价值的信息，也就是确定希望得到的业务改善机会。 4 1 2 选取和抽样 根据业务目标确定选择数据范围，在其范围内进行数据抽样，根据样本数据的质量 分析、纬度分析，来决定对目标数据进行清洗和加工的方式。 4 1 3 探索型数据分析 对抽样数据进行分析和提炼，应用多种数据挖掘方法来对数据进行分析，以捕获数 据之间的内涵关系，为下一步建模进行奠定良好的基础。 4 2 1 业务背景及目标 系统通过定期的对a b 银行的某段时期6 个月的交易活动规律分析，每月的2 8 日 都会发生余额的大幅增加，突增后会伴随余额下降，进一步分析在2 8 日存款交易的笔 数是平同的5 7 倍，存款金额是平日的2 倍，发现老龄、高龄客户活动率与以往比较增 幅较大，因此认为很可能与a b 银行签约代发养老金业务有关，希望在a b 银行储蓄账 户中对养老金客户识别、行为细分，对养老金客户展开营销。 4 2 2 数据抽取和取样 选取在某年某月2 8 日通过中间业务渠道发生2 0 0 0 元以下存款交易、且账户持有人 的年龄介于4 5 8 0 岁之间的账户。养老金是通过中间业务渠道在每月的固定一天进行发 放的，且年龄在4 5 8 0 岁之间，这个范围的数据基本涵盖了分析对象。 下面的表4 1 简单的反映了数据的抽取过程关系( 养老金客户的识别过程) ： 1 3 表4 1a b 银行养老金账户识别过程 a b 银行4 月2 8 日发生存款交易的账户情况 存款渠道交易账户数账户数 柿面2 6 ，9 3 3 5 1 l - 一 中问业务 5 0 0 ，3 8 5 9 4 8 9 其他 3o o o 合计 5 2 7 ，3 2 1 1 0 0 0 0 存款渠道 中间业务 年龄段交易账户数账户数 f r o - 龄在4 5 8 0 岁之 g t 8 01 6 2 5 83 2 5 间的账户持有人。厂 ，g i ：老年客户( 男 的 5 5 ) 2 5 7 3 2 55 1 4 3 zg 2 ：t i 将退休( 4 5 ) 1 8 6 3 4 53 7 2 4 g 3 ：事业发展( 3 5 ) 1 7 0 0 53 4 0 g 4 ：工作开始( 2 5 ) 1 0 8 0 82 1 6 g 5 ：刚刚成年( 1 8 ) 1 0 3 6 62 0 7 g 6 ：青少年 2 2 7 80 4 6 合计5 0 0 3 8 51 0 0 0 0 存款渠道 中间业务 年龄段养老金年龄段 存款金额交易账户数 账户数 交易金额为2 0 0 0 元以下j g o ： 1 0 0 4 3 2 3 39 7 4 的账户 _ 一 g i ： l o o o1 1 4 1 1 52 5 7 2 l g 2 ： 2 0 0 02 7 2 1 2 56 1 3 4 g 3 ： 5 0 0 01 1 3 2 62 5 5 g 4 ： l o o o o2 0 2 l0 4 6 g x ：1 0 0 0 0 + 8 5 0 0 1 9 合计4 4 3 6 7 01 0 0 0 0 资料来源：表4 1 系笔者根据a b 银行内部资料，整理编制。 v 资料来源：表4 2 系笔者根据a b 银行内部资料，整理编制。 2 存款余额迁移分析 在4 月2 8 日到5 月2 7 日期间，由4 月2 8 日存款在2 0 0 0 元至1 0