（管理科学与工程专业论文）数据挖掘的商务应用及其在西门子网上社区的实践.pdf

上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 五 保密囹，在兰乏年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“”) 学位论文作者签名睾毳舀 指导教师签名： 日期们年哆月e 移日 日期：粥年躬月“e l 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：净惹参 日期五种易年。弓月r 6 日 上海交通大学学位论文答辩决议书 申请者朱春富所在学科管理科学与工程 论文题目数据挖掘的商务应用及其在西门子网上社区的实践 答辩日期2 0 0 3 年1 月1 5 日地点安泰楼2 0 1 室 答辩委员会成员 姓名单位职称 签名 田澎上海交通大学管理学院教授 邸狮努 鲍祥霖上海交通大学管理学院副教授 鳓荔 邹礼瑞上海交通大学管理学院副教授 锄彩 方云安上海交通大学管理学院副教授 名癣 王理平上海交通大学管理学院副教授 乡印 评语和决议 论文从技术和商务需求角度分析了数据挖掘应用的现实可行性，以及 其成本、收益、风险和管理问题，并以西门子网上社区为对象，探讨了网 上社区环境下企业服务过程中采取的客户关系管理策略，运用i b m i n t e l l i g e n tm i n e r 工具进行了数据挖掘实践。 综观全文，资料丰富、论述清楚、理论密切结合实际，表明作者掌握 了较扎实的专业理论知识和具有从事科研工作的能力。在答辩中能正确理 解和回答提问。经答辩委员会无记名投票一致通过其论文答辩，并建议授 予朱春富同学管理学硕士学位。 r 灞瑕，粥小= 捅幼 上海交通大学硕士学位论文 数据挖掘的商务应用 及其在西门子网上社区的实践 摘要 数据挖掘是商务智能实现的核心工具，是该领域里最热门的应用技术。数据 挖掘已经成为许多商业领域的一个热门话题。数据挖掘已经成为许多企业赢得竞 争优势的一个重要的竞争工具之一。国内外早期的研究集中在算法的研究上。其 实很多时候技术不是主要的问题。如何实现从技术到商业的应用才是困扰业界的 主要难题。企业如何进行数据挖掘是一个令人深思的问题。本文试图在这方面有 所贡献。本文主要从应用的可行性这个角度来分析数据挖掘的商务应用。 本文分别从技术和商务需求两个方面研究了数据挖掘商务应用的现实可行 性。在技术方面，主要研究了常见的数据挖掘算法和函数及其商务应用：决策树， 人口统计学聚类分析，神经网络聚类分析，关联分析。在商业需求方面，首先研究 了企业在进行数据挖掘项目时，如何进行成本收益分析和风险分析以及相关的管 理问题。接着研究了数据挖掘与企业竞争战略的关系，重点探讨了如何利用数据 进行战略分析，并分析了数据挖掘在电信、银行、保险、零售、社会医疗以及政 府部门等领域的应用。 本文最后理论联系实际，从数据挖掘的角度，通过对西门予网上社区的研究， 深入地探讨了网上社区环境下企业在售前、售中和售后的服务过程中可以采取的 客户关系管理策略。最后将数据挖掘技术成功的应用于西门子上海移动通信有限 公司，收到良好的经济效果。通过利用i b m 的i n t e l l i g e n tm i n e r 工具，对西门子 网上社区的数据进行了数据挖掘，成功分柝了手机用户的背景分布及用户对型 号、颜色、背景灯的偏好，以帮助西门子公司制定正确的研发和营销战略。通过 这个案例来告诉我们如何利用数据挖掘工具进行商务的决策分析，对企业具有一 定的现实指导意义。 关键词：数据挖掘，商务智能，网上社区，关联发现，聚类分析 第1 页共8 0 页 上海交通大学硕士学位论文 d a t am i n i n gb u s i n e s sa p p l i c a t i o na n di t s a p p l i c a t i i ni ns i e m n e sw e bc o m m u n i t y a b s t r a c t d a t am i n i n gi sac o r eo fb u s i n e s si n t e l l i g e n c e r i g h tn o wd a t am i n i n gi sah o tt o p i ci nm a n y i n d u s t r i e s d a t am i n i n gt e c h n o l o g yh a sb e c o m eo n eo ft h em o s ti m p o r t a n tc o m p e t i t i v et o o l s a n di san e c e s s a r yi n g r e d i e n tf o rm a n yc o m p a n i e st oi n c r e a s et h e i rc o m p e t i t i v e n e s si nt o d a y s g l o b a lm a r k e t w i t ht h ea d v e n to fw e ba p p l i c a t i o n a n de - b u s i n e s sd e v e l o p m e n t ，m a n y o r g a n i z a t i o n ss u c h a s b a n k s ，r e t a i ls t o r e s ，i n s u r a n c ec o m p a n i e s ，a n d f i n a n c i a ls e r v i c e o r g a n i z a t i o n sh a v eg e n e r a t e da n dc o l l e c t e dl a r g ev o l u m e so fd a t at h a th a v eb e e nu s e di nt h e i r d a i l yo p e r a t i o n s h o w e v e r , m a n yo ft h e mh a v en o tf u i l yc a p i t a l i z e dt h e i rd a t av a l u e sb e c a u s e s o m ei n f o r m a t i o nc o n t a i n e di nt h ed a t ai sn o te a s yt od i s c o v e r t oc o m p e t ee f f e c t i v e l yi n t o d a y sc o m p e t i t i v em a r k e t ，i n f o r m a t i o nh i d d e ni n t h ec o l l e c t e dd a t am u s tb ei d e n t i f i e da n d u t i l i z e db yd e c i s i o n m a k e r s t h ew a yt od i s c o v e ra n dt h e r e f o r et ou s et h ei n f o r m a t i o nh i d d e ni n t h ec o l l e c t e dd a t ai sd a t am i n i n g m o s te a r l yw o r ko nd a t am i n i n gw a sf o c u s e do nd e r i v i n ge f f i c i e n t a l g o r i t h m s b u ti t i s c o n f u s e df o rb u s i n e s s e sm a nh o wt oa p p l yd a t am i n i n gt e c h n o l o g yt ob u s i n e s sa c t i v i t y i nt h i s p a p e r ，w et r yo u rb e s tt of o c u so ns t u d y i n gh o wt oa p p l yc l a s s i ca l g o r i t h m se f f i c i e n t l ya n d e f f e c t i v e l yt o b u s i n e s sa n a l y s i s t h i sp a p e re x p l a i n sp r a c t i c a b i l i t ya n dp r e r e q u i s i t eo fd a t a m i n i n gb u s i n e s sa p p l i c a t i o nf r o mt h ep o i n to ft e c h n o l o g ya n db u s i n e s sd e m a n dr e s p e c t i v e l y a n di l l u s t r a t e sh o wt od od a t am i n i n gb yf a c t s t h i sp a p e rd e e p l yd i s c u s s e sc r m s t r a t e g yi nw e bc o m m u n i t yb ys t u d y i n gt h es i e m e n sw e b c o m m u n i t y a n ds t u d yh o wt oa p p l ya s s o c i a t i o nd i s c o v e r yt e c h n o l o g ya n dc l u s t e r i n gt e c h n o l o g y i nb u s i n e s sa n a l y s i se s p e c i a l l yi nw e bc o m m u n i t y a sac a s e ，m a r k e ts e g m e n t a t i o na n dm a r k e t b a s k e ta n a l y s i sa r em a d et h r o u g ha s s o c i a t i o nd i s c o v e r ya n dc l u s t e r i n ga n a l y s i si nw e b c o m m u n i t y ( c l u b ) i ns i e m e n ss h a n g h a im o b i l ec o m m u n i c a t i o nc o m p a n yi no r d e rt of i n do u t c u s t o m e r s p r o f i l ea n dt h e i rp r e f e r e n c ef o rm o b i l eh o u s i n gc o l o ra n db a c k g r o u n dl i g h t p r a c t i c a l a p p l i c a t i o na n da n a l y s i sp r o v et h a td a t am i n i n gt e c h n i q u e sa r ev e r yv a l u a b l ei nb u s i n e s s a n a l y s i sa n dd a t am i n i n gi sas t r o n ga n a l y s i st o o lt og e ta n dm a i n t a i nc o m p e t i t i v ea d v a n t a g e k e yw o r d s ：d a t am i n i n g ，b u s i n e s si n t e l l i g e n c e ，w e bc o m m u n i t y ，a s s o c i a t i o nd i s c o v e r y c l u s t e r i n ga n a l y s i s 第2 页共8 0 页 上海交通大学硕士学位论文 1 、背景知识 一绪论 近十几年来，人们利用信息技术生产和搜集数据的能力大幅度提高，千万个数据库被用于 商业管理、政府办公、科学研究和工程开发等，信息增长呈现指数上升。激增的数据背后隐 藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。 目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在 的关系和规则，无法根据现有的数据预测未来的发展趋势。数据挖掘就是为迎合这种要求而 产生并迅速发展起来的。数据挖掘是指从大型数据库或数据仓库中提取出隐含的、先前未知 的、对决策有潜在价值的知识和规则。 用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后的知 识，这两者的结合促成了数据库中的知识发现( k d d ：k n o w l e d g ed i s c o v e r yi nd a m b e s ) 的 1 9 5 6 + a i 19 6 o1 苗而_ t 西万可丽f 两 9 6 5 h l er ar o 哇e 19 6 1 i n t e gr a t e d d 8 t 8s 1 0r e ，7 61 1 9 8 5 s q ll s q l - s t a n d ar d e rm o d l c h e n l 9 7 0 f i r s td e f o fd bi sr l g u a g e 1 9 9 6 d b 2u d b i n t e i l i g e l l tm i n 0r 图l 一1 数据挖掘相关技术发展历史 f i g1 1d e v e l o p m e n th i s t o r ya b o u td a t am i n i n gt e c h n o l o g y 产生。实际上，数据库中的知识发现是一门交叉性学科，涉及到机器学习、模式识别、统计 学、智能数据库、知识获取、数据可视化、高性能计算、专家系统等多个领域( 见图1 1 ) 。 从数据库中发现出来的知识可以用在信息管理、过程控制、科学研究、决策支持等许多方面。 人们往往不严格区分数据挖掘和数据库中的知识发现，把两者混淆使用。一般在科研领 域中称为k d d ，而在工程领域则称为数据挖掘( d a t am i n i n g 。缩写：d m ) 。 在商务应用中，数据挖掘有如下功能： 聚类分析，例如：将一群客户以属性相似性分类：判别分析决策树和神经网络， 例如：“昂贵的运动车通常被住在郊区的职业青年购买：而豪华轿车则往往由富有的中年人 购买”；值预测，例如：预测一张特定的信用卡未来出现欺诈的可能性：关联分析，例如：“买 了牛奶的顾客，5 5 还会购买其它牛奶制品，而4 2 会购买面包；顺序模型，例如：“4 2 第5 页共8 0 页 上海交通大学硕士学位论文 在同一交易中申请了a t m 卡的支票帐客户将在9 0 天内申请银行赊购帐户”；相似时间序列 例如：给出中兴通信公司2 0 0 0 年每日的股票收盘价，找出其它具有相似走势的股票。 2 、数据挖掘技术商务应用的国内外现状 ( 1 ) 国内现状 技术层面 国内对d m 的研究稍晚，没有形成整体力量。1 9 9 3 年国家自然科学基金首次支持对该 领域的研究项目。然而，近几年来，数据挖掘技术已经得到了国内许多行业的高度重视。国 家“十五”8 6 3 计划在信息技术的每个主题都涉及到了数据挖掘，并且在生物信息领域也涉 及到了数据挖掘：商业界也已经把数据挖掘列为“十五”信息化工作的重点发展技术。 商务层面 目前，国内对数字挖掘的开发都集中在上游，即挖掘软件的开发。而企业所需要的是用 数据挖掘来解决实际的商业问题。数字挖掘本身技术含量很高，如何把它进行商业应用对操 作者的要求更高，它不仅需要对数字挖掘技术的深入了解，还需要很强的管理，经济方面的 背景知识，而绝大部分的企业并不具备这方面的人才，因此需要将这项业务外包。国内目前 只有几家小型的数字挖掘公司，但他们的成员是清一色的技术专家，因而，只能提供软件， 而不是咨询服务。于是，在数字挖掘的下游就出现了断层，一方面，各种各样的新软件层出 不穷，另一方面，企业因为无法应用，而没有收到任何实际的效益。我们的研究正是填补了 国内的这一项空白，在企业和技术研发之间架起一座桥梁。 ( 2 ) 国外现状 技术层面 数据挖掘是数据库发展与人工智能技术相结合的产物，是目前国际上数据库和信息决策 领域的最前沿的研究方向之一，引起了学术界和工业界的广泛关注。世界上许多公司( 如 i b m 、i n f o r m i x 、o r a c l e 等) 都投入巨资对其进行研究。1 9 9 8 年在美国纽约举行的第四届知识 发现与数据挖掘国际学术会议不仅进行了学术讨论，并且有3 0 多家软件公司展示了他们的 数据挖掘软件产品，不少软件已在北美、欧洲等国得到应用。目前研究的主要目标是发展有 关的理论、方法和工具，以支持从大量数据中提取有价值的知识和模式。 商务层面 国外对数字挖掘的算法的研究已经趋于成熟，s p s s ，i b m ，i n s t i t u t em a c h i n e s 等国际巨头 已经能够提供数据挖掘软件包，他们也已经在国外开始从事数据挖掘的商务应用，已经拥有 一些成功的案例，积累了比较丰富的经验。 ( 3 ) 业内认识的误区 人们通常把数据挖掘工具看得过份神秘，认为只要有了一个数据挖掘工具，就能自动挖 掘出所需要的信息，就能更好地进行企业运作，这是认识上的一个误区。其实要想真正做好 数据挖掘，数据挖掘工具只是其中的一个方面，同时还需要对企业业务的深入了解和数据分 第6 页共g o 页 上海交通大学硕士学位论文 析经验。由于数据挖掘的技术门槛比较高，数据挖掘技术的应用相对较难。 图卜2 本文的逻辑结构及主要内容 f i g 1 2l o g i s t i c a ls t r u c t u r ea n dc o n t e n ti np a p e r 数据挖掘的商务应用 及其在西门子网上社区的实践 商务应用的现实可行性如何挖掘 技术 技术：研究了常见的数据挖掘 算法和函数及其商务应用：决 策树，人口统计学聚类分析，神 经网络聚类分析，关联分析 商务需求 商务：分析了网络时代企业对数据 挖掘的商业需求；从商务智能的角 度来分析企业( 政府部门) 对数据 挖掘的需求。 分析了企业进行研究了数据 分析了在电信、银行、从数据挖掘的角度，通过对西 数据挖掘项目时，挖掘与企业保险、零售、社会医门子网上社区的研究，深入地 如何进行成本收竞争战略以疗以及政府部门等领探讨了网上社区环境下企业 益分析和风险分及c r m 的关域里提供的典型的数在售前、售中和售后的服务过 析以及相关的管系；据挖掘应用服务。程中可以采取的客户关系管 理问题理策略 l 将数据挖掘技术成功的应用于西门子上海移动通信有限公 1 、商业问题的定义( b u s i n e s sp r o b l e m )4 、数据的挖掘( m i n ed a t a ) 2 、数据的收集( c o l l e c td a t a )5 、结果的分析( a n a l y s i so fr e s u l t s ) 3 、数据的准备( p r e p a r ed a t a ) ( 1 ) 关联分析( a s s o c i a t i o na n a l y s i s ) ( 1 ) 选择( 2 ) 统计分析( s t a t i s t i c a la n a l y s i s ) ( 2 ) 数据质量评估和数据清理( 3 ) 聚类分析( c l u s t e r i n ga n a l y s i s ) ( 3 ) 合并与整合6 、总结报告( r e p o r tr e s u l t s ) ( 4 ) 准备数据 第7 页共暑顿 上海交通大学硕士学位论文 3 、本文的研究意义及本文的研究内容 ( 1 ) 研究意义 目前国内比较成功的商务案例很少。国内更多的力量集中在算法的编程和新的算法的研 究。至于数据挖掘技术在商业的应用，还显得有些力不从心。国际上，i b m 等国际巨头己 经能够从事数据挖掘的商务应用，已经拥有一些成功的应用案例( 参见第5 章数据挖掘应用 经典) ，他们在这些实际应用中也积累了丰富的经验。因此，需要和他们交流学习，共同进 步。 本论文研究的重点不在于算法的编程和新的算法的研究上。其实很多时候技术不是主要 的问题。如何实现从技术到商业的应用才是困扰业界的主要难题。本课题主要研究数据挖掘 技术在西门子公司网上社区的应用，并以此案例研究数据挖掘的商务应用，在企业和技术研 发之间架起一座桥梁。这就是本课题的研究意义。 ( 2 ) 本文的研究内容 本文主要从应用的可行性这个角度来分析数据挖掘的商务应用。图卜2 给出了本文的逻 辑结构及主要内容。本文分别从技术和商务需求两条主线研究了数据挖掘商务应用的现实 可行性。在技术方面，第三章主要研究了常见的数据挖掘算法和函数及其商务应用：决策树 人1 3 统计学聚类分析，神经网络聚类分析，关联分析。在商业需求方面，第二章首先研究了企 业在进行数据挖掘项目时，如何进行成本收益分析和风险分析以及相关的管理问题。第四章 接着研究了数据挖掘与企业竞争战略的关系，重点探讨了如何利用数据进行战略分析，研究 发现在企业进行数据挖掘，其本质是站在竞争战略的高度，对企业相关的买卖双方、产品、 竞争者等市场要素进行战略规划，借以培养竞争优势的过程。第五章详细分析了在电信、银 行、保险、零售、社会医疗以及政府部门等领域里提供的典型的数据挖掘应用服务。 本文最后理论联系实际，从数据挖掘的角度，通过对西门子网上社区的研究，深入地探 讨了网上社区环境下企业在售前、售中和售后的服务过程中可以采取的客户关系管理策略。 最后将数据挖掘技术成功的应用于西门子上海移动通信有限公司，收到良好的经济效果。 通过利用i b m 的i n t e l l i g e n tm i n e r 工具，对西门子网上社区的数据进行了数据挖掘，成功分 析了手机用户的背景分布及用户对型号、颜色、背景灯的偏好，以帮助西门子公司制定正确 的研发和营销战略。通过这个案例来告诉我们如何利用数据挖掘工具进行商务的决策分析， 对企业具有一定的现实指导意义。 第8 页共8 0 页 上海交通人学硕士学位论文 二数据挖掘的商务应用实施 本章摘要 目前，在很多领域，数据挖掘技术都有着广阔的应用前景。数据挖掘已经成为许多企业 在国际市场上赢得竞争优势的一个重要的竞争工具之一。本章试图分别从实践和理论两个 角度来阐释数据挖掘的现实的实用性和战略的重要性。本章从技术和商业需求两个方面分 别研究了数据挖掘商务应用的可行性，这也是整篇论文的主线，以后的各个章节都是围绕 这条主线展开的。即：第三章从数据挖掘技术的角度研究了数据挖掘商务应用的方法论； 第二章的第二节至第五节以及第四章和第五章则是从商务实践的角度研究数据挖掘商务应 用的风险收益、项目管理、战略规划以及具体实施等问题。 数据挖掘商务应用的可行性 既然数据挖掘在很多行业有着如此重要的应用，为什么数据挖掘技术“现在”才开始 热起来? 其实，一种新的技术要在商业上得至广泛应用，必须要满足两个条件。一是技术的 可行性( 供给) ，二是商业的需求。 ( 1 ) 技术的可行性 以客户为中心 市场竞争日益激烈 企业之间的竞争实际上足争夺客户的竞争 应用系统的发展趋势 计算机业务系统的普及和电子商务使企业拥有 大量的客户和业务数据 系统从单一的处理转向拥有分析和管理的综 系统 向信息系统寻求解决方案 捕捉业务交易和客户交流的每个角度柬生成有 用的信息 建立基于分析的企业管理运营体系 图2 1 企业计算机系统应用趋势 f i g2 - 1a p p l i c a t i o nt r e n do fe n t e r p r i s ec o m p u t e rs y s t e m 目前从技术角度来讲，主要是围绕数据的存取( d a t aa v a i l a b i l i t y ) 展开的。第一是商业 交易的电子化( c o m p u t e r i z a t i o n ) ，提供了大量可获得的电子贮存的数据，为数据挖掘和数据 第9 页共o 页 上海交通大学硕士学位论文 库营销提供了数据基础。图2 1 描述了企业计算机系统应用趋势，反映了网络时代企业管 理和交易模式的变革。第二是数据存储技术( s t o r a g et e c h n o l o g y ) 的发展和计算机处理速度 ( c o m p u t i n gs p e e d ) 的提高，如数据处理系统的广泛应用、功能强大的硬件和并行处理系统、 数据仓库的整合( c o n s o l i d a t i o n ) ，等等。图2 - - 2 描述了商务智能的核心一数据仓库系统在 现代企业离地应用和重要地位。第三是新的先进算法( 见表2 一i ) 的出现，如神经网络技 术和遗传基因算法技术，这为数据挖掘提供了方法和工具( 在第三章我们将集中讨论数据挖 掘函数和算法) 。这些年来，技术发展很快，使得数据挖掘成为现实。 图2 - 2 商务智能的核心一数据仓库系统 f i g 2 - 2t h ec o r eo f b u s i n e s si n t e l l i g e n c e ：d a t aw a r e h o u s es y s t e m 表2 1 数据挖掘功能、技术及典型应用 t a b2 1 d a t am i n i n gf u n c t i o n s ，t e c h n i q u e s ，a n dt y p i c a la p p l i c a t i o n s 分类功能技术经典应用 预测模型分类( c l a s s i f i c a t i o n )决策数，神经网络，离散化目标市场营销，质量控制，风 分析，逻辑回归，概率值回 险分析，客户保留分析，医疗 归( p r o b i tr e g r e s s i o n )诊断 值预测( v a l u e线性回归，非线性回归，径收益率分析 p r e d i c t i o n )基函数 时间序列预测时间序列模型，如神经网络销售预测利率预测 细分聚类分析 k _ 均值法，人口统计学法， 市场细分 神经网络 联接分析关联发现统计学集合论市场一揽子分析，交叉销售 顺序性的规律发现统计学，集合论跨时间的市场一揽子分析 相似的的时序发现统计学集合论销售流量分析，股价走势 第1 0 页共b 0 页 t 海交通大学硕士学位论文 ( 2 ) 商业的需求 从商业需求的角度来讲，当前的商务世界其实就是数据世界，商业竞争的压力使数据挖 掘倍受企业关注。要想在这个激烈的商业竞争中获取并保持企业的竞争力，就必须重视对包 括客户、营销、研发( r d ) 等在内的竞争战略的研究。竞争战略可以细化为：提高采购( 获 得渠道) ，提高售后服务水平，使价值链的集成更为便利，提供新的产品和服务，进入高度 专业化的市场，进入火众定制化( 如d e l l 电脑公司) 。在第四章中我们将集中讨论数据挖掘 与企业竞争战略的关系，从那里我们可以发现企业可以利用数据挖掘工具来提高其竞争力。 ：量三竺詈萎苎| ! ：羡。 商务智能解决方案 建立客户为中心的数据仓库和数据集市 一、 集成复杂的管理工具( o l a p 数据挖掘、业务评估) o 数据的分析影响业务模式 ” 集成客户交流渠道 效- - - - - - - - - - 一 的 数据仓库第二阶段信息管理 智 建立数据仓库存储业务数据 能 建立数据集市解决特定的专题分析 化 提供o l a p 和统计分析 霄 业务报表第一阶段信息管理 坐 提供基本、静态信息 固定格式、时间、内容 时间 图2 3 商务智能的发展 f i g 2 3d e v e l o p m e n to fb u s i n e s si n t e l l i g e n c e 下面我们试图从另一个方面一商务智能的角度来分析企业( 包括政府部门) 对数据挖掘 的需求。 商务智能是指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而 获得必要的洞察力和理解力，更好的辅助决策和指导行动。商务智能的实现方式多种多样， 其规模和特点由用户的需求来决定( 参照图2 3 “商务智能的发展”) 。但万变不离其宗， 其基本体系往往包含三个部分： 数据仓库：用于抽取、整合、分布、存贮有用的信息。一个企业的信息往往的分布 在不同的部门和分支机关。管理者要综观全局、运筹帷幄，必须能迅速地找到能反映真实情 况的数据，这些数据可能是当前地现实数据，也可能是过去地历史数据。因此，有必要把各 个区域的数据集合起来，去其糟粕，取其精华，将真实的、对决策有用的数据保留下来，随 时准备管理人员使用。因此，数据仓库不仅仅是个数据的储存仓库，更重要的是它提供了丰 富的工具来清洗、转换和从各地提取数据，使得放在仓库里的数据有条有理，易于使用。 多维分析：全方位了解现状。管理人员往往希望从不同的角度来审视业务数值，比 如从时间、地域、功能、利润来考察同一类储蓄的总额。每一个分析的角度可以叫做一维。 第l l 页共3 d 页 上海交通火学硕士学位论文 因此，我们把多角度分析方式称为多维分析。以前，每一个分析的角度需要制作一张报表。 它的主要功能，是根据用户常用的多种分析角度。事先计算好一些辅助结构，以便在查询时 能尽快抽取所要的记录，并迅速地从一维转变到另一维，将不同角度地信息以数字、直方图、 饼图、曲线等等方式展现在您面前。 前台分析工具：提供简单易用的图形化界面给管理人员，由他, i f 自由选择要分析的 数据、定义分析角度、显示分析结果。往往与多维分析工具配合，作为多维分析服务器的前 台界面。 以上三部分是商务智能的基础。它完成的是对用户数据的整理和观察。可以说，它的工 作是总结过去。在此基础结构之上，商务智能可以发挥进一步的作用，利用数据挖掘技术， 发现问题，找出规律，达到真正的智能效果：预测未来。 图2 - 3 反映了企业商务智能的发展的三个阶段。数据挖掘要求有数据仓库作基础，并 要求数据仓库里已经存有丰富的数据。因此，在实施商务智能方案时，一般分两个步走：第 一步，实现数据仓库和多维分析，构建商务智能的基础，实现分析应用；第二步，就是实现 数据挖掘，发挥商务智能的特色。 数据挖掘又叫数据开采，正如在矿井中可以开采出珍贵的矿石。在数据仓库的数据里也 常常可以开采出业务人员意想不到的有价值的信息。它比多维分析更进一步。例如，如果管 理人员要求比较各个区域某类产品销量在过去一年的情况，可以从多维分析中找到答案。但 是，如果管理人员要问为何一种产品在某地区的情况突然变得特别好或是不好，或者问该产 品在另一地区将会怎么样，这时数据挖掘工具可以作出回答。图2 4 反映了企业在不同需求 下需要选择合适的工具，数据挖掘一方面体现了高成本高收益的特点，另一方面也反映了它 技术难度大、用户数量少的特点。 简单的说，数据挖掘使用统计、分析等数学方法，以及电脑学习和神经网络等人工智能 方式。从大量的数据中，找寻数据与数据之间的关系。这种关系，一般显示数据组之间相似 或相反的行为或变化。一个细心的分析者，往往能从这些发掘出来的信息得到启示。而这种 启示又很可能使得到它的企业( 或政府部门) ，获得其它竞争者所没有的先机。图2 4 说明 了利用数据挖掘技术可以发现数据的内在关系和形态。图2 5 描述了数据挖掘的过程。 图2 4 商务智能应用涉及的技术 f i g 2 - 4i n v o l v e dt e c h n o l o g i e si nb u s i n e s si n t e l l i g e n c e 第1 2 页共客o 页 上海交通大学硕士学位论文 ( 3 ) 数据挖掘培养竞争优势 图2 5 数据挖掘处理过程 f i g 2 - 5d a t am i n i n gp r o c e ss 竞争优势不是天上掉下来的，也不是自封或由政府指定的，必须经历一个市场竞争的“筛 选”过程才能被“发现”。这个“筛选”过程更多体现的是数据挖掘的知识和信息的发现过 程。数据挖掘其实就是三种基本竞争战略的具体化( 参见第四章一数据挖掘与企业竞争战 略) 。 从数据挖掘功能示例可以得出一个结论：通过对商业数据的数据挖掘，可以发现隐含在 这些数据之后的模式和规律( 参见表2 1 给出的应用) ，有利于找到企业的主要客户群体 ( c u s t o m e r s e g m e n t a t i o n ) 及特征( c u s t o m e r c h a r a c t e r i s t i c s ) ，了解主要客户( k e y c u s t o m e r ) 的购买模式( p u r c h a s i n gm o d e l ) 和个性化偏好( i n d i v i d u a l i z a t i o np r e f e r e n c e ) 以及进行客户流 失性分析( c h u r na n a l y s i s ) 。有利于对现有的和新开发的产品进行市场细分，并进行销售预 测；有利于加强对供应商和零售商共享信息的利用。 利用数据挖掘获取的信息有助于企业发现新的市场机会，对当前快速变化的市场环境 做出迅速判断和响应，并利用其中的商业机会。很明显，数据挖掘将会在培养企业竞争优势 的过程中扮演很重要的角色。 从上面的分析可以看出，在企业进行数据挖掘，其本质是站在竞争战略的高度，对企业 相关的买卖双方、产品、竞争者等市场要素进行战略规划，借以培养竞争优势的过程。所以， 未来企业的竞争会更激烈，竞争的焦点表现在对数据的隐含信息的挖掘，这才是更高级形态 的市场竞争。 2 成本收益和风险分析 公司高层主管应该确信开展数据挖掘确实能够帮助公司提高效益，降低成本，从而提高 公司竞争力和利润。这一过程请参阅如下的商务案例。 第1 3 页共8 口页 上海交通大学硕士学位论文 ( 1 ) 数据挖掘案例 经理们经常利用电子商务案例分析的方法来寻找电子商务项目。商务案例为电子商务计 划( 或叫蓝图) 与执行搭建了桥梁。同样，在进行数据挖掘项目时，一个好的数据挖掘案例 不但能够提供制定战略决策的基础，而且能够提供技术风险管理。 _ 数据挖掘案例的内容 一个数据挖掘案例的内容包括对项目可行性的评估、项目的初始范围和投资理由。它不 但要能够表明数据挖掘投资和整个企业的商务战略是一致的，而且应该表明倡议够被有效 的管理实施。k a l a j o t a 和r o b i n s o n ( 1 9 9 9 ) 提出了一个好的商务案例应该包括如下四个相互联 系的四个方面： 战略理由一“我们将到哪里去了? ”能力，竞争情况，市场机制等等( 构 思如何? 怎么选择顾客? 价值何在? ) 。 发展理由一“我们如何到达? ”我们将做什么及如何改进( 渠道和合作伙 伴的选择) ? 技术理由一“我们何时到达? ”数据挖掘将如何支持组织的技术战略( 技 术和项目选择) 。 财务理由一“我们为什么会赢? ”成本收益如何? 采取措施和标准? 我们 的商业特色如何形成? _ 数据挖掘案例的实施 根据k a l a j o t a l l r o b i n s o n ( 1 9 9 9 ) 在解决电子商务问题时提出的观点，本文借鉴了其思想， 提出在准备数据挖掘案例时应该考虑以下几个步骤：编制目标说明书：设定衡量目标；设定 具体目标；制定短期和长期行动计划：获取批准和支持。 - 收益模型 成功的关键因素之一是正确的规划收益模型。2 0 0 0 年和2 0 0 1 年中许多的电子商务失败 的案例都归因于不正确的收益模型。例如，许多门户网站都希望由大量的广告收益，事实并 非如此。销售收益依赖于顾客购买成本以及广告。同样，在数据挖掘时，这些问题也需要去 思考。 ( 2 ) 成本收益分析 和其他问题一样，数据挖掘投资，必须经得起成本收益分析的考验，并找到合理解释。 由于许多无形变量的存在，对一个数据挖掘投资找到合理的解释也许是困难的。本文借 鉴了t u r b a ne ta l ( 2 0 0 0 ) 针对电子商务问题提出的几种方法：价值投资分析与陈述；投资回报 率( r o i ) 和贴现现金流量。 一 价值投资分析与陈述 价值陈述是指公司通过采用数据挖掘能够得到的收益，通常表现为提高公司的竞争力以 及为顾客提供的周到服务。当顾客通过上网来完成商业行为时，就会为卖方创造出一种新的 价值。如果顾客离开公司的竞争者，该竞争者就可能要遭受损失。用来评估数据挖掘迫切性 的方法是采用价值链分析( p o r t e r , 1 9 9 5 ) 。价值链代表了公司从原料采购到产品促销等不同 环节的一系列活动。这些活动产生的附加值创造了公司的利润，提供了资产价值和公司在市 场上的竞争力。我们可以通过回答g h o s h ( 1 9 8 8 ) 提出的有关价值链问题来检验数据挖掘项 第1 4 页共鲫页 上海交通大学硕士学位论文 目对公司提供的产品或服务价值链的影响。 阐明价值链的代表性问题：通过整合价值链上不同部分能否实现巨额利润? 通过减 少价值链上的繁琐环节，能否为顾客创造巨大的价值? 为了接管价值链上其他环节的功能， 需要掌握何种新的技能? 如果其他人首先整合了价值链，我是否会在竞争中处于不利地位? 创造新价值时的典型问题：能否为现有顾客提供关于交易服务的额外信息? 通过对 现有信息资源的重新整理或通过使用互联网创造新的商业机会，能否唤起新顾客的需求? 能 否运用自己的能力去吸引顾客以开辟新的收益渠道，比如，广告收益或附属产品的销售? 公 司现有业务是否会受到其他提供类似服务的公司的影响? 另一个需要考虑的因素是公司在行业中的相对竞争地位。数据挖掘通过与客户交往的每 一个环节提供与众不同的高品质服务，从而提高公司的竞争地位。 上述讨论强调了价值链中顾客交往的重要性，链条上游同供应商的交往同样能够有效的 提高公司的运作效率。而且，这些效率虽然可以通过降低成本和减少时间来达到，但它却经 常需要公司组织结构以及商业程序的改变。增值活动只是提供了开展数据挖掘的一个方面的 理由。 一 投资回报率( r o i ) 投资回报率( r o i ) 是指数据挖掘项目产生的收益与投入成本之比。收益既包括可数量 化的收益，也包括不可数量化( 无形) 的收益。尽管数据挖掘项目的资源成本，如硬件、软 件、人力资源，相对来说容易量化，收益却很难测量，就像其他许多信息技术项目一样。基 本的无形收益包括有效的营销渠道，销售的增长和更优越的顾客服务。即使容易测量的利润， 由于经验的缺乏和环境变化的快速，对对数据挖掘来讲也是不容易预测的。 ( 3 ) 风险分析 数据挖掘战略中风险分析是很重要的。当s w o t 分析完成后，外部威胁被诊断出来， 这是对风险的第一次分析。当战略形成以及特别的创意被识别之后，就可进行传统的风险分 析了。进行风险分析有很多种方法( 例如，p o r t e r , 1 9 9 6 ；w h e e l e n 和h u n g e r , 1 9 9 8 ；k a p l a n 和 n o r t o n ，2 0 0 0 ) 。 在风险分析中，应该：识别出所有的潜在风险；评价它们出现时造成的危害；估计采取 保护措施的可能性：比较保护措旖的成本与收益。 本文结合了从事西门子网上社区的数据挖掘项目的经验，对数据挖掘风险进行 了综合分析，认为主要有如下的数据挖掘风险： 战略风险。这些包括竞争环境，错误的战略导向，对供应商、购买方等的 依赖，不恰当的公司文化，信息的缺乏，规则的变化以及政府的管制。 财务风险。这些现金管理与变化，积极的不确定性，现金流的稳定性。 运营风险。这包括技术变革和不良技术的采用，安全性，较差的项目管理 水平，商务程序控制，较差的运营管理，职工纠纷和熟练工人的缺乏。 第1 5 页共墨0 页 上海交通大学硕士学位论文 3 、数据挖掘效果的衡量标准 衡量一个组织表现的途径之一是制定并利用标准，该标准包括了跟数据挖掘的实施与战 略相关的不同领域内的基准。衡量标准能够通过在各方面激励人的行为，来对组织产生非常 积极的影响。根据r a y p o r t 和j a w o r s k i 的观点，衡量标准能够： 通过利用精确的衡量标准并确定具体目标，来帮助我们定义和精简我们的业务。 利用参与管理来确定业绩的衡量尺度，从而帮助我们传达战略决策。 收集可用性和其它基于网页浏览的数据，来帮助我们跟踪数据挖掘的表现。 将衡量标准与绩效评估结合起来，帮助我们增加责任感。 帮助我们调整个人、部门与组织的目标。 表2 - 2 服务方面的标准 t a b 2 2s t a n d a r df o rs e r v i c e s 品牌标准预期目标实际结果行业晟佳业绩有效率 通过在网站上增加产品信息我们是否有效地增加了品牌战略的 价值? 加强品牌宣传是否优于提供在线销售与服务而成为一个有效的中 间战略? 加强品牌宣传是否是一个有效的战略( 在该战略中我们不准在线 销售) ? 产品与组织信息的持续、革新的变化在增加品牌价值方面是否