（计算机应用技术专业论文）医药商务智能的研究与实现.pdf

摘要 摘要 随着中国加入世贸组织，中国医药行业面临着前所未有的竞争压力。药品 销售企业的经营模式必须从以产品为中心转变为以销售和客户为中心的模式， 产品的购进、生产、销售必须以客户需求和销售动向为导向。企业的信息化管 理也应成为经营模式改变的支撑，为企业提供准确的客户分析、市场分析、产 品销售分析和决策分析，为客户提供良好优质的销售服务，以有利于提升企业 的核心竞争力。 医药商务智能建立在企业日积月累的数量惊人的数据资源上，依靠日渐成 熟的数据仓库技术，o l a p 以及数据挖掘等i t 技术，有效地整合企业的业务流程， 充分考虑了医药销售企业迫切的业务分析需要，根据不同的商务需求对数据进 行分析、运算，从中发现规律，预警异常，并将结果界面完好地展示给用户， 从而达到监控业务活动、支持决策的目的。 本课题对商务智能技术在医药销售行业中的应用进行深入研究，着重分析 其中起核心作用的在线分析技术( o l a p ) 与数据挖掘技术及其它们的实现技术， 并尝试采用a s p n e t 技术进行医药商务智能系统的开发。首先抽取、转换原有 药品经营质量监控管理系统的多年销售数据并且导入到新的数据库，然后根据 医药商务智能系统的需求确定主题，最后建立了数据仓库。该医药商务智能系 统主要由两个模块组成，即数据挖掘模块与在线分析模块，采用b s 模式来实 现。数据挖掘模块采用a p r i o r i 算法、k - m e a n s 算法实现对客户购买行为的挖掘 与客户分类；在线分析模块则为销售决策人员提供了快速查询、数据分析的通 道。面对类型复杂、数量庞大的客户群体，不断创新的医药产品，本系统根据 医药行业药品销售的特点，结合数据仓库技术、数据挖掘技术的发展，对客户 群体进行分类、客户购买行为进行分析以及药品销售情况进行查询与分析，使 之成为可能。 关键词商务智能；数据仓库；数据挖掘；在线分析技术 东北电力大学硕士学位论文 a b s t r a c t 蛐c h i n a j o i n i n gw t o c h i n e s em e d i c i n er e a d e f a c e st h eu n p r e c e d e n t e d c o m p e t i t i o np r e s s u r e 1 1 1 em a n a g e m o d e lo f m e d i c i n es a l et r a d em u s tt u r nt h em o d e l t h a tg o e so na r o u n dt h ec u s t o m e r , a r o u n dt h em a r k e t i n gc e n t e r i n gf r o mt h em o d e lt h a t r e g a r d sp r o d u c t s 勰t h ec e n t r e p u r c h a s e p r o d u c ta n ds a l eo fc o m m e r c i a lm e d i c i n e m u s tr e g a r dn e e do fc u s t o m e r sa n dp u l s eo fs a l ea st h ed i r e c t i o n 1 1 1 ei n f o r m a t i o n m a n a g e m e n to ft h ee n t e r p r i s em u s tb et h es u p p o r to ft r a n s f e r r i n go fm a n a g e m e n t m o d e l ，w h i c hc a r lp r o v i d et h ea c c t t r a t ec u s t o m e ra n a l y s i s ，m a r k e ta n a l y s i s ，p r o d u c t p u r c h a s ea n a l y s i sa n dd e c i s i o n - m a k i n ga n a l y s i s f o rt h e e n t e r p r i s e ，o f f e rk n i g h t s e r v i c ef o rc u s t o m e r s a n dw h i c hi sp r o p i t i o u s 协t h ec o r ec o m p e t i t i o no fa d v a n c i n go f t h ee n t e r p r i s e n l ea u t h o ra d v a n c e dam e d i c i n a lb u s i n e s si n t e l l i g e n c ef r a m e w o r k a c c o r d i n gt o t h ef r a m e w o r k ，t h ea u t h o ra i m sa tt h em e d i c i n a lb u s i n e s si n t e l l i g e n c es y s t e m i m p l e m e n t a t i o ni n c l u d i n g t h e r e q u i r e m e n ta n a l y s i s ，m e a s u r i n g o fb u s i n e s s i n t e l l i g e n c ep r o j e c t ，c h o o s i n gb u s i n e s si n t e l l i g c i i c ca p p l i c a t i o nt o o l sa n di n t e g r a t i n g t h eb u s i n e s sp r o c e s s e s b e s i d e s ，t h ea u t h o rb r i n g sf o r w a r das e r i e so fs o l u t i o n st h a t a r eh e l p f u lt ob u s i n e s si n t e l l i g e n c es y s t e mi m p l e m e n t a t i o n t i l i ss u b j e c tf u r t h e r si n v e s f i g a t eb u s i n e s si n t e l l i g e n c et e c h n o l o g yo fb e i n g a p p l i e dt ot h em e d i c i n a ls a l et r a d e ，h a sa n a l y z e de m p h a t i c a l l yt h eo l a p a n dd a t e m i n i n gt e c h n o l o g yt h a tp l a y sak e yr o l ea m o n gt h e ma n dt h e i ri m p l e m e n t a t i o n t e c h n i q u e s ，a n dt r y t oa d o p ta s p n e ta sd e v e l o p m e n tt e c h n o l o g yo fm e d i c i n e b u s i n e s si n t e l l i g e n c es y s t e m f i r s to f a l i - al o to f y e a r s d a t ao f t h ef o r m e rm e d i c i n e m a n a g e m e n ta n dq u a l i t ys u p e r v i s i n gs y s t e mi se x t r a c t e da n dt r a n s f o r m e d ，a n dt h e n 1 c a di n t ot h en e wd a t a b a s e s e c o n d l y , t h es u b j e c ti sa s c e r t a i n e da c c o r d i n gt ot h en e e d o fm e d i c i n eb u s i n e s si n t e l l i g e n c es y s t e m i nt h ee n d ，n l ed a t aw a r e h o u s ei s e s t a b l i s h e d t h em e d i c i n eb u s i n e s si n t e l l i g e n c es y s t e mi sm o s t l ym a d eu po ft w o m o d u l e st h a ta r eo l a pm o d u l ea n dd a t am i n i n gm o d u l e , w h i c hi sa c h i e v e db yb s m o d e d a t am i n i n gm o d u l e sa d o p ta p r i o r ia r i t h m e t i ca n dk - m e a n sa r i t h m e t i ci no r d e r t om i n et h ep u r c h a s eh a b i to fc u s t o m e ra n dc l a s s i f yc u s t o m e r o l a pm o d u l ec a l l s u p p l yq u i c ks e a r c h i n ga n dd a t aa n a l y z i n gf o rs a l ed e c i s i o n - m a k e r i nt h ef a c eo f c o m p l e xt y p e sa n dh u g em a g n i t u d eo fc o l o n yc u s t o m e ra n du n c e a s i n gi n n o v a t i o n 1 1 m e d i c i n ep r o d u c t ，t h i ss y s t e m ，a c c o r d i n g t ot h et r a i to fm e d i c i n es a l et r a d e ， c o m b i n i n gt h ed e v e l o p m e n to ft h et e c h n o l o g yo f d a 忸w a r e h o u s ea n dd a t am i n i n g , w h i c hc a l lm a k ei tt oc l a s s i f yc u s t o m e ra n da n a l y z et h ep u r c h a s eh a b i to fc u s t o m e r a n dq u e r yt h ec o m p l e x i o no f m e d i c i n a ls a l e k e y w o r d s ：b u s i n e s si n t e l l i g e n c e ；d a t aw a r e h o u s e ；d a t am i n i n g ；o l a p i i i 论文原创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。 文中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法 律意义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申 请的论文或成果。 本人如违反上述声明，愿意承担以下责任和后果： 1 交回学校授予的学位证书： 2 学校可在相关媒体上对作者本人的行为进行通报； 3 本人按照学校规定的方式，对因不当取得学位给学校造成的名誉损害， 进行公开道歉： 4 本人负责因论文成果不实产生的法律纠纷。 论文作者签名： 爷l 日期：掣卜年月孚日 ff 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属东北电 力大学。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时， 署名单位仍然为东北电力大学。 论文作者签名： 导师签名： 日期：立雩年上月卑日 日期：坤土月翠日 第1 章绪论 第1 章绪论 1 1 课题研究的背景及意义 1 1 1 课题研究的背景 在竞争日益激烈的商业环境中，对信息处理和利用能力的强弱是企业兴衰 成败的关键。充分地利用、发掘企业现有数据，能帮助企业决策者发现市场规 律和趋势，监控风险，面对快速变化的商业环境做出更敏捷、合理的商业决策， 从而提高企业的竞争力f l 】。随着全球经济步入信息分析的年代，企业及政府机构 都希望通过智能的软件产品和服务处理其最重要的资产信息，商务智能技 术也就是在这样的背景下孕育发展起来的。 商务智能( b u s i n e s si n t e l l i g e n c e 。简称b i ) 是运用了数据仓库( d a t a w a r e h o u s e , d w ) 、联机分析处理( o n - l i n ea n a l y t i c a lp r o c e s s i n g ，o l a f ) 和数据挖 掘( d a l a m i n i d g ，d m ) 技术来处理和分析数据的技术【2 】【3 1 ，它允许用户查询和分析数 据库或数据仓库，进而得出影响商业活动的关键因素，最终帮助用户做出更好、 更合理的决策。 数据仓库是b i 应用的基础，它是一个数据库，包含那些通常表示某个组织 机构业务历史的数据。通过分析这些历史数据，可以支持对分散的组织单元进 行从策略计划到性能评估的多级业务决策1 4 。数据仓库是在企业管理和决策中面 向主题的、集成的、与时问相关的、不可修改的数据集合，对数据仓库中的数 据进行组织是为了支持分析，而不像在联机事务处理系统中那样是为处理实时 事务。 联机分析处理是使客户端应用程序实现对数据仓库中存储的用于分析的数 据进行高效率访问的一种技术翻。o l a p 给进行分析的用户带来了很多好处。例 如：直观的多维数据模型使用户很容易就能选择、浏览和研究数据：分析查询语 言为研究复杂的业务数据关系提供了强大功能；对频繁查询的数据预先进行计 算，以便非常快地响应特殊查询。通过组织和汇总数据而为高效分析查询创建 多维数据集，o l a p 为数据仓库数据提供了一种多维表现方式。 数据挖掘支持知识发现，包括找出隐藏的模式和关联，构造分析模型，进 行分类和预测，并用可视化工具提供挖掘结果 6 1 。数据分析工具和数据挖掘工具 可以配合使用，由数据分析为数据挖掘提供预期的挖掘对象和目标，避免挖掘 的盲目性。可以说，数据仓库、o l a p 和数据挖掘技术是企业b i 的三大支柱。 本课题以药品经营质量监控管理系统吉林某大型药品销售企业的管理 系统作为选题背景，在较长的经营期间里企业积累了大量的营销数据和文档， 这些数据必然包含了长期以来市场的供求变化和价格变动的信息。本课题的医 药商务智能系统是以药品经营质量监控管理系统软件几年的生产数据作为数据 来源，从中抽取分析所要的数据，希望通过对这些数据的整理和挖掘能够发现 有用的信息，使之成为确定市场策略，改善经营方针、提高销售利润、建立友 好客户关系的决策依据。 1 1 2 课题研究的意义 随着中国加入世贸组织，中国医药行业面临着前所未有的竞争压力。药品 销售企业的经营模式必须从以产品为中心转变为以销售和客户为中心的模式， 产品的购进、生产、销售以客户需求和销售动向为导向。企业的信息化管理也 应成为经营模式改变的支撑，为企业提供客户分析、市场分析、产品销售分析 和决策分析的支撑，为提升企业的竞争力服务，为客户提供优质服务。 医药销售企业的医药运营系统多年的销售活动中，积累了各种类型的客户 及其大量交易数据。面对这些“堆积如山”的数据，如何提取对企业有用的信 息，以对企业的未来决策做出指导，传统的数据分析手段是难以实现的，人们 无法有效的利用这些数据。传统的数据分析方法( 例如排序、统计) ，只能获得这 些数据的表层信息，并不能获得数据属性的内在关系和隐含信息，这需要新的 技术来“自动地”和“智能地”分析这些原始数据，使消耗大量财力，物力， 人力所收集整理的宝贵资源得以利用。商务智能正是可以解决这个难题的新技 术，因此在医药销售中引入了商务智能技术。商务智能( b d 是对商业信息的搜集， 第1 章绪论 管理和分析过程，目的是使企业的各级决策者获得知识和洞察力。促使他们做 出对企业更有利的决策。商务智能一般由数据仓库、数据分析、数据挖掘在线 分析，数据备份和恢复等部分组成。医药商务智能系统建设的目标就是要为企 业提供一个统一的分析平台，充分利用医药运营系统中积累的宝贵数据，对其 进行深层次的发掘和分析，可以有助于发现业务发展的趋势，揭示已知的事实， 预测未知的结果，并帮助企业分析出完成任务所需的关键因素，从不同的角度 去分析企业的各种业务指标并构建业务知识模型。 1 2 商务智雒国内外研究动态 随着2 0 0 3 年1 2 月1 2 日b u s i n e s so b j e c t s 公司( 简称8 0 ) 收购c r y s t a ld e c i s i o n s 所有交易的全部结束，一个年营业额达7 3 6 亿美元的全球最大的b l 厂商诞生了 p j 。从听到关于沃尔玛超市的“啤酒”与“尿布”的故事，可以知道了b i 应用 可以如此神奇地分析出两种看似毫不相干的东西之间原来还有着千丝万缕的联 系，如今以数据仓库为核心的b i 应用正在成为国内很多用户们实旌的热点。据 i d c ( i n t e m a t i o n a ld a t ac o r p ) 最新的研究报告称【s 】，2 0 0 6 年商务智能系统的市场 规模将翻倍且在世界范围超过1 4 0 亿美元，而亚太地区b i 解决方案市场将达3 3 亿美元，这是目前市场价值1 2 亿美元的近3 倍。r r 界许多以提供软件平台和工 具平台的大公司通过多年与企业的交流。己经认识到企业对商务智能的迫切需 求，纷纷加入到从事商务智能的研究与开发上来。i b m 建立了专门从事b i 方案 设计的研究中心，o r a c l e ，微软等公司纷纷推出了支持b i 开发和应用的软件 系统，有的直接进入了b i 的开发领域。据市场分析员介绍，b i 己经成了企业信 息技术最为重要并且极具潜力的领域。 在国外己有很多实施商务智能的成功案例：a t & tu n i v e r s a l 公司通过部署商 务智能解决方案，每年减少信用卡欺诈额高达8 0 0 1 万美元；c a d b u r y 巧克力公 司借助商务智能使市场份额很快从2 8 提升到了3 0 0 , 6 ；美国第二大银行花 旗银行( c i t i b a a k ) 在b i 系统的帮助下，能够有效分析其分布于5 7 个国家的客户 和信息【9 】。 东北电力大学硕士学位论文 在国内，商务智能的应用方面还处于刚刚起步阶段，但它的需求潜力巨大。 在过去两年里，己经有不少国际商务智能公司进入中国，其中有m i c r o s t r a t e g y b u s i n e s so b j e c t s ，c o g n o s 等国际知名的传统的商务智能软件厂商，也有一些著名 的企业管理应用软件厂商，比如s a p 、甲骨文和冠群等公司投资于分析软件l l o 】。 国内用友、金蝶、创智等厂商近期也推出了这类产品。这些国内厂商方面同 国际商务智能软件厂商建立良好的合作关系以维持发展，另一方面也在积极提 升产品和解决方案的内在品质，向客户提供更完美的决策支持服务，争取与国 外厂商一比高低。 b i 的发展得益于相关技术的发展，并行处理系统、廉价数据存储、新数据 挖掘算法、神经网络技术、人工智能技术、决策支持技术、从大量数据中发现 其后潜藏的商业机会等等技术的发展。随着这些技术的不断进步，必将推动商 务智能的发展和完善。 b i 以数据为基础，因为行业的数据源非常丰富，b i 最早应用于金融、保险 等行业，而b l 在医药销售的应用还很少，基于医药销售企业对b i 的强烈需求， 有很大的发展空间。b i 在医药销售的应用主要体现在销售营销方面采取更主动 的行动以吸引客户，预测需求，及时订货和补货，实时了解供应商和代理商的 情况，优化调度、配送和运输过程，实现低库存水平等方面。 目前国内的b i 应用仍然存在许多问题，主要表现在数据分析、知识发现能 力、效率低，或者缺乏知识发现，而更像一个操作型应用系统。很难在决策支 持方面发挥b i 应有的作用。首先应该认识到b i 发展、应用的总体趋势，其次 多借鉴国外b i 成熟的技术和方法，开发或不断完善真正意义上的b i 系统。相 信本文对国内医药销售b l 系统的研究开发会有启发。 1 3 课题的特色与创新 1 本课题以药品经营质量监控管理系统作为选题背景，并且以药品经营质量 监控管理系统多年的生产数据作为数据来源，根据通用的医药商务智能系统的 需求分析设计主题并提取各个主题所需的数据，并且对数据进行必要的清洗， 第1 章绪论 最后建立了适合医药商务智能系统的通用数据仓库平台。 2 通过对具体的药品销售企业的研究分析，利用药品经营质量监控管理系统 长期经营的营销数据和客户数据，运用商务智能技术数据挖掘和联机分析 构建出医药销售分析模型、医药销售挖掘方法与客户类型挖掘方法，最终 建立了医药商务智能系统。 3 本医药商务智能系统后台采用m sa n a l y s i ss e r v i c e s 作为数据仓库，前台 采用a s p n e t 来展现分析挖掘结果，系统的开发中采用了构件技术设计在线分 析与数据挖掘两个模块中的各个子功能模块，使系统具有可扩展性。 4 后台数据的清洗、转换、导入不是全部采用m ss e r v e r 的专用数据导入 与导出工具建立实现数据仓库，而是部分采用s q l 编写 e t l ( e x t r a c t - t r a n s f o r m - l o a d 的缩写，即数据抽取、转换、装载的过程) 代码建立 数据仓库，这样可以提高数据仓库的适用性、灵活性与减少成本，故选择了自 己编写代码来实现数据的抽取与转换。 1 4 课题研究内容及主要工作 本课题以药品经营质量监控管理系统作为背景，它是吉林某大型医药销售 企业的运营软件系统，在对商务智能的理论技术进行深入研究后，采用商务智 能技术设计医药商务智能系统的数据仓库与数据分析平台，实现医药销售情况 分析、查询的方便与快捷，并为医药销售决策人员提供数据分析和决策支持。 鉴于此，本课题的主要研究如下： 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据 集合，用于支持管理决策。本医药商务系统运用数据仓库的特点建立了医药商 务系统的数据仓库，首先根据需求分析确定以时间、药品、职工、客户为四个 主题，并且确定了销售事实表，然后设计数据仓库的逻辑模型和物理模型，最 后根据物理模型设计各个维表。接下来通过自己编写e t l 代码实现从原有的医 药销售数据仓库抽取、转换、导入到数据仓库中，并在m sa n a l y s i ss e r v i c e s 建 立多维数据集。根据数据库的数据更新周期，设计了数据仓库更新功能。 东北电力大学硕士学位论文 根据医药商务智能的需求分析来设计医药商务智能系统的功能，分为两个 主要功能模块，即数据挖掘模块和在线分析模块，采用a s e n t 开发、b s 模式 实现该系统。数据挖掘模块采用两个比较经典的算法分析客户的购买习惯，并 从客户自身的特点出发进行分类，为销售管理决策人员提供了一些客户的爱好 与习惯，因此，销售决策人员可以针对客户的爱好与习惯制定销售策略；在线 分析模块用微软的m d x ( m u l l i d i m e n s i o ne x p r e s s i o n ：多维表达式) 来实现，针对现 在销售经常要用到的查询与分析的需要，主要提供了销售基本情况查询、销售 利润情况查询、销售额度情况查询、畅销和滞销情况查询、销售增加情况查询 等几种，它可以方便销售决策人员了解药品的销售量、销售利润等。根据所设 计的功能，展现各个功能的部分结果图。 第2 章商务智能相关技术研究 第2 章商务智能相关技术研究 2 1商务智能的概念及发展历程 商务智能( b i ) 是对商业信息的搜集、管理和分析过程，目的是使企业的各级 决策者获得知识和洞察力，促使他们做出对企业更有利的决策。 从技术的演进看，b i 的出现是一个渐进的、复杂的演变过程，而且仍处在 发展之中，它经历了事务处理系统( t p s ) 、管理信息系统( m i s ) 、d s s 和专家系统 ( e s ) 等阶段，最终演变成今天的企业商务智能系统( b i s ) 。 第一代b i 平台是在1 9 9 2 年至1 9 9 3 年所开发的基于c l i e n t s e r v e r 模式的固 定报表工具；第二代在c l i e n t s e r v e r b r o w s e r 三层模式下的b i 工具，尽管强化 了查询功能，但各个工具之间仍相互独立；2 0 0 0 年之后出现了n 层模式，用户 的需求也越来越复杂。目前提出的第三代b i 是在报表、查询的基础上，增加了 用于分析的指标模型、整合信息孤岛平台的信息门户和全方位满足用户的数据 挖掘能力u ”。 随着因特网的出现，在决策支持系统基础上发展b i 成为必然，因为在统一 平台上，企业能对组织内外的人员方便地发送信息，包括员工、供货商、合作 伙伴、客户，而且随着基于因特网的各种信息系统在企业中的应用，企业将收 集越来越多的关于客户、产品及销售情况在内的各种信息，这些信息能帮助企 业更好地预测和把握未来。随着因特网的迅速拓展，企业的数据来源也近乎爆 炸式地增长，企业好像是坐在数据金矿上，迫切需要一种工具挖掘出这些数据 金矿以创造更高的利润。 在决策支持系统基础上进一步发展起来的b i 能够向用户提供更为复杂的商 业信息，可以更为方便地定制各种报表和图表的格式，能够向行政管理人员、 技术人员和普通员工提供个性化的多维信息，使分析处理信息的能力和信息的 利用率大为提高。例如：当用户想了解销售情况对，可以得到按产品、产品，地区、 产品地区，客户分类的网上销售和正常柜台销售的各种样式的分析报告。在此基 础上，可以进一步解决企业决策时需要了解的各种问题，并帮助企业更快、更 好地制定和做出决策。 2 2 数据仓库技术研究 2 2 1 数据仓库的概念与特征 本世纪8 0 年代中期，数据仓库之父w i l l i a mh i l l m o n 在其著作建立数据 仓库( b u i l d i n gt h ed a t aw a r e h o u s e ) 一书中对于数据仓库给予如下描述：数据仓库 是一个面向主题的( s 蛔e c t - o r i e n m d ) 、集成的( i n t e g r a t e ) 、相对稳定的 ( n o n - v o l a t i l e ) 、反映历史变化( t i m ev a r i a n t ) 的数据集合，用于支持管理决剩1 2 1 。 根据数据仓库概念的含义，数据仓库具有以下四个特征： 1 数据仓库的数据是面向主题的操作型数据库的数据组织面向事务处理 任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域 进行组织。主题是一个层次较高的数据归类标准，它是与传统的数据库面向应 用相对应的u ”。主题是指用户使用数据仓库进行决策时所关心的重点方面，每 一个主题基本上对应一个宏观的分析领域，每一个领域有自己的逻辑内涵且互 不相交。 2 数据仓库的数据是集成的面向事务处理的操作型数据库通常与某些特 定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数 据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和集 成得到的，以消除源数据中的不一致性，保证数据仓库内的信息是关于整个企 业的一致的全局信息。 3 数据仓库的数据是相对稳定的操作型数据库中的数据通常实时更新， 数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，反映 的是一段相当长的时问内历史数据的内容，是不同时问点的数据库快照的集合 b 4 i 。数据仓库所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库 以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作， 但修改和删除操作很少，通常只需要定期的加载、刷新。 第2 章商务智能相关技术研究 4 数据仓库的数据是反映历史变化的操作型数据库主要关心当前某一个 时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从 过去某一时间点到目前的各个阶段的信息，通过这些信息，可以对企业的发展 历程和未来趋势做出定量分析和预测【1 卯。所以，数据仓库必须随着时间的变化 不断添加新的内容，即数据仓库必须不断捕捉o l t p 数据库中变化的数据，追加 到数据库中去。另外，因为数据仓库中的数据包含有大量的综合数据，这些数 据也要随着时间的变化不断的进行重新综合。 综上所述，数据仓库的建立是以现有企业业务系统和大量业务数据的积累 为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用 者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。 而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓 库的根本任务。因此，从产业界的角度看，数据仓库更像一种过程，是对分布 在企业内部各处的业务数据的整合、加工和分析的过程。 2 2 2 数据仓库系统设计步骤 数据仓库设计步骤如下： 1 概念模型设计：确定系统边界和主题域。 2 技术准备阶段：技术评估和技术环境准备。 3 逻辑模型设计：包括粒度层次的划分、为表增加时间字段、数据分割策略、 关系模式定义、去除纯操作数据、增加导出字段、记录系统定义。 4 物理模型设计：确定存储结构、确定索引策略、对表进行归并优化、确定 存放位置和存储分配等。 5 数据仓库的生成：设计接口与数据生成。 6 数据仓库的使用：建立o l a p 应用等。 7 数据仓库的维护：调整和完善系统。 东北电力大学硕士学位论文 2 2 3 数据仓库关键技术 与关系数据库不同，数据仓库并没有严格的数学理论基础。数据仓库更偏 向于工程，它是综合性的解决方案和系统工程。根据其工程过程，数据仓库的 关键技术可分为数据的抽取( e x t r a c t i o n ) 、清洗( c l e a n i n g ) 、转换( t r a n s f o r m a t i o n ) 、 装载( 1 0 a d i n g ) 和维护( m a i l l 切i 1 1 ) 等1 1 6 】： 数据抽取主要是通过网关或标准接口，例如o l ed b ，o d b c 。把原来o l t p 系统中的数据按照数据仓库的数据组织进行提取。 数据清洗主要是对源数据之间的不一致性进行专门处理，并且要去除与分 析无关的数据或不利于分析处理的噪声数据。 由于数据仓库的数据来源于多种不同的数据源。它们可能是不同平台上异 构数据库中的数据，也可能是外部独立的数据文件。因此，这些数据从结构到 类型是不一样的。为了将这些不同的分散的数据集成起来，必须对它们进行转 换后才能供分析之用。 数据维护主要是周期性地把操作型环境中的新数据定期加入数据仓库中， 刷新数据仓库的当前数据，进行重新计算和重新综合等维护修改工作。 2 3 联机分析处理o l a p 2 3 1o l a p 的定义 数据仓库是进行分析的基础，因此还必须有强有力的工具进行分析。近年 来国外新兴了- - i - j 软件技术，称为o l a p ( o n - l i n e a n a l y t i c a lp r o c e s s i n g ) ，用于支 持复杂的分析操作。o l a p 侧重对决策人员和高层管理人员的分析支持，可以应 分析人员要求快速、灵活地进行大数据量的复杂查询处理，并以一种直观易懂 的形式将查询结果提供给决策人员，以便他们准确掌握企业的经营状况，了解 市场需求，制定正确方案，增加效益。 第2 章商务智能相关技术研究 2 3 20 l a p 的实现方式 为了保证信息处理所需的数据以合适的粒度、合理的抽象程度和标准化程 度存储，以满足整个企业机构的决策支持需求，需要以多维方式存取关系数据， 或者直接操纵多维数据。由于数据在物理上存储方式的不同，形成了o l a p 的 三种实现结构：基于多维数据库的o l a p 实现( m o l a p ) 、基于关系数据库的 o l a p 实现( r o l a p ) 和基于混合数据组织的0 l a p 实现( h o l a p ) 。 1 m o l a pm o l a p 使用多维数据库管理系统来管理所需的数据或数据仓库。 多维数据库就是以多维的方式存储数据，以多维的方式来显示数据。“维”是人 们观察客观世界的角度，是种高层次的类型划分。多维数据在存储中将形成 “超立方块”的结构，在m o l a p 中对“超立方块”的“旋转”、“切块”、。切片” 是产生多维数据报表的主要技术。 2 r o l a pr o l a p 将多维数据库的多维结构划分为两类表：一类是事实表，用 来存储数据和维关键字；另一类是维表，即对每个维至少使用一个表来存放维 的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联 系在一起，形成了“星形模式”。对于层次复杂的维，为避免冗余数据占用过大 的存储空间，可以使用多个表来描述，这种星形模式的扩展称为“雪花模式”。 3 h o l a ph o l a p ( h y b r i d0 l a p ) 表示基于混合数据组织的0 l a p 实现，如低 层是关系型的，高层是多维矩阵型的【1 7 1 。这种方式具有更好的灵活性。对于访 问汇总数据的查询，h o l a p 与m o l a p 的功能相同。对于访问基本数据的查询( 如 深化到一个单个事实中) ，必须从关系数据库中检索数据，其速度不如将基本数 据存储在m o l a p 结构中快。以h o l a p 存储的多维数据集比同等的m o l a p 多维数 据集要小，而对于使用汇总数据的查询，其响应比r o l a p 多维数据集快。h o l a p 存储一般适用于在对基于大量基本数据的汇总进行查询时需要快速响应的多维 数据集。 2 4 数据仓库与0 l a p 协作的基本框架 o l a p 以数据仓库为支撑，数据仓库为o l a p 服务器和o l a pt 具软件提 供丰富的数据基础。图2 - l 是一个通用的数据仓库、o l a p 共同协作的系统结构 图。它由数据仓库的后台工具、数据仓库服务器、o l a p 服务器和前台软件等多 个部分组成t 图2 - 1 数据仓库和0 l a p 体系结构 数据仓库服务器相当于数据库系统中的d b m s ，它负责数据仓库中数据的 存储管理和数据存取，并给o l a p 服务器和前端工具提供存取接口( 如s q l 查询 接口) 。数据仓库服务器目前一般是r d b m s 。由传统数据库厂商对d b m s 加以 扩展修改以支持数据仓库的功能。 o l a p 服务器透明地为前端软件和用户提供多维数据视图。用户不必关心分 析数据( 即多维数据) 的存储地点和存储方式【l 飘。数据仓库服务器软件向o l a p 服 务器提供s q l 接口，o l a p 服务器软件向诸分析软件提供多维查询语言接口， 如o l e d b f o r o l a p 的m d x 语言。 在整个系统架构中，数据仓库居于核心地位，是数据分析的基础。o l a p 服 务器和前端软件则是整个系统发挥作用的关键。 2 5 数据挖掘 2 5 1 数据挖掘的概念 数据挖掘( d a t am i n i n g ) 是从大型数据库或者数据仓库中发现并提取隐藏在 第2 章商务智能相关技术研究 其中的信息或者知识的过程。目的是帮助分析人员寻找数据之间的关联，发现 被忽略的要素，而这些信息对于预测趋势和决策行为是十分有用的。 数据挖掘并不是一项全新的技术，它的出现与发展有着其自身的必然性。 随着数据仓库的出现，原有的数据库工具无法满足用户的需求，需要高质量的 工具从数据海洋中提取所需数据，d m 也就随之产生。数据仓库和数据挖掘是作 为两种独立的信息技术出现的。数据挖掘是通过对文件系统和数据库中的数据 进行分析，获得具有一定可信度知识的算法和技术。它从不同侧面完成对决策 过程的支持，相互间有一定的内在联系。因此，将它集成到一个系统中，形成 基于数据开采的o l a p 工具，可以更加有效地提高决策支持能力。 数据挖掘不一定要建立在数据仓库基础上，但以数据仓库为基础，对于数 据挖掘来说，源数据的预处理将简化许多；另外，为了保证结果的正确性，数 据挖掘对基础数据量的需求是巨大的，数据仓库可以很好地满足这个要求。 2 5 2 数据挖掘的方法与技术 d m 的技术基础是人工智能，它利用了人工智能中一些已经成熟的算法和技 术，例如：人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ) ，遗传算法( g e n t l e a l g o r i t h m s ) 、决策树( d e c i s i o nt r e e s ) 、邻近搜索方法( n e a r e s tn e i g h b o rm e t h o d ) 、 规则推理( r u l ei n d u c t i o n ) ，模糊逻辑( f u z z yl o g i c ) 等。下面介绍数据挖掘的几种 常用方法： 1 人工神经网络( r t i f i c i a in e u r a ln e t w o r k s )神经网络方法是模拟人 脑神经元结构，以m p 模型和h e b b 学习规则为基础。它主要有三种神经网络模 型： ( 1 ) 前馈式网络：它以感知、反向传播模型、函数型网络为代表，分别用于 预测、模式识别等方面。 ( 2 ) 反馈式网络：它以h o p f i e l d 的离散模型和连续模型为代表，分别用于联 想记忆和优化计算。 ( 3 ) 自组织网络：它以a r t 模型、k o h o l o n 模型为代表，用于聚类分析等方面。 神经网络的知识体现在网络连接的权值上，是一个分布式矩阵结构；神经 东北电力大学硕士学位论文 网络的学习体现在神经网络权值的逐步计算上( 包括反复迭代或累加计算) 。 2 返传算法( g e n e t j c i g o r i t h m s ) 遗传算法是模拟生物进化过程的算法， 由三个基本过程组成： ( 1 ) 繁殖( 选择) ：即从一个旧种群( 父代) 选出生命力强的个体，产生新的种 群( 后代) 的过程。 ( 2 ) 交叉( 重组) ：即选择两个不同的个体( 染色体) 的部分( 基因) 进行交换， 形成新的个体的过程。 ( 3 ) 变异( 突变) ：即对某些个体的某些基因进行变异( 0 变1 ，或1 变o ) ，形 成新个体的过程。 这种遗传算法可起到产生优良后代的作用。这些后代需满足适应值，经过 若干代的遗传，将得到满足要求的后代( 即问题的解) 。遗传算法已在优化计算 和分类机器学习方面发挥了显著作用。 3 决策树( d e c i s i o nt r e e s )决策树方法是利用信息论中的互信息( 信息增 益) 寻找数据库中具有最大信息量的属性字段，建立决策树的一个结点，再根据 该属性字段的不同取值建立树的分支，在每个分支子集中重复建立树的下层结 点和分支的过程。 在数据挖掘中应用人工智能技术还有邻近搜索方法( n e a r e s tn e i g h b o r m e t h o d ) 、集合论的粗集方法( r o u g hs e t h ) 、规则推理( r u l ei n d u c t i o n ) 、模糊 逻辑( f u z z yl o g i c ) 、公式发现等。 2 5 3 数据挖掘的分析方法 从功能上可以将d m 的分析方法分为以下四类1 1 9 】( 根据i b m 的划分方法) ：关 联分析( a s s o c i a t i o n s ) 、序列模式分析( s e q u e n t i a lp a t t e r n s ) 、分类分析 ( c l a s s i f i e r s ) ，聚类分析( c l u s t e r i n g ) 。 1 关联分析( a s s o c i a t i o n s ) 关联分析的目的在于挖掘出隐藏在数据间的 相互关系。关联分析就是给定一组i t e m 和一个记录集合，通过分析记录集合， 推导出i t e m 阆的相关性，例如，。7 2 包含i t e m a ，b 和c 的记录同时也包含i t e m d 和e 。”其中百分比称为规则“包含i t e ma ，b 和c 的记录同时也包含i t e mn 第2 章商务智能相关技术研究 量| _ i 皇目量量皇皇量! 量皇皇篁皇量皇奠| _ 和e ”的可信度，而a ，b ，c 则被称为d ，e 的对立面 2 序列模