（管理科学与工程专业论文）erp与商务智能整合应用的研究.pdf

摘要 随着信息技术的发展和企业数据量的迅速增长，商务智能技术给e r p 的发展 带来了新的机会。e r p 与商务智能的整合应用使企业能够利用数据仓库、o l a p 和 数据挖掘等技术，从e r p 数据源提取有用的数据，再将数据转变为信息来指导企 业行动，从而最小化企业用于决策的时削，最大化企业对资源的利用率。 本文对e r p 与商务智能整合应用的相关理论和实现技术进行了分析和研究， 主要包括e r p 功能模块、数据仓库体系结构、商务智能系统架构、数据的e t i 。技 术、维度技术、o l a p 和数据挖掘技术。同时指明了数据仓库是e r p 与商务智能整 合应用的桥梁。 本文在e r p 与商务智能整合应用的基础上，设计了e r p 商务智能系统的总体 结构、功能体系结构和技术体系结构；对分析主题的确立、数据转换、智能分析 以及管理理论在系统建设中的应用问题提出了新的见解；完成了e r p 商务智能系 统的整体设计方案和开发流程方案。e r p 商务智能系统可简单描述为：商务智能处 于高度整合的e r p 环境下，e r p 数据仓库和e r p 应用系统通过接口紧密结合，元数 据在它们之间流动：e t l 工具从e r p 系统中提取合适的数据，然后将其放入以商务 主题为导向的e r p 数据仓库中，再利用商务智能技术和工具进行数据分析，最终 将可视化的结果展示给决策分析人员。 本课题以金蝶e r p 的管理模式和锦州山河纺纱厂的销售业务作为依托，采用 理论与实践相结合的方式，对e r p 商务智能系统进行了详细设计和实例开发，包 括分析主题的确立，数据仓库的设计与建立、有用数据的选取和转换、o l a p 模型 的设计、o l a p 多维数据集的生成、数据挖掘模型的设计以及客户端界面的设计和 实现。 关键词：e r p ；商务智能；数据仓库；o l a p r e s e a r c ho f t h ei n t e g r a t i v ea p p l i c a t i o no f e r pa n db u s i n e s s i n t e l l i g e n c e a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n to fi ta n dt h eq u i c ki n c r e a s eo fe n t e r p r i s e s d a t a ，t h e t e c h n o l o g yo fb u s i n e s si n t e l l i g e n c e ( b i ) h a sb r o u g h tn e wo p p o r t t m i t yf o re r p i n t e g r a t i n gb ii n t oe r ps y s t e mw i l la s s i s te n t e r p r i s e sd r a wu s e f u ld a t af r o me r pd a t a s o u r c ea n dc h a n g et h ed a t ai n t oi n f o r m a t i o nt og u i d ea c t i o n sb ym a k i n gu s eo fd a t a w a r e h o u s e ，o l a p ，a n dd a t am i n i n gt e c h n o l o g y t h a tw i l lm i n i m i z et h et i m eo fd e c i s i o n a n dm a x i m i z et h eu t i l i z a t i o nr a t eo ft h er e s o u r c ef o re n t e r p r i s e s t h et h e s i ss t u d i e st h et h e o r ya n dt e c h n o l o g yi n c l u d i n ge r pf u n c t i o nm o d u l a r ，d a t a w a r e h o u s ea r c h i t e c t u r e ，b is y s t e ms t r u c t u r e ，e t l ，d i m e n s i o n ，o l a pa n dd a t am i n i n g t e c h n o l o g y a tt h es a m et i m e ，i tp o i n t so u tt h a td a t aw a r e h o u s ei st h eb r i d g el i n k i n g e r pa n d b i b a s i n go nt h ef o u n d a t i o no fi n t e g r a t i n gb ii n t oe r ps y s t e mt h a tt h et h e s i sh a s s u m m a r i z e d ，i td e s i g n st h ew h o l es t r u c t u r e ，t h et e c h n i c a la r c h i t e c t u r ea n dt h ef u n c t i o n a r c h i t e c t u r ea n dp u t sf o r w a r dn e wv i e wa b o u td a t ac o n v e r s i o n ，i n t e l l i g e n c ea n a l y s i sa n d t h em a n a g e m e n tt h e o r ya p p l y i n gi nc o n s t r u c t i n gt h es y s t e m m e a n w h i l e ，t h et h e s i s a c h i e v e st h ew h o l ed e s i g ns c h e m ea n dt h ew o r k f l o w t h ee r pb is y s t e mc a l lb e d e s c r i b e da s ：b u s i n e s si n t e l l i g e n c ei si nt h ei n t e g r a t i v ee r pe n v i r o n m e n t ，e r pd a t a w a r e h o u s ea n di t sa p p l i c a t i o ns y s t e mc o m b i n ee a c ho t h e rt h r o u g hi m e r n c e ，m e t a d m a f l o w sb e t w e e nt h e m e t lt o o l se x t r a c t sd a t af r o me r ps y s t e mt h e np u ti ti n t oe r pd a t a w a r e h o u s ew h i c hi so r g a n i z e db yb u s i n e s st l l e m e t h e np e o p l eu s i n gb it e c h n o l o g ya n d t o o l st oa n a l y z ed a t a e v e n t u a l l y ，t h ev i e w d a t aw i l lb ed i s p l a y e dt oa n a l y s i sp e o p l e b yw a yo f j o i n i n gt h e o r yw i t hp r a c t i c e ，t h es u b j e c th a sc a r r i e do u td e t a i l e dd e s i g n a n di n s t a n c ee x p l o i t a t i o no fe r pb is y s t e mr e l y i n g0 nb o t ho ft h ee r pm a n a g e m e n t p a t t e r no fk i n g d e ea n dt h es a l eo p e r a t i o no fj i n z h o us h a n h es p i n n i n gm i l l ，i n c l u d i n g e s t a b l i s h i n gt h ea n a l y s i st h e m e ，b u i l d i n gd a t aw a r e h o u s e ，e x t r a c t i n ga n dc h a n g i n g u s e f u l d a t a ，d e s i g n i n go l a pm o d e l ，b u i l d i n go l a pm u l t i d i m e n s i o n a ld a t as e t ， d e s i g n i n gd a t am i n i n gm o d e la n dr e a l i z i n gc l i e n ti n t e r f a c e s k e yw o r d s ：e r p ；b u s i n e s si n t e l l i g e n c e ；d a t aw a r e h o u s e ；o l a p 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博士硕士学位论文 ：e 墅曳直鑫望能墼盒廑旦笪婴盔：。除论文中已经 注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均己在文中以明 确方式标明。本论文中不包含任何末加明确注明的其他个人或集体已经公开发表 或未公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名 学位论文版权使用授权书 洳锌孑月i 日 本学位论文作者及指导教师完全了解“大连海事大学研究生学位沦文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。 一：獠f i 滋篇静f i 期：砌厶年( 月y 第1 章绪论 1 1 课题的提出及实践意义 二十世纪九十年代初期，美国加特纳公司g a r t n e rg r o u pi n c 首次提出了e r p ( e n t e r p r i s er e s o u r c ep l a n n i n g ) 的概念。十几年来，e r p 系统在全球范围内的 企业里推广实施并取得了巨大的成功。但是如果只停留在e r p 层面就会发现，各 类信息被分割开，很难有效地进行综合应用，很难提供有效的决策支持。 传统e r p 对原始数据做高效的实时加工，产生大量的目标数据，这是企业数 掘生命周期的第一阶段。从数据利用的观点看，e r p 系统里大量的数据除了“备 查”、“跟踪”之外，很少被使用。e r p 系统更大的潜力并没有发挥出来，迅速增 长的数据量还成为系统沉重的负担“1 。然而，e r p 系统里的数据记载着企业的生命 轨迹，隐含着企业的发展方向，只是苦于e r p 没有办法来识别它。对高层管理人 员来说，通过e r p 能够得到的仅仅是企业运行的实时业务数据和浅层次的信息， 而他们需要的往往是综合的、历史的、反映全过程的信息。从本质上说传统e r p 系统中保留的是数据而不是信息，高层管理人员很难直接利用。产生以上两个问 题的主要原因是采用普通的联机事物处理( o n 一1 i n et r a n s a c t i o np r o c e s s i n g o l t p ) 技术的e r p 无法同时满足高效作业和决策支持两项需求，造成海量数据 与信息“孤岛”并存m 。 实施了e r p 的电信、金融、证券、税务、商业等行业企业已积累了大量数据， 并将产生大量新的数据，因此企业迫切需要找到一种合适的数据处理技术，来帮 助解决与企业生死、效率和效益相关的重大问题。 商务智能( b u s i n e s si n t e l l i g e n c e 一一b i ) 采用先进的数据仓库( d a t a w a r e h o u s e d w ) 、联机分析处理( o n l i n ea n a l y t l e a lp r o c e s s i n g o l f 、p ) 和数据挖掘( d a t am i n i n g d m ) 技术，是企业信息化的新领域，是企业数据生 命周期的第二阶段。目前，建立商务智能主要存在两个障碍：一是组织自身的问 题；二是缺乏集成技术和明智的方案。3 。商务智能的实现依赖于大量的、准确的、 真实的数据；而e r p 系统产生了大量的、准确的、真实的数据。因此，将商务智 能建立在e r p 系统原始数据的基础上，使孤立、分散的企业数据按历史顺序彼此 相关，并且按高效、易于提取的结构进行存储，让用户可以按不同的透视方法进行 快速分析，不失为一种良好的解决方案。 从上面的分析中可以看出，将e r p 与商务智能整合应用代表了e r p 和商务智 能共同的发展方向。因此，研究e r p 与商务智能整合应用的课题有着深刻的实践 意义： 1 解决海量数据与信息“孤岛”并存的矛盾，提供准确的、及时的、可供决 策的信息，以较合理的代价取得有效的决策支持。 2 缩短管理人员用于整理数据的时间，充分发挥其潜能，提高决策效率。 3 对于o l a p 来说可以顺利的得到丰富的数据源，节省专门的数据采集成本。 4 数据仓库与业务系统分离，分析处理丝毫不影响业务系统的晌应时间。“。 1 2 研究现状综述 目前，人们对于商务智能在e r p 中的应用已经作了一些探讨和研究，如基于e r p 系统的数据仓库体系结构；e r p 系统与数据仓库的集成；面向e r p 的数据挖掘；商 务智能工具的设计和实现等等。国外部分e r p 厂商推出了自己的一些产品，以提 供这方面的支持。如s a p 的r 3 和o r a c l e 的o r a c l ea p p 。它们在e r p 中增加了“商 务智能分析”功能，从而使e r p 集成了两种数据处理方法：传统的o l t p 和新增的 o l a p ，同时将e r p 的业务处理系统和商务智能分析连接起来。国内的各大e r p 厂 商也纷纷加紧了实施商务智能的步伐：用友公司联手m i c r o s t r a t e g y 公司及其中 国区总代理f i r s t b i 公司，推出用友e r p 一0 8 商务智能解决方案；金蝶软件公司与 商务智能解决方案供应商b r i os o f t w a r e 公司正式签署了双方共同进军e r p 市场 的合作协议等等。 虽然有了起步，但由于经济和技术的原因，e r p 与商务智能整合应用的情况并 不普遍，而且大多数e r p 商务智能系统的实现都需要企业自己建模。目前，研究 者们的焦点大多集中于商务智能或是e r p 本身，而对e r p 与商务智能整合应用的 研究却不多，至今作者还没有发现针对这一问题的专著。对e r p 商务智能系统的 实现缺乏系统的指导。 1 3 研究内容 本文针刘以上的问题，在大量理论研究的基础上，运用e r p 、数据仓库和商务 智能理论，结合数据转换、o l a p 、数据挖掘和而向对象技术，采用理论与实践相 结台的方式力求提出一个具有普遍适用性的e r p 商务智能系统设计方案，指导 企业e r p 商务智能系统的实现。同时本文以实际的e r p 系统为依托，完成了e r p 商务智能系统的设计与实现。 1 4 论文的组织结构 本文的章节结构安排如下： 第章绪论： 概述课题提出的原因和课题的研究现状，阐明本文的研究内容以及章节安排。 第二章相关理论综述 系统的阐述e r p 、数据仓库和商务智能的原理和体系结构并加以简单的分析， 这些是e r p 商务智能系统实现的理论基础。 第三章e r p 与商务智能整合应用的核心技术 详细的分析e r p 与商务智能整合应用的核心技术，主要是数据的抽取、转换、 加载技术，多维技术和数据分析技术。 第四章e r p 商务智能系统的整体设计方案 根据对理论与技术的研究，结合管理的理论与思想，完成e r p 商务智能系统 的整体设计方案和开发流程方案，提出e r p 商务智能系统的总体结构、功能结构 和技术结构。 第五章e r p 商务智能系统的设计与实现 以实际的e r p 系统作为研究背景，对e r p 商务智能系统进行详细设计和实例 开发，并指出实现过程中需要注意的问题。 第六章结论 总结全文所做工作，指出下一步的研究内容。 总结全文所做工作，指出下一步的研究内容。 第2 章相关理论综述 2 1e r p 理论分析 2 0 世纪4 0 年代初期，西方经济学家提出了订货点的方法和理沦，并将其运用 于企业的库存计划管理中；2 0 世纪6 0 年代中期，美国i b m 公司的管理专家约瑟 夫奥利弗博士首先提出了独立需求和相关需求的概念，并在此基础上总结了物 料需求计划( m a t e r i a lr e q u i r e m e n t sp l a n n i n g m r p ) 理论；2 0 世纪8 0 年代中期， 美国著名生产管理专家奥列弗怀特提出了制造资源计划的概念( m a n u f a c t u r in g r e s o u r c e sp l a n n i n g m r pi i ) ，它以生产计划为主线，对企业制造的各种资源进行 统一计划和控制，是融合了企业物流、资金流和信息流的动态系统；随着全球经 济、信息技术和现代管理思想的发展，2 0 世纪9 0 年代初期，m r p i i 发展到了一个 新阶段e r 1 。 2 1 1e r p 的理论界定 e r p 是由美国著名的计算机技术咨询和评估集团g a r t e rg r o u p 公司提出的一 整套企业管理系统体系标准，是指建立在信息技术基础上，利用现代企业的先进 管理思想，全面的继承了企业的所有资源信息，并为企业提供决策、计划、控制 与经营业绩评估的全方位和系统化的管理平台。3 。 下面本文从理论基础、软件基础和管理系统三方面给出e r p 的涵义： 1 e r p 理论从m r p i i 发展而来，除继承了m r p i i 的基本思想外，还扩展了管 理的模块，如多工厂管理、质量管理、设备管理、运输管理、分销资源管理等模 块。m r p i i 的核心是物流，主线是计划；e r p 的主线也是计划，但管理的重心转移 到财务上，是对企业运作和供应链的全面管理“1 。 2 e r p 是综合应用了c s 或者b s 体系、关系数据库结构、面向对象技术、 图形用户界面、第四代语言( 4 g l ) 、网络通讯等信息产业成果，以现代管理思想为 灵魂的软件产品。同时，为满足企业的不同信息系统的集成应用，e r p 又发展成了 具有中间件的企业应用套件。 3 e r p 把企业看成是完整的系统，对企业管理理念、业务流程、基础数据、 人力物力、计算机硬件和软件进行整合，借助计算机和网络技术，对企业内部和 4 外部的有关资源进行全面的监控和管理，按照集成的方式来处理企业的各项活动， 把企业各项生产经营活动看成是一个紧密连接的有机整体。 2 1 2e r r 的功能模块简介 e r p 中的数据是按照面向事物处理的方式进行组织和存储的。一般e r p 系统包 含四大功能模块：财务管理模块、生产管理模块、物流管理模块和人力资源管理 模块。此外还可能包含质量管理、设备管理等模块。其中，每一模块分别由几个 功能相对独立的子模块构成。e r p 系统的总体流程图如图2 1 所示。 图2 1e r p 系统总体流程图 f i g 2 1m o d e lo f e r ps y s t e m 1 财务管理模块”1 财务管理模块是e r p 整个方案中至关重要的一部分，它和系统的其它模块有 相应的接口，能够相互集成。一般的e r p 软件的财务部分包含会计核算与财务管 理两部分：会计核算部分主要是记录、核算、反映和分析资金在企业经济活动中 的变动过程及其结果，由总账管理、应收账管理、应付账管理、现金管理、固定 资产管理、工资管理和成本管理等子模块构成；财务管理的功能主要是基于会计 核算的数据，再加以分析，从而进行相应的预测，管理和控制活动。 2 生产管理模块【 这一部分是e r p 系统的核心，它将企业整个生产过程有机的结合在一起，使 企业能够有效的降低库存，提高效率。同时能够将各个原本分散生产流程自动连 接，使生产流程前后连贯进行。它包括主生产计划、物料需求计划、能力需求计 划、车间控制和制造标准等子模块。 3 物流管理模块”1 物流管理模块主要针对企业内部的物流管理，它包括分销管理、库存控制、 采购管理等子模块，目的是平衡企业内部的物资流，以提高收益率。 4 人力资源管理模块“1 人力资源管理模块和e r p 中的财务、生产管理模块组成了一个高效的、具有 高度集成性的企业资源系统。它包括人力资源规划的辅助决策、招聘管理，工资 核算，工时管理，差旅核算，培训管理等子模块。 除了几个核心功能模块之外，目前的e r p 系统大多包含了扩展功能模块，也 有人将融入了扩展功能的e r p 系统称为e r p i i 。e r p 的扩展功能主要有： 1 供应链管理 把客户需求和企业内部的制造活动以及供应商的制造资源整合在一起，形成 一个完整的供应链，将从供应商到企业再到客户中间的物流、信息流、资金流、 程序流、服务和组织加以整合化和实时化”3 。 2 客户关系管理 利用企业数据仓库分析、整合企业的销售、营销及服务信息，从企业现存数 据中挖掘出所有关键的信息，自动管理现有顾客和潜在顾客数据，协助企业实现 目标营销的理念，给企业带来更好的销售机会”3 。 3 电子商务 电子商务一般指具有共享企业信息、维护企业问关系，及产生企业交易行为 等三大功能的远程通讯网络系统。目前e r p 软件供应商提供的电子商务应用方案 主要有三种：一是提供可外挂于e r p 系统下的s c m 功能模块，如：让企业依靠整 合、实时的供应链信息去自动订货的模块；二是提供可外挂于e r p 系统下的c r m 功能模块，如：让企业建置、经营网络商店的模块；最后是提供中介软件来i 办助 企业整合前后端信息，使其达到内外信息全面整合的效果”3 。 4 利用先进的信息技术 i n t e r n e t 技术使企业之间的信息传递更加畅通；面向对象技术的成熟使企业 内部的重组变得更加快捷；数据仓库、数据挖掘技术的发展为e r p 系统支持决策 提供了更加广阔的发展前景。 2 1 3e r p 对决策支持的不足 e r p 的应用实现了企业内部核心业务流程的信息集成以及企业外部供应链的 信息集成8 1 。大多数的e r p 软件都提供了一些决策支持功能，决策支持所涉及的查 询可以为最终决策提供一定的帮助，e r p 的查询结果将使决策者对生产销售数据有 概括的了解。但是根据e r p 数据处理的特点分析，不难看出e r p 对决策的支持有 着明显的不足。 首先，e r p 是面向事务处理的，由于不同层次的管理人员对数据的要求是不同 的，因而处理决策相关问题时，e r p 系统要面向不同的用户提供不同的数据，这常 常要在日常事物级别上进行，耗费大量的系统资源并且性能低下。其次，这些决 策支持功能大多都是做在各个模块当中，不能成为一个统一的整体。对于需要集 成数据的决策应用来况，必须由企业编程人员编写专门的程序消除这些信息孤立 情况以使这些数据集成起来。可是，数据集成是一项十分繁琐的工作，都交给应 用程序完成势必会大大增加编程人员的负担，而且会导致极低的处理效率，也不利 于系统的维护。此外，由于e r p 系统处理的大多是细节数据，它能提供的统计数 据量和决策功能都十分有限，提供的查询比较简单，因此很难满足企业日益增长 的决策需要。 2 2 数据仓库原理 数据仓库是e r p 与商务智能之间的桥梁。数据仓库不是要取代原有的数掘库， 而是要把大量的数据转换成为可靠的、商用的信息以便用于支持决策。它依然用 数据库管理系统来管理其中的数据。 2 2 1 数据仓库的定义和特点 数据仓库之父w h i n m o n 博士对数据仓库的定义得到了大多数学者和工程人 员的接受：“数据仓库是面向主题的、集成的、不同时间的、稳定的数据集合，用 以支持经营管理中的决策制定过程”。”由此定义可以看出，数据仓库具有如下的 特征“： 1 _ 数据仓库是面向主题的，主题是数据归类的标准，每个主题对应一个客观 分析领域。 2 数据仓库是集成的。来自不同数据库的数据按照数据仓库的统一模式集 成，通过元数据，决策者能非常清晰地理解数据的含义。 3 数据仓库是稳定的。数据仓库的内容极少改变。 4 数据仓库能够容纳很长时间的历史数据。数据仓库内的数据时限为5 年至 1 0 年；数据量很大，一般为i o g b 左右，大型数据仓库达到t b 级。 5 数据仓库是随着时间变化的，这比仅仅具有当前数据的数据库更有价值。 2 2 2 数据仓库的体系结构 数据仓库体系结构是一种方法，使用该方法可表示所有的数据结构、通信、 处理以及对终端用户处理的呈现“。数据仓库体系结构如图2 2 所示： 图2 2 数据仓库的体系结构1 1 f i g 2 2 a r c h i t e c t u r eo f d a t a w a r e h o u s e 1 数据源层数据仓库的数据来源。 2 数据后端处理层数据源中的数据经抽取、转换最终成为数据仓库所需 要的数据。 3 数据仓库层数据仓库负责存储用于分析、决策的数据。此层包含元数 据管理部分，它负责对元数据进行管理。 4 数据集市层局部数据仓库或部门数据仓库，为指定的应用提供数据。 5 数据分析访问层包括各种对数据仓库的数据分析和数据访问，如利用 o l a p 进行数据分析，数据仓库应用程序等。 2 2 3 数据仓库中几个重要的概念 1 数据集市 数据集市可以理解为数据仓库的子集，它面向更详细的业务主题“。数据集 市中的数据大多通过汇总而成，而不是详细的业务数据。数据集市一般作为局部 数据仓库或部门级数据仓库。 2 粒度 粒度是指数据仓库中数据单元的详细程度和级别。数据越详细，粒度就越小， 级别也就越低；数据综合度越高，粒度就越大，级别也就越高1 。粒度的具体划 分将直接影响数据仓库中的数据量以及查询质量。数据仓库中的数据粒度可以根 据应用的需要采取单一粒度形式或多重粒度形式。 3 数据分割 数据分割指把逻辑上整体的数据分割成较小的、可以独立管理的物理单元进 行存储的方法。使用数据分割能够便于数据的重构、重组和恢复，以提高创建索 引和顺序扫描的效率，使用数据分割同时也可有效地支持数据概括“。数据分割有 几种策略：水平分割、垂直分割和硬件式分割。水平分割主要包括：以时间为基 准将数据分割成相等或不相等的区块；以某一维度为基准来分割数据；将数据分 割为相同大小的区块。垂直分割是将事实表中的某一个字段和某些字段做纵向的 筛选，而成为一个数据分割。硬件式分割是采用多硬件平台，将数据分割至不同 的硬件平台上“”。 4 数据组织“4 3 数据仓库中的数据通常采用分级的方式进行组织，包括高度综合级、轻度综 合级、当前细节级、早期细节级。当前的数据首先进入当前细节级，然后根据应 用的需求，通过预运算将数据聚合成轻度综合级和高度综合级，老化的数据进入 早期细节级。常见的数据组织形式有简单堆积结构、轮转综合数据存储、简单直 接文件和连续组织。 5 元数据 元数据是关于数据的数据，是对数据的结构、内容、键码、索引等的一种描 述。数据仓库中的元数据是数据仓库结构的信息目录，全面的描述了数据仓库中 的数据，提供了有关数据的环境“。在数据仓库环境下，主要有三种元数据：第 一种是描述仓库数据技术特征的数据，如数据类型、列名等；第二种是为了从操 作型环境向数据仓库转化而建立的元数据，如数据转换规则等；第三种是描述仓 库数据商业特性的元数据，如数据所有权和商业规则等。 2 2 4 数据仓库的数据模型 数据仓库的数据模型包括概念模型，逻辑模型，物理模型，元数据模型和数 据粒度模型。数据仓库的设计是在概念模型、逻辑模型和物理模型的依次转换过 程中实现的。作为数据仓库的灵魂元数据模型则自始至终伴随着数据仓库的 开发、成长与使用。数据粒度模型也在数据仓库的创建中发挥着指导者的作用， 指导数据仓库的具体实现“。 概念模型是企业模型到数据仓库高层模型的映射，是联系主观和客观的桥梁。 目前的数据仓库一般建立在关系数据库的基础之上，为了和原有的数据库概念模 型一致，可以采用e r 图表达概念模型“。概念模型的结果还可以用星型模型和 雪花模型来表示。 逻辑模型是概念模型到物理模型转变的桥梁。在进行逻辑模型设计时，一般 需要完成分析主题域、确定粒度划分、确定数据分割策略、关系模式的定义和记 录系统的定义、确定数据抽取模型等。 数据仓库的物理模型就是逻辑模型在数据仓库的实际存储模式。在物理模型 设计阶段，需要确定数据仓库的设计规范、数据结构的类型、确定索引策略、确 定数据存放位置以及数据的存储分配策略。 2 3 商务智能理论 2 ，3 ，1 什么是商务智能 商务智能的定义众说纷纭。d a t aw a r e h o u s ei n s t i t u t e 认为：商务智能是将 数据转换成知识并将知识应用到商业行为上的一个过程；g a r t n e rg r o u p 则认为“商 务智能是将数据转换成信息的过程，然后通过发现将信息转化为知识”；被称为 “法国的比尔盖茨”的商务智能大师利奥托德认为：商务智能是指将存储于各 种商业信息系统中的数据转换成有用信息的技术，它允许用户查询和分析数据库， 可以得出影响商业活动的关键因素，最终帮助用户做出更好、更合理的决策。 本文在总结商务智能的众多定义之后，将商务智能定义为：商务智能是企业 利用现代信息技术收集、管理和分析结构化、半结构化和非结构化的数据，创造 出商务知识和商务信息用以提高决策水平，采取有效的商务行动，完善各种商务 流程，提升商务绩效，增强企业综合竞争力的过程。从数据分析的角度看，商务 智能是为了解决商业活动中遇到的各种问题，利用各种信息系统进行高质量的信 息收集、分析、处理的过程，其基本功能包括个性化的信息分析和预测发展趋势。 从应用的角度看，商务智能可以帮助用户对商业数据进行分析处理，帮助企业解 决商业问题，辅助决策，以便更好地实现商业目的“。 商务智能的技术体系主要有数据仓库、o l a p 以及数据挖掘三部分组成：数据 仓库是商务智能的基础；o l a p 技术能从多种角度将从原始数据中转化出来的信息， 进行快速、一致、交互地访问，从而获得对数据的更深入的了解；数据挖掘是一 种决策支持过程，它可以高度自动化地分析企业原有的数据，做出归纳性的推理， 从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调熬市场策略，减 少风险，做出正确的决策。 2 3 2 商务智能系统的架构 美国数据仓库研究院把商务智能比作“数据炼油厂”，如图2 3 所示。它将商 务智能的应用过程描述为“数据信息知识计划行动”的过程。 图2 3 商务智能一数据炼油厂“7 f i g 2 3b i d a c ar e f i n e r y 根据对商务智能的理解，借鉴美国数据仓库研究院的“数据炼油厂”，本文总 结了商务智能系统( b i s ) 的架构，如图2 4 所示。商务智能系统架构与数据仓库 体系结构的本质区别在于：数据仓库体系结构中，数据仓库是主体，是数据仓库 体系结构的充分必要条件，而数据分析访问仅仅是数据仓库的应用部分；商务智 能系统架构中，数据仓库仅仅是商务智能系统的重要组成部分，数据分析访问是 实现商务智能的充分必要条件。商务智能系统架构由以下组件构成： 1 原始数据层商务智能系统的数据源，存储在这里的数据和数据问的关 系保持着历史的真实性。 2 数据准备层在这里，原始数据层的有效内容将被整合、清洗并转换为 所需要的形式。 3 数据仓库层这里保存着大量的、面向主题的、集合的数据，作为进一 步分析的数据源。 4 数据分析层这一部分体现系统智能的关键，一般采用o l a p 和数 据挖掘技术对数据进行分析和处理。 5 数据展示层向商务智能环境的收益者提供实际的分析结果，同时，要 保证系统分析结果的可视化，形式有报表、数据表等。 原囝 数 ( = j 陬西 l 厂 i 据 i 数据l 整l 茔鸳 数竖；型 准 数i 仓库i 据p 8 备 饕商 董国 檗l 口l 始固 层 譬 一 层网 i 一 辇i 簇i 一，+ 剖睦 p 图 k - - - - - - - 4 层 罔 l 方数l 吲 企业应用服务 十 剀2 4 商务智能系统架构 f i g 2 4i n f r a s t r u c t u r eo f b i 2 b i 轩2 台 i s 入口 2 3 3 商务智能的主要应用 1 简单的报告和查询i ：在这一层次，商务智能仅仅是把信息进行粗加工。 用户向系统提出的问题是“告诉我发生了什么”。 2 o l a p t ”1 ：能够让用户分析信息，并且对信息更好地融会贯通。不仅要问发 生了什么，还要问为什么会发生。 3 经理信息系统m 1 ：信息要以容易使用的形式出现，比如说以一些主要业务 指标的形式出现。用户希望能够在不太费力的情况下，从系统中获取大多数信息。 4 ，数据钻取m 1 ：通过统计方法，可以详细展现未来的景象。比如说，通过利 用商务智能工具，我们能够预测哪种客户最有可能购买我们的新产品。在这种情 况下，我们的问题就是：告诉我未来会发生什么。 5 互联网呻1 ：商务智能平台不仅仅局限在企业内部，而是可以扩展到一个比 较大的范围，让更多的用户来共享信息。 第3 章e r p 与商务智能整合应用的核心技术 3 1 数据的抽取、转换和加载 获取数据是实现e r p 商务智能系统的一个重要步骤。这一过程包括：辨识与 所研究主题相关的原始数据；确定数据抽取策略；将原始数据转换为目标格式： 将原始数据加载到目标区域。上述数据获取过程就是数据的抽取( e x t r a c t i o n ) 、 转换( t r a n s i t i o n ) 和加载( l o a d i n g ) 过程，称为e t l 过程“。e t l 过程中有两 个重要的原则：第一，尽量确保引入的仅仅是在数据分析过程中发挥有效作用的 数据；第二，必须保证被引入的数据是完整的和正确的。 数据抽取是指从各种不同的数据源收集数据并将其导入到数据仓库。数据抽 取是数据仓库成功的关键“。这一过程包括：建立系统连接读取数据提取规 则确定数据源根据源表、提取规则和最后一次提取的时间，生成动态s q l 语句利用查询出的数据生成相应的文件( 包含汇总记录) 将生成的文件转 移到公共文件夹中，同时复制一份到备份文件夹。在操作数据上执行的数据抽取， 应该依据元数据中定义的标准数据格式处理数据。 数据转换是指对准备加载的数据按照标准进行格式化处理，通过内建的库函 数、自定义脚本或其他方式，实现各种复杂的转换，并且支持调试环境，监控数 据转换的状态。数据转换可在一个专门的数据准备区内进行，它包括数据格式转 换、数据类型转换、数据汇总计算、数据拼接等等。 数据加载是将经过转换的数据加载到合适的数据仓库表中。数据加载有两个 部分：一部分是把合法数据文件直接装入表中，该加载过程没有汇总部分；另一 个部分是加载汇总数据，有时需要把初次汇总表加载到临时汇总表，根据不同类 型的数据，可能会有二次汇总。在数据加载后，还要更新数据仓库中的元数据， 以反映刚完成的数据加载活动。 在完成数据的抽取、转换和加载时，应尽量选择e t l 工具。正确选择e t l 工 具，可以从e t l 对平台的支持、对数据源的支持、数据转换功能、管理和调度功 能、集成和开放性、对元数据的管理等方面出发。目前市场上主流的e t l 工具可 以分为两大类：一类是专业e t l 厂商的产品，这类产品一般都具备较完善的体系 结构，但其价格高昂；另一类是整体数据仓库方案供应商，这类产品一般对自己 的相关产品有很好的支持，但对其他厂商产品的支持很有限“。当然，也可以根 据自己的需要，自行设计一些加载过程。 3 2 维技术和商务智能 维是一种描述性分类，指人们观察客观世界的角度，也就是决策分析者分析 数据的角度，是多维数据集中重要的组件“。例如，维可能是地理位置，也可能 是产品类型。当多维结构中的维数为3 时，可称为数据立方体；当维数大于3 时称 为超立方体“。维技术是商务智能的重要基础技术之一，对商务智能的实现非常 重要。 多维数据库可以理解为：将数据存放在类似数组的对象中，这些对象包含经 过高度压缩的索引和指针，利用这些索引和指针将许多存储数据的单元块联结在 一起。与关系数据库相比，多维数据库的优势在于可以提高数据处理速度和查询 效率等。多维数据库与数据仓库是有区别的：数据仓库中的细节数据为多维数据 库提供了健全的数据源；多维数据库只存储用户所需要的数据，数据量远低于数 据仓库；数据仓库只允许少量的灵活访问，而多维数据库允许大量的非预知的访 问和分析“。 多维模型有两种最基本的结构：星型结构和雪花型结构。星型结构也是最常 用的数据仓库拓扑结构，它使数据仓库形成一个集成系统。数据仓库可用于填充 各种数据集市，这些数据集市往往也组成星型结构，以达到较高的检索效率。它 组织实体的方式是把一个事实表放在中间，周围有各个维表与之相连“。星型结 构的核心是事实表，它是多维查询的焦点，事实表里存储真实的数据；各个维度表 都连接到中央事实表。 雪花型结构是对星型结构的扩展。雪花型结构如图3 1 所示。这种结构是在 维上增加层次结构，使每个维度可以向外连接到多个详细表中。详细表通过对事 实表在有关维上的详细描述，可以达到缩小事实表，提高查询效率的目的。比如 把地域维表连接在商店表上，或者把一个产品类别表连接在产品表上。为了某些 分析的需要，还可以对雪花型结构扩展，提高数据仓库应用的灵活性。 3 3 数据分析技术 图3 1 雪花型结构 f i g 3 1s n o w f l a k es t r u c t u r e 3 3 1o l a p 1 o l a p 的定义和特点 数据仓库是存储用于分析的数据的场地，o l a p 是允许客户应用程序有效地访 问这些数据的技术。o l a p 针对某个特定的主题进行联机数据访问、处理和分析， 通过直观的方式从多个维度、多种数据综合程度将系统的运营情况展现给使用者 “。在数据仓库应用中，o l a p 工具一般是数据仓库应用的前端工具。同时，o l a p 工具还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析的功能。o l a p 的概念最早是由关系数据库之父e f c o d d 于1 9 9 3 年提出的，他同时提出了关于 o l a p 的1 2 条准则。c o d d 提出的1 2 条准则并不是绝对的标准。随蓿o l a p 的发展， 人们提出了比较简洁的五条原则，即快速性、可分析性、共享性、多维性和信息 性，既f a s m i ( f a s ta n a l y s i so fs h a r e dm u l t i d i m e n s i o n a li n f o r m a t i o n ) 。o l a p 的特点是“： ( 1 ) 多维性。系统能够提供对数据分析的多维视图和分析，包括对层次维和 多重层次维的支持。 ( 2 ) 快速性。用户对o l a p 系统的快速反应有很高的要求，一般要求系统能 在五秒钟内对用户的多数分析做出反应。 ( 3 ) 可分析性。这是指o l a p 系统可以提供给用户强大的统计、分析和报表 处理功能。 ( 4 ) 共享性。这是指o l a p 系统应有很高的安全性。 ( 5 ) 信息性。o l a p 系统能够及时获得信息，并且管理大量的信息。这罩有许 多因素要考虑，如数据的可复制性、可利用的磁盘空间、o l a p 产品的性能等。 2 o l a p 技术 o l a p 技术中比较典型的是对多维数据的切片、切块、钻取和旋转等，它便于 使用者从不同角度提取有关数据。o l a p 技术还能够利用分析过程刑数据进行深入 分析和加工。例如，关键指标数据常常用代数方程进行处理，更复杂的分析则需 要建立模型进行计算“。o l a p 技术的核心是维，因此o l a p 也可以说是多维数据 分析工具的集合o 。 o l a p 技术主要通过多维的方式来对数据进行分析、查询和生成报表，它不同 于传统的o l t p 处理。o l t p 主要是用来完成用户的事务处理，如民航订票系统和银 行的储蓄系统等，通常要进行大量的更新操作，同时对响应的时间要求比较高。 而o l a p 主要是对用户当前的及历史的数据进行分析，辅助领导决策，其典型的应 用有对银行信用卡风险的分析与预测和公司市场营销策略的制定等，主要是进行 大量的查询操作，对时间的要求不太严格“”。 3 o l a p 结构 坷一旬一 基千关系数据存0 l 船服务器客户端 惰的数据仓库 图3 2o l a p 结构 f i g ，3 2o l a ps t r u c t u r e 目前，人们普遍采用的o l a p 结构是一种多用户的三层客