BI的选型、体系架构与相关技术_第1页
BI的选型、体系架构与相关技术_第2页
BI的选型、体系架构与相关技术_第3页
BI的选型、体系架构与相关技术_第4页
BI的选型、体系架构与相关技术_第5页
已阅读5页,还剩25页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、更多企业学学院: 中小企业业管理全能能版183套讲讲座+899700份份资料总经理、高层管理理49套讲座座+163388份资料中层管理理学院46套讲座座+60220份资料国学智慧慧、易经46套讲座座人力资源源学院56套讲座座+271123份资料各阶段员员工培训学学院77套讲座座+ 3224份资料员工管理理企业学院院67套讲座座+ 87720份资料工厂生产产管理学院院52套讲座座+ 133920份份资料财务管理理学院53套讲座座+ 177945份份资料销售经理理学院56套讲座座+ 144350份份资料销售人员员培训学院院72套讲座座+ 48879份资料更多企业学学院: 中小企业业管理全能能版18

2、3套讲讲座+899700份份资料总经理、高层管理理49套讲座座+163388份资料中层管理理学院46套讲座座+60220份资料国学智慧慧、易经46套讲座座人力资源源学院56套讲座座+271123份资料各阶段员员工培训学学院77套讲座座+ 3224份资料员工管理理企业学院院67套讲座座+ 87720份资料工厂生产产管理学院院52套讲座座+ 133920份份资料财务管理理学院53套讲座座+ 177945份份资料销售经理理学院56套讲座座+ 144350份份资料销售人员员培训学院院72套讲座座+ 48879份资料更多企业学学院: 中小企业业管理全能能版183套讲讲座+899700份份资料总经理、高层

3、管理理49套讲座座+163388份资料中层管理理学院46套讲座座+60220份资料国学智慧慧、易经46套讲座座人力资源源学院56套讲座座+271123份资料各阶段员员工培训学学院77套讲座座+ 3224份资料员工管理理企业学院院67套讲座座+ 87720份资料工厂生产产管理学院院52套讲座座+ 133920份份资料财务管理理学院53套讲座座+ 177945份份资料销售经理理学院56套讲座座+ 144350份份资料销售人员员培训学院院72套讲座座+ 48879份资料什么是BII?商业智能也也称作BII,是英文文单词Buusineess IIntellligeence的的缩写。商商业智能的的概念最

4、早早在19996年提出出。当时将将商业智能能定义为一一类由数据据仓库(或或数据集市市)、查询询报表、数数据分析、数据挖掘掘、数据备备份和恢复复等部分组组成的、以以帮助企业业决策为目目的技术及及其应用。目前,商商业智能通通常被理解解为将企业业中现有的的数据转化化为知识,帮帮助企业做做出明智的的业务经营营决策的工工具。这里里所谈的数数据包括来来自企业业业务系统的的订单、库库存、交易易账目、客客户和供应应商等来自自企业所处处行业和竞竞争对手的的数据以及及来自企业业所处的其其他外部环环境中的各各种数据。而商业智智能能够辅辅助的业务务经营决策策既可以是是操作层的的,也可以以是战术层层和战略层层的决策。为

5、了将数数据转化为为知识,需需要利用数数据仓库、联机分析析处理(OOLAP)工工具和数据据挖掘等技技术。因此此,从技术术层面上讲讲,商业智智能不是什什么新技术术,它只是是数据仓库库、OLAAP和数据据挖掘等技技术的综合合运用。图 1 商商务智能的的发展因此,把商商业智能看看成是一种种解决方案案应该比较较恰当。商商业智能的的关键是从从许多来自自不同的企企业运作系系统的数据据中提取出出有用的数数据并进行行清理,以以保证数据据的正确性性,然后经经过抽取(EExtraactioon)、转转换(Trransfformaationn)和装载载(Loaad),即即ETL过过程,合并并到一个企企业级的数数据仓库

6、里里,从而得得到企业数数据的一个个全局视图图,在此基基础上利用用合适的查查询和分析析工具、数数据挖掘工工具、OLLAP工具具等对其进进行分析和和处理(这这时信息变变为辅助决决策的知识识),最后后将知识呈呈现给管理理者,为管管理者的决决策过程提提供支持。图 2 商商务智能的的原理BI的选型型要选型,首首先要了解解目前市场场上主流的的BI产品品:数据库方面面,有DBB2、Orraclee、SQLL Serrver、Teraadataa,早先还还有专门用用于数据仓仓库的Reedbriick(被被IBM收收编以后,退退出历史舞舞台)。ETL工具具上,像DDatasstagee、Powwerceente

7、rr都是比较较主流的,此此外,还有有很多公司司也有自己己的ETLL产品,例例如SASS的ETLL Serrver、BO的DData Inteegrattor等。OLAP工工具上,则则还可以细细分为MOOLAP(MMuiltt-Dimeensioon OLLAP,多多维度型在在线分析系系统)和RROLAPP(Rellatioonal OLAPP,关系型型在线分析析系统),前前者可以选选择Hypperioon、Coognoss、Miccrosooft公司司的产品,而而后者可供供选择的余余地就不多多,像Miicrosstrattegy可可能是目前前能够看得得见市场份份额比较大大的,以前前和Reddb

8、ricck一起。此外,还还有一个叫叫Metaacubee的ROLLAP工具具,早在22000年年以后也退退出市场。数据挖掘产产品领域,有有SAS、SPSSS等两大厂厂家,而像像IBM、Teraadataa也都有自自己的挖掘掘工具。除除此之外,在在报表服务务器、前端端工具上的的选择可就就多了,其其中,Coognoss、BO、Brioo是比较主主流的。从这些主流流产品来看看,大多是是舶来品。国内也有有研发BII产品的,但但多限于EETL、前前端以及数数据挖掘产产品。从目前各类类用户的产产品选型过过程来看,问问题多出在在以下几个个方面。其一,只见见树木不见见森林,只只顾得降低低单个工具具的成本,却却

9、忽视了总总体成本。有些大企企业在ITT建设上一一掷千金,从从不在乎在在购买产品品上投入多多少,每一一块都是选选用最好的的。但是,更更多的企业业则不得不不出于成本本考虑,能能省则省。除了数据据库和OLLAP工具具两项之外外,经常动动心思的地地方就是,设设想如果把把ETL和和前端展现现自己来开开发是不是是会省点资资金出来。然而问题是是,如果仅仅仅从单个个产品的成成本考虑而而忽视综合合的项目成成本,最后后很可能会会被难以维维护的程序序所困扰,甚甚至要完全全推翻重来来,这样的的成本恐怕怕会更高。而对于那那些财大气气粗的大企企业来说,即即便选择了了每个领域域最好的产产品,组合合起来也不不一定就是是最好的

10、。其二,评估估报告难以以客观。企企业负责产产品选型的的人,通常常要求厂商商提供一份份评估报告告,要列出出几种方案案选择,各各自优劣何何在,最后后得出哪种种方案是最最适合自己己的。如果从字面面上理解此此报告,某某种产品哪哪方面比较较好,哪方方面不好,这这并不客观观。对于厂厂商而言,这这就是一笔笔单子,当当然会尽量量把自己产产品的优势势体现出来来,而回避避自己的弱弱势。同时时对于选型型负责人来来说,也许许其早就对对某种工具具有好感,或或是跟某个个厂家的关关系不错,甚甚至有更进进一步的交交易。这样样的情况,想想客观一点点不容易。选型要点其实,如果果是选择这这些主流的的产品的话话,大家知知道一句话话,

11、“没有有最好的,只只有最合适适的”。什什么是最合合适?抛开开上面提到到的幕后因因素,其实实也就是三三点需要考考虑产产品成本、开发人员员对这个产产品的熟悉悉程度、有有没有类似似案例。首先看成本本。NCRR、IBMM和Oraacle的的产品线完完整,但却却很贵。微微软的产品品便宜些,可可如果数据据量大,恐恐怕又不太太敢用它,就就更别谈那那些不要钱钱的开源产产品了。当当然,成本本不光是产产品本身的的价格决定定的,后面面人员学习习、项目延延期、客户户满意度低低都要作为为成本考虑虑,这些隐隐型成本才才是难以计计算的。提提到成本,就就不能不提提一下BII模型,因因为BI产产品中模型型是最昂贵贵的一部分分,

12、在国内内很大一部部分企业采采用的自主主开发的方方式,采用用这种方式式可以避免免高额的费费用,但却却无法学习习到国外先先进的商业业经验。再看人员的的经验。人人的学习曲曲线是不可可避免的,不不要妄想人人们接触一一个新产品品就能立马马成为高手手,能够基基于陌生的的产品做出出良好架构构。这方面面,显然OOraclle和微软软有优势,因因为在这两两家产品上上有经验的的人多,好好找。当然然,如果你你们原来的的业务系统统用的就是是这几家产产品之一,不不妨仍然用用它。其次案例比比白皮书更更重要。如如今很多BBI厂商可可以提供全全方位解决决方案,提提供一站式式服务。像像IBM、Oraccle、SSAS都称称自己

13、是这这样的全方方案提供商商,也就是是说它们的的产品线已已经包含了了数据库、OLAPP、ETLL等各类工工具。直接接选用它们们,就不用用再为工具具选型烦恼恼了,但企企业有时由由于各方面面的原因,决决定不使用用一家产品品时,要考考虑他们之之间是否兼兼容。但如如果你要是是从产品的的白皮书里里去寻找此此类信息,会会发现说得得很美,互互相之间会会如何完美美地“无缝缝”兼容,但但实际上却却不是那么么回事。因因此,不要要去看这些些文字的东东西,要去去寻找同行行业类似的的案例,如如果同行业业没有,就就去寻找数数据量类似似、业务复复杂度类似似以及相似似应用的其其他行业案案例。BI的体系系架构及相相关技术一个BI

14、系系统为了满满足企业管管理者的要要求,从浩浩如烟海的的资料中找找出其关心心的数据,必必须要做到到以下几步步:为了整合各各种格式的的数据,清清除原有数数据中的错错误记录数据预预处理的要要求。对预处理过过数据,应应该统一集集中起来元数据据(Metta Daata)、数据仓库库(Datta Waarehoouse)的要求;最后,对于于集中起来来的庞大的的数据集,还还应进行相相应的专业业统计,从从中发掘出出对企业决决策有价值值的新的机机会OOLAP(联机事务务分析)和和数据挖掘掘(Datta Miiningg)的要求求。所以,一个个典型的BBI体系架架构应该包包含这3步步所涉及的的相关要求求。图 3

15、BBI的体系系架构整个体系架架构中包括括:终端用用户查询和和报告工具具、OLAAP工具、数据挖掘掘(Datta Miiningg)软件、数据仓库库(Datta Waarehoouse)和和数据集市市(Datta Maart)产产品、联机机分析处理理 (OLLAP) 等工具。1)、终端端用户查询询和报告工工具。专门用来支支持初级用用户的原始始数据访问问,不包括括适应于专专业人士的的成品报告告生成工具具。2)、数据据预处理(STL-数据抽取取、转换、装载)从许多来自自不同的企企业运作系系统的数据据中提取出出有用的数数据并进行行清理,以以保证数据据的正确性性,然后经经过抽取(EExtraactioo

16、n)、转转换(Trransfformaationn)和装载载(Loaad),即即ETL过过程,合并并到一个企企业级的数数据仓库里里,从而得得到企业数数据的一个个全局视图图。3)、OLLAP工具具。提供多维数数据管理环环境,其典典型的应用用是对商业业问题的建建模与商业业数据分析析。OLAAP也被称称为多维分分析。4)、数据据挖掘(DData Miniing)软软件。使用诸如神神经网络、规则归纳纳等技术,用用来发现数数据之间的的关系,做做出基于数数据的推断断。5)、数据据仓库(DData Wareehousse)和数数据集市(DData Martt)产品。包括数据转转换、管理理和存取等等方面的预预

17、配置软件件,通常还还包括一些些业务模型型,如财务务分析模型型。6)、联机机分析处理理 (OLLAP) 。OLAP是是使分析人人员、管理理人员或执执行人员能能够从多角角度对信息息进行快速速、一致、交互地存存取,从而而获得对数数据的更深深入了解的的一类软件件技术。其中核心技技术在于数数据预处理理、数据仓仓库的建立立(DW)、数据挖掘掘(DM)和和联机分析析处理(OOLAP)三三个部分。接下来,我我们对这几几个核心部部分进行详详细说明:数据预处理理:当早期大型型的在线事事务处理系系统(OLLTP)问问世后不久久,就出现现了一种用用于“抽取取”处理的的简单程序序,其作用用是搜索整整个文件和和数据库,使

18、使用某些标标准选择合合乎要求的的数据,将将其复制拷拷贝出来,用用于总体分分析。因为为这样做不不会影响正正在使用的的在线事务务处理系统统,降低其其性能,同同时,用户户可以自行行控制抽取取出来的数数据。但是是,现在情情况发生了了巨大的变变化,企业业同时采用用了多个在在线事务处处理系统,而而这些系统统之间的数数据定义格格式不尽相相同,即使使采用同一一软件厂商商提供的不不同软件产产品,或者者仅仅是产产品版本不不同,之间间的数据定定义格式也也有少许差差距。由此此,我们必必须先定义义一个统一一的数据格格式,然后后把各个来来源的数据据按新的统统一的格式式进行转换换,然后集集中装载入入数据仓库库中。其中,尤其

19、其要注意的的一点时,并并不是各个个来源的不不同格式的的所有数据据都能被新新的统一格格式包容,我我们也不应应强求非要要把所有数数据源的数数据全部集集中起来。Why?原因很多多。有可能能原来录入入的数据中中,少量的的记录使用用了错误的的数据,这这类数据如如果无法校校正,应该该被舍去。某些数据据记录是非非结构化的的,很难将将其转化成成新定义的的统一格式式,而且从从中抽取信信息必须读读取整个文文件,效率率极低,如如大容量的的二进制数数据文件,多多媒体文件件等,这类类数据如果果对企业决决策不大,可可以舍去。目前已有一一部分软件件厂商开发发出专门的的ETL工工具,其中中包括:Ardennt DaataSt

20、tageEvoluutionnary Techhnoloogiess,Incc. (EETI) ExtrractInforrmatiion PPowerrmarttSagennt SoolutiionSAS IInstiituteeOraclle Waarehoouse BuillderMSSQLL Serrver22000 DTS数据仓库:数据仓库概概念是由号号称“数据据仓库之父父”Willliamm H.IInmonn在上世纪纪80年代代中期撰写写的建立立数据仓库库一书中中首次提出出,“数据据仓库是一一个面向主主题的、集集成的、非非易失性的的,随时间间变化的用用来支持管管理人员决决策的数据

21、据集合”。面向主题是是数据仓库库第一个显显著特点,就是指在数据仓库中,数据按照不同的主题进行组织,每一个主题中的数据都是从各操作数据库中抽取出来汇集而成,这些与该主题相关的所有历史数据就形成了相应的主题域。数据仓库的的第二个显显著特点是是集成。数数据来源于于不同的数数据源,通通过相应的的规则进行行一致性转转换,最终终集成为一一体。数据仓库的的第三个特特点是非易易失性。一一旦数据被被加载到数数据仓库中中,数据的的值不会再再发生变化化,尽管运运行系统中中对数据进进行增、删删、改等操操作,但对对这些数据据的操作将将会作为新新的快照记记录到数据据仓库中,从从而不会影影响到已经经进入到数数据仓库的的数据

22、。数据仓库最最后一个特特点是它随随时间变化化。数据仓仓库中每一一个数据都都是在特定定时间的记记录,每个个记录都有有着相应的的时间戳。图 4 数数据仓库体体系架构数据仓库对对外部数据据源和操作作型数据源源的元数据据,按照数数据仓库模模式设计要要求进行归归类,并建建成元数据据库,相对对应的数据据经过ETTL后加载载到数据仓仓库中;当当信息客户户需要查询询数据时先先通过信息息展现系统统了解元数数据或者直直接浏览元元数据库,再再发起数据据查询请求求得到所需需数据。一个典型的的企业数据据仓库系统统,通常包包含数据源源、数据存存储与管理理、数据的的访问三个个部分。图 5 数数据仓库系系统数据源:是是指企业

23、操操作型数据据库中的各各种生产运运营数据、办公管理理数据等内内部数据和和一些调查查数据、市市场信息等等来自外环环境的数据据总称。这这些数据是是构建数据据仓库系统统的基础是是整个系统统的数据源源泉。数据的存储储与管理:数据仓库库的存储主主要由元数数据的存储储及数据的的存储两部部分组成。元数据是是关于数据据的数据,其其内容主要要包括数据据仓库的数数据字典、数据的定定义、数据据的抽取规规则、数据据的转换规规则、数据据加载频率率等信息。各操作数数据库中的的数据按照照元数据库库中定义的的规则,经经过抽取、清理、转转换、集成成,按照主主题重新组组织,依照照相应的存存储结构进进行存储。也可以面面向应用建建立

24、一些数数据集市,数数据集市可可以看作是是数据仓库库的一个子子集,它含含有较少的的主题域且且历史时间间更短数据据量更少,一一般只能为为某个局部部范围内的的管理人员员服务,因因此也称之之为部门级级数据仓库库。数据的访问问:由OLLAP(联联机分析处处理)、数数据挖掘、统计报表表、即席查查询等几部部分组成。例如OLLAP:针针对特定的的分析主题题,设计多多种可能的的观察形式式,设计相相应的分析析主题结构构(即进行行事实表和和维表的设设计),使使管理决策策人员在多多维数据模模型的基础础上进行快快速、稳定定和交互性性的访问,并并进行各种种复杂的分分析和预测测工作。按按照存储方方式来分,OOLAP可可以分

25、成MMOLAPP以及ROOLAP等等方式,MMOLAPP (Muulti-Dimeensioon OLLAP)将将OLAPP分析所需需的数据存存放在多维维数据库中中。分析主主题的数据据可以形成成一个或多多个多维立立方体。RROLAPP (Reelatiionall OLAAP)将OOLAP分分析所需的的数据存放放在关系型型数据库中中。分析主主题的数据据以“事实实表-维表表”的星型型模式组织织。数据挖掘:数据挖掘的的定义非常常模糊,对对它的定义义取决于定定义者的观观点和背景景。如下是是一些DMM文献中的的定义:数据挖掘是是一个确定定数据中有有效的,新新的,可能能有用的并并且最终能能被理解的的模式

26、的重重要过程。数据挖掘是是一个从大大型数据库库中提取以以前未知的的,可理解解的,可执执行的信息息并用它来来进行关键键的商业决决策的过程程。数据挖掘是是用在知识识发现过程程,来辩识识存在于数数据中的未未知关系和和模式的一一些方法。数据挖掘掘是发现数数据中有益益模式的过过程。数据挖掘是是我们为那那些未知的的信息模式式而研究大大型数据集集的一个决决策支持过过程。虽然数据挖挖掘的这些些定义有点点不可触摸摸,但在目目前它已经经成为一种种商业事业业。如同在在过去的历历次淘金热热中一样,目目标是开开发矿工。利润最最大的是卖卖工具给矿矿工,而不不是干实际际的开发。目前业内已已有很多成成熟的数据据挖掘方法法论,

27、为实实际应用提提供了理想想的指导模模型。其中中,标准化化的主要有有三个:CCRISPP-DM;PMMLL;OLEE DB for DM。CRISPP-DM(CCrosss-Inddustrry Sttandaard PProceess ffor DData Miniing)是是目前公认认的、较有有影响的方方法论之一一。CRIISP-DDM强调,DDM不单是是数据的组组织或者呈呈现,也不不仅是数据据分析和统统计建模,而而是一个从从理解业务务需求、寻寻求解决方方案到接受受实践检验验的完整过过程。CRRISP-DM将整整个挖掘过过程分为以以下六个阶阶段:商业业理解(BBusinness Undeer

28、staandinng),数数据理解(Dataa Unddersttandiing),数数据准备(Dataa Preeparaationn),建模模(Moddelinng),评评估(Evvaluaationn)和发布布(Depploymment)。其框架架图如下:图 6 CRISSP-DMM模型框架架图从技术层来来看,数据据挖掘技术术可分为描描述型数据据挖掘和预预测型数据据挖掘两种种。描述型型数据挖掘掘包括数据据总结、聚聚类及关联联分析等。预测型数数据挖掘包包括分类、回归及时时间序列分分析等。数据总结:继承于数数据分析中中的统计分分析。数据据总结目的的是对数据据进行浓缩缩,给出它它的紧凑描描述。

29、传统统统计方法法如求和值值、平均值值、方差值值等都是有有效方法。另外还可可以用直方方图、饼状状图等图形形方式表示示这些值。广义上讲讲,多维分分析也可以以归入这一一类。聚类:是把把整个数据据库分成不不同的群组组。它的目目的是使群群与群之间间差别很明明显,而同同一个群之之间的数据据尽量相似似。这种方方法通常用用于客户细细分。在开开始细分之之前不知道道要把用户户分成几类类,因此通通过聚类分分析可以找找出客户特特性相似的的群体,如如客户消费费特性相似似或年龄特特性相似等等。在此基基础上可以以制定一些些针对不同同客户群体体的营销方方案。关联分析:是寻找数数据库中值值的相关性性。两种常常用的技术术是关联规

30、规则和序列列模式。关关联规则是是寻找在同同一个事件件中出现的的不同项的的相关性;序列模式式与此类似似,寻找的的是事件之之间时间上上的相关性性,如对股股票涨跌的的分析等。分类:目的的是构造一一个分类函函数或分类类模型(也也常常称作作分类器),该模型型能把数据据库中的数数据项映射射到给定类类别中的某某一个。要要构造分类类器,需要要有一个训训练样本数数据集作为为输入。训训练集由一一组数据库库记录或元元组构成,每个元组组是一个由由有关字段段(又称属属性或特征征)值组成成的特征向向量,此外外,训练样样本还有一一个类别标标记。一个个具体样本本的形式可可表示为:( v11, v22, .,vnn;c ),其

31、中vvi表示字字段值,cc表示类别别。回归:是通通过具有已已知值的变变量来预测测其它变量量的值。一一般情况下下,回归采采用的是线线性回归、非线性回回归这样的的标准统计计技术。一一般同一个个模型既可可用于回归归也可用于于分类。常常见的算法法有逻辑回回归、决策策树、神经经网络等。时间序列:时间序列列是用变量量过去的值值来预测未未来的值。数据挖掘(DData Miniing)软软件。使用用诸如神经经网络、规规则归纳等等技术,用用来发现数数据之间的的关系,做做出基于数数据的推断断。图 7 数数据挖掘系系统以下是一些些当前的数数据挖掘产产品:IBM: Inteelliggent Mineer 智能能矿工

32、Tandeem: RRelattionaal Daata MMinerr 关系数数据矿工AngosssSofftwarre: KKnowlledgeeSEEDDER 知知识搜索者者Thinkking Machhiness Corrporaationn: DaarwinnTMNeoViista Softtwaree: ASSICISL DDecission Systtems,Inc.: Cllemenntinee DataMMind Corpporattion: DattaMinnd Daata CCrunccherSiliccon GGraphhics: MinneSettCalifforni

33、ia Sccienttificc Sofftwarre: BBrainnMakeerWizSooft CCorpooratiion: WizWWhyLockhheed Corpporattion: RecconSAS CCorpooratiion: SAS Enteerpriise MMinerr 联机分析处处理(OLLAP):OLAP的的概念最早早是由关系系数据库之之父E.FF.Coddd于19993年提提出的,他他同时提出出了关于OOLAP的的12条准准则。OLAP的的提出引起起了很大的的反响,OOLAP作作为一类产产品同联机机事务处理理 (OLLTP) 明显区分分开来。当今的数据据处理大

34、致致可以分成成两大类:联机事务务处理OLLTP(OOn-Liine TTranssactiion PProceessinng)、联联机分析处处理OLAAP(Onn-Linne Annalytticall Proocesssing)。OLTPP是传统的的关系型数数据库的主主要应用,主主要是基本本的、日常常的事务处处理,例如如银行交易易。OLAAP是数据据仓库系统统的主要应应用,支持持复杂的分分析操作,侧侧重决策支支持,并且且提供直观观易懂的查查询结果。OLAP是是使分析人人员、管理理人员或执执行人员能能够从多角角度对信息息进行快速速、一致、交互地存存取,从而而获得对数数据的更深深入了解的的一类软

35、件件技术。OOLAP的的目标是满满足决策支支持或者满满足在多维维环境下特特定的查询询和报表需需求,它的的技术核心心是维这个概念念。“维”是人人们观察客客观世界的的角度,是是一种高层层次的类型型划分。“维”一般般包含着层层次关系,这这种层次关关系有时时会相当复复杂。通过过把一个实实体的多项项重要的属属性定义为为多个维(DImeensioon),使使用户能对对不同维上上的数据进进行比较。因此OLLAP也可可以说是多多维数据分分析工具的的集合。OLAP的的基本多维维分析操作作有钻取(RRoll Up和DDrilll Dowwn)、切切片(Sllice)和和切块(DDice)、以及旋转转(Pivvot

36、)、Drilll Accrosss、Driill TThrouugh等。钻取是改变变维的层次次,变换分分析的粒度度。它包括括向上钻取取(Rolll Upp)和向下下钻取(DDrilll Dowwn)。RRoll Up是在在某一维上上将低层次次的细节数数据概括到到高层次的的汇总数据据,或者减减少维数;而Driill DDown则则相反,它它从汇总数数据深入到到细节数据据进行观察察或增加新新维。切片和切块块是在一部部分维上选选定值后,关关心度量数数据在剩余余维上的分分布。如果果剩余的维维只有两个个,则是切切片;如果果有三个,则则是切块。旋转是变换换维的方向向,即在表表格中重新新安排维的的放置(例例

37、如行列互互换)。OLAP有有多种实现现方法,根根据存储数数据的方式式不同可以以分为ROOLAP、MOLAAP、HOOLAP。ROLAPP表示基于于关系数据据库的OLLAP实现现(Rellatioonal OLAPP)。以关关系数据库库为核心,以以关系型结结构进行多多维数据的的表示和存存储。ROOLAP将将多维数据据库的多维维结构划分分为两类表表:一类是是事实表,用用来存储数数据和维关关键字;另另一类是维维表,即对对每个维至至少使用一一个表来存存放维的层层次、成员员类别等维维的描述信信息。维表表和事实表表通过主关关键字和外外关键字联联系在一起起,形成了了“星型模模式”。对对于层次复复杂的维,为为

38、避免冗余余数据占用用过大的存存储空间,可可以使用多多个表来描描述,这种种星型模式式的扩展称称为“雪花花模式”。MOLAPP表示基于于多维数据据组织的OOLAP实实现(Muultiddimennsionnal OOLAP)。以多维数数据组织方方式为核心心,也就是是说,MOOLAP使使用多维数数组存储数数据。多维维数据在存存储中将形形成“立方方块(Cuube)”的结构,在在MOLAAP中对“立方块”的“旋转转”、“切切块”、“切片”是是产生多维维数据报表表的主要技技术。HOLAPP表示基于于混合数据据组织的OOLAP实实现(Hyybridd OLAAP)。如如低层是关关系型的,高高层是多维维矩阵型

39、的的。这种方方式具有更更好的灵活活性。还有其他的的一些实现现OLAPP的方法,如如提供一个个专用的SSQL SServeer,对某某些存储模模式(如星星型、雪片片型)提供供对SQLL查询的特特殊支持。OLAP工工具是针对对特定问题题的联机数数据访问与与分析。它它通过多维维的方式对对数据进行行分析、查查询和报表表。维是人人们观察数数据的特定定角度。例例如,一个个企业在考考虑产品的的销售情况况时,通常常从时间、地区和产产品的不同同角度来深深入观察产产品的销售售情况。这这里的时间间、地区和和产品就是是维。而这这些维的不不同组合和和所考察的的度量指标标构成的多多维数组则则是OLAAP分析的的基础,可可

40、形式化表表示为(维维1,维22,维维n,度量量指标),如如(地区、时间、产产品、销售售额)。多多维分析是是指对以多多维形式组组织起来的的数据采取取切片(SSlicee)、切块块(Dicce)、钻钻取(Drrill Downn和Rolll Upp)、旋转转(Pivvot)等等各种分析析动作,以以求剖析数数据,使用用户能从多多个角度、多侧面地地观察数据据库中的数数据,从而而深入理解解包含在数数据中的信信息。根据综合性性数据的组组织方式的的不同,目目前常见的的OLAPP主要有基基于多维数数据库的MMOLAPP及基于关关系数据库库的ROLLAP两种种。MOLLAP是以以多维的方方式组织和和存储数据据,

41、ROLLAP则利利用现有的的关系数据据库技术来来模拟多维维数据。在在数据仓库库应用中,OOLAP应应用一般是是数据仓库库应用的前前端工具,同同时OLAAP工具还还可以同数数据挖掘工工具、统计计分析工具具配合使用用,增强决决策分析功功能。一个典型的的BI系统统介绍商业智能系系统应具有有的主要功功能:读取数据可读取取多种格式式(如Exxcel、Acceess、以以Tab分分割的txxt和固定定长的txxt等)的的文件,同同时可读取取关系型数数据库 (对应ODDBC)中中的数据。分析功能关联/限定 关关联分析主主要用于发发现不同事事件之间的的关联性,即即一个事件件发生的同同时,另一一个事件也也经常发

42、生生。关联分分析的重点点在于快速速发现那些些有实用价价值的关联联发生的事事件。数据输出功功能打打印统计列列表和图表表画面等,可可将统计分分析好的数数据输出给给其他的应应用程序使使用,或者者以HTMML格式保保存。定型处理所需要要的输出被被显示出来来时,进行行定型登录录,可以自自动生成定定型处理按按钮。以后后,只需按按此按钮,即即使很复杂杂的操作,也也都可以将将所要的列列表、视图图和图表显显示出来。以国外的一一个BI系系统为例,我我们来介绍绍一个BII系统的主主要功能,这这个系统主主要包含数数据仓库管管理器(WWarehhousee Mannagerr)、数据据复制(DData Proppaga

43、ttor)、多维数据据库(OLLAP SServeer)、前前台分析工工具(Wiired for OLAPP)以及数数据挖掘(Inteelliggent Mineer)、OOn Deemandd。数据仓库管管理器(WWarehhousee Mannagerr)它主要由以以下几部分分功能组成成:数据访访问,数据据转换,数数据分布,数数据存储,靠靠描述性数数据查找和和理解数据据,显示、分析和发发掘数据,数数据转换过过程的自动动化及其管管理。它缩缩短了复杂杂的海量数数据与有洞洞察力的商商务决策之之间的差距距,有助于于公司更进进一步了解解其业务、市场、竞竞争对手和和客户。数据复制 (Datta Prr

44、opaggatorr)DData Proppagattor提供供的复制功功能允许从从一个数据据源读取数数据并把它它送到另外外一个地方方,而且可可以是双向向的。当发发生冲突时时,可自动动检测出来来并进行补补偿。此外外,它还有有以下特色色:(1)Puull AArchiitectture Throough Stagging Tablles(分分级表牵引引式体系结结构):二二个组成部部分-Cappturee和Appply。CCaptuure部分分在源数据据库服务器器上运行,它它捕获要被被复制的数数据,并把把数据放入入服务器分分级表中;Applly部分在在目标机上上运行。在在用户定义义的时间间间隔里或

45、某某个事件发发生后,它它连到源数数据库中,并并从分级表表中抽取所所需的数据据。这种被被动的“牵牵引式”体体系结构减减少了数据据源的额外外开销,能能够支持数数据源及目目标机的独独立运作性性以及新一一代流动计计算机作为为目标机的的数据复制制。这种体体系结构还还支持中介介分级表,其其中最初的的源可以复复制到区域域目标中,然然后再复制制到各区域域内的目标标机上。(2)支持持更新和修修正:既支支持更新也也支持修正正复制。AApplyy可以完全全替换目标标数据或者者仅仅修正正上次复制制以来所发发生的改变变。(3)改变变事务运行行记录的CCaptuure:捕捕获数据修修改。它从从数据库运运行日志(LOG)中

46、读出修修改,从而而抓取用于于复制的数数据修改,进进而安排好好这些数据据。这就减减少了对源源的额外开开销,不需需要另外处处理如触发发器。甚至至可以直接接从内存中中读运行记记录,以减减少I/OO。(4)加工工数据:数数据首先要要从运行记记录移到分分级表,所所以能在复复制之前加加工或处理理它;由于于分级表是是数据库表表,使用标标准SQLL就能定义义加工处理理功能。除除了通过SSQL来构构造子集,汇汇总并连结结表以外,分分级表还能能提供基于于时间分析析源数据改改变的方法法。这要考考虑到整个个新一类的的应用包括括检查跟踪踪,历史分分析,aasof查询等等等。(5)GUUI管理机机构:通过过图形用户户界面

47、可以以定义和管管理数据拷拷贝,定义义代码和触触发器没有有专门语言言。这样最最终用户就就有权定义义和管理,而而不仅仅是是DBA和和程序员的的范围。多维数据库库服务器(OLAPP Servver)该工具具在商务智智能中扮演演着重要角角色,可以以深入最终终用户的业业务,对桌桌面上的数数据进行实实时操作,能能够快速地地分布传统统监视和报报告范围之之外的应用用程序数据据。数据挖掘工工具(Inntellligennt Mineer)当用户的数数据积累到到一定数量量时,这些些数据的某某些潜在联联系、分类类、推导结结果和待发发现价值隐隐藏在其中中,该工具具帮助客户户发现这些些有价值的的数据。Wiredd fo

48、rr OLAAP使用该功能能可以提高高信息技术术组织的效效率。信息息技术人员员可以让用用户利用分分析和报表表的功能获获得他们所所需的信息息,而不会会失去对信信息、数据据完整性、系统性能能和系统安安全的控制制。强大功能的的报表繁忙的信息息技术部门门可以在几几分钟内创创建用于在在企业中分分发的完善善的报表。,决策人人员可以从从该Webb页面上找找到可用的的一系列报报表。图形化分析析远远超出对对数据的静静态图形化化视图,提提供强壮的的图形化OOLAP分分析。决策策人员可以以根据需要要排序、分分组数据并并改变“图图表”(CChartt)的类型型(直方图图、饼形图图、线图、堆积图)。图表中的的元素可以以

49、被“钻取取”到其他他的细节层层次,并可可以返回来来恢复一个个概要性的的视图。多种图表视视图:直方方图、线图图、组合图图、饼形图图、堆积图图和离散点点图可在任何地地方“钻取取”没有路路径的预先先定义完善的报表表复合报表通通过用各种种不同的形形式(交叉叉表、图表表、表格或或以上几种种形式的组组合)来表现分分析结果,对对工作进行行概括;优优美格式的的商用报表表。交互式的、立即的“所见即所所得”(WWYSIWWYG)显显示On Deemandd该工具提供供给客户一一套高性能能的解决方方案来进行行在线捕获获、存储和和重取计算算机输出的的文档。它它使得落后后的纸张文文件搜索和和使用缩微微胶片阅读读器搜索称

50、称为历史。有了OnnDemaand,客客户可以立立刻发现特特定的信息息并且很容容易地浏览览它,而不不用在庞大大的数据和和纸张中苦苦苦寻找;存储、重重取和分发发企业产生生的信息比比以前更加加方便和易易于接受。BI的实施施实施商业智智能系统是是一项复杂杂的系统工工程,整个个项目涉及及企业管理理, 运作作管理, 信息系统统, 数据据仓库, 数据挖掘掘, 统计计分析等众众多门类的的知识。因此用户户除了要选选择合适的的商业智能能软件工具具外,还必须按按照正确的的实施方法法才能保证证项目得以以成功。商业智能能项目的实实施步骤可可分为:需求分析:需求分析析是商业智智能实施的的第一步, 在其他活活动开展之之前

51、必须明明确的定义义企业对商商业智能的的期望和需需求, 包包括需要分分析的主题题, 各主主题可能查查看的角度度(维度);需要发现现企业那些些方面的规规律,用户的需需求必须明明确。数据仓库建建模:通过对企企业需求的的分析,建建立企业数数据仓库的的逻辑模型型和物理模模型,并规规划好系统统的应用架架构,将企企业各类数数据按照分分析主题进进行组织和和归类. 数据抽取:数据仓库库建立后必必须将数据据从业务系系统中抽取取到数据仓仓库中, 在抽取的的过程中还还必须将数数据进行转转换、清洗、以适应分分析的需要要. 建立商业智智能分析报报表:商业智能能分析报表表需要专业业人员按照照用户制订订的格式进进行开发, 用

52、户也可可自行开发发(开发方方式简单,快快捷) . 用户培训和和数据模拟拟测试:对于开发发使用分分离型的商商业智能系系统, 最最终用户的的使用是相相当简单的的,只需要要点击操作作就可针对对特定的商商业问题进进行分析。系统改进和和完善:任何系统统的实施都都必须是不不断完善的的. 商业业智能系统统更是如此此, 在用用户使用一一段时间后后可能会提提出更多的的,更具体体的要求, 这时需要要再按照上上述步骤对对系统进行行重构或完完善。其中,在BBI系统实实施中要注注意以下问问题:统一协调,全全局规划BI系统由由于是构筑筑于所有的的业务系统统之上,有有着独特的的复杂性和和全面性。BI系统统决不仅仅仅是一个单

53、单纯的ITT项目的实实施,它涉涉及到企业业经营管理理的各个方方面,需要要上至公司司高层领导导下至基层层业务人员员的大力配配合。实施施这样的系系统的难度度和所需要要投入的资资源远超于于普通的业业务支持系系统。企业业必须进行行缜密的思思考和全局局的计划,把把BI软件件纳入企业业软件管理理的整体战战略之中。全局规划划不仅要对对项目实施施队伍做出出规划,同同时还要对对项目后续续的部署维维护和功能能的增强完完善所需要要的资源做做出规划。商务智能能计划必须须有一个整整体的愿景景和路线图图,否则,就就很难统一一起来。一把手工程程BI也是一一把手工程程。BI同同ERP和和CRM等等软件一样样也是一把把手工程。

54、一般的工工作人员想想到的只是是利用BII迅速生成成报表,提提高劳动效效率;而一一把手的角角度,是从从提高企业业业务增值值的目的出出发,两者者在需求模模型设计时时侧重点完完全不同,结结果也大相相径庭。另另一方面,没没有一把手手的大力支支持,企业业的业务流流程调整会会遇到很大大阻力,甚甚至是难以以贯彻下去去。因此,在决决定上BII之前,企企业用户的的老总和其其智囊团需需要慎重考考虑哪些业业务首先需需要决策支支持,这项项业务的内内部流程是是否清楚,如如何对其进进行内部流流程重整。并要配套套相应的部部门来专门门负责数据据的跟踪和和优化分析析,这样企企业的决策策将会变得得越来越理理智客观,在在日益激烈烈

55、的商业竞竞争中将也也会领先一一步。BI的组织织和技能要要素建建立BI体体系需要许许多技能,包包括商务技技能、信息息技术技能能和分析技技能。然而而要建立同同时具备以以上三种能能力的数据据分析部门门谈何容易易。善于联联系看似不不相关的事事物并能有有效地呈现现它们之间间的关系是是一种非常常难得的能能力,通常常企业里面面具备这种种能力的人人才很少,即即使有也没没有被充分分重视。国国际国内的的BI人才才奇缺。如如果企业不不能有效地地组织BII活动(如如着手建立立集中化的的BI能力力中心和投投资BI技技能建设)将无法在在战略层面面展示BII的作用,且且将面对至至少50%的额外实实施费用。而没有集集中的,专

56、专门的BII功能部门门,BI系系统无法被被深入和有有效的支持持。由于人才的的稀少,建建立一个集集中的,汇汇集各种人人才的BII能力中心心是非常必必要的(要要成立专门门的数据分分析部门)。来自不同同部门的人人以建立一一种互相协协作的BII队伍远比比寻找同时时具备三种种能力的人人才更现实实可行。一个有效的的BI能力力中心有三三个重要的的任务:指导用户户能够实现现重复的BBI任务(如管理报报表和简单单的重复分分析)的自自我服务;承担复杂杂的,额外外的分析工工作直到这些分分析能够成成为可重复复使用的简简单工作;确保BII系统的功功能和潜力力不被高估估,实实在在在地解决决现实的问问题。企业建设BBI系统

57、的的目的,是是要从大量量的数据中中找出可以以给企业带带来增值效效益的数据据分析,但但是这些数数据必须有有相应的人人对其进行行跟踪处理理,否则BBI的价值值也就只停停留在迅速速做出报表表的层面,BBI的核心心价值也被被大打折扣扣。而所有有的任务,都都需要精心心的策划和和长期的努努力。数据基础先先行“BI是数数据驱动的的应用”。BI系统统建设的核核心是坚固固、高质量量的数据基基础。建立立这样一个个数据资料料库的任务务是极其艰艰巨的,要要消耗大量量的时间和和资源。而而企业数据据的积累是是伴随着各各种基础信信息系统的的建设而进进行的,这这是一个长长期的过程程。 在基础系统统尚未建立立和完善阶阶段,切忌

58、忌同时发动动不同的系系统建设,如如在实施BBI系统的的同时就在在建设分销销供应链系系统。不仅仅资源捉襟襟见肘,数数据的质量量和完备问问题也是不不可预料的的因素。本本意是整合合公司所有有的数据资资源,但是是数据资源源仍在不断断地变化,如如何整合这这些尚未确确定的资源源是一个巨巨大的挑战战。找准切入点点BI要想大大做小,从从最迫切的的业务入手手。无论是是上哪种管管理软件,几几乎都会听听到同样的的声音:不不要贪大求求全,从最最迫切的业业务入手,BBI也不例例外,它可可以做成一一个独立的的庞大系统统,把企业业中所有的的业务数据据全部放在在一个数据据仓库里,进进行多维分分析;也可可以将其嵌嵌入到各项项单

59、独的业业务数据中中,进行单单独的业务务分析。咨咨询顾问的的意见是先先把最紧要要的业务管管理起来,以以便迅速响响应市场需需求,做出出最佳决策策。积累了了一定经验验后,再逐逐渐增加BBI系统继继续对其他他业务进行行决策分析析,这样可可以在一定定程度上规规避风险,因因为上BII也要进行行流程的重重整,一个个部门的整整顿对公司司的影响要要比整个公公司整顿的的影响小得得多,就好好比动小手手术总要比比作大手术术的疼痛小小一些一样样。坚持业务趋趋动坚持业务趋趋动而不是是IT趋动动。涉及到到管理的问问题,就是是行为科学学的问题,也也就是人的的问题。因因此管理软软件的需求求拉动都是是从业务部部门牵头做做起,而不

60、不是IT部部门。也许许一些企业业也明白应应由业务部部门来提出出对软件的的设计需求求,但业务务人员的水水平不足以以达到提出出未来管理理模型架构构的水平,如如果出于这这样的原因因,企业老老总要给予予IT部门门绝对的权权威,让他他有权来要要求业务部部门必须配配合IT部部门共同协协商提出需需求模型,以以尽量准确确的把握企企业的业务务发展方向向。BI与其它它系统的差差别商业智能(BBI)帮助助企业的管管理层进行行快速,准准确的决策策,迅速的的发现企业业中的问题题,提示管管理人员加加以解决。但商业智智能软件系系统不能代代替管理人人员进行决决策,不能能自动处理理企业运行行过程中遇遇到的问题题。商业智智能为企

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论