数据库仓库和BI企业级技术ppt课件

1、为什么选择数据仓库随着信息化建立的不断推进，产生了大量的数据。必需合文科学的运用这些数据，为业务决策提供强有力的数据支持。简单的报表运用曾经无法满足需求，因此需求运用更强大数据仓库及其相关运用。平台作为财政数据平台有着规范化的存储构造和全面多样的业务数据，可以作为财政数据仓库的可靠数据来源。.数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系构造主流数据仓库产品对比分析实例引见.数据仓库概念历史 数据仓库概念始于上世纪80年代中期，初次出现是在被誉为“数据仓库之父William H . Inmon的一书中。定义 数据仓库是在管理和决策中面向主题的、集成的、随时间变化的、相

2、对稳定的数据集合按技术划分 抽取、存储与管理、数据的表现决策支持系统(DSS, Decision Support System) 准确、平安、可靠地取出数据，经过加工转换成有规律信息之后，再供管理人员进展分析运用。.商业智能的概念BI 商业智能的中心内容是从业务处置系统的数据中，提取出有用的数据，进展清理以保证数据的正确性，然后经过抽取Extraction、转换Transformation和装载Load，即ETL 过程，整合到一个企业级的数据仓库里，从而得到企业信息的一个全局视图，在此根底上利用适宜的查询和分析工具、数据发掘工具等对数据仓库里的数据进展分析和处置，构成信息，甚至进一步把信息提炼

3、出辅助决策的知识，最后把知识呈现给管理者，为管理者的决策过程提供支持。.商业智能的概念BI.传统的决策方式.商业智能环境下的决策流程.数据仓库与商业智能关系 数据仓库是商业智能的根底。数据仓库 数据仓库从概念上更多地偏重在对各类信息的整合任务，包括了数据的迁移，数据的组织和存储，数据的管理与维护这些我们平常称之为后台的根底性的数据预备任务。商业智能 商业智能那么偏重在数据查询和报告、多维/联机数据分析、数据发掘和数据可视化工具这些平常称之为所谓前台的数据运用方面，其中数据发掘是商业智能中比较高层次的一种运用。.数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系构造主流数据

4、仓库产品对比分析实例引见.数据仓库、商业智能的体系构造数据源ETL数据仓库数据集市元数据OLAP.1.数据源平台数据库外部数据格式：txt、excel、dbf等文件格式其它数据库.2、ETLE : Extract 从源数据抽取数据T : Transform 把抽取的数据进展转换L : Load 把转换好的数据装载到数据仓库中。.3、数据仓库数据仓库的一个目的就是把企业的信息访问根底从一种非构造化的改动成一种构造化、开展中的环境改动成规划良好的环境。业务处置系统是面向运用来设计的，更准确地说是面向买卖来设计。而数据仓库普通来说是按主题(Subject)来建模, 是面向查询主题的。.3.数据仓库数

5、据仓库的关键特征星型方式粒度分割.3.数据仓库-关键特征面向主题的subject-oriented集成的integrated时变的time-variant非易失的nonvolatile 数据仓库是一种语义上一致的数据存 储，它充任决策支持数据模型的物理实现，并存放业务决策所需信息。数据仓库经过将异种数据源中的数据集成在一同而构造，支持构造化的和专门的查询、分析报告和决策。.3.数据仓库-星型方式.3.数据仓库-星型方式.3.数据仓库-粒度 粒度是对数据仓库中的数据的汇总程度高低的一个度量，按省级汇总或按市级汇总就是不同的粒度它既影响数据仓库中的数据量的多少，也影响数据仓库所能回答讯问信息的种类

6、。在数据仓库中，多维粒度是必不可少的。由于数据仓库的主要作用是多维分析，因此绝大多数查询都基于一定程度的汇总数据之上的，只需极少数查询涉及到细节。.分割 分割，目的在于提高效率。它是将数据分散到各自的物理单元中去, 以便能分别独立处置，以实现查询操作的并行。有许多数据分割的规范可供参考:如时间、地域、业务领域等等,也可以是其组合。普通而言,分割规范总应包括一些能让它非常自然而且分割均匀的工程，例如时间项。.4、数据集市 数据集市分两种，独立的数据集市Independent Data Mart和从属的数据集市Dependent Data Mart。.两种数据集市对比对比优点缺点从属数据集市 保证

7、数据一致性；架构比较理想，可扩展能力强依赖与中心数据仓库的实施；实施周期长；实施成本高；独立数据集市实施周期短；实施成本低；没有消除信息分割；可扩展能力弱；后期整合困难。财政领域运用在平台实施的根底上以从属数据集市为主。.5.元数据(Meta-data) 定义: “关于数据的数据，是描画和管理数据仓库本身内容对象、用来表示数据项的意义及其在系统各组成部件之间的关系的数据。数据仓库的元数据包括：1数据资源：包括各个数据源的模型，描画源数据表字段属性及业务含义，源数据到数据仓库的映射关系；2数据组织：数据仓库、数据集市表的构造、属性及业务含义，多维构造等；3数据运用：查询与报表输出格式描画、OLA

8、P、数据发掘等的数据模型的信息展现、商业术语；4数据管理：这里包括数据仓库过程以及数据仓库操作结果的模型，包括描画数据抽取和清洗规那么、数据加载控制、暂时表构造、用途和运用情况、数据汇总控制。.5.元数据类型业务元数据 用业务称号、定义、描画和别名来表示数据仓库和业务系统中的各种属性，直接供最终用户运用。业务元数据使最终用户可以更好了解、运用数据仓库，成为最终用户在数据仓库中的业务信息地图。技术元数据 技术元数据描画了源系统、数据转换、抽取过程、任务流、加载战略以及目的数据库的定义等。用来进展影响分析、变化管理、数据库优化、义务调度和平安管理等。操作元数据 操作元数据描画了目的表中的信息，如粒

9、度、创建目的表和索引的信息、刷新时间、记录数、按时执行义务的设置以及有权访问数据的用户。操作元数据用于数据仓库的维护和分布。.多维分析OLAPOLAP (On-Line analytical Processing) 在线分析处置切片和切块(Slice and Dice)钻取(Drill)旋转(Rotate).6 、OLAP分析是一类软件技术分析人员能从多个角度获得对数据的更深化了解特点：快速、一致、交互多维视图分析数据的工具根据用户常用的多种分析角度，事先计算好一些辅助构造，以便在查询时能尽快访问到所要的汇总数字，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展

10、如今用户面前。.切片和切块(Slice and Dice)切片取二维数据，称为切片。切块 取三维数据，称为切块。.切片和切块(Slice and Dice).钻取(Drill) 钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)操作， 钻取的深度与维所划分的层次相对应。.旋转(Rotate).数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系构造主流数据仓库产品对比分析实例引见.主流数据仓库产品对比分析1.数据仓库产品引见2.产品支撑技术.主要数据仓库产品供应商引见OracleIBMMicrosoftSASTeradataSybaseBusiness

11、Objects(SAP).Oracle 引见 Oracle公司的数据仓库处理方案包含了数据库平台、开发工具和运用系统，可以提供一系列的数据仓库工具集和效力，具有多用户数据仓库管理才干，多种分区方式，与OLAP工具的交互才干，及数据挪动机制等特性。Oracle的优势在于大多数业务系统采用oracle数据库。.IBM 引见 IBM公司的数据仓库产品称为DB2 Data Warehouse Edition，它结合了DB2数据效力器的优点和IBM的商业智能根底设备，集成了用于仓库管理、数据转换、数据发掘以及OLAP分析和报告的中心组件，提供了一套基于可视数据仓库的商业智能处理方案。IBM的优势在于处理

12、方案比较完善。.Microsoft 引见 微软的SQL Server提供了三大效力和一个工具来实现数据仓库系统的整合，为用户提供了可用于构建典型和创新的分析运用程序所需的各种特性、工具和功能，可以实现建模、ETL、建立查询分析或图表、定制KPI、建立报表和构造数据发掘运用及发布等功能。微软的优势在于简单易用。.SAS SAS公司的数据仓库处理方案是一个由30多个公用模块构成的架构体系，顺应于对企业级的数据进展重新整合，支持多维、快速查询，提供效力于OLAP操作和决策支持的数据采集、管理、处置和展现功能。SAS优势在于数据发掘和统计分析。.Teradata Teradata公司提出了可扩展数据仓

13、库根本架构，包括数据装载、数据管理和信息访问几个部分，是高端数据仓库市场最有力竞争者，主要运转在基于Unix操作系统平台的NCR硬件设备上,在银行领域运用广泛。.Sybase 引见 Sybase提供了称为Warehouse Studio的一整套覆盖整个数据仓库建立周期的产品包，包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。.Business ObjectsSAP 引见 Business Objects是BI工具，集查询、报表和OLAP技术为一身的智能决策支持系统，具有较好的查询和报表功能，提供多维分析技术，支持多种数据库，同时它还支持基于Web阅读器的查

14、询、报表和分析决策。被SAP收买后，目前还没有完好数据仓库处理方案。.主流数据仓库产品对比分析数据仓库产品引见支撑技术.数据仓库技术1、数据库技术2、ETL技术3、OLAP技术4、报表技术5、数据发掘技术.数据库技术 数据库技术是支撑数据仓库技术的根底技术。虽然在数据仓库技术存储模型方面，基于数据库技术而开展的关系方式的理念曾经被颠覆，取而代之是各种各样的数据仓库数据模型，如星型模型，雪花模型等。然而，在已有的数据仓库实际中，关系数据库依然是本质的数据库存储工具，只是将数据库表改称为了现实表和维表，将属性域之间的关系重新定义为维度，量度，层次，粒度等。.数据仓库后台数据库比较产品供应商数据库产

15、品效率兼容性管理磁盘空间OracleOracle优IBMDB2优MicrosoftSQL Server优SASTeradataTeradata差差SybaseSybase IQ优优SAP.ETL技术 数据仓库系统是集成的、与时间相关的数据集合，ETL作为数据仓库的中心，担任将分布的、异构数据源中的数据进展抽取、清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处置、数据发掘的根底。ETL可以按照一致的规那么集成并提高数据的价值，是担任完成数据从数据源向目的数据仓库转化的过程，是实施数据仓库的重要步骤。要实现数据仓库中数据的自动更新运转，ETL技术是必不可少的关键技术之一。.产品供应

16、商ETL 工具特点OracleOracle Warehouse Builder (OWB)数据仓库组件IBMIBM WebSphere DataStage整个ETL过程提供了一个图形化的开发环境，支持对多种操作数据源的数据抽取、转换和维护，并将其输入数据集或数据仓库MicrosoftIntegration Services数据仓库组件SASETL Studio管理ETL流程和建立数据仓库、数据集市和OLAP结构的单控制点TeradataETL Automation利用Teradata数据库本身的并行处理能力，通过SQL语句实现数据的转换，提供对ETL流程的支持，包括前后依赖、执行和监控等Syb

17、aseData Integration Suite数据仓库组件SAPData Integrator数据仓库组件InformaticaPowerCenter二次开发、集成和开放性强于其它.OLAP技术 联机分析处置(OLAP)是针对特定问题的联机数据访问和分析，经过对信息进展快速、稳定、一致和交互式的存取，对数据进展多层次、多阶段的分析处置，以获得高度归纳的分析结果。联机事务处置(OLTP)已不能满足终端用户对数据库查询分析的需求，SQL对大数据库进展的简单查询也不能满足用户分析的需求。用户的决策分析需求对关系数据库进展大量计算才干得到结果，而查询的结果并不能满足决策者提出的需求，由此出现了多维

18、数据库和多维分析的概念。.产品供应商OLAP产品OLAP分析工具数据库特点OracleExpress/Discoverer支持DB2，Oracle，SQL Server，Sybase等对自己的数据库产品的支持均好于其它数据库，分析工具基于开放的OLE DB标准，可以访问支持OLE DB标准的数据立方体IBMCOGNOSMicrosoftAnalysis ServicesSASOLAP ServerTeradata提供了相关技术，用于提升运行于Teradata数据库上的OLAP应用系统的性能SybasePower Dimension标准OLAP API能够对Microsoft、IBM等OLAP数

19、据进行划分、钻取等处理，兼容第三方报表和展现工具SAPOLAP Intelligence.报表技术 报表技术主要是将集成在数据模型里的数据，按照复杂的格式、指定行列统计项，计算构成的特殊表格。普通的简单报表可以运用通用的前台展现技术实现，而复杂的报表那么需求运用特定的报表技术。主流的报表技术都可以灵敏的制定各种报表模版库和目的库，并根据每个区块或单元格的需求援用目的，实现一系列复杂的符合要求的报表的自动生成。.产品供应商报表工具特点OracleOracle Reports提供了自由的数据格式方式，可以自动生成个性化字母或矩阵风格的布局，包括动态、数据驱动的图表IBMCOGNOS覆盖了各种报表需

20、求，包括管理报表、商业报表、账单和发票等。基于Olap server 实现查询分析操作.MicrosoftReporting Services (SSRS)（含）处理组件、一整套可用于创建和管理报表的工具、在自定义应用程序中集成和扩展数据和报表处理的APISASReport Studio功能、性能、二次开发等方面都还存在着一定的差距TeradataBTEQSybaseInfoMakerSAPCrystal Reports提供了一个完整的企业报表解决方案Crystal Reports Server，支持通过Web快速便捷的创建、管理和交付报表.数据发掘技术 当数据积累到一定数量时，某些潜在联络、

21、分类、推导结果和待发现价值隐藏在其中，可以运用数据开掘工具协助发现这些有价值的数据。数据发掘就是从海量数据中，提取隐含在其中的、人们事先不知道的但又能够有用的信息和知识的过程。经过数据发掘能找出数据库中隐藏的信息，实现用模型来拟合数据、探求型数据分析，数据驱动型的发现，演绎型学习等功能。.产品供应商挖掘工具特点OracleOracle Data Miner提供图形用户界面，通过向导来指导完成数据准备、数据挖掘、模型评估和模型评价过程，根据需要自动生成将数据挖掘步骤转换成一个集成的数据挖掘/BI应用程序所需的代码IBMIBM Intelligent Miner数据集自动生成、关联发现、序列规律发

22、现、概念性分类和可视化呈现，可以自动实现数据选择、数据转换、数据发掘和结果呈现这一整套数据发掘操作Microsoft数据挖掘平台不同于传统数据挖掘应用程序，它支持组织中数据的整个开发生命周期，允许第三方添加自定义算法以支持特定的挖掘需求，支持实时根据挖掘的数据集进行数据验证。SASSAS Enterprise Miner数据挖掘过程简单流程化，支持关联、聚类、决策树、神经元网络和经典的统计回归技术TeradataTeradata Warehouse Miner将数据挖掘技术整合到数据仓库来简化数据挖掘流程，还可实现将多家厂商的数据挖掘技术嵌入Teradata企业级数据仓库环境中运行Sybase

23、无SAP无.数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系构造主流数据仓库产品对比分析实例引见.实例引见1、数据建模2、ETL过程3、Cognos84、与Portal整合.数据仓库创建过程1、数据建模2、ETL过程3、Cognos84、与Portal整合.数据建模业务梳理整理并提取出维度、度量和现实表建立模型.数据建模-业务系统数据库构造关系型数据库1.目的表单位代码功能分类id项目编码经济分类id金额001001203010120080101301010120333.00 2.方案表单位代码功能分类id项目编码经济分类id金额00100120301012008010

2400 3.支付表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101333.00 .模型-星型模型预算单位 业务表现实表功能分类目的来源资金性质业务处室目的类型预算工程支付方式.数据建模过程业务系统数据库数据仓库1.目的表单位代码功能分类id项目编码经济分类id金额001001203010120080101301010120333.00 2.方案表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101444.00 3.支付表单位代码功能分类id项目编码经济分类id金额00100

25、12030101200801013010101333.00 .数据仓库创建过程1、数据建模2、ETL过程3、Cognos84、与Portal整合.ETL的本质ETL代表抽取(Extract)，转换(Transform)，装载(Load )，ETL的过程就是数据流动的过程，从不同的异构数据源流向一致的目的数据，其间，数据的抽取、清洗、转换和装载构成串行或并行的过程 。.数据仓库中ETL的特点数据同步ETL周期性的，经常性的活动，不是一次性完成的。数据量 ETL的数据量普通都是宏大的，值得将数据流动过程拆分为E、T、L。.工程实施中ETL的特点实施时间长整个工程实施任务量的60%70%过程复杂贯穿

26、整个业务建模和存储的整个过程决议工程成败的关键数据的准确性、过程的执行胜利与否.ETL设计战略真实可行的ETL设计战略抽取战略在数据抽取分析时需求对业务深化了解不能简单的了解，哪一个表取不是随意的、简单的，一定要了解其中的含义这就需求对业务非常的清楚转换战略将数据由原来的格式转换成数据仓库格式 。包括数据格式转换数据类型、转换数据汇总计算、数据拼接等等，但这些任务可以在不同的过程中处置视详细情况而定比如可以在数据抽取时转换可以在数据加载时转换 装载战略.维表加载战略.现实表加载战略.援用约束问题.数据仓库创建过程1、数据建模2、ETL过程3、Cognos4、与Portal整合.COGNOS主要

27、模块 Query Studio 查询：自助报表生成工具 Report Studio 查询：专有报表构筑工具 Analysis Studio 分析：多维数据展现工具 Transformer 分析：多维数据设计工具 Framework Manager 查询：业务数据组织工具.几个模块在Cognos体系中的位置 应用（Consumer） 专业 （profession）查询Query StudioReport StudioFramework Manager分析Analysis StudioTransformer.Framework Manager Framework Manager是一个元数据建模工具

28、，它运用数据查询来获取数据，模型中能包含多个数据源的各种物理信息和业务信息的元数据，以满足报表显现和数据分析的需求。Framework Manager能根据业务需求创建面向报表的关系型，或面向OLAP分析和报表的维度化建模关系型(DMR) 。.Framework Manager任务流程 Framework Manager将生成的模型发布到Content Store中，这些模型为Tansformer或前端展现工具提供数据效力。.几个模块在Cognos体系中的位置 应用（Consumer） 专业 （profession）查询Query StudioReport StudioFramework Ma

29、nager分析Analysis StudioTransformer.Transformer Transformer是Cognos BI的数据建模工具，用户能运用它建立一个多数据源的多维业务模型。在选定了言语、维度、度量和业务视图后，Transformer将以这些条件建立数据方pq，这些数据方被发布到Cognos的Content Store中后，前端展现工具，如Analysis Studio等，能围绕这些PwoerCube进展各种OLAP分析。.Transformer的任务界面.了解Cognos ConnectionCognos Connection 是Cognos8的门户。Query Stud

30、io，Report Studio 和Analysis Studio的入口都被组织在了这个门户中。进入门户： /Cognos8在Cognos Connection 门户中可以： 1创建和运转报表 2执行管理性义务，例如调度报表可以经过在文件夹中创建和储存条目来对Cognos Connection 中的数据进展组织。.Cognos的任务区.Query Studio 应用（Consumer） 专业 （profession）查询Query StudioReport StudioFramework Manager分析Analysis StudioTransformer.Query Studio Quer

31、y Studio是业务人员即时查询数据的日常工具，此工具普通运用直接数据源，可以对业务系统或数据仓库中的某类或某条明细信息进展检索，可将这些查询保管，以供日后再次运用。此工具提供了最简单的非正式的报表功能，报表在设计的同时即展现出报表结果。.进入Query Studio在Query Studio中创建报表.Report Studio 应用（Consumer） 专业 （profession）查询Query StudioReport StudioFramework Manager分析Analysis StudioTransformer.Report Studio Report Studio是用来制

32、造更加精细的专有报表的工具,专有报表的设计和运转两个过程是分开的。Report Studio中可以建立列表，交叉表，图表等各种类型的报表，并能实现报表的钻取功能。对于报表的数据源，可以设置复杂的汇总、过滤、分组、重新计算等操作。表样可精细加工成用户所需求的款式。.进入Report Studio.用Report Studio创建报表.Report Studio交叉表界面.定义交叉表行.定义交叉表列.定义交叉表度量.交叉表运转效果.表样一：预算目的执行情况表.表样二：用款方案执行情况表.表样三：预算支出情况表.图表结合报表第一步 先制定相应的交叉表第二步 插入图.图表结合报表.表样四：部门月度方案.表样五：业务数据对比.表样六：业务目的对比.Analysis Studio 应用（Consumer） 专业 （profession）查询Query StudioReport StudioFramework Manager分析Analysis StudioTransformer.什么是Anal