数据仓库与数据中心知识培训

数据仓库与数据中心内部知识培训数据仓库与数据中心概述OLTP与OLAP多维数据分析模型数据整合应用介绍数据仓库与数据中心概述数据仓库的起因数据库方式数据仓库方式数据与应用分离，以实现数据高度共享、支持日常业务处理过程为目的（OLTP）以支持经营管理过程中的决策制定为目的(DSS，OLAP,DM)20世纪90年代之前20世纪90年代之后什么是数据仓库数据仓库就是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，用于支持经营管理过程中的决策制定。——数据仓库与数据中心概述数据仓库与数据中心概述数据仓库的四个特征数据仓库就是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，用于支持经营管理过程中的决策制定。——数据仓库与数据中心概述特征一面向主题主题是用户使用数据仓库进行决策时所关心的重点方面，每一个主题基本对应一个宏观的分析领域。如：>CRM>>优质客户的挖掘

>>潜在大客户的发现

>>……>ERP>>合同管理

>>物资库存的管理

>>……面向主题是指数据仓库内的信息是按主题进行组织的，为按主题进行决策的过程提供信息。传统数据库中的数据是原始、基础数据，而特定分析领域数据则是需要对它们作必要的抽取、加工与总结而形成数据仓库中的主题有时会因用户主观要求的变化而变化数据仓库与数据中心概述特征二集成数据仓库中的数据是为分析服务的，而分析需要多种广泛的不同数据源以便进行比较、鉴别，因此数据仓库中的数据必须从多个数据源中获取，这些数据源包括多种类型数据库、文件系统以及Internet网上数据等，它们通过数据集成而形成数据仓库中的数据。统一

消除不同数据源之间的数据不一致的现象综合

对原有数据进行综合和计算数据仓库与数据中心概述特征三不可更新数据仓库中的数据是经过抽取而形成的分析型数据，不具有原始性，主要供企业决策分析之用，执行的主要是‘查询’操作，一般情况下不执行‘更新’操作。同时，一个稳定的数据环境也有利于数据分析操作和决策的制订。需要更新的情况进行新的决策时需要抽取和更新新的数据通过删除丢弃一些过时的数据数据仓库与数据中心概述特征四随时间不断变化数据仓库中的信息并不只是关于企业当时或某一时点的信息，而是系统记录了企业从过去某一时点到目前的各个阶段的信息，通过这些信息可以对企业的发展历程和未来趋势作出定量分析和预测。时间属性数据仓库中的数据通常都带有时间属性数据统一更新以时间段为单位什么是数据中心数据中心是公司一体化信息平台的重要组成部分。数据仓库与数据中心概述广义

企业业务应用与数据资源进行集中、集成、共享、分析的场所、工具、流程等的有机组合狭义

应用层面的数据中心，具体包括数据仓库和建立在数据仓库之上的决策分析应用、数据ETL、ODS数据库、数据仓库、商务智能应用和元数据管理等数据仓库与数数据中心概述述数据中心的定定位数据中心是企业一体化化信息平台的的基础，它可可以为应用系系统的整合与与数据共享提提供有效的解决方方案，保障企业数数据的一致性性、及时性、、完整性、安安全性、有效效性和准确性性，提高企业业信息系统的的统一性，消消除企业普遍遍存在的信息息孤岛，解决决信息系统沟沟通不畅的问问题。数据仓库与数数据中心概述述数据中心的逻逻辑架构（广广义）数据仓库与数数据中心概述述数据中心的功功能单元数据仓库与数数据中心概述述OLTP与OLAP多维数据分析析模型数据整合应用介绍也叫事务处理理，是指对数数据库的日常常联机访问操操作，通常是对一个个或一组记录录的查询和修修改，主要是是为企业特定定的应用服务务的。也叫联机事务务处理（OLTP）。操作型处理OLTP:On-LineTransactionProcessing特点1、通常仅仅是对对一个或一组组记录的查询询或修改2、执行频率高3、关心处理的响响应时间、数数据安全性和和完整性等指指标OLTP与OLAP也叫做信息型型处理，主要要用于企业管管理人员的决决策分析，为为制订企业的的未来经营管管理计划提供供辅助决策信信息。也叫做做联机分析处处理（OLAP）。分析型型处理理OLAP:On-LineAnalyticalProcessing特点1、需要对大量量的事事务型型数据据进行行统计计、归归纳和和分析析2、需要访访问大大量的的历史史数据据3、执行频频率和和对响响应时时间的的要求求都不不高典型的的OLAP决策支支持系系统(DSS--DecisionSupportSystem)OLTP与OLAPOLTP与OLAP在应用用上的的差异异OLTP是传统统的关关系型型数据据库的的主要要应用用，主主要是是基本本的、、日常常的事事务处处理，，例如如电费费交易易OLAP是数据据仓库库系统统的主主要应应用，，支持持复杂杂的分分析操操作，，侧重重决策策支持持，并并且提提供直直观易易懂的的查询询结果果OLTP与OLAPOLTP环境不不适宜宜OLAP应用的的原因因在OLTP中直接接构建建OLAP应用是是不合合适的的，要要提高高分析析处理理和决决策支支持的的效率率和有有效性性，必必须将将OLAP及其所所需的的综合合性数数据从从传统统的OLTP和细节节性数数据中中分离离出来来，按照照DSS的需要要重新新进行行组织织，建建立单单独的的分析析处理理环境境。原因有有六条条：1、事务务处理理和分分析处处理的的性能能特性性不同同2、数据据集成成问题题3、数据据的动动态集集成问问题4、历史史数据据问题题5、数据据的综综合问问题6、数据据的访访问问问题OLTP与OLAP原因一一、事务处处理和和分析析处理理的性性能特特性不不同OLTP每次操操作处处理的的时间间短，，存取取数据据量小小，但但操作作频率率高，，并发发程度度大。。OLAP每次分分析可可能需需要连连续运运行很很长的的时间间，存存取数数据量量大，，但很很少做做这样样的分分析处处理，，也没没有并并发执执行的的要求求。OLTP与OLAP原因二二、数据集集成问问题OLTP一般只只需要要与本本部门门业务务有关关的当当前细细节数数据，，而对对整个个企业业范围围内的的集成成应用用考虑虑很少少，这这就造造成大大部分分企业业内部部的数数据是是分散散而非非集成成的。。造成上上述状状况的的原因因1、事事务务处处理理应应用用的的分分散散性性2、数数据据不不一一致致问问题题3、缺缺少少分分析析所所需需的的外外部部及及非非结结构构化化数数据据OLAP需要要集集成成的的数数据据，，包包括括整整个个企企业业内内部部各各部部门门的的相相关关数数据据，，以以及及企业业外外部部、、竞竞争争对对手手等处处的的相相关关数数据据。。因因此此用用于于分分析析处处理理的的数数据据可可能能来来自自多多种种不不同同的的数数据据源源OLTP与OLAP原因因三三、数据据动动态态集集成成问问题题对所所需需数数据据进进行行一一次次集集成成，，以以后后就就不不再再发发生生变变化化，，称称为为静态态集集成成对集集成成后后的的数数据据进进行行周周期期性性刷刷新新，，称称为为动态态集集成成在采采用用静静态态集集成成策策略略时时，，如如果果数数据据源源中中的的数数据据发发生生了了变变化化，，那那么么这这些些变变化化就就不不能能反反映映给给决决策策者者，，导导致致决决策策使使用用的的是是过过时时的的数数据据。。因因此此集集成成数数据据必必须须以以一一定定的的周周期期进进行行刷刷新新（（即采用动动态集成成策略），但传统的OLTP环境并不不具备动动态集成成的能力力。OLTP与OLAP原因四、历史数据问题题OLTP一般只需需要当前数据据，在数据据库中一一般也只只存储短短期数据据(3-6个月)，且不同同数据的的保存期期限也不不一样OLAP更看重历史数据据(5-10年)，可以通通过对大大量历史史数据的的详细分分析来把把握企业业的发展展趋势历史数据据对于事事务处理理作用不不大，但但对于决决策分析析而言，，如果没没有历史史数据的的支撑，，就变成成了“无无源之水水”、““无本之之木”。。OLTP与OLAP原因五、数据的的综合问问题OLTP需要的是是当前的的细节性性操作数数据，OLAP需要的往往往是大大量的总总结性分分析型数数据，而而非数据据库中的的细节性性操作型型数据OLTP系统中积积累的是是大量的的细节数数据，而而OLAP并不对这这些细节节数据进进行分析析，其原原因是1、细节数数据量太太大，影影响处理理效率2、不利于于分析人人员将注注意力集集中于有有用的信信息上这就是常常说的数数据库中中“数据丰富富、信息息贫困”现象。因因此，在在分析前前往往需需要对细细节数据据进行不不同程度度的综合合，传统统的事务务处理系系统不具具备这种种综合能能力，而而且在数数据库系系统中，，这种综综合还往往往因为为是一种种数据冗冗余而被被限制。。OLTP与OLAP原因六六、数据据的访访问问问题OLTP需要提提供多多种不不同类类型的的数据据访问问操作作，且且对于于需要要修改改的数数据必必须实实时‘‘更新新’数数据库库OLAP数据的的访问问操作作以‘‘读’’操作作为主主，且且不需需要实实时的的‘更更新’’操作作，只只需要要定时时‘刷刷新’’OLTP与OLAPOLAP与OLTP分离的的好处处1、提高高两个个系统统的性性能2、提高高操作作型数数据库库的事事务吞吞吐量量3、避免免两个个系统统中数数据的的结构构、内内容和和用法法的不不同带带来的的困扰扰建立数数据仓仓库的的目的的并不不是要要代替替传统统的事事务处处理系系统（（数据据库）），而而是为为了适适应因因市场场商业业经营营行为为的改改变和和精细细化管管理而而进行行的DSS的需要要。数据仓仓库技技术正正成为为企业业信息息集成成和辅辅助决决策应应用的的关键键技术术之一一OLTP与OLAP数据仓仓库与与数据据中心心概述述OLTP与OLAP多维数数据分分析模模型数据整整合应用介介绍基本概概念对象（（Object）和度度量值值（Measure）对象是我们们所关关心和和分析析的内内容观察对对象又称为为度量值值度量值值是一一组值值，而而且通通常为为数字字值度量值值的选选择取取决于于最终终用户户所请请求的的信息息类型型。一一些常常见的的度量量值有有>>销售电电量>>库存量量>>发生金金额>>职工人人数>>线损率率>>发现缺缺陷数数量多维数数据分分析模模型基本概概念维度（（Dimension）维度是我们们观察察分析析对象的角度度例如：：我们们可以以从三三个““维度度”来来观观察““发现现缺陷陷”这这个对对象>时间维维度>缺陷类类型>缺陷等等级多维数数据分分析模模型基本概概念层（Layer）对分析析对象象可以以在不同同的深深度层层面上上进行行分析析与观观察，，并可可能得得到不不同的的分析析结果果。因此此，‘层’’反映了了对分分析对对象的的观察深深度一般而而言，，‘层层’是是与‘‘维’’相关关联的的。在在一个个‘维维’中中可允允许存存在若若干个个‘层层’，，并且且可以以采用用多种种不同同的‘‘层’’次划划分方方法>日期维维1、日期期——月份——季度——年2、日期期——周——年多维数数据分分析模模型基本概念维度成员（（DimensionMember）维度的一个个取值称为为该维度的的一个“维度成员员”如果一个维维度是多层层次的，则则该维度的的“维度成员员”可以是1、在不同维维度层次上上的取值的的组合2、在某个维维度层次上上的取值对一个数据据项来说，，维度成员员是该数据据项在某维维度中位置置的描述。。多维数据分分析模型基本概念多维数据集集（Multi-DimensionalDataset）一个多维数据集集可以表示为为(维1，维2，……,维n，变量)变量表示我我们观察的的数据对象维1，维2，……,维n分别表示我我们观察的的各个角度如(时间，单位位，缺陷陷类别，缺缺陷等级，，发现缺陷陷数量)是一个有关关“发现缺缺陷”的四四维数据集集，其数据据成员可表表示为：>（2008年，江苏，，线路缺陷陷，Ⅰ类缺陷，300）>（2008年1月，南京，，设备缺陷陷，Ⅱ类缺陷，35）多维数据分分析模型多维数据分分析模型事实表：销售表（产产品标识符符，商店标标识符，日日期标识符符，销售额额）维表1：产品表（产产品标识符符，类别，，大类别））维表2：商店表（商商店标识符符，市名，，省名，国国名，洲名名）维表3：时间表（时时间标识符符，日期，，月份，季季度，年份份）多维数据分分析模型数据立方体体（DataCube）存放数据视视图的多维维数据模型型称为数据立方体数据立方体可可以是物理存在的，也可可以是一个逻辑定义三个维度以上上的数据立方方体也称为数数据超立方体体超过三个维度度的信息难以以实现全维度度的同时展现现多维数据分析析模型多维数据分析析多维数据分析析是指对以多维形形式组织起来来的数据采取取切片、切块、、旋转、钻取取等各种分析动动作，以求剖剖析数据，使使最终用户能能从多个角度度、多个侧面面地观察数据据，从而深入入地了解被包包含在数据中中的信息、内内涵。切片（Slice）根据某一维上上的某个维成成员值选择统统计数据进行行分析切块（Dice）根据某一维上上的某个维成成员取值的区区间选择统计计数据进行分分析旋转调整维的排列列次序的动作作称为旋转钻取>上钻：也称‘‘数据概括括’（rollup）>下钻：也称‘‘数据细化化’（drilldown）多维数据分析析模型多维数据分析析数据概括（rollup）将多维下标的的取值提升到到较高的概念念层次上，从从而形成新的的统计查询结结果，并进行行分析。数据细化（drilldown）将多维下标的的取值降低到到较低的概念念层次上，从从而形成更细细致的统计查查询结果，并并进行分析。。Cube多维数据分析析模型利用切片和切切块（sliceanddice）功能、逐层层细化（drill）功能、维旋旋转功能等，，可以轻松地地完成传统方方法难以完成成的工作多维数据分析析以“产品、城城市、时间””三维数据为为例>切片对三维数据，，通过“切片片”和“旋转转”（选择特特定切割方向向），分别从从城市到产品品等不同的角角度观察各年年的销售情况况>钻取沿时间维下钻钻，可以从年年销售量出发发进而观察各各季度的销售售情况>旋转变换观察角度度，可以从各各时间段每种种产品的销售售情况转而分分析各类产品品在不同城市市间的销售情情况多维数据分析析模型数据仓库与数数据中心概述述OLTP与OLAP多维数据分析析模型数据整合应用介绍系统功能模块块概述系统功能模块块可根据面向向系统管理员员、开发人员员和公司级管管理人员等不不同角色进行行划分。面向用户系统统管理员、开开发人员的功功能模块面向公司级管管理人员的功功能模块面向开发人员员的功能模块块应用介绍业务描述通过OLAP建模工具构建建多维数据分分析模型，以以报表、查询询、动态分析析等段实现对对指标数据的的分析和展现现。应用介绍设计方案概述述系统以查询、、动态分析等等手段实现对对指标数据的的分析和展现现。应用介绍主要业务功能能数据组织功能能数据应用功能能数据管理功能能应用介绍数据组织功能能数据仓库数据仓库的定定义数据仓库的作作用数据仓库的数数据存储分类类应用介绍数据应用功能能指标管理指标分类数据组织指标配置主题分析主题定义与指指标配置即席查询应用介绍指标分类基础指标基础指标是数数据仓库中指指标的最小单单元，是实际际业务的反应应。衍生指标衍生指标是以以一个指标自自身所包含的的信息为依据据，利用不同同的衍生方式式产生的具有有一定业务含含义的数据集集合。复合指标复合指标是以以一组基础指指标、衍生指指标或已有的的复合指标所所包含的信息息为依据，利利用维度间存存在的关联关关系，通过对对不同的指标标数据进行组组合运算产生生的具有分析析意义的数据据集合。应用介绍数据组织从业务数据到到操作数据区区从操作数据区区到数据仓库库从数据仓库到到数据集市应用介绍从业务数据到到操作数据区区通过ETL过程，对业务务系统的数据据进行适当的的编码转换，，进入操作数数据区，形成成构建基础指指标所必需的的基础数据项项。应用介绍从操作数据区区到数据仓库库根据管理分析析的需求，确确定基础指标标的度量、维维度及维度的的层次结构等等数据组织模模型；依据数数据模型在数数据仓库中创创建相应的数数据实体（该该数据实体称称为基础数据据集）；对操操作数据区中中的基础数据据项进行抽取取、转换、过过滤、聚合等等操作，并将将操作后所获获得的数据集集加载至数据据仓库中的相相应数据实体体，完成基础础指标的基础础数据集建设设。应用介绍从数据仓库到到数据集市平台层根据数据集市市所针对的业业务需求特性性，确定一组组指标作为产产生衍生指标标、复合指标标的基础，并并在此基础上上确定衍生指指标、复合指指标的度量、、度量运算规规则、维度及及维度的层次次结构等数据据组织模型；；依据数据模模型在数据集集市中创建相相应的数据实实体；对数据据仓库中的基基础指标进行行关联、过滤滤、聚合、运运算等操作，，并将操作后后所获得的数数据集加载至至数据集市中中的相应数据据实体，完成成衍生指标及及复合指标的的事实表和维维度表建设。。应用介绍指标配置指标定义关联性设置应用介绍指标定义指标定义实现现了指标在系系统中的创建建，根据指标标数据来源及及数据加工过过程的不同，，分别完成对对基础指标、、衍生指标和和复合指标的的定义。应用介绍关联性设置指标从技术角角度来看都是是具有关联性性的，对于指指标总会存一一个到两个相相同的维度，，而在业务人人员来看，不不同的指标之之间存在的关关系并不唯一一，关联性的的设置就是提提供这样的一一个个性化的的指标关联设设置，用于解解决不同业务务人员对于指指标间关系的的不用界定。。应用介绍主题分析主题定义与配配置即席查询应用介绍主题定义与配配置主题是由一组组面向特定管管理分析需求求的指标、查查询方案及报报表所构成的的。主题的名名称可由用户户自行定义。。主题可包含含若干个子主主题，主题及及若干级子主主题构成主题题树。应用介绍即席查询即席查询是基基于指标进行行主题分析的的一项高级应应用应用介绍数据管理功能能元数据资源库库ETL过程安全设计应用介绍元数据资源库库元数据管理ETL元数据同步元数据完整性性检查应用介绍ETL过程ETL任务的分类ETL任务配置ETL任务管理应用介绍安全分级应用权限控制制数据安全应用介绍主要分析下钻该功能用于在在图形组件中中，对用户选选中的某个图图形区域所对对应的维度层层次的子层次次的明细数据据的查询展现现。用户双击某个个数据区或在在右键菜单中中选择下钻项项，如选中的的单元格对应应单个维度，，图形组件直直接以刷新原原图形的方式式展现子层次次明细数据。。如选中的单单元格对应多多个维度，则则图形组件先先弹出选择对对话框由用户户选择下钻的的维度，再以以刷新原图形形的方式展现现子层次明细细数据。仪表表盘不能执行行下钻操作。。应用介绍上钻该功能用于在在图形组件中中，对用户选选中的某个图图形区域所对对应的维度层层次的父层次次的统计数据据的查询展现现。用户单击某个个数据区，在在右键菜单中中选择上钻项项，如选中的的单元格对应应单个维度，，图形组件直直接以刷新原原图形的方式式展现父层次次统计数据。。如选中的单单元格对应多多个维度，则则图形组件先先弹出选择对对话框由用户户选择上钻的的维度，再以以刷新原图形形的方式展现现父层次统计计数据。仪表表盘不能执行行上钻操作。。应用介绍旋转该功能用于将将数据集中的的位于行表头头和列表头上上的维度属性性或度量互换换。用户点击右键键，在右键菜菜单中选择旋旋转操作，根根据旋转后的的数据系统自自动使用适合合的图形展现现方式重绘图图形展现。排序该功能用于指指标在某个维维度上的排名名的分析，如如按地区排名名。应用介绍条件查询该功能用于对对现状分析中中的分析切片片的简单的维维度过滤查询询及部分分析析方式的指定定，如地区和和时间维度的的过滤，在排排序中指定TopN、BottomN或平均线等。。应用介绍同比分析该功能用于指指标本期与去去年同期的比比较情况的分分析，通常用用同比增长量量和同比增长长率来反映，，同比分析在在分析中以弹弹出框的方式式显示，由系系统根据指标标特性自动分分析完成。应用介绍环比分析该功能用于指指标本期与上上期的比较情情况的分析，，通常用环比比增长量和环环比增长率来来反映，环比比分析在分析析中以弹出框框的方该功能能用于指标本本期与上期的的比较情况的的分析，通常常用环比增长长量和环比增增长率来反映映，环比分析析在分析中以以弹出框的方方式显示，由由系统根据指指标特性自动动分析完成。。式显示，由由系统根据指指标特性自动动分析完成。。应用介绍占比分析该功能用于指指标在某个维维度上各成员员占总数的百百分比的分析析，占比析在在分析中以弹弹出框的方式式显示，由系系统根据指标标特性自动分分析完成。80/20分析该功能用于指指标在某个维维度上统计完完成总数百分分之八十的成成员情况的分分析，80/20分析在分析中中以弹出框的的方式显示，，由系统根据据指标特性自自动分析完成成。应用介绍穿透分析该功能根据指指标定义的穿穿透方式，传传入用户选中中的表格中的的某个单元格格所对应的维维度属性和度度量信息，查查询其凭证数