企业数据仓库解决方案

文件编号：SMSI-BSM-SMSIOA-保密级别：公司级 部门级 项目级 普通级采纳标准：CMMI企业数据仓库实施解决方案V1.0.0作者：许少鹏Fujian Sinomyth System Integration CO.，LTD鑫信迈(福州)系统集成有限公司版权所有一. 目 录一.目 录2二.文档更新说明3三.术语说明3四.数据仓库总体解决方案34.1.数据仓库定义34.2.数据仓库完整架构图44.3.数据仓库技术平台54.3.1.数据转换技术实现64.3.2.数据展示技术实现7二. 文档更新说明更新内容版本更新人员日期文档创建V1.0.0许少鹏2011-2-12文档修改文档审核三. 术语说明术语全称简称说明Oracle WareHouse BuilderOWBOWB、ODI是针对数据仓库设计、部署管理的工具Oracle Data IntegratorODI四. 数据仓库总体解决方案4.1. 数据仓库定义数据仓库是一个建设过程，而不是产品。数据仓库是通过对来自不同的数据源进行统一的处理及管理，通过灵活的展示方法来帮助决策支持。4.2. 数据仓库完整架构图 数据获取层实现如何从所有源系统中获得原始的业务数据，并对其进行一致性处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。数据仓库系统需要从多个源数据系统中抽取和汇总各个业务数据，这些数据源系统是数据仓库系统的数据来源。系统按照满足分析需求的原则，把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。从上述这些系统中获取数据需要三个过程：数据抽取、数据转换、数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。这三个过程主要完成确定从哪个系统中抽取什么样的数据，如何保证来自不同的源数据系统的同类数据的一致性和完整性，如何把转换完成的数据装载到数据仓库系统中，以及如何处理在转换和装载过程中出现的错误。 数据管理层 把数据存储到企业级数据仓库系统中进行集中管理。在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。 数据使用层 实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求、使用报表、随即查询、多维度分析和数据挖掘进行数据展现。 数据输出层的功能是使最终用户通过报表、图形和其他分析工具的方式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。 Oracle 为企业提供多种数据分析方法，包括标准报表、即席查询报表、动态分析报表，预测，假设分析和数据挖掘等。u 标准报表、即席查询报表标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出，标准报表是一种格式固定，内容仅依据预定义的条件变化的报表，是在系统开发时根据用户需求定制的，最终用户无法修改。即席查询报表的格式和内容可以由最终用户自由选择，即支持即席查询。允许最终用户控制数据的访问方法，定义报表格式和报表中的数据内容。u 动态分析报表动态分析报表支持客户对数据进行旋转、切片和分层，并从各个角度对数据进行分析和比较。u 预测，假设分析预测主要是根据历史数据推断将来的数据趋势。假设分析允许用户设定一些假设条件，观察条件成立的情况下相关指标的变化。u 数据挖掘数据挖掘是利用多种数学的分析方法建立模型，找出隐含的业务规律。4.3. 数据仓库技术平台4.3.1. 数据转换技术实现4.3.1.1. 数据转换工具数据仓库设计、部署、管理工具采用OWB/ODI技术，OWB/ODI都是使用E-LT的理念设计出来的数据抽取/数据转换工具。ODI和OWB是互为补充的。ODI特点：1) 对于需要异构数据支持：当数据源或者目的不是Oracle数据库，ODI能够生成针对那个数据源的native的SQL操纵语句。2) 对于需要实时数据集成的环境：ODI能够检测事件，一个事件可以触发ODI的一个接口流程。从而完成近实时的数据集成。下图是ODI提供的一些检测事件的工具，可以用在package里（ODI workflow的代名词）如OdiFileWait是等待文件到达，OdiSleep类似于许多系统里的Sleep等待轮询，OdiWaitForLogData则可以用于捕获增量数据的捕获的事件。这里的组件都是实现实时数据集成的关键部分。3) 在数据抽取集成过程中需要和SOA集成，ODI本身提供了call web service的机制，并且ODI的接口也可以暴露为webService，从而可以和SOA环境进行交互。4) 一致的CDC(Change Data Capture)支持，不同的数据源（Oracle，DB2等）对于变化数据获取都提供了不一样的技术框架，ODI把这些不同的技术框架屏蔽了，以一个统一的接口方式提供统一的CDC的设置框架，并提供订阅者的功能。OWB特点：1) 丰富的Oracle数据运算符，能够提供Oracle数据库之间的高速转换抽取。2) 从11g开始，OWB会作为Oracle的标准选件来提供，OWB本身会通过Oracle数据库的安装盘来安装，和所有的其他Oracle选项一样，都会和数据库核心紧密集成。3) 数据质量管理：OWB的data profiling是一个相当强的数据质量管理工具，原理和流程是 数据采样-分析采用数据的错误和规则-生成纠正采样数据的mapping流程-验证流程-把流程应用到所有的数据上的循环。总结：ODI跟OWB都有各自的特点，但在建设一个数据中心的项目里使用这两个工具的话，可以使用ODI来完成从异构数据源到staging Oracle数据的生成，或者用ODI完成需要实时数据同步的工作。4.3.1.2. OWB/ODI原理1) 设计：图形化建模、映射关系定义2) 构造：生成数据仓库、生成抽取转换过程、元数据集成3) 管理：基于元数据的数据仓库管理4.3.1.3. OWB/ODI模型设计通过连接不同数据库，从不同数据库中的表字段内容抽取到数据仓库中统一的表进行管理。模型设计如下：4.3.2. 数据展示技术实现数据展示方式：图形+表格形式图形包括：柱状图、线状图、条形图、饼图、点图、面积图，需要具有大量深入的数理统计的功能，如最大值、最小值、增幅、排名、比重、同比、环比等，并支持TOPN、TOP%、结构分析、离散分析、弹性分析、相关分析、方差分析、聚类分析等高级的数据统计分析方法表格包括：固定报表、动态浮动报表、交叉浮动报表、多维度动态展开报表等。1） 图形展示图形展示可用免费版FusionCharts 控件 来展示，使用方法简单，灵活，界面美观2） 报表展示模型：表格展示主要通过table + css 来实现。可以自由地实现任意表格方式。固定报表：固定报表是分析报表展现的一种形式，是常用的一类报表，这一