数据仓库解决方案v0

数据仓库解决方案vO

深#11太极云软技术股份有限公司

2016年1月

目录

（-）概述......................................................................3

—.国内信息化的现状.......................................................3

二.以应用驱动，数据仓库建设应由后向前规划..............................3

三.“想大做小”（整体设计、分布实施）..................................4

（二）系统架构.................................................................5

数据仓库架构.................................................................6

系统功能架构.................................................................7

（三）数据仓库建设方法.........................................................8

数据仓库建设8大步骤.......................................

1.系统分析，确定主题...................................................9

2.选择满足数据仓库系统要求的软件平台.................................10

3.建立数据仓库的逻辑模型..............................................10

4.逻辑数据模型转化为数据仓库数据模型.................................11

5.数据仓库数据模型优化................................................12

6.数据清洗转换与传输..................................................13

7.开发数据仓库的分析应用..............................................13

8.数据仓库的管理......................................................14

（四）系统功能全面介绍.......................................................14

企业数据门户............................................................14

主题分析................................................................15

即席查询................................................................16

多维分析工具............................................................16

ETL工具.................................................................17

报表工具................................................................19

（一）概述

一,国内信息化的现状

1.信息化建设的进展历史：

在国内信息化建设过程中，基本上是按照当时业务系统的需求进

行建设，过一段时间，假如有新的业务推出，就再建设一个新的系统,

或者在原系统的基础上增加新的业务处理。这样的结果使每个系统与

系统之间缺少真正的信息沟通与信息交换。

2.为何要建立数据仓库：

根据现状业务系统各自为政，相互独立。当很多业务系统建立后,

由于领导的要求与决策的需求，需要一些指标的分析，在相应的业务

系统基础上再增加分析与相应的报表功能，这样每个系统就增加了报

表与分析功能。但是，由于数据源不统一导致了对同一个指标分析的

结果不相同。为熟悉决该问题，为了分析与决策的需要，将相互分离

的业务系统的数据源整合在一起，能够为领导与决策层提供分析与辅

助决策。

二.以应用驱动，数据仓库建设应由后向前规划

数据仓库到底应该怎么建设?我一贯的主张是应用驱动。什么样

的应用呢？应用是应考虑政府管理的现状与决策层最关心的问题入

手。分利用现有信息系统资源，进一步细化、量化权力清单，固化权

提图决策的及时性及准确率。

3.提供管理效能，量化办事效率

基于系统分析内容，管理者能熟悉细化、量化权力清单，固化权

力运行流程与办理环节，达到规范业务流程、监督个体行为、记录执

法诚信、科学考核评价与提升管理精度，最终使群众的合法权益得到

保护，实现权力有效监督与提升政府效能。

（二）系统架构

多聚分析即席套询报表统计决策管理预■分析

数据

元

信

数

数据仓库数据集市共享数据视图息

据

治

管

数据管理层理

理

桂沙敷援

数据交换:

.

▼

相关业务单位

系统架构图

在建立数据仓库，数据仓库按主题域存储各业务数据。数据来源要紧是政府

管理结构的不一致业务管理系统。通过数据交换平台定期采集各管理机构的业务

数据，后台数据处理工具ETL抽取、清洗数据，并加载入数据仓库中。

架构于数据仓库上的系统功能要紧包含大数据门户、专题主题分析、即系查

询、多维分析、自助报表的功能模块，通过这些功能模块为管理者获取数据与分

析物居提供简单易用、功能强大的方法，为管理者决策及提升管理精度，最终实

现权力有效监督与提升政府效能。

数据仓库架构

数据仓库是一个建设过程，而不是产品。数据仓库是通过对来自

不一致的数据源进行统一的处理及管理，通过灵活的展示方法来帮助

决策支持。

＞数据获取层

实现如何从所有源系统中获得原始的业务数据，并对其进行一定

的数据处理，按主题进行数据重组与格式转换，然后传送并装载到数

据仓库系统中。

数据仓库系统需要从多个源数据系统中抽取与汇总各个业务数

据，这些数据源系统是数据仓库系统的数据来源。

把上述数据源系统中的数据按照主题进行划分与组织，然后抽取

并装载到数据仓库系统中。

数据需要通过三个过程：数据抽取、数据转换、数据装载。这三

个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包含

网络协议标准的转换、不一致平台之间的接口）的前提下实现的。保

证把来自不一致的源数据系统的同类数据的一致性与完整性，转换完

成的数据装载到数据仓库系统中。

＞数据管理层

把数据存储到企业级数据仓库系统中进行集中管理”在数据存

储层，数据是存放在两类数据库中：关系型数据库与多维数据库。数

据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，与

用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整

的库。

＞数据使用层

把数据仓库系统中的数据与分析结果提供给最终用户。按照用

户的分析需求、使用报表、随即查询、多维度分析与数据挖掘进行数

据展现。

数据输出层的功能是使最终用户通过报表、图形与其他分析工具

的方式简便、快捷地访问数据仓库系统中的各类数据，得到分析结果。

提供多种数据分析方法，包含标准报表、即席查询报表、动态分

析报表、多维分析、趋势预测、假设分析与数据挖掘等。

系统功能架构

多维分析OLDP多角度、立体化、灵活动态的分析业务数据。产

品简单易用，无需编写任何的代码，用户只需要通过语义层的定义就

能够轻松搭建自己的多维数据模型。

即席查询统计报表、指标的快速检索，帮助业务分析人员快速获

得所需要的数据与统计信息。

数据门户DataPortal进行统一展现，展现方式包含仪表盘、表

格、报表、日历等内容，并支持用户个性化定制内容、指标等功能，

实现真正的个性化服务。数据门户中展现的内容是管理者及业务人员

最关注的指标，通过门户为他们获取数据提供最简单容易的方式。

主题分析根据资源的组织，支持数据的深入挖掘与分析应用，跟

踪、监控政策的执行情况及实施效果，让管理层熟悉细化、量化权力

清单，固化权力运行流程与办理环节，达到规范业务流程、监督个体

行为、记录执法诚信、科学考核评价与提升管理精度，最终使群众的

合法权益得到保护，实现权力有效监督与堤升政府效能。

报表业商业智能系统建设的重要构成部分，要紧对企业数据仓库

中整合的各主题域业务数据，按照监督管理要求，面向各级部门，快

速提供准确、全面、灵活的表达政府管理效能等方面实际的数据信息,

为决策支持、业务管理提供有效的数据信息支撑。

ETL工具：ETL是数据仓库最核心的后台组件，通过对及汇总来

的不一致来源数据的抽取、清洗、加载实现数据仓库中数据的更新及

流转。ETL工具(桥接器)，实现了图形化及自动化的方式来配置ETL

流程，极大的减轻了数据加工的工作量，提高了数据准确性及处理效

率。

(=)数据仓库建设方法

数据仓库决策分析的业务处理流程要紧分为四个阶段C

1)数据集中：各级政府部门'业务数据统一汇总数据中心临时

数据存储；

2)数据整理与转换：汇总后的业务数据通过ETL抽取、转换、

加载到数据仓库中：

3)数据存储与管理：对数据仓库数据进行集中存储与管理、

备份与保护；

4)数据挖掘与展现：用户通过前端的展现工具对数据仓库中

数据进行挖掘、钻取与分析，在数据门户展现；

1.系统分析，确定主题

确定一下几个因素：

•操作出现的频率，即业务部门每隔多长时间做一次查询分析。

•在系统中需要储存多久的数据，是一年、两年还是五年、十年。

•用户查询数据的要紧方式，如在时间维度上是按照自然年，还是财

政年。

・用户所能同意的响应时间是多长、是几秒钟，还是几小时。

2.选择满足数据仓库系统要求的软件平台

选择合适的软件平台，包含数据库、建模工具、分析工具等。有许多

因素要考虑，如系统对数据量、响应时间、分析功能的要求等，下列

是一些公认的选择标准：

•厂商的背景与支持能力，能否提供全方，立的技术支持与咨询服务。

•数据库对大数据量（TB级）的支持能力。

•数据库是否支持并行操作。

•能否提供数据仓库的建模工具，是否支持对元数据的管理。

•能否提供支持大数据量的数据加载、转换、传输工具（ETT）。

•能否提供完整的决策支持工具集，满足数据仓库中各类用户的需

要。

3.建立数据仓库的逻辑模型

具体步骤如下：

（1）确定建立数据仓库逻辑模型的基本方法。

（2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。

（3）识别主题之间的关系。

（4）分解多对多的关系。

访售记录信号Number(101

Date

Time

Number(10,2)

主株识符＜pi＞

顾客

编号<DI>Inteaer<M>商品

姓名<ai>Characters(10)

住址Characters(40)商品纳号LongInteger<M>

电话Characters(15)数场Shortinteger

制Number(6)

VIPBoolean

主标示符<pi)

次标识符<ai>

付款商品目录

二付编号怕

Si>LenaInaer<M>商品嘉号LonqInte-er<M>

日蜘间

Date&Time描述Text

预付款项

Decimal(6.2)厂家Longcharacters(20)

找看Decimal(6.2)

启皆记录很号生产日期Date&Time

Number(10)晶价Number(6,2)

主标识符＜P»主标识符"i>

(5)用范式理论检验逻辑数据模型。

(6)由用户审核逻辑数据模型。

4.逻辑数据模型转化为数据仓库数据模型

5.数据仓库数据模型优化

数据仓库设计时，性能是一项要紧考虑因素。在数据仓库建成后，也

需要经常对其性能进行监控，并随着需求与数据量的变更进行调整。

优化数据仓库设计的要紧方法是：

•合并不一致的数据表。

•通过增加汇总表避免数据的动态汇总。

•通过冗余字段减少表连接的数量，不要超过3〜5个。

•用ID代码而不是描述信息作为键值。

•对数据表做分区。

数据清理

脏数据“干濠”数据

数据集成

激据变换-2,32,100,59,48-0.02,0.32,1.00,0.59,0.48

A115

数据归约

6.数据清洗转换与传输

7.开发数据仓库的分析应用

建立数据仓库的最终目的是为业务部门提,共决策支持能力，务必为业

务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。

信息部门所选择的开发工具务必能够：

•满足用户的全部分析功能要求。数据仓库中的用户包含了企业中各

个业务部门，他们的业务不一致，要求的分析功能也不一致。如有的

用户只是简单的分析报表，有些用户则要求做预测与趋势分析。

•提供灵活的表现方式。分析的结果务必能够以直观、灵活的方式表

现，支持复杂的图表。使用方式上，能够是客户机/服务器方式，也

能够是浏览器方式。

事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个

完整的数据仓库系统的功能可能是由多种工具来实现，因此务必考虑

多个工具之间的接口与集成性问题，关于用户来说，希望看到的是一

致的界面。

8.数据仓库的管理

（四）系统功能全面介绍

企业数据门户

企业实施商业智能、数据仓库的目的之一为整合各系统的业务数

据，统一指标口径，实现统一视图、统一决策界面。企业数据门户功

能要紧对整合的业务数据进行统一展现，展现方式包含仪表盘、表格、

日历等内容。数据门户中展现的内容是管理者及业务人员最关注的指

标，通过门户为他们获取数据提供最简单容易的方式。数据门户中

展现的内容根据用户角色不一致而有所差异，每个用户都能够定制自

己关注的内容，实现真正的个性化服务。

系统截图:

/Miwcnp一・H■:M13409M10H

附18仪表宣美哪惊

153曲8£弊集野及日历♦艮姆第痔惮

3Q«W比同”v»ta

XHfr入nSSM•7M・tomesat“335

为464920-toMUS221S04M

llyUR22002i»-222%226am

£H2U523T»-212%2072434P

、10M%1244M•51%4

人匕*入%M44・11•4、A-

A1W1405•M45%ISMi5.m

月度计出亮双海兄

?游以呐比日肋析42013*09月

,收入日历分砧

Wi«2阳3AMmsffle即日

1

9WO

2345676

873se»i8745aM5939460

910WW)1112131415

871485M

16v1819中次其)202122

23242526272829

01B069119ISB2IBM9SIS

30

分店博名(TOpIO)

主题分析

数据仓库中的业务数据通常是面向主题进行组织的。主题分析是

在较高层次上将企业信息系统的数据进行归并、抽象，形成对分析对

象的一个完整的描述，表达分析数据之间的相互关系，揭示数据规律

与问题。

主题分析模块从主题域的角度入手，支撑数据资源的组织，支持

数据的深入挖掘与分析应用，跟踪、监控政策的执行情况及实施效果,

倒逼行政权力部门认真履职、规范执法、优化服务，努力提高政府效

能。

考虑到国情特点与现状，主题分析涵盖了经济进展、卫生健康、

教育科技、道路交通、机构团体、生活服务、文体娱乐、安全避险、

资源环境、社保就业、财税金融、法律服务量等八个主题域有关的主

题分析功能。

即席查询

即席查询针对数据仓库内的各主题数据、统计报表、指标的快

速检索，帮助分析人员快速获得所需要的数据与统计信息。即席查询

工具通过提供各类向导式界面、图形查询生成器、联机帮助等功能，

为系统使用人员提供细粒度数据。

即席查询是分析人员的重要的辅助工具，它是在数据仓库的信息

组织基础上，尽可能多的在后台按照分析人员关心的分析角度沉淀业

务知识，在前端功能上屏蔽后台查询技术细节，为分析人员提供灵活

的业务分析查询角度定制与结果定制功能，使分析人员在分析汇总数

据的同时能够通过即席查询进一步深入到自己感兴趣的细节数据中，

以便更全面地反映情况，做出正确决策。

多维分析工具

多维分析是商业智能的核心技术，能够帮助用户进行多角度、立

体化、灵活动态的分析。多维分析报表由“维”（影响因素）与“指

标”（衡量因素）构成，能够真正为用户所懂得、并真实的反映国情

特性信息。

BI-多维分析工具简单易用，无需编写任何的代码，用户只

需要通过语义层的定义就能够轻松搭建自己的多维数据模型。同时具

有灵活的分析功能、直观的数据操作与分析结果可视化表示等突出优

点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于

迅速做出正确推断。它可用于证实人们提出的复杂的假设，以图形或

者者表格的形式来表示的对信息的总结。

多维分析工具专门设计用于支持复杂的分析操作，侧重对决策人

员与高层管理人员的决策支持，能够根据分析人员的要求快速、灵活

地进行大数据量的复杂查询处理，同时以一种直观而易懂的形式将查

询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况,

熟悉对象的需求，制定正确的方案。

ETL工具

ETL负责将分散的、异构数据源中的数据如关系数据、平面数据

文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据

仓库或者数据集市中，成为联机分析处理、数据挖掘的基础。ETL是

数据仓库中的非常重要的一环，它是承前启后的必要的一步。

ETL工具纯java编写,能够在Window、Linux、Unix上运行，绿

色无需安装，数据抽取高效稳固。功能强大、灵活，使用简单。

ETL致据异常

平台抽取转换调度处理