数据库系统总体设计原则

文档编号产品版本密级

1.0

共87页

数据仓库系统

总体设计

文档作者：_______日期：2001/12/20

项目经理：_______日期：2001/12/28

部门经理：_____日期：2002/01/08

总工办：_______日期：2002/01/08

目录

I概述..............................................................7

1.1背景.........................................................7

1.1.1待开发的软件系统名称...........................................8

1.1.2系统的基本概念.................................................8

1.1.3项目组名称.....................................................8

1.1.4项目代号.......................................................8

1.2术语和缩写词.................................................8

1.3设计目标.....................................................9

2系统设计..........................................................9

2.1设计原则.....................................................9

2.2系统结构....................................................II

2.2.1子系统划分....................................................II

2.3系统数据结构................................................17

2.3.1逻辑结构......................................................12

2.3.2层次结构......................................................13

2.3.3网络拓扑结构..................................................14

2.3.4网络层次结构..................................................16

2.4行业特殊需求................................................17

2.5底层数据库（仓库）设计......................................19

2.5.1设计原则......................................................19

2.5.2数据现状......................................................20

2.5.3数据存储整体规划..............................................21

2.6ETL系统....................................................24

2.6.1需求规定......................................................24

2.6.2运行环境......................................................24

2.6.3设计思想......................................................24

2.6.4结构说明......................................................25

2.6.5处理流程......................................................26

2.7系统管理.................................................................................27

2.7.1需求规定.......................................................................................27

2.7.2运行环境.......................................................................................28

2.7.3设计思想.......................................................................................28

2.7.4结构说明.......................................................................................28

2.7.5处理流程.......................................................................................29

2.8数据展现.................................................................................30

2.8.1需求规定........................................................................................30

282运行环境........................................................................................32

2.8.3设计思想....................................................................................32

2.8.4结构说明.......................................................................................32

2.8.5处理流程........................................................................................34

2.9界面设计...................................错误!未定义书签。

2.9.1需求规定......................................错误!未定义书签。

292主程序界面....................................错误!未定义书签。

2.9.3主要页面设计..................................错误!未定义书签。

2.10接口设计.................................................................................34

2.10.1外部接口........................................................................................34

2.10.2内部接口......................................................35

2.11安全设计...................................................35

2.11.1网络安全......................................................35

2.11.2数据库安全...................................................38

2.12系统可靠性设计.............................................39

2.12.1可靠性........................................................39

2.12.2可维护性.....................................................39

2.12.3可扩展性.....................................................40

2.12.4健壮性........................................................40

2.12.5性能保证.....................................................40

2.12.6出错处理.....................................................41

2.12.7备份与恢复...................................................41

2.13运行设计...................................................42

2.14相关工具选择...............................................42

2.14.1数据库选择....................................................43

2.14.2WEB服务器和应用服务器......................................43

2.14.3数据库建模工具...............................................44

2.14.4分析型工具...................................................44

2.14.5OLAP工具介绍...............................................45

2.14.6ORACLE公司OLAP介绍......................................46

2.15开发环境...................................................47

2.15.1硬件环境......................................................47

2.15.2操作系统.....................................................48

2.15.3开发语言.....................................................48

2.15.4数据库系统...................................................48

2.15.5中间件系统...................................................48

2.15.6应用系统.....................................................49

3系统调试和测试..................................................49

3.1目的........................................................49

3.2基本要求....................................................50

3.2.1测试计戈ij............................................................................................................50

3.2.2测试说明......................................................50

3.2.3测试环境建立..................................................50

3.2.4测试报告......................................................50

3.3应遵循的原则................................................50

3.4测试方法....................................................51

3.5测试重点....................................................51

4项目进度.........................................................52

4.1项目资源计划................................................52

4.1.1项目组........................................................52

4.1.2数据仓库领导小组办公室........................................52

4.2项目工期计划................................................52

4.3时间进度计划................................................52

4.3.1数据仓库系统需求调查与两会系统................................53

4.4第一期开发主题..............................................53

4.5第二期开发主题..............................................53

4.6工作量分配计划..............................................53

5小结.............................................................54

6参考文献..........................................................56

7附录.............................................................57

7.1Oracle性能评估报告..........................................57

7.2主流WEB服务器比较........................................61

7.3IBM小型机性能评估报告.....................................72

7.4详细网络拓扑图及设备清单...................................74

7.5在多层体系结构下建立数据仓库...............................79

摘要

数据仓库系统的建立可以解决传统数据库不能很好提供分析决策功能的问

题，可以发掘历史数据中隐含的大量有价值的信息，为国民经济的发展和宏观决

策提供大量有效的参考信息。系统数据来源复杂，在数据仓库设计中不能采用常

规方法解决问题；主题众多且分析热点会随时间变化而变化，要求主题下所含的

信息在一定范围可变；主题下指标可能需要调整等实际情况，这和数据仓库的数

据的不可修改性有矛盾；等等。我们结合数据仓库的特点和系统实际情况，提供

了一套完整的数据仓库系统的解决方案。整个数据仓库系统从数据采集到数据展

现共分为四部分：1、数据抽取、转换、加载；2、系统管理（包括数据库维护）；

3、数据展现；4、支撑整个系统的数据库的设计（包括ETL中间数据库和数据仓

库）保证系统具有相当的灵活性。各个部分独立完成本部分功能，同时紧密协作

组成数据仓库系统。数据仓库系统管理与数据导入部分采用C/S模式有针对性的

开发；数据仓库系统的数据展现采用流行的B/S模式向用户提供数据查询、决策

分析。

关键词：

指标，主题，数据仓库，联机分析，数据挖掘，决策支持。

1概述

1.1背景

经过2个多月的需求分析调查，确定了数据仓库系统总体定位（省政府数据

仓库是以充分发挥信息的社会作用和经济效益为最终目的）和系统功能需求。现

根据需求分析规定和局具体情况，确定数据仓库整体方案，以指导数据仓库系统

研究、开发、实现。

省政府局数据具有建立数据仓库系统的基本条件：

•积累r大量历史数据，这是数据仓库存在的必要条件；

•随着市场经济的发展，社会各界（如金融投资等领域为了规避市场

风险，提高决策的准确度，开发新的市场和利润增长点，挖掘市场

潜力）对数据的需求不断增大，社会各界迫切需要利用数据进行决

策分析，指导经济建设。

省政府数据仓库建设存在以下困难：

•当前局各个处室没有统一规划的数据库系统；

•只有少量数据以电子文件形式存在，大部分历史数据保存在纸介

质上，到目前为止，建国以来的数据有一般以上以纸介质方式存

储；

•由于我国制度在不断发展完善，指标在不同的历史时期的口径不

同，为了使同类指标具有可比性，要确定不同时期各个指标的调

整规则，并对历史数据按规则进行调整，这种调整除了少数指标

可以按统一的算法进行以外，大部分调整工作需要人工参与；

因此，省政府数据仓库的建设中数据的整理加载工作量极大，ETL（Extract,

TransformCleaning、Load）工具开发难度大；完善的、与数据仓库系统良好联

接的、统一规划的各个处室的数据库系统是据仓库系统的具有长久生命力的基本

保障，因此各处室数据库的建设应同步进行。

1.1.1待开发的软件系统名称

省政府数据仓库系统

1.1.2系统的基本概念

指标：系统的数据以指标为载体，所有的数据都是指标在不同时间，不同地

域上的取值，统一指标可能有年度、月度、季度、半年、连续某几个月等时间段

的数据，可能有国家、省、地、市、县、乡、村的数据，甚至有居民户、具体企

业单位的明细数据，数据仓库中的数据就是这些数据的有机集合。

主题：数据仓库中的数据按主题组织，这是由数据仓库以分析决策为主要目

的决定的。主题是一个在较高层次上将数据归类的标准，每一个主题对应一个宏

观的分析领域。省政府数据仓库是将指标数据按分析主题集成起来，供查询、分

析、辅助决策。

1.1.3项目组名称

数据仓库项目组

1.1.4项目代号

XhnTJDW001-00l9

1.2术语和缩写词

指标:StatisticalParameter

数据仓库：DW(DataWarehouse)

主题：Subject

数据集市：DataMart

元数据：MetaData

数据抽取、转换、加载:ETL(ExtractTransformCleaning>Load)

联机分析处理：OLAP(On-LineAnalyticalProcessing)

联机事务处理：OLTP(On-LineTransactionProcessing)

决策支持系统：DSS(DecisionSupportSystem)

数据挖掘：DM(DataMining)

应用服务器：AS(ApplicationServer)

Web服务器：Webserver

1.3设计目标

省政府数据仓库系统是以充分发挥信息的社会效益和经济价值为最终目的。

将大量事务处理数据库中的数据进行清理、抽取和转换，并按决策主题进行

多维重组，在高效的网络平台上充分发挥系统作为社会“数据库，信息库，思想

库，智囊库”的作用，直接向党政领导、社会各界提供数据、信息服务，为信息

工程建设提供一个“决策数据管理与分析中心”的基本解决方案。

为省政府局建立一套面向党政领导、专业分析人员、广大社会群众对外发布

信息的数据仓库系统。整个系统集数据采集、管理、维护、展现于一体，旨在建

立数据仓库后既减轻局工作人员工作量，又能很好的为公众服务。前端数据展现

要有通用性，采用浏览器浏览数据，是瘦客户端。后端维护系统要具有高效性，

能及时、高效处理、管理数据，功能强大，是胖客户端。

数据仓库系统重在建立一个适应分析的系统环境，首期开发“两会”信息咨

询，企业名录、人口普查、字典、工业经济、农业经济等主题。

2系统设计

2.1设计原则

从充分发挥系统作为社会“数据库，信息库，思想库，智囊库”的作用，直

接向党政领导、社会各界提供“快、精、准”的信息服务的需要出发，采用当今

数据库领域成熟稳定的数据仓库、决策分析等技术，在高效的网络平台上为全省

信息工程建设提供一个“决策数据管理与分析中心”的基本解决方案。

1、系统采用多层体系结构，建立一个良好开放性的数据仓库系统环境，适

应不断增加和变化的业务需求。多层体系结构通过引入中间层组件，扩

大了传统的客户/服务器和两层计算模式。多层结构可由以下三类分层来

定义：前端的客户层，负责提供可移植的表达逻辑；中间的应用层，允

许用户通过将其与实际应用隔离而共享和控制'业务逻辑；后端的数据管

理与服务层，提供对专门服务（例如数据库服务器）的访问。多层结构

与传统的客户/服务器结构的区别在于：在传统的客户/服务器两层结构

中，用户将实际的业务逻辑放置到客户端（作为对表达逻辑的增补）或放置

到后端数据库（作为数据逻辑的一部分包含在存储过程中）。而在多层结构

中，用户将业务逻辑放到中间层上。这种模块化方法明确地划分了表达

逻辑、业务逻辑和数据存储。多层结构通过将应用逻辑集中到中间层，

开发者可以迅速更新业务逻辑，而无需重新将应用递交到成千上万的桌

面系统上。提高数据库的性能、改善系统的开放性、可扩展性和数据的

安全性，并降低管理的复杂性。

2、结构化、层次化、模块化。采用面向对象技术，使系统高度结构化、模

块化、层次化，整个系统由接口定义良好的多个模块组成，每个模块都

有详细的功能说明和设计文稿，每个模块完成相对独立的功能，模块之

间的接口定义规范，使模块功能的变化相对独立，不影响整个系统的功

能和结构，便于系统升级，维护。

3、具有良好的平台移植性。选用支持多种操作平台的数据库服务器、应用

服务器、WEB服务器等服务器软件系统，选用具有良好平台移植性的

B/S和C/S模式下的开发语言开发应用程序和应用中间件，提高应用系统

的平台移植性；

4、统一性和多样性相结合。面向用户的各个应用系统，尽量保持统一风格

以适应用户的操作习惯，但各个系统根据内容具有各自的特色，整个系

统和谐统一，清新明了。

5、自主开发和利用现有工具相结合。尽量利用各成熟的数据仓库系统软件

（工具）为数据仓库这个具有特殊性的项目服务，针对具有特殊性的需

求，开发特定的系统软件，缩短数据仓库开发周期，降低开发成本，保

证系统正常开发。

6、安全性的考虑。系统安全和数据安全是一个网络应用系统应该首先考虑

的问题，数据仓库系统的设计要从网络安全、系统安全、数据安全等各

个方面充分考虑，保障系统安全稳定。

7、分散与集中相结合。数据仓库系统是一个非常庞大的系统，所有数据集

中存储，但局各处室能分别维护本处室数据，数据仓库根据需要能对系

统管理分别设置权限，不同用户维护不同数据。

8、稳定优先，注重效率。数据仓库的海量数据存储和高效杳询是一对矛盾,

在当今硬件技术不断发展和成本不断降低的形式下，我们优先考虑系统

效率，但是在系统稳定性和效率不可兼顾时，以系统稳定优先。。例如在

数据仓库设计方面，我们通过逆规范化（引进适当冗余）来提高系统查

询效率。

9、以最简单的方式实现复杂的功能。为提高系统的稳定性和可读性，可维

护性，尽量采用简洁易懂的方式实现系统功能，不追求复杂、深奥的算

法。

2.2系统结构

2.2.1子系统划分

整个系统按功能分为四大系统，各系统分别为：

I.数据库系统

＞中间数据库

＞数据仓库

2.ETL系统

＞指标数据抽取子系统

＞指标数据加载子系统

3.系统管理系统

＞ETL管理管理子系统

＞数据仓库管理子系统

元数据管理子系统

4.数据展现系统

A应用服务器子系统

>WEB服务器子系统

>OLAP多维分柝决策支持分析子系统

>数据挖掘子系统

带格巍:符号和编号

A图形展示子系统

A报表处理子系统

A数据导出子系统

2.2.2逻辑结构

界I川

图形展示于系统数甥导出了系统报表处理子系统

皿OLAP决策分析了系统数甥尼掘子系统

WEBJR务盟ilu

OLAP服务器

应用服务耦

...................................

指

指

标

标

数

数

据

郡

加

孥

孥

系

秦

统

数据仓库馋理子系统

数据展现

图形屣示子系统

报表处理子系统

据导出子系统

决策分析

数据仓库数据挖掘|服务稀

应

用WEB服务拼

服

务

器ETLJJL

ETL数就4力11耳又了重豕

中间数据库

ETL数据加载子系统

系统管理

理至素统

数据仓库管理子系统

2.2.3层次结构

Brows

整个系统在逻辑上分为三层：原始数据层，中间逻辑层（业务逻辑层、WEB服

务层、安全服务层），应用层。

原始数据层：以统一规范的方式存储数据;

中间逻辑层：解析应用层的业务逻辑，使应用层和原始数据相互独立，提高应用

层系统（程序）的可扩展性、可移植性；

应用层：面向最终用户，提供友好、简洁、方便的用户界面，具有良好的业务无

关性。

2.2.4网络拓扑结构

我们根据以下列出的几点，确定硬件系统结构：

1.系统已经拥有比较完备的内部网络系统，此系统是全国系统的专用

网络。

2.省政府数据仓库系统的数据、信息既能够在系统的网络内最大限度

的实现数据共享，又能将可以对公众发布的信息分不同的级别向外

界发布。

3.尽可能在网络设计上考虑防止黑客攻击、病毒传播等破坏数据的手

段和方式。

4.尽可能利用现有网络系统，包括系统专有网，公共Internet网，政府

办公局域网等。

我们设计了一个在物理上可以随时隔离或连接、由两大部分组成的网络

系统结构，如下图所示：

工作站工作站工作站工作站

说明：

1、出于网络安全的原因，将整个网络分为内部网络和外部网络两部分。

2、内部网络与外部网络的系统机构基本相同。外部网络基本上用在对外发布，

不包括保密信息。

3、外部网络需要的发布数据从内部网络中通过ETL工具获得，存放在外部网

络的数据仓库中。

4、外部网络经过防火墙、路由器与Internet相连。

5、为保证数据安全，只在外部网络从内部网络抽取数据时，两者才是连通的（且

要经过防火墙），其余时间两个网络物理隔离。

6、工作站分别为各个处室的个人PC机，也可以是单独的工作站，功能为向ETL

服务器提供仓库所需数据及通过浏览器访问数据仓库数据信息。

7、ETL工具定期从各个处室的数据库系统抽取数据，且ETL服务器兼中间数

据库服务器，抽取的数据暂时保存在ETL服务器上，在导入数据仓库之前容

许修改。

8、考虑到数据仓库系统决策分析时需要大量数据信息，所以要求交换机容量应

为1000M,

9、OLAP服务器和应用服务器结合比较紧密，在实际的应用中共享一台设备。

10、入侵检测系统是一台单独的设备，放在路由之后，起到防止非法入侵的作

用。

11、安全隐患扫描系统可以运行在一台高性能的PC机上，提供及时的安全扫

描，及早发现问题。

详细的硬件配置及全局网络拓扑参见附件：详细网络拓扑图及设备清单

2.2.5网络层次结构

系统内核层：

数据仓库内部系统

系统安全层：

网络防护体系

公共网络层：

Internet

外部应用层：

PC浏览器（B/S）

其他客户系统

整个数据仓库系统由内而外分为四层：

1、系统内核层：

包括数据仓库服务系统及应用系统。

2、系统安全层:

使用网络安全产品，与局现有网络系统兼容，保护内部数据安全，网上

信息传送安全、防止黑客破坏或恶意入侵。

3、公共网络层：

基于TCP/IP的城域网和广域网（省局目前开通的帧中继网），使用现在已

经建成的公共网络将数据、信息、知识发布出去。

4、外部应用层:

各种数据仓库系统的客户应用系统，通过外部应用系统用户可以获得系

统提供的向外发布的各种信息。

2.3系统数据结构

省四仁数据仓库的数据是基于多维建模理论的关系型数据存储方式，采

用多星型结构存储维度和事实数据。

2.4行业特殊需求

＞主题的增加

系统的分析方向众多，涉及社会各界，且热点每年都会发生变化，分析主

题会随着社会经济的发展不断有所增加，我们采用自顶向下的设计方法来设计局

数据仓库系统，采用自底向上的方式实施，这样每增加一个主题就是建设一个新

的数据集市，每个数据集市都是整体数据仓库的有机组成部分，分步骤分阶段建

成完整的数据仓库，在完整的数据仓库建立起来以后，就可以更快的建立更多的

数据集市，满足系统不断增加的主题需求。

＞主题所含指标的修改

主题的内容是由指标来体现，主题的分析目标可能在一定的范围内发生变

化，起其所包含的指标就会有相应的增加或减少，由于数据仓库采用的是多维方

式的数据存储方式，某个主题下指标的增加（减少），只需要在相应的指标维表、

事实表中增加（减少）新的数据即可；每个主题在数据库对应一个指标代码表，

具体解释主题下所含指标。每个主题相关数据组成一个事实表。这样主题可以很

方便增加，且效率比较高，主题下指标可以适当调整。

＞指标数据修改

数据仓库中一个非常重要的原则，数据具有不可修改性。然而制度在不断地

专业事实表数据调整主题事实表

（原始数据）（用户使用数据）

完善，指标口径会发生变化，为保持同一指标不同历史时期的数据具有可比性，

则要求数据在一定范围内可调整。为了解决这一矛盾.，我们在数据库设计时把数

据分为原始专业数据和主题事实数据，的原始数据一旦进入数据仓库（专'业事实

表）将不容许发生变化，对指标进行调整都是基于原始专业数据进行的，调整后

的数据放入主题数据表中，用户查询的是调整后具有可比性的数据。这种设计可

以容许对同一数据在不同历史时期进行不同的调整，同时又能保存最原始的历史

数据不丢失，保持历史的真实性。

＞数据更新权限

由于数据仓库的数据维护由分散的多个处室在不同的时间进行，为了防止数

据的异步操作给系统的数据一致性问题。我们通过数据库操作权限的控制，保证

每个指标数据只有唯一的用户拥有更新（增加、删除、修改）权限，但可以有多

个用户有查询权限。

＞定时报警

定时检测各个处室的数据是否按设计要求及时导入数据仓库，否则以适当方

式报警。

＞决策算法的扩展

由系统结构的高度模块化实现。

＞跨主题指标的查询

通过调整主题指标，减少跨主题指标的查询；

临时性的跨主题指标查询，利用全局指标库，从不同的主题事实表中查询。

＞本地文件读写

基于C/S模式的应用，将查询分析结果保存在本地是一件很容易的事情，

但基于B/S模式的应用，虽然基于安全角度上的考虑，IE限制了ActiveX.

JavaScript,、JavaApplet等对本地文件的读写；但对于JavaScript,ActiveX,可以

通过配置IE的安全属性，来读写本地文件，当然，这种配置也会带来一些安全

隐患，为一些恶意代码对本地文件系统造成破坏提供了机会,就JavaApplet而言，

Java安全提供了API和工具集用于向应用程序或JavaApplet“注入”安全。提供

细粒度(fine-grained)和可配置的访问控制的架构被内置到核心Java安全体系结构

之中，这是通过使用Java2权限、策略文件、访问控制微功能和数字签名实现的。

＞高频指标智能维护

系统实现高频指标自适应功能：用户每次查询数据时，数据库自动指标查询

次数，系统定时刷新高频指标表，完成高频指标的自动维护。

2.5底层数据库(仓库)设计

2.5.1设计原则

数据库设计是整个数据仓库系统的核心，其设计的好坏关系着整个数据仓

库系统建设的成败。根据数据仓库系统需求及Oracle9i数据库系统的特性，我

们对数据仓库系统的数据库设计应遵循如下设计原则：

1、规范化原则：数据仓库系统是一个数据量大，开发周期长，投入资金

大，涉及面广的系统工程。为开发和将来系统维护的方便我们对数据仓

库中的所有对象如表空间、数据文件、日志文件、表、视图、索引、存

储过程、歹“，都要求有严格的命名规范

2、简洁性原则：数据库设计尽可能简洁和易理解，对常用的数据集可通

过自定义数据类型来实现。

3、高效性原则：数据仓库中的数据达到TB级别，对查询速度的提高是

我们考虑的重点，可通过建Index,Cluster,尽可能的用存储过程，允

许适当的数据冗余等技术来保证查询效率。

4、灵活性原则：设计要充分考虑主题，指标等的变化

5、合理性原则：数据应在源头输入。数据库的生成和维护应尽量靠近信

息源和使用点，使信息按最短的路径存取，以确保信息合理和快速流动。

6、独立性原则：数据库与应用程序严格的相互独立，确保数据的存贮对

应用程序的独立性，它的改变不影响应用程序。

7、安全性原则：由于局是国家•级保密单位，其信息对特定的用户有特

定的保密要求，我们在设计数据库时要有必要的安全机制设计严格的数

据操作权限和级别控制，保证数据不被非法用户访问，数据库不被黑客

破坏，如在数据库的主键中加入操作用户的信息等等。

2.5.2数据现状

1、数据格式多种多样，一致性较差，并存在数据冗余

各个处室使用的数据格式均不相同，有Oracle,dbf.sarp.MITT,Excel,

Word,Text格式，且各个系统相对独立。

2、数据来源多，但数据存放相对分散，缺乏统一管理

数据不仅来源于局内部各个专业处室，而且大来源于直报企业和其他相

关部门或外部单位的报送。这些数据一般分散存放在各个专业科室的数据库

中，缺乏集中存放和管理

3、数据量很大，但对数据资源的开发利用不充分

业务涉及到各行各业和众多企业，指标很多，数据量很大，各级局只能

做到将这些数据汇总成为报表、年鉴、县卡，还不能对专业数据进行各种深

层次分析、综合、提炼、挖掘。不便于分析、预测。

4、偏重于上报报表

在计划经济时期，局的职能主要是为上级机关报送报表;在市场经济时期,

局不仅要为上级机关报送报表，而且还要更多地为辅助本级政府宏观决策和

企业微观决策及时提供各种信息和情报。新时期对信息的质量提出了更高的

要求：

•为了对复杂的动态环境做出及时响应，现代管理要求在大量的数据中找

出有价值的信息和情报作为决策时参考的依据；

•在决策过程中，一旦需要，决策人员可以很快得到方方面面详尽的信息

和情报支持，包括历史的、当前的、未来的各种信息和情报资源；

•支持对分布在不同地点的数据或信息进行操作，包括内部、外部或远程

的数据和信息；

•支持对不同类型和格式的数据或信息进行操作；

•信息要为更广大的社会用户尤其是企业的微观决策提供支持；

•要求信息资源能实现充分共享与快速交流。

2.5.3数据存储整体规划

根据省局数据的特点，数据仓库的数据分为专业数据，主题数据和4ft拈

数据库模型

专业数据是从局各处室的数据库系统中抽取，转换，清洗而来的数据；主题

数据是从专业数据通过增加一定的列或一定的数据运算、修改等而得到的数据；

决策数据数据集市存放数据存储层的数据,供分析决策用。还有一类很重要的对

数据仓库的描述数据即元数据，包括主题描述表，主题指标描述表等。

专业数据层建立在相应的子系统中，是为专业子系统服务的。其数据主要是

与某专业子系统直接相关的数据。一般与其他专业子系统不发生频繁的数据共

享，它的物理位置可以设置在网络服务器上，集中存储，亦可设置在各专业子系

统的微机上，呈分布式存储。

数据存储层，其数据来源于专业数据层，但这些数据一般不限于某个专业子

系统调用，而往往被其他专业子系统频繁地共享，为若干个子系统和领导层提供

信息服务。

数据集市中存放对整个行业来说，带全局性的计划、技术经济指标，各种和

实时数据分析，其数据除了来源于各主题数据库以外，还有模型库和方法库给予

支持，作为领导提供预测和决策的支持。

单个主题的数据库逻辑设计

指标维表

时间雒表

-------►指标编号

时间编号专业事实表

指标名称

时间名称<----------指标编号

・・・

—时间编号

地域维表地域编号

地域编号<----------数据

地域名称・・・

・・・

主题表主题所属指标

主题编码■主题编号

---------

主题描述指标编号

・♦・・♦・

指标维表

时间维表

指标编号

主题事实表-------►

时间编码◄~

指标名称

指标编码—

时间名称

・・・

时间编码

地域维表

地域编码—

-------►地域编号

数据

地域名称

2.6ETL系统

2.6.1需求规定

＞采用自动加手动的方式导入数据。

＞数据导入以定期自动导入为主，设立到期自动报警功能。

＞各个处室可以在任何时候向ETL服务器导入数据，而只在确定的时间从

ETL服务器向数据仓库导入数据。

＞提供导入数据的接口，直接与各个处室的数据库连接，尽可能利用现有

系统数据，减轻各处室工作量。

A能够与通用的数据文件进行连接，适应各专业处室可能的数据库平台的

变更，能导入同种类型的不同格式的数据。

2.6.2运行环境

赧务端指你致抑;。邀子系统运行于主流UNIX操作系统

客心端指和数据抽取子系统运行在高性能PC上,Windows98以上版本操作系统,

需要有Oracle客户端支持。

2.6.3设计思想

指标数据抽取子系统

1、建立灵活的数据导入方式，直接利用中间件ODBC访问各种数据库系统。

2、建立统一的环境，各个处室在统一的环境下向中间数据库导入数据。

3、通过用户权限区别各个处室应该导入的数据，让不同用户在导入数据时不会

发生混乱。

指标数据加载子系统

I、程序自动运行的同时引进人工干预，定时启动加载系统，自动进行中间数据

库向数据仓库导入数据的工作。

2、建立一个数据导入的环境，各种数据操作按中间数据库模型库中的规定执行。

2.6.4结构说明

局各种行业数据不是在统一的时间生成，数据在进入数据仓库之前需要经过

大量的运算，为了不影响原有系统的正常运行和保证导入数据仓库数据的正确性

与有效性，设置中间数据库。中间数据库起所有数据从传统数据库导入到数据仓

库的过渡作用。处室数据存放在不同媒介中，提供手动输入界面、程序自动导入

功能、半自动导入等等。接收从局各个处室收集的指标数据，经过抽取、清洗,

存放在中间数据库，在特定的时间检查数据仓库需要的数据是否齐全，齐全后一

次性加载到数据仓库的专业事实表中。

数

各A

人工输入

据

个

仓

处T

中间数据库

库

室

自动导入

数据抽取、清洗、转换、加载过程高度模块化，ETL系统用数据抽取

模型从各处室抽取数据、用数据清洗模型清洗数据、用转换模型转换不同类

型的数据、用加载模型加载数据到数据仓库。

ETL系统是一个体系环境，各种数据操作按中间数据库模型库中的规定

执行。维护系统则通过维护中间数据库的模型库达到维护ETL服务器的目

的。

数据抽取、清洗、转换、加载有以下子系统：

1.指标数据抽取子系统。

这个系统又可以称为数据导入。

功能：数据抽取、数据清洗。把各个处室不同格式的数据按指标进行抽

取、经过清洗后存入中间数据库，容许数据修改。

指标数据抽取子系统能收集各种通用格式的数据，提供输入界面手动输

入数据。

能转换以下几种数据格式：Sybase、Oracle、db2、dbf等可以通过odbc