数据仓库系统总体设计研究

1、文档编号产品版本密级1.0共87页数据仓库系统总体设计文档作者：_ _日期：2001/12/20项目经理：_ _日期：2001/12/28部门经理：_ _ 日期：2002/01/08总 工 办：_ _日期：2002/01/08目 录 TOC o 1-4 h z HYPERLINK l _Toc535738385 1概述 PAGEREF _Toc535738385 h 7 HYPERLINK l _Toc535738386 1.1背景 PAGEREF _Toc535738386 h 7 HYPERLINK l _Toc535738387 1.1.1待开发的软件系统名称 PAGEREF _Toc5

2、35738387 h 8 HYPERLINK l _Toc535738388 1.1.2系统的差不多概念 PAGEREF _Toc535738388 h 8 HYPERLINK l _Toc535738389 1.1.3项目组名称 PAGEREF _Toc535738389 h 8 HYPERLINK l _Toc535738390 1.1.4项目代号 PAGEREF _Toc535738390 h 8 HYPERLINK l _Toc535738391 1.2术语和缩写词 PAGEREF _Toc535738391 h 8 HYPERLINK l _Toc535738392 1.3设计目标

3、PAGEREF _Toc535738392 h 9 HYPERLINK l _Toc535738393 2系统设计 PAGEREF _Toc535738393 h 9 HYPERLINK l _Toc535738394 2.1设计原则 PAGEREF _Toc535738394 h 9 HYPERLINK l _Toc535738395 2.2系统结构 PAGEREF _Toc535738395 h 11 HYPERLINK l _Toc535738396 2.2.1子系统划分 PAGEREF _Toc535738396 h 11 HYPERLINK l _Toc535738397 2.3系统

4、数据结构 PAGEREF _Toc535738397 h 17 HYPERLINK l _Toc535738398 2.3.1逻辑结构 PAGEREF _Toc535738398 h 12 HYPERLINK l _Toc535738399 2.3.2层次结构 PAGEREF _Toc535738399 h 13 HYPERLINK l _Toc535738400 2.3.3网络拓扑结构 PAGEREF _Toc535738400 h 14 HYPERLINK l _Toc535738401 2.3.4网络层次结构 PAGEREF _Toc535738401 h 16 HYPERLINK l

5、_Toc535738402 2.4行业专门需求 PAGEREF _Toc535738402 h 17 HYPERLINK l _Toc535738403 2.5底层数据库（仓库）设计 PAGEREF _Toc535738403 h 19 HYPERLINK l _Toc535738404 2.5.1设计原则 PAGEREF _Toc535738404 h 19 HYPERLINK l _Toc535738405 2.5.2数据现状 PAGEREF _Toc535738405 h 20 HYPERLINK l _Toc535738406 2.5.3数据存储整体规划 PAGEREF _Toc535

6、738406 h 21 HYPERLINK l _Toc535738407 2.6ETL系统 PAGEREF _Toc535738407 h 24 HYPERLINK l _Toc535738408 2.6.1需求规定 PAGEREF _Toc535738408 h 24 HYPERLINK l _Toc535738409 2.6.2运行环境 PAGEREF _Toc535738409 h 24 HYPERLINK l _Toc535738410 2.6.3设计思想 PAGEREF _Toc535738410 h 24 HYPERLINK l _Toc535738411 2.6.4结构讲明 P

7、AGEREF _Toc535738411 h 25 HYPERLINK l _Toc535738412 2.6.5处理流程 PAGEREF _Toc535738412 h 26 HYPERLINK l _Toc535738413 2.7系统治理 PAGEREF _Toc535738413 h 27 HYPERLINK l _Toc535738414 2.7.1需求规定 PAGEREF _Toc535738414 h 27 HYPERLINK l _Toc535738415 2.7.2运行环境 PAGEREF _Toc535738415 h 28 HYPERLINK l _Toc53573841

8、6 2.7.3设计思想 PAGEREF _Toc535738416 h 28 HYPERLINK l _Toc535738417 2.7.4结构讲明 PAGEREF _Toc535738417 h 28 HYPERLINK l _Toc535738418 2.7.5处理流程 PAGEREF _Toc535738418 h 29 HYPERLINK l _Toc535738419 2.8数据展现 PAGEREF _Toc535738419 h 30 HYPERLINK l _Toc535738420 2.8.1需求规定 PAGEREF _Toc535738420 h 30 HYPERLINK l

9、 _Toc535738421 2.8.2运行环境 PAGEREF _Toc535738421 h 32 HYPERLINK l _Toc535738422 2.8.3设计思想 PAGEREF _Toc535738422 h 32 HYPERLINK l _Toc535738423 2.8.4结构讲明 PAGEREF _Toc535738423 h 32 HYPERLINK l _Toc535738424 2.8.5处理流程 PAGEREF _Toc535738424 h 34 HYPERLINK l _Toc535738425 2.9界面设计 PAGEREF _Toc535738425 h 3

10、4 HYPERLINK l _Toc535738426 2.9.1需求规定 PAGEREF _Toc535738426 h 34 HYPERLINK l _Toc535738427 2.9.2主程序界面 PAGEREF _Toc535738427 h 34 HYPERLINK l _Toc535738428 2.9.3要紧页面设计 PAGEREF _Toc535738428 h 35 HYPERLINK l _Toc535738429 2.10接口设计 PAGEREF _Toc535738429 h 38 HYPERLINK l _Toc535738430 2.10.1外部接口 PAGEREF

11、 _Toc535738430 h 38 HYPERLINK l _Toc535738431 2.10.2内部接口 PAGEREF _Toc535738431 h 39 HYPERLINK l _Toc535738432 2.11安全设计 PAGEREF _Toc535738432 h 39 HYPERLINK l _Toc535738433 2.11.1网络安全 PAGEREF _Toc535738433 h 39 HYPERLINK l _Toc535738434 2.11.2数据库安全 PAGEREF _Toc535738434 h 42 HYPERLINK l _Toc535738435

12、 2.12系统可靠性设计 PAGEREF _Toc535738435 h 43 HYPERLINK l _Toc535738436 2.12.1可靠性 PAGEREF _Toc535738436 h 43 HYPERLINK l _Toc535738437 2.12.2可维护性 PAGEREF _Toc535738437 h 43 HYPERLINK l _Toc535738438 2.12.3可扩展性 PAGEREF _Toc535738438 h 44 HYPERLINK l _Toc535738439 2.12.4健壮性 PAGEREF _Toc535738439 h 44 HYPERL

13、INK l _Toc535738440 2.12.5性能保证 PAGEREF _Toc535738440 h 44 HYPERLINK l _Toc535738441 2.12.6出错处理 PAGEREF _Toc535738441 h 45 HYPERLINK l _Toc535738442 2.12.7备份与恢复 PAGEREF _Toc535738442 h 45 HYPERLINK l _Toc535738443 2.13运行设计 PAGEREF _Toc535738443 h 46 HYPERLINK l _Toc535738444 2.14相关工具选择 PAGEREF _Toc53

14、5738444 h 46 HYPERLINK l _Toc535738445 2.14.1数据库选择 PAGEREF _Toc535738445 h 47 HYPERLINK l _Toc535738446 2.14.2WEB服务器和应用服务器 PAGEREF _Toc535738446 h 47 HYPERLINK l _Toc535738447 2.14.3数据库建模工具 PAGEREF _Toc535738447 h 48 HYPERLINK l _Toc535738448 2.14.4分析型工具 PAGEREF _Toc535738448 h 48 HYPERLINK l _Toc53

15、5738449 2.14.5OLAP工具介绍 PAGEREF _Toc535738449 h 49 HYPERLINK l _Toc535738450 2.14.6ORACLE公司OLAP介绍 PAGEREF _Toc535738450 h 50 HYPERLINK l _Toc535738451 2.15开发环境 PAGEREF _Toc535738451 h 51 HYPERLINK l _Toc535738452 2.15.1硬件环境 PAGEREF _Toc535738452 h 51 HYPERLINK l _Toc535738453 2.15.2操作系统 PAGEREF _Toc5

16、35738453 h 51 HYPERLINK l _Toc535738454 2.15.3开发语言 PAGEREF _Toc535738454 h 52 HYPERLINK l _Toc535738455 2.15.4数据库系统 PAGEREF _Toc535738455 h 52 HYPERLINK l _Toc535738456 2.15.5中间件系统 PAGEREF _Toc535738456 h 52 HYPERLINK l _Toc535738457 2.15.6应用系统 PAGEREF _Toc535738457 h 53 HYPERLINK l _Toc535738458 3系

17、统调试和测试 PAGEREF _Toc535738458 h 53 HYPERLINK l _Toc535738459 3.1目的 PAGEREF _Toc535738459 h 53 HYPERLINK l _Toc535738460 3.2差不多要求 PAGEREF _Toc535738460 h 54 HYPERLINK l _Toc535738461 3.2.1测试打算 PAGEREF _Toc535738461 h 54 HYPERLINK l _Toc535738462 3.2.2测试讲明 PAGEREF _Toc535738462 h 54 HYPERLINK l _Toc535

18、738463 3.2.3测试环境建立 PAGEREF _Toc535738463 h 54 HYPERLINK l _Toc535738464 3.2.4测试报告 PAGEREF _Toc535738464 h 54 HYPERLINK l _Toc535738465 3.3应遵循的原则 PAGEREF _Toc535738465 h 54 HYPERLINK l _Toc535738466 3.4测试方法 PAGEREF _Toc535738466 h 55 HYPERLINK l _Toc535738467 3.5测试重点 PAGEREF _Toc535738467 h 55 HYPERL

19、INK l _Toc535738468 4项目进度 PAGEREF _Toc535738468 h 56 HYPERLINK l _Toc535738469 4.1项目资源打算 PAGEREF _Toc535738469 h 56 HYPERLINK l _Toc535738470 4.1.1项目组 PAGEREF _Toc535738470 h 56 HYPERLINK l _Toc535738471 4.1.2数据仓库领导小组办公室 PAGEREF _Toc535738471 h 56 HYPERLINK l _Toc535738472 4.2项目工期打算 PAGEREF _Toc5357

20、38472 h 56 HYPERLINK l _Toc535738473 4.3时刻进度打算 PAGEREF _Toc535738473 h 56 HYPERLINK l _Toc535738474 4.3.1数据仓库系统需求调查与两会系统 PAGEREF _Toc535738474 h 57 HYPERLINK l _Toc535738475 4.4第一期开发主题 PAGEREF _Toc535738475 h 57 HYPERLINK l _Toc535738476 4.5第二期开发主题 PAGEREF _Toc535738476 h 57 HYPERLINK l _Toc53573847

21、7 4.6工作量分配打算 PAGEREF _Toc535738477 h 57 HYPERLINK l _Toc535738478 5小结 PAGEREF _Toc535738478 h 58 HYPERLINK l _Toc535738479 6参考文献 PAGEREF _Toc535738479 h 60 HYPERLINK l _Toc535738480 7附录 PAGEREF _Toc535738480 h 61 HYPERLINK l _Toc535738481 7.1Oracle性能评估报告 PAGEREF _Toc535738481 h 61 HYPERLINK l _Toc53

22、5738482 7.2主流WEB服务器比较 PAGEREF _Toc535738482 h 65 HYPERLINK l _Toc535738483 7.3IBM小型机性能评估报告 PAGEREF _Toc535738483 h 76 HYPERLINK l _Toc535738484 7.4详细网络拓扑图及设备清单 PAGEREF _Toc535738484 h 78 HYPERLINK l _Toc535738485 7.5在多层体系结构下建立数据仓库 PAGEREF _Toc535738485 h 83摘 要数据仓库系统的建立能够解决传统数据库不能专门好提供分析决策功能的问题，能够发掘历

23、史数据中隐含的大量有价值的信息，为国民经济的进展和宏观决策提供大量有效的参考信息。系统数据来源复杂，在数据仓库设计中不能采纳常规方法解决问题；主题众多且分析热点会随时刻变化而变化，要求主题下所含的信息在一定范围可变；主题下指标可能需要调整等实际情况，这和数据仓库的数据的不可修改性有矛盾；等等。我们结合数据仓库的特点和系统实际情况，提供了一套完整的数据仓库系统的解决方案。整个数据仓库系统从数据采集到数据展现共分为四部分：1、数据抽取、转换、加载；2、系统治理（包括数据库维护）；3、数据展现；4、支撑整个系统的数据库的设计(包括ETL中间数据库和数据仓库)保证系统具有相当的灵活性。各个部分独立完成

24、本部分功能，同时紧密协作组成数据仓库系统。数据仓库系统治理与数据导入部分采纳C/S模式有针对性的开发；数据仓库系统的数据展现采纳流行的B/S模式向用户提供数据查询、决策分析。关键词：指标，主题，数据仓库，联机分析，数据挖掘，决策支持。概述背景通过2个多月的需求分析调查，确定了数据仓库系统总体定位（省政府数据仓库是以充分发挥信息的社会作用和经济效益为最终目的）和系统功能需求。现依照需求分析规定和局具体情况，确定数据仓库整体方案，以指导数据仓库系统研究、开发、实现。省政府局数据具有建立数据仓库系统的差不多条件：积存了大量历史数据，这是数据仓库存在的必要条件；随着市场经济的进展，社会各界（如金融投资

25、等领域为了规避市场风险，提高决策的准确度，开发新的市场和利润增长点，挖掘市场潜力）对数据的需求不断增大，社会各界迫切需要利用数据进行决策分析，指导经济建设。省政府数据仓库建设存在以下困难：当前局各个处室没有统一规划的数据库系统；只有少量数据以电子文件形式存在，大部分历史数据保存在纸介质上，到目前为止，建国以来的数据有一般以上以纸介质方式存储；由于我国制度在不断进展完善，指标在不同的历史时期的口径不同，为了使同类指标具有可比性，要确定不同时期各个指标的调整规则，并对历史数据按规则进行调整，这种调整除了少数指标能够按统一的算法进行以外，大部分调整工作需要人工参与；因此，省政府数据仓库的建设中数据的

26、整理加载工作量极大，ETL（Extract、Transform、Cleaning、Load）工具开发难度大；完善的、与数据仓库系统良好联接的、统一规划的各个处室的数据库系统是据仓库系统的具有长久生命力的差不多保障，因此各处室数据库的建设应同步进行。待开发的软件系统名称省政府数据仓库系统系统的差不多概念指标：系统的数据以指标为载体，所有的数据差不多上指标在不同时刻，不同地域上的取值，统一指标可能有年度、月度、季度、半年、连续某几个月等时刻段的数据，可能有国家、省、地、市、县、乡、村的数据，甚至有居民户、具体企业单位的明细数据，数据仓库中的数据确实是这些数据的有机集合。主题：数据仓库中的数据按主题

27、组织，这是由数据仓库以分析决策为要紧目的决定的。主题是一个在较高层次上将数据归类的标准，每一个主题对应一个宏观的分析领域。省政府数据仓库是将指标数据按分析主题集成起来，供查询、分析、辅助决策。项目组名称数据仓库项目组项目代号XhnTJDW001-0019术语和缩写词指标：Statistical Parameter数据仓库：DW（DataWarehouse）主题：Subject数据集市：DataMart元数据：MetaData数据抽取、转换、加载：ETL（Extract、Transform、Cleaning、Load）联机分析处理：OLAP（On-LineAnalyticalProcessing

28、）联机事务处理：OLTP（On-LineTransactionProcessing）决策支持系统：DSS（DecisionSupportSystem）数据挖掘：DM（DataMining）应用服务器：AS（ApplicationServer）Web服务器：WebServer设计目标省政府数据仓库系统是以充分发挥信息的社会效益和经济价值为最终目的。将大量事务处理数据库中的数据进行清理、抽取和转换，并按决策主题进行多维重组，在高效的网络平台上充分发挥系统作为社会“数据库，信息库，思想库，智囊库”的作用，直接向党政领导、社会各界提供数据、信息服务，为信息工程建设提供一个“决策数据治理与分析中心”的差

29、不多解决方案。为省政府局建立一套面向党政领导、专业分析人员、宽敞社会群众对外公布信息的数据仓库系统。整个系统集数据采集、治理、维护、展现于一体，旨在建立数据仓库后既减轻局工作人职员作量，又能专门好的为公众服务。前端数据展现要有通用性，采纳扫瞄器扫瞄数据，是瘦客户端。后端维护系统要具有高效性，能及时、高效处理、治理数据，功能强大，是胖客户端。数据仓库系统重在建立一个适应分析的系统环境，首期开发“两会”信息咨询，企业名录、人口普查、字典、工业经济、农业经济等主题。系统设计设计原则从充分发挥系统作为社会“数据库，信息库，思想库，智囊库”的作用，直接向党政领导、社会各界提供“快、精、准”的信息服务的需

30、要动身，采纳当今数据库领域成熟稳定的数据仓库、决策分析等技术，在高效的网络平台上为全省信息工程建设提供一个“决策数据治理与分析中心”的差不多解决方案。系统采纳多层体系结构，建立一个良好开放性的数据仓库系统环境，适应不断增加和变化的业务需求。多层体系结构通过引入中间层组件，扩大了传统的客户/服务器和两层计算模式。多层结构可由以下三类分层来定义：前端的客户层，负责提供可移植的表达逻辑；中间的应用层，同意用户通过将其与实际应用隔离而共享和操纵业务逻辑；后端的数据治理与服务层，提供对专门服务（例如数据库服务器）的访问。多层结构与传统的客户/服务器结构的区不在于：在传统的客户/服务器两层结构中，用户将实

31、际的业务逻辑放置到客户端(作为对表达逻辑的增补)或放置到后端数据库(作为数据逻辑的一部分包含在存储过程中)。而在多层结构中，用户将业务逻辑放到中间层上。这种模块化方法明确地划分了表达逻辑、业务逻辑和数据存储。多层结构通过将应用逻辑集中到中间层，开发者能够迅速更新业务逻辑，而无需重新将应用递交到成千上万的桌面系统上。提高数据库的性能、改善系统的开放性、可扩展性和数据的安全性，并降低治理的复杂性。结构化、层次化、模块化。采纳面向对象技术，使系统高度结构化、模块化、层次化，整个系统由接口定义良好的多个模块组成，每个模块都有详细的功能讲明和设计文稿，每个模块完成相对独立的功能，模块之间的接口定义规范，

32、使模块功能的变化相对独立，不阻碍整个系统的功能和结构，便于系统升级，维护。具有良好的平台移植性。选用支持多种操作平台的数据库服务器、应用服务器、WEB服务器等服务器软件系统，选用具有良好平台移植性的B/S和C/S模式下的开发语言开发应用程序和应用中间件，提高应用系统的平台移植性；统一性和多样性相结合。面向用户的各个应用系统，尽量保持统一风格以适应用户的操作适应，但各个系统依照内容具有各自的特色，整个系统和谐统一，清新明了。自主开发和利用现有工具相结合。尽量利用各成熟的数据仓库系统软件（工具）为数据仓库那个具有专门性的项目服务，针对具有专门性的需求，开发特定的系统软件，缩短数据仓库开发周期，降低

33、开发成本，保证系统正常开发。安全性的考虑。系统安全和数据安全是一个网络应用系统应该首先考虑的问题，数据仓库系统的设计要从网络安全、系统安全、数据安全等各个方面充分考虑，保障系统安全稳定。分散与集中相结合。数据仓库系统是一个特不庞大的系统，所有数据集中存储，但局各处室能分不维护本处室数据，数据仓库依照需要能对系统治理分不设置权限，不同用户维护不同数据。稳定优先，注重效率。数据仓库的海量数据存储和高效查询是一对矛盾，在当今硬件技术不断进展和成本不断降低的形式下，我们优先考虑系统效率，然而在系统稳定性和效率不可兼顾时，以系统稳定优先。例如在数据仓库设计方面，我们通过逆规范化（引进适当冗余）来提高系统

34、查询效率。以最简单的方式实现复杂的功能。为提高系统的稳定性和可读性，可维护性，尽量采纳简洁易明白的方式实现系统功能，不追求复杂、深奥的算法。系统结构子系统划分整个系统按功能分为四大系统，各系统分不为：数据库系统中间数据库数据仓库ETL系统指标数据抽取子系统指标数据加载子系统系统治理系统ETL治理治理子系统数据仓库治理子系统元数据治理子系统数据展现系统应用服务器子系统WEB服务器子系统OLAP多维分析决策支持分析子系统数据挖掘子系统图形展示子系统报表处理子系统数据导出子系统逻辑结构层次结构整个系统在逻辑上分为三层：原始数据层，中间逻辑层（业务逻辑层、WEB服务层、安全服务层），应用层。原始数据层

35、：以统一规范的方式存储数据；中间逻辑层：解析应用层的业务逻辑，使应用层和原始数据相互独立，提高应用层系统（程序）的可扩展性、可移植性；应用层：面向最终用户，提供友好、简洁、方便的用户界面，具有良好的业务无关性。网络拓扑结构我们依照以下列出的几点，确定硬件系统结构：系统差不多拥有比较完备的内部网络系统，此系统是全国系统的专用网络。省政府数据仓库系统的数据、信息既能够在系统的网络内最大限度的实现数据共享，又能将能够对公众公布的信息分不同的级不向外界公布。尽可能在网络设计上考虑防止黑客攻击、病毒传播等破坏数据的手段和方式。尽可能利用现有网络系统，包括系统专有网，公共Internet网，政府办公局域网

36、等。我们设计了一个在物理上能够随时隔离或连接、由两大部分组成的网络系统结构，如下图所示：讲明：出于网络安全的缘故，将整个网络分为内部网络和外部网络两部分。内部网络与外部网络的系统机构差不多相同。外部网络差不多上用在对外公布，不包括保密信息。外部网络需要的公布数据从内部网络中通过ETL工具获得，存放在外部网络的数据仓库中。外部网络通过防火墙、路由器与Internet相连。为保证数据安全，只在外部网络从内部网络抽取数据时，两者才是连通的（且要通过防火墙），其余时刻两个网络物理隔离。工作站分不为各个处室的个人PC机，也能够是单独的工作站，功能为向ETL服务器提供仓库所需数据及通过扫瞄器访问数据仓库数

37、据信息。ETL工具定期从各个处室的数据库系统抽取数据，且ETL服务器兼中间数据库服务器，抽取的数据临时保存在ETL服务器上，在导入数据仓库之前容许修改。考虑到数据仓库系统决策分析时需要大量数据信息，因此要求交换机容量应为1000M。OLAP服务器和应用服务器结合比较紧密，在实际的应用中共享一台设备。入侵检测系统是一台单独的设备，放在路由之后，起到防止非法入侵的作用。安全隐患扫描系统能够运行在一台高性能的PC机上，提供及时的安全扫描，及早发觉问题。详细的硬件配置及全局网络拓扑参见附件： HYPERLINK l _详细网络拓扑图及设备清单 详细网络拓扑图及设备清单网络层次结构整个数据仓库系统由内而

38、外分为四层：1、系统内核层：包括数据仓库服务系统及应用系统。2、系统安全层：使用网络安全产品，与局现有网络系统兼容，爱护内部数据安全，网上信息传送安全、防止黑客破坏或恶意入侵。3、公共网络层：基于TCP/IP的城域网和广域网（省局目前开通的帧中继网），使用现在差不多建成的公共网络将数据、信息、知识公布出去。4、外部应用层：各种数据仓库系统的客户应用系统，通过外部应用系统用户能够获得系统提供的向外公布的各种信息。系统数据结构省政府数据仓库的数据是基于多维建模理论的关系型数据存储方式，采纳多星型结构存储维度和事实数据。行业专门需求主题的增加系统的分析方向众多，涉及社会各界，且热点每年都会发生变化，

39、分析主题会随着社会经济的进展不断有所增加，我们采纳自顶向下的设计方法来设计局数据仓库系统，采纳自底向上的方式实施，如此每增加一个主题确实是建设一个新的数据集市，每个数据集市差不多上整体数据仓库的有机组成部分，分步骤分时期建成完整的数据仓库，在完整的数据仓库建立起来以后，就能够更快的建立更多的数据集市，满足系统不断增加的主题需求。主题所含指标的修改主题的内容是由指标来体现，主题的分析目标可能在一定的范围内发生变化，起其所包含的指标就会有相应的增加或减少，由于数据仓库采纳的是多维方式的数据存储方式，某个主题下指标的增加（减少），只需要在相应的指标维表、事实表中增加（减少）新的数据即可；每个主题在数

40、据库对应一个指标代码表，具体解释主题下所含指标。每个主题相关数据组成一个事实表。如此主题能够专门方便增加，且效率比较高，主题下指标能够适当调整。指标数据修改专业事实表（原始数据）专业事实表（原始数据）主题事实表（用户使用数据）数据调整数据更新权限由于数据仓库的数据维护由分散的多个处室在不同的时刻进行，为了防止数据的异步操作给系统的数据一致性问题。我们通过数据库操作权限的操纵，保证每个指标数据只有唯一的用户拥有更新（增加、删除、修改）权限，但能够有多个用户有查询权限。定时报警定时检测各个处室的数据是否按设计要求及时导入数据仓库，否则以适当方式报警。决策算法的扩展由系统结构的高度模块化实现。跨主题

41、指标的查询通过调整主题指标，减少跨主题指标的查询；临时性的跨主题指标查询，利用全局指标库，从不同的主题事实表中查询。本地文件读写基于C/S模式的应用，将查询分析结果保存在本地是一件专门容易的情况，但基于B/S模式的应用，尽管基于安全角度上的考虑，IE限制了ActiveX、JavaScript,、JavaApplet等对本地文件的读写；但关于JavaScript，ActiveX，能够通过配置IE的安全属性，来读写本地文件，因此，这种配置也会带来一些安全隐患，为一些恶意代码对本地文件系统造成破坏提供了机会，就JavaApplet而言，Java安全提供了API和工具集用于向应用程序或JavaAppl

42、et“注入”安全。提供细粒度(fine-grained)和可配置的访问操纵的架构被内置到核心Java安全体系结构之中，这是通过使用Java2权限、策略文件、访问操纵器功能和数字签名实现的。高频指标智能维护系统实现高频指标自适应功能：用户每次查询数据时，数据库自动指标查询次数，系统定时刷新高频指标表，完成高频指标的自动维护。底层数据库（仓库）设计设计原则数据库设计是整个数据仓库系统的核心，其设计的好坏关系着整个数据仓库系统建设的成败。依照数据仓库系统需求及Oracle9i数据库系统的特性，我们对数据仓库系统的数据库设计应遵循如下设计原则：规范化原则：数据仓库系统是一个数据量大，开发周期长，投入资

43、金大，涉及面广的系统工程。为开发和今后系统维护的方便我们对数据仓库中的所有对象如表空间、数据文件、日志文件、表、视图、索引、存储过程、列，都要求有严格的命名规范简洁性原则：数据库设计尽可能简洁和易理解，对常用的数据集可通过自定义数据类型来实现。高效性原则：数据仓库中的数据达到TB级不，对查询速度的提高是我们考虑的重点，可通过建Index，Cluster，尽可能的用存储过程，同意适当的数据冗余等技术来保证查询效率。灵活性原则：设计要充分考虑主题，指标等的变化合理性原则：数据应在源头输入。数据库的生成和维护应尽量靠近信息源和使用点，使信息按最短的路径存取，以确保信息合理和快速流淌。独立性原则：数据

44、库与应用程序严格的相互独立，确保数据的存贮对应用程序的独立性，它的改变不阻碍应用程序。安全性原则：由于局是国家一级保密单位，其信息对特定的用户有特定的保密要求，我们在设计数据库时要有必要的安全机制设计严格的数据操作权限和级不操纵，保证数据不被非法用户访问，数据库不被黑客破坏，如在数据库的主键中加入操作用户的信息等等。数据现状1、数据格式多种多样，一致性较差，并存在数据冗余各个处室使用的数据格式均不相同，有Oracle，dbf，sarp，MITT，Excel，Word，Text格式，且各个系统相对独立。2、数据来源多，但数据存放相对分散，缺乏统一治理数据不仅来源于局内部各个专业处室，而且大来源于

45、直报企业和其他相关部门或外部单位的报送。这些数据一般分散存放在各个专业科室的数据库中，缺乏集中存放和治理3、数据量专门大，但对数据资源的开发利用不充分业务涉及到各行各业和众多企业，指标专门多，数据量专门大，各级局只能做到将这些数据汇总成为报表、年鉴、县卡，还不能对专业数据进行各种深层次分析、综合、提炼、挖掘。不便于分析、预测。4、偏重于上报报表在打算经济时期，局的职能要紧是为上级机关报送报表；在市场经济时期，局不仅要为上级机关报送报表，而且还要更多地为辅助本级政府宏观决策和企业微观决策及时提供各种信息和情报。新时期对信息的质量提出了更高的要求：为了对复杂的动态环境做出及时响应，现代治理要求在大

46、量的数据中找出有价值的信息和情报作为决策时参考的依据；在决策过程中，一旦需要，决策人员能够专门快得到方方面面详尽的信息和情报支持，包括历史的、当前的、以后的各种信息和情报资源；支持对分布在不同地点的数据或信息进行操作，包括内部、外部或远程的数据和信息；支持对不同类型和格式的数据或信息进行操作；信息要为更宽敞的社会用户尤其是企业的微观决策提供支持；要求信息资源能实现充分共享与快速交流。数据存储整体规划依照省局数据的特点，数据仓库的数据分为专业数据，主题数据和决策数据数据集市三个层次。这三个数据库层次逐层浓缩，其层次结构如下： 各专业数据流专业数据层数据存储层数据集市数据库模型专业数据是从局各处室

47、的数据库系统中抽取，转换，清洗而来的数据；主题数据是从专业数据通过增加一定的列或一定的数据运算、修改等而得到的数据；决策数据 各专业数据流专业数据层数据存储层数据集市数据库模型专业数据层建立在相应的子系统中，是为专业子系统服务的。其数据要紧是与某专业子系统直接相关的数据。一般与其他专业子系统不发生频繁的数据共享，它的物理位置能够设置在网络服务器上，集中存储，亦可设置在各专业子系统的微机上，呈分布式存储。数据存储层，其数据来源于专业数据层，但这些数据一般不限于某个专业子系统调用，而往往被其他专业子系统频繁地共享，为若干个子系统和领导层提供信息服务。数据集市中存放对整个行业来讲，带全局性的打算、技

48、术经济指标，各种和实时数据分析，其数据除了来源于各主题数据库以外，还有模型库和方法库给予支持，作为领导提供预测和决策的支持。能源能源工业工业经济决策交通邮电消费生产价格居民家庭收入都市社会经济决策元数据数据仓库数据组成示例单个主题的数据库逻辑设计地域维表地域维表地域编号地域名称时刻维表时刻编号时刻名称专业事实表指标编号时刻编号地域编号数据指标维表指标编号指标名称时刻维表时刻编码时刻名称主题事实表指标编码时刻编码地域编码数据指标维表指标编号指标名称地域维表地域编号地域名称主题所属指标主题编号指标编号主题表主题编码主题描述ETL系统需求规定采纳自动加手动的方式导入数据。数据导入以定期自动导入为主，

49、设立到期自动报警功能。各个处室能够在任何时候向ETL服务器导入数据，而只在确定的时刻从ETL服务器向数据仓库导入数据。提供导入数据的接口，直接与各个处室的数据库连接，尽可能利用现有系统数据，减轻各处室工作量。能够与通用的数据文件进行连接，适应各专业处室可能的数据库平台的变更，能导入同种类型的不同格式的数据。运行环境服务端指标数据加载子系统运行于主流UNIX操作系统客户端指标数据抽取子系统运行在高性能PC上，Windows98以上版本操作系统，需要有Oracle客户端支持。设计思想指标数据抽取子系统建立灵活的数据导入方式，直接利用中间件ODBC访问各种数据库系统。建立统一的环境，各个处室在统一的

50、环境下向中间数据库导入数据。通过用户权限区不各个处室应该导入的数据，让不同用户在导入数据时可不能发生混乱。指标数据加载子系统程序自动运行的同时引进人工干预，定时启动加载系统，自动进行中间数据库向数据仓库导入数据的工作。建立一个数据导入的环境，各种数据操作按中间数据库模型库中的规定执行。结构讲明局各种行业数据不是在统一的时刻生成，数据在进入数据仓库之前需要通过大量的运算，为了不阻碍原有系统的正常运行和保证导入数据仓库数据的正确性与有效性，设置中间数据库。中间数据库起所有数据从传统数据库导入到数据仓库的过渡作用。处室数据存放在不同媒介中，提供手动输入界面、程序自动导入功能、半自动导入等等。接收从局

51、各个处室收集的指标数据，通过抽取、清洗，存放在中间数据库，在特定的时刻检查数据仓库需要的数据是否齐全，齐全后一次性加载到数据仓库的专业事实表中。人工输入数据仓库中间数据库自动导入各个处室人工输入数据仓库中间数据库自动导入各个处室数据抽取、清洗、转换、加载过程高度模块化， ETL系统用数据抽取模型从各处室抽取数据、用数据清洗模型清洗数据、用转换模型转换不同类型的数据、用加载模型加载数据到数据仓库。ETL系统是一个体系环境，各种数据操作按中间数据库模型库中的规定执行。维护系统则通过维护中间数据库的模型库达到维护ETL服务器的目的。数据抽取、清洗、转换、加载有以下子系统：指标数据抽取子系统。那个系统

52、又能够称为数据导入。功能：数据抽取、数据清洗。把各个处室不同格式的数据按指标进行抽取、通过清洗后存入中间数据库，容许数据修改。指标数据抽取子系统能收集各种通用格式的数据，提供输入界面手动输入数据。能转换以下几种数据格式：Sybase、Oracle、db2、dbf等能够通过odbc访问的数据库，和Excel数据以及按顺序排列数据的文本文件。各种格式的数据都有对应的模块，这些模块遵循统一数据接口，能够不断增加并识不新的数据格式。指标数据加载子系统。功能：数据转换、数据加载。把中间数据库所有指标数据通过转换后，加载到数据仓库中。处理流程指标数据抽取子系统通过读取ETL中间数据库中的抽取模型和清洗模型

53、，把各个处室的数据暂存到中间数据库。指标数据加载子系统读取中间数据库中的转换模型与加载模型，把中间数据库的数据加载到数据仓库中。系统治理需求规定数据的维护年度数据至少保存10年以上；进度（月、季、半年度）数据至少保存5年以上；在条件容许的情况下，数据保存尽可能长的时刻。历史数据的导出、导入功能。随着指标体系的变化，能够对数据进行少量修改，插入、增加新的数据。对时刻跨度专门大的普查数据等非时刻累加数据按实际需要保存相应年限。对数据要进行备份。指标的维护数据库指标治理、维护，随时刻的推移可增加主题下包括的指标；能适应制度的变化，指标口径（指标含义）能进行适当调整。行政区划代码同意调整。系统的维护设

54、置不同级不用户的维护访问权限。各个处室只有维护本处室相应主题部分的权限。外界用户无权访问维护系统。系统治理具备日志功能。主题的维护随着时刻、形式的变化，主题能够增加或减少。分析方法的维护对现有分析方法提供描述，能够对分析方法进行修改。能够增加分析方法。备份数据仓库的备份与灾难恢复功能。运行环境系统运行在高性能PC机上，操作系统为Windows系统。设计思想系统治理系统自主开发。在操作适应、程序风格上与Windows一致。结构讲明系统治理是整个数据仓库系统的保障系统，保障数据仓库系统正常运行。系统治理分为两大子系统：ETL治理子系统、数据仓库治理子系统，分不治理ETL服务器中间数据库系统和数据仓

55、库系统。ETL服务器ETL服务器系统治理指标治理主题治理备份与维护权限治理元数据治理数据仓库ETL治理子系统所有转换规则都存在数据库中，ETL治理子系统通过维护数据库中数据达到维护ETL服务器的目的。维护子系统通过各种可视化友好界面提供给用户简洁明了维护方式。维护ETL服务器数据抽取模型库，确保从局各处室收集对号入座；维护ETL服务器数据清洗模型，幸免垃圾数据进入数据仓库；维护ETL服务器数据转换模型，保证转换的正确性；维护ETL服务器数据加载模型，保持ETL服务器中指标与数据仓库指标的统一。进行ETL服务器数据维护，采纳备份与恢复幸免中间数据库数据遗失。通过ETL加载子系统提供的接口，操纵E

56、TL加载子系统的运行。数据仓库治理子系统元数据治理：治理关于数据的数据，它描述的是数据仓库的数据和环境。元数据分为两类：:一类是治理元数据，它是对元数据及其内容，数据仓库主题，数据转换及各种操作信息的描述；另一类是用户元数据，它关心用户查询信息，理解结果，了解数据仓库中的数据和组织等。决策模型库维护主题库维护数据备份与维护挖掘模型库维护高频数据维护处理流程数据仓库治理子系统：对数据仓库的数据进行定期的自动或手动维护，包括备份与恢复。元数据分类：技术元数据；商业元数据；数据仓库操作型信息。ETL治理子系统数据展现需求规定查询能够方便的对数据仓库内的所有数据进行检索、查询。能进行任意条件组合查询，

57、并支持模糊查询等具有智能高频指标自适应功能，能依照用户使用的频率，对高频指标表进行自动维护。提供关联指标的搜索功能。导出数据的展现能提供文字讲明、简单图表显示、多种图形（线图、饼图，方柱图等）直观显示（达到两会系统的图形功能）。主栏、宾栏能够互换，能够显示多层表格结构。简单的运算功能：计算均值、最大值、最小值、求和、进展速度、比重、标准差，能够排序。提供经济地图的直观表示。能够打印报表、图形。提供通用数据格式的查询数据导出功能，包括文本、dbf库文件、Word文档、Excel表格。所查询出来的表能保存或另存为其他格式文件。提供简单分析报告自动生成功能。展现结果可通过用户列表形式用E-mail向

58、用户发送，也可进行功能设置，定时自动发送。联机分析（OLAP：On-Line Analytical Processing）能够进行时刻序列分析和变量分析。时刻序列分析：一般最小二乘法(Ls)带有自回归误差校正项的最小二乘法两时期最小二乘法加权最小二乘法加权两时期最小二乘法非线性最小二乘法加权非线性最小二乘法变量分析：主成分分析相关分析判不分析因子分析聚类分析数据挖掘决策支持、数据挖掘子系统能够进行数据钻取、挖掘。能够从分析结果逐步查询到更详细的数据。运行环境服务系统运行在UNIX操作系统下。扫瞄器运行在采纳HTTP协议的任何操作系统下。设计思想尽量选用目前成熟的OLAP多维分析、数据挖掘工具。

59、对有专门要求的决策支持算法，采纳在购买的软件包上进行二次开发。Web页面采纳以抽象画为主格调的背景，高雅清新的页面风格。各个主题格调保持差不多一致，但各个具体主题的用户界面各有特色，突出各自主题特点。结构讲明应用服务器直接与数据仓库交互，处理外界查询请求；WEB服务器完成和用户的交互，直接为用户提供查询、分析数据，同意用户输入；OLAP服务器与用服务器交互得到大量数据，将对大量数据进行分析计算的结果返回给WEB服务器。提供给用户访问数据仓库的接口，使数据仓库的访问对用户透明，完成数据从数据仓库中提取后通过运算、分析，用直观的方式展现给用户。数据仓库数据展现报表处理查询数据导出简单分析报告生成即

60、席查询、排序多种图表直观显示多种决策算法数据仓库数据展现报表处理查询数据导出简单分析报告生成即席查询、排序多种图表直观显示多种决策算法数据展现采纳多种灵活的方式，比如客户/服务器模式或扫瞄器/服务器模式。我们分为以下子系统：应用服务器是数据仓库与应用系统的统一，使应用系统访问数据不需了解数据仓库设计。OLAP决策分析子系统进行多维分析、利用决策模型进行决策分析。按要求生成简单文字分析报告。WEB服务器使用户能通过扫瞄器访问数据仓库，其中还包括协调操纵数据展现系统的各子系统，为用户提供与数据仓库交互界面，处理用户的查询分析请求。报表处理子系统满足用户对报表的处理、打印请求。数据挖掘子系统对数据进