数据仓库系统总体设计研究

{管理信息化数据仓}数据仓库系统总体设计研究目录1概述71.1背景71.1.1待开发的软件系统名称81.1.2系统的基本概念81.1.3项目组名称81.1.4项目代号81.2术语和缩写词81.3设计目标92系统设计92.1设计原则92.2系统结构112.2.1子系统划分112.3系统数据结构172.3.1逻辑结构122.3.2层次结构132.3.3网络拓扑结构142.3.4网络层次结构162.4行业特殊需求172.5底层数据库（仓库）设计192.5.1设计原则192.5.2数据现状202.5.3数据存储整体规划212.6ETL系统242.6.1需求规定242.6.2运行环境242.6.3设计思想242.6.4结构说明252.6.5处理流程262.7系统管理272.7.1需求规定272.7.2运行环境282.7.3设计思想282.7.4结构说明282.7.5处理流程292.8数据展现302.8.1需求规定302.8.2运行环境322.8.3设计思想322.8.4结构说明322.8.5处理流程342.9界面设计342.9.1需求规定342.9.2主程序界面342.9.3主要页面设计352.10接口设计382.10.1外部接口382.10.2内部接口392.11安全设计392.11.1网络安全392.11.2数据库安全422.12系统可靠性设计432.12.1可靠性432.12.2可维护性432.12.3可扩展性442.12.4健壮性442.12.5性能保证442.12.6出错处理452.12.7备份与恢复452.13运行设计462.14相关工具选择462.14.1数据库选择472.14.2WEB服务器和应用服务器472.14.3数据库建模工具482.14.4分析型工具482.14.5OLAP工具介绍492.14.6ORACLE公司OLAP介绍50感谢阅读2.15开发环境512.15.1硬件环境512.15.2操作系统512.15.3开发语言522.15.4数据库系统522.15.5中间件系统522.15.6应用系统533系统调试和测试533.1目的533.2基本要求543.2.1测试计划543.2.2测试说明543.2.3测试环境建立543.2.4测试报告543.3应遵循的原则543.4测试方法553.5测试重点554项目进度564.1项目资源计划564.1.1项目组564.1.2数据仓库领导小组办公室564.2项目工期计划564.3时间进度计划564.3.1数据仓库系统需求调查与两会系统574.4第一期开发主题574.5第二期开发主题574.6工作量分配计划575小结586参考文献607附录617.1Oracle性能评估报告617.2主流WEB服务器比较657.3IBM小型机性能评估报告767.4详细网络拓扑图及设备清单787.5在多层体系结构下建立数据仓库83摘要数据仓库系统的建立可以解决传统数据库不能很好提供分析决策功能的问题，精品文档放心下载精品文档放心下载感谢阅读精品文档放心下载精品文档放心下载感谢阅读感谢阅读分为四部分：1、数据抽取、转换、加载；23、感谢阅读数据展现；4、支撑整个系统的数据库的设计(包括ETL中间数据库和数据仓库)精品文档放心下载感谢阅读C/S谢谢阅读数据仓库系统的数据展现采用流行的B/S模式向用户提供数据查询、决策分析。感谢阅读关键词：指标，主题，数据仓库，联机分析，数据挖掘，决策支持。谢谢阅读1概述1.1背景经过2精品文档放心下载感谢阅读谢谢阅读开发、实现。省政府局数据具有建立数据仓库系统的基本条件：积累了大量历史数据，这是数据仓库存在的必要条件；感谢阅读谢谢阅读谢谢阅读需求不断增大，社会各界迫切需要利用数据进行决策分析，指导经济建设。精品文档放心下载省政府数据仓库建设存在以下困难：当前局各个处室没有统一规划的数据库系统；谢谢阅读质上，到目前为止，建国以来的数据有一般以上以纸介质方式存储；精品文档放心下载谢谢阅读精品文档放心下载精品文档放心下载部分调整工作需要人工参与；因此，省政府数据仓库的建设中数据的整理加载工作量极大，ETL（Extract、精品文档放心下载Transform、Cleaning、Load）工具开发难度大；完善的、与数据仓库系统良好感谢阅读精品文档放心下载本保障，因此各处室数据库的建设应同步进行。1.1.1待开发的软件系统名称省政府数据仓库系统1.1.2系统的基本概念感谢阅读谢谢阅读精品文档放心下载位的明细数据，数据仓库中的数据就是这些数据的有机集合。感谢阅读感谢阅读精品文档放心下载分析领域。省政府数据仓库是将指标数据按分析主题集成起来，供查询、分析、谢谢阅读辅助决策。1.1.3项目组名称数据仓库项目组1.1.4项目代号XhnTJDW001-00191.2术语和缩写词指标：StatisticalParameter数据仓库：DW（DataWarehouse）主题：Subject数据集市：DataMart元数据：MetaData数据抽取、转换、加载：ETL（Extract、Transform、Cleaning、Load）谢谢阅读联机分析处理：OLAP（On-LineAnalyticalProcessing）谢谢阅读联机事务处理：OLTP（On-LineTransactionProcessing）谢谢阅读决策支持系统：DSS（DecisionSupportSystem）精品文档放心下载数据挖掘：DM（DataMining）应用服务器：AS（ApplicationServer）感谢阅读Web服务器：WebServer1.3设计目标省政府数据仓库系统是以充分发挥信息的社会效益和经济价值为最终目的。感谢阅读精品文档放心下载重组，在高效的网络平台上充分发挥系统作为社会“数据库，信息库，思想库，精品文档放心下载智囊库的作用，直接向党政领导、社会各界提供数据、信息服务，为信息工程谢谢阅读建设提供一个“决策数据管理与分析中心”的基本解决方案。精品文档放心下载精品文档放心下载精品文档放心下载谢谢阅读感谢阅读时、高效处理、管理数据，功能强大，是胖客户端。数据仓库系统重在建立一个适应分析的系统环境，首期开发“两会”信息咨询，谢谢阅读企业名录、人口普查、字典、工业经济、农业经济等主题。精品文档放心下载2系统设计2.1设计原则从充分发挥系统作为社会“数据库，信息库，思想库，智囊库的作用，直接向谢谢阅读党政领导、社会各界提供“快、精、准的信息服务的需要出发，采用当今数据感谢阅读谢谢阅读工程建设提供一个“决策数据管理与分析中心”的基本解决方案。感谢阅读1、精品文档放心下载精品文档放心下载客户/服务器和两层计算模式。多层结构可由以下三类分层来定义：前端的客户感谢阅读感谢阅读精品文档放心下载数据库服务器）的访问。多层结构与传统的客户/服务器结构的区别在于：在传精品文档放心下载统的客户/(作为对表达谢谢阅读逻辑的增补)或放置到后端数据库(作为数据逻辑的一部分包含在存储过程中)。精品文档放心下载谢谢阅读精品文档放心下载感谢阅读感谢阅读复杂性。2、谢谢阅读感谢阅读能说明和设计文稿，每个模块完成相对独立的功能，模块之间的接口定义规范，精品文档放心下载感谢阅读护。3、精品文档放心下载务器、WEB服务器等服务器软件系统，选用具有良好平台移植性的B/S和C/S模感谢阅读式下的开发语言开发应用程序和应用中间件，提高应用系统的平台移植性；精品文档放心下载4、谢谢阅读精品文档放心下载清新明了。5、自主开发和利用现有工具相结合。尽量利用各成熟的数据仓库系统软件谢谢阅读精品文档放心下载特定的系统软件，缩短数据仓库开发周期，降低开发成本，保证系统正常开发。精品文档放心下载6、谢谢阅读精品文档放心下载考虑，保障系统安全稳定。7、精品文档放心下载感谢阅读设置权限，不同用户维护不同数据。8、稳定优先，注重效率。数据仓库的海量数据存储和高效查询是一对矛盾，谢谢阅读感谢阅读谢谢阅读面，我们通过逆规范化（引进适当冗余）来提高系统查询效率。谢谢阅读9、谢谢阅读性，尽量采用简洁易懂的方式实现系统功能，不追求复杂、深奥的算法。感谢阅读2.2系统结构2.2.1子系统划分整个系统按功能分为四大系统，各系统分别为：1.数据库系统中间数据库数据仓库2.ETL系统指标数据抽取子系统指标数据加载子系统3.系统管理系统ETL管理管理子系统数据仓库管理子系统元数据管理子系统4.数据展现系统应用服务器子系统WEB服务器子系统OLAP多维分析决策支持分析子系统数据挖掘子系统图形展示子系统报表处理子系统数据导出子系统2.2.2逻辑结构2.2.3层次结构整个系统在逻辑上分为三层：原始数据层，中间逻辑层（业务逻辑层、WEB服务谢谢阅读原始数据层：以统一规范的方式存储数据；谢谢阅读层系统（程序）的可扩展性、可移植性；精品文档放心下载关性。2.2.4网络拓扑结构我们根据以下列出的几点，确定硬件系统结构：1.谢谢阅读络。2.精品文档放心下载实现数据共享，又能将可以对公众发布的信息分不同的级别向外界发布。精品文档放心下载3.感谢阅读和方式。4.尽可能利用现有网络系统，包括系统专有网，公共Internet网，政谢谢阅读府办公局域网等。精品文档放心下载如下图所示：说明：1、出于网络安全的原因，将整个网络分为内部网络和外部网络两部分。精品文档放心下载2、内部网络与外部网络的系统机构基本相同。外部网络基本上用在对外发布，谢谢阅读不包括保密信息。3、外部网络需要的发布数据从内部网络中通过ETL工具获得，存放在外部网络谢谢阅读的数据仓库中。4、外部网络经过防火墙、路由器与Internet相连。精品文档放心下载5、精品文档放心下载6、工作站分别为各个处室的个人PCETL感谢阅读服务器提供仓库所需数据及通过浏览器访问数据仓库数据信息。精品文档放心下载7、ETL工具定期从各个处室的数据库系统抽取数据，且ETL服务器兼中间数据精品文档放心下载ETL精品文档放心下载8、考虑到数据仓库系统决策分析时需要大量数据信息，所以要求交换机容量应谢谢阅读为1000M。9、OLAP服务器和应用服务器结合比较紧密，在实际的应用中共享一台设备。谢谢阅读10、精品文档放心下载11、安全隐患扫描系统可以运行在一台高性能的PC谢谢阅读及早发现问题。详细的硬件配置及全局网络拓扑参见附件：详细网络拓扑图及设备清单精品文档放心下载2.2.5网络层次结构整个数据仓库系统由内而外分为四层：1、系统内核层：包括数据仓库服务系统及应用系统。2、系统安全层：谢谢阅读安全、防止黑客破坏或恶意入侵。3、公共网络层：基于TCP/IP精品文档放心下载经建成的公共网络将数据、信息、知识发布出去。4、外部应用层：感谢阅读向外发布的各种信息。2.3系统数据结构省政府精品文档放心下载结构存储维度和事实数据。2.4行业特殊需求主题的增加感谢阅读局数精品文档放心下载谢谢阅读谢谢阅读精品文档放心下载据集市，满足系统不断增加的主题需求。主题所含指标的修改起感谢阅读感谢阅读感谢阅读感谢阅读感谢阅读增加，且效率比较高，主题下指标可以适当调整。指标数据修改感谢阅读精品文档放心下载感谢阅读精品文档放心下载谢谢阅读感谢阅读谢谢阅读丢失，保持历史的真实性。数据更新权限由于数据仓库的数据维护由分散的多个处室在不同的时间进行，为了防止数精品文档放心下载感谢阅读感谢阅读个用户有查询权限。定时报警定时检测各个处室的数据是否按设计要求及时导入数据仓库，否则以适当方谢谢阅读式报警。决策算法的扩展由系统结构的高度模块化实现。跨主题指标的查询通过调整主题指标，减少跨主题指标的查询；临时性的跨主题指标查询，利用全局指标库，从不同的主题事实表中查询。精品文档放心下载本地文件读写基于C/S精品文档放心下载基于B/S模式的应用，虽然基于安全角度上的考虑，IE限制了ActiveX、谢谢阅读JavaScript,、JavaAppletJavaScript，ActiveX，感谢阅读可以通过配置IE的安全属性，来读写本地文件，当然，这种配置也会带来一些感谢阅读JavaApplet感谢阅读而言，Java安全提供了API和工具集用于向应用程序或JavaApplet“注入”安谢谢阅读全。提供细粒度(fine-grained)和可配置的访问控制的架构被内置到核心Java谢谢阅读安全体系结构之中，这是通过使用Java2谢谢阅读字签名实现的。高频指标智能维护精品文档放心下载系统定时刷新高频指标表，完成高频指标的自动维护。2.5底层数据库（仓库）设计2.5.1设计原则谢谢阅读库系统建设的成败。根据数据仓库系统需求及Oracle9i数据库系统的特性，谢谢阅读我们对数据仓库系统的数据库设计应遵循如下设计原则：1、感谢阅读精品文档放心下载的所有对象如表空间、数据文件、日志文件、表、视图、索引、存储过程、精品文档放心下载列，都要求有严格的命名规范2、感谢阅读过自定义数据类型来实现。3、高效性原则：数据仓库中的数据达到TB级别，对查询速度的提高是精品文档放心下载我们考虑的重点，可通过建Index，Cluster，尽可能的用存储过程，允许感谢阅读适当的数据冗余等技术来保证查询效率。4、灵活性原则：设计要充分考虑主题，指标等的变化5、感谢阅读息源和使用点，使信息按最短的路径存取，以确保信息合理和快速流动。谢谢阅读6、感谢阅读应用程序的独立性，它的改变不影响应用程序。7、感谢阅读感谢阅读精品文档放心下载在数据库的主键中加入操作用户的信息等等。2.5.2数据现状----1、数据格式多种多样，一致性较差，并存在数据冗余感谢阅读各个处室使用的数据格式均不相同，有Oracle，dbf，sarp，MITT，Excel，感谢阅读Word，Text格式，且各个系统相对独立。----2、数据来源多，但数据存放相对分散，缺乏统一管理谢谢阅读感谢阅读精品文档放心下载存放和管理----3、数据量很大，但对数据资源的开发利用不充分感谢阅读感谢阅读谢谢阅读合、提炼、挖掘。不便于分析、预测。----4、偏重于上报报表在计划经济时期，局的职能主要是为上级机关报送报表；在市场经济时期，精品文档放心下载局不仅要为上级机关报送报表，而且还要更多地为辅助本级政府宏观决策和精品文档放心下载企业微观决策及时提供各种信息和情报。新时期对信息的质量提出了更高的精品文档放心下载要求：精品文档放心下载有价值的信息和情报作为决策时参考的依据；谢谢阅读情报支持，包括历史的、当前的、未来的各种信息和情报资源；谢谢阅读谢谢阅读数据和信息；支持对不同类型和格式的数据或信息进行操作；信息要为更广大的社会用户尤其是企业的微观决策提供支持；感谢阅读要求信息资源能实现充分共享与快速交流。2.5.3数据存储整体规划决策数据数据感谢阅读集市三个层次。这三个数据库层次逐层浓缩，其层次结构如下：谢谢阅读谢谢阅读决策谢谢阅读数据数据集市精品文档放心下载仓库的描述数据即元数据，包括主题描述表，主题指标描述表等。感谢阅读感谢阅读谢谢阅读感谢阅读机上，呈分布式存储。精品文档放心下载精品文档放心下载服务。感谢阅读谢谢阅读作为领导提供预测和决策的支持。工业经济决策元数据消费生产价格城市社会经济决策居民家庭收入单个主题的数据库逻辑设计2.6ETL系统2.6.1需求规定采用自动加手动的方式导入数据。数据导入以定期自动导入为主，设立到期自动报警功能。感谢阅读各个处室可以在任何时候向ETL服务器导入数据，而只在确定的时间从感谢阅读ETL服务器向数据仓库导入数据。提供导入数据的接口，直接与各个处室的数据库连接，尽可能利用现有谢谢阅读系统数据，减轻各处室工作量。能够与通用的数据文件进行连接，适应各专业处室可能的数据库平台的感谢阅读变更，能导入同种类型的不同格式的数据。2.6.2运行环境服务端指标数据加载子系统运行于主流UNIX操作系统感谢阅读客户端指标数据抽取子系统运行在高性能PC上，Windows98以上版本操作系统，谢谢阅读需要有Oracle客户端支持。2.6.3设计思想指标数据抽取子系统1、建立灵活的数据导入方式，直接利用中间件ODBC访问各种数据库系统。谢谢阅读2、建立统一的环境，各个处室在统一的环境下向中间数据库导入数据。感谢阅读3、通过用户权限区别各个处室应该导入的数据，让不同用户在导入数据时不会感谢阅读发生混乱。指标数据加载子系统1、程序自动运行的同时引进人工干预，定时启动加载系统，自动进行中间数据谢谢阅读库向数据仓库导入数据的工作。2精品文档放心下载2.6.4结构说明精品文档放心下载精品文档放心下载谢谢阅读精品文档放心下载感谢阅读谢谢阅读载到数据仓库的专业事实表中。人工输入中间数据库数据抽取、清洗、转换、加载过程高度模块化，ETL系统用数据抽取模谢谢阅读型从各处室抽取数据、用数据清洗模型清洗数据、用转换模型转换不同类型谢谢阅读的数据、用加载模型加载数据到数据仓库。ETL系统是一个体系环境，各种数据操作按中间数据库模型库中的规定精品文档放心下载ETL服务器的目的。精品文档放心下载数据抽取、清洗、转换、加载有以下子系统：1.指标数据抽取子系统。这个系统又可以称为数据导入。功能：数据抽取、数据清洗。把各个处室不同格式的数据按指标进行抽谢谢阅读取、经过清洗后存入中间数据库，容许数据修改。指标数据抽取子系统能收集各种通用格式的数据，提供输入界面手动输感谢阅读入数据。Sybase、Oracle、db2、dbf等可以通过odbc谢谢阅读访问的数据库，和Excel数据以及按顺序排列数据的文本文件。感谢阅读各种格式的数据都有对应的模块，这些模块遵循统一数据接口，能够不感谢阅读断增加并识别新的数据格式。2.指标数据加载子系统。功能：数据转换、数据加载。把中间数据库所有指标数据经过转换后，谢谢阅读加载到数据仓库中。2.6.5处理流程指标数据抽取子系统通过读取ETL谢谢阅读各个处室的数据暂存到中间数据库。精品文档放心下载库的数据加载到数据仓库中。2.7系统管理2.7.1需求规定数据的维护1、年度数据至少保存10年以上；进度（月、季、半年度）数据至少保精品文档放心下载存5年以上；在条件容许的情况下，数据保存尽可能长的时间。谢谢阅读2、历史数据的导出、导入功能。3、感谢阅读据。4、对时间跨度很大的普查数据等非时间累加数据按实际需要保存相应谢谢阅读年限。5、对数据要进行备份。指标的维护1.数据库指标管理、维护，随时间的推移可增加主题下包括的指标；精品文档放心下载2.能适应制度的变化，指标口径（指标含义）能进行适当调整。精品文档放心下载3.行政区划代码允许调整。系统的维护1.设置不同级别用户的维护访问权限。2.谢谢阅读护系统。3.系统管理具备日志功能。主题的维护随着时间、形式的变化，主题能够增加或减少。分析方法的维护1.对现有分析方法提供描述，能够对分析方法进行修改。精品文档放心下载2.能够增加分析方法。备份数据仓库的备份与灾难恢复功能。2.7.2运行环境系统运行在高性能PC机上，操作系统为Windows系统。谢谢阅读2.7.3设计思想1、系统管理系统自主开发。2、在操作习惯、程序风格上与Windows一致。精品文档放心下载2.7.4结构说明系统管理是整个数据仓库系统的保障系统，保障数据仓库系统正常运行。精品文档放心下载系统管理分为两大子系统：ETL管理子系统、数据仓库管理子系统，分别管精品文档放心下载理ETL服务器中间数据库系统和数据仓库系统。指标管理ETL服务器系统管理主题管理备份与维护数据仓库

权限管理元数据管理1、ETL管理子系统所有转换规则都存在数据库中，ETL管理子系统通过维护数据库中数据达感谢阅读到维护ETL服务器的目的。维护子系统通过各种可视化友好界面提供给感谢阅读用户简洁明了维护方式。维护ETL感谢阅读护ETL服务器数据清洗模型，避免垃圾数据进入数据仓库；精品文档放心下载维护ETL服务器数据转换模型，保证转换的正确性；感谢阅读维护ETLETL服务器中指标与数据仓库指感谢阅读标的统一。进行ETL精品文档放心下载通过ETL加载子系统提供的接口，控制ETL加载子系统的运行。谢谢阅读2、数据仓库管理子系统感谢阅读:一类是管理元数据，它是对元数据及其内容，数精品文档放心下载据仓库主题，数据转换及各种操作信息的描述；另一类是用户元数据，感谢阅读它帮助用户查询信息，理解结果，了解数据仓库中的数据和组织等。谢谢阅读决策模型库维护主题库维护数据备份与维护挖掘模型库维护高频数据维护2.7.5处理流程数据仓库管理子系统：对数据仓库的数据进行定期的自动或手动维护，包括备份与恢复。精品文档放心下载元数据分类：技术元数据；商业元数据；数据仓库操作型信息。感谢阅读ETL管理子系统2.8数据展现2.8.1需求规定查询1.谢谢阅读件组合查询，并支持模糊查询等2.谢谢阅读表进行自动维护。3.提供关联指标的搜索功能。导出1.数据的展现能提供文字说明、简单图表显示、多种图形（线图、饼图，方柱谢谢阅读2.主栏、宾栏能够互换，能够显示多层表格结构。3.谢谢阅读重、标准差，能够排序。4.提供经济地图的直观表示。5.能够打印报表、图形。6.dbf库文件、Word谢谢阅读文档、Excel表格。7.所查询出来的表能保存或另存为其他格式文件。8.提供简单分析报告自动生成功能。9.展现结果可通过用户列表形式用E-mail向用户发送，也可进行功能精品文档放心下载设置，定时自动发送。联机分析（OLAP：On-LineAnalyticalProcessing）感谢阅读能够进行时间序列分析和变量分析。A.时间序列分析：普通最小二乘法(Ls)带有自回归误差校正项的最小二乘法两阶段最小二乘法加权最小二乘法加权两阶段最小二乘法非线性最小二乘法加权非线性最小二乘法B.变量分析：主成分分析相关分析判别分析因子分析聚类分析数据挖掘谢谢阅读到更详细的数据。2.8.2运行环境服务系统运行在UNIX操作系统下。浏览器运行在采用HTTP协议的任何操作系统下。2.8.3设计思想1、尽量选用目前成熟的OLAP多维分析、数据挖掘工具。精品文档放心下载2、对有特殊要求的决策支持算法，采用在购买的软件包上进行二次开发。谢谢阅读3、Web页面采用以抽象画为主格调的背景，高雅清新的页面风格。感谢阅读4、各个主题格调保持基本一致，但各个具体主题的用户界面各有特色，突出各感谢阅读自主题特点。2.8.4结构说明应用服务器直接与数据仓库交互，处理外界查询请求；WEB服务器完成和用户的谢谢阅读OLAP服务器与用服务器谢谢阅读交互得到大量数据，将对大量数据进行分析计算的结果返回给WEB服务器。精品文档放心下载精品文档放心下载据仓库中提取后通过运算、分析，用直观的方式展现给用户。谢谢阅读数据仓库简单分析报告生成/服务器模式或浏览器/服务器模式。谢谢阅读我们分为以下子系统：1、应用服务器精品文档放心下载库设计。2、OLAP决策分析子系统进行多维分析、利用决策模型进行决策分析。按要求生成简单文字分精品文档放心下载析报告。3、WEB服务器感谢阅读统，为用户提供与数据仓库交互界面，处理用户的查询分析请求。谢谢阅读4、报表处理子系统满足用户对报表的处理、打印请求。5、数据挖掘子系统对数据进行分析挖掘。6、图形展示子系统对输入的数据进行各种图形展示，输出数据表格、饼图、柱状图、折线图等等。感谢阅读7、数据导出子系统感谢阅读数据挖掘子系统用户

浏

览

器2.8.5处理流程数据展现系统采用J2EE技术平台，解决用户对数据仓库的数据访问、运算、展精品文档放心下载现等问题。2.9接口设计2.9.1外部接口1、用户接口数据展现部分采用浏览器的模式与用户交互信息。数据采集、原数据管理系统采用C/S模式与用户交互感谢阅读2、硬件接口本系统没有特定的硬件接口3、软件接口ETL系统接口：ETL系统分为指标数据加载子系统和指标数据抽取子系统，指标数据抽取子系谢谢阅读统为指标数据加载子系统提供原始数据。精品文档放心下载感谢阅读的数据采集模块、新增或更换了数据格式，只需添加或修改相应的模块即可，精品文档放心下载精品文档放心下载ODBC标准接口获得数据。指标数据加载子系统检测客户端提交到中间数据库的数据完整且合符要求时，谢谢阅读容许将数据从中间数据库加载到数据仓库专业事实表。系统管理系统接口：系统管理系统分为ETL管理子系统和数据仓库管理子系统，ETL管理子系统通谢谢阅读过管理ETL中间数据库的模型库达到管理指标数据抽取子系统和指标数据加感谢阅读载子系统的目的。数据展现系统接口：感谢阅读精品文档放心下载时要求进行展现，数据展现的过程为，用户通过WEB界面提交请求，WEB服务谢谢阅读谢谢阅读应数据提交OLAP服务器按指定要求处理或直接送到WEB精品文档放心下载因此，WEB精品文档放心下载OLAP服务器提供接收数据仓为返回数据接口。其他接口以各个子系统之间的接口为准。4、通讯接口以各个子系统的接口为准。2.9.2内部接口以各个子系统的接口为准。2.10安全设计2.10.1网络安全精品文档放心下载精品文档放心下载仓库系统更安全。1、防火墙黑客一般会利用因特网出口来攻击内部网络。为了将外网（Internet谢谢阅读行有效的安全隔离，确保内网的安全，在与Internet连接的出口处应安装防火谢谢阅读墙。在内部网与Internet连接的出口处安装防火墙有重要意义：精品文档放心下载（1）保护脆弱的服务：精品文档放心下载的风险。例如，防火墙可以禁止NIS、NFS服务通过，防火墙同时可以拒绝源路谢谢阅读由和ICMP重定向封包等。（2）控制对系统的访问：谢谢阅读访问另外的主机。例如，防火墙允许外部访问特定的邮件服务器和Web服务器。谢谢阅读（3）集中的安全管理：感谢阅读谢谢阅读火墙可以定义不同的认证方法，而不需在每台机器上分别安装特定的认证软件。精品文档放心下载外部用户也只需要经过—次认证即可访问内部网。（4）增强的保密性：Finger和DNS。感谢阅读（5）记录和网络利用数据以及非法使用数据：谢谢阅读防火墙可以提供数据，来判断可能的攻击和探测。（6）策略执行：感谢阅读于每台主机的用户。推荐产品：NetScreen公司NetScreen-100防火墙。感谢阅读2、入侵检测精品文档放心下载护，降低了网络安全风险。但是，仅仅使用防火墙、网络安全还远远不够：谢谢阅读（1）入侵者可寻找防火墙背后可能敞开的后门；（2）入侵者可能就在防火墙内；（3）由于性能的限制，防火墙通常不能提供实时的入侵检测能力。感谢阅读精品文档放心下载精品文档放心下载精品文档放心下载精品文档放心下载精品文档放心下载谢谢阅读系统安全。推荐产品：网络隐患扫描精品文档放心下载谢谢阅读全隐患。它在网络层扫描各种设备，检查路由器、Web服务器、Unix服务器、精品文档放心下载WindowsNT服务器、桌面系统和防火墙的安全漏洞，它不仅给用户提供网络的安感谢阅读感谢阅读及时的排解和补救，同时还支持用户建立适应性的安全策略和有效地安全模式，谢谢阅读为用户提供专业的安全报告，包括修改建议和专业知识库等。精品文档放心下载推荐产品：。3、安全服务精品文档放心下载谢谢阅读精品文档放心下载精品文档放心下载安全审计和操作，这些都属于安全服务的范畴。精品文档放心下载感谢阅读谢谢阅读精品文档放心下载定期安全检测、安全技术培训、应急响应支持的全面的、综合的服务。感谢阅读谢谢阅读精品文档放心下载精品文档放心下载求来保障网络的安全性，对安全事件进行快速响应。服务流程：2.10.2数据库安全1、创建和管理用户精品文档放心下载谢谢阅读2、管理权限和角色ORACLEDBA感谢阅读ResourceConnectORACLE用户。精品文档放心下载(用系统权限来控制用户能否对数据库执行操作。对象权限控制用户能否对单个精品文档放心下载对象（例如表和视图)执行操作；角色通过将相关的权限集合在一个单一的角色感谢阅读下，使DBA3、创建和分配用户配置文件制定用户配置文件Profile精品文档放心下载Profile可精品文档放心下载以限制用户对CPU资源的消耗，并且能增强口令的复杂性。Profile也可以定义感谢阅读口令多长时间需要被更新一次等。4、其他数据库内部执行级安全管理，主要有下面几点的结合：感谢阅读用视图限制用户可以查看的数据用触发器阻止越权更新表用存储过程作为管理更新和删除的工具5、数据库扫描感谢阅读谢谢阅读精品文档放心下载谢谢阅读精品文档放心下载查能大大提高数据库的安全。推荐产品：ISS公司的数据库扫描器（DatabaseScanner精品文档放心下载2.11系统可靠性设计2.11.1可靠性1)数据库系统运行在具有高可靠性的UNIX感谢阅读行的高可靠性和长期运行的高稳定性；2)最终数据使用用户通过浏览器获取数据，浏览器本身的可靠性保证了用精品文档放心下载户软件的可靠性；2.11.2可维护性1、数据展现部分采用了B/S精品文档放心下载要进行维护，后台系统的维护升级对用户上透明的。2、C/S模式，感谢阅读其用户量少，系统维护量相对较小。2.11.3可扩展性1、ETL抽取子系统是完全模块化的，增加新感谢阅读的源数据类型只需要开发相应的功能模块，在理论上具有无限扩展性。感谢阅读2、主题的扩展性和主题下指标的扩展性：参见技术分析部分精品文档放心下载3、OLAP分析模式、决策算法的扩展性：采用组件技术和动态联接库。谢谢阅读2.11.4健壮性1、B/S模式客户端（Browser）的健壮性：谢谢阅读IE等浏览器为通用程序，其健壮性由开发商保证2、C/S模式客户端(Client)的健壮性：通过充分调试、严格测试提高其健壮性3、数据库系统的健壮性：保障数据库系统的软硬件环境，其健壮性由数据库厂商产品保证感谢阅读4、中间件系统的健壮性：应用服务器和WEB精品文档放心下载件经过精心调试和严格测试来保证2.11.5性能保证1.B/S模式速度：谢谢阅读性能2.并发性能：中间件产品和数据库系统都有良好的并发控制性能。3.数据流量控制：限制最多同时使用用户数，适当配置网络参数4.稳定性：严格单元测试，长时间高负荷系统性能测试2.11.6出错处理1.出错类别网络连接故障：整个系统由于网络环境的原因，导致不能正常通信。系统连接故障由于系统的问题，或者是人为的操作故障导致各个子系统无法正常联系。谢谢阅读ETL系统问题由于人为的制造无效字符、无效数据到临时数据库，导入数据仓库时发生的谢谢阅读故障。系统崩溃由于人为的错误、外界原因、系统本身的不完整性等导致数据库系统、应用精品文档放心下载服务器/WEB服务器发生致命的错误，而影响整个数据仓库系统的正常运行。感谢阅读2.出错处理自动报警技术，系统定时检测网络系统和自身系统，一旦发生自身能检精品文档放心下载测到的错误则发出报警，报警的方式有图象提示，声音提示、日志提示；感谢阅读按备份方案进行系统备份，系统出错或崩溃后迅速将系统恢复；谢谢阅读各个系统保存系统运行日志，保存错误信息，方便解决问题；谢谢阅读疑难问题可以从Oracle公司获得咨询帮助。精品文档放心下载2.11.7备份与恢复1、建立完善的备份制度精品文档放心下载感谢阅读份方案的目标。2、数据备份方式精品文档放心下载短，操作最方便，当系统中数据量不大时，采用全备份最可靠。精品文档放心下载量备份：只备份上次完全备份以后增加的数据。分备份：只备份上次完全备份以后有变化的数据。按需备份：根据临时需要有选择地进行数据备份。3、数据恢复方式感谢阅读为它关系到系统在经历灾难后能否迅速恢复。灾难恢复操作通常可以分为两类。谢谢阅读第一类是全盘恢复，第二类是个别文件恢复。谢谢阅读失、系统崩溃或是有计划的系统升级、系统重组等，也称为系统恢复。感谢阅读精品文档放心下载备份系统的恢复功能，我们很容易恢复受损的个别文件。2.12运行设计首先运行数据库服务器，建立后台数据环境；运行应用服务器，提供用户程序访问数据的公共通道；谢谢阅读运行WEB服务器，提供浏览器用户程序服务环境；谢谢阅读运行（B/S或C/S）客户端程序，完成数据操作与维护。精品文档放心下载2.13相关工具选择感谢阅读谢谢阅读统中数据导入工作占整个数据仓库维护工作量的80感谢阅读年大约产生1000M左右的数据，其中700M左右的数据需要进入数据仓库，要把感谢阅读这700M数据从1000M中分离，且导入数据仓库，这些工作没有高效的工具是无精品文档放心下载法实现的。由于至少需要存放10年以上的数据才能满足分析要求，这样数据仓谢谢阅读库中的数据随时间倍增，数据在短时间内势必达到50G感谢阅读谢谢阅读精品文档放心下载品。对市面上没有相关通用性的产品，则要有针对性开发。感谢阅读精品文档放心下载型，缩短开发周期，及早见到成效。特别是在数据仓库、应用服务器、WEB服务感谢阅读精品文档放心下载精品文档放心下载谢谢阅读感谢阅读到数据仓库中来。2.13.1数据库选择谢谢阅读感谢阅读也有自己的数据仓库产品。最终我们选择了Oracle9i为数据仓库，选择的理由感谢阅读是：（详细介绍参见附录：Oracle性能评估报告）谢谢阅读我国行业一直使用Oracle作为其数据库系统；精品文档放心下载Oracle公司的数据库在全球占有率最高；Oracle9i是Oracle公司最新产品，全面支持internet，集成了最新数谢谢阅读据仓库技术；Oracle公司应用工具齐全，选择Oracle9i可以利用Oracle公司现有工谢谢阅读具，缩短数据仓库系统开发周期，并且保证系统间见的无缝连接。精品文档放心下载2.13.2WEB服务器和应用服务器几乎所有的web服务器的内核都是Apache精品文档放心下载Apache精品文档放心下载经成为Web服务器的事实测试标准。Apache以"补丁服务器"而闻名，Apache的谢谢阅读早期开发是通过对NCSA的http代码添加补丁程序来进行的。Apache被看做是"感谢阅读补丁服务器"Apache的灵活性和可扩展性，感谢阅读精品文档放心下载以添加任何功能，模块是很多内容管理系统的功能基础，如Midgard，Zope等。感谢阅读Apache并不是最快的Web精品文档放心下载的站点中运行非常正常。在使用Webstone进行性能测试中，Apache的吞吐量位精品文档放心下载居第一，并且出错最少，在测试中虽然Apache的可扩展性不是最强，但是仍然谢谢阅读是提供了如此多特性的服务器中速度最快的。Oracle公司的InternetApplicationServer集成了ApacheWEB感谢阅读独使用2.13.3数据库建模工具我们选择用CA公司的ERWIN位数据建模工具。ERWIN精品文档放心下载功能强大。ERwin可以方便地构造实体和联系，表达实体间的各种约束关系，并感谢阅读根据模板创建相应的存储过程、包、触发器、角色等，还可编写相应的PB扩展感谢阅读ERwin可以实现将已建好的ER感谢阅读模型到数据库物理设计的转换，即可在多种数据库服务器（如Oracle，谢谢阅读SqlServer，Wat等）上自动生成库结构，提高了数据库的开发效率。谢谢阅读2.13.4分析型工具根据数据仓库的定义和用途，它面向的用户是中高层领导，主要执行决策和精品文档放心下载精品文档放心下载在着巨大的鸿沟，原有的DBTOOL对此是无能为力的。解决之道唯有功能强大的精品文档放心下载分析工具。用户从数据仓库采掘信息时可能有多种不同的方式，但大体可以分成两种模式，精品文档放心下载即验证型(Verification)和发掘型(Discovery)。谢谢阅读1、验证型主要含有以下工具：可视化工具，可视化工具以图形化的方式展示数据，以便充谢谢阅读感谢阅读们可以深入到数据的结构中，了解数据的复杂性和动态性。精品文档放心下载OLAPOLAP服务器，将来源于关系型数据库的精品文档放心下载精品文档放心下载谢谢阅读域、业务等。2、发掘型发掘型工具就是在用户不知道会有什么结果的情况下给用户提供一些分析结果，精品文档放心下载通过可视化工具展现数据，使复杂的数据关系简单化。发掘型分析工具主要是数据挖掘。数据挖掘一般有以下算法：感谢阅读感谢阅读别。决策树：代表着决策集的树形结构。谢谢阅读法的优化技术。近邻算法：将数据集合中每一个记录进行分类的方法。规则推导：从意义上对数据中的“如果-那么”规则进行寻找和推导。精品文档放心下载2.13.5OLAP工具介绍目前对OLAPOLAP工具分精品文档放心下载multidimensionaldatabaseMOLAPOLAP工谢谢阅读具（relationalOLAP，简称ROLAP）两大类。感谢阅读多维数据库工具的数据存储不采用传统关系模型所使用的记录、表等方式，谢谢阅读感谢阅读MOLAPSQL精品文档放心下载用新的数据接口。如NCR，SAS，ORACLE公司的产品。感谢阅读ROLAP精品文档放心下载谢谢阅读成逻辑上的多维，查询速度提高依靠数据整理和概要表、聚合表。ROLAP既可以谢谢阅读是与其前台有数据接口也可以直接通过SQL精品文档放心下载据库工具相比，关系型的OLAP工具在数据库层次上有标准的关系模型，有标准精品文档放心下载的数据访问方式（SQL）及其编程接口，工具与数据库的可互联性比较好。如谢谢阅读SYBASE，SQLSERVER，INFORMIX公司的产品。精品文档放心下载NCR的Teradata是高端数据仓库市场最有力的竞争者，主要运行在谢谢阅读NCRWorldMarkSMP硬件的Unix谢谢阅读度分析。为了开拓数据集市（DataMart）市场1998年，该公司也提供了基于谢谢阅读WindowsNT的Teradata。总的来看NCR的产品性能很好，但是，NCR产品的价格精品文档放心下载相对较高，中小企业用户难以接受。SAS/MDDB是SAS用于在线分析的多维数据库服务器；SAS/AF提供了屏幕设精品文档放心下载计功能和用于开发的SCLSAS/ITSV（ITServiceVisionIT精品文档放心下载ITWeb服谢谢阅读务器和电话系统等。总的来说，SAS系统的优点是功能强、性能高、特长突出，感谢阅读缺点是系统比较复杂，软件投资较高，而且每年都需交纳License费。精品文档放心下载2.13.6ORACLE公司OLAP介绍通过使用OracleExpressObjectsOracleExpressAnalyzer和OracleDiscoverer，谢谢阅读企业能够迅速建立和实施数据仓库应用。预制的OLAP应用，即感谢阅读OracleFinancialAnalyzer，OracleFinancialController和谢谢阅读OracleSalesAnalyzer，则进一步减少了实施时间和费用。Oracle及其解决方案谢谢阅读合作伙伴提供的预置OLAP应用，在财务合并和预算编制这样的领域以及在电信谢谢阅读谢谢阅读或者工作组OLAP应用，Oracle的Express工具和应用都提供解决方案。感谢阅读支持Web应用的OracleExpressServer是一个先进的计算引擎和数据高速缓存，精品文档放心下载能够集成来自独立系统的数据，这些系统可能是关系型的、传统的或者外部的。感谢阅读它使用多维模型，多维模型最能反应用户对其业务的思考方法。谢谢阅读谢谢阅读数据(维)看作是一个数组的列(edges)感谢阅读精品文档放心下载感谢阅读最复杂的OLAP应用。OracleExpressServer不仅支持多维数据模型，而且具有分析、预测、建模，以感谢阅读及对数据进行假设分析(what－if)谢谢阅读间序列管理等方面的内置功能。ExpressServer能够存储和管理多维数组，或者通过一种只需很少、甚至不需索感谢阅读感谢阅读谢谢阅读据完整性控制。同时，Oracle的开放策略允许实施企业OLAP的公司自由选择所谢谢阅读Windows谢谢阅读子表格和WWW，从而获得最大限度的灵活性。OracleExpressAnalyzer是通用的、面向最终用户的报告和分析工具，它采用面精品文档放心下载向对象技术，在OracleExpressAnalyzer中能运行任何OracleExpressObjects精品文档放心下载应用。实际上，OracleExpressAnalyzer的用户能够扩展和发布在谢谢阅读OracleExpressObjects中开发的应用。ExpressObjects和ExpressAnalyzer的精品文档放心下载集成使得信息系统人员和用户群体在建立和共享应用和对象方面拥有广泛的选精品文档放心下载择余地。2.14开发环境精品文档放心下载感谢阅读些子系统密切合作，形成一个紧密结合、高效的整体。2.14.1硬件环境基于高速网络环境。服务器采用高档小型机。客户端为高性能客户端。2.14.2操作系统服务系统运行于UNIX操作系统。UNIX以其较小的内核、较高的运行效率精品文档放心下载著名，获得了服务器上主流操作系统的地位。全球著名的硬件产商都有与自身谢谢阅读服务器紧密结合的UNIX操作系统（如IBM的AIX和SUN公司的Solaries，HP精品文档放心下载的HP_UX客户端系统运行在Windows操作系统下。全世界90％的PC用的是谢谢阅读Windows操作系统，广大用户已经习惯了Windows操作系统的界面、风格。局谢谢阅读几乎所有PC都是运行在Windows谢谢阅读系统管理、ETL工具客户端等）运行在Windows系统下能满足用户需要，缩短感谢阅读系统投入使用的培训时间。2.14.3开发语言JAVA语言最先由网景公司利用在WEB上，是最好的跨平台开发语言，是当感谢阅读前B/SC语言最先在UNIX系统下使用，是一种执行效率非感谢阅读C++的出现使CC++语言也得到精品文档放心下载了日益广泛的应用，是C/S模式的首选开发语言。2.14.4数据库系统数据库系统采用Oracle9iOracle9i是Oracle公司对数据仓库支持最好的精品文档放心下载精品文档放心下载2.14.5中间件系统中间件系统包括应用服务器、WEB服务器和自主开发的业务逻辑服务系统等。应感谢阅读用服务器需要处理大量的数据信息，业务逻辑，效率要求高，系统资源占用大，感谢阅读需要在UNIX系统下运行。WEB服务器直接面向大量的用户群，处理用户的请求，多种方式展示查询结果，精品文档放心下载Oracle公司的WEB服务器与应用服务器是完全精品文档放心下载集成的，我们选择与Oracle9i配套的具有强大数据仓库功能的IAS作为省政府感谢阅读数据仓库的应用服务器和WEN服务器，Oracle公司的IAS谢谢阅读（InternetApplicationServerOracleOracle9i感谢阅读Oracle9i全面支持J2EE精品文档放心下载类型的产品，例如WebSphere快2－4倍。感谢阅读自主开发的中间件系统采用具有良好平台移植性的开发语言JAVA来开发。精品文档放心下载2.14.6应用系统1、系统管理工具的运行环境是Windows系统，采用C++作为开发语言。精品文档放心下载元数据管理工具是直接面对有一定技术基础的维护人员，需要有高度的谢谢阅读C++C/S谢谢阅读模式的系统，高效的管理数据库，并且使数据仓库具有一定的开放性。精品文档放心下载2、ETL数据抽取工具运行环境是Windows系统，采用C++作为开发语言。精品文档放心下载通过客户服务器模式从各个处室抽取数据，直接面对用户，界面友好，感谢阅读有选择性的从各处室的系统中抽取数据，因此要利用C++开发高效率的、谢谢阅读有针对性的系统。3、用JAVA开发ETLUNIX精品文档放心下载据库向数据仓库加载数据。4感谢阅读用的开发语言是基于JAVA。5、报表系统基于WEB页面，采用JAVA开发。谢谢阅读3系统调试和测试3.1目的湖南省统计局省政府感谢阅读“湖南省统精品文档放心下载计局省政府数据仓库”顺利实现。3.2基本要求3.2.1测试计划感谢阅读其它系统有关的配套测试工作安排。3.2.2测试说明感谢阅读给出详细的测试脚本。3.2.3测试环境建立省政府数据仓库系统测试的精品文档放心下载测试环境。要保证测试环境的正确性和可靠性。3.2.4测试报告每一阶段的测试都要给出符合规范的测试报告（参见公司《测试报告书写规感谢阅读范》）3.3应遵循的原则测试贯穿于整过项目开发周期中的全部过程。与于项目组的测试部对数据精品文档放心下载仓库系统进行测试；测试用例既要有确定的输入，也要有确定的输出；测试用例既要有合理的输入，也要有不合理的输入；精品文档放心下载功能；全部测试用例应当作为软件组成部分之一保存并交付；精品文档放心下载在程序中错误的概率与在该程序段中已经发现的错误数成正比。谢谢阅读3.4测试方法a)静态分析（staticanalysis）：不运行被测程序而对其进行分析。感谢阅读b)单元测试（unittesting）：对可以单独测试的软件部分即单元所进谢谢阅读行的测试。c)集成测试（integratedtesting）：对模块之间的相互接口关系的测精品文档放心下载试，一般有增式和非增式两种方式，即一次将所有模块集成起来还是逐步集成。感谢阅读d)系统测试（systemtesting）：按照功能需求验证系统是否满足所规谢谢阅读定的功能。e)精品文档放心下载元测试、集成测试和构造测试。f)感谢阅读付测试。g)结构测试（structuraltesting）：基于程序的测试方法，通常也被谢谢阅读称为白盒测试。h)功能测试（functionaltesting/设计说明书的测试精品文档放心下载方法，通常也被称为黑盒测试或行为测试。在具体实施中我们将根据实际情况在不同的阶段重点采用不同的测试方法。谢谢阅读3.5测试重点1.数据抽取时的正确性，效率测试。2.存储过程，触发器的功能测试和算法的静态分析。3.大量用户同时访问时数据库服务器的性能。4.5个以上部门同时用ETL装载数据时仓库的性能测试。精品文档放心下载5.指标口径发生变化，对数据进行调整时，系统效率和稳定性测试。谢谢阅读6.指标数据调整后，数据仓库系统展现的结果的正确性测试。精品文档放心下载7.用户权限设置是否正确。8.各阶段的设计文档资料与系统是否一致且资料符合公司规范。谢谢阅读4项目进度4.1项目资源计划4.1.1项目组项目组由公司组建，由16人组成的开发小组，主要工作是对数据仓库系统谢谢阅读进行需求调查与分析、设计、开发、测试。4.1.2省政府局数据仓库领导小组办公室精品文档放心下载求调查、协调工作。4.2项目工期计划项目工期为2001年9月26日——2003年3月14日谢谢阅读4.3时间进度计划谢谢阅读感谢阅读期主题的开发。4.3.1数据仓库系统需求调查与两会系统感谢阅读精品文档放心下载设计，计划开始时间为2001年9月26日，完成时间为2002年1月15日。感谢阅读4.4第一期开发主题精品文档放心下载2002年1月152002年7精品文档放心下载月台15日。4.5第二期开发主题感谢阅读感谢阅读2002年7月16日，计划完工时间为2003年3月14日。感谢阅读4.6工工作量时分配计划总工作量：（61+140+174）*16/30=200人月精品文档放心下载注：包括系统设计和开发工作量系统开发工作量：144人月各部分计划工时计划工作量如下：子系统名称计划工作量备注需求调查与设计320人日16*20两会信息咨询服务系统448人日11*5+32*14+11*2谢谢阅读数据库系统40人日10*4中间数据库设计20人日10*2数据仓库设计20人日10*2ETL系统552人日69*8指标数据抽取子系统226人日69*4指标数据装载子系统226人日69*4系统管理258.75人69*3.75日ETL管理子系统86.25人日69*1.25感谢阅读数据仓库管理子系统172.5人日69*2.5数据展现2700人日135*8OLAP决策分析子系统540人日135*4数据挖掘子系统540人日135*4报表处理子系统540人日135*4图形展示子系统540人日135*4数据导出子系统540人日135*45小结数据仓库充分发挥系统作为社会“数据库、信息库、思想库、智囊库”的作用，精品文档放心下载直接向党政领导、社会各界提供“快、精、准的信息服务的需要出发，采用当感谢阅读感谢阅读省信息工程建设提供一个“决策数据管理与分析中心”的基本解决方案。感谢阅读数据仓库设计具有以下特点：1、适应行业的特点谢谢阅读感谢阅读谢谢阅读着重考虑以下方面：a、根据实际需求，主题指标数据在一定范围内可调整，专业事实数据存放在数谢谢阅读谢谢阅读步处理；b、多维数据结构设计；c、主题所含指标根据实际需求可以进行调整2、C/S与B/S相结合现有数据仓库系统主要以C/S谢谢阅读维护性、用户使用的简洁性、易用性及安全性、高效性等多方面考虑，采用C/S感谢阅读与B/S相结合方式。B/S的优点：A、解决浏览数据客户端安装、更新、维护的问题，方便面向全社会开放。谢谢阅读B、更符合用户的操作习惯。C、提高客户端安全性、避免误操作。C/S的优点：A、运行的高效性。B、成熟的系统模式、功能强大。C、能非常灵活的开发有针对性的系统。3、分散与集中相结合局现状：数据量大、数据分散存放、各处室数据彼此独立性强。谢谢阅读谢谢阅读4、数据抽取与加载分开现有ETL工具的数据抽取、加载过程同时进行，ETL工具完全集成。感谢阅读局特点：各处室数据独立性强、报告时间不统一、误操作的可能性较大。感谢阅读数据仓库ETL工具的设计将数据抽取、加载过程分开，解决局现有的问题。感谢阅读6参考文献1、省政府数据仓库需求分析报告2、《数据仓库技术与联机分析处理》王珊1998年6月精品文档放心下载3、《Oracle8数据仓库分析、构建实用指南》美MichaelJ.Corey，谢谢阅读MichaelAbbey，IanAbramson，BenTaub著陈越，郭渊博，张红旗等译2000年1谢谢阅读月第一版机械工业出版社4、《数据仓库技术简介》周永銮2001年7月（网络文献）感谢阅读5、经济50年6、省年鉴7、《“两会”系统整体设计报告》8、（数据挖掘讨论组）9、（美国俄亥俄州卫生部）10、（美国农业部）11、（加拿大网）7附录7.1Oracle性能评估报告提起数据库，第一个想到的公司，一般都会是Oracle。该公司成立于1977谢谢阅读Oracle在数据库领域一直处于领先地位。精品文档放心下载1984Oracle的下一个版本，感谢阅读版本5，率先推出了分布式数据库、客户/服务器结构等崭新的概念。Oracle的精品文档放心下载版本6首创行锁定模式以及对称多处理计算机的支持……最新的Oracle9i主要谢谢阅读OracleOracle感谢阅读数据库成为世界上使用最广泛的关系数据系统之一。Oracle数据库产品具有以下优良特性。（1）兼容性Oracle产品采用标准SQL，并经过美国国家标准技术所（NIST）测试。与感谢阅读IBMSQL/DS，DB2，INGRES，IDMS/R等兼容。精品文档放心下载（2）可移植性Oracle的产品可运行于很宽范围的硬件与操作系统平台上。可以安装在70种以上精品文档放心下载不同的大、中、小型机上；可在VMS、DOS、UNIX、Windows等多种操作系统下工作。精品文档放心下载（3）可联结性能与多种通讯网络相连，支持各种协议（TCP/IP、DECnet、LU6.2精品文档放心下载（4）高生产率提供了多种开发工具，能极大的方便用户进行进一步的开发。谢谢阅读（5）开放性OracleOracleRDBMS具有良好的精品文档放心下载开放性。一、各家数据仓库产品的评估厂商建立数据仓库OLAP服务器IBM优点：优点：◎提供大型数据库DB2作为数据◎提供多维型、关系型两种Cube的实谢谢阅读DB2性能优现方式。异，提供从桌面机到工作站、小◎能够在超大型数据仓库上提供同类感谢阅读型机、大型机的良好扩展性。产品中最佳的性能。◎提供VisualWarehousing作为感谢阅读数据抽取工具VW能够从广泛的的多币种业务实现跨国公司的业务分谢谢阅读数据源抽取数据，并且在大数据析。量的抽取中充分显示了速度优势。感谢阅读VW维和测量值的特殊运算。谢谢阅读程序的功能，能够按计划自动执◎能够在测量值上实现层次结构。精品文档放心下载Cube处理的◎能够实现维和测量值的不规则树。感谢阅读功能。◎VW提供Agent把数据抽取分供丰富的函数精品文档放心下载布到工作站、小型机、大型机等◎提供透明访问。各种平台。◎在所有同类产品中提供最强大的分缺点：区功能。◎VW6.1在实现数据抽取时，界◎提供功能强大的访问Cube的查询语精品文档放心下载面不够友好，在处理复杂的数据法QueryScript。谢谢阅读源时，与其它厂商提供的抽取工◎支持高性能的Unix感谢阅读具相比，将面临更多的工作量。大型机。但在VW的最新版本7.1中已得缺点：到良好的改善。◎提供的编程接口不如Microsoft的谢谢阅读易于使用。Oracle优点：优点：◎提供RDBMS和MDDB两种数据◎提供多维型、关系型、混合型3种精品文档放心下载存储结构，Cube存储方式。Oracle功能强大，提供了良好感谢阅读扩展性，提供了功能强大的系统感谢阅读管理界面。位图索引。◎提供◎提供功能强大的访问Cube的查询语谢谢阅读OracleWarehouseBuilder作为法Expressmand。谢谢阅读数据抽取工具，OWB提供功能包◎预制的OLAP应用感谢阅读(OracleFinancialAnalyzer，精品文档放心下载移动和装载；元数据管理；分析OracleFinancialController和谢谢阅读OracleSalesAnalyzer)感谢阅读具有开放可延伸的框架。间和费用。缺点：◎OWB不能把数据抽取扩充到展。◎Web代理及Web出版。精品文档放心下载Unix工作站、小型机、大型机。◎可以支持高性能的NT服务器，支持感谢阅读◎OWB提供的流程很繁琐，不易Unix工作站、小型机、大型机。精品文档放心下载于使用。缺点：◎不能在测量值上实现树状的多层结构。◎不提供透明访问。◎对系统配置要求较高。◎没有提供的VB编程接口。Microsoft优点：优点：◎提供数据库◎提供多维型、关系型、混合型3种感谢阅读MicrosoftSQLServer7.0作为数Cube存储方式。感谢阅读SQL7提供◎提供同类产品中最好的对象体系结精品文档放心下载了各种数据库产品中最友好、易构，并为访问OLAP提供了不同目的和精品文档放心下载用的系统管理界面。层次的对象库。◎提供DTS作为数据抽取工具，◎在同类产品中提供用于计算值的函谢谢阅读DTS不仅能够从广泛的数据源抽谢谢阅读取数据，而且提供市场上最有效有助于建立任何复杂的计算指标。感谢阅读的编程方式，以及工作流的任务◎在同类产品中独家提供用户可定制谢谢阅读处理方式；不仅提供调用外部程聚合函数的功能序的功能，而且提供强大、丰富◎在同类产品中独家提供一套系统的、感谢阅读的被外部程序调用的对象库；能专门的访问Cube的查询语法MDX。感谢阅读够按计划自动执行数据抽取。DTS◎提供多种处理复杂关系的维的方法，精品文档放心下载是最系统最易用、扩展性最好、用于描述现实世界维的层次之间的复感谢阅读编程效率最高的数据抽取工具。杂关系。缺点：◎能够实现维的不规则树。◎SQL7可以扩充到高性能的NT◎提供透明访问。谢谢阅读Unix工作站、◎提供虚拟Cube。精品文档放心下载小型机、大型机。缺点：◎在解决多币种问题上没有提供解决方案。◎可以支持高性能的NT服务器，不支持Unix工作站、小型机、大型机。Informix优点：优点：◎提供大型数据库Informix作◎能够在超大型数据仓库上提供同类精品文档放心下载为数据仓库的存储数据库，产品中较好的性能。谢谢阅读Informix提供从桌面机到工作谢谢阅读站小型机的扩展。并提供专为数维层次关系的功能。据仓库设计的数据库RedBrick。缺点：◎提供ArdentDataStage作为数◎在解决多币种问题上没有提供解决谢谢阅读据抽取的工具提供工作流的方式，方案。可以实现内部编程。◎不能实现虚拟Cube。缺点：◎ArdentDataStage对实现数据感谢阅读抽取功能所提供的处理方式过于现同期比较。简单，这将使用户面临过大的工◎不提供透明访问。作量，在保证程序的高效性和准感谢阅读确性方面提供的措施太少。次关系。◎难于安装和维护。CAPlatinum优点：优点：◎提供第三方的数据库如：感谢阅读MicrosoftSQL用函数较多。Server、Informix、Oracle、◎提供透明访问。谢谢阅读Sybase、DB2等作为数据仓库的缺点：存储数据库。◎提供Inforbump作为数据抽取的3～5倍。谢谢阅读工具，抽取速度较快。精品文档放心下载缺点：◎提供的数据抽取工具谢谢阅读Inforbump是非工作流的工作方极大量的程序。精品文档放心下载式，这将使用户面临过大的工作◎难于安装和维护。量，在保证程序的高效性和准确谢谢阅读性方面提供的措施太少。虽然性精品文档放心下载能较好，但价格昂贵，是同类产是平面结构的接口函数。谢谢阅读品中性价比较低的产品。◎在解决多币种问题上没有提供解决精品文档放心下载方案。◎不能实现虚拟Cube。次关系。二、应用服务器评测2001年11月，权威评测机构ForresterResearch公布了应用服务器最精品文档放心下载Forrester与测试伙伴Doculabs公司对市场中众谢谢阅读多主流应用服务器产品进行了详细测试，在公布的技术测试结果中，感谢阅读Oracle9iOracle9iAS3.6分最高谢谢阅读10项评测中获得7J2EE兼容测试中获得唯一满精品文档放心下载分——5分。此排名是Forrester和Doculabs对市场中12款应用服务器进行了客精品文档放心下载Oracle9i谢谢阅读良好的客户支持与厂商的信誉而在所有的评测产品中获得最高得分。精品文档放心下载Forrester的技术评测报告中对Oracle9i应用服务器的评价为“优良的性能，谢谢阅读完善的用户管理，强大的开发工具，同时报告中还强调，Oracle9i应用服谢谢阅读务器内置了强大的门户（Portal精品文档放心下载独购买，分别安装。事实上，在几周前公布的Forrester对企业信息门户感谢阅读（EneterpriseInformationPortalOracle9iAS也获得第一精品文档放心下载的排名。ForresterResearch的技术报告是经过长期深入了解与详细的评测之后谢谢阅读Doculabs公司的工程师进行被评测应用服务器的安装测试，精品文档放心下载Forrester还进行了大约600个有关功能精品文档放心下载感谢阅读Oracle应用服务器最佳性能、最完善功能以及Oracle承诺最完整与集成的精品文档放心下载应用服务器的佐证。10项评测中的7项第一包括：Java兼容性——Oracle9i应用服务器是精品文档放心下载所有评测厂商中唯一获得Java标准兼容测试满分的产品；可靠性谢谢阅读——Oracle9i感谢阅读——Oracle9i应用服务器强大的安全特性保证谢谢阅读应用和数据的安全，以及众多加密特性，如SSL、3DES，另外，全面支持目感谢阅读录服务、通过JDBC、ODBC、OLE-DB支持多个数据库厂商也受到广大用户的感谢阅读——Oracle9i应用服务器提供完善的支持通用组件技术的驱动谢谢阅读库，如MicrosoftCOM+、SunJ2EE等，使开发人员很方便地对数据与网络进精品文档放心下载——Forrester对Oracle9i应用服务器分析性能和使用率的感谢阅读——Forrester同时也高度评价Oracle9i应用服务器支谢谢阅读持多种客户端的应用开发，包括HTML、Java、wireless、Unix、精品文档放心下载MicrosoftWindows和CORBA；发展动力——Forrester指出：“厂商的巨大感谢阅读客户群及庞大伙伴关系使该产品具有坚实的发展基础。”Oracle的稳定成感谢阅读谢谢阅读——Oracle9i应用服务器具有全面的客户支持资感谢阅读Web24×7、多国语言支持以及完善的培训为客精品文档放心下载户提供了优质的服务。Forrester认为优秀的应用服务器应当在J2EE方面表现出众，Oracle精品文档放心下载Oracle9i应用服务器是Oracle新一代Internet精品文档放心下载portalWeb感谢阅读高速缓存（WebCachebusinessintelligence精品文档放心下载Web谢谢阅读利用最低限度的硬件配置获取最大限度的性能。Doculabs公司的首席分析师DavidHoman“Oracle9iAS在设计时完感谢阅读全为最佳性能的发挥而考虑，其轻量级的J2EE引擎以及所包含的强大的缓感谢阅读存功能使得Oracle9iAS在应用服务器市场中成为强有力的竞争者。”感谢阅读三、Oracle在系统中的实际应用目前，Oracle感谢阅读数据的存储计算已经由Oracle数据库实现。比较不同生产厂商数据仓库软件的优缺，Oracle9i是同类产品中性价比较高感谢阅读精品文档放心下载领导的反复分析论证，在省数据仓库项目中，采用Oracle9i作为系统支撑感谢阅读软件。7.2主流WEB服务器比较ApacheLinuxSoloris等多种系统平台之上。Apache精品文档放心下载在网络市场是无可争议的领头羊。几乎在