数据中心系统规划设计参考标准

1、数据中心系统规划设计参考标准市场监管数据中心及管理决策系统工程应用系统开发项目投标方案 项目编号：0702-0941CITC2902- PAGE I-目 录 TOC o 1-3 h z u HYPERLINK l _Toc56975658 第1章 项目概述 PAGEREF _Toc56975658 h 4 HYPERLINK l _Toc56975659 1.1. 项目建设目标 PAGEREF _Toc56975659 h 4 HYPERLINK l _Toc56975660 1.1.1. 总体目标 PAGEREF _Toc56975660 h 4 HYPERLINK l _Toc569756

2、61 1.1.2. 本项目建设目标 PAGEREF _Toc56975661 h 5 HYPERLINK l _Toc56975662 1.2. 项目建设内容 PAGEREF _Toc56975662 h 5 HYPERLINK l _Toc56975663 第2章 数据中心设计 PAGEREF _Toc56975663 h 7 HYPERLINK l _Toc56975664 2.1. 设计原则 PAGEREF _Toc56975664 h 7 HYPERLINK l _Toc56975665 2.2. 设计策略 PAGEREF _Toc56975665 h 9 HYPERLINK l _T

3、oc56975666 2.3. 数据库设计方法论 PAGEREF _Toc56975666 h 12 HYPERLINK l _Toc56975667 2.4. 数据库总体架构 PAGEREF _Toc56975667 h 15 HYPERLINK l _Toc56975668 2.5. 数据仓库设计 PAGEREF _Toc56975668 h 18 HYPERLINK l _Toc56975669 2.5.1. 设计思路 PAGEREF _Toc56975669 h 18 HYPERLINK l _Toc56975670 2.5.2. 原始业务数据整合域 PAGEREF _Toc56975

4、670 h 21 HYPERLINK l _Toc56975671 2.5.3. 主题数据域 PAGEREF _Toc56975671 h 35 HYPERLINK l _Toc56975672 2.5.4. 统一业务视图综合数据模型设计 PAGEREF _Toc56975672 h 80 HYPERLINK l _Toc56975673 2.5.5. 共享主题数据库对外交换共享设计 PAGEREF _Toc56975673 h 83 HYPERLINK l _Toc56975674 第3章 系统接口设计 PAGEREF _Toc56975674 h 85 HYPERLINK l _Toc56

5、975675 3.1. 设计原则 PAGEREF _Toc56975675 h 86 HYPERLINK l _Toc56975676 3.2. 总体设计 PAGEREF _Toc56975676 h 88 HYPERLINK l _Toc56975677 3.3. 接口详细设计 PAGEREF _Toc56975677 h 92 HYPERLINK l _Toc56975678 3.3.1. 内部接口 PAGEREF _Toc56975678 h 92 HYPERLINK l _Toc56975679 3.3.2. 外部接口 PAGEREF _Toc56975679 h 94 HYPERLI

6、NK l _Toc56975680 3.3.3. 服务接口 PAGEREF _Toc56975680 h 99 HYPERLINK l _Toc56975681 第4章 系统安全设计 PAGEREF _Toc56975681 h 101 HYPERLINK l _Toc56975682 4.1. 设计原则 PAGEREF _Toc56975682 h 101 HYPERLINK l _Toc56975683 4.2. 系统安全总体设计 PAGEREF _Toc56975683 h 102 HYPERLINK l _Toc56975684 4.3. 系统安全建设分工界面 PAGEREF _Toc

7、56975684 h 104 HYPERLINK l _Toc56975685 4.4. 数据安全设计 PAGEREF _Toc56975685 h 105 HYPERLINK l _Toc56975686 4.4.1. 数据安全总体策略 PAGEREF _Toc56975686 h 105 HYPERLINK l _Toc56975687 4.4.2. 数据存储安全设计 PAGEREF _Toc56975687 h 105 HYPERLINK l _Toc56975688 4.4.3. 数据访问安全设计 PAGEREF _Toc56975688 h 107 HYPERLINK l _Toc5

8、6975689 4.4.4. 数据传输安全设计 PAGEREF _Toc56975689 h 108 HYPERLINK l _Toc56975690 4.5. 应用安全设计 PAGEREF _Toc56975690 h 109 HYPERLINK l _Toc56975691 4.5.1. 应用安全总体策略 PAGEREF _Toc56975691 h 109 HYPERLINK l _Toc56975692 4.5.2. 支持电子证书技术手段实现登录安全 PAGEREF _Toc56975692 h 114 HYPERLINK l _Toc56975693 4.5.3. 数据库中关键数据的

9、加密 PAGEREF _Toc56975693 h 115 HYPERLINK l _Toc56975694 4.5.4. 重要数据的传输加密 PAGEREF _Toc56975694 h 115 HYPERLINK l _Toc56975695 4.5.5. 防止恶意攻击和数据泄密 PAGEREF _Toc56975695 h 116 HYPERLINK l _Toc56975696 4.5.6. 控制文件访问权限防恶意下载 PAGEREF _Toc56975696 h 116 HYPERLINK l _Toc56975697 4.6. 其他安全设计 PAGEREF _Toc56975697

10、 h 117 HYPERLINK l _Toc56975698 4.6.1. 物理安全设计 PAGEREF _Toc56975698 h 117 HYPERLINK l _Toc56975699 4.6.2. 主机安全设计 PAGEREF _Toc56975699 h 118 HYPERLINK l _Toc56975700 4.6.3. 网络安全设计 PAGEREF _Toc56975700 h 122 HYPERLINK l _Toc56975701 4.6.4. 安全管理设计 PAGEREF _Toc56975701 h 126 HYPERLINK l _Toc56975702 第5章

11、系统性能设计 PAGEREF _Toc56975702 h 129 HYPERLINK l _Toc56975703 5.1. 性能承诺 PAGEREF _Toc56975703 h 130 HYPERLINK l _Toc56975704 5.2. 设计原则 PAGEREF _Toc56975704 h 130 HYPERLINK l _Toc56975705 5.3. 总体设计 PAGEREF _Toc56975705 h 130 HYPERLINK l _Toc56975706 5.4. 性能优化过程管理 PAGEREF _Toc56975706 h 132 HYPERLINK l _T

12、oc56975707 5.5. 系统性能优化方案 PAGEREF _Toc56975707 h 135 HYPERLINK l _Toc56975708 5.5.1. 应用系统架构性能优化 PAGEREF _Toc56975708 h 135 HYPERLINK l _Toc56975709 5.5.2. 数据库性能优化 PAGEREF _Toc56975709 h 139 HYPERLINK l _Toc56975710 5.5.3. 应用服务器性能优化 PAGEREF _Toc56975710 h 145 HYPERLINK l _Toc56975711 5.5.4. 操作系统性能优化 P

13、AGEREF _Toc56975711 h 149 HYPERLINK l _Toc56975712 5.5.5. 主机性能优化 PAGEREF _Toc56975712 h 153 HYPERLINK l _Toc56975713 5.6. 系统存储能力设计 PAGEREF _Toc56975713 h 155 HYPERLINK l _Toc56975714 5.7. 网络带宽设计 PAGEREF _Toc56975714 h 156 HYPERLINK l _Toc56975715 第6章 应用系统集成设计 PAGEREF _Toc56975715 h 157 HYPERLINK l _

14、Toc56975716 6.1. 应用系统间的集成设计方案 PAGEREF _Toc56975716 h 157 HYPERLINK l _Toc56975717 6.2. 设计原则 PAGEREF _Toc56975717 h 158 HYPERLINK l _Toc56975718 6.3. 集成工作内容及思路 PAGEREF _Toc56975718 h 159 HYPERLINK l _Toc56975719 6.4. 基于应用支撑平台的集成架构 PAGEREF _Toc56975719 h 160 HYPERLINK l _Toc56975720 6.5. 集成总体设计 PAGERE

15、F _Toc56975720 h 161 HYPERLINK l _Toc56975721 6.6. 集成分类设计 PAGEREF _Toc56975721 h 163 HYPERLINK l _Toc56975722 6.6.1. 界面集成设计 PAGEREF _Toc56975722 h 163 HYPERLINK l _Toc56975723 6.6.2. 应用集成设计 PAGEREF _Toc56975723 h 169 HYPERLINK l _Toc56975724 6.6.3. 数据集成设计 PAGEREF _Toc56975724 h 178 HYPERLINK l _Toc5

16、6975725 6.7. 应用系统集成分工界面 PAGEREF _Toc56975725 h 184 HYPERLINK l _Toc56975726 6.8. 集成关键点分析 PAGEREF _Toc56975726 h 186 HYPERLINK l _Toc56975727 6.9. 阶段提交物 PAGEREF _Toc56975727 h 187项目概述项目建设目标总体目标贯彻大部制改革思路，理顺 HYPERLINK /view/9165.htm t _blank 市场监管体制。为了解决 HYPERLINK /view/676902.htm t _blank 工商行政管理、 HYPER

17、LINK /view/8035.htm t _blank 质量技术监督部门职能交叉、职责不清的问题，同时为加强商标、版权和专利以及食品安全等执法监督，充分发挥整合优势，有力保护知识产权，强化 HYPERLINK /view/2417206.htm t _blank 食品安全监管责任，本次机构改革将 HYPERLINK /view/309808.htm t _blank 工商行政管理局、 HYPERLINK /view/289997.htm t _blank 质量技术监督局、知识职责，以及卫生局餐饮环节的食品安全监管职责整合划入市场监督管理局。机构改革后，市场监督管理局成为继公安局之后的第二大部

18、门，其监管职责涵盖了原工商行政管理、质量技术监督、知识产权（商标、专利、版权）、物价、餐饮监管（其他地区属于食品药品监督管理局或者卫生局的职能）、酒类产品监管等部门职责。配合大部制改革，促进管理电子化、信息化，启动“数字”工程，金信工程也是“数字”的基础工程，是“质量”成功实施的一个重要环节。作为市场监管局成立以来第一个重大信息化项目的金信工程的实施，有助于进一步巩固改革成果、破解职能履行的困境，对全面提升市场监管局信息化水平具有重要意义。按照国家工商总局“金信工程”、质检总局“金质工程”以及知识产权局信息建设规划及信息化建设十一五、十二五规划的有关要求，在制定信息化总体规划的基础上，根据机构

19、改革后市场监管局市场监管和服务经济社会发展的两大职能战略，通过重构与整合相结合的方式，构建覆盖市场监管主要业务的一体化信息系统的电子政务工程。根据市场监管工作的需要，围绕市场监管和服务经济社会发展两大职能，以“五个统一”为指导思想，建设一个中心、两个平台、三个体系和六类应用。1）一个中心建设：一个中心是指数据中心，为政府决策提供可靠的数据支持和为应用系统提供数据支持。依据信息资源整体规划的要求，将分散在多个数据库的数据资源重新整合，建立面向市场主体、人员、业务等多个主题的数据库，将产生的业务数据和市场主体信息有效地组织起来；建立数据共享交换平台，分别实现与上级市场监管部门的数据交换和与本市其它

20、部门的数据交换。2）两个平台建设：两个平台是指应用支撑平台和基础设施平台。应用支撑层采用统筹考虑、全面规划、遵循标准和基于构件的思路进行建设，服务于市场监管局所有业务领域的应用系统。基础设施平台主要包括网络、主机和存储平台；结合市场监管局机房环境、主机、存储和备份设备现状，遵循利旧原则，改造和完善机房环境、重新规划和完善主机、存储和备份系统结构，搭建一个安全可靠性、先进成熟、可扩展性、遵循统一标准的主机、存储和备份系统。3）三个体系建设：三个体系是指标准体系、安全体系和运维体系。标准体系是依据相关国家标准、国际标准和行业标准的发展状况，运用标准化原理制定市场监管局信息化标准；安全体系建设是把整

21、个市场监管局信息系统按不同的安全保护要求分成不同的安全保护区域。运维体系建设通过组织运行维护人员按照运行维护制度，采用各种技术支持手段和工具，遵循运行维护流程完成场监管系统的运行维护工作。4）应用系统建设：业务类应用包括登记许可、市场监管、执法办案、公共服务、政务管理等子系统；数据中心及管理决策应用主要是建设统一的信息资源存储、管理中心，建设统一的信息资源共享、交换中心及数据分析利用中心。本项目建设目标本项目建设目标是：（1）建设市场监管局数据中心系统，实现数据资源统一规划管理，集中共享交换，数据资源深化利用；（2）建设场监管局金信工程主题数据库，开发决策支持系统；（3）建设全局统一的集成平台

22、和业务工作门户，建立统一的技术架构支撑，实现各个业务条线之间、各个应用系统间的业务协同和系统联动；（4）完成场监管局金信工程应用系统集成工作，开展应用系统总体设计、制定相关集成标准、开展应用集成实施服务，确保工程总体目标的实现。项目建设内容根据本项目建设的任务描述，本项目的具体建设内容如下：（1）数据中心系统实现数据采集整合、数据治理、数据共享交换、数据应用服务、数据运行维护等子系统；设计符合场监督管理局现状，可满足场监督管理局业务扩展要求，高数据质量的、优异的数据中心数据库和数据仓库。（2）管理决策支持系统实现从数据到信息再到知识的阶梯性转换过程，形成市场监管局统一视图、数据仓库，从而为局内

23、的数据分析、决策管理和数据资源管理提供支持和保障。（3）应用支撑平台基于市场监管局已购、将购和承建商提供的相关软件产品，建设应用集成平台，作为相关应用系统集成的基础；建设业务工作门户和系统管理平台，实现应用系统的界面集成和统一管理；建设应用支撑平台，作为统一的技术架构支撑和技术规范要求，服务于金信工程各个应用系统建设，实现技术架构和平台工具的统一管理并指导应用系统建设；（4）应用系统集成完成金信工程新建应用系统和现有应用系统的总体现状调研与需求分析，制定应用系统集成实施方案和标准规范，负责应用集成平台（ESB总线、内网门户）的安装调试和推广应用，组织和协调各本项目承建商在开发、测试、试运行、推

24、广应用等各阶段工作保质保量、按期完成应用系统集成，对系统之间通过集成平台进行的接口服务调用进行指导、监控和管理，以及应用系统集成培训、售后服务与技术支持等内容。数据中心设计数据中心应用系统开发项目数据架构设计依据数据中心数据中心信息资源规划框架，进行应用系统业务数据库与数据中心数据库的设计（EDW数据平台）。对于新建应用系统，根据信息资源规划框架设计应用系统业务数据库；遵从数据中心数据库设计方案设计数据中心数据库，在设计阶段与配合共同进行数据中心数据库的规划工作，创建数据库库表结构并加载数据；在项目建设阶段与配合，在的指导下对数据中心数据库设计方案进行细化与扩充，与共同完成方案的设计工作，并在

25、应用集成成的指导和配合下完成数据中心数据库的建设工作。市场监管局数据中心业务涉及登记许可、市场监管、执法办案、公共服务、政务管理等系统业务，根据本项目的建设目标建设业务子系统，并对原有业务系统数据库进行数据整合与集成，在数据层面分为两个部分：应用系统业务数据库、数据中心数据库；应用系统业务数据库为支撑各数据中心业务系统业务办理的数据库，存储原始业务明细数据，是数据中心数据库分析主题的数据来源；以EDW（操作性数据存储）核心理念为指导构建数据中心数据库（EDW数据平台），业务系统将原始业务明细数据推送入数据中心数据库中，在这个过程中对原始业务信息进行抽取，整合，转换及加载，供数据中心数据库进行数

26、据的加工与汇总，数据中心数据库对原始业务数据进行轻度汇总，形成分析主题，通过对数据中心业务的理解与分析，构建适合数据中心的业务规则模型，为应用系统提供数据中心规则数据服务；数据中心数据库汇集市场主体数据以及知识信息，使市场监管局能够对企业信息进行分析与汇总统计，实现对中企业业的监管，并为市场监管提供了依据。设计原则数据中心应用系统开发项目数据库设计将遵照数据中心数据中心信息资源规划，并按照数据中心数据库设计方案的总体框架，进行数据库的设计与开发。数据库设计主要遵循如下原则：1.完整性原则本项数据库设计遵循完整性原则，防止合法用户使用数据库时向数据库加入不合语义的数据。对输入到数据库中的数据进行

27、审核，并建立约束机制；在系统建设过程中，依据标准先行的原则，先建立数据元，然后根据数据元约束条件在程序中进行完整性检验。通过建立一致的完整性原则，保证数据的正确性和相容性。2.安全性原则本项目数据库设计依据安全性原则，将充分考虑到数据安全性，实现不同权限的用户看到的数据是存在差异的，通过制定对数据库的各类操作的标准，建立具有统一的管理和控制功能，如，即使是系统管理员也无法知道用户的口令，因此无法以用户的身份进行登录。达到保护数据，防止非法用户使用数据库或合法用户非法使用数据库造成数据泄露、更改或破坏。3.经济与实用性原则数据库设计以追求实用性为原则，切合市场监管局网络建设的实际情况，充分考虑系

28、统的实用性，在保证系统能够安全、可靠运行的前提下，做到与现有的业务系统的最大限度的兼容，并且充分利用资源，最大限度地降低系统造价，保护计算机设备及应用系统的投资。系统具有较高的性能价格比，不盲目追求不实用的技术，以经济实用为主。同时，在设计和策划过程中作到统一规划，避免不必要的投资。充分考虑到系统的可扩充性，避免重复投资。4.先进性原则系统设计将采用先进的、成熟的且可持续发展的技术方法，并充分体现先进的管理思想和理念。保证系统联机查询响应时间在秒级以内。5.统一管理原则由于整个系统是一个较为复杂的系统，依据统一管理原则，提供的系统具有简单、直观、方便的维护和管理手段，尽量减少维护和管理环节，使

29、系统具有良好的可管理性和可维护性，制定对数据库的各类操作的标准，具有统一的管理和控制功能。6.开放、扩展性原则使用广泛、先进、成熟的标准和协议，并使整体具有良好的开放性，以便以后能方便、简单地进行维护和升级。遵循国际标准，支持多种网络协议，提供开放的数据接口，实现系统间互连。支持各种硬件平台、不同操作系统和数据库管理系统。7.高可用性原则数据库设计依据高可用性原则，任何一个运行应用的主机发生故障时，该应用系统能够在保证数据不丢失的情况下自动切换到其他主机上运行，即做到集群功能，保证应用及数据中心的高可用性，8.满足行业要求将符合市场监管局已经制订的相关方针和政策的原则、符合市场监管局的业务模式

30、和管理模式的原则、符合经济实用并适度超前的原则、符合信息集成和信息共享的原则。设计策略采用关系数据模型进行设计，设计阶段消除实体关系模型中的命名冲突、属性冲突和结构冲突； 关系模式规范化，数据表结构设计合理，通过对关系模式的分解，消除冗余属性和冗余联系，达到3NF或BCNF；数据库的设计范式是数据库设计所需要满足的规范，满足这些规范的数据库简洁、结构明晰，同时，不会发生插入（insert）、删除（delete）和更新（update）操作异常。反之则是杂乱无章的，不仅给数据库的编程人员制造麻烦，而且难于维护，可能存储了大量不需要的冗余信息。对存储效率和处理效率有特殊要求的部分关系模式，可适当增加

31、部分冗余，以避免过分分解使数据库系统性能变坏；应通过下列措施实现数据完整性：1通过主键定义确保数据库表中每一行是唯一的，实现实体完整性；2通过主外键关系的定义实现引用完整性；3通过属性值的约束保证字段值合法有效，实现域完整性；4通过约束、限制、缺省、规则、存储过程等保证数据库的完整性。5对于经常访问的数据库表应建立索引，以提高访问效率；6常用业务查询尽量避免跨库检索；7数据结构应具有适应性和可扩展性，系统验收移交后应避免修改数据库结构。在进行数据库设计时，需要对数据库索引进行规划与设计，使用索引可快速访问数据库表中的特定信息。索引是对数据库表中一列或多列的值进行排序的一种结构。在进行数据查询时

32、索引会帮助您更快地获得该信息，提高系统性能。所以数据库索引的设计至关重要，需要遵循如下原则：1.在尽量少的占用资源的同时，采用索引来提高系统性能数据库管理员若要采用索引来提高系统的性能，需要考虑占用系统资源的大小。数据库管理员要考虑的就是如何在这两个之间取得一个均衡，找到一个回报与投入的临界点。2. 对于查询中很少涉及的列或者重复值比较多的列，不建立索引在查询的时候，如果无需对某个字段去查询，则不在这个字段上建立索引。因为，即使在这个字段上建立索引，也不能够提高查询的速度。相反，增加了系统维护时间和占用了系统空间。另外，有些字段重复值比较多。如性别字段主要就是“男”、“女”;职位字段中也是有限

33、的几个内容。此时，在这些字段上添加索引也不会显著的增加查询速度，减少用户响应时间。相反，因为需要占用空间，反而会降低数据库的整体性能。3. 对于按范围查询的列，建立索引在信息化管理系统中，很多时候需要按范围来查询。对于这些需要在指定范围内快速或者频繁查询的数据列，需要为其建立索引。因为索引已经排序，其保存的时候指定的范围是连续的，查询可以利用索引的排序，加快查询时间，减少用户等待时间。4. 表中若有主键或者外键，一定要为其建立索引定义有主键的索引列，一定要为其建立索引。主键可以加速定位到表中的某一行。结合索引的作用，可以使得查询的速度加倍。另外，若要使得某个字段的值唯一，可以通过两种索引方式实

34、现。一种就是上面所提到的的主键索引。还有一种就是唯一索引，利用UNIQUE关键字指定字段内容的唯一性。这两种方式都会在表中的指定列上自动创建唯一索引。若某张表中的数据列定义有外键，则最好也要为这个字段建立索引。外键的主要作用就在于表与表之间的连接查询。若在外键上建立索引，可以加速表与表之间的连接查询。5.对于一些特殊的数据类型，不建立索引数据库表中的特殊字段。如文本字段(TXT)、图像类型字段(IMAGE)等。如果表中的字段属于这些数据类型，则不为其建立索引。数据库设计方法论市场监管局一期应用系统开发项目中数据纷繁复杂，需要对数据中心业务进行合理、科学的数据架构设计，本次项目中数据中心业务涉及

35、到登记许可、市场监管、执法办案、政务管理、公共服务块，36个业务条线，通过对业务处理过程中各类数据资源进行分析，并采用我公司先进的数据架构方法，将数据架构分为：数据建模、数据存储、数据交换、数据访问四个方面，并且提供对全过程数据的数据管理体系。数据架构方法论一数据建模层数据模型主要包括数据中心业务中整体数据模型、概念数据模型、逻辑数据模型、物理数据模型以及数据分析、挖掘和数据装载接口规范等。针对数据中心应用系统开发项目中涉及到的数据可从结构化数据与非结构化数据两方面分析。针对结构化数据首先对数据中心所有结构化数据进行分类，从数据中心业务实际出发，同时结合本次项目建设的内容，将数据中心机构化数据

36、分为：基础数据、事物型数据、监管数据、统计分析型数据四类，在对数据分类的基础上设计市场监管局整体数据模型，从不同的视点出发，对数据中心数据的需求和数据之间关系进行抽象，同时结合数据中心业务，形成数据中心整体数据模型。针对市场监管局业务处理过程中涉及到的非结构化数据，采用将分散的数据和信息，进行整理和加工，将非结构化数据分类，形成目录管理，最终达到数据共享的目标。二数据使用数据的使用主要关注根据数据中心业务的需求与招标文件中的功能需求，合理、科学的规划数据，建立监管模型，并通过数据封装与数据交换，将数据提供各应用系统进行日常业务办理与日常统计分析。数据中心应用系统开发项目中涉及的数据主要分为两个

37、层面，一个层面是36个业务条线进行日常业务办理所需的业务数据，36个业务条线在业务办理过程中都有支撑各自应用的业务数据库，日常业务办理的数据存储在业务数据库中；另一个层面是支撑业务系统进行日常统计分析应用的数据，这些数据来源于对业务数据库的抽取与转换加工，数据中心日常统计分析类应用包括对数据的查询分析、多维分析、统计报表、预警监测等应用。三数据存储数据中心业务系统开发项目数据库部分包括业务数据库、数据整合库、数据仓库数据库，此三种数据库满足数据中心应用系统开发项目的需求，同时能够更好的与数据中心对接并进行数据交换。业务数据库主要承担数据中心36个业务条线的日常业务办理业务流程类数据的存储工作，

38、包括：审核、审批、上报、数据收集、更新等与业务密切相关的应用数据，业务数据库承载的数据也是数据中心其他数据的基础来源。数据整合库与数据仓库数据库主要采用EDW的设计理念，按基础主题集成了跨系统的当前和近期明细操作数据。为各系统提供一个实时或准实时的一致的数据共享平台和同步机制，支持业务办理日常操作（特别是跨系统的复杂业务流程）以及近期的分析和统计。EDW和各个交易系统之间都可能存在单向或双向的实时/准实时数据同步，和数据仓库之间也可能存在单向或双向的数据流动。四数据交换针对数据中心应用系统开发项目，数据交换基于两个层面，第一层面是业务系统中，各业务数据库中的数据在业务系统间进行数据交换，实现信

39、息共享。第二层面是将业务数据库中的基础业务数据进行整合、汇总形成面向主题的数据，集中存储到数据中心数据库，并以接口方式向各业务系统提供数据服务，支撑日常统计分析类应用。五数据管理在任何信息系统中，数据是不断变化的，因此数据必需得到有效地管理，能够及时地反映整体信息系统环境的变化。数据管理包括技术手段和管控手段，针对数据中心应用系统开发项目，我们要从数据采集、基础数据整合、数据交换等方面为数据中心数据提供全过程管控的技术手段和管控手段。从技术上重视数据采集后对数据准确性、实时性、合理性等一系列的技术校验，同时重视元数据管理，通过元数据技术保障信息系统特别是数据应用各个环节的设计、构建和运行质量。

40、管控方面应该建立专门的组织和统一的流程、标准，保障数据的准确性、完整性和一致性。数据库总体架构数据中心应用系统开发项目数据库遵照数据中心数据库设计方案总体框架，与配合共同规划数据中心数据库。本项目数据中心应用系统数据库是面向市场监管局所有应用系统和信息发布系统进行数据处理和存储的基础载体，基于数据中心的总体框架，构建综合数据服务体系，是市场监管局局内各处室之间以及与其它政府机关之间进行数据交换和共享的基础平台，为各类业务的开展提供完整、统一和准确的数据支持。数据库设计总体架构图如下图所示：根据数据中心业务需求，应用系统建设涵盖登记许可、市场监管、执法办案、公共服务、政务管理等系统业务涉及36个

41、业务条线，数据库总体架构遵照信息资源规划与数据中心的总体框架，按照数据中心数据库设计方案进行设计，基于数据综合服务体系构建以数据中心数据库为核心的EDW数据平台，遵循应用集成所指定的数据采集与交换体系，实现新旧系统间的信息共享与交换，支撑数据中心日常统计分析业务。实现对基础数据的统一管理，利用数据中心基础数据库为数据中心数据库提供数据服务管理。一应用系统业务数据库业务数据库主要为业务系统进行日常业务处理操作提供基础业务数据支撑，通过采集系统接收并存储由区级市场监管局、其他政府机构上报的业务数据，业务数据库包括：市场监管局产品质量监督管理信息系统、信用分类监管系统、网格监管系统、认证监管系统、维

42、修行业监管系统、市场食品准入监管系统、食品安全日常监管系统、食品安全抽样检验系统、大运会食品安全保障系统、流通环节食品安全追溯系统、舆情分析系统、数字工商电子地图监管系统、商品交易市场信用分类监管系统、广告监测系统、特种设备电子监管信息系统、特种设备安全监察系统、特种设备检验业务管理系统、电梯部件型式试验管理系统、检测校验管理系统、商标预警及服务系统、咨询举报申诉平台、案件管理系统、财产管理软件、财政综合业务系统（资产管理系统）、依申请公开预警系统、办公自动化系统、廉政风险防控系统、行政审批电子监察系统、绩效评估与管理系统、人事培训系统、人事信息管理系统、用户管理系统、统计报表系统、IT运维管

43、理系统、法律法规查询系统的业务数据库；以及本次项目需要新建的登记许可系统、市场监管系统、执法办案系统、政务管理系统、公共服务系统五个系统的业务数据库。二数据中心数据库（EDW数据平台）应用系统业务数据库中的原始业务明细数据根据数据中心业务需要，将数据中心数据库所需的业务明细数据推送入数据中心数据库中，根据数据中心数据交换体系，结合数据交换平台总体框架，构建信息服务总线（ISB），ISB根据数据中心数据库数据的需要将业务数据库推送的数据进行抽取、加工与转换，统一数据口径，为数据中心数据库提供数据基础。数据中心数据库包括原始业务数据整合域、主题数据域两部分1原始业务数据整合域原始业务数据整合域主要

44、针对数据中心业务数据库，将数据中心业务明细数据进行抽取与转换加工。基础数据整合层首先将业务数据库按照数据中心数据库需求推送的业务明细数据进行抽取，存放数据中心业务系统产生的业务明细数据，包括：登记许可、市场监管、执法办案、政务管理、公共服务的业务处理过程数据，主要是源系统的增量数据，数据结构贴近源系统的结构，并且数据存储上只作暂时性保存；其次对抽取的明细业务数据进行转换、加工，对数据进行标准化处理，主要有公共代码标准化、数据类型标准化和数据格式标准化，消除各个源系统在信息表达上的差异，为后续的数据整合和应用整合提供标准化基础。例如对企业代码与名称的统一标准等； 原始业务数据整合流程为：第一步对

45、数据的整合将原始业务明细数据抽取入数据中心数据库；第二步通过进行数据标准化对业务系统抽取过来的明细业务数据进行数据口径的统一与整合；第三步将加工过程中的脏数据进行清理，最后将加工后的原始业务明细数据加载入整合数据库中。2主题数据域主题数据域将原始业务数据进行主题划分，对业务明细数据进行汇总，形成各分析主题，支撑数据中心日常统计分析应用。在进行主题划分之前对数据中心业务进行理解与分析，分析数据中心业务逻辑与支撑数据，进行业务建模，按各业务类型分为主题数据库，服务于数据中心五大业务链的数据多维分析、数据统计、数据挖掘等应用，数据中心数据库包括：市场主体信息主题库、商标主题库、广告主题库、食品主题库

46、、知识产权主题库、年检主题库、信用主题库、投诉主题库、案管主题库、其他业务数据库。主题数据域包括主题数据库、基础数据库、监管规则库三个部分。（1）基础数据库基础数据库提供数据中心数据库中所需的指标与代码，主要包括指标库与代码库，在数据中心应用系统开发项目中，基础数据库设计符合数据中心的总体框架，遵照数据中心信息资源规划设计，基于数据中心指标体系与代码体系，进行指标库与代码库的建设，是对数据中心指标、代码的细化与扩充，这里的基础数据库中的指标库和代码库作为数据中心基础数据库的子集，为数据中心基础数据库的一部分，服务于数据中心数据库并为数据中心基础数据库进行细化与扩充。（2）共享交换主题库数据中心

47、数据中心数据库数据封装是为市场监管局各业务系统提供数据传输接口，将监管数据传送给业务系统日常统计分析应用。市场监管局业务系统在业务办理时业务办理数据存储在各业务数据库中，通过数据抽取进入数据中心数据中心数据库，并对业务明细数据进行加工、汇总等，将加工汇总后形成数据中心统计分析业务需要的监管数据通过数据封装接口实现业务系统与数据中心数据库的数据交换，同时也通过接口为数据中心数据中心提供业务分析类数据，为数据中心决策系统提供数据支撑。（3）主题数据库按主题对各业务系统的关键基础数据进行整合、归类、汇总，再进行存储，数据来源于基础数据整合库，为数据中心日常统计分析类应用提供汇总分析数据。主题数据库存

48、储多个应用相同的汇总数据或者多个应用汇总计算的结果。有重复汇总的数据可以纳入该区域进行汇总，形成应用共享的汇总结果。主题数据库针对应用的需求，将应用需求进行统一分析，提炼出相同的指标，根据这些指标建立汇总中间表，为数据中心业务系统日常分析类应用提供便利，根据数据中心业务需求，对主题数据库进行主题划分，共分为主题数据库，分别为：市场主体信息主题库、商标主题库、广告主题库、食品主题库、知识产权主题库、年检主题库、信用主题库、投诉主题库、案管主题库、其他业务数据库。根据数据中心分析业务需要，并依托监管规则库中的数据中心模型，从各主题域中产生监管数据，如：统计分析数据、预警数据、多维查询数据、报表数据

49、等，服务于业务系统的分析类应用。数据接口层：数据接口层将监管数据进行封装，并通过多种方式将监管数据提供给数据中心各业务系统，主要方式包括：数据视图、应用接口、数据文件等。通过将准备好的数据存放在数据接口层，以便让数据交换平台交换出去。数据仓库设计设计思路数据中心数据中心数据库依照数据中心数据库设计方案，按照统一的信息资源规划框架进行设计与开发。根据数据中心应用系统开发项目的建设内容与要求，数据中心数据库实现对本次项目数据的转换、加工、存储，并支撑对数据的分析及再利用。数据中心应用系统开发项目实现数据整合，根据数据中心信息资源规划，基于综合数据服务体系，构建统一、跨系统、跨业务领域的综合数据支撑

50、平台。从而为各业务系统及系统应用间的数据共享提供准确的数据支撑，满足跨系统或业务领域的数据应用需求，为综合查询和统计分析类需求提供全面的、准确的、精细的、规范的数据支撑服务。数据中心数据库架构图数据中心数据中心数据库以EDW为设计理念，数据中心业务子系统将业务明细数据推送到数据中心数据库的接口，数据中心数据库通过数据抽取与转换将获取数据中心数据库所需的业务明细数据，并进行基础数据的整合，统一数据口径；对原始业务明细数据按主题进行汇总，形成汇总数据为数据中心应用系统日常分析类应用提供数据支撑，并通过统一业务视图实现跨主题的、高效的、快速性、高性能的、全面的、统一的、规范的、精准的综合数据服务；在

51、此基础上通过数据ESB进行发布，从而为各数据中心业务应用调用；EDW数据平台可分为原始业务数据整合域、主题数据域、数据服务三部分。1原始业务数据整合域原始数据整合域主要存储抽取与转换后的原始业务明细数据，并且在原始数据整合域中的数据都是进行转换后统一口径的业务明细数据，为主题数据域进行按主题汇总数据提供基础。应用系统业务数据库将原始业务明细数据推送至数据中心数据库，通过对数据中心业务的理解与分析，对推送过来的数据按照数据中心数据库的需要进行抽取、转换、加工。实现原始业务数据的整合，统一数据的指标、代码，为数据汇总提供数据基础。业务数据经过信息服务总线的抽取与转换进入数据中心数据库，对原始业务数

52、据进行加工，统一数据口径、统一业务标准、统一技术标准，对数据进行汇总与整合形成EDW数据平台，为数据中心应用系统日常统计分析类应用提供数据支撑。通过对数据中心业务的理解，结合本次项目的需求，进行数据中心业务建模，根据业务建模后产生的需求对信息资源指标与代码的梳理与整合，为原始业务数据整合与汇总提供标准，原始业务信息整合组成EDW数据平台的数据加工层。2主题数据域主题数据库将原始业务数据进行加工与汇总，形成基于主题的分析汇总数据，根据数据中心业务需求，对公共数据进行汇总，并将数据划分主题，为数据中心日常统计分析应用提供数据分析模型与分析数据。主题数据域主要提供按主题划分的汇总数据，按照数据中心业

53、务的理解与分析，将数据中心业务划分为主题，并对原始业务数据进行汇总，与此同时，将数据中心业务进行拆分，形成监管规则模型，为数据中心日常分析类应用提供监管规则数据服务。根据数据中心业务需求形成监管规则模型为应用系统提供监管规则数据服务。通过对数据中心业务的分析与理解，将数据中心业务拆分，梳理业务中涉及的指标，设计数据中心规则，形成数据中心规则模型，监管模型为数据中心业务片段，通过建立监管模型之间的联系形成数据中心业务，具有可定制、复用性高的特性，监管规则模型为监管规则数据服务提供依据。3数据服务通过统一业务视图实现跨主题的分析服务，并通过数据封装交换服务提供给数据中心业务系统。针对数据中心应用系

54、统日常统计分析应用的需要，建立统一业务视图，提供跨主题的分析服务；同时，通过监管规则模型形成的监管规则数据服务，为系统用户提供监管数据。所有监管数据通过数据封装服务提供给各业务系统，支撑查询、统计、分析应用。原始业务数据整合域数据中心数据中心数据库为市场监管局5大业务链提供日常分析类业务数据支撑，实现对日常业务的基础数据进行统计、多维分析及应用展现等功能，所以在本次项目中对数据中心数据库的设计引入EDW的设计理念，进行建模、主题设计，为业务系统日常分析类应用提供面向主题的、集成的、当前或接近当前的、不断变化的数据，能够更好的提高工作效率，提高系统性能，充分满足数据中心日常分析应用的需求，同时能

55、够更好的为数据中心决策支持类应用提供数据支撑。针对市场监管局数据中心数据库引入EDW的设计理念，在数据中心数据库的设计中加入整合数据库，为市场监管局数据中心数据库提供基础数据，该数据库的设计主要包含业务系统整合数据、规则及监管模型体系、指标体系与代码体系。整合数据库中的业务系统整合数据主要来源于数据中心业务数据库，根据数据中心日常分析类应用的需求，对业务数据建模，针对各个业务模型的需要从业务数据库中抽取业务明细数据，并根据指标、代码体系的标准对数据进行加工转换，统一标准，为数据中心数据库提供主题分析的数据基础。数据中心应用系统开发项目涵盖数据中心五大类核心业务，包括36个业务条线，已经建设的有

56、产品质量监督管理信息系统、信用分类监管系统、网格监管系统、认证监管系统、维修行业监管系统、市场食品准入监管系统、食品安全日常监管系统、食品安全抽样检验系统、大运会食品安全保障系统、流通环节食品安全追溯系统、舆情分析系统、数字工商电子地图监管系统、商品交易市场信用分类监管系统、广告监测系统、特种设备电子监管信息系统、特种设备安全监察系统、特种设备检验业务管理系统、电梯部件型式试验管理系统、检测校验管理系统、商标预警及服务系统、咨询举报申诉平台、案件管理系统、财产管理软件、财政综合业务系统（资产管理系统）、依申请公开预警系统、办公自动化系统、廉政风险防控系统、行政审批电子监察系统、绩效评估与管理系

57、统、人事培训系统、人事信息管理系统、用户管理系统、统计报表系统、IT运维管理系统、法律法规查询系统等35个业务系统；将要新建的5个业务系统包括登记许可系统、市场监管管理系统、执法办案管理系统、公共服务管理系统、政务管理系统。数据的获取与整合是推送、转换、加工或抽取的过程，是在确定好数据模型并对数据资源进行分析后，按照分析结果，从应用系统中抽取出与主题相关的原始业务数据，转换为与数据中心数据库一致的格式，并装载到数据中心数据库中的过程。在数据中心业务系统中，同一业务数据可能保存在不同应用系统中，而且不同系统对相同业务数据保存形式可能不同，甚至不同系统中的相同业务数据可能存在冲突；但在生成数据中心

58、日常统计分析应用所需要的信息时，又要求所有业务数据都是准确、无歧义、一致的。因此，需要将分散在各个应用系统中的，保存为不同格式的，有冲突的业务数据，按照确定规则进行转换，最终形成一致的、准确的、无歧义的、无冗余的业务数据，存放到数据中心数据库中，以供日常统计分析类应用使用。数据的获取与整合主要分为数据抽取、数据转换、数据装载三个步骤。数据的获取与整合过程是一个持续进行，不断改进的过程。在业务数据模型建立完毕，第一次装载数据时，只能将应用系统中的历史数据装载到数据中心数据库中。由于应用系统在使用过程中，随着时间推进，会不断产生新的应用业务数据，而这些新产生的业务数据都需要装载到数据中心数据库中，

59、与历史数据结合起来向使用人员提供更准确的、更及时的统计分析信息，因此，需要持续定时的将应用系统中新产生的业务数据装载到数据中心数据库中。为了减轻工作人员负担，通常将抽取分为许多小的执行步骤，根据不同条件执行不同抽取操作，然后制定好各步骤执行先后顺序，最后根据实际业务需要制定作业调度，定时完成数据的获取与装载。抽取的好坏，直接影响到数据中心数据库中的数据质量。在进行抽取时，既要尽可能多的将原始数据装载到数据中心数据库中，又要根据原始数据质量情况，进行必要的数据清洗，将不符合要求的数据经过清洗装载在数据中心数据库。数据整合库设计及实例原始业务数据整合域的数据整合库是存放数据中心各业务子系统的原始业

60、务数据，各业务子系统将业务明细数据推送到数据中心数据库接口，数据中心数据库根据需求进行数据的抽取，抽取获得结构基本未发生变化的、增量的数据，针对原始的业务数据，按照提供数据标准，对原始业务数据进行统一口径，对数据进行加工转换，在数据整合库中原始数据将与统一口径后的数据并存，具有可回溯性。整合数据库是数据中心数据库的数据基础，存储着数据中心业务系统的业务明细数据，为数据的汇总，并按主题分析提供原始业务数据。设计原则1一致性一个模型实体的数据内容可能来自多个数据源表，建议采取的方法是将模型实体的定义以某一个数据源表为基础，将其他数据源表的数据字段或统计字段集中到这个基础表中，同时舍弃没有统计意义和