大数据融合共享平台技术方案

大数据融合共享平台

技术方案

目录

第一章建设目标.......................................3

1.1总体规划......................................3

1.2建设目标......................................3

第二章总体设计.......................................5

2.1大数据中心系统架构设计........................5

2.2数据流向设计..................................7

2.3标准规范设计..................................8

第三章详细设计......................................12

3.1数据共享交换平台设计.........................12

3.2信息资源目录设计.............................21

3.3数据管理平台.................................30

3.4数据应用平台设计.............................49

3.5接口设计.....................................58

第四章安全方案设计..................................69

4.1计算机网络安全设计...........................69

4.2防火墙.......................................70

4.3病毒防护系统.................................70

4.4对业务与数据灾难备份恢复的设计...............71

4.5信息安全与保密管理...........................73

第一章建设目标

1.1总体规划

在统一标准框架下，面向智慧城市建设的信息资源共享和开

发需求，依据国家智慧城市建设相关标准，采用云计算、大数据

等信息化技术手段，统筹整合法人、地理信息、宏观经济、人口

数据资源，构建统一的基础数据资源体系、标准规范体系、安全

体系、四大基础库、公共专题库、公共业务库及四大公共平台，

建立政务信息的共享和交换机制，面向其他委办部门、对外提供

多层次、可扩展、安全可靠的共享服务接口，有效支持各类应用

系统的开发和运行，实现对信息资源的深度利用，实现不同部门

异构系统间的资源共享和业务协同，有效避免城市重复投资、重

复建设、资源浪费等问题。

1.2建设目标

城市大数据中心（一期）建设目标为四个平台、三个基础信

息库，分别为数据共享交换平台、信息资源目录管理平台、数据

管理平台、数据应用平台和基础信息库（法人库、宏观经济库、

地理信息库）。其中基础信息库为本期项目建设的重点内容；数

据共享交换平台、数据管理平台为大数据中心的数据生产平台，

负责获取、整合数据，为基础信息库提供技术支撑和管理能力，

3

并对上层应用系统提供数据服务；数据应用平台为大数据中心的

应用平台，结合法人库、宏观经济库、地理信息库、公共专题库、

公共业务库提供基于GIS、报表的数据展示和在线数据查询等功

能。

1、数据共享交换平台

负责各委办局数据的采集，通过交换平台将共建部门的业务

数据汇总到数据中心。同时提供跨部门的数据共享与交换。

2、数据管理平台

通过ETL工具将数据从ODS库整合到委办局业务库，提供

数据的处理、元数据管理、数据申请授权、错误数据反馈、数据

运行监控、数据服务等功能。

3、信息资源目录管理平台

信息资源目录管理平台主要实现了做为法人库、宏观经济库、

地理信息库三大基础库及其它智慧应用数据源的委办局信息资

源的管理。

4、数据应用平台

数据应用平台针对不同的用户提供灵活的信息查询、分主题

的统计分析、领导驾驶舱、等丰富的数据应用服务，并支持主题

应用的扩展功能。

5、基础信息库

基础信息库建设包括法人库、宏观经济库、地理基础信息库。

4

主要功能有：综合采集、梳理、交换、整合、建立法人基础信息

库、宏观经济库，以及地理基础信息库的整合重构方案设计。

第二章总体设计

2.1大数据中心系统架构设计

总体框架自下至上包括基础设施层、数据支撑层、数据资源

层、服务支撑层、资源展示层以及用户层6层。

户政府委办部门企业；I公众

层

资源展示与应用

资

源典型应用

展O

示公众/企业网上

领导决策完善

服务一体化

城市实体空间网格化社会服

可视化务管理

服

安

务

全

层

标

体

准

系

规

和

范

安

体

全

数

系

管

据

理

资

源

数据共享交换平台

计算机网络（政务网/互联网/VPN专网）

云平台

虚拟软件存储设备负载均衡操作系统

图3-1系统总体架构图

基础设施层：实现了面向全区各政府部门提供计算服务、网

络服务、安全服务、存储服务、信息资源服务、以及运行环境、

5

共性支撑、通用组件等支撑软件服务。可支撑政务部门业务应用、

政务领域应用、领导决策应用及其他应用，数据共享交换平台的

建设依托区已有的政务云进行统一建设部署。

数据支撑层：围绕政务信息资源建设的总体规划，实现不同

来源数据的交换，整合加工，并按照不同应用模式设置整合基础

库、专题库等多种数据库体系，并且实现海量信息资源的一体化

整合、管理与监控，对外提供不同层面的数据服务支撑。本期主

要建设法人、地理、宏观经济3大基础数据库。

服务层：以数据服务总线为核心，为围绕数据资源的注册管

理、服务安全管理以及服务运行监控等需求，建设配套的支撑系

统和服务功能，提供多种形式的服务接口，实现平台服务管理与

监控需要。通过服务二次开发接口，实现平台数据、功能和服务

能力的对外提供。

应用层（资源展示层及用户层）：搭建统一资源展示门户系

统针对管理员、政务用户和公众用户的不同应用需求，提供基于

平台各支撑系统的原子服务，并聚合成相应的功能接口集，以支

撑构建于平台基础上的各类应用。同时基于平台可搭建多类典型

应用。

安全保障及标准规范体系：提供统一的身份认证及权限管理

功能。遵循信息系统建设相关的国家标准和行业标准，保障平台

的安全稳定运行和统一规划实施。本项目依托已有安全保障体系

6

建设。

2.2数据流向设计

大数据中心数据流向如下图所示:

数据来源数据交换大数据中心数据服务应用系统

原始数据

数

据数据应

数

数

共ODS用平台

据

据

享

服

服

交

务

务

换

接

总

办

委

平

口

线

务

业

台

充

U询

错误数据反馈

图3-2大数据中心数据流向图

主要原则有如下几条：

1、所有来源系统的数据均通过数据共享交换平台集成到数

据中心ODS库；

2、数据中心里的数据分两类，即大数据库数据和ODS库数

据。其中，大数据库数据：数据经过清洗转换后的数据，包括,

三大基础库（法人库、宏观经济库、地理信息库），公共业务库，

公共专题库。这两类数据的主要区别在于以下几方面；

数据质量标准不同：ODS库中的数据，直接集成原始信息系

统，数据完整性、一致性较差；大数据库中存储的数据，是数据

整合清洗后（保证完整性、一致性、及时性）的数据；

7

数据服务方式不同：ODS库中的数据，数据中心提供有认证

的入库查询服务；大数据库中的数据，由大数据管理平台开发数

据服务API（DataAPI）,再经数据服务总线提供数据服务。

数据中心是HadoopHDFS承载的传统关系型数据库（Oracle,

DB2,etc）和非关系型数据库（Hive,HBase,etc）实现。传统

关系型数据主要用于结构化数据存储，非关系型数据库主要用户

非结构化数据以及平展数据存储。这两类数据库承担数据处理任

务的区别主要是：基于Hadoop大数据平台的数据库（简称:大数

据库），相对于传统数据库不承担ODS库数据存储处理。

ODS库、法人库、宏观经济库、地理信息库，除实时库建设

外，均进行历史库的建设，用于政府数据仓库的建设和数据历史

的追溯。

2.3标准规范设计

通过全方位的标准规范体系建设，将城市信息资源加工、整

合、交换共享、应用和管理各个环节业务有机地连接起来，为信

息资源的共享服务提供技术准则和指导。

＞设计原则

本项目中对涉及的各类标准的选取和制定应遵循以下原则：

1、按照“国家标准（或国际标准）一行业标准（或部颁标准）

一地方标准一内部规范”的次序进行选取。优先采用国家标准（或

8

国际标准），没有国家标准，则采用相关的行业标准（或部颁标

准），依次类推依此类推。

2、在技术标准的选取过程中，优先选择成熟的主流业界标准

和通用化、平台无关的技术规范，尽量不使用私有技术和非主流

标准。

3、当出现没有任何标准规范可供采用或相关成文标准均不适

用的情况，建设方要辅助各管理机构进行相关技术和业务规范的

制定，尽可能为数据共享交换平台提供最全面的技术和管理支持。

＞内容设计

系统标准体系是在引用现有国家、行业标准的相关标准的基

础上，结合实际情况，制定相应的技术规范体系，主要包括以下

几方面的内容：

1、标准规范体系建设：建设平台统一的标准规范体系，明确

标准体系建设的指导思想、主要流程以及标准内容等。

2、数据类标准建设：基于国家及智慧城市有关标准，结合平

台建设实际需求和业务特点，通过规范、完整的信息资源描述逻

辑，形成城市信息资源的元数据、数据元、资源目录、数据交换

等标准，支持全面描述各类信息资源的信息。

3、管理类标准建设：为了保证系统建设过程中的规范化管理，

需要制定项目管理标准规范体系，包括软件工程管理规范、平台

运维管理规范、验收与监理制度、软件开发标准、系统测试和评

9

估等标准规范。

引用参考国际标准规范引用参考行业标准

引用参考国家标准引用参考地方标准

图3-3标准规范体系建设

＞数据类标准规范

基于国家及智慧城市有关标准，结合平台建设实际需求和业

务特点，通过规范、完整的信息资源描述逻辑，形成城市信息资

源的元数据、数据元、资源目录、数据交换等标准规范，支持全

面描述各类信息资源的信息。主要用于数据整合、数据接入、交

换和发布等功能，便于数据的采集整合、更新维护以及数据管理,

便于数据质量的控制。

元数据标准规范：

在遵循国家标准和行业标准的基础上，根据本地数据实际情

况，形成本地的元数据标准。本系统的元数据规范和标准主要包

括业务元数据、技术元数据和管理元数据三类。

资源目录与分类代码标准规范：

资源目录与分类代码标准主要用于描述平台数据资源与服务

资源的逻辑组织与分类展示，其由若干个子标准构成。

数据共享交换标准规范：

数据整合是平台建设的基础，涉及到多种数据的整合手段，

10

其中数据交换通过服务总线实现应用对接等都需要定义一套通

用的数据交换标准，基于此标准实现各个系统间数据的共享和交

换，并支持未来更多系统与平台的对接。

其它数据标准规范：

数据字典标准：该标准规定了信息资源数据库及其内部各类

数据的数据字典编写的内容、格式、方法及其技术要求。

数据交换格式标准：该标准规定了数据资源交换的格式要求。

信息资源库数据表结构规范：该标准规定了信息资源库的数

据库表结构。

数据维护与更新规范：该标准规定了数据维护、更新、管理

流程以及技术要求。

数据质量规范：该标准规范了信息资源数据的质量要求和质

量标准。

数据组织及数据库命名规则：该标准规定了信息资源库的数

据组织以及数据库命名规则。

属性数据结构：该标准规定了信息资源库的属性数据结构。

＞管理类标准规范

为保证平台建设过程中的规范化管理，需要制定项目管理标

准规范体系，包括软件工程管理规范、平台运维管理规范、验收

与监理制度、软件开发标准、系统测试和评估等标准规范和各种

管理办法。

11

第三章详细设计

3.1数据共享交换平台设计

平台主要实现政府信息化及其大数据应用建设的需求，满足

一个中心、四个库的实施及其应用，满足政府采集、交换各部门

数据，以及政府数据平台自定义公开等政府数据相关业务的需求;

3.1.1模块结构与功能关系设计

功能业务描述:共享交换平台分为五个模块

数据传输模块

共享交换的主要模块，2-4模块为其提供支持，实现应用单位

前置交换信息库之间的信息处理和稳定可靠、不间断的信息传递

和数据同步。

JOB管理模块

实现对【数据传输模块】交换过程的流程配置、部署、执行

和整个信息交换系统运行进行监控、管理，包括交换流程管理、

交换监控和管理。

抽取组件模块

根据【数据传输模块】配置整合及订阅流程过程中，针对各

个流程、字段选择不同的组件处理方式，将需要处理和转换的字

段根据指定格式进行动态转换。

12

上游配置模块

为【数据传输模块】提供数据采集数据源。

数据服务模块

服务模块的主要产出物。使用方通过订阅模式订阅关注的资

源，当资源同步到交换中心后，再通过中心将资源发送到资源的

订阅者。

模块关系如下图所示：

上游配置

数据源配置数据元标准存储适配

源配置目标配置对标工具前置适配中心适配

抽取组件数据传输JOB管理

抽取/交换策略配置传输安全适阻;数据同步前置节点管理JOB管理

去重组年组咋组全量组周期交手动交加密/打包/前置机数

件件换组件换组件解密解包据同步JOB监控

元数据记录中心数据监听

数据服务

交换数据订阅

数据共享交换平台功能结构图

3.1.2运行设计

＞运行模块的组合

【统计局】需求【农业局】、【粮食局】数据。

13

＞运行描述

业务数据的获取由适配器与业务系统共同完成，由资源拥有

方的系统管理员完成所需的配置。系统中各种数据采集适配器针

对需要采集的数据进行实时采集、监听

(1)统计局根据需求确定自己所需数据。

(2)通过资源配置模块建立统计局和农业局资源库信息。

(3)交换节点的网络与中心网络并非全时段互联互动，只有

固定时段才能连通网络，此时适配器仍然正常工作，并采集各个

应用单位共享数据的增量数据保存至前置交换库中，并实时将增

量数据采集并提交至交换系统参与交换流程。

(4)交换过程中非需求数据根据清洗接口组件去除，并实时

监听去除数据条数。

(5)配置完成交换规则后进行JOB化操作。

14

(6)提供消息确认和消息选择性重发机制以实现前置交换子

系统之间可靠的信息传递功能，实现交换信息内容的“不丢、不

错、不重”进行数据传送。

3.1.3出错处理设计

＞出错输出信息

错误类型说明：

DC_M100INP页面表单验证

DC_M!OOCON后台连接错误

DC_M1000P业务校验错误

出错输出信息表

序号错误标题输出信息错误类型

1主机名称输主机IP地址输入错DC_MI01INP

入错误误

2端口名输入端口格式输入错误DC_MI02INP

错误

3用户名输入用户名格式错误DC_MI03INP

错误

4密码输入错密码格式错误DC_MI04INP

误

5增量范围设增量区间设置超出DC_MI05INP

置异常范围。

6测试数据库数据库连接出错，请DC_MI01CON

15

连接错误联系系统管理员

7网络连接不网络无法连接，请联DC_MI02CON

通系系统管理员

8建立数据转由于XXX原因，建立DC_MI01OP

换流程失败数据转换流程失败。

9删除数据转由于XXX原因，删除DC_MI02OP

换流程失败数据转换流程失败。

10修改数据转由于XXX原因，修改DC_MI03OP

换流程失败数据转换流程失败。

11定时任务执XXX定时任务执行异DC_MI04OP

行异常常。

12去重组件执XXXJOB执行清洗组DC_MI05OP

行异常件异常。

13新建JOB错JOB创建失败。DC_MI06OP

误。

14删除JOB错JOB删除失败。DC_MI07OP

误。

15执行JOB错JOB运行失败。DC_MI08OP

误。

＞出错处理对策

出错处理对策表

序号错误标题处理对策

16

1主机名称输入错误主机名称输入框变成红色警示状

态，光标定位在相应的数据项录入

处。

2端口名输入错误主机名称输入框变成红色警示状

态，光标定位在相应的数据项录入

处。

3用户名输入错误主机名称输入框变成红色警示状

态，光标定位在相应的数据项录入

处。

4密码输入错误主机名称输入框变成红色警示状

态，光标定位在相应的数据项录入

处。

5测试数据库连接尝试多次连接数据库。

6网络连接不通提示客户检查网路连接设备。

7建立数据转换流程失根据情况不同返回当前页或提示

败用户解决方案。

8删除数据转换流程失不做处理。

败

9修改数据转换流程失根据情况不同返回当前页或提示

败用户解决方案。

10增量范围设置异常生成参考格式数据。

11定时任务执行异常尝试重新启动。

17

12去重组件执行异常回滚之前数据，重新执行。

13新建JOB错误。返回当前页面、不做处理。

14删除JOB错误。返回当前页面、不做处理。

15执行JOB错误。返回当前页面、不做处理。

3.1.4功能模块设计

序号功能模块子模块功能描述

数据交换系统的作用在于以一种新

的体系架构实现公共信息的统一交

1

换，通过交换实现数据共享交换平

台数据的同步和共享

前置子系统作为整个交换系统的交

前置子模换端，负责与业务系统适配，支持

1.1

块应用单位业务信息库与交换中心之

间的信息双向交换

传输子系统是一个黑盒的数据传输

系统，负责实现信息的安全、可靠、

传输子模

1.2稳定、高效的信息交换，实现信息

块

的打包、转换、传递、路由、解包

等功能

数据交换服务

1.3中心处理中心处理子系统是数据共享交换平

18

子模块台的中心数据处理模块，负责交换

数据的处理、交换数据的整合、数

据共享交换平台中心文件服务、数

据转换以及组件处理等工作

数据采集采用ETL策略，蜂巢系统

进行实施；数据采集模块采用集群

2

(C/S)方式实现，主服务器要对每

数据采集实现

一个节点进行管理

调度与监控，分为中心调度监控和

节点调度监控；中心控制整个网络

3

系统；节点仅仅控制自身的采集任

调度与监控

务与调度

大文件传输平台用于实现委办局到

基础数据库之间的文件传输，平台

生主要用于工作文件、视音频文件、

图片等多种文件，并提供传输管理

文件传输

功能

采集任务如果失败，可以重启操作

5任务失败处理

根据需求通过页面可视化配置清洗

6清洗模块配置

规则，完成规整化处理

19

对采集过程中无效空数据、重复数

7清洗自动效验

据自动过滤

对数据源和目标数据两段的数据规

范进行核对，例如（字段名称，字

8

段类型，字段长度等）保证两端的

结果数据对标

一致性

对清洗过程跟踪。根据各个清洗规

9：则组件，实现可插拔的页面可视化

元数据记录

配置

前端数据库、中心数据库、节点数

10据库可以按照各种关系型数据库存

数据库适配存储

储

实现前置机目录结构和其他节点同

11前置目录同步

步

可视化页面监控前置节点的活动状

12态，对各节点的启、停、故障等进

前置节点管理

行监控

页面可以使用编辑、运行、停止、

数据交换任务控

13等，对定制完备的采集策略进行控

制

制

对于不同的网络结构，采取与业务

14

网路结构与解决系统松耦合的数据采集策略；可以

20

方案在节点与数据中心之间以通信服务

器（前置机）的方式进行解决

数据中心接受FTP方式的数据上传，

FTP方式定义多

15但是所有以FTP方式上传的数据结

格式数据

构必须在数据字典中已经定义确认

通过页面以目录树为级别导出该目

16交换数据订阅录下的数据和数据结构。文件格式

可以是文档、PDF、Json等形式

数据存储采用关系型数据库实现；

17应用层以关系数据库实现数据仓库

数据存储平台

的星型数据结构

逻辑模型是每一个数据结构展现的

基本数据模块，逻辑模型主要定义

1ft

基于数据展现的多个数据结构之间

逻辑模型

的关系

数据交换，双方通过平台达成共识

19的权限后，互相开放特定的数据浏

数据交换

览、下载使用权限

3.2信息资源目录设计

目录管理与服务系统包括信息资源目录子系统和信息资源编

21

目管理子系统。目录子系统的建设，以目录方式实现资源共享，

是公共信息平台实现信息资源共享的有效手段，使用目录体系可

以以更灵活的方式实现更多应用单位、更多资源的接入与共享。

编目管理子系统作为公共服务平台信息资源目录体系的载体,

采用一种非落地的信息共享模式，是对交换共享模式的补充。在

目录式共享中，各应用单位对各自共享的资源有完整的控制权，

可有效地解决交换模式中各应用单位因担心违反相关规定而不

愿意批量提供数据的问题。

3.2.1模块结构与功能关系设计

功能业务描述：系统包括五个模块，分别是目录编制、目

录管理、目录审核、系统管理和目录订阅。五个模块之间存

在一定的依赖和调用关系，可参考下面的设计图。目录编制

模块依赖系统管理模块提供的资源标识符、资源分类和元数

据管理的相关功能，目录编制完成之后进入目录管理模块，

在目录管理模块进行相关的状态操作，如发布，撤回，升级

和下架等，同时依赖目录审核模块提供的审核功能，通过审

核的目录才能发布和进行后续操作。被发布的目录可以被目

录订阅模块获取，在此模块被订阅，实现对编目资源的访问。

目录订阅也依赖目录审核模块，表现为两点：1.在目录订阅模

块申请的订阅，需要在目录审核模块进行审核，通过审核的

订阅的才能生效，向下执行；2.当前用户不具备访问某个目录

22

的权限时，可以通过申请特殊权限，获取一定时间区间中订

阅权限，申请特殊权限需要在目录审核模块中进行审核，通

过审核的特殊权限申请才能生效，向下执行，最终实现订阅。

3.2.2运行设计

＞运行模块的组合

(1)目录编制

(2)目录订阅

23

＞运行流程

系统的核心功能为目录编制和目录订阅，目录编制指目录资

源拥有单位(作为资源持有者)为本单位指定资源进行编目，并

发布至系统的过程；目录订阅指应用单位(作为资源访问者)通

过本系统获取已经发布的资源的过程。

(1)目录资源拥有单位有资源发布需求，进入目录编制模块,

完成该目录的核心信息、资源信息和授权信息的填写，提交该目

录；单位主管在目录审核模块对该目录进行审核；通过审核的目

录在目录管理模块被发布后，即可被其它授权应用单位订阅。

(2)应用单位有访问系统中非本单位资源的需求，进入目录订

阅模块，填写订阅信息，申请订阅；该资源责任人在目录审核模

块对本次订阅进行审批；通过审核的订阅，向其它系统发出订阅

信息，实现对订阅资源的访问。如果应用单位不具备访问该资源

的权限，则需要先在目录订阅模块申请特殊权限；该资源责任人

在目录审核模块对本次权限申请进行审批；通过审核的申请，将

24

让该用户获取订阅权限。

3.2.3出错处理设计

＞出错输出信息

错误类型说明：

RC_M100INP页面表单验证

RC_M100CON后台连接错误

RC_M1000P业务校验错误

出错输出信息表

序号错误标题输出信息错误类型

RC_MIOOINP

1用户名或密码错用户名或密码错误

误

RC_MIOOINP

2数据不在设定范****的********

围内之间

RC_MIOOINP

3数据未输入****必须输入

RC_MIOOOP

4重复订阅您已订阅该资源

RC_MIOOCON

5网络不通网络无法连接，请联系系

统管理员

RC_MIOOOP

6未选取请选择***

RC_MIOOOP

7选取多项请选择一项***

＞出错处理对策

出错处理对策表

25

序号错误标题处理对策

1数据不在设定范围内流程停在录入界面，光标定位在相

应的数据项录入处

2数据未输入流程停在录入界面，光标定位在相

应的数据项录入处

3重复订阅流程停在录入界面，光标定位在相

应的数据项录入处

4网络不通

5未选取流程停在录入界面，光标定位在相

应的数据项录入处

6选取多项流程停在录入界面，光标定位在相

应的数据项录入处

3.2.4功能模块设计

序

功能描述

号功能模块

包括资源标识符结构管理、资源标识符应用

资源标识符

1单位配置、应用单位标识符中心配置、核心

管理

元数据定义等功能。

编目子系统的核心元数据定义提供对核心

2元数据定义

元数据的定义管理，包括核心元数据查询、

26

添加、编辑和删除功能，同时提供核心元数

据详细信息查看的功能。

目录发布主要提供在编目中心已注册的目

录的发布功能（支持批量），在发布时可指定

允许访问资源或目录的应用单位列表，以及

3目录发布

资源访问权限要求，通过发布目录，可以将

前置目录发布到全市统一的门户中供各级

应用单位进行检索、查看和申请。

针对无效的目录或需要进行下线的目录信

息，系统提供目录撤消的功能，该功能可对

4目录撤消

已发布的目录进行撤消和下线，目录撤消后

可重新进入发布流程。

提供目录驱动交换功能，资源使用方通过目

录方式获取资源信息后，通过平台提供的申

请流程向平台管理者与资源拥有方进行申

请，得到管理者与资源拥有方同意后，由平

交换互动（订

5台自动开始按配置的规则进行信息资源的

阅）

交换与共享。目录系统提供数据交换驱动

入口，调用对交换系统提供的相关接口，实

现与交换系统的互联互通，并能对交换系统

业务数据及各类服务提供资源编目功能。

6查询统计查询统计功能提供服务状态的统计，如目录

27

评价、访问量统计等信息，目录评价主要提

供各应用单位对已发布目录的评价信息查

询功能，访问量统计能够根据各应用单位对

该目录的浏览数量进行统计。过程信息查询

提供目录在编目中心的过程信息记录。

在发布时可指定允许访问资源或目录的应

用单位列表及资源访问权限要求，只有被

允许的单位或个人才能访问特定的资源。当

特殊权限申出现特殊原因或业务需要，某些单位和个人

7

请希望在某个时间段内访问原先不能访问的

资源时，可使用特殊权限审批功能，通过流

程化管理，可在指定的时间段内暂时开放资

源及目录的访问权限。

目录编制包含结构化编目和非结构化编目，

两种编目均可在前置环境中进行。结构化数

据编目，编目系统提供对异构数据库等结构

化数据进行手工或自动编目，支持主流关系

8目录编制型数据库，包括Oracle、DB2、MSSQL、

MYSQL等异构数据库。除了可以对数据

库等结构化数据进行编目外，也可以对非结

构化的数据进行编目，如文件、图片、视频

等进行编目，通过文件交换系统实现文件的

28

共享服务。

提供前置编目信息的查询服务，支持快速查

询和自定义查询，可以通过资源标示符、资

源名称、关键字、分类方式、编目日期等多

9目录查询

种条件进行查询，并支持查询结果的目录详

细信息查看，从而让用户快速定位信息资源

位置。

提供前置编目信息提交至平台中心的服务，

编目信息经过提交后，在编目中心等待审核

10目录提交人员进行审批，并最终发布。提供编目信息

批量发布功能，并能够查询已提交的编目信

息。

编目信息审核主要提供给编目前置管理员

使用，编目信息经审核后方能向编目中心提

11目录审核

交，在编目信息审核后可以进行该条编目信

息的查看。

目录管理提供编目信息的修改和删除功能，

前置编目人员可以对编目的信息进行修改，

包括编目信息的核心元数据项、核心表数据

12目录管理

项、字段数据项等内容。修改完毕后，可以

对编目重新进行提交、审核和注册。同时，

前置编目人员也可以通过编目信息删除的

29

方式删除多余的编目信息。

目录状态同步主要提供平台门户与后台数

据的手动同步功能，系统提供自动同步检测

目录状态同

13的功能，能够自动检测目录状态不一致的状

步

况，然后通过对相应的编目数据进行手工同

步，可实现目录状态的同步更新。

3.3数据管理平台

平台主要实现政府信息化及大数据应用建设的需求，满足一

个中心、四个库的实施及其应用，满足政府采集、交换各部门数

据，以及政府数据平台公开等政府数据相关业务的需求；

3.3.1模块结构与功能关系

系统用户层面：相关管理员可以对系统用户及用户行为安全

进行相关管理与配置。具体体现为，系统管理-管理员可以对平

台注册机构用户权限及可访问信息作管理；安全管理-配置平台

用户会话及身份，保证接入数据的安全访问；

数据交换层面：相关管理人员可以对数据标准，数据交换共

享过程中任意环节的管理与配置。具体体现为，标准管理-管理

数据接入过程中各种数据标准及元数据信息；数据管理-查看和

管理数据同步信息及数据整合模型；前置机管理-管理前置机相

关信息；质检管理-校验数据标准及其可用性配置；交换监控-整

30

体把控整个交换过程，提供数据回溯，统计分析。

系统维护层面：运维人员可以对系统的运行进行告警配置及

维护。体现为运行监控-对系统运行中的一些基本信息的了解及

统计分析，便于运维人员的巡检；系统维护-维护系统相关基础

信息及系统表创建等。

如图所示：

系系统管理安全管理

统组织机构管理统一身份认证

用用户管理单点登录

户权限管理密钥管理

层字典表管理数据备份、还原

目录权限管理数据安全保密授权管理

数标准管理

数

据数据管理

代码管理前置机管理

据

管质检管理交换监控

数据元管理概要信息

交

理

数据字典管理元数据信息数据来源元数据管理

换

平

核心模型管理同步信息数据变迁元数据管理切换数据标准数据回溯

层

台

领域瑛型管理记录浏览信息资源元数据管理质量管理交换过程监控

库体结构管理整合模型系统运行元数据管理数据质检统计分析

系运行监控系统维护

统应用启停访问统计系统日志管理

维运行报告运行状态监控标准规范导入与导出

护故障预警运行平台性能监控数据统计工具

层

故障巡松邮件接口系统表创建工具

数据管理平台功能结构图

3.3.2运行设计

＞运行模块的组合

运行监控中对服务、硬件、数据库监控的流程控制

如图所示：

31

数据管理平台流程控制图

Web用户登录、注册、修改用户信息和退出

如图所示：

32

注册信息远程用户登录模块

注册信息「

(Ml.1.1)

V/

▼

吧嘴制模块一用户信息.

ORACLE

Web用户

用户信息Web用户修改用户信

息模块用户信息」

(Ml.1.9)

退出指令>Web用户退出模块

(ML1.10)

数据管理平台登录退出图

(3)数据元、模型管理、库体结构管理

如图所示:

标准管理功能结构图

(4)代码标准管理

33

如图所示:

标准管理代码标准功能结构图

⑸数据字典管理

如图所示:

加载代码

标准列表,代码标准代码标准信息

▼

代码标准