公共数据治理运营支撑与数据应用模型设计项目实施技术方案

公共数据治理运营支撑与数据应用模型设计

项目实施技术方案

目录

1项目总体概况.........................................................7

1.1项目背景......................................................7

1.2建设内容......................................................7

1.3建设目标......................................................8

2项目技术方案........................................................10

2.1整体方案.....................................................10

2.2模型设计思路及规范...........................................12

2.2.1数据模型分层削.........................................12

2.2.2数据模型分域削.........................................15

2.2.3物理模型设计.............................................16

2.2.4逻辑模型设计.............................................18

2.3人口库法入库数据采集.........................................20

2.3.1数据采集执行过程.........................................20

2.3.2数据采集管理.............................................28

2.3.3数据源采集监控...........................................31

2.4人口库数据资源整合...........................................34

2.4.1数据整合.................................................34

2.4.2功能拓展.................................................35

1

2.4.3人口全息档案.............................................36

2.4.4人口关系图谱.............................................66

2.4.5人口全息视图.............................................70

2.4.6人口信息统计.............................................71

2.4.7人口信息查询.............................................74

2.4.8人口信息空间化...........................................75

2.5法人库数据资源整合...........................................77

2.5.1数据整合.................................................78

2.5.2功能扩展.................................................80

2.5.3法人多维画像.............................................81

2.5.4法人统一视图.............................................95

2.5.5法人信息统计.............................................96

3信息安全方案........................................................99

3.1安全原则.....................................................99

3.2安全服务....................................................101

3.2.1安全集成服务............................................101

3.2.2安全评估服务............................................101

3.2.3等保测评支持服务........................................101

3.3安全措施.....................................................................................................................101

3.3.1网络通讯安全............................................101

3.3.2安全准入................................................102

3.3.3建立用户认证............................................102

2

3.3.4项目信息数据安全........................................103

3.3.5数据交换安全............................................103

3.3.6操作系统安全措施........................................104

3.3.7系统边界防护............................................104

3.3.8防病毒系统设计..........................................104

3.3.9整体备份机制............................................105

3.3.10应用和管理安全........................................106

3.3.11程序代码安全...........................................106

4项目组织方案.......................................................107

4.1项目组织....................................................107

4.1.1项目人力资源管理机制....................................107

4.1.2项目人员组织绢勾........................................108

4.1.3机构中人员构成与职责....................................108

4.2过程管理....................................................112

4.2.1实施流程................................................112

4.2.2项目启动阶段............................................113

4.2.3需求分析阶段............................................114

4.2.4需求规格阶段............................................114

4.2.5设计阶段................................................115

4.2.6开发阶段................................................115

4.2.7测试阶段................................................116

4.2.8试运行阶段..............................................116

3

4.2.9验收阶段................................................117

4.2.10项目维护阶段...........................................117

4.3项目质量及保证措施..........................................118

4.3.1质量管理体系标准........................................118

4.3.2质量控制过程............................................118

4.3.3质量评定计划............................................118

4.3.4质量管蜀昔施............................................118

4.3.5软件质量控制............................................119

4.4项目风险管理................................................121

4.4.1风险定义................................................121

4.4.2风险管理................................................123

4.5项目文档....................................................127

4.5.1项目技术文档............................................127

4.5.2项目管理文档............................................127

5项目实施方案.......................................................129

5.1项目实施原则................................................129

5.2项目实施策略................................................131

5.3项目管理机制................................................132

5.3.1项目进度控制............................................132

5.3.2项目人员控制............................................133

5.3.3项目质量控制............................................134

5.3.4项目后勤保障............................................134

4

5.3.5项目培训................................................134

5.4系统安装及调试..............................................137

5.5系统测试....................................................138

5.5.1测试原则................................................138

5.5.2测试目的和任务..........................................139

5.5.3测试的阶段..............................................139

5.5.4测试内容................................................140

5.6系统验收及试运行............................................166

6项目验收方案.......................................................168

6.1系统验收流程................................................168

6.2验收准则....................................................168

6.3提交技术文件................................................170

6.4验收合格条件................................................171

6.5验收方法....................................................171

7项目运维服务方案...................................................173

7.1运维服务承诺................................................173

7.2技术支持服务方案............................................175

7.2.1项目规划阶段............................................176

7.2.2项目实施阶段............................................177

7.2.3项目验收阶段............................................178

7.2.4项目维护阶段............................................179

7.2.5长期技术支持............................................179

5

7.2.6其他技术支持............................................179

7.3售后服务方案.................................................181

7.3.1服务机构................................................181

7.3.2维护人员配备............................................184

7.3.3维护工具配备............................................186

7.3.4服务管理体制............................................186

7.3.5售后服务方式............................................189

7.3.6服务响应时间............................................191

7.3.7保修期内服务............................................191

7.3.8保修期后服务............................................192

7.3.9应急服务响应措施........................................193

8类似项目的成功案例.................................................197

8.1业务重点领域数据分析项目....................................197

8.1.1项目目标与需求分析......................................197

8.1.2业务调研咨询方案........................................198

8.1.3项目成果................................................224

8.25G应用市场发展数据分析项目.................................224

8.2.1项目背景与需求分析......................................224

8.2.2整体思路与框架..........................................225

8.2.3业务研究与咨询方案......................................226

8.2.4项目成果................................................241

6

1项目总体概况

1.1项目背景

近年来，H市立足于建设卓越全球城市，率先实现政府治理能力现代化的目标，在

公共数据管理和互联网政务服务方面采取了一系列改革举措，积累了一定的实践经验，

同时也面临一些困难和问题。根据《公共数据和一网通办管理办法》要求，需要进一步

促进公共数据资源整合和利用，推进政务服务"一网通办"等电子政务发展，加快智慧

政府建设，提升政府治理能力和公共服务水平。

为深入贯彻党的十九大关于建设人民满意的服务型政府的要求，坚持以人民为中心

的发展思想，适应政府管理和服务现代化发展需要，深化改革,进一步优化营商环境，提升

群众和企业获得感，H市通过大数据资源平台的建设，将“四大库"、"市级统建系统"、

"各市级委办"、"各行政区"的数据汇聚成了市级数据湖，并以市级数据湖为基础，通

过数据的集成与治理，构建了市级数据库，推动跨地区、跨层级、跨部门数据共享交换

和应用，为后续公共数据的进一步整合、共享、开放提供了一定的工作基础。

建立统一的公共数据平台,全面实现H市政务"一网通办"，是贯彻党中央、国务

院决策部署，深入推进“放管服"改革，持续优化营商环境，切实提升群众和企业获得

感的重要举措。市委市政府已经明确，2018年建成H市政务"一网通办"总门户；到

2020年，H市要形成整体协同、高效运行、精准服务、科学管理的智慧政府基本框架。

1.2建设内容

基于大数据资源平台，通过对“四大库"、"市级统建系统"、"各市级委办"、"各行

政区”的数据等相关信息的采集、梳理、交换、整合、扩展，构建H市统一的基础信息

7

数据库。

建设完善市级数据库：通过人口、法人、空间地理库数据源整合开发,并对接电子

证照库。实现对人口、法人、空间地理信息、证照等的接入、整合、开发、利用。结合

H市实际，构建公共主题库及专题库,为应用提供安全高质的专题数据服务。

通过对工商、税务、质监、民政等法人相关信息的采集、梳理、交换、整合、扩展，

构建H市统一的法人基础信息数据库。

13建设目标

通过对公安、卫计、社保、民政等人口相关信息的采集、梳理、整合、扩展，构

建H市统一的人口基础信息数据库。人口库以公安部门的户籍和暂住人口基础信息为

基础、以身份证或护照号码以及居住性质为唯一标识，以其他部门人口信息为动态补

充。

通过本次H市大数据资源平台公共数据运营支撑项目的建设，完善市级数据库的

建设，将"四大库"、"市级统建系统"、"各市级委办"、"各行政区"的数据汇

聚成了市级数据湖，并以市级数据湖为基础，初步构建基础的H市大数据资源平台，

实现面向各需求单位部门进行数据共享、分析和利用、以及面向社会进行数据开放的

目的，支撑智慧政府的改革。

通过数据的集成与治理，构建了市级数据库，利用H市大数据资源平台公共数据

运营支撑项目的能力和服务，开展数据的管理、处理、分析与可视化等工作，支撑各

类业务应用。

在本次项目中完成以下四个部分：

1、完善公共数据逻辑模型、物理模型的设计规范并确定公共数据库存储原则基

层上，利用中心所建设的平台工具对进入市级数据湖的数据进行清洗、分层

与转化，形成市级数据库。

8

2、完成对人口库数据资源的接入、整合、开发、利用。

3、完成对法人库数据资源的接入、整合、开发、利用。

本项目为构建H市大数据资源平台公共数据提供运营支撑，需要梳理并编制各部

门政务信息资源目录体系，实现数据管理、交换、共享等基础功能。按照统一、集

约、高效的数据开发利用理念，通过研究建立多级交换管理体系，形成政务信息资源

物理分散、逻辑集中的信息共享模式，满足政府部门多方位、多层次的数据需求，为

跨地域、跨部门、跨平台不同应用系统、不同数据库之间的数据交换与管理服务。

制定相关标准规范及管理制度，通过相应平台工具汇聚区内各单位公共数据及市

级落地数据资源，形成区级数据池，同时经过数据清洗、转换、融合、治理后高质量

的公共数据资源，形成公共数据资源中心。

9

2项目技术方案

2.1整体技术方案

为建设统一的数资源中心，加强数据资源整合：制定相关标准规范及管理制度，

通过相应平台工具汇聚区内各单位公共数据及市级落地数据资源，形成数据池，同时

经过数据清洗、转换、融合、治理后高质量的公共数据资源，形成数据资源中心。本

次项目完善公共数据逻辑模型、物理模型的设计规范并确定公共数据库存储原则基层

上,利用中心所建设的平台工具对进入市级数据湖的数据进行清洗、分层与转化，形

成市级数据库。并完成对人口、法人、空间地理库数据资源的整合开发，实现对人

口、法人、空间地理信息的接入、整合、开发、利用，结合H市实际，构建公共主题

库，为应用提供安全高质的公共数据服务。

本次公共数据存储模型设计实施项目的框架如下图所示：

线口趟口人口应用

人人口出生、死亡及婚姻关系双方人口人口概况、人口查询、人口

口户籍登记基本信息统计、人口画像、周期管理、

数模板管理、字段映射、执行

据策略、码管理、异常告警、

人社口卫计口

里、和关系、

数

社会五险参保等人孕产妇及家属信息图形化分析……

据

口信息

抽

取

法法人应用

数

人工商口税务口概况、法人查询、法人

据法人画像、同期管理、

数

质监口螭口交管理、字段映射、执行

换

据入库管理、异常告警、

空标签管理、标签映射和关系、

间地理实体数据图形化分析……

地影像数据

空间地理应用

理

数电子地图数据地图服务、影像服务、地名

地址服宪、三维服务与坐标

据地名地址数提

转换等功能服务……

三续数胆

（1）业务信息数据整合

整合政务数据（国家、市级、区）、公共事业数据、行业数据（金融、电信）、

物联网数据（气象、摄像头…），实现内外部数据融合。

10

•采集人口数据：通过公安口、民政口、人社口、卫计口等来源数据，采集人

口出生、死亡、婚姻、社保、户籍等信息。

•采集法人数据：通过工商口、税务口、质检口、民政口等来源数据，采集法

人登记、税务、工商登记等信息。

•采集空间地理数据：采集地图、街道、区域、小区、楼宇、景点等地名、类

型、经纬度等信息。

(2)数据抽取/数据交换

数据采集模块采用集中化多租户ETL平台进行数据采集、转换、稽核工作，完成

数据标准化、集中化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：

离线采集、实时采集、准实时采集、流媒体采集、数据导入上报。

(3)基础库

按照人、地、事、物、组织等对象方式对数据进行建模，形成全区统一共用的基础

数据库。典型的基础数据库包括人口库、法人库、空间地理信息库。

11

•人口库：构建全市统一的、以公民身份号位为唯一标识的、可共享的综合人

口信息资源库。基于综合人口库，实现全市人口信息的汇聚治理、共享交换

和应用服务，为开展跨部门、跨业务、跨区域的人口应用服务和数据共享，

以及人口大数据分析、辅助决策等，提供全方位的人口信息支撑。

•法人库：促进相关部门有关法人单位业务信息的关联汇聚，丰富法人单位信

息资源。支撑法人单位信息资源的分布查询和深化应用。通过公共数据开放

网站，分级、分类安全有序开放综合法人信息，促进社会化创新应用。

•空间地理库：基于规划、国土资源等部门提供的GIS地图服务基础上，构建

自然资源和空间地理基础信息，并将遥感影像、地址数据、政务信息图层

等，与人口信息、法人单位、宏观经济、社会信用进行整合，形成本市空间

地理基础信息资源库，为全市政府部门和企事业单位提供统一的地理空间信

息服务。

数据运营服务专题应用

•数据采集接入人口迁徙

•数据抽取运维

•数据标准服务老龄化及养老

•作业调度运维

•数据质量检置及异常处置流动人口

公共安全

运营支摞

食品安全

大数据资源平台

政务服务

算力资源

2.2模型设计思路及规范

2.2.1数据模型分层设计

对数据模型进行分层能对管理数据有一个更加清晰的掌控，主要有体现清晰数据结

12

构、数据血缘追踪、减少重复开发、复杂问题简单化、屏蔽原始数据异常、屏蔽业务的

影响。

每个数据分层都有它的作用域，在使用表的时候能更方便地定位和理解。规范数据

分层，开发一些通用的中间层数据，能够减少极大的重复计算。便于维护数据的准确。

本次建设公共数据模型从层次上分为ODS、DW与ST层，即：数据运营层、数据

仓库层和数据应用层。

ODS层数据为近源层数据，数据源中的数据，经过ETL抽取、洗净、传输之后，

装入本层。在源数据装入这一层时，要进行诸如去噪、去重、提脏、业务提取、单位统

一、砍字段、业务判别等多项工作。

DW层数据为数据仓库层数据，ODS层数据经过整合，针对不同实体进行汇总后

的数据进入该层。

ST层为数据应用层，数据更灵活，更贴近实际应用，用于数据展现。

1.数据来源层-ODS层

数据主要会有两个大的来源：

13

(1)业务库，使用sqoop来抽取，每天定时抽取一次。在实时方面，考虑用

canal监听mysql的binlog,实时接入。

(2)埋点日志，线上系统会打入各种日志，日志以文件的形式保存，选择用

flume定时抽取，或sparkstreaming,storm来实时接入，kafka也会是

一个关键的角色。

数据应用层

数据仓库层

数据运营层

在ODS层中要进行数据清洗，比如异常字段的处理、字段命名规范化、时间字段

的统一等。

2.ODS层—DW层

通过对ODS层数据进行整合，设计通用的数据仓库层，减少数据模型冗余度。规

范仓库层模型，将有效提升数据模型重用度，好的DW层模型可以大大提升运营效率和

数据一致性。

3.DW-ST层

ST层为数据应用层,将DW层数据根据不同需求进行多维度汇总、统计，对数据

完成汇总、切片、钻取统计，为不同场景设计数据应用层模型。

14

2.2.2数据模型分域设计

数据仓库中的数据是面向主题组织的，主题是在较高层次上将企业信息系统中的数

据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领

域。公共数据库资源模型设计分域情况如下：

主题域主题域缩写相关内容

人口域PRTY个人基本信息

法人域GRP法人基本信息

事件域EVT出生、死亡、诉讼

资源域RES空间资源、服务资源、公共资源、网络资源

账务域ACC消费记录、纳税记录

关系域REL就职记录、婚姻关系

根据对人口、法人、空间地理库数据信息的特征，将对人口、法人、空间地理结合

H市实际，构建数据模型三大公共主题域，为应用提供安全高质的公共数据服务。

人口主题域：收集城市各职能局的业务数据，对数据进行清洗、比对、关联，获得

人口空间数据，建立人口库数据资源。

法人主题域：收集城市各职能局的业务数据，对数据进行清洗、比对、关联，获得

法人空间数据，建立法人库数据资源。

资源主题域：通过收集城市各职能局的空间地理资源，结合业务数据，对数据进行

清洗、比对、关联，获得空间地理数据，建立空间地理库数据资源。

主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点，将这些数

据主题划分到不同的主题域（也说是对某个主题进行分析后确定的主题的边界。）

模型设计示例如下：

15

细二

客户

度对

贡献

银按照

类

W分

行

在

某

个

条

操作员

件中的

地某个事

点件

开营的

办销设

网计定

点划符

导合

致法

营要

销求

事

件

地址

对麻单

合约的

地点

于某个