区数据资源全周期管理系统建设要求

XX区数据资源全周期管理系统建设要求

一、项目概述

（一）与项目有关的基础设施情况

XX区数据资源全周期管理系统在全省数字化改革1612架构下，为积极响应

数字化改革的发展目标，实现问题数据可追溯、可定责，保证数据的及时性、准

确性、完整性，促进数据“易管”“好用”“合规”。在政策要求明确、社会基层

需求迫切、省市一体化智能化公共数据平台、IRS（XX省一体化数字资源系统）、

城市大脑・XX平台系统等相关软硬件基础条件进行升级建设，并尽最大可能保

隙系统运行的稳定性、安全性。

（二）项目建设概述

为进一步落实一体化政务大数据体系建设要求，结合XX区数据日常管理实

践，并基于省市数据工作要求，以“全周期”“全要素”“全层级”为管理目

标，打造具有XX数据管理特色的数据资源全周期管理系统，主要内容包括数据

可视化中心、数据资源中心、数据质量中心、数据监管中心四大中心。结合该系

统开展数据全周期流程闭环管理工作，提升数据管理系统化支撑能力。

二、建设内容

XX区数据资源全周期管理系统项目建设，具体建设清单如下:

序号建设项目建设内容功能数量单位

XX区数据全周期指标

1数据可视/1项

资源全周分析

化中心

2期管理系待办事项1项

（首页）工作台

3统月度报告分析1项

4数据资源管全局检索1项

5理任务交办1项

6编目数据目录1项

7归集数据目录1项

8接口数据目录1项

9数据共享数据目录1项

基础库/主题库

101项

/专题库

数据资源

11物联数据目录1项

中心

12资源数据源管理1项

13应用区内应用1项

专项指标开

14/1项

发

15库表对接与库表对接1项

16系统对接系统对接1项

17数据标准数据标准参考1项

18质量校验规则1项

规则管理

19标准化字段1项

20单表质量检查1项

检查方案

21应用场景检查1项

数据质量

22质量问题报告1项

中心

23质量问题质量问题清单1项

24质量问题处理1项

25业务库数据部门概览1项

质量核验组质量中心功能

261项

件组件化处置

27人员概况1项

数据监管

28人员服务人员清单1项

中心

29入场审批1项

2

30离场审批1项

31请假审批1项

32数仓统计1项

33区级数仓1项

数仓应用

34部门/镇街数仓1项

35数仓账号1项

36厂商信息管理1项

37人员信息管理1项

38标签信息管理1项

39项目信息管理1项

40数仓信息管理1项

信息管理

41科室资源管理1项

数据标准库管

421项

理

数据开发任务

431项

管理

三、详细建设内容

（一）建设背景

XX省积极探索以地方性立法推动公共数据规范管理，在《XX省公共数据条

例》中要求：公共数据主管部门应当建立健全数据全流程质量管控体系，加强数

据质量事前、事中和事后］勺监督检查，及时更新已变更、失效数据，实现问题数

据可追溯、可定责，保证数据的及时性、准确性、完整性。市大数据局组织召开

高质量数据供给体系建设工作推进会上强调从数字化改革的数据需求出发，从技

术、管理、流程等方面入手，立足改善数据供给质量，强化平台支撑能力，实现

数据从可用到好用易用，确保数据供给高质高效。

《XX市公共数据治理工作细则》数据质量监控中第八条指出数源部门应建

立本部门数据质量的流程化控制体系，在数据新增、变更、采集和加工环节采用

3

系统自动化校验和人工审核相结合的方式加强源头质量管控，对于不符合质量规

则的数据进行及时改进。第九条数源部门应制定本部门数据完整性、唯一性、

精确性、一致性、及时性等质量评估指标体系，定期开展数据质量评估分析工作，

提出数据质量问题清单，形成数据质量报告，制定和实施数据质量改进方案。

近年来，XX区公共数据管理体制机制逐步建立。在数字化改革背景下，建

立一套符合法治基本要求、适合XX区实情、有利于促进公共数据依法管理、依

法应用的规章制度，是推动改革更可持续、更好发展的重要保障。基于XX区公

共数据管理能力的迫切需要，《XX省公共数据条例》在地方层面的细化落地探索，

起草《XX市XX区公共数据管理办法》。公共管理和服务机构应做好公共数据收

集、归集过程的数据管理，承担本机构数据仓的公共数据安全管理责任。政务信

息化项目正式上线后，公共数据资源需接受XX区公共数据平台统一监管。公共

数据主管部门统筹管理和指导全区数据治理工作，完善公共数据治理机制，健全

数据全流程质量管控体系，负责数据质量监督检查，协调、推动数据质量问题解

决。公共管理和服务机构应当根据本机构履行职责需要和公共数据主管部门的

工作要求，对本机构公共数据开展数据治理，并对问题数据进行及时处理，确保

源头数据标准化。数据治理遵循谁提供谁管理、谁使用谁反馈的原则，采取“发

现一反馈一修正一共享”闭环管理。公共数据主管部门应建立统一的数据问题反

馈通道，支持省市区三级问题流转。公共管理和服务机构应指定专人负责统筹

协调本机构内部数据治理和外部机构联系工作，实现问题闭环处置。

(二)建设需求

本项目的建设内容包括数据可视化中心、数据资源中心、数据质量中心、数

据监管中心四大部分。通过本系统的建设完善数据质量主动发现和处置机制，助

力数据管理者对数据资源的高效管理，提高数据资源高质量供给，提升数据质量

实施效率，依法健全数据合规管理机制。具体建设需求如下：

i、数据可视化中心。支持系统全域式基础数据概览，•屏总览数据归集、

数据仓、数据治理、数据共享、数据开放、数据合规多个环节的重点数据情况。

同时提供待办事项及月度报告的快捷查看和办理入口。

(1)全周期指标分析

4

透视出重点数据情况，支持对数据归集、数据仓、数据治理、数据共享、数

据开放和数据合规等数据全周期管理相关指标的统计分析。

（2）工作台

待办事项。作为数据全周期管理的快速工作台，可快速分拣“待我处理”、

“我已办理”、“我发起”并进行跟进处置。并支持全量事件的查看与处理。打通

人员管理事项（入场、离场、请假）、接口异常问题整改业务申请、已编目未归

集问题整改业务中请、己归集未编目问题整改业务申请、数据表未更新问题整改

业务申请、区级仓Dataworks账号申请事项等数据资源全周期业务处置。支持按

照类型搜索、查看事件详情并快速办理。

月度报告分析。月度报告分析模块可集中查看自动生成数据资产的分析报告,

分析数据质量情况、数据问题情况、各部门问题数据情况、数据资源编目情况、

数据归集情况、区级数仓情况。以列表形式展示所有月度报告，并支持根据关键

词搜索相关的月度报告。

（3）数据资源管理

全局检索。整合数据目录、接口目录、数据表、应用、部门数仓、人员和区

级、部门数仓账号等数据资源，统一查询入口，支持通过资源名称、资源编码关

键词进行检索。

任务交办。支持发起任务交派，可自由选择任务流向，需描述交派的任务内

容之后发起任务。发起任务之后，按相应流程进行审批、反馈完成任务闭环。

■需使用可视化展现数据全过程管理的各个环节，需形象的体现各环节的关

系。

■相关分析数据需钻取查看数据情况。

■需按照待办事项类型进行统计分析。

二、数据资源中心。以“数据表”为核心，全方位展示全区各部门目前数据

目录指标情况，增强管理者对数据资源的感知度，摸清数据家底状态。同时，实

现数据和目录的自动化比对，透出编目、归集过程中的漏项、缺项，驱动目录与

数据的对齐。

（1）数据

编目数据目录。一是编目信息。同步IRS数据目录情况，并扩增开放数据、

5

静默数据信息补充。支持查看目录详情，包含编目基本信息、数据资源详细信息、

使用本目录的应用系统、数据项等。二是编目统计。通过数据分析，可视化展示

数据编目概况。主要包括STG层（部门、数据表、数据记录、数据编目等）、单

表数据记录数量情况分析、IRS编目概况、部门编目情况、共享及更新情况。

归集数据目录。一是数据仓。支持对数仓数据统一监管，支持条件搜索查询

及数仓数据清单的基本信息、血缘关系，表字段列表等详细信息。条件字段的可

包括数据来源、数仓类型、数仓层级、编目状态、开放状态、更新状态、主题标

签等。通过筛选STG、ODS.DWD.DWS、ADM等数仓层级展示各层级数仓数据表统

计值和数仓数据表详情列表。对数据情况进行标签化展示。对已进行过质量分析

的表，可直接查看该表的质量报告。二是数源单位筛选。支持对数源单位统一管

理查询，对根据数源单位或关键词进行搜索筛选，查询数源单位数据情况，并以

列表形式进行展现。可进一步查看数仓数据信息。三是排查更新问题任务。支持

排查更新问题的发起，发起任务之后，通过审批反馈进行闭环。四是编目任务。

未编目的表支持编目任务的发起，发起任务之后，流转并反馈进行闭环。五是。

数据任务交派。关联当前表单信息，发起可自动获取表单信息，发起数据表单相

关任务。可自由选择任务流向，需描述交派的任务内容之后发起任务。发起任务

之后，按相应流程进行审批、反馈完成任务闭环。

接口数据目录。一是数据接口管理。支持数据信息的筛选、列表及详情展示。

支持根据接口来源、共享属性进行筛选，列表可获取注册单位、联系方式、调用

次数等信息，可进一步查看详情，帮助用户快速获取接口管理信息。支持数源单

位筛选。二是接口排查。支持发起对应接口的接口排查任务至接口发布部门，可

对异常问题进行相关描述，补充其他注意事项。

共享数据目录。一是资源信息管理。对共享资源进行统一管理。支持根据输

入资源名称和资源编码等关键词，并以列表的形式进行呈现。可查看数源部门、

申请部门、使用方式、申请时间等信息。支持排序模式。支持数源单位筛选。二

是共享分析。通过数据分析，将部门申请资源和数据局共享资源通过可视化的形

式作展示。

基础库/主题库/专题库。一是基础库/主题库/专题库管理。分页列表展示基

础库、主题库、专题库相关信息，支持查看各库详情。校照业务分类查看不同数

6

据库具体信息。根据数据库类型，自动筛选搜索条件相关的数据库。以列表的形

式展现各个数据库，并能够查看各个数据库的详细信息，主要包括基本信息、表

清单等。二是申请使用。支持对基础库、主题库、专题库的相关内容发起使用申

请流程，发起后按照相应流程审批反馈，流程结束后由专项人员实施进行完成闭

环。

物联数据目录。通过对接区内物联感知相关数据，展现区级相关的物联感知

设备资源清单。接入隧道火灾报警设备、水位监测设备、车辆称重设备、智能监

控等设备信息，可直接查看采集字段和设备点位以清单形式监测各项感知数据，

智能分析反馈数据信息。支持对IoT资源进行包括但不限于标签分类、关键字检

索、结果排序、数源单位过滤等操作。

(2)资源

数据源管理。对数据源进行统一的管理，数据源信息主要包括数据源的资源

名称、数据库类型、数据库名、实例名、IP地址、资源类型、数仓层级、所属

部门名称、所属项目、申请人、申请人电话等。可视化展示数据源相关的数据指

标，支持查看数据源的详细情况和添加数据源。

(3)应用

区内应用。根据七大领域、发布端、应用类型、应用状态和应用属性，以及

输入关键词等条件字段，自动筛选搜索条件相关的创新应用。以列表的形式展现

搜索相关的应用系统。根据数源单位或关键词进行搜索筛选，查询数源单位创新

应用的具体情况，并以列表形式进行展现。支持查看具体创新应用系统的基本信

息、应用产生目录清单、应用使用其他部门数据清单、应用数仓的数据表清单等

详情信息。

(4)专项指标开发

进行数据抽取与统计计算，实现专项数据指标开发，用于支持可视化展示分

析。

(5)库表对接与系统对接

库表对接。与数据编目清单、数据共享清单、区内创新应用清单进行库表对

接。

系统对接。对接审批中心、接口服务平台、数据在线系统。

7

■在编目数据目录中，需支持未归集数据的目录发起数据归集任务。

■在归集数据目录中，需从数据仓层级的角度呈现数据资源清单。

■区内应用需覆盖七大领域。

三、数据质量中心。通过预置数据质量规则、创建质量检查方案、运行数据

质量任务、发起数据整改流程和生成数据质量报告等“数据质量提升五步走”工

程，提供质量校验规则、单表质量检查、应用场景检查、数据表质量报告、质量

任务清单和质量问题处理任务等能力，多措并举以仝面亮升数据资源中心的数据

质量。

同时，抽象出灵活开放的数据组件，快速创建数据质量检查方案创建，赋能

业务库数据质量核验工作C业务库数据质量核验组件提供了管理数据源、开展数

据元治理的能力。使用户能够对数据源进行查看、搜索、注册数据表等管理维护，

同时支持制定和运用数据标准对数据质量进行把控、检查，并根据检查方案生成

数据检查报告。

(1)数据标准

数据标准参考。支持数据标准库的应用前查看。可展示系统内已定义的数据

表标准内容。支持多类型查找筛选，及各项标准内容查看。便于各家厂商快速应

对项目建表的数据标准。

(2)规则管理

质量校验规则。一是质量校验规则管理。对质量校验规模型中的规则进行统

一管理，支持规则的规则名称、校验对象、规则类型、检查维度、来源、规则定

义和规则描述等信息的管理配置。二是质量校验规则复制。支持对已建质量校验

规则进行快速复制及后续调整优化，提升工作效率。三是字典表配置。新增或编

辑规则时选择规则来源，支持字典表配置。四是校验规则资产沉淀。结合业务情

况，梳理沉淀质量校验规则。可应用于质量检查方案。

标准化字段。一是标注化字段管理。支持的字段标准名称的统一管理。通过

关联字段管理，支持将各表需要关联的字段摘取出来关联到字段标准下，实现表

字段标准化管理。二是标准化字段资产沉淀。对业务上可统一归类的多表多字段

进行标准化定义，形成标准化字段，供后续质量检查方案执行快速落地。

(3)检查方案

8

单表质量检查。一是单表检查方案管理。支持单表质量检查方案的统一管理。

检查方案可包括基本信息、检查规则配置、设置调度等信息。支持在检查方案列

表对检查方案进行禁用与启用设置。二是批量更新。支苗批量更新检查配置规则

和检查对象。三是单表质量检查资产沉淀。结合业务情况，梳理沉淀单表质量检

查方案。

应用场景检查。一是应用场景检查方案管理。支持对•应用场景检查方案的统

一管理。主要包括基木信息、新建检查方案后配置检查对象、调度和检查记录等

信息管理。二是应用场景检查资产沉淀。结合业务情况，梳理沉淀应用场景质量

检查方案。

（4）质量问题

质量问题报告。实现质量报告生成与查看，主要包括数据表的基本信息，以

及对数据表准确性、规范性、唯一性、及时性和其他等检查，以及数据表维度的

查看。

质量问题清单。一是数源部门问题管理。以数源单位部门为维度对质量问题

进行统一管理，可查看主要包括对检查基本情况和质量问题清单等信息的查看。

二是质量问题清单（后台）。根据质量检查方案运行情况刍动创建质量问题清单，

可手动发起质量问题工单。三是质量问题工单。运营运维人员巡查自动问题，并

对存疑部分发起质量问题的处理任务。由数源单位部匚人员处理相关工单。

质量问题处理。作为数据质量问题处理任务的快速工作台，可快速分拣”待

我处理”、“我己办理”、“我发起”并进行跟进处置。

（5）业务库数据质量核验组件

部门概览。支持部门基础数据概览，包括全区排名、数据标准化率、检查方

案和累计检查数据量，同时支持概览检查概况，包括方案执行次数、检查字段量、

数据元类型标准化率、数据值格式标准化率、数据代码值标准化率。提供数据检

查方案的快速办理入口，支持方案的新建、执行与查看详情操作。

质量中心功能组件化处置。对数据标准、规则管理、检查方案、质量问题模

块进行组件化功能抽取与封装，并按IRS相应要求进行调整，形成可上架的组件,

并完成IRS上架。

■提供不少于100个数据校验规则。

9

■质量问题处理的流程需使用流程引擎进行可视化编排。

四、数据监管中心。依托数据质量管理和系统建设基础，对相关人员数据实

施过程中各环节的行为进行规范管理。同时，全面跟踪、监控全区数仓情况；并

针对数据家底、数据质量、数源标准等问题，支持发起工单，驱动问题整改卜.好

整顿提升“一盘棋”。

(I)人员服务

人员概况。展现人员管理概况，主要指标可■包括驻场人员总数、今日请假人

数、人员入场办理中人数、人员离场办理中人数的人员。

人员清单。对数据合规相关人员做统一管理，可查看相关人员信息，包括姓

名、在场情况、单位名称、职务、汇报上级、入场时间、权限情况、工作职责等

信息。包括查找、查看详情。可对网络与账号开通及数据表权限进行的细化管理。

入场审批。对人员入场申请进行审批工单管理，可快速分拣“待办”、“已办”、

“我发起的”相关事项。支持根据项目经理.、所属单位等条件，进行筛选。可根

据权限分配，发起并审批相关申请。

离场审批。对人员离场申请进行审批工单管理，可快速分拣“待办”、“已办”、

“我发起的”相关事项。支持根据项目经理、所属单位等条件，进行筛选。可根

据权限分配，发起并审批相关申请。

请假审批。对人员请假申请进行审批工单管理，可快速分拣“待办”、“已办”、

“我发起的”相关事项。支持根据项目经理、所属单位等条件，进行筛选。可根

据权限分配，发起并审批相关申请。

(2)数仓应用

数仓统计。可视化展示数仓账号(区级、部门、镇街)，账号申请待开通等

统计数据指标。

区级数仓。根据数仓层级，自动搜索相关层级的区级数仓。以列表的形式展

示ADM、DWD、DWS.ODS、STG各层级数仓数据表数量统计值、表容量、数据总行

数、已开通数仓账号等信息。支持查看区级数仓的详细情•况，主要包括对区级数

仓的基本信息、血缘关系、表字段等信息的查看。

部门/镇街数仓。根据数仓层级，自动搜索相关层级的部门/镇街数仓。以列

表的形式展示部门/镇街数仓清单的账号、联系人、项目空间、资源集、描述等

10

信息。支持查看部门/镇街数仓的详细情况，主要包括对部门/镇街数仓的基木信

息、血缘关系、表字段、已开通数仓账号等信息的查看。

数仓账号。一是数仓账号清单。支持根据账号名、账号类型、使用人、账号

状态和是否活跃等条件，搜索相关的数仓账号。支持以列表的形式展示数仓账号

清单。支持查看数仓账号的基本信息、已开通权限和数据表权限等信息。二是区

级数仓账号开通申请。按照申请人、所属单位等条件，费索相关区级数仓账号开

通中请，并支持待办、已办和发起的账号开通申请。区级数仓账号开通审批流程

为总集审批-数据科审批-运维实施审批。三是部门/镇街数仓账号开通申请。按

照申请人、所属单位等条件，搜索相关部门/镇街数仓账号开通申请，并支持待

办、己办和发起的账号开通申请。部门/镇街数仓账号开通审批流程为部门审批-

数据科审批-数仓运维实施审批-总集核验。

(3)信息管理

厂商信息管理。支持对厂商信息的统一管理，厂商信息可包括单位名称、单

位类型、备注等信息进行.用以支撑各相关配置信息。

人员信息管理。展现人员管理概况，主要指标可包括驻场人员总数、今日请

假人数、人员入场办理中人数、人员离场办理中人数的人员。支持对对所有人员

信息进行统一管理。

标签信息管理。一是标签管理。对所有可应用标签进行统一管理，支持多级

标签管理。二是标签标注。支持统一相关表单进行标签标注工作，支持快速搜索、

标注绑定解绑等标签应用工作。

项目信