DB23T-“互联网+监管”系统大数据中心数据治理规范

ICS 35.240.99CCSL67DB23DB23/TXXXX—XXXX“互联网+监管”系统大数据中心数据治理规范联系单位：黑龙江省政务大数据中心联系人：董月成王生瑶联系人：51896217XXXX-XX-XX发布XXXX-XX-XX实施黑龙江省市场监督管理局   发布前言本文件按照GB/T1.1-2020给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由黑龙江省营商环境建设监督局提出并归口。本文件主要起草单位：黑龙江省营商环境建设监督局、黑龙江省政务大数据中心、黑龙江省标准化研究院、天阳宏业科技股份有限公司。本文件主要起草人：王艳、阚洪锦、景艳馥、彭雪松、刘晓华、赵成立、郑辉。“互联网+监管”系统大数据中心数据治理规范范围本文件规定了省“互联网+监管”系统大数据中心的数据治理规范。本文件适用于省“互联网+监管”系统大数据中心的数据治理工作。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。DB23/T2832-2021“互联网+监管”系统监管数据规范第1部分：监管基础数据DB23/T2833-2021“互联网+监管”系统监管数据规范第2部分：监管行为数据DB23/T2834-2021“互联网+监管”系统监管数据规范第3部分：监管辅助数据术语和定义下列术语和定义适用于本文件。数据汇聚中省直部门、各市地向省“互联网+监管”系统提供监管事项清单、监管对象、监管行为、监管事项投诉举报、执法人员、双随机一公开计划和监管知识等数据。数据交换监管业务数据在省“互联网+监管”系统、中省直部门、各市地监管业务系统之间互相发送、传输、接收，具体业务包括数据汇聚和数据推送。数据质量在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度，确保数据的及时性、完整性、准确性。数据安全数据的安全性、完整性和可用性。数据治理目标与范围按照DB23/T2832-2021、DB23/T2833-2021和DB23/T2834-2021对汇聚上报的数据进行抽取、清洗、去重、比对、校核、标准化转换、关联整合等处理并且依据治理规则进行数据治理，提升并入省“互联网+监管”系统大数据中心基础库的数据质量。质量目标保证数据的安全性（保密性、可用性），提升“互联网+监管”系统大数据中心的数据质量，实现数据资源在省“互联网+监管”系统的各应用系统应用以及在中省直部门、各市地的数据共享。数据范围从中省直部门、各市地汇聚的监管对象、监管行为、执法人员、信用信息、投诉举报、互联网及第三方机构数据、双随机一公开计划等监管相关数据。工作说明数据治理的主要工作是针对接入的数据启动数据治理，对发现的数据质量问题，启动错误数据反馈流程，协同各级监管部门的数据源方共同处理；为中省直部门、各市地汇聚上报的数据完整、可用，将数据治理过程中发现的数据问题，自动并且及时反馈给中省直部门、各市地，中省直部门、各市地获取到数据质量报告后及时重新把相应数据完善后再进行上报。工作流程工作流程图“互联网+监管”系统大数据中心数据治理工作流程，见图1。数据治理工作流程示意图数据采集入库汇入省“互联网+监管”系统大数据中心的数据，需要纳入数据治理的范畴。中省直部门、各市地通过政务信息共享交换平台实现监管数据发布，省“互联网+监管”系统通过订阅获取监管数据，然后将中省直部门、各市地的监管数据加载进入省“互联网+监管”系统的汇聚库。数据质量核查监管数据进入监管数据汇聚库后，对每类数据进行治理规则配置，对于接入的数据，启动质量核查流程，将合规数据与错误数据分别处理，经过数据治理，通过质量检核的监管数据进入监管基础库，并将数据质量检核的过程及结果生成检核结果记录表留存至平台上；对于质量检核未通过的错误数据进行标识并生成错误数据表，在汇聚库和基础库进行数据治理后的错误数据进入数据治理错误库。数据治理核查规则监管数据从监管数据汇聚库进入监管数据基础库时，以DB23/T2832-2021、DB23/T2833-2021和DB23/T2834-2021中的相应表字典作为数据治理核查规则。错误数据反馈数据治理错误库的错误数据，通过错误数据标识和数据来源标识针对中省直部门、各市地通过服务注册进行数据服务发布，让相应的部门进行订阅。部门订阅接收到该错误数据后，进行核对处理，并及时再汇聚上报正确的监管数据。错误数据订阅中省直部门、各市地都有一张对应的数据治理错误库表，在省政务信息共享平台订阅该数据资源目录，获取到错误数据反馈情况。监管数据治理错误表，见表1。得到自己需要治理的数据记录后，当天需要完成这些错误数据的修订并再次汇聚上报到省“互联网+监管”系统。监管数据治理错误表序号字段名中文名称数据格式必填项备注1cd_lsh自增流水号N20是自行插入2table_name数据表名C255是存在错误数据的数据表名3cd_id原数据主键编码C64是错误数据原来的主键编码（原值），方便各部门查询到原数据4org_code部门编码C50是数据来源部门编码5cd_source数据来源系统编码C64是数据来源的系统编码6cd_batch数据批次号C32是批次号7cd_time数据增量时间DateTime是错误数据入库时间8error_detail错误原因Text是错误数据描述信息9create_time错误数据治理时间DateTime是错误数据治理时间省“互联网+监管”系统每天统计这个数据治理错误库表，统计每天有多少条不符合治理规则的数据，将统计结果存入省“互联网+监管”市地工作进展情况统计表。不合格监管数据统计表，见表2。不合格监管数据统计表序号字段名中文名称数据格式必填项备注1area_number区划编码C6是数据来源部门所属区划编码2area_name区划名称C150是数据来源部门所属区划名称3org_code部门编码C50是数据来源部门编码4org_name部门名称C150是数据来源部门名