版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
DB3209盐城市市场监督管理局发布IDB3209/T1320-2025 12规范性引用文件 13术语和定义 14数据治理实施活动 24.1数据架构 24.1.1数据模型 24.1.2数据分布 44.1.3元数据管理 64.2数据标准 94.2.1标准规划 94.2.2标准制定 94.2.3标准发布 94.2.4标准执行 4.2.5标准维护 4.3数据质量 4.3.1数据质量需求确立 4.3.2数据质量检查 4.3.3数据质量分析 4.3.4数据质量提升 4.3.5数据质量控制 4.4数据服务 4.4.1数据服务需求分析 4.4.2数据服务设计 4.4.3数据服务管理 4.4.4数据服务安全 4.5数据安全 4.5.1实施数据分类分级 4.5.2数据安全防护 附录A(资料性)权威数据源清单 附录B(资料性)数据质量需求调研表 DB3209/T1320-2025本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。本文件是DB3209/T1259《公共数据平台数据治理规范》的第2部分。DB3209/T1259已经发布了以下部分,以后根据工作需要,再视情增补:——第1部分:总则。——第2部分:实施体系。——第3部分:高频数据元。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由盐城市数据局提出、归口并组织实施。本文件起草单位:盐城市大数据管理中心。本文件主要起草人:袁永军、袁爱娣、戴祥、施晓波、殷云潇、陈德祥、姚德亮、邢程、李想、齐文辉、薛步高、田永艳、韦应虎、李兴儒。DB3209/T1320-2025公共数据作为国家基础性战略资源,其高效开发与利用是实现经济社会高质量发展的必然要求。为规范盐城市公共数据管理,推进数据资源共享开放,促进市县各级数据相关方合规、高效地开发利用公共数据要素,充分发挥数据赋能新质生产力的驱动作用,现围绕数据架构、标准、质量、服务及安全等核心维度,构建系统化的数据治理体系,制定DB3209/T《公共数据平台数据治理规范》系列标准。DB3209/T拟由以下三个部分构成。——第1部分:总则。目的在于明确公共数据平台数据治理的总则,确立数据治理的架构体系、保障体系以及实施体系。——第2部分:实施体系。目的在于规范公共数据平台数据治理各环节的实施步骤。——第3部分:高频数据元。目的在于规定高频数据的属性设置、分类和内部标识符规则及其目录,指导高频数据元的编制、使用和扩展。DB3209/T1320—20251公共数据平台数据治理规范第2部分:实施体系本文件描述了公共数据平台开展数据治理实施活动的步骤,包括数据架构、数据标准、数据质量、数据服务和数据安全五个部分的相关内容。本文件适用于指导盐城市市县两级公共数据平台数据治理各环节实施步骤。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T35274数据安全技术大数据服务安全能力要求GB/T36073-2018数据管理能力成熟度评估模型GB/T37988-2019信息安全技术数据安全能力成熟度模型GB/T43697数据安全技术数据分类分级规则3术语和定义下列术语和定义适用于本文件。3.1公共数据commondata指本市各级行政机关、法律法规授权的具有管理公共事务职能的组织和教育、医疗、供水、供电、供气、供热、交通运输、文化旅游、体育、环境保护等公共企事业单位依法履行职责或者提供公共服务过程中收集、产生的数据,以及中央国家机关派驻本市的机关或者派出机构根据本市应用需求提供的数据。3.2数据模型datamodel数据模型是使用结构化的语言将组织业务经营、管理和决策中使用的数据需求进行综合分析,并按照模型设计规范重新组织。3.3实体entity实体是指现实世界中具有独立存在和可区分性的事物,它在数据模型中表示为一个对象或表。3.4属性attribute属性是实体所具有的特征或性质,每个实体都有一组属性,这些属性定义了实体的特征和行3.5关系relationship关系是实体之间的互动和连接,主要描述实体之间的依赖、联系和约束,关系可以是一对一、一对多或多对多的关联。3.6元数据metadata2DB3209/T1320-2025关于数据或数据元素的数据(可能包括其数据描述),以及关于数据拥有权、存取路径、访问权和数据易变性的数据。[来源:GB/T36073-2018,3.6]3.7元模型metamodel[来源:GB/T36073-2018,3.9]3.8数据质量dataquality在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度。[来源:GB/T36073-2018,3.10]3.9数据服务dataservice通过标准化接口或平台提供的、用于访问、处理或分析数据的功能性服务。4数据治理实施活动4.1数据架构4.1.1数据模型模型需求调研模型需求调研需从以下几个方面开展实施工作:a)开展需求调研:围绕业务目标,数据管理者组织数据相关方充分调研公共数据平台当前业务和数据现状,分析各相关方的数据治理需求和存在问题,调研分析内容包括但不限于:业务应用需求、国家和省级相关要求、跨部门数据共享需求、数据治理的痛点难点;b)确定模型范围:根据调研情况发现的数据问题与治理需求,与各行业业务专家沟通,理解业务流程,挖掘深层次需求,确定数据模型的目标和范围,同时分析现有数据架构,识别数据质量问题。制定模型规范.1概述数据管理者根据数据治理和数据建模需求,选择合适的数据模型管理工具,明确数据模型命名规范和常用术语,规范各业务、各部门的数据模型开发和管理工作。.2实施步骤.2.1选择数据模型工具数据模型管理工具的能力包括但不限于:a)支持可视化数据建模,具有正向建模和逆向建模的能力;b)支持模型变更管理,实现从模型设计、审核、发布、物化到下线的全过程管理;c)支持模型差异稽核,对数据模型与应用数据库进行稽核对比,保障数据模型设计与落地的一致性,针对数据库表结构、关系等形成差异报告,发现数据模型实施问题,提升数据模型质量。.2.2明确模型命名规范结合业务需求定义数据模型的命名规范,用于指导数据模型设计和开发。数据模型命名规范如下(可结合业务实际情况调整):a)遵循一致性、简洁性、可读性和可维护性四个原则,避免使用保留字、特殊字符、空格等。DB3209/T1320—20253其中,一致性要求平台所有模型都严格遵循统一的命名规则;简洁性强调模型命名应简洁明了,避免复杂性;可读性确保模型命名应易于理解和记忆,避免使用缩写或非标准术语;可维护性要求模型命名便于业务未来的维护和扩展;b)模型命名编码宜采用26个英文字母(包含大小写)、0~9自然数和下划线,在相同的数据库或程序技术环境中,对象编码采用大小写应统一,以方便数据库移植,避免程序调用问题;具体模型命名规范如下:数据分层_业务域_主题域_XXX_更新周期|数据范围;其中,数据分层、周期和数据范围,见表1。表1模型命名规范说明表dl周wla数据模型设计.1概述数据管理者宜采用概念数据模型、逻辑数据模型、物理数据模型三层架构模式进行数据模型设计,以实现数据模型设计的系统性和完整性。业务流程指导概念模型的设计,功能需求驱动逻辑模型的设计,非功能性需求与约束对物理模型的设计提出要求。通过三层架构的模型设计方法,确保数据模型在不同抽象层次上都能满足业务需求和系统实现的需要。.2实施步骤.2.1概念模型设计明确数据的业务需求,阐释业务对象及其相互间的关联关系。通过深入剖析业务领域,提炼关键信息,为逻辑模型、物理模型设计指定范围、明确方向。概念模型设计宜遵循以下规则要求:a)明确业务背景和主题边界,在主题域下按照业务对象颗粒度设计概念实体,保证概念模型呈现重要的一级子类;b)定义关键业务实体,明确每个实体所具备的特性或属性,准确地表示业务实体的本质特c)定义业务实体间的联系(如一对多、多对多),使用实体-关系图(ER图)展现数据实体、属性以及他们之间的关联关系。.2.2逻辑模型设计以概念模型为基础,描述业务规则下逻辑数据实体间的关系,将业务概念具象化、结构化,为模型在数据库中的落地应用提供指导。逻辑模型设计宜遵循以下规则要求:a)逻辑模型实体设计宜遵循第三范式,减少冗余,保障数据一致完整;b)在概念模型的基础上,准确识别逻辑模型的实体和其属性;c)模型中的每个实体、属性、关系等都需与实际业务信息进行对应;d)业务对象与逻辑数据实体的关系宜为一对一或一对多,不能出现多对多关系;e)模型实体属性应有明确的数据标准,包括数据类型、长度、值域、是否为空等;f)逻辑模型设计应充分考虑物理模型的转换率。.2.3物理模型设计DB3209/T1320-20254以逻辑模型为基础开展设计,将逻辑数据实体、属性、约束、关系等,转化为数据库能识别的物理实体关系。物理模型设计宜遵循以下规则要求:a)物理模型须与逻辑模型保持一致,确保业务需求及业务规则所要求的各项功能得以实现,性能得到保障;b)宜将逻辑模型实体转换为数据库的表结构,将实体属性转换为表字段,并为每个字段指定数据类型(包括数据类型和长度等);c)物理模型设计需完成实体关系的转换,可以根据业务需要分别转换为一张表或多张表;d)物理模型设计需根据业务需要选择合适的数据存储方案,包括数据库和文件系统等。数据模型管理数据模型管理宜从以下几个方面开展:a)数据管理者应按照数据模型管理办法,使用专业的建模工具,开展数据模型标准化管理和统一管控,根据业务需求变化实时对数据模型进行更新,主要负责数据模型设计、审查和批准等全过程变更管理;b)数据开发者运用数据建模工具,有序完成数据模型的开发、测试、发布、实施和性能优化等工作,并定期对数据模型与应用数据库开展稽核对比工作,保障数据模型在设计与落地实现过程中的一致性;如果发现差异,可针对数据库表结构、关系等方面的差别形成差异报告,辅助数据管理者监控数据模型质量,提升数据模型设计和实施质量。数据模型优化数据模型优化宜从以下几个方面开展:a)数据管理者需组织专业团队定期开展数据模型检查,确保数据模型与组织的业务架构、数据架构及IT架构保持一致;妥善保存每次数据模型检查结果,为后续数据模型管理工作提供重要的参考基准与衡量标准;b)根据数据模型检查结果和使用反馈,数据管理者需及时召集数据模型管理的相关利益方,对模型进行针对性的调整和优化,以进一步提高数据模型清晰度,增强数据模型的有效性。4.1.2数据分布梳理数据现状.1概述数据现状梳理通过对应用系统中的数据资源全面盘点,了解数据作用,明确存在的数据问题。.2实施步骤数据现状梳理主要从以下几个方面开展:a)范围确认:数据管理者需组织专业团队,依据公共数据平台的应用场景和业务领域,确认数据现状梳理的具体范围;b)资源盘点:数据管理者需组织团队对公共数据平台相关领域的数据资源开展全面盘点,摸清数据资源底数,清查各部门自建信息系统、数据模型、数据总量、数据存储等信息;c)数据探查:数据开发者需运用数据探查工具对数据情况进行探查,初步掌握数据质量情况,包括但不限于数据空值率、数据存储大小等关键指标。梳理数据分布关系.1概述数据分布关系梳理应依据已定义的数据模型,紧密结合业务流程的梳理成果,定义组织中数据和流程、数据和组织机构、数据和系统的分布关系。DB3209/T1320—2025.2实施步骤数据分布关系主要从以下几个方面开展梳理工作:a)交互关系梳理:数据管理者组织团队根据数据现状梳理情况,对各领域相关部门业务系统间的数据交互关系进行梳理,明确数据从源头系统到目标系统的流动路径,保障数据流转的清晰可溯;b)规则梳理:数据管理者组织团队对公共数据平台不同领域或不同领域间的数据依赖关系和数据转换规则进行梳理,如:对数据进行格式转换(如将不同日期格式统一为“YYYY--DD”)、编码转换(如将不同部门的行业代码统一为标准编码)等,确保数据的一致性和规范性。梳理权威数据源.1概述数据管理者需组织团队梳理数据的权威数据源进行梳理,针对每类数据明确相对合理且唯一的信息采集和存储系统。.2实施步骤权威数据源梳理主要从以下几个方面开展:a)权威部门明确:结合公共数据的特点和业务需求,根据盐城市数据共享责任清单,明确数据权威部门,如:普通住宅公共物业服务收费标准的权威部门为盐城市发展和改革委员会;b)数据源信息明确:根据盐城市公共数据平台数据归集、数据共享实际情况,明确权威数据源的数据更新方式、共享规则等,应按照数归集相关要求来明确权威部门数据归集的范围和共享方式等,形成数据权威数据源清单,见表A.1。数据分布关系的维护和管理.1概述数据开发者负责对数据分布关系图进行维护和管理,根据业务流程和系统建设的实际情况,定期公共数据中的数据分布关系进行维护和更新,确保及时性。.2实施步骤.2.1确定分布图结构明确数据分布图的层次结构,根据公共数据业务特性,数据分层结构宜分为:业务分类、主题域、业务对象、逻辑数据实体、业务属性,也可根据自身业务实际情况进行合理调整。a)业务分类:业务分类作为数据管理的分级分类,从业务角度对数据进行分类管理,构建有层级结构的业务标签,实现对数据的精细化管理;b)主题域:主题域是对业务分类进行主题细化管理,是同一类业务对象的集合,各主题域的数据宜相互独立、互不重叠;c)业务对象:业务对象是业务流程中涉及的实体,是各主题域重要的业务对象信息,可基于业务活动准确识别业务对象;d)逻辑数据实体:逻辑数据实体是具有一定逻辑关系的数据属性集合,用于描述一个业务对象的某方面特征;e)属性:属性是业务对象的最小颗粒,描述业务对象某个特征的数据性质,包括属性名称、定义、类型、长度、取值范围等。.2.2构建分布图DB3209/T1320-20256数据开发者根据业务需求、数据现状、数据分层设计,构建科学合理的数据分布图见图1,明确各业务下的主题域、业务对象、逻辑数据实体和属性等,以及核心业务对象的流向关系和权威数据源。业务分类主题域业务对象权威部门人口库基本信息教育信息就业社保基本登记信息联系信息出生信息死亡信息义务教育高中教育高等教育纳税信息公积金信息就业情况公安局民政局教育局税务局公积金管理中心人社局.2.3建立更新机制数据管理者建立健全数据分布图更新机制,数据开发者需严格按照机制要求定期对数据分布关系进行维护和更新,确保数据分布图能够及时、准确地反映公共数据平台的最新数据分布状态。4.1.3元数据管理确立元数据标准规范.1概述元数据标准是一套规范或约定,用于描述和组织元数据的结构、内容和格式。数据管理者根据元数据管理范围,紧密结合业务需求与行业最佳实践,严格定义元数据标准,并明确业务元数据、技术元数据以及操作元数据之间的内在关系,设计合适的元数据模型,确保元数据的统一性、可读性、可靠性和安全性。.2实施步骤.2.1元数据模型元数据模型是描述元数据的一套规范,主要明确模型中所包含的基本元素、元素之间的关系的表示。元模型涵盖的内容主要包括但不限于:DB3209/T1320—20257a)构成元素:元模型的构成元素,包含但不限于:应用系统、数据集、数据任务、库、表、b)元素关系:元模型元素之间的关系,包含但不限于:数据集与应用系统之间的归属关系、表之间的关联关系、继承关系;c)范围与格式规范:需严格规范元数据范围边界,统一元数据的格式与存储方式。.2.2业务元数据业务元数据主要聚焦于数据的内容和条件,同时涵盖与数据治理相关的详细信息,是对数据实体和数据处理的业务化描述。其作用在于帮助数据管理者和数据使用者理解数据的业务背景和上下文。业务元数据主要包括但不限于:a)业务信息:包含业务分类、主题域、业务描述、业务标签、业务负责人等重要信息;b)业务指标规则:涵盖指标名称、指标层级、指标口径、维度信息、计算方式、映射信息、转换规则等内容;c)数据质量信息:包含但不限于:质量规则名称、质量检核规则、质量监控级别。.2.3技术元数据技术元数据主要描述数据实体和数据处理过程中的技术细节和处理规则,能够协助数据开发者明确数据存储、结构、权限等关键信息,为数据开发和系统集成奠定基础。技术元数据主要包括但不限于:a)数据表及其字段信息,包含但不限于:表名称、表注释、字段名称、字段类型、字段长度、字段注释、主键信息、外键信息、索引信息;b)数据存储信息,包含存储位置、存储大小、数据源名称、数据源类型等信息;c)数据映射关系,包含字段血缘、SQL脚本信息、ETL(Extract-Transform-Load)抽取加载转换信息等。.2.4操作元数据操作元数据是描述数据处理日志和运营情况的数据,帮助数据开发者定位数据治理和处理过程,为数据的维护工作和问题排查提供支持。操作元数据主要包括但不限于:a)数据处理日志,包含数据采集日志、数据质量检核日志、数据开发作业执行日志等;b)数据运营情况信息,涵盖数据使用者对数据的访问方式、访问时间以及数据开发者对数据的查询、清洗等操作信息。收集元数据.1概述数据开发者针对不同类型、不同来源的元数据,选择对应的适配器和元数据模型进行采集。同时,依据规范流程,对变更的元数据进行定期或不定期的更新,提供手动采集和自动采集两种方式。.2实施步骤.2.1手动采集基于元模型构建元数据导入模板,支持用户进行手动采集。.2.2自动采集使用元数据管理工具实现元数据自动采集,主要步骤如下:a)选择适配器,针对不同的元数据来源,选择相对应的适配器及元模型;b)配置数据源,在确定合适适配器的基础上,配置数据源的名称、连接参数以及描述等信DB3209/T1320-20258c)配置采集任务,合理设置元数据采集任务执行调度计划,提供单次调度、周期性调度等多种灵活调度方式。管理元数据.1概述对收集的元数据进行统一管理,管理内容包括:元数据的审核、查询、修改、删除、版本管理和权限管控等。结合业务实际情况,有效实现业务元数据与技术元数据的连接,并通过元数据分析,发现元数据标准设计、元数据收集以及使用过程中的现状及问题,确保元数据的准确性和完整性。.2实施步骤管理元数据主要从以下几个方面开展:a)元数据审核:当采集到新的元数据时,数据管理者需按照元数据标准对采集元数据进行审核,审核内容包括:元数据是否符合元数据标准、元数据业务负责人是否正确、表和字段等信息是否合规等;b)元数据检索:数据管理者、数据开发者、数据提供者和数据使用者可通过输入元数据名称等关键信息对元数据进行检索,检索后可查看元数据的详细信息,包括但不限于:存储信息、字段信息、表注释、血缘信息;c)元数据修改:当业务发生变化或元数据存在质量问题时,数据开发者需对技术元数据进行重新采集更新,并对主题域、标签等业务元数据进行维护修改;d)元数据删除:若元数据存在重复信息或元数据信息不再被业务所使用时,由数据开发者对相关的元数据进行删除操作,并通过短信、邮件等方式及时通知元数据相关使用方;e)元数据版本管理:数据管理者对元数据进行版本管理,对元数据变更进行监控,详细记录元数据的历史变更记录,支持元数据的版本对比;同时,支持元数据变更通知,通过订阅短信、邮件等方式向下游应用及时发送变更的元数据详情;f)元数据访问权限控制:元数据管理者需严格控制和管理用户对元数据的访问权限,确保只有经过授权的用户才能够查看和修改元数据。元数据应用.1概述元数据应用主要包括元数据查询、血缘分析、影响分析和数据地图等。.2实施步骤元数据应用包括但不限于以下内容:a)元数据查询:通过元数据名称、分类等信息检索查询,能够快速定位元数据,并以树形导航、关系图等可视化方式直观展示元数据详情及其关系;b)血缘分析:通过追踪和记录数据的上游信息和处理过程,找到所有元数据对象以及这些元数据对象之间的关系,用于追溯元数据的来源和加工过程;数据开发者使用在元数据模型完成元数据采集后,通过算法追踪元数据的流程路径,梳理元数据间的血缘关系(如上游、父子关系等),并以图形化方式对血缘关系进行可视化呈现;c)影响分析:主要剖析和记录元数据的下游数据信息,找到依赖于该对象的处理过程或其他数据对象,用于评估元数据变更或删除时带来的影响;数据开发者使用元数据模型完成元数据采集后,通过算法追踪元数据的流程路径梳理元数据间的依赖关系(如下游、父子关系等),并以图形化方式对影响分析进行可视化呈现;d)数据地图:元数据地图是一种图形化的数据、管理工具,提供多层次的图形化展示,以满足业务使用、数据管理、开发运维等不同应用场景的查询和分析需求,对采集的各类元数据进行梳理并实现关联,通过算法沟通元数据地图并以可视化的方式进行展示,主要展示内容为各类元数据、元数据间的关系和分布等。DB3209/T1320—202594.2数据标准4.2.1标准规划概述通过数据标准调研、业务分析等工作,构建契合业务实际的数据标准体系框架和分类,并制定出数据标准分阶段、分步骤的实施路线。实施步骤标准规划主要从以下几个方面开展:a)数据调研规划:数据管理者需组织相关管理人员、业务专家、技术专家及数据专家等组成数据标准责任组,该责任组负责收集国家、省级和行业公共数据平台业务相关数据标准,从管理层面、业务运行实际状况以及数据现状等多个维度开展调研工作,具体调研内容包括但不限于:现有数据业务定义、数据标准分类、数据标准编码、数据元定义和属性、数据元使用情况以及数据模式;b)职责明确:数据管理者需依据数据标准调研结果,结合公共数据平台业务需求和数据特点,明确数据标准管理工作涉及的相关职责;c)标准申请提出与审核:各业务数据责任人根据业务发展的实际需求,提出数据标准新增、修改、删除的申请,并由数据管理者组织人员对这些标准进行审核。4.2.2标准制定概述数据标准制定是在完成标准分类规划的基础上,定义数据标准及相关规则。数据标准的定义的关键在于数据元及其属性的确定,且整个过程需严格遵循共享性、唯一性、稳定性、可扩展性、前瞻性、可行性六大原则。实施步骤标准制定主要从以下几个方面开展:a)分析现状:数据标准责任组需依据业务调研和信息系统调研的详细结果,深入分析并归纳数据标准现状与存在的问题,了解数据标准在各业务应用中的作用和存在的问题,同时厘清数据标准对业务流程、业务协同的影响;b)确定数据标准及其属性,形成初稿:基于数据标准分类框架,依据国家、行业以及省级的相关规定,结合业务应用的实际需求,明确数据标准的业务属性、技术属性、管理属性等具体内容,主要涵盖数据主题、信息大类、信息小类、信息项、数据类型、数据长度、数据定义、数据规则、数据字典等关键要素,最终形成标准草稿。4.2.3标准发布概述数据标准发布在标准定义工作初步完成后,需广泛征询相关部门的意见,在完成意见分析和标准修订后,正式实施标准发布。实施步骤标准发布主要分为以下几个步骤:a)意见征询与修订:数据标准制定完成后,数据管理者负责向数据提供者、数据使用者等各方广泛征求意见;数据标准责任组根据各方反馈的意见进行标准修订,并将修订结果提供给数据管理者进行审议;b)批准发布:数据标准审议通过后,由数据决策者进行批准,随后正式发布数据标准。DB3209/T1320-20254.2.4标准执行概述数据标准执行需强化对业务和数据相关人员的培训与宣贯工作,将发布的数据标准切实应用于业务应用和系统建设,消除数据不一致问题。实施步骤标准执行主要从以下几个方面开展:a)评估确定落地范围:数据标准责任组根据业务现状、数据质量情况及数据使用优先级等因素,确定数据标准落地范围,并提交给数据管理者进行审核;b)制定落地方案:数据标准责任组依据确定的落地范围和优先级,制定数据标准落地方案,落地方案需明确数据标准管理工具的要求、数据标准落地的执行计划、数据标准落地的责任部门及相关风险和应对策略等关键内容;c)推动方案执行:数据管理者按照业务条线和技术条线,组织数据标准责任组对数据提供者、数据使用者等相关方就数据标准和其落地方案开展培训和宣讲工作;数据标准责任组组织并分析数据标准要求与现状的实际差异,确定标准执行方案和计划,推动数据标准在相关业务系统中落地;d)跟踪评估成效:数据管理者制定数据标准评估指标体系,数据标准责任组定期组织分析各业务部门对数据标准落地的实施成效,跟踪监督标准落地流程的执行情况,收集标准修订需求,并将存在的问题上报数据管理者。4.2.5标准维护概述数据标准维护宜涵盖标准的新增、变更、废止、版本管理以及定期审查等方面工作。实施步骤标准维护主要从以下几个方面开展:a)标准维护、更新和定期审查:数据管理者常态化开展数据标准定期审核和维护工作,当业务发展变化或数据标准执行效果不佳时,由数据提供者、数据开发者、数据使用者等相关数据责任方提出数据标准新增和变更申请,数据标准责任组收集变更需求,评估变更的影响范围和影响级别,并提交给数据管理者,及时对相应的数据标准进行新增和变更,且标准新增和变更需遵循标准编制、审核、发布的相关规定;b)标准复审、废止:修订后的数据标准由数据管理者进行复审,数据开发者、数据提供者、数据使用者需依据修订的数据标准开展相关工作;对复审结果为废止的数据标准,数据管理者需依规予以废止;c)标准版本管理:数据管理者对数据标准的新增、变更等所有修订进行版本管理,确保数据标准体系的完整性和一致性。4.3数据质量4.3.1数据质量需求确立概述数据质量需求确立为数据管理者度量和管理数据质量提供明确的目标和依据。数据质量需求确立应紧密结合数据治理组织的数据管理目标、数据使用者的实际业务需求以及行业监管的相关要求,通过科学合理的流程和方法,明确数据质量目标与范围,构建数据质量评价指标框架,实现对数据质量的实时监控和定期评估。实施步骤DB3209/T1320—2025数据质量需求确立步骤如下:a)制定数据质量目标:数据管理者向各数据使用部门下发《数据质量需求调研表》(见表B.1),全面收集各部门对数据质量的具体需求信息,数据管理者与开发者根据调研情况,结合当前数据质量现状,以提升数据质量价值为导向共同制定数据质量目标;数据管理应定义数据质量检查、质量分析、质量评估、质量提升等各个环节的管理流程和规范,明确各环节的内容、职责,并定期对数据质量管理流程进行评估和优化;b)建立数据质量管理机构和机制:数据质量管理应遵循“谁提供、谁负责,谁使用、谁负责”的原则,明确数据质量管理中各参与方的角色和职责;数据治理组织应建立健全数据质量管理的协调机制,定期召开数据质量会议,及时解决数据质量管理过程中出现的问题,确保数据质量管理工作的顺利开展;c)设计数据质量评价体系和规则库:数据管理者在充分调研和归集数据提供部门、数据使用部门相关数据质量需求的基础上,围绕规范性、完整性、准确性、一致性、有效性和可访问性六大维度,针对数据库(表、字段、记录)、数据接口、数据文件和数据集等评估对象组织并设计数据质量评价体系,构建数据质量规则库,并提交数据质量组织的数据决策者进行评审,确保评价体系全面、科学、合理。4.3.2数据质量检查概述数据质量检查是数据开发者根据数据质量标准和质量规则库,制定数据质量检查计划与方案,对数据质量情况进行实时、动态监控,以便及时发现数据质量问题,并迅速向数据管理者和数据提供者进行反馈。实施步骤.1制定质量检查计划在数据管理者、提供者和使用者三方密切配合的基础上,数据质量开发者根据数据质量需求的优先级、数据质量标准以及数据质量规则要求,针对各业务领域制定差异化的数据质量检查计划,并明确数据提供者在数据在积累坚持过程中的责任,对数据进行定期的质量检查和评估。.2明确数据质量检查方法数据质量检查方法,包括但不限于:a)程序自动校验:应用数据质量管理工具开展自动校核工作,通过制定数据质量检核方案,精准配置数据质量规则,制定合理的数据质量任务调度计划,并实时监控质量任务执行情况和状态,一旦发现任务异常情况,及时进行告警和反馈,并将检核到的问题数据记录到问题数据库中,主动生成问题数据工单,便于问题工单派发和处理;b)人工对照校核:主要由数据提供者对照数据质量标准和数据质量检核规则,通过编写SQL脚本等人工方式对数据中的错误和不一致进行识别和记录;c)人机交互:数据开发者充分结合人工检查和数据质量工具的优势,通过人工设置规则和参数,先使用工具进行检查,再由人工对检查结果进行审核和确认。.3管理数据质量问题数据质量问题管理工作需要从以下几个方面开展:a)问题识别:通过程序自动校核和人机交互方式,对数据进行实时检查和监控,识别数据生命周期各个阶段的数据质量关键因素,包括数据采集、存储、处理、传输、使用和销毁等b)问题登记与分析:对于程序自动校核和人机交互发现的问题数据,由数据开发者在数据质量问题管理系统中进行登记,同时对登记问题进行初步分析,确定问题的根源和影响范DB3209/T1320-2025c)问题整改责任分配:根据问题分析结果,生成问题整改责任工单,明确整改责任人、整改要求和整改期限,对于程序自动校核和人机交互发现的问题数据,整改责任工单应派发给数据提供者进行处理;对于人工检查发现的问题数据,由数据提供者自行负责管理和整d)问题整改与复审:数据提供者根据整改责任工单的要求,对问题数据进行整改,并对整改后的问题进行复审,复审通过后归档,不通过则继续进行整改直至审核通过。4.3.3数据质量分析概述数据质量分析旨在对数据质量检查过程中发现的数据质量问题及相关信息展开全面评估和深入分析,找出影响数据质量的根本原因,并合理定义数据质量问题的优先级,从而为数据质量提升工作提供参考依据。数据质量分析宜遵循“分层分级、持续度量”的原则,围绕数据质量评价指标框架进行开展。主要涵盖数据质量报告的设计、开展数据质量分析、数据质量分析结果等方面。实施步骤.1制定评估分析方法与指标数据管理者根据数据质量评价指标框架制定组织层面的数据质量问题评估分析方法,从规范性、完整性、准确性、一致性、有效性和可访问性六个维度制定数据质量评估指标。具体如下:a)规范性(见表2);表2规范性评估指标指标编号指标名称指标描述数据标准数据模型元数据);表3完整性评估指标);DB3209/T1320—2025表4准确性评估指标示例:性别一栏不能出现男/女以外的内容;d)一致性(见表5);表5一致性评估指标e)有效性(见表6);表6有效性评估指标性f)可访问性(见表7);表7可访问性评估指标.2选择数据质量工具数据质量工具需依据数据质量评估指标和分析方法,根据数据质量检查的实际情况和数据使用情况,对各业务领域的数据质量进行综合评估,并定期生成数据质量评估报告。数据提供者可以依据数据质量评估报告对关键数据质量问题的根本原因、影响范围进行分析,并针对性地开展数据质量改进工作。.3构建数据质量知识库数据管理者与数据提供者需高度重视对关键数据质量问题分析,同时注重知识沉淀,同时积极维护数据质量知识库,逐步形成数据质量分析案例库,有效提升数据治理各参与方对数据质量的关注度。4.3.4数据质量提升概述数据质量提升是对数据质量问题进行评估分析后,制定并实施数据质量提升方案,方案主要涵盖的内容包括:错误数据整改、业务流程优化、应用系统问题修复等多个方面。数据质量提升贯穿数据使用的全流程,通过数据质量控制确保数据质量改进的成果发挥作用。实施步骤.1制定提升方案DB3209/T1320-2025数据管理者与数据提供者根据数据质量评估和分析的结果,结合数据质量问题的影响范围和严重程度,确定数据质量问题提升的优先级。同时按照数据管理要求制定数据质量提升方案,提升方案包括:错误数据更正措施、业务流程优化策略、信息系统问题修复计划、问题责任人和整改时间等关键要素。.2确定整改措施针对不同的数据质量问题,制定差异化的数据质量改进措施。具体如下:a)针对源头数据质量问题,建立源头数据标准与使用数据标准的对比机制,由数据提供者负责数据质量改进,保障源头数据的准确性和可靠性;b)针对流程引起的数据质量问题,建立数据流转机制,监控流转过程中的数据质量问题;c)针对技术原因造成的数据质量问题,定位分析数据问题产生的环节,从数据采集、存储、处理、共享等全生命周期各环节进行技术升级和优化;d)针对人员操作带来的数据质量问题,进一步完善数据质量管理制度,明确工作目标、角色和职责,优化人员配置,加强人员培训和管理,从源头上进行预防。.3问题持续改进问题持续改进宜从以下几个方面开展:a)数据管理者需根据数据质量提升情况,及时开展成果评估和验收,验证数据质量提升的有效性。对未达到预期效果的问题数据,数据提供者需进行确认,并及时优化整改方案,持续改进直至问题关闭,同时避免同类问题重复发生;b)数据管理者和数据提供者需积极收集、整理各类数据质量改进案例、经验和知识,逐步形成数据质量知识库,为数据质量提升方案的制定、数据质量问题的预防提供帮助;c)数据管理者组织并推动建立良好的数据质量文化,通过开展数据质量相关培训、宣贯等活动,不断提升各部门的数据质量意识。4.3.5数据质量控制概述通过“事前预防、事中控制、事后补救”的有效策略来实现数据质量控制,确保数据的可用实施步骤数据质量控制从以下几个方面开展:a)事前预防:依据数据质量管理机制和责任分工,对数据质量各责任部门进行责任宣贯,按照国家、行业、地方等数据标准制定数据质量标准,构建数据质量规则库;借助数据质量工具,对数据源头系统进行数据质量探查,支持在无特定规则的情况下,对数据完整性、重复性、空值率和结构等关键指标进行检测,并对探查结果进行统计分析;同时,加强数据质量的培训和意识培养工作,提高各部门对数据质量的重视程度和认识水平;b)事中控制:在数据流转和应用过程中,设置关键质量控制节点,依据数据质量评价指标框架和质量规则库开展数据质量稽核,针对问题数据进行预警,同步形成数据质量报告;对突出的质量问题进行定位分析和原因分析,追溯源头问题。对数据质量问题进行分类统计,形成数据质量报表;c)事后补救:持续开展数据质量检测和探查工作,对数据的产生、汇聚、加工、存储到应用各环节进行数据质量管理;对数据应用过程中监控到的数据质量问题统一汇聚到数据质量问题库,便于后期进行质量分析和跟踪;对发现的各类问题数据,根据实际情况采取4.4数据服务4.4.1数据服务需求分析DB3209/T1320—2025数据服务需求分析应结合数据使用者的需求场景和使用范围,判断数据服务的建设方式,涵盖新建服务、直接复用、变更服务等类别。对于已有的数据服务,宜优先采用直接复用或服务变更的方式,减少重复建设;针对新建服务,应明确数据服务类型、数据内容、数据资源、数据使用范围和时效性等要求;服务变更时,应明确变更的原因、内容、责任人和时间等。4.4.2数据服务设计概述数据服务设计需注重业务、应用、管理和能力等方面的特性,主要提供的数据服务包括但不限于:数据接口服务、数据集服务。实施步骤.1数据接口服务设计数据提供者为用户提供数据服务的接口,类型包括但不限于查询、更新、删除。用户可通过调用数据接口使用对应的数据。如数据提供者不具备数据接口开发能力,可通过公共数据平台进行数据接口生成。数据接口服务设计宜遵循以下原则:a)数据接口应具备高内聚、松耦合的属性;b)每个接口都要有明确的定义,包括URI、输入参数、输出参数、处理错误等;c)接口设计需严格遵循REST的接口规范,以保证接口的可用性和可维护性,REST服务消息封装应符合HTTP1.0/1.1标准,并标明REST操作;d)接口输入参数应允许在header里输入授权验证相关参数,当传递参数为中文字符时,应采用UTF-8编码;e)接口返回参数应采用固定格式封装,如XML、JSON等;f)服务接口调用失败时,应通过返回码响应;g)数据提供方应对每条申请授权唯一的接口授权码。.2数据集服务设计数据提供者为满足用户需要,依据用户的具体需求、应用场景和标准,提供定制化服务,为用户提供相对完整的数据集,用户可以直接使用数据集进行分析决策。由数据提供者负责审批数据访问授权。数据集服务设计宜遵循以下要求:a)可以将同一业务对象的一个或多个逻辑实体封装为一个数据集服务;b)可以将单个逻辑实体及其关联数据合并封装为一个数据集服务;c)不宜将跨业务对象的多个逻辑实体合并封装为一个数据集服务;d)可将单个主题连接的逻辑数据实体封装为一个或多个数据集服务;e)可将由多个主题连接的逻辑数据实体组成的多维模型整体封装为一个数据集服务;f)不宜将多个主题连接数据资产直接合并封装为一个数据集服务。4.4.3数据服务管理概述数据服务管理应充分考虑服务变更内容与服务变更影响,针对不同服务类型制定数据服务管理流程,保障服务可用性。实施步骤.1数据接口服务管理数据接口服务应规范数据接口的定义、调用方式、数据格式等内容,通过数据接口访问数据时,宜具备自动监管和异常处理能力,并对接口服务进行统一管理。具体要求包括但不限于:DB3209/T1320-2025a)接口服务注册:数据提供者进行接口注册,并提供对应的接口负责人信息,便于进行技术和问题对接;b)接口服务在线测试:数据使用者根据接口服务使用文档对接口服务进行测试;c)接口服务发布:数据提供者负责对接口服务进行统一发布,发布信息包括但不限于:服务名称、服务类型、服务协议、服务版本、访问路径、数据协议、输入参数和输出参数;d)接口服务变更:数据提供者对已发布的服务接口进行变更时,不可影响服务接口的正常使用;如接口服务已被使用,新版本发布后需及时通知使用者在规定期限内应用新版本接口e)接口版本管理:确保不同版本间的相互兼容,避免因版本更新导致的数据丢失或错误;f)接口服务巡检:通过接口服务实时巡检,及时发现异常情况,确保接口的正常运行,还需制定接口服务故障处理流程,快速响应和处理接口故障;g)接口服务申请使用:数据使用者提出接口服务使用申请后,数据提供者进行审核授权后,为数据使用者提供接口唯一授权码。数据使用者使用接口授权码进行权限验证,进行接口调用。.2数据集服务管理数据集服务基于数据服务目录进行服务。具体要求包括但不限于:a)服务目录注册:数据提供者进行数据服务目录编制注册,并确保目录信息的完整和技术更新,目录信息包括但不限于:数据资源名称、数据资源摘要、数据起始日期、数据更新周期、数据格式、数据量;b)服务目录发布:数据提供者或数据开发者将数据集挂接到对应的数据服务目录下,并与服务目录进行关联,通过公共数据平台进行发布,并做好运维服务和动态更新;c)服务目录变更:数据提供者对已发布的数据服务目录进行变更时,不能影响服务的正常使用;服务目录变更宜说明变更原因、时间和内容,并进行版本控制,保证服务目录的时效性和可用性。4.4.4数据服务安全数据服务安全应满足GB/T35274、GB/T37988、GB/T43697的要求。4.5数据安全4.5.1实施数据分类分级数据分类结合盐城市公共数据所涉及的范围,应按照GB/T43697的要求,根据需要从主题、行业、数据特征和服务等维度对公共数据进行分类。若现有分类无法满足工作需要,可根据实际业务情况另行建立。具体如下:a)按照主题分类,包括但不限于:——社会民生;——城市治理;——市场监管;——环境保护;——安全生产;——其他;b)按照行业分类,包括但不限于:——农、林、牧、渔业;——采矿业;——制造业;——电力、热力、燃气及水生产和供应业;——建筑业;DB3209/T1320—2025——批发和零售业;——交通运输、仓储和邮政业;——住宿和餐饮业;——信息传输、软件和信息技术服务业;——金融业;——房地产业;——租赁和商务服务业;——科学研究和技术服务业;——水利、环境和公共设施管理业;——居民服务、修理和其他服务业;——教育;——卫生和社会工作;——文化、体育和娱乐业;——公共管理、社会保障和社会组织;——国际组织;c)按照数据特征分类,包括但不限于:——根据结构化特征分类,包括但不限于:l结构化数据;l半结构化数据;l非结构化数据;——根据资源类型分类,包括但不限于:d)按照服务维度分类,包括但不限于:——根据数据共享属性分类,包括但不限于:l无条件共享数据;l有条件共享数据;l不予共享数据;——根据数据开发属性分类,包括但不限于:l无条件开放数据;l有条件开放数据;l不予开放数据。数据分级遵循科学实用、综合判定,就高从严、分级管控和动态更新的原则,依据公共数据平台相关数据的敏感程度,以及数据遭篡改、破坏、泄漏或非法使用后对受影响对象的影响程度,应按GB/T43697的规定,结合盐城市公共数据在经济社会发展中的重要程度,基于数据影响对象与影响程度两个分级要素,开展数据分级工作。具体如下:a)影响对象:通常包括国家安全、经济运行、社会秩序、公共利益、组织权益、个人权益。影响对象判定的主要因素应符合GB/T43697的要求;b)影响程度:根据数据安全属性遭到破坏可能产生不同程度的影响,分为无危害、一般危害、中等危害、严重危害;c)分级规则:根据公共数据平台数据遭篡改、破坏、泄漏
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年医务室服务合同
- 2025年智能温控家居设备项目可行性研究报告
- 2025年绿色建筑设计与实施可行性研究报告
- 2025年产业园区综合服务平台项目可行性研究报告
- 2025年电商供应链优化系统可行性研究报告
- 消费券发放协议书
- 纯电车保价协议书
- 交房结算协议书
- 中韩萨德协议书
- 医疗器械注册专员面试题及答案解析
- 四川省医疗服务价格项目汇编(2022版)
- 2025年全面解析供销社财务人员招聘考试要点及模拟题集锦
- 供应室无菌消毒课件
- 造船行业工期保证措施
- 2024部编版七年级道德与法治上册背记知识清单
- 《中药化学化学中药学专业》课程教学大纲
- 人教版七年级上册地理全册重要知识点每日默写小纸条(含答案)
- 2025年三力测试题库及答案大全
- 线路交维管理办法
- 2025年高速公路新能源汽车充电桩建设社会稳定风险评估报告
- 模具质量全流程管控体系
评论
0/150
提交评论