DB52-T 1541.10-2025 政务数据平台 第10部分：主题数据库建设基本要求

ICS01.040.3552IDB52/T1541.10—2025前言 12规范性引用文件 13术语和定义 1 2 3 4 （规范性）主题数据库建设实施流程9 （规范性）主题数据库命名设计10附录C（资料性）系统表创建相关示例 DB52/T1541.10—2025本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件是DB52/T1541的第10部分。DB52/T1541已经发布了以下部分：——第1部分：建设指南；——第2部分：数据归集规范；——第3部分：数据存储规范；——第4部分：接口规范；——第5部分：安全技术规范；——第6部分：面向全网搜索应用的数据处理规范；——第7部分：运维管理规范；——第8部分：运营机构服务规范；——第9部分：数据分发规范。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由贵州省大数据发展管理局提出并归口。本文件起草单位：贵州中软云上数据技术服务有限公司。本文件主要起草人：朱永龙、关艳梅、韦超、杨建雄、罗森、钟恺馨、骆进、任凯、顾怀要、秦晓东、杨建国、郑如顺、常丹丹、王班凤、郑洁。DB52/T1541.10—2025政务数据平台是承载、治理和利用贵州政务数据的核心载体，是推动贵州一体化政务大数据体系建设的重要基础设施，其建设发展对提升公共服务和社会治理水平、助推政府数字化转型、激活数据要素价值具有重要意义，是贵州数字政府建设的重要组成部分。为深化政务数据平台建设，贵州省出台了系列标准，以加强大数据创新成果转化，助推政务数据资源体系规范构建。DB52/T1541系列作为贵州省政务云标准体系的重要组成部分，旨在进一步规范政务数据的采集、存储、整合、共享开放和开发利用等环节有关技术和管理服务要求，拟由10个部分组成，以后根据工作需要，再视情增补。——第1部分：建设指南。目的在于为政务数据平台建设提供原则性指导。——第2部分：数据归集规范。目的在于为政务数据归集确立相关技术要求。——第3部分：数据存储规范。目的在于为政务数据存储提供技术性指导。——第4部分：接口规范。目的在于为政务数据平台数据接口确立相关技术要求。——第5部分：安全技术规范。目的在于为政务数据平台安全的规划、建设和管理提供原则性指——第6部分：面向全网搜索应用的数据处理规范。目的在于为政务数据平台全网搜索应用的数据处理活动确立相关技术要求。——第7部分：运维管理规范。目的在于指导政务数据平台运维管理工作。——第8部分：运营机构服务规范。目的在于为运营服务提供机构的选择评估、服务管理水平的评价和运营机构的自我改进提供原则性指导。——第9部分：数据分发规范。目的在于为政务数据平台的数据分发提供技术性指导。——第10部分：主题数据库建设基本要求。目的在于为政务数据平台的主题数据库建设提出相关指导和要求。通过明确政务数据平台主题数据库建设的有关原则和要求，有助于推动各类主题领域数据资源在业务、数据、技术层面实现规范化的汇聚、治理、共享与应用，加快具有贵州特色的政务数据资源体系构建，提升政务大数据应用能力和公共服务水平。DB52/T1541.10—20251政务数据平台第10部分:主题数据库建设基本要求本文件规定了政务数据平台主题数据库建设的术语和定义、原则、框架和要求。本文件适用于政务数据平台主题数据库建设的规划、实施、管理与应用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239—2019信息安全技术网络安全等级保护基本要求DB52/T1540.2政务数据第2部分：元数据管理规范DB52/T1540.3政务数据第3部分：数据清洗加工规范DB52/T1540.4政务数据第4部分：数据质量评估规范DB52/T1541.2政务数据平台第2部分：数据归集规范DB52/T1541.4政务数据平台第4部分：接口规范3术语和定义下列术语和定义适用于本文件。政务数据平台governmentdataplatform依托政务云计算平台搭建，承载政务数据并支撑数据统筹存储、统筹治理、统筹应用和统筹安全的基础信息技术平台。[来源：DB52/T1541.3—2020,3.1]主题数据库subjectdatabase针对特定应用主题将存在内在逻辑关联关系的各类数据有序汇聚形成的指定数据库。[来源：DB52/T1541.6—2021,3.8,有修改]数据共享交换平台governmentdataexchangeplatform汇聚发布政务数据资源目录，整合共享数据资源，统一为政务部门提供查询、校验、批量交换等数据共享服务，支持跨地区、跨层级、跨部门的数据资源共享交换与业务协同的基础信息技术平台。[来源：DB52/T1540.1—2021,3.3.5,有修改]2DB52/T1541.10—20253.4贴源层operationaldatastore存储由源系统采集而来、未经处理的原始数据。[来源：DB52/T1541.2—2020]3.5标准层standarddatamodel存储经过清洗加工后符合质量要求的可复用的标准化数据。3.6主题层datamart存储整合后面向业务、应用的数据集合。[来源：DB52/T1541.2—2020]3.7结构化数据structureddata一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。[来源：GB/T35295—2017，2.2.13]3.8非结构化数据unstructureddata不具有预定模型或未以预定方式组织的数据。[来源：GB/T35295-2017，2.1.25]3.9元数据metadata关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和数据易变性的数据。[来源：GB/T35295—2017，2.2.7]4原则主题数据库建设遵循以下原则：a)依托统一载体开展建设：宜部署在政务外网并依托政务数据平台进行集约化建设，按不同主题域进行分类整合与归集，基于治理后的数据通过数据共享交换平台提供数据服务与应用；b)应用场景设计明晰：宜围绕经济社会发展的某一主题领域，由来源于同一组织或不同组织的关联业务数据围绕共享应用的重构逻辑进行数据的归集、治理和整合应用，业务需求驱动特点明显，数据应用场景设计宜具有高效、实用、灵活、可持续扩展等特点；c)结合业务和技术需求选型：数据库产品服务选型宜考虑技术适配性、技术栈兼容性和性能效率等特性要求，支持云原生和分布式架构，结构设计宜易于维护和扩展，所选数据库能够支持预期工作负载和数据类型，并兼顾考量未来发展创新的路线及愿景；d)强化数据治理和质量管理：宜利用数据治理技术进行数据采集汇聚和标准化处理，避免数据缺失和遗漏。不能虚构或篡改数据，治理过程中注重数据质量管理，确保数据完整、真实、一致；e)保障安全性与合规性：实施适当的数据访问控制和身份验证措施，避免数据被未授权访问。DB52/T1541.10—202535框架5.1主题数据库建设包括需求分析、数据目录编制、数据库设计与创建、数据治理、数据服务与应用5大核心环节和运维管理、安全保障2大体系。主题数据库建设总体框架图见图1。图1主题数据库建设总体框架5.2主题数据库建设包括以下内容：a)需求分析：包括应用、数据、管理、安全和功能性能等需求维度分析，为后续设计实施提供基础，确保主题数据库建设设计贴合业务需求；b)数据目录编制：包括数据目录编制、目录审查、目录发布、共享申请等，为主题数据归集、治理和建设管理提供依据，确保后续各参建单位对主题业务应用理解和协作一致；c)数据库设计与创建：包括数据库设计、数据库选型和数据库创建等流程，为主题数据库成功创建提供支撑，确定主题数据库建设产出的载体形态；d)数据治理：包括数据采集、数据入库、数据清洗加工、数据整合、数据接口、数据质量等环节，为提升数据质量和数据管理水平提供保障；e)数据服务与应用：包括运行监控、查询校验、标签服务、指标统计和个性化场景服务等方式，确保主题数据库建设目标和成效的实现，助推数据价值发挥；f)运维管理体系：为主题数据库稳定高效运行并保持业务连续性提供保障和支撑；g)安全保障体系：为主题数据库稳定运行提供必要的安全屏障和防线。5.3主题数据库建设的实施流程见附录A。DB52/T1541.10—202546要求6.1需求分析6.1.1应用需求分析6.1.1.1明确主题领域的行业管理单位和关联单位，宜由行业管理单位作为主题数据库的建设单位。6.1.1.2分析应用目标时应对各单位的主题应用需求进行归类整合，明确围绕建设目标涉及的业务范围边界。6.1.1.3结合应用目标对主题数据库建设涉及的业务对象、对象分类、对象间关系以及与其他关联的数据资源库关系进行初步分析。6.1.2数据需求分析6.1.2.1在规定业务范围内对主题业务关联的数据需求进行梳理，形成初步数据需求清单。6.1.2.2围绕初步数据需求清单，分析数据的来源单位。来源单位数据应是各业务部门在依法履职过程中生成、采集的原始或经初始化处理的数据资源。6.1.2.3大数据主管单位宜基于数据共享交换平台共享数据资源目录提供必要的共享协调。6.1.3管理需求分析6.1.3.1对主题数据库建设各阶段涉及的建设单位和关联建设单位管理职责分工进行梳理。6.1.3.2对主题数据库的数据采集管理、归集管理、共享管理、应用管理需求进行规范，规划配套相应的管理规范。6.1.4安全需求分析6.1.4.1基于政务数据平台的安全保障体系，结合应用、数据、管理需求按照“同步规划、同步建设、同步使用”原则进行强化安全防护的需求分析。6.1.4.2结合政务数据分类分级有关要求，主题数据的安全级别不宜低于一般数据第二级。6.1.4.3梳理需配套的数据安全管理制度，包括数据安全保密、数据备份与恢复、数据安全应急管理等要求。6.1.5功能性能要求6.1.5.1结合需求分析，比对数据类型格式支持和分布处理数据、多线查询数据、在线事务处理、数据分析等能力，进行主题数据库选型分析。6.1.5.2分析主题数据库的事务响应时间、吞吐量、并发用户数、数据访问和处理效率等性能指标。6.1.5.3规划主题数据库对外提供服务应用的方式，宜包括但不限于应用程序接口（API）、库表、文件等方式。6.2数据目录编制6.2.1.1建设单位应在数据需求分析的基础上组织编制主题数据库数据目录。比对初步数据需求清单和数据共享交换平台的共享数据目录，对已上架数据共享交换平台的数据进行订阅。对未上架数据共享交换平台的数据，应协同大数据主管单位对其可能来源单位进行目录数据来源确认。DB52/T1541.10—202556.2.1.2主题数据库数据目录的信息项应包括但不限于数据资源中文名称、来源单位、来源系统名称、数据共享属性、数据开放属性、数据级别等。建设单位对经确认的数据目录进行汇总检查后报大数据主管单位审查。6.2.3.1大数据主管单位将审查通过的数据目录在数据共享交换平台上发布。6.2.3.2审查未通过的数据目录由建设单位落实修正后再提交大数据主管单位审查直至通过并发布。6.2.3.3主题数据库数据目录由建设单位负责维护。6.2.4共享申请6.2.4.1数据来源单位依据发布的数据目录将主题数据上架数据共享交换平台。6.2.4.2建设单位对已上架的主题数据进行使用申请，并通过数据共享交换平台获取接口文件、库表数据、文件数据等。6.3数据库设计与创建6.3.1数据库设计6.3.1.1在需求分析的基础上，应进行概念设计、逻辑设计和物理设计等系统化设计。6.3.1.2概念设计应结合业务需求分析、数据目录及分类、业务关系、语义关系等，提取业务实体和实体属性，使用实体关系模型来表示业务实体、属性，以及实体与属性之间的关系。6.3.1.3逻辑设计应在概念设计基础上进行数据规范化与结构优化，指定符合每个属性的数据类型，使用适当的连接表优化实体之间的关系，初步设计索引策略，确定具体的表结构、键和索引。6.3.1.4应结合政务数据平台的云化环境对逻辑设计进行物理实现设计，包括但不限于设计数据存储方式、优化性能和索引策略、制定数据备份计划等。6.3.1.5为增强主题数据库设计的可读性和可维护性，宜提升命名设计的规范性。主题数据库命名设计见附录B。6.3.2数据库选型6.3.2.1主题数据库应结合业务需求和数据库设计要求进行数据库产品选型。6.3.2.2对以结构化主题数据为主的数据，应优先选择行列式表的关系型数据库进行存储；对于非结构化数据，如文本、图片、视频等，可以采用非关系型的数据库或云上文件服务器进行存储。6.3.2.3主题数据库建设应优先选择具有统筹安全、统管统维、性能良好和维护成本相对低等特点的云化数据库产品。数据量小的主题数据库应优先选择小型数据库产品；针对数据处理量大和并发请求高的大规模主题数据库，应优先选择分布式数据库产品。6.3.2.4主题数据库故障时其对外服务应能够自动迁移到备份节点并及时恢复服务，保证服务不受到影响。6.3.2.5主题数据库选型应考虑可扩展性，以满足业务增长对数据存储、数据处理和数据应用等方面的扩展需求。DB52/T1541.10—202566.3.3数据库创建6.3.3.1按照主题数据库设计要求，基于已选定的数据库类型，创建数据库租户、用户和数据库，并导入表结构创建脚本进行表创建。6.3.3.2对存在需提高查询性能或满足特定业务需求等特殊情况，可以采用冗余存储方式进行数据存储，添加冗余的关联列。6.3.3.3数据库表字段应至少添加时间戳、有效标识、记录版本等标记。6.3.3.4应选择业务唯一标识ID作为表主键，主键不具有可更新性；为关联字段创建外键时，外键需关联唯一的键字段。6.3.3.5主题数据库创建要依托政务数据平台环境开展网络配置、库实例参数配置、访问控制、初始化数据导入配置、功能性能测试等准备工作。6.3.3.6主题数据库系统表应能存储和管理数据库相关元数据，以提升库表创建的规范性。系统表创建相关示例见附录C。6.4数据治理6.4.1数据采集6.4.1.1应结合主题数据库数据目录，针对不同源数据提供合适的采集策略，支持文件、库表、接口等结构化及文本、图像、音视频等非结构化数据类型的采集，并保存数据采集过程中的记录监控，对采集异常情况及时预警。6.4.1.2数据采集应按照DB52/T1541.2的规定执行。6.4.2数据入库6.4.2.1数据采集入库前应进行归集数据与源数据的一致性、完整性等检查，入库前的数据应具备合规性。6.4.2.2可以采取手动添加、自动化工具数据同步、API接口、数据仓库技术等方式将数据采集入库。历史数据应按照历史版本统一管理。6.4.2.3经检查入库的数据统一存储在主题数据库贴源层。6.4.3数据清洗加工6.4.3.1主题数据的清洗加工应符合DB52/T1540.3的规定。6.4.3.2结构化数据应按照预定义规则和约束，借助ETL（数据提取、转换和加载）等工具来开展数据一致校验、去重、空值处理、类型转换、异常值检测修正等清洗加工操作，得到标准化数据。6.4.3.3非结构化数据应重点创建和维护元数据，如标签、分类和描述，以增强非结构化数据的可发现性和可管理性。必要时，可增加对自动化元数据提取技术的应用，包括但不限于如图像识别技术、语音识别技术、光学字符识别技术和自然语言处理技术等。6.4.3.4对贴源层数据进行清洗加工操作后，形成处理后的标准化数据，存储在主题数据库标准层。6.4.4数据整合6.4.4.1清洗加工后的标准化数据应以业务应用为导向，对不同来源单位、层次、区域、行业等业务数据之间的关系进行关联分析，并基于唯一主键生成整合结果表。6.4.4.2数据整合主要包括转换和整合两种方式：a)转换可按以下方式：DB52/T1541.10—20257•合并：将标准层中的多个字段经过算术运算或逻辑运算后，形成主题数据库中的一个字段，包括字符型字段值的连接；•拆分：将标准层中一个字段经算术或逻辑运算后，对应到主题数据库中的多个字段，或该字段为字符型字段值拆分成若干个子串后，每个子串对应于主题数据库中的一个字段。b)整合：根据库表类数据资源之间关联关系将不同数据资源进行关联整合，整合后可实现库表数据联合查询。6.4.4.3对于异构数据的整合处理，应将非结构化数据转换为结构化数据，建立不同数据源间字段的对应映射关系，或将数据集成到一个统一的视图或数据仓库中，按需进行数据聚合、汇总、计算或关联，或设计使用数据融合算法，确保异构数据在融合后保持一致，避免冲突。6.4.4.4经整合后的数据，应统一存储于主题数据库主题层中，并结合政务数据分类分级有关要求，进行主题数据分类分级属性管理。6.4.4.5主题层数据的元数据梳理和管理应按照DB52/T1540.2的规定执行，支撑主题数据库建设应6.4.5数据更新应制定来源数据更新策略，保障主题数据更新及时、准确。当来源数据更新时，应重复依照主题数据库的数据治理步骤对更新数据进行采集、入库、清洗加工、整合。6.4.6数据接口主题数据库建设涉及的接口设计、封装、应用应符合DB52/T1541.4有关要求。6.4.7数据质量6.4.7.1依托政务数据平台的质量管理系统对主题数据库建设的归集数据进行质量管控，提前规划统一入库数据的标准，通过质量管理系统预设验证规则如非空验证、值域验证、唯一性验证等。6.4.7.2数据质量评估应按照DB52/T1540.4的规定进行，并定期对已入库数据实施质量核查。6.5数据服务与应用6.5.1运行监控依托数据共享交换平台的数据监控功能从主题业务、数据汇聚、数据更新、数据共享、数据应用等维度建立直观的监控可视化，支持建设单位快速了解主题数据库的管理应用水平和服务能力。6.5.2查询校验6.5.2.1一般通过接口方式提供标准的数据一致性查询比对服务。6.5.2.2对需在标准查询基础上作进一步大规模比对校验的数据应用需求，可由建设单位协同大数据主管单位，通过共享交换机制一事一议调度通过后，采取库表方式进行大批量的比对校验和结果反馈。6.5.3标签服务通过对数据进行整合比对、分析和计算等生成具有实际业务意义的标签字段，并将标签数据通过统一的接口服务提供给需求单位查询使用。DB52/T1541.10—202586.5.4指标统计根据主题数据库的业务应用需求，通过对数据进行统计计算、分类计算、整合计算和关联计算等方式构建统一或个性化的指标服务清单，将形成的指标数据结果通过数据查询接口提供服务支撑。6.5.5个性化场景服务根据需求单位个性化场景应用需求提供定制化接口封装、数据计算和功能实现等服务。6.6运维管理依托政务数据平台建立主题数据库全面运维管理体系，提供可视化监控和智能运维支撑。6.7安全保障6.7.1按照人员岗位和接触重要数据的密切程度，将人员分为核心人员和一般人员。核心人员应进行重点管理培训，建设运维重点责任的核心人员宜进行背景审查。项目参与的人员应签订安全责任承诺书，并将安全责任落实到具体实施人员。6.7.2主题数据库的网络安全等级保护应满足GB/T22239—2019规定的第三级别要求。6.7.3结合数据安全分类分级情况，坚持涉密数据不上政务数据平台。敏感数据应加密传输，并加强数据对账、安全审计等防止数据泄露或被篡改。6.7.4应定义数据访问权限和安全策略，明确用户角色和权限级别。6.7.5应建立7×24日常安全运维监测管理制度，定期对主题数据库进行漏洞扫描服务、安全渗透测试、代码审计服务、安全加固服务、安全监测等安全检测和修复升级工作，保障系统安全运行。DB52/T1541.10—20259主题数据库建设实施流程主要包括建设单位、大数据主管单位、数据来源单位和技术服务单位四类对象，其核心流程主要分为建设规划（包含需求分析和数据目录编制）和数据治理应用（包含数据库设计与创建、数据治理、数据服务与应用）两大阶段。主题数据库建设实施流程图见图A.1。流程步骤如下：a)建设单位制定建设规划，总体组织协调目录编制工作；b)数据来源单位配合主题数据库目录的编制工作，按照目录提供数据资源；c)大数据主管单位对编制的目录进行审核，协调解决相关数据来源单位在主题数据库建设及运行过程中出现的问题；d)目录审查通过后，建设单位发布数据目录；e)各数据来源单位根据目录将数据上架至数据共享交换平台，主题数据库建设单位通过平台对数据进行归集、治理、存储和管理，形成主题数据库，支撑业务应用。图A.1主题数据库建设实施流程图DB52/T1541.10—2025主题数据库命名设计B.1对象命名表B.1给出了主题数据库对象的命名规则。表B.1对象命名规则1表23456B.2表命名表B.2给出了主题数据库表的命名规则，具体如下：a)表名称只能使用英文小写，不允许使用其他数字或特殊字符等；b)单词之间只能下划线'_'连接；c)表命名遵循简洁明了原则。表B.2表命名规则1无21．表名称不规范的适当做修2．如遇贴源层多张表整合到32)dm模式：<业务简写>_<对象描述>[_加工类无注：<>尖括号中的内容为必须项，适用于所有用户名模式层中的对象，DB52/T1541.10—2025B.3表字段命名表字段命名规则如下：a)一律使用小写字母，多个单词用下划线'_'分隔；b)字段填写中文描述信息；c)字段名称一般采用名词或动宾短语，多个单词用下划线'_'分隔；d)采用字段的名称易于理解，一般不超过三个英文单词；e)不宜在列的名称中包含数据类型；f)示例1、示例2给出了规范命名的具体例子。DB52/T1541.10—2025系统表创建相关示例C.1表存储信息视图下面给出了表存储信息视图的创建脚本示例。CREATEVIEW"view_tabf.tablename))));DB52/T1541.10—2025C.2字段存储信息视图下面给出了字段存储信息视图的创建脚本示例。replace(replace(d.description,chr(13),''::text),chr(10),''::text)ASfile_ORDERBYt.typname,c.relname,a.attnum;DB52/T1541.10—2025C.3枚举映射存储信息表下面给出了枚举映射存储信息表的创建脚本示例。"table_name"varchar(200)COLLATE"pg"file_name"varchar(100)COLLATE"p"file_name_zh"varchar(200)COLLATE"p"code"varchar(20)COLLATE"name"varchar(100)COLLATE"file_stand"varchar(100)COLLATE"pg"file_url"varchar(100)COLLATE);COMMENTONCOLUMN"my"."sys_enume"."table_name"IS'表名称';COMMENTONCOLUMN"my"."sys_enuCOMMENTONCOLUMN"my"."sys_enume"."file_name_zh"IS'字段描述';COMMENTONCOLUMN"my"."sys_COMMENTONCOLUMN"my"."sys_enume"COMMENTONCOLUMN"my"."sys_enumC.4数据条数和更新时间表下面给出了数据条数和更新时间表的创建脚本示例。CREATETABLE"system"schemaname"varchar(100)COLLATE"pg"table_name"varchar(200)COLLATE"pg"table_name_zh"varchar(3000)COLLATE"pg);COMMENTONCOLUMN"system"."uptab_info_dttm"."schemaname"ISCOMMENTONCOLUMN"system"."uptab_info_dttm".