DB14∕T 3185-2024 能源监管服务数字化平台 通 用数据治理规范

ICS35.240.99

CCSF07

14

山西省地方标准

DB14/T3185—2024

能源监管服务数字化平台

通用数据治理规范

Digitalplatformforenergyregulatoryservices—Generaldata

governancespecification

2024-12-25发布2025-03-25实施

山西省市场监督管理局发布

DB14/T3185—2024

目次

前言..................................................................................II

1范围................................................................................1

2规范性引用文件......................................................................1

3术语和定义..........................................................................1

4缩略语..............................................................................2

5平台数据治理基本要求................................................................2

6平台数据治理流程....................................................................3

7平台数据资产管理要求................................................................3

8平台数据治理过程要求................................................................4

参考文献...............................................................................7

I

DB14/T3185—2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件由山西省能源局提出、组织实施和监督检查。

山西省市场监督管理局对标准的组织实施情况进行监督检查。

本文件由山西省能源标准化技术委员会(SXS/TC42)归口。

本文件起草单位：山西大数据产业发展有限公司、精英数智科技股份有限公司、山西省能源发展中

心、山西阳光三极科技股份有限公司、华为技术有限公司、山西潞安环保能源开发股份有限公司。

本文件主要起草人：刘耀宏、郭力源、孙宇彤、王璠、张汉超、邵国荣、张洪波、赵芮、王晓宇、

孙洁、苏玉勤、赵存会、李晓方、高雪淇、张永森。

II

DB14/T3185—2024

能源监管服务数字化平台通用数据治理规范

1范围

本文件规定了能源监管服务数字化平台的通用数据治理流程和相关的要求规范。

本文件适用于能源监管服务数字化平台中能源数据的治理工作。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T34960.5-2018信息技术服务治理第5部分：数据治理规范

GB/T35295-2017信息技术大数据术语

GB/T36073-2018数据管理成熟度评估模型

DB14/T2936-2023能源监管服务数字化平台通用要求

DB14/T2937-2023能源监管服务数字化平台数据共享交换要求

DB14/T2939-2023能源监管服务数字化平台数据采集要求

3术语和定义

下列术语和定义适用于本文件。

3.1

能源监管服务数字化平台digitalplatformforenergyregulatoryservices

在自动化、信息化、智能化等相关技术的支撑下，对能源监管需求信息进行采集、存储、分析、治

理、发布，围绕生产经营、安全监管、双碳管理等方面有效实施动态监管，并能为能源企业、产业链上

下游企业等提供智能化服务的数字化智慧平台。

注：以下简称平台。

[来源：DB14/T2936-2023，3.1]

3.2

大数据bigdata

具有体量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含

大量数据集的数据。

[来源：GB/T35295-2017，2.1.1]

3.3

数据治理datagovernance

对数据进行处置、格式化和规范化的过程。

[来源：GB/T35295-2017，2.1.43]

3.4

结构化数据structureddata

1

DB14/T3185—2024

一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用

关系模型予以有效描述。

[来源：GB/T35295-2017，2.2.13]

3.5

半结构化数据semi-structureddata

一种结构化数据表示形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，

但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。

[来源：DB14/T2939-2023，3.4]

3.6

非结构化数据unstructureddata

不具备预定义模型或未以预定义方式组织的数据。

[来源：GB/T35295-2017，2.1.25]

3.7

元数据metadata

定义和描述其它数据的数据。

[来源：GB/T34960.5-2018，3.6]

3.8

数据域datafield

按照特定层次、功能划分对数据资产按照业务领域进行数据分类。

3.9

数据标准datastandard

数据的命名、定义、结构和取值的规则。

[来源：GB/T36073-2018，3.7]

3.10

数据资产dataasset

组织拥有和控制的、能够产生效益的数据资源。

[来源：GB/T36073-2018，3.3]

3.11

数据入湖dataintothelake

数据入湖是对结构化、半结构化和非结构化数据的逻辑汇聚，将数据源系统中的原始数据采集到数

据湖中。

4缩略语

下列缩略语适用于本文件。

RESTFUL：网络应用程序的设计风格和开发方式（RepresentationalStateTransfer）

MQ：消息队列（MessageQueue）

5平台数据治理基本要求

5.1应对接入平台的能源领域生产经营、监管服务过程中产生的数据进行治理，能源领域包括煤炭行

业、电力行业、油气行业、新能源和可再生能源行业。

5.2应对平台采集、存储的各类数据进行治理。基于数据的组织和存储形式，数据分类如下：

2

DB14/T3185—2024

a）结构化数据，如企业基本信息、指标数据等；

b）半结构化数据，主要为以json、xml等格式存储的数据集、AI分析结果等；

c）非结构化数据，如监控视频片段、图片、文本文档等。

6平台数据治理流程

数据治理上游为数据采集系统，下游为业务应用系统，业务系统对共享数据利用而产生的数据，继

续通过数据采集系统入湖，形成治理流程循环，见图1。数据治理由以下五个阶段组成：

a）数据入湖，基于交互机制、入湖方式，将数据采集系统的多源多模态数据进行统一存储；

b）数据标准化，按照标准化步骤，采用标准化方式，对入湖数据进行标准化；

c）数据处理，采用数据处理方式，对标准化后数据进行高阶处理分析；

d）数据存储，设计数据的存储机制、存储策略、存储方式，对数据进行存储；

e）数据共享，建立统一共享交互机制，通过共享方式，向下游业务应用系统共享数据资产。

数据采集系统业务系统

数据共享

物联网设备数据数据处理产业洞察和决策支撑

数据

数据存储资产

管理

业务系统数据生产经营

数据标准化

外部政务数据安全监管

数据入湖

外部行业数据保障支撑

图1平台数据治理流程

7平台数据资产管理要求

7.1数据资源目录管理

7.1.1应构建统一的能源数据资源目录对平台采集、存储的各类数据进行管理，包括但不限于物联网

设备数据、业务系统数据、外部政务数据、外部行业数据等。

7.1.2能源数据资源目录应采用层次化的数据域设计及管理模式，分层要求如下：

a）一级数据目录，数据资源目录的最高层级，应对入湖能源数据按照业务领域划分数据域，如按

照能源生产消费环节，分为能源生产数据、能源存储数据、能源运输数据、能源消费数据等数

据域，或按照行业、产业，分为煤炭产业数据、电力产业数据、油气产业数据、新能源与可再

生能源产业数据等数据域；

b）二级数据目录，应为能源企业数据域下互不重叠的数据分类，用于管理关系密切的业务对象；

c）三级数据目录，应为描述能源企业业务领域中承载业务运作与管理的业务对象。

7.1.3对于三级数据目录中的业务对象，应明确定义其属性数据的范围。

3

DB14/T3185—2024

7.1.4数据资源目录应对数据治理全流程的数据资产进行统一管理。

7.2元数据管理

7.2.1元数据应明确表达数据本身含义以及数据上下游关系。

7.2.2元数据管理应能通过元数据准确定位数据资产。

7.2.3元数据管理应覆盖元数据的创建、存储、整合、控制各环节。

7.2.4数据入湖应创建相应元数据。

7.2.5数据治理各阶段产生的元数据应在数据湖分类存储、统一管理。分类类别包括数据入湖、数据

标准化、数据处理、数据共享。

7.2.6应基于数据资源目录，整合数据治理各阶段元数据，并按主题域对元数据进行划分。

7.3数据治理标准管理

应建立通用的能源数据治理标准，能源数据治理标准设计应符合如下要求：

a）应兼容已有的国家标准、行业标准、地方标准，应符合实际、可执行；

b）对能源安全域、人员域、工业视频域等数据域下的业务含义与标准表中数据字段含义进行关联

设计；

c）应清晰定义数据字段名称、字段含义、数据格式、单位、数据类型等内容，应符合数据字段含

义、字段命名和数据使用的一致性原则，不允许存在“同名异义”或“同义异名”；

d）应及时更新维护。

8平台数据治理过程要求

8.1数据入湖

8.1.1数据入湖应满足如下原则：

a）逻辑统一，根据数据类型、行业领域等统筹规划物理存储位置，并通过统一的元数据规则进行

定义和管理；

b）原始记录，数据湖是对原始数据的汇聚，除在某些特殊场景下的视频数据外，其余数据建议保

持原始特征，为后续数据加工和消费提供更多方便。

8.1.2应根据数据类型、上游数据变化频率、业务场景需求，选择数据入湖方式，包括：批量集成入

湖、数据复制同步入湖、消息集成入湖、流集成入湖及数据虚拟化入湖等。

8.2数据标准化

数据标准化过程要求对入湖存储的数据依据数据治理标准进行标准化处理，通过标准化计算后保证

数据质量及规范性，便于数据共享消费服务，应包括以下治理步骤：

a）数据拆分，按照逻辑拆分，数据量增加但拆分出来的数据结构一致；

b）数据分发，按照分发规则将数据分发到不同表，数据量不变；

c）数据补充，进行外部数据关联计算，数据量不变；

d）数据验证，进行空值校验、正则校验（字符串长度验证、字符类型验证）、枚举校验（范围）；

e）数据转换，进行单位转换、类型转换。

8.3数据存储

8.3.1基本要求

4

DB14/T3185—2024

在数据治理过程中，应区分能源数据来源，基于OT数据和IT数据产生机制，设计差异性存储策略，

灵活响应业务应用需求。

8.3.2增量数据

对于增量数据存储设计，应满足以下要求：

a）应根据上游数据的变化频率和下游数据的实时性要求，设置增量数据的同步频率；

b）应设计分区逻辑，进行数据分区并设置分区字段；

c）应设置数据存储时间，避免海量增量数据导致的存储不足。

8.3.3数据分区

应根据数据的特性设置合理的分区字段，如，人员精准定位相关数据应以人员为分区字段，实时报

警数据则应以时间为分区字段。

8.3.4存储时间

应根据数据类型设置合理的存储时间。如重大设备数据的产生频率较高、数据量也较大、历史数据

具备较强的参考意义，应按照月存储级别或者年存储级别进行存储。

8.3.5数据归档

应针对存储时间较长但对历史数据访问频率较低的数据进行归档，自动将超过设定存储时长的数据

进行归档。

8.3.6存储方式

应根据数据特点选择适合的存储方案，具体要求包括：

a）对访问频繁度不同的数据应选择冷热存储方案，如对需频繁访问的数据自动调整到内存或者快

速读写的磁盘中，提供快速的数据访问服务，将访问频率较低的数据调整到正常读写的磁盘中，

并能支持冷热数据的自动调整；

b）应满足结构化、半结构化、非结构化业务数据的存储要求，存储整体应采用对象存储或者文件

存储方式，如人员基础信息结构化数据的存储、矿压矿震类半结构化数据的存储、视频和图片

类非结构化数据的存储；

c）应满足上层业务应用系统对数据的使用需求，提供不同的存储方式，如面向常见的业务系统，

宜采用结构化行式存储，便于业务应用的快速访问，面向数据分析、数据统计等业务场景，宜

采用列式存储，便于数据间的快速计算；

d）对结构化数据以及重要的半结构化、非结构化数据，应采用分布式系统存储，应对存储不均匀

的情况，设置自动平衡策略，保证存储资源利用率。

8.4数据处理

8.4.1基本要求

数据处理应对入湖的结构化、半结构化、非结构化数据进行处理，实现基于复杂业务逻辑的数据指

标计算。

8.4.2结构化数据

5

DB14/T3185—2024

对于结构化数据处理，应满足以下要求：

a）应采用图形化操作处理和SQL窗口处理两种方式进行处理，图形化处理用于降低使用成本，通

过自由组合和选择计算函数完成业务场景下的数据处理，SQL窗口处理用于业务计算逻辑较为

复杂多变的场景；

b）应进行数据拆分、数据路由等操作。

8.4.3半结构化数据

对半结构化数据处理，应满足以下要求：

a）应按照业务需求转换为结构化数据；

b）应进行数据拆分、数据路由等操作。

8.4.4非结构化数据