（高清版）DB12∕T 1304-2024能源大数据 数据归集规范

EnergybigdataDataingestionspec2024-02-19发布2024-03-19实施DB12/T1304—2024I本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件由天津市互联网信息办公室提出并归口。本文件起草单位：国网天津市电力公司、天津市大数据管理中心、天津大学、天津能源投资集团有限公司。本文件主要起草人：王洋、杨一帆、项添春、边柯柯、刘宁、刘津、孔祥玉、张永跃、周虎、王旭强、王尊、班全、张毅、于海涛、董阳、郑阳。DB12/T1304—2024能源大数据数据归集规范本文件规定了能源大数据的数据归集范围、数据归集流程、数据归集要求、数据维护要求和数据安全要求。本文件适用于市、区、园区等各级能源大数据中心的能源数据归集工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T35295-2017信息技术大数据术语GB/T36073-2018数据管理能力成熟度模型GB/T37973-2019信息安全技术大数据安全管理指南GB/T37988-2019信息安全技术数据安全能力成熟度模型GB/T38673-2020信息技术大数据大数据系统基本要求GB/T38664.1-2020信息技术大数据政务数据开放共享第1部分：总则3术语和定义下列术语和定义适用于本文件。3.1可以直接或通过能量转换方式从原材料、自然资源及技术系统中提取或回收能量的资源，包括煤炭、原油、天然气、煤层气、核能、风能、太阳能、地热能、生物质能等一次能源和电力、热力、成品油等二次能源。3.2能源大数据energybigdata包括能源类数据、政务数据、其他数据。3.3能源大数据中心energybigdatacenter区域内全品种全过程能源大数据和相关公共数据采集、汇聚、加工、应用的数据中心。3.4数据提供者dataprovider将数据或信息引入能源大数据中心的公司或组织，用以提供数据给其他参与方进行数据访问、处理和分析。注：数据提供者一般包括：企业、公共机构、科学家、调研人员、从[来源：GB/T35295-2017,2.1.5]2DB12/T1304—20243.5结构化数据structureddata一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。[来源：GB/T35295-2017,2.2.13]3.6非结构化数据unstructureddata不具备预定义的数据模型或固定格式的数据类型。3.7数据安全datasecurity保护数据的机密性、完整性和可用性。[来源：GB/T36073-2018,3.11]3.8数据质量dataquality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[来源：GB/T36073-2018,3.10]3.9各级政务部门及其技术支撑单位在履行职责过程中依法采集、生成、存储、管理的各类数据资源。[来源：GB/T38664.1—2020,3.1]3.10数据归集Dataingestion从各种来源收集信息，并将其以汇总格式呈现以进行数据处理或分析的过程。4总体要求4.1数据归集工作在采集、传输、存储、处理等方面安全应符合GB/T37973-2019的要求。4.2数据归集应具备可追溯性，记录并保留归集过程中历史数据的变化和移动情况。4.3数据归集应具备数据完整性，数据归集过程中不应造成数据的缺失和遗漏。4.4数据归集应具备数据一致性，应如实准确地处理数据，且与源端数据保持一致。4.5能源大数据数据归集架构图见图1。3数据归集流程数据归集流程数据归集范围能源大数据业务应用数据安全要求采集安全存储安全隐私安全数据归集要求数据维护要求图1能源大数据中心数据归集架构图能源大数据中心负责能源类数据、政务数据、其他数据归集工作；涉及的政务数据需按政务信息资源共享管理办法要求，完成政务类数据对接工作后向能源大数据中心进行共享，并应满足GB/T38664.1-2020要求，具体内容如下：——能源类数据：煤炭、原油、天然气、煤层气、核能、风能、太阳能、地热能、生物质能等一次能源和电力、热力、成品油等二次能源在生产、运输、消费、运营和管理过程中产生的数——政务数据：各级政务部门及其技术支撑单位在履行职责过程中依法采集、生成、存储、管理——其他数据：与能源行业密切相关的宏观经济运行、生态环境、地理信息、气象、法律法规等能源大数据的数据归集流程包括数据采集、数据整合、数据分析、数据更新；能源大数据的数据资源按照贴源层、共享层和分析层三个层次进行存储。具体流程见图2。4结构分析趋势分析异动分析共享层数据贴源层能源类数据政务数据尽企业政府部门能源数据其他单位气象数据电力公司燃气公司供热公司其他数据对比分析分析层经济5DB12/T1304—2024量、实时接入，支持采用数据抽取、数据同步、数据接口、消息队列、网页抓取和数据填报等方式。7.2.2数据量较大、单批量接入可能会造成系统故障的，应采用分批7.3接入时效要求数据接入应采用实时接入或批量接入的方式。7.4数据存储要求7.4.1应按照GB/T数据存储和图数据存储，支持对外数据及文件交换。7.4.2应支持通过标准模型对接入的数据进行格式化、规范化、一致性转换，满聚和多维分析等要求。8数据维护要求8.1更新维护要求归集数据应真实可用，已归集的能源数据应按时进行更新。当已更新数据不满足应用需求时，数据提供者应对自身源数据进行更新检查，配合数据更新工作。8.2质量维护要求针对已归集的数据，能源大数据中心应对归集的数据进行校验，包括字段类型校验、数据条目数校验、数据内容校验等。对于未通过校验的数据反馈给数据提供者进行修正。9数据安全要求9.1采集安全效性和最少够用等原则要求。9.1.2应明确数据采集渠道、规范数据格式以及相关的流程和