T∕CERS 0164-2025 能源大数据中心 实时数据集成技术要求

ICS35.240.50CCSL67T/CERS0164—2025 5 5 T/CERS0164—2025本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国能源研究会提出。本文件由中国能源研究会信息通信专业委员会归口。本文件起草单位：贵州电网有限责任公司数智运营中心、贵州电网有限责任公司、国网福建省电力有限公司信息通信分公司、朗新科技集团股份有限公司、国能信息技术有限公司、中国电力建设股份有限公司、广东顺畅科技有限公司、中能国研（北京）信息通信科技有限公司、中能国研(北京)电力科学研究院。本文件主要起草人：李文科、田钺、柳林均、董若烟、黄笠煌、吴漾、卢妤、王益彰、姚舜、张钊、田昌源、郑蔚涛、余翔、王亚辉、杨军伟、曹慧、张春林、严强、白敬强、梁志琴、黄慕夏。本文件为首次发布。本文件在执行过程中的意见或建议反馈至中国能源研究会。相关意见反馈联系方式：中国能源研究会标准执行办公室（E-mail：cers@；电话。1T/CERS0164—2025能源大数据中心实时数据集成技术要求本文件提供了能源大数据中心实时数据集成的技术要求，包括总体框架、数据来源、数据同步、数据整合、任务管理、运行监测，以及数据安全方面的相关要求。本文件适用于指导省（区、市）、市(州、盟)、县（市、区、旗）等各级能源大数据中心在及时性业务场景下的实时数据集成工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239-2019信息安全技术网络安全等级保护基本要求GB/T29870-2013能源分类与代码GB/T35274-2023数据安全技术大数据服务安全能力要求GB/T35295-2017信息技术大数据术语GB/T36635-2018信息安全技术网络安全监测基本要求与实施指南GB/T37025-2018信息安全技术物联网数据传输安全技术要求GB/T37722-2019信息技术大数据存储与处理系统功能要求GB/T37973-2019信息安全技术大数据安全管理指南GB/T39786-2021信息安全技术信息系统密码应用基本要求GB/T40685-2021信息技术服务数据资产管理要求3术语和定义下列术语和定义适用于本文件。3.1能源大数据energybigdata以能源为核心，广泛关联相关维度的开放性数据体系，涵盖煤炭、石油、天然气、电力、热力、新能源和可再生能源等各类能源形式，涉及能源生产、传输、转换、存储、交易、消费等环节，以及能源系统、环境气象、社会经济和政策法规等与能源行业密切相关的海量数据。[来源：T/CSEE0309.2-2022，3.1.1，有修改]3.2能源大数据中心energybigdatacenter实现区域内能源大数据采集汇聚、加工应用、运营管理的综合性大数据平台，主要包括数据接入、数据存储、数据共享、数据应用等功能。[来源：T/CSEE0309.2-2022，3.2.2，有修改]3.3实时数据realtimedata在数据产生后极短时间内（通常为毫秒级、秒级或分钟级）就能被捕获、处理、应用的数据。3.4实时数据集成real-timedataintegration将来自不同来源的数据进行即时收集、整合、转换，集成到一个统一的数据模型或数据集的过程。2T/CERS0164—20254缩略语下列缩略语适用于本文件。API：应用程序编程接口（ApplicationProgrammingInterface）DB：数据库（Database）DAG：有向无环图（DirectedAcyclicGraph）HTTP：超文本传输协议（HypertextTransferProtocol）MQ：消息队列（MessageQueue）SQL：结构化查询语言（StructuredQueryLanguage）5总体框架能源大数据中心实时数据集成框架由数据来源、数据同步、数据整合、运行监测、任务管理、数据安全6个主要部分组成，具体如下图1所示：能源大数据中心的数据主要来自于各数据提供方，包括各类能源企业、政府部门等，保障能源大数据中心数据资源的覆盖性与多元性，是实时数据集成作业的基本前提。数据同步部分是能源数据流转的核心执行环节，通过“实时为主、离线为辅”的接入策略，搭配多类同步与分类存储方式，保障数据高效进入能源大数据中心。数据整合部分是实现数据集成目标的核心环节，将接入能源大数据中心的数据进行清洗、转换、融合操作，形成完整、一致、高质量的数据集，以满足数据存储和应用需求。运行监测部分实现对数据集成任务全过程状态的监控展示，包括总体指标展示，以及单个任务运行状态等的全程监督、异常告警等，帮助用户掌握全局运行情况。任务管理部分是实时数据集成作业的全程操作与管控中枢，为整个实时数据集成作业提供可视配置、任务流管控、运行测试与模拟，并辅以数据校验、容错机制等功能。数据安全部分保障能源大数据中心数据集成全生命过程的安全、可靠性，确保数据在各项操作过程中处于有效保护和合法利用状态。图1能源大数据中心实时数据集成框架3T/CERS0164—20256数据来源6.1数据来源范围应参照GB/T29870-2013中关于能源种类的分类，能源大数据中心归集的数据包括各类能源形式和能源产品在规划、建设、生产、储运、消费、交易等过程中产生的数据，以及经济、工商、交通、气象等与能源数据应用相关的其他领域数据。在上述前提下，能源大数据中心的数据来源如下：a)能源企业，包括煤炭、电力、石油、天然气、新型储能、氢能等从事能源生产、加工、运输、销售等的企业，以及供电、供水、供气、供冷/热等能源供应企业；b)政府部门，包括统计、工商、气象、大数据等各级人民政府以及组成部门、所属或派出机构；c)能源服务商，包括为用能单位、能源企业等能源提供能源设施运行管理、综合能源服务、能源托管运维服务、技术解决方案的能源管理、物业管理类企业；d)用能单位，包括消耗一次能源、二次能源等用于生产生活的企业、事业单位、行政机关、社会团体等独立核算单位；e)其他单位或组织，包括以数据为生产经营关键要素的数据商、掌握某专业领域数据资产或产品开发的企业，以及开展能源相关研究的科研机构等。6.2支持的数据类型能源大数据中心实时集成应支持的数据源类型包括：a)存储在关系型数据库（如MySQL、Oracle、DB2、PostgreSQL、达梦数据库等）、非关系型数据OpenTSDB等）中实时和准实时更新的数据；webservice、websocket、RESTfulAPI、gRPC等）方式动态流入的数据。7数据同步7.1数据接入策略能源大数据中心的数据接入包括实时接入与非实时接入两种类型，开展实时数据集成作业应采用“实时为主、离线为辅”的策略，并满足下列要求：a)在新增数据源的首次对接同步场景，需考虑批量历史数据的初始化操作，在批量数据完成质量校验后，再进行增量数据追加，直至数据同步进入实时状态；b)在数据实时接入过程中，应保证数据从源头产生至到达能源大数据中心的动态、连续、低延迟特征，保障其以实时和近实时状态处理和分析，具体可根据业务进行调整；c)定时批量接入作为补充方式，适用于存量数据量大且实时性要求相对宽松的场景，批量线上接入应设定周期性执行，具体频率依据业务需求和系统处理能力确定；d)在日常数据同步过程中，宜采用异步的、非侵入性的技术路线（如基于日志的变化数据捕获降低对数据提供方业务运行的影响。7.2数据同步方式能源大数据中心需提供多种数据同步方式，满足各类接入数据高效完成传输过程。a)应支持日志、时间戳、标志位、触发器、全表拷贝等主流数据同步技术路线，以适应不同的业务场景、不同的同步策略，保障数据传输过程的安全、可靠；b)应支持关系型和非关系型数据库表、数据文件、数据接口、消息队列方式的数据同步；c)数据库表同步应支持全量同步和增量同步两种模式，数据同步频率应根据数据使用的时效性需求，以及库表数据变化频率等进行动态调整；d)数据文件同步应采用全量同步和增量变化定时同步、按需指定范围同步三种模式；e)基于接口的数据同步宜采用API（应用程序接口）模式，通过数据请求发起、响应接收、格式解析、规则处理等步骤，实现数据的定期同步与更新，保障源端与目标端数据一致性；4T/CERS0164—2025f)基于消息队列方式的数据同步宜支持将数据封装成消息的模式，通过包括消息的定义、发布、订阅、消费等步骤，实现数据的及时更新同步。7.3数据分类存储能源大数据中心应按照GB/T37722-2019中6.1的规定支持流式数据的实时入库，并支持对接入数据的行式存储、列式存储、向量存储、时序存储和图存储。8数据整合8.1数据清洗在数据进入能源大数据中心后，需按照国家、行业标准或相关约定的数据业务规则和相关标准要求进行数据清洗，保障加载至目标端数据的准确性、完整性、一致性、可用性。a)宜支持通过规则库、版本管理等方法对数据清洗规则进行可视化配置与管理，实现规则的便捷新增、修改、生效及历史版本追溯，保障数据处理过程的可管控性与可追溯性；b)宜采用交叉验证、异常检测、重复识别，以及异常替换、字段去重等方式，进行异常值、重复值识别与处理，确保数据内容的准确性、唯一性；c)宜采用缺失值分析、必要字段检查、完整性约束检查（数据库层面以及填充默认值、插补算法等，进行数据缺失情况识别和填补，确保数据的完整性。8.2数据转换在数据清洗的基础上，通过数据格式转换、类型转换、数据规一化等操作，将异构数据源数据转换为目标存储与分析格式，为后续能源数据的融合与具体业务应用提供支撑，具体要求如下：a)宜根据目标数据集存储和应用要求，支持将结构化数据、非结构化数据、时序数据等多类型数据的转换、适配：b)宜支持在统一标准下实现各来源数据在数据格式、数据编码的调整，如将多种样式的日期格式统一为规定格式，将不同编码的文本数据转换为统一的编码；c)宜支持基于统一的业务语义标准（如术语体系、指标定义、统计口径等实现不同来源的数据在业务术语、口径规则层面的归一化映射与标准转换；d)宜支持不同数据存储模型的适配转换（如将星型模型转换为宽表模型等通过存储模型的匹配转换，提升数据存储与业务应用场景的适配性。8.3数据融合对于跨业务数据的分析场景，可基于转换后的标准化数据，对不同来源的能源数据进行关联整合、联合计算等，形成跨领域、跨业务的统一数据集，具体要求如下：a)宜支撑熟悉以唯一标识（如能源设备ID、用户编号、统一社会信用代码）为核心，关联同一对象在不同数据源的信息，形成基于对象的数据匹配关联；b)宜支持按照指定字段对多个数据进行合并或操作，将多个数据源的数据合并成一个数据集，或将一个数据源的数据拆分成多个数据集；c)宜支持按照一定的规则对目标数据进行字段计算，并输出新的数据字段或数据集。9任务管理9.1任务配置与管理能源大数据中心应通过创建、执行、管理数据集成任务，实现对按规定模版或自定义编码情况下的数据集成作业任务的全过程管理，具体要求如下：a)宜支持通过可视化界面或模板形式创建流处理、流批一体同步任务，并提供任务详细配置能力，包括数据源连接、数据同步模式（单表、多表）、同步字段、同步目标、执行频率（定时执行、触发执行）、数据清洗规则、数据转换与融合规则等，实现任务全过程管理；b)宜支持被授权用户通过连接器、SQL、JAVA或其他程序语言等进行数据源的连接配置，并支持对数据源连接状态的测试和连接状态显示（成功/失败对已配置数据源详情和测试等操作过程5T/CERS0164—2025可查看、编辑、删除并全程留痕；c)宜支持通过DAG工作流（一种用于任务调度和执行的工具，广泛应用于数据处理、自动化工作流管理等场景）等方式配置数据集成任务及任务间的依赖关系，设定任务的优先级并具备自动化执行数据追补的能力；d)宜支持分布式任务调度，配置任务重试（默认3次，可自定义重试间隔时间）、失败回调、异常自动重启等，确保实时数据集成同步执行的可靠性；e)宜支持对跨系统交互、高数据量级并发任务的场景模拟，校验指令响应时间是否满足需求、集群吞吐量和资源利用率是否合理，确保数据流转的一致性，以及系统运行的高效稳定；f)宜支持根据数据源和数据集成融合任务自动生成目标端数据集成库表，并进行简单配置，支撑快速完成数据转换与融合计算；g)宜支持被授权用户对数据集成任务的统一管理，包括但不限于新增、删除、修改，以及任务的审核、启停等操作。9.2校验和容错机制在数据集成过程中，需提供数据异常校验和任务运行异常的容错机制，避免数据丢失和重复处理，提升数据同步过程的稳定性和可靠性。a)宜采用汇总对账、明细对账、表级校验、字段级校验、业务合理性校验等来保障数据的一致性、完整性、准确性，具体的数据校验策略可根据业务需要酌情配置；b)在数据集成过程中宜具备断点续传、失败回滚等容错机制，以保障在异常情况下任务进程的完整性、连续性。c)宜制定数据集成任务相关功能的版本迭代与规则更新机制，对数据接口、处理规则、安全策略等进行动态更新，确保系统兼容性与扩展性。10运行监测系统运行监测实现对全部数据集成任务的核心指标和运行状态的可视化展示，帮助运维人员及时掌握任务运行动态，保障数据集成链路的运行稳定性。a)宜支持能源大数据中心数据集成任务各项关键指标的实时统计数据和总体运行状态展示，包括任务执行总数、成功率、失败率、数据吞吐量、延迟时间等；b)宜支持展示各数据集成任务运行健康状态，包括各系统组件(如数据源连接、任务调度器等)的运行状态、接入时效等情况，包括CPU利用率、内存利用率、网络带宽占用情况等；c)宜支持数据集成任务配置、运行等过程中异常情况的分级告警，并记录故障详情，对于关键业务任务，告警后30分钟内未处理或恢复正常的应转人工工单流程；d)宜将数据集成过程纳入平台数据全链路监控范畴，支持展示各数据集成任务与上游源表、下游能源大数据中心库表及数据处理、分析任务间的血缘关系。11数据安全能源大数据中心需严格遵循相关法律法规、标准，以及上级单位的管理规定，加强数据安全管理，保障数据集成全生命过程的安全合规性，确保相关数据处于有效保护和合法合规利用状态。a)应根据相关法律法规和GB/T37973-2019的规定，开展能源大数据中心实时数据集成的安全控制，包括数据集成各个环节的安全评估、防控、监测预警、应急处置等；b)应按照GB/T22239-2019的规定，对能源大数据中心落实网络安全等级保护，以及关键信息基础设施安全保护要求；c)应按照相关法律法规以及管理规定的要求，将实时数据集成活动纳入能源大数据中心数据安全风险评估工作的必要性内容和重点评估范畴，及时发现和整改相关风险问题；d)应按照业务需要和最小授权原则，对涉及能源大数据中心实时数据集成过程中相关的人员设定数据处理权限，并控制重要数据、核心数据接触范围，发生人员和职责变动时应及时调整权限；e)应按照GB/T39786-2021的规定和国家密码主管部门认可使用的密码算法、安全可信产品和服务加强数据保护，对涉及核心数据安全事件处置、溯源的相关日志，留存时间不少于三年；6T/CERS0164—2025f)应依照相关法律法规和合同约定，履行与委托方（如某能源企业）约定的数据采集、存储、处理责任与义务，未经委托方明确授权，不得擅自留存、使用、泄露或者向他人提供委托方数据；g)应按照GB/T37973-2019中8.2的规定，支持数据接入的安全管理措施，包括数据源明确、敏感信息识别、隐藏政策说明、身份验证鉴权、网络