《电力数据资产高质量供给管理规范》编制说明

1T/NSSQXX-2024本文件规定了电力数据资产高质量供给管理的相关要求，包括电力数据的分类、采集、存储、治理、资产形成以及管理等方面。本文件适用于电力企业在电力数据资产高质量管理方面的建设、运营和管理，包括但不限于发电企业、输电企业、配电企业、售电企业、电力科研机构、数据服务提供商等。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239-2019信息安全技术网络安全等级保护基本要求GB/T22240-2020信息安全技术网络安全等级保护定级指南GB/T25070-2019信息安全技术网络安全等级保护安全设计技术要求GB/T28448-2019信息安全技术网络安全等级保护测评要求GB/Z32500-2016智能电网用户端系统数据接口一般要求GB/T34960.5-2018信息技术服务治理第5部分:数据治理规范GB/T35273-2020信息安全技术个人信息安全规范GB/T39477-2020信息安全技术政务信息共享数据安全技术要求GB/T40685-2021信息技术服务数据资产管理要求GB/T43697-2024数据安全技术数据分类分级规则DL/T860-2018电力系统通信协议IEC61970-2016能量管理系统应用程序接口（EMS-API）3术语和定义下列术语和定义适用于本文件。电力数据资产PowerDataAssets指在电力生产、传输、分配和使用过程中产生的具有经济价值和可重复利用的数据资源，经过合理的管理和运营能够为企业带来经济效益和竞争优势。3.2数据分类DataClassification根据特定的标准和原则对电力数据进行划分的过程，以便更好地管理和利用数据。23.3数据采集DataAcquisition通过各种技术手段获取电力数据的过程。传感器Sensor能感受被测量并按照一定的规律转换成可用输出信号的器件或装置，通常由敏感元件和转换元件组数据清洗DataCleaning对采集到的电力数据进行处理，去除噪声、错误和不一致的数据，提高数据质量的过程。数据资产形成FormationOfDataAssets将电力数据转化为数据资产的过程，包括业务数据化、实体归一化、数据资产化、数据服务化和数据业务化等步骤。数据资产管理DataAssetManagement对电力数据资产进行统筹规划、存储、管理、稽核、合规监管和运营等活动，以实现数据资产的价值最大化。4缩略语SCADA：数据采集与监视控制系统（SupervisoryControlAndDataAcquisition）EMS：能量管理系统（EnergyManagementSystem）DMS：配电管理系统（DistributionManagementSystem）5电力数据分类电力数据分类应符合GB/T43697-2024的要求，根据电力行业领域数据进行细化分类，按照数据来源分为发电数据、输电数据、线路参数数据、运行状态数据、环境数据、变电数据、配电数据、用电数据等，见附录A的A.1；按照数据性质分为实时运行数据、设备状态数据、客户信息数据、财务经营数据等，见附录A的A.2。6电力数据高质量采集6.1.1传感器自动采集6.1.1.1适用于对发、输、配、用电全过程的电力设备的运行参数、环境参数等进行实时监测。例如，在发电厂的发电机组、变电站的变压器等设备上安装温度传感器、压力传感器、电流互感器等，SCADA3系统实时采集设备的运行状态数据。6.1.1.2传感器应具有高精度、高可靠性、抗干扰能力强等特点。同时，传感器的安装和维护应方便快捷，不影响设备的正常运行。6.1.1.3传感器数据采集、传输、加密以及存储应符合电力行业相关标准规范。6.1.2系统接口对接采集6.1.2.1适用于从电力企业内部的各种管理系统和自动化系统中获取数据。例如，从SCADA、EMS、DMS系统中获取电网的实时运行数据，从生产管理系统中获取设备的维护记录等。数据接口应符合GB/Z32500-2016的要求。6.1.2.2应制定符合IEC61970-2016要求的统一的数据接口标准，包括数据格式、通信协议、数据传输速率等。通信协议应符合DL/T860-2018要求，确保不同系统之间的数据能够顺利对接和共享。6.1.3人工录入采集6.1.3.1主要适用于一些无法通过自动采集方式获取的数据，如设备的巡检记录、故障报告等。6.1.3.2人工录入的数据应经过严格的审核和验证，确保数据的准确性和完整性。同时，应建立数据录入的规范和流程，提高数据录入的效率和质量。应根据不同类型数据的时效性要求，确定合理的采集频率。例如：——实时运行数据：采集频率应较高，一般为秒级或分钟级，以确保能够及时反映电力系统的运行状态变化。——设备状态数据：采集频率可根据设备的重要性和故障发生的可能性进行调整。对于关键设备，采集频率可适当提高，如每天或每周采集一次；对于一般设备，采集频率可降低，如每月或季度采集一次。——客户信息数据：采集频率相对较低，可根据用户的用电周期进行采集，如每月或季度采集一次用户的用电量、用电时间等数据。在采集过程中应进行数据校验，确保数据的完整性和准确性。具体措施包括但不仅限于：a)数据格式校验：检查采集到的数据是否符合规定的数据格式要求，如数据类型、长度、精度等。b)数据范围校验：判断采集到的数据是否在合理的数值范围内。例如，电压值应在规定的电压等级范围内，电流值应在设备的额定电流范围内等。c)数据一致性校验：对比不同来源的数据是否一致。例如，从传感器采集到的设备温度数据应与从设备控制系统中获取的温度数据基本一致。d)数据完整性校验：检查采集到的数据是否完整，是否存在缺失值。对于缺失的数据，应采取适当的方法进行补充或修复。7电力数据高质量存储7.1.1应建立建立全面的数据接入框架，涵盖电力系统中的各种数据源的多类型、多模态、多时效的接入。包括但不仅限于：a)对于结构化数据，如电力企业的关系型数据库（如设备管理数据库、电力交易数据库等），可4采用ETL（Extract,Transform,Load）工具或数据库复制技术将数据抽取到数据湖中。b)对于半结构化和非结构化数据，如设备的日志文件（通常为文本格式）、巡检图像和视频等，采用适合的工具进行采集后将数据存入数据湖中。c)针对实时数据，如电力系统的实时运行参数（电压、电流、功率等可采用消息队列技术进行实时数据的接收和缓存后再将数据写入数据湖中。7.2.1应选择合适的存储介质和技术，确保数据安全可靠。包括但不仅限于：a)对于实时运行数据和关键业务数据，可采用高性能的磁盘阵列或固态硬盘进行存储，以确保数据的读写速度和可靠性。b)对于历史数据和备份数据，可采用大容量的磁带库或云存储服务进行存储，以降低存储成本。7.2.2定期对数据进行备份，确保在数据丢失或损坏时能够及时恢复。备份频率可根据数据的重要性和变化频率进行调整。7.2.3建立数据恢复测试机制，定期对备份数据进行恢复测试，确保备份数据的可用性和完整性。8电力数据治理8.1.1对采集到的数据进行清洗和转换，去除重复、错误、无效的数据，确保数据的准确性和一致性。8.2.1通过设定数据的合理范围和格式，对采集到的数据进行初步筛选，去除明显不符合要求的数据。例如，去除电压值为负数、电流值超出设备额定电流范围的数据等。8.2.2利用统计分析方法，如均值、标准差等，识别出与整体数据分布明显不同的数据点，作为异常数据进行进一步处理。8.3.1将采集到的不同格式的数据转换为统一的标准格式，便于后续的数据处理和分析。例如，将日期格式统一为“年-月-日”，将时间格式统一为“时:分:秒”等。8.3.2对数据中的物理量单位进行统一，如将电压单位统一为“伏特（V）”，将电流单位统一为“安培（A）”等。8.4.1采用统计学方法，如箱线图、3σ准则等，识别出数据中的异常值。8.4.2根据异常值的具体情况，采取不同的处理方法。对于由数据采集错误或设备故障引起的异常值，可进行删除或修正；对于真实的异常数据，应进行标记并进行深入分析，以确定其对电力系统运行的影8.5.1通过数据比对和查重算法，去除数据集中的重复数据，保留唯一的数据记录。8.5.2对于相似的数据记录，可进行合并处理，以减少数据冗余。例如，对于同一设备在不同时间采集到的相同参数数据，可进行合并，保留最新的数据记录。8.6电力数据归集58.6.1-应将电力系统中产生的各种数据按照一定的规则和标准进行合并、汇总和分类管理。如按主题、按需求、按项目集、按照系统进行分类放到数据仓库。9电力数据资产形成电力大数据应用涉及电网企业各业务方向，典型应用场景包括规划、建设、运行、检修、营销、运监、企管、服务等8大类。9.2.1根据数据使用的业务场景,宜选择适当的脱敏技术和规则策略,对敏感信息进行处理，避免敏感数据在不可控的网络空间中流转时被泄露。9.2.2常用敏感数据脱敏技术包括但不限于：假名化技术、抑制技术、泛化技术、扰乱技术、加密技术9.2.3脱敏技术需考虑下列两个条件:a)不影响当前开发、测试环境的正常使用，即满足脱敏数据的可用性和一致性校验；b)脱敏技术宜避免数据被反脱敏。根据业务场景对电力数据进行深度分析和挖掘具有经济价值和可重复利用的数据资源，经过合理的管理和运营能够为企业带来经济效益和竞争优势。业务场景包括但不仅限于电力的发电、输电、变电、配电、用电及调度。应对治理后的数据进行价值评估，确定其资产属性。评估指标包括但不仅限于：a)数据准确性：评估数据的准确性和可靠性，确保数据能够真实反映电力系统的运行状态和业务情况。b)数据完整性：检查数据的完整性，确保数据不缺失关键信息。c)数据时效性：评估数据的时效性，确保数据能够及时反映电力系统的变化。d)数据可用性：判断数据是否易于使用和分析，是否具有良好的可视化效果。e)数据价值：评估数据对电力企业的业务决策、运营管理和经济效益的贡献程度。应为电力数据资产赋予唯一标识，便于管理和追溯。标识内容包括但不仅限于：a)数据来源：明确数据的产生源头，如发电设备、输电线路、变电站等。b)数据类型：说明数据的性质和分类，如实时运行数据、设备状态数据、客户信息数据等。c)数据时间戳：记录数据的采集时间，确保数据的时效性和可追溯性。d)数据版本号：对数据进行版本管理，便于跟踪数据的变化和更新。应建立电力数据资产目录，明确资产内容和管理责任。资产目录包括但不仅限于以下内容：a)数据资产名称：对数据资产进行命名，便于识别和管理。b)数据资产描述：对数据资产的内容、用途和价值进行描述，帮助用户了解数据资产的特点和作6c)数据资产所有者：明确数据资产的所有权归属，确定管理责任。d)数据资产存储位置：记录数据资产的存储位置，便于访问和管理。e)数据资产访问权限：设定不同用户对数据资产的访问权限，确保数据安全。应定期根据GB/T40685-2021管理要求对电力数据资产进行价值评估，根据业务需求和数据变化及时更新资产内容。评估指标包括但不仅限于：a)数据使用频率：统计数据资产的被访问和使用次数，评估其在业务中的重要性。b)数据时效性：检查数据资产的时效性，确保数据能够及时反映电力系统的变化。c)数据准确性：评估数据资产的准确性和可靠性，确保数据能够为业务决策提供正确的依据。d)业务需求变化：根据电力企业的业务发展和战略规划，评估数据资产对业务需求的满足程度。10电力数据集市电力数据产品发布时，应考虑电力数据资产的目标受众、数据的安全性、易用性等因素来选择电力数据集市产品发布平台。10.2.1应考虑数据的价值、成本、市场需求、竞争情况等多方面因素制定合理的数据产品定价策略。10.2.2应支持灵活的定价方式，如按数据量计费、按使用期限计费、按使用次数计费等，以满足不同用户的需求。10.2.3支持多种交易方式，包括线上交易和线下交易：a)线上交易通过数据集市平台进行，用户可以在平台上浏览产品、下单购买、支付费用，并在线获取数据产品或相关服务。平台应提供安全可靠的支付系统。b)线下交易通过签订合同的方式进行交易。在合同中明确交易的具体内容、价格、交付方式、售后服务等条款，确保交易的合法性和规范性。10.2.4建立交易保障机制，确保交易的公平、安全和顺利进行。10.2.5应制定交易纠纷处理机制，对于在交易过程中出现的产品质量问题、交付延迟、服务不满意等纠纷提供解决措施，保障用户的合法权益。10.3.1应制定数据产品评价指标体系，评价指标包括但不仅限于如下指标：a)准确性：评估数据产品中数据的准确程度，与实际情况的相符程度。可通过对比数据产品中的数据与权威数据源或实际业务数据进行验证，计算数据的误差率或准确率。b)完整性：衡量数据产品是否包含了应有的全部数据，是否存在数据缺失的情况。可统计数据产品中数据字段的完整率、数据记录的完整率等指标。c)一致性：考察数据产品中数据在不同时间、不同地点或不同系统中的一致性。如，对于跨多个地区的电力用户用电数据产品，检查不同地区用户的用电计量标准是否一致，数据统计口径是否相同等。d)时效性：评价数据产品中数据的更新频率是否满足用户需求，数据是否反映了当前的实际情况。可通过查看数据产品的更新日志，了解数据的最后更新时间，以及数据更新周期与业务需求的7匹配程度。e)易用性：评估数据产品的使用便捷程度，包括数据接口的友好性、数据格式的易读性、操作手册的清晰程度等。f)稳定性：衡量数据产品在运行过程中的稳定性，是否容易出现故障或异常情况。可通过监测数据产品的运行日志，统计系统的故障率、故障恢复时间等指标。10.3.2在数据产品交易完成后，宜鼓励用户对购买的数据产品进行评价。10.3.3数据集市宜邀请独立的第三方机构或专家对数据产品进行全面评估。11电力数据资产管理数据全生命周期管理应包含从电力计量数据资产的原始数据采集、数据清洗、存储管理、登记确权、资产上传、资产统计、估值定价、资产入表、挂牌运营、资产交易、资产使用、安全监管、合规监管的整个过程。11.2.1.1应建立数据安全管理体系，应符合GB/T34960.5-2018中A.3数据安全的要求。11.2.1.2应每年对数据资产进行全面清査，在确定网络安全等级保护制度的基础上，依据数据的重要程度以及遭到破坏后的危害程度建立数据分类分级标准。11.2.1.3相关信息系统应按照定级、备案、测评、安全建设整改、监督检查的流程进行网络安全等级保护。网络安全等级保护应符合GB/T22239-2019的要求，设计技术应符合GB/T25070-2019的要求，定级应符合GB/T22240-2020的要求，测评应符合GB/T28448-2019的要求，数据安全应符合GB/T39477-2020的要求。11.2.1.4应加强数据收集、存储、传输、处理、使用、交换、销毁全生命周期安全管理工作,符合下列规定:a）数据的存储设备应部署在中华人民共和国境内；b）数据的存储设备应具备访问控制、备份与恢复基本功能，对5年以上数据进行冷备；c）针对重要数据，应采用本地备份、异地灾备的技术保障数据的完整性;d）在数据分类分级的基础上，明确对不同级别数据的加密传输的要求,在传输过程中应严格控制接口安全，防止数据被窃取；e）严格规定不同人员权限，完善数据使用过程中的申请及批准流程管理；f）应保障用户隐私,采取物理或逻辑隔离方式进行保护；g）应建立数据安全风险监测机制，提高风险发现的及时性。11.2.2应根据用户的角色和职责，设定不同的数据访问权限，确保权限配置符合最小授权原则。包括但不仅限于：a)管理人员可以访问所有的数据资产，但只能进行查询和分析操作，不能修改数据。b)技术人员可以访问特定的数据资产，进行数据采集、清洗和处理等操作，但需要经过授权。c)普通用户只能访问与其业务相关的数据资产，且只能进行查询操作。11.2.3对用户的访问行为进行记录，包括访问时间、访问数据资产、操作类型等信息。以便在发生数据安全事件时，能够进行审计和追溯。11.2.4应急预案与处置11.2.4.1应制定数据安全应急预案，明确在发生数据泄露等安全事件时的应急处理流程和措施。811.2.4.2应定期进行数据安全演练，提高应急处理能力。11.2.4.3应对数据安全事件进行调查和分析，找出原因并采取措施进行整改，防止类似事件再次发生。11.3.1应明确数据质量管理全过程，包括但不仅限于标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起等。11.3.2应制定数据质量管理目标，建立数据质量管理体系及实施机制、优化数据质量并持续改进，满足数据应用的需求，应符合GB/T34960.5-2018中A.2数据质量的要求。11.4.1应按GB/T34960.5-2018中A.1数据标准的规定，建立数据标准的内涵和范围，以消除数据在应用过程中的不一致性。11.4.2通过对主数据分类、主数据统一编码、主数据统一描述等多维度的标准化手段，实现主数据标准化管理，保障主数据的一致性、可靠性、权威性。11.5.1数据架构的设计应该遵循以下原则，以确保数据的有效管理、存储、处理和分析：a)紧密结合业务需求：数据架构应紧密地与业务需求相结合，确保数据架构能够满足业务需求。b)简单性原则：数据架构应简单化，避免冗余和复杂性，以便于数据的管理和维护。c)遵循标准和规范：数据架构应遵循相关的标准和规范，以确保数据的一致性和可重用性。d)可扩展性：数据架构应具有良好的可扩展性，能够应对业务需求的变化和数据量的增长。e)易于维护和更新：数据架构应易于维护和更新，包括数据清洗、数据整合、数据分析和数据挖掘等。f)数据安全性：数据架构应具有良好的数据安全性，包括数据加密、数据备份、数据恢复和权限控制等。g)数据质量：数据架构应注重数据质量，包括数据准确性、数据一致性、数据完整性和数据时效性等。h)性能优化能力：数据架构应具有良好的性能优化能力，以提高数据的处理效率和响应速度。11.5.2数据架构包括但不仅限于数据目录、数据模型、数据标准、数据分布与流向等几部分组成。11.6.1应制定主数据的新增、变更、审核等流程，可通过多种方式汇集主数据，并提供全方位的质量检查等，对各类主数据进行全生命周期管理。11.6.2应建立主数据共享机制，包括但不仅限于主数据分发、查询、下载、分析等多样化服务，满足不同业务系统对于主数据的个性化需求，实现主数据价值最大化。11.6.3数据共享应遵循合法、安全