2023能源大数据基础第1部分：总则

能源大数据基础第1部分：总则II目 次前 言 II范围 1规范性引用文件 1术语和定义 1标准体系框架 2标准体系框架构成 3基础标准 3数据标准 3技术标准 4治理与管理标准 5数据安全标准 6应用与服务标准 6平台与工具 7总体通用要求 7功能性要求 7非功能性要求 8PAGEPAGE1能源大数据基础第1部分：总则范围本标准适用于指导能源大数据中心建设，为能源大数据标准化工作规划和标准制定计划提供依据。规范性引用文件（包括所有的修改单适用于本文件。GB/T18391.1-2009信息技术元数据注册系统(MDR)第1部分：框架GB/T25000.12-2017系统与软件工程系统与软件质量要求和评价（SQuaRE）第12部分：数据质量模型GB/T36073-2018数据管理能力成熟度评估GB/T37932-2019信息安全技术数据交易服务安全要求术语和定义下列术语和定义适用于本文件。3.1能源大数据Energybigdata电力、煤炭、石油、天然气、水务、热力、新能源和可再生能源等能源生产、传输、存储、消费、交易过程中产生的海量大数据。3.2能源大数据中心Energybigdatacenter3.3数据架构Dataarchitecture[GB/T36073-2018，定义3.4]3.4数据标准Datastandards数据的命名、定义、结构和取值规范方面的规则和基准。[GB/T36073-2018，定义3.5]3.5元数据Metadata定义和描述其他数据的数据。[GB/T18391.1－2009，定义3.2.16]3.6数据元Dataelement数据元是用一组属性描述其定义、标识、表示和允许值的数据单元。[GB/T18391.1—2009，定义3.3.8]3.7主数据Masterdata组织中需要跨系统、跨部门进行共享的核心业务实体数据。[GB/T36073-2018，定义3.12]3.8参考数据Referencedata对其他数据进行分类和规范的数据。[GB/T36073-2018，定义3.13]3.9指标数据Indicatordata组织在经营分析过程中衡量某一个目标或事物的数据，一般由指标名称、时间和数值等组成。3.10数据质量Dataquality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[GB/T25000.12-2017，定义4.3]3.11数据交易Datatransaxtion[GB/T37932-2019，定义3.1]3.12数据运营Dataoperate标准体系框架7图1能源大数据标准体系框架标准体系框架构成基础标准总则总则定义能源大数据标准体系框架以及相关的通用规范，用于指导能源大数据中心整体标准的建设。总体架构和技术要求总体架构和技术要求明确数据接入、存储计算、分析服务、资源管理、资产管理、能源信息产品、开发运维、运营服务和安全管理等要求，提升内外部数据资源整合处理和价值挖掘水平。术语数据标准数据资源标准数据资源标准主要对数据本身的数据格式、规范进行统一定义，应包括数据模型、主数据、参考数据、数据元、元数据、指标数据、数据目录等标准。数据模型标准主数据标准参考数据标准参考数据标准通过对定义的数据值域进行管理，包括标准化术语、代码值和其他唯一标识符，每个取值的业务定义，数据值域列表内部和跨不同列表之间的业务关系的控制，并对相关参考数据的一致、共享使用。数据元标准数据元标准通过对组织中核心数据元进行定义，使数据的拥有者和使用者对数据有一致的理解。元数据标准指标数据标准数据目录交换共享标准交换共享标准主要对数据流通相关技术及应用进行规范，应包括数据交易和数据开放共享标准。数据交易标准数据开放共享标准技术标准技术是能源大数据应用落地、实施的载体，相关产品的技术标准贯穿于能源大数据的采集、加工、接入、数据存储、数据分析、数据可视化、数据访问等内容。具体内容如下：数据接入标准数据存储标准数据分析标准数据分析标准通过提升改造现有智能分析决策平台的分布式能力，融合、集成开源分析挖掘工具和分布式算法库，实现能源大数据中心分析建模、挖掘、展现支撑业务系统实时、离线的分析挖掘应用。数据可视化标准数据访问标准Web治理与管理标准数据治理实施标准数据治理实施标准是对数据进行处置、格式化和规范化的过程。通过数据治理实施，提高数据质量。数据质量管理标准数据全生命周期管理标准评估标准评估标准针对数据管理能力、数据服务能力、数据治理成效等内容制定相关标准。数据安全标准数据分类分级标准数据隐私与保护标准GB/T35273-2020数据加密与脱敏标准应用与服务标准业务架构数据服务目录标准数据应用与服务标准数据应用服务标准是数据应用服务工作开展的基础。数据应用服务标准通过明确数据应用服务标准内容的分类、构成，规范、指导能源大数据中心各行业数据应用服务工作的开展。平台与工具概述应用与服务标准构成数据开发平台能源大数据服务平台满足能源大数据行业数据的共享交换需求为目的,重点围绕服务、政策法规大数据资源体系梳理、数据资源整合、平台建设和数据共享服务等。总体通用要求功能性要求数据接入数据接入需满足数据接入、数据传输要求。数据接入，根据数据业务需求、数据类型和数据量等特性将数据传输的吞吐，满足不同场景的数据传输要求。按数据类型具体需满足结构化数据接入、非结构化数据接入、量测数据接入；数据传输，按传输类型具体要求，需满足全量数据接入、增量数据接入。数据存储数据存储需满足数据存储要求。数据存储，具有将不同形态数据按照数据存储要求，有序的存储至对应的数据归集场所中，方便后续的数据调用和处理。数据分析数据分析支持多种数据源适配接口，可分析多种类型数据；数据分析具有常用数据模型或经典算法集成组件，方便进行二次开发或优化；数据分析适用多种场景，根据业务需要、数据类型、数据量级大小等多种维度的要求；数据分析结果数据支持多种输出方式，如标准接口或数据表等。数据挖掘数据挖掘支持多种数据源适配接口；数据挖掘具有常用数据模型或经典算法集成组件；数据挖掘适用多种场景；数据挖掘结果具备可读性、可理解性，具备业务价值。数据应用具有标准接口实现方法与设计；需具备集成总线搭建；具有实时数据和批量数据供给；数据管理具有数据源管理；具有元数据自动获取、版本记录和差异对比；具有数据解释；具有数据资产维护；具有数据质量检测与规则管理；具有数据继承和变异分析追溯；具有数据标签和热数据推荐；具有数据脱敏；具有数据共享负面盘点及展示；具有数据共享管理过程管理及共享备案。非功能性要求服务拆分合理性各个独立服务包含的功能，拆分粒度要适中，避免服务过重或者过轻，保证提供功能的层次与服务使用者对功能层次的要求是相近的；服务构建之前，需要考虑服务的可复用性，保证服务被调用或者服务被组合使用的难易程度适中；提供的服务具备可扩展性，提供服务运行时在资源变化情况下其服务的随需可变；服务与服务、服务与服务调用者之间是松耦合的，相互之间的关联强度，通常需要做到技术独立性、位置透明性等；服务必须能够被有效的管理，开展数据应用服务风险分析，明确数据应用服务的内容范围与管控措施，明确服务提供方与服务试用方的职责和权限，执行数据安全管理策略，确保服务状态能够被有效的管控。可靠性要求具有将各种系统异常处理的，且具备高可用性、响应速度快等特点。具体要求如下：对各种系统异常进行处理，确保每一个方法和接口都有异常处理语句；对系统事务失败、通信失败等情况能自动识别并解决，确保系统可用；服务必须具备高可用性，提升数据时效性，保证服务可靠地提供业务功能的，并具备容错机制；应用接口应与之存在集成关系的系统保持良好的接口兼容性，使用统一的接口开发规范；应用接口调用响应时间毫秒级；当数据应用接口进行复杂事务的处理且响应时间较长时，系统应根据事务内容分级逐步响应，当接口并发数达到设计峰值时，应采用延迟访问的方法避免系统崩溃。数据的备份与恢复数据库备份和恢复具体要求如下：应支持数据的全量备份与增量备份；提供分布式数据存储备份与恢复功能；支持系统自动备份与手动备份。日志管理具有实时分析日志，统一采集，存储，监控等。具体要求如下：应提供记录系统操作日志功能，记录用户的重要操作；保证系统日志无法删除、修改、覆盖；提供日志的分析、统计。用户与权限管理用户与权限管理具体要求如下：按照权限最小化的原则为用户提供权限；对用户身份标识进行鉴别，保证用户身份标识的唯一性；应提供登录