智慧数字电力大数据平台解决方案

智慧数字电力大数据平台解决方案1

大数据平台建设目标目录2

大数据平台产品介绍3

案例介绍2大数据平台建设思路业务数据化数据资产化资产价值化数仓体系数据计算层数据产品层数据共享层离线计算实时处理流式计算Kafka数据转换数据清洗数据建模模型训练数据服务数据标签数据指标...数据贴源层服务层数据治理治理规则治理算法数据接口智能BI多维分析数据标准管理数据模型管理数据资产管理数据标准建模元数据管理主数据管理数据应用层电厂监控数据企业ERP数据综合计划数据外部气象数据物资采购数据…….大数据平台总体架构数据源平台组件Hive数据管理数据治理规则库管理规则配置规则执行校验报告数据服务数据模型数据源管理实时采集抽取监控数据资产数据资产目录血缘分析资产统计数据地图服务注册消息服务文件服务服务发布数据搜索数据开发数据开发任务调度数据访问电厂监控数据企业ERP数据综合计划数据外部气象数据数据迁移作业编排集成日志分布式计算SparkImpalaFlink数据存储HBaseMPPOracleHDFSKafka消息中间件ElasticsearchMQSolr搜索组件租户管理数据集成非结构文件文件目录文件管理文件识别智能搜索元数据采集元数据管理模型关系模型变更工具组件指标报表工具自助分析平台数据可视化机器学习算法数据应用售电交分析AI故障分析燃煤掺配分析调优……生产经营辅助分析数据安全……建设目标完成企业数据中心建设通过制定统一的数据模型、数据标准、数据编码，结合数据挖掘技术在公司电力生产经营方面向各单位部门提供数据和应用服务支撑。1建立贯穿电厂大数据全生命数据治理体系对数据抽取、清洗、转换、存储的全生命行质量管控。2建立基于精细化统计分析和实用化辅助决策的数据应用中心借助分布式处理和分布式计算技术，以企业生产经营数据中心中存储的大数据为基础。3建立支撑数据共享及业务协同的数据服务中心基于统一服务标准对外提供各类数据服务。4建设原则数据完整性数据中心需涵盖公司所有重要电力生产、经营及管理的业务系统数据，实现对结构化数据、非结构化数据、历史数据、实时数据的采集、传输、存储、整合和共享。数据标准化企业生产经营数据中心的数据模型、数据编码应实现标准化，确保数据的互操作性。数据在各个应用系统中的采集、存储、传输和处理保持完整和一致。数据能实时传输，避免因传输延时造成数据不一致现象。可扩展性符合松耦合原则，对企业数据中心进行层次、功能模块、数据的合理切分，降低各部分之间的依赖，提升整体可扩展性。先进性和实用性分析公司电力生产经营数据的实际情况及电力生产业务的发展方向，结合技术发展方向，综合考虑技术的成熟性，建设技术先进的、能够切实为电力生产服务的电力生产数据中心。稳定性和安全性以完整的可靠的平台设计、技术选型，保证电力生产数据中心的安全可靠运行，确保数据中心的稳定性；同时考虑各种情形下的恢复和备份机制，提升数据的一致性、完整性，确保数据的安全。建设原则1

大数据平台建设目标目录2

大数据平台产品介绍2.1

数据集成2.2

数据管理2.3

数据应用3

案例介绍7数字化“钛”平品

数字化”钛”平台：利用云计算、大数据、人工智能、物联网等技术，构建智慧能源数字底座，提供能源行业数字化转型的核心技术平台，实现万物互联，数据融合、业务智能。为公司的智慧能源产品及解决方案提供平台技术支撑。数据集成平台数据采集，实现对不同类型数据源的支持，以适应上游Oracle、MySQL、Hbase等不同的数据库，支持OPC，modbus等工业协议，支持文本CSV，Excel、E文件等格式文件实现数据全量抽取、增量抽取、指定条件抽取。实现对数据的清洗、整合功能。数据采集平台-任务调度任务调度引擎，支持数据采集、数据加工、负荷预测等任务定时执行，支持多任务串行及并行执行。调度可以控制在分钟级、小时、天、月各种，也可以跟据数据依赖进行触发执行，按时间要求生成预测数据及统计报表。数据集成平台-数据清洗数据加工：

实现对不同类型数据源的支持，以适应上游不同的数据库。实现数据全量抽取、增量抽取、指定条件抽取。实现对数据的清洗、整合功能。任务调度引擎：

支持数据采集、数据加工等任务定时执行，支持多任务串行及并行执行。调度可以控制在分钟级、小时、天、月各种，也可以跟据数据依赖进行触发执行，按时间要求生成预测数据及统计报表。完成数据抽取、清洗、整合及任务调度引擎开发。数据集成平台-集成监控提供完善的资源监控功能，可以对管理服务器、调度服务器、物理机器的CPU、内存等资源进行全面的监控和管理，另外也通过配置监控服务器的连接状态等，通过对这一系列资源的监控，可以保证在第一时间发现系统存在的问题，并且及时排除，保证系统的正常运行。通过web的监控界面，包括对作业和资源的监控，监控界面展现内容直观、信息丰富。1

大数据平台建设目标目录2

大数据平台产品介绍2.1

数据集成2.2

数据管理2.3

数据应用3

案例介绍13“钛”数据平台某省市市&运营支撑以共享开放、共创共用为理念，提供数字化产品的数据资产及数据服务目录，避免出现各部门重复“造轮子”的情况。根据数据敏感性、服务应用，提供使用审批、分级共享、数据安全和日志审计等功能。数据分析平台1）数据报表统计工具2）数据自助分析平台数据资产管理实现对数据的元数据管理，对各层数据的数据血缘追溯，数据资产目录，实现对数据资产的快速检索，建立维护数据负面清单，实现对敏感数据的管理，对数据开展标签管理维护，便于开展数据分析及相关数据抽取。数据模型管理对已接入的表、字段等信息进行映射融合，建立统一可用的共享模型，为数据服务应用及大数据分析挖掘提供数据模型基础。数据质量治理通过治理规则，对模型数据和运行数据进行质量校验，生成质量报告，各系统对数据进行整改，从而提升数据整体质量水平数字服务平台提供可视化配置restfulAPI、KAFKA等方式获取数据，无需代码编写，帮助用户便捷、快速地实现微服务配置式开发生成。数据资产管理010203040506元数据管理自动探索平台系统中存在的表信息，记录表名、字段等信息，同时支持数据预览血缘关系根据任务、脚本等因素自动建立血缘关系，实现数据链路的可查询、可跟踪数据标签制定数据负面清单，对相关数据纳入负面清单管理，在表进行自定义标签，然后可根据标签进行表检索数据资产目录支持多级表类目管理，实现最快时间找到最需要的数据数据负面清单建立数据负面清单，对已纳入负面清单管控的数据须业务部门审批同意数据安全管理对已接入的表数据进行相关脱敏处理，实现对数据安全审计管理数据资产管理-元数据管理元数据管理元数据可视化/查询元模型管理元数据采集元数据采集管理元数据基础管理元数据维护元数据变更管理视图管理数据地图元数据分析服务血缘分析影响分析全链路分析元数据版本管理元数据检核管理元数据导出元数据接口服务元数据检索元数据统计差异分析源端系统模型共享信息模型分析层应用模型采集内容采集模板管理元数据关系管理元数据变更采集管理属性生命存储属性使用特征数据结构数据源信息数据资产管理-元数据管理支持多级类目管理，提供各层各个业务系统表及字段等元数据的接入，并支持查看元数据的表、字段、表关联关系、数据预览等信息。数据资产管理-元数据自动变更对于各业务系统中的表、字段等信息发生变化时，无需人员手动修改，提供定时自动扫描变更功能，同时对这些元数据进行版本管理，可快速查询到变更信息。数据资产管理-血缘关系图通过血缘关系分析可以实现关键信息的追踪、记录和影响分析，帮助了解分析对象的下游数据信息，快速掌握元数据变更可能造成的影响，有效评估变化该元数据带来的风险。还有一个重要的作用是溯源，分析数据流向，具体到字段级的数据解析，获取数据上下游、对象关联对象等等关系，快速定位问题字段，降低数据问题的定位难度。数据资产管理-数据标签管理

通过建立数据标签体系，实现对数据的多种方式分类，便于开展以标签为维度业务应用及数据分析。1）在进行打签的时候设置好标签的分类和入库规则，可以根据某个标签进行数据抽取及分析。2）以自动化设备为例，可以根据各类标签开展数据统计分析。梳理标签分类时，尽可能按照MECE原则，相互独立，完全穷尽。每一个子集的组合都能覆盖到父集所有数据。数据模型管理数据模型管理模型查询数据模型管理数据模型应用业务模型可视化模型导入导出某著名企业模型导入导出数据模型搜索查询数据模型资产目录数仓模型导入导出物理模型导入导出数据模型关系查询模型版本管理模型变更管理模型关系管理模型关系可视化数仓模型可视化模型属性展现模型统计模型数据统计共享模型统计模型数据来源分析模型分发数据模型管理-总览

数据模型总览：提供接入的元数据表数量、字段数量及表之间血缘关系情况统计，从整体上展示数据模型各层接入元数据量、数据量及变更量。数据模型管理-元数据变更统计提供系统元数据异动情况统计，掌握有多少系统有变更，变更的表和字段情况变更。数据模型-调控云解决方案模型数据平台实现某著名企业模型的规范管理和全局共享，包括模型及图形的元数据与字典管理、即时同步与订阅共享、数据质量管控、模型查询及服务以及为实时数据平台提供的模型发布功能。同时与生产关联，实现增量模型流程化管控，解决数据多源问题。数据模型-调控云

我司在调控云模型数据平台主导模型同步、图模同步、模型订阅、自动化模型校验、自动化模型查询和模型发布(发布模型给实时数据平台)。组件名称(9)国分厂商(6)是否具备(6)特性分析优势分析元数据管理科东一、国分主导模型治理相关应用，经受了全网大并发数据量及访问的考验实践。二、模型同步、图模同步、模型订阅、自动化/网安模型校验实施某省市市份。三、就元数据管理、字典管理、一次模型校验与科东建立了良好的商务和运维合作关系。字典管理科东模型同步泰豪大并发数据量快速某省市市级单通道高效模型同步图模同步泰豪图形文件变更触发式同步；集群式多机器备份模型订阅泰豪创新订单式数据订阅；数据变更全局自动共享；大数据量订阅订单高效处理模型校验科东/泰豪分布式校验存储查询速度快；规则自定义可配置；分业务展示模型发布泰豪高效模型同步报文发送至实时数据平台量测管理科技模型查询信通/泰豪模型精准画像；多维度筛选和自定义查询结合数据模型-运检数据模型-厂站侧

基于《电站KKS编码导则》及国家电力调度机构《SG-CIM标准》，初步制订电力生产数据中心的数据模型、数据标准、编码规范，实现电力生产数据标准化；并在此基础上，实现数据质量管理、模型管理、元数据管理、资源管理及标准管理等功能模块，实现数据告警、服务总线等基础应用功能。模型中心源系统编码规范预处理数据采集标准化历史数据增量数据监控安稳水调电量wams继保录波状态调度电视……基础模型指标模型分析模型挖掘模型学习模型交互模型数据治理-整体架构数据治理根据客户的规则标准配置对应的数据校验规则，并将这些规则进行入库操作从数据的完整性、唯一性、合理性三个质量维度对元数据进行规则配置质量稽查与任务调度配合，提供立即执行和定时执行数据校验，发现不符合规则的数据将稽查出来的不符合规则的数据，进行汇总统计，以清晰表格方式展示给用户规则配置规则库质量稽查对有质量问题，通过工单来跟踪数据进行修正处理质量报告问题修正数据治理静态数据数据治理校验工具运行数据数据异常报告闭环校核SQL执行规则配置Spark执行引擎基于数据质量校核基础规则库中的校核规则，对业务库进行校核规则配置，实现数据质量校核规则的统一管理。实现对接入的各类数据开展质量校核，包括对静态类和实时运行类数据校验。校核内容包括数据的及时性、准确性、完整性、一致性、重复性等方面。针对数据质量问题建立流程化的闭环管理手段，实现数据质量分析、数据异常识别、数据合规性检查、数据流转监控及数据质量报告，指导数据源端治理。数据质量治理-校验规则静态台账类数据校验运行类数据校验模型数据&台账数据校验字段完整性校验字段填写合规性校验(格式、范围、字典等)字段属性相关性校验模型关联性校验上下游数据一致性校验数据及时性校验……量测类数据校验数据完整性校验(各类数据是否有缺失)数据准确性校验(单项值与统计值是否一致)逻辑合理性校验(数据不刷新、突变异常)数据及时性校验(数据延迟)校验范围&频率(分布式运行)……详细规则数据治理-治理总览数据治理以数据标准为数据检核依据，以元数据为数据检核对象，通过向导化、可视化等简手段，将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合，形成完整的数据质量管理闭环。数据治理-规则配置管理规则配置管理具备选择表进行规则配置功能，同一持新增多个校验规则，分别对应多种校验场景，基于丰富的校验规则库，可以设置对应规则。数据治理-规则执行管理规则执行具备与任务调度模块相结合，提供立即执行和定时执行数据校验，同时可以根据任务执行日志监控，掌握所有执行器执行情况。数据治理-校验报告具备展示校验报告功能，校验不符合规则数据汇总统计，能以图表方式显示每类规则问题数、异常占比等情况。提供展示校验不符合规则数据清单功能，支持报告清单导出功能。数据分析组件-数据通用报表数据源管理提供数据源的统一维护管理，为后续指标的定义等操作提供基础01体系目录管理提供核心指标体系树状目录的维护及管理功能02维度定义对于消费方提交的数据服务申请，会进行审核03指标定义提供多种指标创建方式，满足现场业务需要04指标监控对指标数据进行校验，并对校验结果进行预警06关联分析提供指标的血缘追溯，对指标影响进行可视化分析展示07指标场景提供相同维度下多个指标的数据展示，用于生成指标报表08数据分析组件-数据通用报表维度定义指标定义指标血缘追溯报表展示自定义指标工具提供指标定义、指标计算、指标分析、指标展示的数据指标计算平台，处理业务指标数据的复杂计算与汇总逻辑。指标计算数据分析组件-数据自助分析平台数据自助分析平台接入元数据信息，建立生产、调度、机电、运输等专业融合的模型包，支持业务人员通过拖拽、配置的方式自助查询分析，生成图表可视化界面可视化图表开发自定义布局设置元数据模型包分析报表自助分析工具自助分析报表发电量（统调口径）发电量（调度口径）送入电量受出电量用电量某著某省市市/厂站多维分析的OLAP模型同比/环比/月累/年累年/季/月/旬/周/日快速建表、查询数据综合多维统计分析某省市/地/县电压等级

整合相关指标和维度，构建面向分析的多维分析模型，方便用户进行快速自助查询和统计分析，以多口径电量多维分析为例，实现过程如下：自助图标分析数据分析组件-机器学台内置机器学习算法包通过模型定义向导方式解决从数据预处理、特征工程、模型训练、效果评估、离在线部署大数据机器学习全过程。使用人员选择内置的机器学习算法组件，将机器学习组件组合成一个完成的机器学习过程。模型自动调参数据服务平台APIFILEKAFKA提供了通过可视化配置生成RESTFULAPI，供调用者访问数据，无需编码，支持向导模式和SQL模式生成API提供了kettleweb可视化配置将数据转化为接口文件，存放在HDFS中，供调用者下载接口文件提供了kettleweb可视化配置将数据发送到KAFKA，供调用者在KAFKA中获取数据消费某省市市-数据服务目录数据服务目录包括对数字化产品(通用数据服务、数据统计服务、分析结果数据等服务)等进行统一管理，实现对外的统一应用。包括对各类数据服务目录的新建、修改和删除，以及对其目录进行顺序的调整。某省市市某省市市场数据运营支撑-监控中心1

大数据平台建设目标目录2

大数据平台产品介绍2.1

数据集成2.2

数据管理2.3

数据应用3

案例介绍46数据业务应用-生产经营分析发售经营分析1#机组2#机组3#机组4#机组5#机组合同统计经营目标及收支概览对合同进行分类、排序、汇总，精确定位盈利合同，排查低利润/损失合同为电厂/机组设置经营目标，定期更新总体收入成本及各机组目标完成进度，及时纠正偏差、控制风险经营分析分析电厂/机组的成本、收益组成，并进行同比环比分析，并与平均水平进行比较，多角度快速识别可改进环节和可提升空间数据业务应用-生产经营分析综合数据应用系统基于综合数据平台数据进行主题分析，对数据统计应用的结果数据进行展示，提供能源概况与业务板块主题、简明生产与经济评价主题、平台数据运行状态主题专区。能源概况与业务板块主题简明经济评价主题1)

实现能源概况统计功能，实现能源数据以年、月、周、日维度的概况统计分析；2)

实现电力信息统计功能，实现电力信息年、月、周、日维度的实时和历史运行生产数据统计分析；3)

实现热力信息统计功能，实现热力信息以年、月、周、日维度的实时和历史运行生产数据统计分析；……1)

实现以生产运营实际情况与国家行业指标的对比评价进行分析统计功能，提供电力、水情、环保、经济增加值和利润、等效可用系数等业务关键指标的分析评价；2)

实现简明经济评价查询数据以本级单位、包含单位下级某著名企业两种统计方式进行统计功能；…运行平台状态主题1)

展示平台各下属单位，各内、外部数据源的通信情况；2)

提供智能告警功能，提供平台和子系统应用的各种告警，包括越限、缺数、中断、延迟等告警信息。支持站内告警提醒；…数据业务应用-生产经营分析火电业务系统火电业务系统模块主要基于数据支撑平台的建设，实时或准实时获取相关火电业务数据，通过可视化展示、实时监视、数据分析等技术手段，辅助运行人员和管理人员快速了解公司所属的所有流域和水电站的基本概况信息、历史同期运行情况和昨日运行情况火电综合信息展示火电实时信息监视环保监测功能火电综合信息展示主要通过可视化手段，综合性展示公司全局火电生产运行实时状态、历史运行过程等数据，辅助相关人员直观掌握火电运行情况。火电实时信息监视主要实现对各火电企业火电站运行的特征信息、发电计划执行情况、机组运行及检修情况、锅炉运行及检修情况、电煤储备情况、供热情况等方面进行全方位的监控和管理。环保监测功能主要实现对火电机组脱硫、脱硝、除尘相关数据，统计火电机组污染物排放情况，建立设备设施运行数据的日志管理，记录设备设施运行和维护、运行事故及处理等情况。数据业务应用-生产经营分析智能生产报表系统智能生产报表系统主要按照能源集团具体业务要求，通过用户简单配置自动生成各种填报任务，提高报表制作及管理水平。该系统采用B/S架构集中部署在能源集团，能源用户和下属单位用户通过统一的登录入口访问系统，不同的角色用户对应不同的权限功能生产报表自助分析资源库生产报表自助分析发布平台生产报表自助分析全景展示能源集团智能生产报表系统基于能源集团综合数据业务类型、数据类型相关标准规范等，采用数据包方式，按照业务含义对数据进行业务包划分，构建自助分析资源库。生产报表自助分析发布平台的数据源来源为报表资源库，通过已经定义好的报表索引标签，通过拖拽方式进行展示内容的快速选择与定义。该平台主要包括数据配置、仪表板、用户权限、分享模板、报表管理、生成报表、报表发布及管理系统。通过制定一个主题包，把业务部门可能会用到的数据放进去，做好关联关系，把技术的语言转成业务的语言，让业务看得懂，可视化，然后通过拖拉拽可能可以实现一的报表。数据可视化-内蒙能源大数据平台数据可视化数据可视化数据可视化展示变电站、输电线路、开闭站、配电线路、配电室等保电设备运行监盘-信息监视业务运行监盘-信息监视业务实时采集、分析D5000的监控告警信息；信息分析结果按有效信息、检修信息、伴生信息、逻辑排除分类展示；按月统计历史监控告警信息的分析结果；按间段统计历史监控告警信息的分析结果，通过该模块可进入监控信息关联分析，需监控员对昨日的告警信息进行关联核查；运行监盘-事故分析业务系统自动调取保信子站信息、故录信息和设备告警信息判断设备故障类型并自动形成监控后续处置方案。自动通知变电运维人员现场检查，能接受检查情况汇报，并记录。对故障情况能进行自动统计和分析，建立设备故障情况台账，实现对设备历史健康状况的了解。故障感知故障智能协同处置事故处置故障评价政府、重要用户、公司领导检修队伍95598营销上下级调度短信智能推送集控中心音响分级播报AI电话异步通知快速拉群智能诊断提醒保护动作情况重合情况、相别调取保护子站数据负荷损失情况生成故障报告故障反演、学习故障快速统计日志记录…关联、搜索故障预案调取变电运行规程、稳定限额某著名企业操作危险点校核、提醒故障恢复路径推算123运行监盘-事故分析业务通过某著名企业故障智能研判与OMS系统登记的某著名企业事故关联分析，自动关联D5000的监控告警信息、SOE信息、气象信息，解决目前监控员事故分析时需多系统多页面进行调阅的问题，实现对不同站间信息进行时序比对，形成事故智能分析结果，同时对事故信息进行智能评价；运行监盘-电压监视业务运行监盘-电压监视业务实现D5000告警与C动作逻辑的关联，包括电压越限定值、C系统电压动作阀值、C系统自动投切日志、无功设备台账、无功设备闭锁及无功设备是否用尽等数据。售电交分析业务重点概览市场分析与经营规划预测分析批发交易零售交易绿证某省市市场研究国际某省市市场形势研究用户负荷预测电力价格预测新能源出力预测来水预测国际/国内能源政策研究天气预测交与回测现货报量报价策略中长期交市场行情动态跟踪客户价值分析市场开拓风险控制集团整体经营规划及落实零售价格套餐制定增值服务零售经营分析市场风控指标设计与量化市场风险政策研究与制定市场风控执行监督0102030405用户负荷预测电力价格预测交与回测现货报量报价策略中长期交零售价格套餐制定辅助服务交辅助服务交客户价值分析大数据应用场景-机器学习场景分类大数据场景列表落地地区负荷预测地区统调负荷预测冀北/某著名企业AI大赛母线负荷预测某著名企业AI大赛配变负荷预测西安、蒙东线路及配变年最大负载预测陕西风电出力预测江西、河北光伏出力预测江西、河北故障预测多设备异常预测上海、宁夏主变油识别上海、宁夏主变压器油某省市调开关机构运转信号预测某省市调线路故障预测河北用户投诉预测河北停电风险投诉预测江西服务风险江西台区拓扑台区低压拓扑关系智能识别江西、蒙东线变关系识别西安、蒙东窃电用户识别蒙东三相不平衡治理策略江西恶劣天气台风风险预测上海算法研究（已落地算法17个）拉索（回归）岭回归（回归）神经网络（回归、分类）决策树（回归、分类）随机森林（回归、分类）GBDT（回归、分类）XGboost（回归、分类）CatBoost（回归、分类）LightGbm（回归、分类）KNN(分类）逻辑回归(分类）一/二阶指数平滑（统计）灰色预测（统计）皮尔逊（统计）k-means聚类（无监督）DBscan（无监督）孤立森林（无监督）机器学台Python、Anaconda(单机）SparkMLlib（集群）PYSPARK+Kafka（实时）通用组件研发通用机器学习框架跨库计算配置工具通用关联性分析组件风电出力预测风电出力

算法模型

数据清洗

异常数据

背景：风电是一种间歇式能源，具有很强的随机性。风电功率预测是提高某著名企业风电接纳能力和保障某著名企业稳定运行的有效措施之一。目标：基于风电场天气预报数据及历史功率数据，预测未来风电出力。原理：通过数据清洗减小训练误差，使用Xgboost回归算法预测未来风电出力。空值数据限风数据异常数据迭代筛选数据修正数据丢弃Xgboost回归算法预测结果算法流程数据清洗前数据处理特征效果当前时刻风速和气一时候风速75.40%剔除停机数据及无风速但有出力数据当前时刻风速加上一时候风速87.34%剔除离群数据当前时刻风速、、压力、湿度和气上一时刻风速、、压力、湿度89.17%模型效果数据清洗后特征提取

天气数据历史功率风速数据数据集中存在弃风、限风、异常等不符合客观规律的数据，且数据散乱无规律。数据清洗后剔除了异常数据，并且通过迭代筛选合理数据，使训练集趋近风力发电原理三次曲线。光伏出力预测光电出力

算法模型

数据清洗

异常数据

背景：光电是一种能源，一般从8：00点至18:00出力，具有很强的时序性。光电功率预测是提高某著名企业光电接纳能力和保障某著名企业稳定运行的有效措施之一。目标：基于光伏电场辐射预报数据及历史功率数据，预测未来光伏出力。原理：通过数据清洗减小训练误差，使用Xgboost回归算法预测未来光伏出力。空值数据限光数据异常数据迭代筛选数据修正数据丢弃Xgboost回归算法预测结果算法流程数据清洗前模型效果数据清洗后特征提取

辐射数据历史功率光电厂角度、位置分布数据数据集中存在弃光、限光、异常等不符合客观规律的数据，且数据散乱无规律。数据清洗后剔除了异常数据，并且通过迭代筛选合理数据，使训练集趋近光力发电原理三次曲线。数据处理特征效果剔除光辐射大于0但功率为1数据、去除辐射等不合理取值当前时刻辐射和气等94.04%剔除光辐射大于0但功率为1数据、去除辐射等不合理取值当前时刻辐射和气等加上一时刻辐射和气等94.28%剔除光辐射大于0但功率为1数据、去除辐射等不合理取值当前时刻辐射和气、昨天最后三个时刻光伏辐射比例、加上一时刻辐射和气等94.47%剔除光辐射大于0但功率为1数据、去除辐射等不合理取值当前时刻辐射和气、加上一时刻辐射和气等、增加POINTS字段94.35%剔除光辐射大于0但功率为1数据、去除辐射等不合理取值当前时刻辐射和气、昨天最后三个时刻光伏辐射比例、加上一时刻辐射和气等94.50%地区负荷预测(用户负荷)目标：基于大数据平台的统一负荷数据模型管理，进行海量数据的统一管理和分布式存储，采用深度学习、关联分析等大数据分析技术，智能识别不同类型负荷，分析各类负荷的空间分布特性及气象信息对负荷预测的影响模式，建立考虑数值天气信息的高精度负荷预测模型和实用化预测方法，实现多维度精细化负荷预测。流程：数据从上游抽取到大数据平台，在大数据平台进行清洗。对清洗后的数据做出相关性分析。使用线性回归、拉索回归、神经网络等机器学习算法进行建模，获得了97%以上的准确率。效益：准确的负荷预测，可以经济合理地安排某著名企业发电机组的启停，保持某著名企业运行的安全稳定性，减少不必要的旋转储备容量，有效地降低发电成本，提高经济效益和社会效益。线性回归拉索回归神经网络模型效果示例地区负荷预测(用户负荷)比赛题目：使用AI算法实现某著名企业及多地区的统调负荷预测，实现**某著名企业、**某著名企业、**某著名企业及**某著名企业统调负荷预测，包括以下两部分：日前计划统调负荷预测：每日可根据新的天气预报更新第二天的96点负荷预测结果，预测时间范围2019年9月29日至2019年10月12日。月度计划统调负荷预测：提前预测下一个月每天96点的统调负荷，预测时间范围2019年9月29日至2019年10月12日。日预测准确率：97.02%,月预测准确率：94.85%模型开发：算法使用机器学算法，模型流程如下：电力价格预测BP神经网络LSTM神经网络时间序列GDBT协同过滤更多预测结果分析算法选择参数选择历史电价统调负荷气象数据竞价空间预测模型训练预测目标选择配置参数详细训练所用时间模型迭代次数预测结果展示预测模型修正预测准确率分析预测可信度计算预测对象预测时间电厂1/电厂2/用户…连续多日/单日/分时预测内容主体发某省市市场价格最优模型推荐最优参数推荐售电交易-中长期交业务重点-中长期交持仓曲线及总量持仓总成本持仓度电成本历史/预计电量偏差我是发电我是售电/用户历史发电量历史气象数据气象预测数据光转电模型光伏电站模型…行业类型日期类型历史电量生产计划气象数据中长期持仓分析01中长期发电/用电预测02售电交易-中长期交业务重点-中长期交中长期交：电量及价格区间建议04基本面分析03相似日同品种价格相似日现货价格中长期合约价格预测现货价格预测月份

气象数据统调负荷竞价空间相似日现货价格月度交易725.0mwh年度交易60.9mwh日前交易41.9mwh预计年总交1030.9mwh预计年平均度电单价0.236元/kwh预计年总售电收入10.4亿元2021年1月2月3月…11月12月总计电量6.57.03.8…2.91.360.9年度交易（分月预分配）推荐价格：基准电价（0.254元）+浮动比例（8%）月度交易2021年1月2月3月…11月12月总计总电量42.731.435.9…64.449.3725.0平均价格0.2170.2060.231…0.2080.2160.2352021年123…5152总计总电量3.42.73.7…1.11.141.9平均价格0.2310.2350.245…0.2280.2220.242售电交易-现货申报策略日期类型（工作日、、节假日）天气（、光照度、风力）统调负荷曲线竞价空间曲线…日历明日统调负荷预测曲线天气：

气温：13~5℃风力：3~4级相似度93.5%相似度88.9%相似度87.6%相似度92.7%2020-07-09策略盈利2020-07-14策略盈利2020-07-22策略盈利2020-07-24策略盈利默认特征自定义特征（特征、相似度阈值）相似日识别参考特征01相似日识别02相似日策略分析03最优相似日策略推荐04售电交易-现货申报策略我是发电我是售电/用户历史发电量历史气象数据气象预测数据光转电模型光伏电站模型…行业类型日期类型历史电量生产计划气象数据日前公布信息统调负荷竞价空间线路阻塞机组检修其他公开信息气象数据历史现货价格历史日前与实时价格偏差短期发电/用电预测01现货价格预测02售电交易-现货申报策略基于风险偏好的现货申报策略03日前价格<

实时价格增加日前申报量，或减少实际用电量减少日前申报量，或增加实际用电量日前价格>

实时价格偏差激进保守折中2021-07-121时2时3时…23时0时总计负荷预测42.731.435.9…64.449.3725.0最大允差电量66.354.258.7…89.767.2899.2最大允差电量29.819.523.1…53.239.0675.32021-07-121时2时3时…23时0时总计负荷预测42.731.435.9…64.449.3725.0申报调整方向↓↓↑…↑↓↓日前申报方案33.623.439.1…75.138.2698.4日前全电量电费12.49.114.3…20.713.9211.2实时偏差电费3.5-2.62.1…-4.73.916.8结算电费15.96.512.2…16.017.8237.0最大允范围：50%2021-07-121时2时3时…23时0时总计负荷预测42.731.435.9…64.449.3725.0申报调整方向---…---日前申报方案42.731.435.9…64.449.3725.0日前全电量电费15.111.712.4…17.913.0226.3实时偏差电费1.8-1.23.1…-1.51.99.8结算电费16.910.515.5…16.414.9236.12021-07-121时2时3时…23时0时总计负荷预测42.731.435.9…64.449.3725.0申报调整方向---…↑-↑日前申报方案42.731.435.9…69.149.3739.4日前全电量电费15.111.712.4…19.313.0226.3实时偏差电费1.8-1.23.1…-2.41.98.9结算电费16.910.515.5…16.914.9235.2套利策略售电交易-中长期交某省市场数据收集调频价格预测调频策略生成调频收益测算对比生成申报方案机会成本及调频成本预估（收益-成本）是否最大1.获取分区调频某省市市场限价2.调频价格预测3.策略生成、对比、优化4.申报方案生成仅某省市市场某省市场售电交易-交与回测参数配置模拟出清交盈亏分析模某省市市场数据统一整合，灵某省市市场进行全景仿真。包含所某省市市场的综合信息，灵活配置。控制任何单一变量研究某省市市场产生的影响综合展示主体交，包括中标价格、出力等信息，并根据出清结果和机组成本参数计算盈利。分析主体盈亏组成，多维度对比不同报价方案对电厂、机组盈亏的影响，帮助更好的改善模拟申报策略支某省市市场成员并行申报交易通过对主体类型，机组信息，负荷曲线，用电习惯，风险偏好等参数设置，多角度全方位建模贴合某省市市场主体；支持基于机组成本和历史报价的多种报价策略模拟的技术路线，根据机组类型、装机容量等模拟生成稳健、激进、保守等多种报价数据；自由配置边界条件和报价方案，进行出清计算，推演某省市市场价格和机组中标出力；同时提供丰某省市市场分析套件和报价方案多维度对比寻优工具。售电交易-交与回测历史策略详情回顾01售电交易-交与回测历史策略修改策略1修改策略2修改策略3交回测功能现货偏差电费基数电费中长期电费总电费回测出力实际出