CN114118569B 基于多模态多任务的Transformer网络的风电功率多步预测方法 （宁波力斗智能技术有限公司）

基于多模态多任务的Transformer网络的风本发明公开了一种基于多模态多任务的Transformer网络的风电功率多步预测方法，属预测模型；收集K种多源异构数据并利用最大信优选变量进行归一化处理，划分训练集和测试升已有模型的预测准确率而且能降低其时间复2收集K种多源异构数据并利用最大信息系数分析进行变量选择，将S种优选变量作为对预测结果进行反归一化得到风电功率预测值，并结合评价指标对预测结果进行分第一阶段：利用多个特征提取器分别从各种历史特征中提取出高阶特征，其中，采用人工经验和网格搜索的方式并结合模型训练的效果来确定M2TNet模型的超参数，所有的Transformer均采用相同的结构参数；Transformer中各隐层的单采用人工经验和网格搜索的方式并结合模型训练的效果来确定M2TNett为在t时刻对未利用互信息来衡量风电功率与其他异构数据历史变量之间的相关性并且计算MIC值，3k和分别是误差统计时间区间内的k时刻处理器执行时实现权利要求1至4任一项所述方4基于多模态多任务的Transformer网络的风[0001]本发明属于电力系统规划技术领域，更具体地，涉及一种基于多模态多任务的[0003]针对现有技术的以上缺陷或改进需求，本发明提出了一种基于多模态多任务的Transformer网络(M2TNet)预测模型的风电功率多步预测方法，解决了多源异构数据的风[0004]为实现上述目的，按照本发明的一个方面，提供了一种基于多模态多任务的[0007]对S种优选变量进行归一化处理得到样本数据，将样本数据划分为训练集和测试[0008]采用人工经验和网格搜索的方式并结合模型训练的效果来确定M2TNet模型的超5[0013]第一阶段：利用多个特征提取器分别从各种历史特征中t为在t时刻[0017]在一些可选的实施方案中，收集K种多源异构数据并利用最大信息系数分析进行[0018]利用互信息来衡量风电功率与其他异构数据历史变量之间的相关性并且计算MIC层神经元个数、学习率的大小、Epochs的大小、BatchSize的大小以及Dropout的大小；[0021]采用人工经验和网格搜索的方式并结合模型训练的效果来确定M2TNet模型的超k和分别是误差统计时间区间内的k时刻的风电功率实际值和预测[0025]本发明一种基于多模态多任务的Transformer网络的风电功率多步预测方法，利6设计使每个Transformer单元可以有针对性地单独处理每种类型的异构数据。此外，多模态和多任务学习策略，多模态学习有利于整合多个Transformer单元输出的不同模态[0026]图1是本发明实施例提供的一种基于多模态多任务的Transformer网络的风电功[0030]如图1所示是本发明实施例提供的一种基于多模态多任务的Transformer网络[0033](2)收集K种多源异构数据并利用最大信息系数(MaximalInformation[0035](4)采用人工经验和网格搜索的方式并结合模型训练的效果来确定M2TNet模型的[0037](6)对预测结果进行反归一化得到风电功率预测值，并结合评价指标对预测结果7[0050](1.2)针对(1.1)中提出的三阶段建模策略中的第一阶段中采用如图3所示该向量被送入n个编码器层中。每个编码器层由两个子层组成即一个自注意力子层和一个量经过线性化映射操作输出得到历史特征i[0051](1.3)在图2所示的M2TNet网络中采用多个Transformer单元并联的多分支结构，8每个分支可以单独处理每一种异构数据，这样的设计有利于整个模型的结构的灵活地配(1.1)中提出的三阶段建模策略中的第二阶段，采用多模态学习策略，可以整合来自Transformer单元输出的不同模态之间的信息来形成更有助于复杂任务实现的高级特征，[0054]利用互信息来衡量风电功率与其他异构数据历史变量之间的相关性并且计算MIC[0058]本发明对于超短期风电功率多步预测模型的评价指标从模型预测结果的误差和[0062]本发明一种基于多模态多任务的Transformer网络的风电功率多步预测方法。利9多模态和多任务学习策略，多模态学习有利于整合多个Transformer单元输出的不同模态[0063]需要指出，根据实施的需要，可将本申请中描述的各个步骤/部