CN113962364B 一种基于深度学习的多因素用电负荷预测方法 （四川大学）

US2020143460A1,2020.05.07XinyiWang等.Self-AttentiNeuralNetworkforPredictingRNA-ProtBindingSites.IEEE/ACMTransactions一种基于深度学习的多因素用电负荷预测本发明公开一种基于深度学习的多因素用插值和序列数据归一化对数据进行预处理和标测模型，首先采用CNN特性提取模块对输入数据self-attention机制引入到LSTM中用于学习2VasileiosTosounidis.WindForecastingwithDeepLMethods.https://ikee.lib.auth.gr/reco文.3而构建基于改进的CNN-LSTM的用电负荷数据预测神经网络模型，利用步骤2处理得到的用加载数据集并划分训练集、验证集和测试集，然后分别对训练集和测试集构造所述神经网络模型包括CNN特征学习模块、LSTM序列学习模块和自注意力机制模块三1)所述CNN特征学习模块包括三个一维卷积层，其中在两个连续的卷积层之间加入函数ReLu以增强模型学习复杂结构的能力；2)所述LSTM序列学习模块包括三个LSTM层，每个层包含LSTM层的输入为t时刻的影响参数xt和上一时刻的预测值ht-1，经过预测函数F得到t时3)所述三个LSTM层之间分别加入一个自注意力机制模提取的隐藏层的特征分配权重，从而挖掘用电负荷数据和环境影响数据更具判别性的特h为LSTM隐藏层输出的序列长度，l表示LLSTM隐藏层在t时刻的序列l与其他序列直将序列l的特征htl与其对应的权重wtl相乘构成新的特征序列ht'l并输入到下一个LSTM使用平均绝对误差作为损失函数来监控验证4法得到每个时刻用电负荷数据的异常得分，将每个集群到各自k个邻近的总距离作为最后k设置聚类滑动窗口的大小M，计算窗口内用电负荷数据的平为每个用电负荷数据设置权重以减少对最终聚类结果的影响，权重w(ci,cj)的计算公i,cj)为i时刻的用电负荷数据ci和j时刻的用电负荷数据cj的协方差，Var5i和xj分别表示电力用户的第i个和第j个时刻，yi表示电力用户的第i个时刻的6测结果构建基于电力数据的预测及可视化分析模型，辅以分析比较效果较好的预测方法，出一种Lasso-PCA数据简约与特征提取模型用来减少模型的计算量和参数量，提高模型的7[0010]步骤4：通过改进的CNN-LSMT的用电负荷数据预测神经网络模型进行用电负荷预[0012]更进一步的，所述步骤2中基于k-邻近算法和改进DBSCAN算法的异常数据检测具[0013]步骤2.1：定义样本与邻近样本8本的数据进行密度聚类，再对局部聚类结果进行迭代聚类从而实现最终的全局聚类结果，[0040]加载数据集并划分训练集、验证集和测试集，然后分别对训练集和测试集构造9[0042]所述神经网络模型包括CNN特征学习模块、LSTM序列学习模块和自注意力机制模[0043]1)所述CNN特征学习模块包括三个一维卷积层，其中在两个连续的卷积层之间加[0044]2)所述LSTM序列学习模块包括三个LSTM层，每个层包含二十个神经元；前两个[0045]LSTM层的输入为t时刻的影响参数xt和上一时刻的预测值ht-1，经过预测函数F得[0047]3)所述三个LSTM层之间分别加入一个自注意力机制模块，自注意力机制模块对表示LSTN隐藏层在t时刻的序列l与其他序[0051]将序列l的特征htl与其对应的权重wtl相乘构成新的特征[0057]2)本发明提出的基于深度学习的多因素用电负荷预测方法，提出一种KNN和改进[0063]图4是本发明对某地域商业用电的超短期用电负荷预测值与真实值的对比折线[0065]图6本发明对某地域商业用电的中长期用电负荷预测值与真实值的对比折线图；DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise基于密度的空间聚类在噪声中的应用)算法的异常数据检测、自回归插值和序列数据归一化对数据进的序列特征信息；同时将self-attention机制引入到LSTM中用于学习LSTM隐藏层的特征，期用电负荷预测、短期用电负荷预测和中长期用电负荷预测并辅助对疫情前后用电分析、[0068]如图1所示的本发明基于深度学习的多因素用电负荷预测方法的具体实施流程WEATHER_ADDRWEATHER_TYPE[0078]1)基于k-邻近(KNN)算法和改进DBSCAN算法的异常用电负荷数据检测。由于电力电负荷数据的异常情况，本发明在使用改进KNN算法得到每个时刻用电负荷数据的异常得[0086]由于KNN算法在计算集群ci的k个邻近的时存在异常集群和正常集群的相互干扰，何簇类的点属于异常点。相比传统的DBSCAN算法采用全局统一的参数Eps和MinPst实现聚[0087]在参数更新的过程中，首先需要设置聚类滑动窗口的大小M并计算窗口内用电负[0091]2)对于用电负荷缺失值的处理，通常采用插值法补全缺失值，本发明采用[0092]Lagrange插值的思想就是使得n-1的多项式y＝a0+a1x+a2x2+L+an-1xn-1经过n个点,X2,X3L,XN}表示同一类别的数据如用电负荷数据、温度数据或风力的基于改进CNN-LSTM的用电负荷预测模型示意图。CNN和LSTM是使用最为广泛的深度学习后的数据，所述的用电负荷预测模型为神经网络。首先加载数据集并按照7:2:1划分训练用电负荷预测模型包括CNN特征学习模块、LSTM序列学习模块和自注意力注意力(self-[0102]CNN特征学习模块由三个一维卷积层组成，其中在两个连续的卷积层之间加入MaxPooling层和ReLu层。引入卷积操作学习标准化后的用电负荷数据和环境数据的特征，最终的模型预测准确度。t时刻LSTM网络倒数第二层的隐藏层输出序列分配自注意力权重表示LSTN隐藏层在t时刻的序列l与其他序[0110]将序列l的特征htl与其对应的权重wtl相乘构成新的特征[0111]在任何深度学习模型的开发中，dropout层包括随机选择神经元并在训练过程中之间加入了一个dropout层，以防止过度拟合。LSTM序列学习块的输出也连接到一个[0112]步骤3.3)对于优化器的定义及模型训练参数设置。模型训练输入数据中训练数电情况，可以为发电厂提供调度指导。(b)为2018/2019/2020年该地五一商业用电负荷对[0115]图5为某地域商业用电的短期用电负荷预测值与真实值的对比示折线图，引入温基于k-邻近(KNN)算法和改进DBSCA