智能控制技术 第3版 课件 第七章深度学习

第七章深度学习2

引言123

模型范式5

深度学习在智能电网中的应用传统机器学习面临的挑战：维数灾难：当数据的维度很高时，非常多的机器学习方法将很难以去应用求解。信息提取困难：对于图像、声音、文本等高维抽象数据难以提取有效信息。需要先验知识：在大数据和多复杂场景下，机器学习无法适应实际环境中的动态变化。一、引言机器学习和深度学习的本质都是学习样本数据的内在规律和表示层次，但深度学习对原始多层感知机进行了进一步设计和优化，所扩展的模型复杂度远超从前。一、引言深度学习模型的规模和复杂度要远大于传统人工神经元网络模型，在训练和应用过程中面临的问题如下：局部最优解梯度爆炸长期依赖非精确梯度优化算法参数选择一、引言1)局部最优解深度学习模型中的损失和误差函数用来反向传递来更新网络中的节点参数。然而深度神经网络待训练的参数量非常多，并且具有一定的冗余，这导致了其中单个参数对最终误差结果的影响都比较小。因此当模型收敛到局部最优解时，即使参数变动比较剧烈也无法将模型运行点从这个局部最小值处抛出。此时，虽然损失函数值在每一轮的训练过程中变化不大，但模型测试效果非常差。一、引言局部最小值与全局最小值2)梯度爆炸神经网络模型中的参数值是通过损失函数的变化来实现更新，损失函数的大小和方向决定了误差梯度更新的大小和方向。但是深度学习模型的层数非常多，而不同层的误差梯度会在更新过程中累积。在累积过程中，误差梯度有可能会达到一个非常大的数值。这样的数值会导致神经网络某些节点的权重值大幅更新，进而导致网络参数和结构的不稳定甚至内存溢出。一、引言参数更新过程中梯度爆炸导致搜索结果出现误判3)长期依赖对于深度学习模型来说，由于变深的结构使网络中更靠近输出层的模型结构丧失了学习到先前信息的能力，这让后端模型的参数更新变得极其困难，这一现象称之为“长期依赖”或者“梯度消失”。特别的，有的时候为了减少深度学习模型中参数的训练量，模型中的部分结构参数将与其他层神经元实现参数共享，而这一技巧恰恰更加深了参数更新的困难程度。梯度消失问题使得模型训练者难以知道神经网络的某些层参数更新问题是否来源于训练数据本身还是模型构造问题，这会导致模型设计的不确定性一、引言4)非精确梯度大多数优化算法在对深度学习模型参数进行更新的时候都有Hessian矩阵的计算过程。在实际模型训练过程中，以上计算都会有噪声的影响导致最后的结果并不如理论分析。而当损失目标函数不可微的时候，通常对应的梯度计算也是非常困难的。此时需要对目标函数进行近似处理，但是这个过程也会带来梯度的损失，导致梯度估计缺陷。梯度缺陷会随着神经网络的计算过程在每个神经元节点处产生影响，最终的结果会比较差。一、引言5)优化算法参数选择深度学习神经网络训练需要对应的优化算法，而优化算法里有着各种各样可调整的参数，这些参数对最终的训练会产生不一样的影响。因此需要对具体的训练任务选择对应合适的优化算法。训练数据批量选择学习率更改规则修正梯度估计，优化训练速度一、引言不同学习率衰减方法结果GPU的重要性并行计算是一种将特定计算分解成可以同时进行的，独立的较小计算程序的程序。在将特定计算分别为较小的独立计算后，将计算时间一致的计算结果再次组合为最终结果。目前工业界所用设备中包含计算单元最多的是图像处理器设备（Graphicsprocessingunit,GPU），拥有成千上万个核心数，可以完全满足并行计算的需求。GPU可以加速神经网络的计算，减少模型更新和设计的时间。对于一个普通的深度学习模型，当不使用GPU时，训练周期可能长达几周甚至几个月。而基于GPU进行训练时，训练周期可以缩短为几小时或者几天。一、引言12

引言123

模型范式5

深度学习在智能电网中的应用深度学习中常用的网络结构：卷积神经网络（ConvolutionalNeuralNetworks,CNN）循环神经网络（RecurrentNeuralNetwork，RNN）自动编码器（Autoencoder，AE）二、模型范式卷积神经网络（CNN）卷积神经网络（Convolutionalneuralnetworks,CNN）是深度神经网络的代表之一，适合处理空间数据，在计算机视觉领域应用非常广泛二、模型范式卷积神经网络结构：输入层卷积层池化层全连接层二、模型范式卷积神经网络结构二、模型范式卷积神经网络将原始高维输入转化为了低维特征矩阵，从而减少了原始模型的参数量，同时没有损失过多的原始信息卷积操作可以保持图像的空间连续性，同时还可以提取图像的局部特征池化操作可以降低中间隐藏层的维度，减少卷积层之后神经网络节点的运算量卷积操作和池化操作过程：二、模型范式卷积操作和池化操作

二、模型范式循环神经网络（RNN）循环神经网络是一类专门处理序列数据的神经网络。如同卷积网络专门用来处理矩阵式数据，循环神经网络对长序列的数据预测和建模非常有效。二、模型范式

二、模型范式（7-1）典型动态控制系统典型动态控制系统：二、模型范式（7-3）有外部输入的动态控制系统进一步地，考虑有外部驱动信号的动态控制系统：

循环神经网络主要特点：输入序列信息，对应输出序列信息，同时内部的状态值会在各个时间步长中进行传递。二、模型范式循环神经网络结构二、模型范式（7-4）是

时刻输入层的输入向量是相邻神经元时刻的状态向量是输入对应的权重矩阵是相邻两个神经元的隐含层权重矩阵是

时刻隐含层和输出层之间的权重矩阵为非线性激活函数

其中：二、模型范式循环神经网络主要改型：长短周期记忆模型（long-shorttermmemory,LSTM）：当输入序列较长时，整个时间序列较早的信息无法被传递到后面，导致历史信息对未来神经元输出的参考作用越来越弱，即“长时间依赖”，LSTM可有效克服。独立循环神经网络（independentRNN,IndRNN）：主要用来解决的问题是LSTM模型中存在的梯度衰减问题双向循环神经网络（bidirectionalRNN,BiRNN）：双向循环神经网络的本质是每一个训练的时间序列向前和向后均有一个循环神经网络，且两者均连接着同一个输出层。这种结构可以提供给输出层的输入序列每一个点的完整过去和未来上下文信息自动编码器（AE）自动编码器本质上属于数据压缩的一种方法，但是它的结构是以深度学习模型来展现的。传统编码器一般用来数据降维或者特征学习，但是自动编码器要灵活的多，因为它既可以表征线性变换也可以表征非线性变换。二、模型范式自动编码器结构：编码器：将高维输入编码为隐含层中的低维信息，从而实现原始数据的数据压缩解码器：解码器会将隐含层的低维信息还原到初始维度二、模型范式自动编码器结构自动编码器常用类型：欠完备自编码器：欠完备自编码器的隐含层维度强制小于输入层，此模型将强制自编码器捕捉训练数据中最显著的特征，自编码器的学习过程就是最小化重构误差正则编码器：正则编码器使用的损失函数可以激励模型学习除了输入与输出映射关系的其他特性，而不必限制使用低纬度的隐含层神经元数量或者层数较少的编码器和解码器来限制模型学习空间容量变分自编码器：1）内部的特征是服从正态分布的随机变量；2）引入了建议分布，通过变分下界将数据概率分布的数学期望转化为了建议分布的数学期望；3）对编码器输出的均值和方程进行了线性变换二、模型范式注意力机制注意力机制可以以高权重去聚焦重要信息，以低权重去忽略不相关的信息，并且还可以不断调整权重，来适应在不同的情况下对重要信息的提取过程二、模型范式注意力机制注意力机制特点：注意力模型的本质就是关注重点信息而忽略不相关的信息，直接建立输入和输出之间的依赖关系，从而提高模型运行速度(实际上是一种较弱的先验行为)注意力模型克服了传统神经网络中的一些局限，如随着输入长度增加系统的性能下降、输入顺序不合理导致计算效率下降、特征工程能力弱等。同时注意力模型能够很好地建模可变长度的序列数据和可变宽度的网格化数据，进一步增强了其捕获远程依赖信息的能力，减少模型层次的同时又有效提高了精度注意力模型的权重模式是训练之前定义的，对每个输入数据对应的权重模型可以单独设置和训练，因此提高了模型训练过程的并行化程度，使得模型的预测性能、分类性能更高二、模型范式30

引言123

模型范式5

深度学习在智能电网中的应用电力设备及系统故障诊断光伏功率预测电力系统快速潮流计算三、深度学习在智能电网中的应用电力设备及系统故障诊断故障定位是在故障发生后，根据故障传播特性、暂态特性、电气量变化特性等，判断故障所在的线路和区段。这个过程需要非常多的计算过程而且不易得到最终的结果。深度学习可以直接用原始的电气量输入建立端到端模型直接判断。三、深度学习在智能电网中的应用不同故障定位技术对比应用实例：四端直流输电系统拓扑三、深度学习在智能电网中的应用四端直流输电系统拓扑三、深度学习在智能电网中的应用样本特征提取MTDC系统发生故障时，电气量波形的幅值变化能比较明显地区分出各个故障，然而实际系统故障距离的变化不能明显地反映在幅值上，使得仅仅依靠幅值变化不能可靠地区分故障的类别和位置。可应用频率分析的小波包分析方法进行数据预处理，同时给神经网络输入幅值特征和频率特征，全面捕捉故障特征。首先在故障的幅值确定方面，幅值特征在于确定电气量幅值变化信息，确定故障波形与正常波形的不同之处。利用信号波形进行MTDC线路故障诊断时，把故障信号波形和正常信号波形首尾相连排列成新信号，如此实现了新信号波形前后幅值特征变化提取。三、深度学习在智能电网中的应用具体的合成公式：合成后的数据故障发生的时刻采样点的间隔采样点的个数三、深度学习在智能电网中的应用频率分析方面：对直流端两极电压、正/负极电流、正/负极电压5种电气量进行3层小波包重构，提取各频段频率特征，实现频率特征提取。小波包分解小波包重构三、深度学习在智能电网中的应用模型构建：故障的幅值特征与频率特征都得到了对应的数据之后，构建并联卷积神经网络（parallelconvolutionalneuralnetwork,P-CNN），P-CNN可以在人为干预下将两个支路分别训练成为有专一功能的神经网络，然后再依靠全连接层结合在一起。P-CNN的双支路结构可以让故障诊断过程更加有序和快速。2条支路分别提取MTDC故障分类特征和故障定位特征，并且依靠P-CNN的特殊性质同时进行计算，提高故障诊断快速性。三、深度学习在智能电网中的应用故障幅值特征与频率特征P-CNN并联神经网络模型输入节点故障电压幅值特征节点故障频率特征模型输出故障类别故障定位三、深度学习在智能电网中的应用模型验证：在模型训练完成后，可将设计模型与其他模型进行相关性能的比较。通常来说，人工智能学习模型再故障诊断方面，以故障诊断准确率、诊断时间和训练时长作为相关的性能指标。考虑到基于模型方法的故障诊断与定位准确性受所选阈值的影响比较大，避免了人为造成的不确定因素，将传统人工智能方法与深度学习方法在MTDC故障定位领域的对比进行分析。神经网络故障诊断准确率/%诊断时间/ms训练时长KNN90.820.70421SVM95.230.80057单支路CNN90.451.24328串联结构CNN95.611.86479P-CNN99.241.8565.73不同方法的性能比较结果三、深度学习在智能电网中的应用从结果可以看出，在MTDC线路故障诊断方面，有着更多的神经元串联结构CNN和P-CNN的准确性比KNN，SVM和单支路CNN高。在快速性方面，结构简单的KNN,SVM及单支路CNN表现更加优秀，但是整体均满足快速性的要求。虽然单支路CNN的故障诊断时长优于P-CNN，但是准确性不足，如果在增加故障类型和故障位置导致输出数量激增的情况，单支路CNN故障诊断的适应能力会进一步下降。三、深度学习在智能电网中的应用光伏功率预测智能电网中分布式光伏接入的比例越来越高，为了减少光伏波动性对电网稳定性的影响，光伏功率预测技术必不可少。深度学习相比传统预测方法，充分利用历史数据的同时可以利用实时数据来更新自身模型。特别地，深度学习中的序列模型对具有时间序列特征的光伏功率预测有着明显的优势，从而可以提高预测模型的准确性。三、深度学习在智能电网中的应用应用实例：超短周期光伏功率预测基于多头注意力机制的长短周期记忆模型方法15分钟1小时15分钟2小时15分钟4小时误差MAPERSMEMAPERSMEMAPERSMEMAPERSMEBP0.4011.20.4914.40.6015.60.6719.4LSTM0.329.30.4111.30.4713.80.5215.2AttentionLSTM0.226.40.339.50.4011.20.4312.6多头注意力机制的长短周期记忆模型0.112.90.164.60.205.80.287.8不同方法预测准确度三、深度学习在智能电网中的应用模型数据处理首先我们需要确定光伏功率预测的相关数据。通常来讲，光伏功率的数据包括功率数据和气象数据。功率数据即为光伏发电功率数据，气象数据包括直接辐照度，散射辐照度、总辐照度、温度、湿度、风速、风向。由于目前工业界数据采集设备的缺陷，直接利用传感器在光伏的逆变器侧测得的数据在传输和保存过程中会出现误差。因此首先要对原始数据进行处理。三、深度学习在智能电网中的应用模型数据处理原始数据的异常情况包括：缺失、重复和异常值。针对缺失数据采用数值插值的方法将该时间段领域的数据进行平均来作为该时间的预测数据。重复和异常值通过对历史数据中，同样是该时间段的数据进行统计并画出频率分布直方图。将频率分布直方图中出现频率最低的两个区间内数据剔除，之后同样利用插值的方法将剔除后的数据缺失位填补完整。模型数据处理另一方面，原始数据与光伏功率的相关性也需要进行检验。若输入模型的训练数据与目标数据相关性较小，那么模型的可信度较小。通常来讲，光伏功率预测与相关气象数据的相关度分析使用皮尔逊相关系数法。相关数越接近1，相关性越大；相关数越接近-1，相关性越小；越接近0，相关性越弱。可剔除相关性较小的数据，保留相关性较大的数据三、深度学习在智能电网中的应用三、深度学习在智能电网中的应用模型构建光伏功率属于典型的序列数据，通常采用长短周期记忆模型进行训练。首先要确定序列预测模型的输入序列长度和输出序列长度。针对超短期光伏功率预测，输出序列可以为单个时间步也可以为多个时间步长。而预测方式也分别对应了滚动预测和直接预测。而为了进一步提高预测精度和计算效率，在长短周期记忆模型的基础上可增加多头注意力模型。三、深度学习在智能电网中的应用模型构建滚动预测相比直接预测的区别，除了模型结构不同外，还有一点就是滚动预测的预测模型输出，会作为下一个时间步预测的模型输入。这样滚动预测模型理论上可以预测任意长度的时间序列。但是不可否认的是，基于滚动预测方法的预测结果，会随着预测时间尺度的增加而下降，而直接预测方法该特点并不明显，各个尺度的预测结果相对平均。因此在实际光伏功率预测的实际应用中，要根据实际情况来选择合适的预测模型。三、深度学习在智能电网中的应用滚动预测模型直接预测模型三、深度学习在智能电网中的应用方法15分钟1小时15分钟2小时15分钟4小时误差MAPERSMEMAPERSMEMAPERSMEMAPERSMEBP0.4011.20.4914.40.6015.60.6719.4LSTM0.329.30.4111.30.4713.80.5215.2AttentionLSTM0.226.40.339.50.4011.20.4312.6多头注意力机制的长短周期记忆模型0.112.90.164.60.205.80.287.8不同方法预测准确度模型验证在训练过程中，训练数据要比测试数据多至少两倍。由于超短期光伏功率预测时间尺度为15分钟到4小时，因此在预测模型性能分析时，选取15分钟，1小时15分钟，2小时15分钟和4小时作为典型代表。光伏功率预测的准确度以平均绝对误差百分比（MAPE）和标准均方根差（RMSE)为代表，从预测准确度可以看出，多头注意力机制的长短周期记忆的模型的预测准确度是最高的。快速潮流计算潮流计算是对给定的运行条件（如负荷需求、电网拓扑结构、可再生能源出力等）确定系统的运行状态，如节点电压（幅值与相角）、线路传输功率等。而最优潮流计算指的是单时段、仅考虑连续优化变量的最优潮流问题。它可以通过构建等式和不等式约束对应的优化问题，这导致了最优潮流的计算非常复杂，以至于一般来说无法得到实时潮流。而深度学习的实时推理能力为快速潮流计算的实时性带来了希望。三、深度学习在智能电网中的应用三、深度学习在智能电网中的应用应用实例：IEEE标准节点快速潮流计算IEEE39标准节点图三、深度学习在智能电网中的应用样本数据定义在交流潮流计算中，母线通常分为三类：PQ母线、PV母线和松