【《极限学习机相关理论概述》2800字】

极限学习机相关理论概述极限学习机是由黄广斌等人提出的一种单隐含层前馈神经网络（SingleHiddenLayerFeedforwardNeuralNetworks,SLFNs)，对比于其余方法，它具有更加简单的训练过程，可通过随机方式给出输入权值及阈值，可以由广义上的逆矩阵为基础获得SLFNs输出权值，从而实现模型的训练，使得其训练效率以及泛化能力得到极大改善。该算法与不少常规网络模型具有相似性，其网络架构也包括三层，分别为输入层，隐藏层以及输出层，实质上，它是前馈网络之一，该章节首先引入前馈网络，就该算法的求解优点进行阐述，仅需要确定其隐藏层节点数，而后结合最小二乘法进行直接求解，就能够获得由隐藏层至输出层的权重，摒弃了不断重复的迭代更新过程。再者，将核函数原理应用到ELM内，实现了对部分低维不可分问题的有效处理，把其转变成高维空间，从而变成可分问题，使运算复杂程度得到有效减小，乃至将无法运算转变成可运算问题，最终无须再将隐藏层特征映射维数当作必要条件，仅须知道核函数点乘模式就能够进行求解运算，同时总结出了具体的算法流程。最后在离线模型的基础上引入一种在线极限学习机模型，即有新的样本数据增加时，自动更新模型，不需要反复训练，大大提高了计算效率。1.1极限学习机极限学习机网络所采用的具体架构为图1.1所示，并将隐含层所需节点数量设置为L，隐含层中形成的输出函数设置为，隐含层中所形成的输出权值设置为，训练样本集。图1.1极限学习机网络结构则SLFNs模型可表示为：(1.1)利用零误差均值逼近训练样本，则存在，，，使(1.2)其中，代表第i个处于隐藏层及输出层相关节点间的具体权值向量，可采用矩阵进行表达，同时具有：(1.3)，，其中，代表了处于隐含层以及输出层中间的相关权值矩阵；H代表了隐含层所产生的输出矩阵，T代表了期望值所形成的输出矩阵。对传统神经网络问题进行计算的过程中，大多选择使用梯度下降法，通过反复迭代来求解神经网络的输入权值矩阵和阈值，虽然这种方法得到的模型准确度高，但是这种方法存在计算效率较低的问题。而极限学习机算法主要是将直接选择的输入权值矩阵W以及阈值b两个参数加以利用，同时选择最小二乘法来完成相关参数的计算，不用进行多次求解操作，在很大程度上降低了运算的复杂度。黄广斌则基于相关经验与结论，给出了两个定理[38]：定理1倘若设SLFNS中相关隐藏层所具有的节点数是L，g(x)代表了处于任何范围内均呈现可微状态的激活函数，对于训练样本集，受任意一个连续概率分布影响，随意采用的与参数，均将隐藏层内输出矩阵H包含在内，在实现可逆的同时达到。定理2倘若设属于一个具有无限小特征的正数，SLFNS中隐藏层具有的节点数设置为L，代表处于该范畴内的相应激活函数，如果将N个训练样本点设置是，此时处于以及R两个空间中，依照任意一种连续概率分布方法所随机产生的与参数，必定存在的关系，并实现。由以上两个定理可知，求解SLFNS只需求解输出权值即可：(1.4)通过具体定理1便能得知：代表了该线性系统中所得到的最小二乘解，进而通过相关定理2便能得知最小范数最小二乘解可采用下式进行表示：(1.5)其中，为广义逆矩阵。通过式1.5可以看出为广义逆矩阵，所以根据Moore-Penrose广义逆相关定理进行求解，通常采用奇异值分解法、迭代法和正交法等解法，这里采用正交法计算求解。为了进一步提高模型的泛化性能，这里引入正则化系数，则上式变为：(1.6)综上所述，ELM算法的步骤为：对于给定的样本(1)确定ELM网络的具体结构，例如隐含神经元节点等。(2)随机确定隐含神经元的输入权值和隐含神经元的阈值。(3)计算输出矩阵H。并根据H求解其最小二乘解：。1.2核极限学习机KELM由Huang等人在ELM基础上的改进，利用核函数映射操作可实现对隐含层内所采用的随机映射方式的替代，避免了ELM随机给定隐含层参数而带来稳定性差的问题，提升了模型的鲁棒性[39]。KELM因其计算速度快、泛化能力强，目前已经广泛应用于预测、故障诊断、分类问题等领域[40]。其基本原理如下：此时输出函数为，隐含层输出权值，所获得的训练样本集QUOTE{xi,ti|xi(1.7)应用ELM的初衷主要是为了实现训练误差最小化，并获取相应的隐含层输出权值，由结构风险最小原理，构造如式1.8的二次规划问题：(1.8)其中，C代表了相应的惩罚因子，i代表了第i个误差变量。将拉格朗日乘子引进到相应公式内，即可通过式1.8将二次规划问题转变成：(1.9)对，i，分别求导。可以得到：(1.10)(1.11)这里令：(1.12)则上述式子可写成：(1.13)对以上方程组的具体等式进行结合之后，可利用联立方程组完成整个求解过程，最终得到ELM模型输出权值：(1.14)其中，H为隐含层矩阵，T为目标值矩阵，I为单位矩阵。这里需要注意式h(x)维度的问题，即当原本求解维度较高时，会使整个运算的繁杂度有所加大。以此处所引进的核函数为基础，一旦将处于低维环境中呈现不可分的数据映射至高维可分的情况下，无需再对有关隐藏层特征映射的具体维数有所了解，仅需利用核函数点乘的方法便能实现具体求解流程，为了提高模型的预测精度和稳定性，引入相应的核矩阵以对ELM中隐含层矩阵H进行替代，利用核函数可在高维空间内实现相关训练样本的映射操作。定义核矩阵为元素为，元素，构造KELM模型如下：(1.15)(1.16)式中，K(xi,xj)往往会选取两种函数进行运算，一是线性核函数，二是径向基核函数，具体可采用下式进行表达：(1.17)其中，为核函数宽度参数。(1.18)1.3在线序列极限学习机在1.1和1.2方法中，要想完成不同模型的搭建，首先要基于实现离线批量处理算法，也就是通过所有数据对预测模型进行训练操作，在此背景下，有一定缺损的历史数据必定会在很大程度上直接影响整个模型的性能。而真实的电力系统内，很难通过一次操作便实现对数据的全部采集，通常多采用数据流的方式逐渐新增。而批量离线预测模型为获取更加精确的结果，同时完成有关新增数据的处置，首先一定要将已完成训练操作的模型抛开，在现有数据基础上实施多次训练操作，这样会在很大程度上给系统整体的运算能力以及储存空间大小造成压力。近年来伴随电网智能化速度的提升，电力数据整体的上涨态势表现为“指数级”，致使模型更新速度远跟不上相关数据的更新速率，进而导致负荷预测工作很难快速完成。所以探索一种更加“快、稳、准”的在线负荷预测方式，成为目前各个电力专家分析的重点，这里采用一种在线序列极限学习机对负荷样本进行建模。对在线序列极限学习机算法来说，有关输出权重的整体学习流程将涉及两个方面：其一，起始阶段，也就是利用部分样本便可计算得到ELM中的输出权重；其二，在线学习阶段，也就是通过某个样本抑或样本数据块对起始阶段所获取的输出权重进行更新操作，其基本原理如下[41]：假设有个训练数据为，由1.1节极限学习机理论可知，希望求得使满足最小，其中有：，由1.1节广义逆求解方法得：(1.19)式中，。当有个新样本输入时，得到式1.20：(1.20)同理，由广义逆计算可得：(1.21)(1.22)于是，可表示为：(1.23)而：(1.24)由此可推出，为：(1.25)因此当第k+1次的数据过来后，得到在线学习的递推公式如式1.26和1.27所示：(1.26)(1.27)令，则上式可表示为(1.28)(1.29)综上所述，OS-ELM算法的步骤为：=1\*GB3①选取初始样本集。随机确定隐含神经元输入权值和隐含神经元阈值。=2\*GB3②计算初始阶段的输出矩阵