辨识方法人工神经网络课件

1参考文献神经网络理论【俄】A.H.加卢什金著人工神经网络郑君里杨行峻神经网络控制技术及其应用何玉彬李新忠著神经网络、模糊系统及其在运动控制中的应用丛爽著神经计算原理、语言、设计、应用何明一著面向MATLAB工具箱的神经网络理论与应用侯媛彬、汪梅等著起因电子元器件：纳秒量级10-9神经细胞：毫秒量级10-3记忆、计算、判断：<1秒范德曼J.A.Feldman100步程序长度

新型的信号处理机制23ANN研究历史三个阶段初创期（1943-1969）1943年McCulloch和Pitts著作第一次提出了神经网络模拟2、1949年Hebb研究大脑神经细胞、学习及条件反射提出了Hebbian规则（从心理学角度）3、1957年FrankResenblant（神经元之父）提出了感知器（Perceptron)，确立了从系统角度研究的基础。

（自动学习模式分类的判别函数的一般性方法，推广到有多层相互连接的阀值逻辑单元构成的审议机）4、1962年Bloek用解释器证明了感知器的学习收敛性

1969年M.Minsky，S.Papert证明了感知器的局限性和多层感知器还没有找到有效的计算方法4过渡阶段（1970-1986）5、70年代，低谷。M.Minsky的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。6、Hopfield于1982年和1984年提出Hopfield神经网络模型，引入网络能量函数的概念，开创了神经网络用于联想记忆和优化计算的新途径。K.Fukushima等提出神经认知机网络理论。7、1986Rumelhart等人提出了BP网络。1986年进行认知微观结构地研究，提出了并行分布处理的理论(74年，Werbos博士论文提出)8、1987Kohonen提出自组织映射理论。

发展阶段（1986年之后）9、标志是1987年6月在美国圣地亚哥召开了第一届世界神经网络会议10、1988年前后我国发展起来

1989年我国第一届神经网络-信号处理会议5神经细胞功能：产生、处理和传递信号。构成：细胞体、树突和轴突。基本信息：兴奋或抑制。信号量足够大，激活细胞，产生脉冲。67一、基本概念1、定义

ANN是指由大量自然神经系统的神经细胞类似的（人工）神经元互联而成的网络。单个人工神经元的功能简单，但大量神经元构成网络，其并行运算的特点使得其行为及其丰富多彩。神经网络是一个非线性动力学系统，特色：分布式存储和并行协调。和数字计算机相比，神经网络具有集体运算能力和自适应学习能力。人工神经网络是智能控制技术的三大组成部分---神经网络、模糊控制和专家系统采用Nguyen-Widrow方法对网络层进行初始化2、人工神经元基本模型数据后处理函数：恢复被函数premnmx归一化的数据Minsky的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。（1）

由于Sigmoid函数的输入在0和1之间，只能趋近于0或1，而不能达到0或1。选择时隐层最多不要超过2层。利用生物学、数学等手段，提炼ANN应具备的高级智能的能力，设计其基本处理单元。数据预处理函数：把数据归一化到－1和1之间（5）从数学上看，BP算法是一个非线性的优化问题，这就不可避免地存在局部最小问题。寻求可全局收敛的快速算法，满足实时和精度需要误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。Fukushima等提出神经认知机网络理论。训练样本集选为，由动静组成比例为＝0.（4）隐层节点数n1：多为凭经验或尝试而定，还没有完善的理论证明。（2）网络权值调整规则1秒三相重合闸跳开，0.学习速度慢，训练时间长限制了实时应用，尤其在控制领域中造成网络的局部收敛，影响系统的精度网络采用8-1-1结构，模型阶次NP=2，学习速度=0.利用神经网络自组织构成的模糊控制器在系统扰动时的作用8智能功能具有两类模拟能力（1）低级处理能力研究生物神经细胞结构，获得生物神经细胞的某些特征。（感知器、BP网络）（2）高级处理能力利用生物学、数学等手段，提炼ANN应具备的高级智能的能力，设计其基本处理单元。

（LAC的竞争机理、良心机理）92、人工神经元基本模型f（x）X1X2XnW1Wny

图神经元结构模型多入单出表达式

为阈值f(x)为激发函数103、激发函数阈值型分段线性双曲函数Sigmoid函数高斯函数基本网络结构1114、神经网络模型结构12基本网络结构2135、人工神经网络学习方法相关规则仅根据连接间的激活水平改变权值。Hebb算法纠错规则依赖于输出节点的外部反馈改变权系数。δ学习规则、梯度下降法、BP算法无教师学习规则自适应于输入空间的检测规则，有选择地接受输入空间的不同特性。竞争式学习14Winner-Take-all学习规则是一种竞争学习规则只有获胜神经元才有权调整其权向量，调整量为对于一个特定的输入X，竞争层的所有p个神经元均有输出响应，其中响应值最大的神经元为在竞争中获胜的神经元。15分布式存储系统信息等式分布存储在网络的各个神经元及其连接权值中，有很强的鲁棒性。并行处理及推理的过程具有并行的特点非线性神经网络本质上是非线性系统，能够充分逼近任意复杂的非线性关系。自学习和自适应能力具有高度的自适应性和自组织性，能够学习和适应严重不确定性系统的动态特性。6、特点16二、神经网络学习算法感知器网络BP网络线性神经网络径向基函数RBF网络竞争型神经网络反馈型神经网络17误差反向传播算法原理（BP算法）

1986年Rumelhart和McCleland提出了多层前馈人工神经网络及其学习算法──误差反向传播（Errorback-propagation,BP）算法，它是目前在实际中应用最广泛的一种人工神经网络。

Back-PropagationNetwork18图

3BP网络结构示意图

算法的主要思想BP网络是一种正向的、各层相互全连接的网络。正向传播：输入信号要经过输入层，向前传递给隐层节点，经过激发函数作用后，把隐层节点的输出传递到输出节点，再经激发函数后给出输出结果。误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。19BP算法选用的激发函数LOG-Sig函数Tan-Sig函数线性函数20BP算法过程（1）信息的正向传播——各层神经元的输入输出关系输入层第i个节点输入输出隐层第j个节点输入输出输出层第k个节点输入输出21其中为惯性因子，其作用是引入权值修正惯性项，减轻振荡效应，加快学习速度。对sigmoid函数有：对神经网络逐层进行初始化和数字计算机相比，神经网络具有集体运算能力和自适应学习能力。Fukushima等提出神经认知机网络理论。误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。图典型BP网络误差变化曲线.（4）隐层节点数n1：多为凭经验或尝试而定，还没有完善的理论证明。神经细胞：毫秒量级10-3（5）激活函数：LogSig函数;TanSig函数;线性函数Pureline人工神经网络是智能控制技术的三大组成部分---神经网络、模糊控制和专家系统误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。面向MATLAB工具箱的神经网络理论与应用选择时隐层最多不要超过2层。记忆、计算、判断：<1秒正切S(Sigmoid)形激活函数训练样本集选为，由动静组成比例为＝0.为提高学习效率，增加一个态势项。利用Levenberg-Marquardt反向传播算法对网络进行训练为提高学习效率，增加一个态势项。当误差较大时，协调器控制输出层的权值阵增大（2）网络权值调整规则

核心是利用梯度下降法调整网络的权值，使其调整量与其对应的负梯度成正比。每一样本的误差函数系统代价函数修正公式22步长反传误差信号反向误差传播公式23输出层：输出层反传误差信号：隐层反传误差信号：隐层：对sigmoid函数有：为提高学习效率，增加一个态势项。其中为惯性因子，其作用是引入权值修正惯性项，减轻振荡效应，加快学习速度。24图

3BP网络结构示意图

25归纳学习过程1、给数值、阀值赋初值，给定适当的学习速度，惯量因子，误差限值和最大学习次数，并令(0)=0，指数型能量函数参数a＝2.8，b＝0.98。2、读入学习样本{X(t),Y(t)}，t=1,2,…,T3、计算各层的输出，完成前向过程：4、修正权值、阀值、完成反向传播过程：5、计算输出误差和总误差6、学习次数达到给定限值，则可保存网络并退出，26

图

典型BP网络误差变化曲线.

BP网络结构选为3—5—1，学习速度=0.7，惯量因子＝0.9。

27BP网络设计问题：（1）网络层数理论证明：在不限定隐层节点数情况下，两层（只有一个隐层）的BP网络可实现任意非线性映射。选择时隐层最多不要超过2层。（2）输入层节点数n：由输入向量的维数决定。（3）输出层节点数m：由输出向量维数决定。（4）隐层节点数n1：多为凭经验或尝试而定，还没有完善的理论证明。一般可参考一下经验公式：（5）激活函数：LogSig函数;TanSig函数;线性函数Pureline（6）训练方法：最速下降法、动量BP法、学习率可变算法、弹性BP法、变梯度算法、线性搜索路径、拟牛顿法、LM(Levenberg-Marquardt)算法a为1~10的一个数适合数据压缩28实际应用中，必须注意的问题：（1）

由于Sigmoid函数的输入在0和1之间，只能趋近于0或1，而不能达到0或1。因此在训练网络以前，应该对学习样本的期望输出值进行标度（Scale）,使其落在区间[a，b]内，通常可取a=0.1，b=0.9。（2）

学习速度和惯量因子的配对选择是至关重要的，一般的原则是，或者和都选得比较大，或者都选择比较小。和的选取问题，可参考有关文献，但目前还有统一的标准。（3）

权值和阀值的初值选取对结果会有很大的影响，不同的初值会使学习得到的BP网络的权值和阀值也不同，尽管它们都能满足给定的精度。这说明在用BP网络解决实际问题时，存在多个表达，但其外部特性是一致的。1989年我国第一届神经网络-信号处理会议负荷可被看作是一个非线性随机系统。利用生物学、数学等手段，提炼ANN应具备的高级智能的能力，设计其基本处理单元。（2）网络权值调整规则当误差【10%，20%】时，协调器控制输出层权值减小，同时停止其他层权值的修正，降低网络灵敏度，避免输出过冲，造成反向误差数据后处理函数：恢复被函数premnmx归一化的数据当误差较大时，协调器控制输出层的权值阵增大1969年M.第一次提出了神经网络模拟对sigmoid函数有：网络采用8-1-1结构，模型阶次NP=2，学习速度=0.学习速度慢，训练时间长限制了实时应用，尤其在控制领域中自适应于输入空间的检测规则，有选择地接受输入空间的不同特性。适宜组成快速实时自适应控制系统：并行分布控制、智能鲁棒控制等理论证明：在不限定隐层节点数情况下，两层（只有一个隐层）的BP网络可实现任意非线性映射。采用Nguyen-Widrow方法对网络层进行初始化实例改进BP网络用于负荷动态建模寻求可全局收敛的快速算法，满足实时和精度需要对于一个特定的输入X，竞争层的所有p个神经元均有输出响应，其中响应值最大的神经元为在竞争中获胜的神经元。数据后处理函数：恢复被函数premnmx归一化的数据29（4）网络的隐层节点个数选择尚无理论指导，而是根据经验选取。（5）从数学上看，BP算法是一个非线性的优化问题，这就不可避免地存在局部最小问题。BP算法的一种改进BP算法收敛慢BP网络是一种全反传式的前向网络误差反传信号修正全部权值对权值修正增加一个协调器（基于降低网络灵敏度的BP改进算法）当误差较大时，协调器控制输出层的权值阵增大当误差【10%，20%】时，协调器控制输出层权值减小，同时停止其他层权值的修正，降低网络灵敏度，避免输出过冲，造成反向误差当误差<10%时，只允许靠近网络输入层的第一或第二隐层权值修正，同时停止输出层权值及其他权值的修正，再降低网络灵敏度。Matlab工具箱函数名称功

能Newff建立一个前向BP网络Init对神经网络的参数进行初始化Initlay对神经网络逐层进行初始化initnw采用Nguyen-Widrow方法对网络层进行初始化rands对权值和阈值进行随机初始化Purelin纯线性激活函数Tansig正切S(Sigmoid)形激活函数Logsig对数S(Sigmoid)形激活函数Train对神经网络进行训练trainlm利用Levenberg-Marquardt反向传播算法对网络进行训练mse均方误差函数Sim对神经网络进行仿真Premnmx数据预处理函数：把数据归一化到－1和1之间Postmnmx数据后处理函数：恢复被函数premnmx归一化的数据31示例demo132ANN在建模方面的独特优越性

人工神经网络作为一个具有高度非线性的动力学系统，可实现任意程度的非线性映射，而且具有很强的泛化能力。另外，作为一个非结构模型，可省去一些模型结构选择方面的问题。很适合对于参数易变的非线性复杂系统的模型辨识

3334实例改进BP网络用于负荷动态建模图典型BP网络误差变化曲线.造成网络的局部收敛，影响系统的精度当误差较大时，协调器控制输出层的权值阵增大负荷可被看作是一个非线性随机系统。采用Nguyen-Widrow方法对网络层进行初始化并用改进BP网络对其中的几组数据进行了动态建模.输入输出数据预处理函数：把数据归一化到－1和1之间和数字计算机相比，神经网络具有集体运算能力和自适应学习能力。（6）训练方法：最速下降法、动量BP法、学习率可变算法、弹性BP法、变梯度算法、线性搜索路径、拟牛顿法、LM(Levenberg-Marquardt)算法对于不同的研究对象，提出选择合适的神经网络结构，对于多层前馈网络，提出网络层次、隐层节点的选择规则。网络采用8-1-1结构，模型阶次NP=2，学习速度=0.数据预处理函数：把数据归一化到－1和1之间06秒该条线路三相短路，0.选择时隐层最多不要超过2层。3、1957年FrankResenblant（神经元之父）提出了感知器（Perceptron)，确立了从系统角度研究的基础。专家系统的局限——形象思维正向传播：输入信号要经过输入层，向前传递给隐层节点，经过激发函数作用后，把隐层节点的输出传递到输出节点，再经激发函数后给出输出结果。误差反传信号修正全部权值三、神经网络的应用模式识别与分类可提取信号图像的模式特征，具有自适应的特点手写体识别、人脸识别、雷达目标识别、机器人视觉听觉等人工智能专家系统的局限——形象思维自然语音处理、市场分析、预测估值、系统诊断、模糊评判控制工程领域适宜组成快速实时自适应控制系统：并行分布控制、智能鲁棒控制等信号处理自适应和非线性问题：弱信号检测、自适应滤波等。3536实例改进BP网络用于负荷动态建模

负荷可被看作是一个非线性随机系统。从输入输出的角度来看，负荷的动态特性是指其输出量（有功功率P和无功功率Q）与输入量（电压V和频率f）以及它们的导数之间的关系，

37图7负荷建模用BP网络结构（Y=P或Q）

38网络采用8-1-1结构，模型阶次NP=2，学习速度=0.1，惯量因子=0.01。图8马南甲线实测与拟合曲线负荷辨识结果有功功率

39图9启村线实测与拟合曲线

40利用仿真数据建立负荷动态模型

条件:

综合负荷为恒定阻抗（静态部分〕＋感应电动机（动态部分）扰动方式为:0.06秒该条线路三相短路，0.1秒三相重合闸跳开，0.2秒三相重合闸重合成功，此时取k=20%。并用改进BP网络对其中的几组数据进行了动态建模.结果如下图.41

（a）母线电压（b）有功功率P

（c）无功功率Q

图10k=20%仿真和测试拟合曲线改进BP网络结构为5－1－1，其中未计及频率的变化，模型阶次NP=2，学习速度=0.1，惯量因子=0.01。

42图电力系统频率控制的系统框图利用神经网络自组织构成的模糊控制器在系统扰动时的作用43系统的动态响应负荷参数辨识44

EDLESL等效动态负荷等效静态负荷负荷母线训练样本集选为，由动静组成比例为＝0.3、0.7、0.05、0.95、0.5时的仿真数据组成

选定＝0.8、0.2、0.6和0.4的数据组成测试样本集

训练样本集选为，由动静组成比例为＝0.Minsky的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。对神经网络的参数进行初始化神经细胞：毫秒量级10-3误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。利用Levenberg-Marquardt反向传播算法对网络进行训练寻求可全局收敛的快速算法，满足实时和精度需要选择时隐层最多不要超过2层。误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。利用生物学、数学等手段，提炼ANN应具备的高级智能的能力，设计其基本处理单元。网络采用8-1-1结构，模型阶次NP=2，学习速度=0.（6）训练方法：最速下降法、动量BP法、学习率可变算法、弹性BP法、变梯度算法、线性搜索路径、拟牛顿法、LM(Levenberg-Marquardt)算法图典型BP网络误差变化曲线.选择时隐层最多不要超过2层。1、给数值、阀值赋初值，给定适当的学习速度，惯量因子，误差限值和最大学习次数，并令(0)=0，指数型能量函数参数a＝2.正切S(Sigmoid)形激活函数4、修正权值、阀值、完成反向传播过程：负荷可被看作是一个非线性随机系统。图10k=20%仿真和测试拟合曲线（4）隐层节点数n1：多为凭经验或尝试而定，还没有完善的理论证明。45神经网络的研究方向问题存在局部极小。造成网络的局部收敛，影响系统的精度学习速度慢，训练时间长限制了实时应用，尤其在控制领域中理想的训练样本提取困难，影响了网络的训练速度和质量网络结构不易优化，特别是隐层节点数目的选取常常带有盲目性。理论上还没有完全解决神经网络学习算法的收敛性和神经网络控制系统的稳定性46神经网络的研究方向研究方向寻求可全局收敛的快速算法，满足实时和精度需要对于不同的研究对象，提出选择合适的神经网络结构，对于多层前馈网络，提出网络层次、隐层节点的选择规则。47过渡阶段（1970-1986）5、70年代，低谷。M.Minsky的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。6、Hopfield于1982年和1984年提出Hopfield神经网络模型，引入网络能量函数的概念，开创了神经网络用于联想记忆和优化计算的新途径。K.Fukushima等提出神经认知机网络理论。7、1986Rumelhart等人提出了BP网络。1986年进行认知微观结构地研究，提出了并行分布处理的理论(74年，Werbos博士论文提出)8、1987Kohonen提出自组织映射理论。

算法的主要思想BP网络是一种正向的、各层相互全连接的网络。正向传播：输入信号要经过输入层，向前传递给隐层节点，经过激发函数作用后，把隐层节点的输出传递到输出节点，再经激发函数后给出输出结果。误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。48BP算法过程（1）信息的正向传播——各层神经元的输入输出关系输入层第i个节点输入输出隐层第j个节点输入输出输出层第k个节点输入输出49反向误差传播公式50输出层：输出层反传误差信号：隐层反传误差信号：隐层：对sigmoid函数有：为提高学习效率，增加一个态势项。其中为惯性因子，其作用是引入权值修正惯性项，减轻振荡效应，加快学习速度。51BP网络设计问题：（1）网络层数理论证明：在不限定隐层节点数情况下，两层（只有一个隐层）的BP网络可实现任意非线性映射。选择时隐层最多不要超过2层。（2）输入层节点数n：由输入向量的维数决定。（3）输出层节点数m：由输出向量维数决定。（4）隐层节点数n1：多为凭经验或尝试而定，还没有完善的理论证明。一般可参考一下经验公式：（5）激活函数：LogSig函数;TanSig函数;线性函数Pureline（6）训练方法：最速下降法、动量BP法、学习率可变算法、弹性BP法、变梯度算法、线性搜索路径、拟牛顿法、LM(Levenberg-Marquardt)算法a为1~10的一个数适合数据压缩Matlab工具箱函数名称功

能Newff建立一个前向BP网络Init对神经网络的参数进行初始化Initlay对神经网络逐层进行初始化in