人工神经网络第三章

神经网络原理,.,1,神经网络辨识,引言NNI的一般结构基于BP网络的辨识基于Hopfield网络的辨识逆动力学系统的建模,神经网络原理,.,2,引言,定义几个基本问题NNI的原理NNI的理论依据NNI的优点,神经网络原理,.,3,定义,辨识就是在输入输出数据的基础上，从一组给定的模型中确定一个与所测系统等价的模型L.A.Zadeh辨识的三要素：I/O数据、系统结构模型、等价准则原理框图,神经网络原理,.,4,系统辨识的原理图,系统,辨识模型,W(k),Z(k),-,+,e(k),u(k),神经网络原理,.,5,基本问题,模型的选择原则：兼顾复杂性和精确性NNI：网络隐节点个数选择由仿真确定输入信号选择对动态系统而言，输入信号要充分激励，（基本要求）进一步，最优输入信号设计NNI：噪声或伪随机信号误差准则的确定,神经网络原理,.,6,误差准则的确定,误差的三种形式输出误差逆模型辨识误差广义误差例,神经网络原理,.,7,输出误差,神经网络原理,.,8,逆模型辨识误差,神经网络原理,.,9,广义误差,神经网络原理,.,10,例:s的差分方程,准则L为学习序列长度，为数值NNI：NNI：实质为最优化问题,神经网络原理,.,11,NNI原理,线性模型（ARMA模型)原对非线性系统无统一数学模型描述现用NN逼近，给出基于输出误差的NNINNI原理：在学习系统的I/O数据，建立系统的辨识格式，使误差准则最小，从中得出隐含的I/O关系,神经网络原理,.,12,神经网络辨识系统结构示意图,神经网络原理,.,13,TDL,X(t),y(t),神经网络原理,.,14,NNI的理论依据,定理：具有任意数目隐单元的三层前向网络可一致逼近平方可积分函数,神经网络原理,.,15,NNI的优点,无需建立实际系统的辨识格式，可省去系统结构建模这一步，可调参数为NN的权值;可对本质非线性系统进行辨识，在网络外部含系统I/O特征，非算法式的;辨识算法不依赖于辨识系统的维数，仅与NN本身和学习算法有关;NN为实际系统的物理实现，可用于在在线控制。,神经网络原理,.,16,NNI的一般结构,引言对象的NLmodel描述,神经网络原理,.,17,引言,NN：多层前馈网络（BP等）可实现任意NL静态映射；反馈网络（Hopfield）有动态环节，不可去映射NN问题：希望构造新网络，保持2者优点，可映射任意NL动态网络解决：将Hopfield网络形式由单层变多层,神经网络原理,.,18,对象NLmodel描述,状态方程NLmodel的四种形式得出的四种辨识结构,神经网络原理,.,19,状态方程,系统为具有未知参数的线性对象时，系统可控且可观，有串并联、并联两种形式,神经网络原理,.,20,四种形式,神经网络原理,.,21,辨识结构,神经网络原理,.,22,并联模型,神经网络原理,.,23,串并联模型,神经网络原理,.,24,基于BP网络的辨识(p177),考虑SISO问题NN的学习算法例,神经网络原理,.,25,流程图,神经网络原理,.,26,考虑SISO问题,设NN结构为3层，各层神经元的选择：输入层：设n、m分别为y(t)、u(t)之阶次则隐层H：a+(n+m)-1/2输出层O：输出向量组成：,神经网络原理,.,27,NN的输入输出关系,各层的输入输出关系权系数修改法则算法步骤（仿真时）,神经网络原理,.,28,各层输入输出关系,性能指标：,神经网络原理,.,29,权系数修改法则,神经网络原理,.,30,算法步骤,初始化权值选择之一计算由形成计算按以上算法修正加权系数将移位，转第二步,神经网络原理,.,31,3.2.5BP网络逼近仿真实例,使用BP网络逼近对象：BP网络逼近程序见chap7_1.m,神经网络原理,.,32,仿真例,例1电加热炉辨识仿真例2例3,神经网络原理,.,33,神经网络原理,.,34,模型辨识前数据的预处理,去除趋势项数据滤波数据的归一化处理,神经网络原理,.,35,三温区电加热炉系统辨识,本系统BP神经网络由输入层、隐含层、输出层三层组成。系统的输入层取6个神经元、隐含层取10个神经元输出层取3个神经元，目标误差平方和为1.5e-006，加入二位式伪随机信号（PRBS），得到实际观测3400样本，进行归一化处理。从测试样本中选取970个样本进行训练，温度从400升至428。,神经网络原理,.,36,网络炉温目标输出与实际输出,神经网络原理,.,37,局部放大图,神经网络原理,.,38,几种算法学习训练时间比较,项目标准BP算法加动量因子的BP算法LM算法时间（秒）1209030次数5000300073比较标准BP网络与改进算法后的BP网络，前者存在着学习速度慢，需要较长时间，平均训练次数很多，有时训练次数到了后仍达不到目标期望误差；后者学习速度快，只时间短，平均训练次数少，网络的输出与系统实测输出拟合得很好。,神经网络原理,.,39,对象输出与模型输出曲线图,神经网络原理,.,40,3.2RBF网络的逼近,采用RBF网络逼近一对象的结构如图3-14所示。,神经网络原理,.,41,图3-14RBF神经网络逼近,神经网络原理,.,42,使用RBF网络逼近下列对象：,RBF网络逼近程序见chap7_3.m。,3.3RBF网络逼近仿真实例,神经网络原理,.,43,7.4回归神经网络对角回归型神经网络（DRNN：DiagonalRecurrentNeuralNetwork）是具有反馈的动态神经网络，该网络能够更直接更生动地反映系统的动态特性，它在BP网络基本结构的基础上，通过存储内部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，DRNN网络代表了神经网络建模和控制的方向。,神经网络原理,.,44,3.4.1DRNN网络结构DRNN网络是一种三层前向网络，其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值和阈值，使误差信号减小。DRNN网络结构如图7-18所示。,神经网络原理,.,45,图3-18DRNN神经网络结构,神经网络原理,.,46,图3-19DRNN神经网络逼近,神经网络原理,.,47,3.4.3DRNN网络逼近仿真实例,使用DRNN网络逼近下列对象：,DRNN网络逼近程序见chap7_4.m。,神经网络原理,.,48,基于Hopfield网络的辨识(p216),系统NN为Hopfield网络时,神经网络原理,.,49,系统,线性系统：用Hopfield网络来模拟系统，使在所有状态下平方误差最小。,神经网络原理,.,50,Hopfield网络辨识框图,神经网络原理,.,51,式中,神经网络原理,.,52,NN为Hopfield网络时,在R充分大时，可忽略项后一项不为0时在X(t),u(t),在0,T上线性独立时，M不为0,神经网络原理,.,53,例,二阶系统n=2，此时,神经网络原理,.,54,神经网络原理,.,55,神经网络原理,.,56,神经网络原理,.,57,逆动力学系统的建模,问题的提出NL系统的可逆性逆系统的建模方法基于3层MADALINE网的逆模型算法,神经网络原理,.,58,问题的提出,机器人系统逆动力学问题：寻找控制T，实现已知的轨迹解答：求出逆模型,神经网络原理,.,59,NL系统的可逆性,线性系统：SISO可逆性一目了然MIMO能观即可逆NL系统：SISO定义定理：如果对于u(k)是严格单调的，则系统在是可逆的，系统任意时刻k成立，则系统可逆,神经网络原理,.,60,定义,如果存在的子集A，使得对于当时，即有则称系统在点是可逆的。反之，对于任意存在两个不同的使得输出相等，即则称系统是奇异的。,神经网络原理,.,61,建模方法,有直接逆系统法正逆系统法对象正模型逆模型学习法等介绍直接逆系统法NN可以用BP网络、CMAC网络、MADALINE网络等,神经网络原理,.,62,直接逆系统法,神经网络原理,.,63,正逆系统法,神经网络原理,.,64,对象正模型逆模型学习法,神经网络原理,.,65,逆-逆系统建模,神经网络原理,.,66,基于BP网络的逆模型辨识,例chap7_1_inv.m,神经网络原理,.,67,基于3层MADALINE网的逆模型算法,系统结构学习算法,神经网络原理,.,68,神经网络原理,.,69,学习算法,3层网络权阵修正算法定义实例,神经网络原理,.,70,权阵,则有,神经网络原理,.,71,修正算法,神经网络原理,.,72,定义,对系统S若存在控制u，使之满足则称上存在一个拟滑动状态即系统可逆本系统算法：原始的：改进：,神经网络原理,.,73,例(p216),线性系统非线性系统2种情况仿真单层：多层：6-3-3-1结构结果为：单层、多层均可很好拟合系统多层对初始值不敏感，改进算法更快,神经网络原理,.,74,基于神经网络的系统辨识工具箱,1NNSYSID:丹麦工业大学自动化系M.Norgaard博士开发,神经网络原理,.,75,训练算法,神经网络原理,.,76,非线性系统的模型形式,神经网络原理,.,77,示例,神经网络原理,.,78,matlab命令,Netdef=HHHHHHHHHH;L-;NN=221;trpamps=settrain;trpamps=settrain(trpamps,maxiter,300,D,1e-3,skip,10);w1,w2,NSSEvec=nnarx(Netdef,NN,trpamps,y1s,u1s);训练结束后，可采用函数nnvalid对所得到的n