人工神经网络第三章.ppt

1、神经网络原理,NN 第一章,1,神经网络辨识,引言 NNI的一般结构 基于BP网络的辨识 基于Hopfield网络的辨识 逆动力学系统的建模,神经网络原理,NN 第一章,2,引言,定义 几个基本问题 NNI的原理 NNI的理论依据 NNI的优点,神经网络原理,NN 第一章,3,定义,辨识就是在输入输出数据的基础上，从一组给定的模型中确定一个与所测系统等价的模型 L.A.Zadeh 辨识的三要素：I/O数据、系统结构模型、等价准则 原理框图,神经网络原理,NN 第一章,4,系统辨识的原理图,系统,辨识模型,W(k),Z(k),-,+,e(k),u(k),神经网络原理,NN 第一章,5,基本问题,

2、模型的选择 原则：兼顾复杂性和精确性 NNI：网络隐节点个数选择由仿真确定 输入信号选择 对动态系统而言，输入信号要充分激励，（基本要求）进一步，最优输入信号设计 NNI：噪声或伪随机信号 误差准则的确定,神经网络原理,NN 第一章,6,误差准则的确定,误差的三种形式 输出误差 逆模型辨识误差 广义误差 例,神经网络原理,NN 第一章,7,输出误差,神经网络原理,NN 第一章,8,逆模型辨识误差,神经网络原理,NN 第一章,9,广义误差,神经网络原理,NN 第一章,10,例:s的差分方程,准则 L为学习序列长度， 为数值 NNI： NNI：实质为最优化问题,神经网络原理,NN 第一章,11,N

3、NI原理,线性模型（ARMA模型) 原对非线性系统无统一数学模型描述 现用NN逼近，给出基于输出误差的NNI NNI原理：在学习系统的I/O数据，建立系统的辨识格式，使误差准则最小， 从中得出隐含的I/O关系,神经网络原理,NN 第一章,12,神经网络辨识系统结构示意图,神经网络原理,NN 第一章,13,TDL,X(t),y(t),神经网络原理,NN 第一章,14,NNI的理论依据,定理：具有任意数目隐单元的三层前向网络可一致逼近平方可积分函数,神经网络原理,NN 第一章,15,NNI的优点,无需建立实际系统的辨识格式，可省去系统结构建模这一步，可调参数为NN的权值; 可对本质非线性系统进行辨

4、识，在网络外部含系统I/O特征，非算法式的; 辨识算法不依赖于辨识系统的维数，仅与NN本身和学习算法有关; NN为实际系统的物理实现，可用于在在线控制。,神经网络原理,NN 第一章,16,NNI的一般结构,引言 对象的NL model描述,神经网络原理,NN 第一章,17,引言,NN：多层前馈网络（BP等）可实现任意NL静态映射；反馈网络（Hopfield）有动态环节，不可去映射NN 问题：希望构造新网络，保持2者优点，可映射任意NL动态网络 解决：将Hopfield网络形式由单层变多层,神经网络原理,NN 第一章,18,对象NL model描述,状态方程 NL model的四种形式 得出的四

5、种辨识结构,神经网络原理,NN 第一章,19,状态方程,系统为具有未知参数的线性对象时，系统可控且可观，有串并联、并联两种形式,神经网络原理,NN 第一章,20,四种形式,神经网络原理,NN 第一章,21,辨识结构,神经网络原理,NN 第一章,22,并联模型,神经网络原理,NN 第一章,23,串并联模型,神经网络原理,NN 第一章,24,基于BP网络的辨识(p177),考虑SISO问题 NN的学习算法 例,神经网络原理,NN 第一章,25,流程图,神经网络原理,NN 第一章,26,考虑SISO问题,设 NN结构为3层，各层神经元的选择： 输入层：设n、m分别为y(t)、u(t)之阶次则 隐层H

6、： a+(n+m)-1/2 输出层O： 输出向量组成：,神经网络原理,NN 第一章,27,NN的输入输出关系,各层的输入输出关系 权系数修改法则 算法步骤（仿真时）,神经网络原理,NN 第一章,28,各层输入输出关系,性能指标：,神经网络原理,NN 第一章,29,权系数修改法则,神经网络原理,NN 第一章,30,算法步骤,初始化权值 选择 之一 计算 由 形成 计算 按以上算法修正加权系数 将 移位，转第二步,神经网络原理,NN 第一章,31,3.2.5 BP网络逼近仿真实例,使用BP网络逼近对象： BP网络逼近程序见chap7_1.m,神经网络原理,NN 第一章,32,仿真例,例1 电加热炉

7、辨识仿真 例2 例3,神经网络原理,NN 第一章,33,神经网络原理,NN 第一章,34,模型辨识前数据的预处理,去除趋势项 数据滤波 数据的归一化处理,神经网络原理,NN 第一章,35,三温区电加热炉系统辨识,本系统BP神经网络由输入层、隐含层、输出层三层组成。系统的输入层取6个神经元、隐含层取10个神经元输出层取3个神经元，目标误差平方和为1.5e-006，加入二位式伪随机信号（PRBS），得到实际观测3400样本，进行归一化处理。从测试样本中选取970个样本进行训练，温度从400升至428。,神经网络原理,NN 第一章,36,网络炉温目标输出与实际输出,神经网络原理,NN 第一章,37,

8、局部放大图,神经网络原理,NN 第一章,38,几种算法学习训练时间比较,项 目 标准BP算法 加动量因子的BP算法 LM算法 时间（秒） 120 90 30 次数 5000 3000 73 比较标准BP网络与改进算法后的BP网络，前者存在着学习速度慢，需要较长时间，平均训练次数很多，有时训练次数到了后仍达不到目标期望误差；后者学习速度快，只时间短，平均训练次数少，网络的输出与系统实测输出拟合得很好。,神经网络原理,NN 第一章,39,对象输出与模型输出曲线图,神经网络原理,NN 第一章,40,3.2 RBF网络的逼近,采用RBF网络逼近一对象的结构如图3-14所示。,神经网络原理,NN 第一章

9、,41,图3-14 RBF神经网络逼近,神经网络原理,NN 第一章,42,使用RBF网络逼近下列对象：,RBF网络逼近程序见chap7_3.m。,3.3 RBF网络逼近仿真实例,神经网络原理,NN 第一章,43,7.4 回归神经网络 对角回归型神经网络（DRNN：Diagonal Recurrent Neural Network）是具有反馈的动态神经网络，该网络能够更直接更生动地反映系统的动态特性，它在BP网络基本结构的基础上，通过存储内部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，DRNN网络代表了神经网络建模和控制的方向。,神经网络原理,NN 第一章,44,3.4.1

10、 DRNN网络结构 DRNN网络是一种三层前向网络，其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值和阈值，使误差信号减小。 DRNN网络结构如图7-18所示。,神经网络原理,NN 第一章,45,图3-18 DRNN神经网络结构,神经网络原理,NN 第一章,46,图3-19 DRNN神经网络逼近,神经网络原理,NN 第一章,47,3.4.3 DRNN网络逼近仿真实例,使用DRNN网络逼近下列对象：,DRNN网络逼近程序见

11、chap7_4.m。,神经网络原理,NN 第一章,48,基于Hopfield网络的辨识(p216),系统 NN为Hopfield网络时,神经网络原理,NN 第一章,49,系统,线性系统： 用Hopfield网络来模拟系统，使在所有状态下平方误差最小。,神经网络原理,NN 第一章,50,Hopfield 网络辨识框图,神经网络原理,NN 第一章,51,式中,神经网络原理,NN 第一章,52,NN为Hopfield网络时,在R充分大时，可忽略 项 后一项不为0时 在X(t),u(t),在0,T上线性独立时，M不为0,神经网络原理,NN 第一章,53,例,二阶系统 n=2，此时,神经网络原理,NN

12、第一章,54,神经网络原理,NN 第一章,55,神经网络原理,NN 第一章,56,神经网络原理,NN 第一章,57,逆动力学系统的建模,问题的提出 NL系统的可逆性 逆系统的建模方法 基于3层MADALINE网的逆模型算法,神经网络原理,NN 第一章,58,问题的提出,机器人系统 逆动力学问题：寻找控制T，实现已知的轨迹 解答：求出逆模型,神经网络原理,NN 第一章,59,NL系统的可逆性,线性系统：SISO可逆性一目了然 MIMO能观即可逆 NL系统：SISO 定义 定理：如果 对于u(k)是严格单调的，则系统在 是可逆的，系统任意时刻k成立，则 系统可逆,神经网络原理,NN 第一章,60,

13、定义,如果存在 的子集A，使得对于 当 时，即有 则称系统在点 是可逆的。反之，对于任意 存在两个不同的 使得输出相等，即 则称系统是奇异的。,神经网络原理,NN 第一章,61,建模方法,有直接逆系统法 正逆系统法 对象正模型逆模型学习法等 介绍直接逆系统法 NN可以用BP网络、CMAC网络、MADALINE网络等,神经网络原理,NN 第一章,62,直接逆系统法,神经网络原理,NN 第一章,63,正逆系统法,神经网络原理,NN 第一章,64,对象正模型逆模型学习法,神经网络原理,NN 第一章,65,逆-逆系统建模,神经网络原理,NN 第一章,66,基于BP网络的逆模型辨识,例chap7_1_i

14、nv.m,神经网络原理,NN 第一章,67,基于3层MADALINE网的逆模型算法,系统结构 学习算法,神经网络原理,NN 第一章,68,神经网络原理,NN 第一章,69,学习算法,3层网络 权阵 修正算法 定义 实例,神经网络原理,NN 第一章,70,权阵,则有,神经网络原理,NN 第一章,71,修正算法,神经网络原理,NN 第一章,72,定义,对系统S若存在控制u，使之满足 则称 上存在一个拟滑动状态 即系统可逆 本系统算法：原始的： 改进：,神经网络原理,NN 第一章,73,例(p216),线性系统 非线性系统 2种情况仿真 单层： 多层：6-3-3-1结构 结果为：单层、多层均可很好拟

15、合系统 多层对初始值不敏感，改进算法 更快,神经网络原理,NN 第一章,74,基于神经网络的 系统辨识工具箱,1 NNSYSID:丹麦工业大学自动化系M. Norgaard博士开发,神经网络原理,NN 第一章,75,训练算法,神经网络原理,NN 第一章,76,非线性系统的模型形式,神经网络原理,NN 第一章,77,示例,神经网络原理,NN 第一章,78,matlab命令,Netdef=HHHHHHHHHH;L-; NN=2 2 1; trpamps=settrain; trpamps=settrain(trpamps,maxiter,300,D,1e-3,skip,10); w1,w2,NSSEvec=nnarx(Netdef,NN,trpamps,y1s,u1s); 训练结束后，可采用函数nnvalid对所得