人工神经网络第三章神经网络辨识VIP

神经网络原理 NN第一章 1 神经网络辨识 引言NNI的一般结构基于BP网络的辨识基于Hopfield网络的辨识逆动力学系统的建模 神经网络原理 NN第一章 2 引言 定义几个基本问题NNI的原理NNI的理论依据NNI的优点 神经网络原理 NN第一章 3 定义 辨识就是在输入输出数据的基础上 从一组给定的模型中确定一个与所测系统等价的模型L A Zadeh辨识的三要素 I O数据 系统结构模型 等价准则原理框图 神经网络原理 NN第一章 4 系统辨识的原理图 系统 辨识模型 W k Z k e k u k 神经网络原理 NN第一章 5 基本问题 模型的选择原则 兼顾复杂性和精确性NNI 网络隐节点个数选择由仿真确定输入信号选择对动态系统而言 输入信号要充分激励 基本要求 进一步 最优输入信号设计NNI 噪声或伪随机信号误差准则的确定 神经网络原理 NN第一章 6 误差准则的确定 误差的三种形式输出误差逆模型辨识误差广义误差例 神经网络原理 NN第一章 7 输出误差 神经网络原理 NN第一章 8 逆模型辨识误差 神经网络原理 NN第一章 9 广义误差 神经网络原理 NN第一章 10 例 s的差分方程 准则L为学习序列长度 为数值NNI NNI 实质为最优化问题 神经网络原理 NN第一章 11 NNI原理 线性模型 ARMA模型 原对非线性系统无统一数学模型描述现用NN逼近 给出基于输出误差的NNINNI原理 在学习系统的I O数据 建立系统的辨识格式 使误差准则最小 从中得出隐含的I O关系 神经网络原理 NN第一章 12 神经网络辨识系统结构示意图 神经网络原理 NN第一章 13 TDL X t y t 神经网络原理 NN第一章 14 NNI的理论依据 定理 具有任意数目隐单元的三层前向网络可一致逼近平方可积分函数 神经网络原理 NN第一章 15 NNI的优点 无需建立实际系统的辨识格式 可省去系统结构建模这一步 可调参数为NN的权值 可对本质非线性系统进行辨识 在网络外部含系统I O特征 非算法式的 辨识算法不依赖于辨识系统的维数 仅与NN本身和学习算法有关 NN为实际系统的物理实现 可用于在在线控制 神经网络原理 NN第一章 16 NNI的一般结构 引言对象的NLmodel描述 神经网络原理 NN第一章 17 引言 NN 多层前馈网络 BP等 可实现任意NL静态映射 反馈网络 Hopfield 有动态环节 不可去映射NN问题 希望构造新网络 保持2者优点 可映射任意NL动态网络解决 将Hopfield网络形式由单层变多层 神经网络原理 NN第一章 18 对象NLmodel描述 状态方程NLmodel的四种形式得出的四种辨识结构 神经网络原理 NN第一章 19 状态方程 系统为具有未知参数的线性对象时 系统可控且可观 有串 并联 并联两种形式 神经网络原理 NN第一章 20 四种形式 神经网络原理 NN第一章 21 辨识结构 神经网络原理 NN第一章 22 并联模型 神经网络原理 NN第一章 23 串并联模型 神经网络原理 NN第一章 24 基于BP网络的辨识 p177 考虑SISO问题NN的学习算法例 神经网络原理 NN第一章 25 流程图 神经网络原理 NN第一章 26 考虑SISO问题 设NN结构为3层 各层神经元的选择 输入层 设n m分别为y t u t 之阶次则隐层H a n m 1 2输出层O 输出向量组成 神经网络原理 NN第一章 27 NN的输入输出关系 各层的输入输出关系权系数修改法则算法步骤 仿真时 神经网络原理 NN第一章 28 各层输入输出关系 性能指标 神经网络原理 NN第一章 29 权系数修改法则 神经网络原理 NN第一章 30 算法步骤 初始化权值选择之一计算由形成计算按以上算法修正加权系数将移位 转第二步 神经网络原理 NN第一章 31 3 2 5BP网络逼近仿真实例 使用BP网络逼近对象 BP网络逼近程序见chap7 1 m 神经网络原理 NN第一章 32 仿真例 例1电加热炉辨识仿真例2例3 神经网络原理 NN第一章 33 神经网络原理 NN第一章 34 模型辨识前数据的预处理 去除趋势项 数据滤波 数据的归一化处理 神经网络原理 NN第一章 35 三温区电加热炉系统辨识 本系统BP神经网络由输入层 隐含层 输出层三层组成 系统的输入层取6个神经元 隐含层取10个神经元输出层取3个神经元 目标误差平方和为1 5e 006 加入二位式伪随机信号 PRBS 得到实际观测3400样本 进行归一化处理 从测试样本中选取970个样本进行训练 温度从400升至428 神经网络原理 NN第一章 36 网络炉温目标输出与实际输出 神经网络原理 NN第一章 37 局部放大图 神经网络原理 NN第一章 38 几种算法学习训练时间比较 项目标准BP算法加动量因子的BP算法LM算法时间 秒 1209030次数5000300073比较标准BP网络与改进算法后的BP网络 前者存在着学习速度慢 需要较长时间 平均训练次数很多 有时训练次数到了后仍达不到目标期望误差 后者学习速度快 只时间短 平均训练次数少 网络的输出与系统实测输出拟合得很好 神经网络原理 NN第一章 39 对象输出与模型输出曲线图 神经网络原理 NN第一章 40 3 2RBF网络的逼近 采用RBF网络逼近一对象的结构如图3 14所示 神经网络原理 NN第一章 41 图3 14RBF神经网络逼近 神经网络原理 NN第一章 42 使用RBF网络逼近下列对象 RBF网络逼近程序见chap7 3 m 3 3RBF网络逼近仿真实例 神经网络原理 NN第一章 43 7 4回归神经网络对角回归型神经网络 DRNN DiagonalRecurrentNeuralNetwork 是具有反馈的动态神经网络 该网络能够更直接更生动地反映系统的动态特性 它在BP网络基本结构的基础上 通过存储内部状态使其具备映射动态特征的功能 从而使系统具有适应时变特性的能力 DRNN网络代表了神经网络建模和控制的方向 神经网络原理 NN第一章 44 3 4 1DRNN网络结构DRNN网络是一种三层前向网络 其隐含层为回归层 正向传播是输入信号从输入层经隐层传向输出层 若输出层得到了期望的输出 则学习算法结束 否则 转至反向传播 反向传播就是将误差信号 理想输出与实际输出之差 按联接通路反向计算 由梯度下降法调整各层神经元的权值和阈值 使误差信号减小 DRNN网络结构如图7 18所示 神经网络原理 NN第一章 45 图3 18DRNN神经网络结构 神经网络原理 NN第一章 46 图3 19DRNN神经网络逼近 神经网络原理 NN第一章 47 3 4 3DRNN网络逼近仿真实例 使用DRNN网络逼近下列对象 DRNN网络逼近程序见chap7 4 m 神经网络原理 NN第一章 48 基于Hopfield网络的辨识 p216 系统NN为Hopfield网络时 神经网络原理 NN第一章 49 系统 线性系统 用Hopfield网络来模拟系统 使在所有状态下平方误差最小 神经网络原理 NN第一章 50 Hopfield网络辨识框图 神经网络原理 NN第一章 51 式中 神经网络原理 NN第一章 52 NN为Hopfield网络时 在R充分大时 可忽略项后一项不为0时在X t u t 在 0 T 上线性独立时 M 不为0 神经网络原理 NN第一章 53 例 二阶系统n 2 此时 神经网络原理 NN第一章 54 神经网络原理 NN第一章 55 神经网络原理 NN第一章 56 神经网络原理 NN第一章 57 逆动力学系统的建模 问题的提出NL系统的可逆性逆系统的建模方法基于3层MADALINE网的逆模型算法 神经网络原理 NN第一章 58 问题的提出 机器人系统逆动力学问题 寻找控制T 实现已知的轨迹解答 求出逆模型 神经网络原理 NN第一章 59 NL系统的可逆性 线性系统 SISO可逆性一目了然MIMO能观即可逆NL系统 SISO定义定理 如果对于u k 是严格单调的 则系统在是可逆的 系统任意时刻k成立 则系统可逆 神经网络原理 NN第一章 60 定义 如果存在的子集A 使得对于当时 即有则称系统在点是可逆的 反之 对于任意存在两个不同的使得输出相等 即则称系统是奇异的 神经网络原理 NN第一章 61 建模方法 有直接逆系统法正逆系统法对象 正模型 逆模型学习法等介绍直接逆系统法NN可以用BP网络 CMAC网络 MADALINE网络等 神经网络原理 NN第一章 62 直接逆系统法 神经网络原理 NN第一章 63 正逆系统法 神经网络原理 NN第一章 64 对象 正模型 逆模型学习法 神经网络原理 NN第一章 65 逆 逆系统建模 神经网络原理 NN第一章 66 基于BP网络的逆模型辨识 例chap7 1 inv m 神经网络原理 NN第一章 67 基于3层MADALINE网的逆模型算法 系统结构学习算法 神经网络原理 NN第一章 68 神经网络原理 NN第一章 69 学习算法 3层网络权阵修正算法定义实例 神经网络原理 NN第一章 70 权阵 则有 神经网络原理 NN第一章 71 修正算法 神经网络原理 NN第一章 72 定义 对系统S若存在控制u 使之满足则称上存在一个拟滑动状态即系统可逆本系统算法 原始的 改进 神经网络原理 NN第一章 73 例 p216 线性系统非线性系统2种情况仿真单层 多层 6 3 3 1结构结果为 单层 多层均可很好拟合系统多层对初始值不敏感 改进算法更快 神经网络原理 NN第一章 74 基于神经网络的系统辨识工具箱 1NNSYSID 丹麦工业大学自动化系M Norgaard博士开发 神经网络原理 NN第一章 75 训练算法 神经网络原理 NN第一章 76 非线性系统的模型形式 神经网络原理 NN第一章 77 示例 神经网络原理 NN第一章 78 matlab命令 Netdef HHHHHHHHHH L NN 221 trpamps settrain trpamps settrain trpamps maxiter 300 D 1e 3 skip 10 w1 w2 NSSEvec nnarx Netdef NN trpamps y1s u1s 训练结束后 可采用函数nnvalid对所得到