教学PPT神经网络控制.ppt

第三章神经网络控制 neuralnetworkcontrol 人工神经元模型神经元的学习方法神经元网络神经网络控制应用实例 3 1人工神经元模型 一 神经元模型 theneuron 生物神经元是脑组织的基本单元 人脑约1011个神经元 二 人工神经元 利用物理器件 电子 光电 软件在计算机上仿真 模拟生物结构功能 对生物神经元的一种模拟与简化 它是神经网络的基本处理单元 wji 连接权系数 i 内部阈值f 输出变换函数 具有非线性特性 f的确定 根据应用wi的确定 通过学习 它是一个多输入 单输出的非线性元件 三 神经元结构模型 输出变换函数的常见类型 控制中常用 比例函数 s状函数 双曲函数 符号函数 二 学习规则 wi k 1 wi k ivi k i 1 2 nk 第k次学习 i 学习速率 i 0 vi k 学习信号 通常为误差的函数 一 学习的意义 通过调整权值wi 使神经元具有期望的输入输出模式 3 2神经元的学习方法 三 学习方法 梯度下降法 特点 沿梯度方向下降一定能到达j的极小点 学习的快慢取决于学习速率 i的选取 缺点是可能陷入局部最小点 简单例 设y w1x1 即 0 f s s w1的初值w1 0 0 取性能指标为j e2 k 2 2 y k 2 2 2 w1 k 2 2 则有 用梯度下降法 使x1 1时 y 2 表3 1 0 5时的学习结果 学习速率较小 表3 2 1 5时的学习结果 学习速率较大 表3 3 2时的学习结果 学习速率过大 表3 4 3时的学习结果 学习速率过大 结论 过小收敛慢 过大则振荡甚至可能发散 对于该例 1时的学习次数最少 一次结束 目的 通过学习 使神经网络具有期望的输入输出模式两个关键 网络结构 学习方法常用结构 前馈网 反馈网等 3 3神经元网络 一 bp神经网络 误差反向传播神经网络 backpropagation 著名的bp网络 前馈网 bp算法 1 bp神经网络特点 1 是一种多层网络 包括输入层 隐含层和输出层 2 层与层之间采用全互连方式 同一层神经元之间不连接 3 权值通过 学习算法进行调节 4 神经元激发函数为s函数 5 学习算法由正向传播和反向传播组成 6 层与层的连接是单向的 信息的传播是双向的 2 bp网络的逼近 bp算法 梯度下降法 由输出层向输入层反向计算每一层的连接权值 bp算法 1 前向传播 计算网络的输出 隐层神经元的输入为所有输入的加权之和 隐层神经元的输出采用s函数激发 则 输出层神经元的输出 网络输出与理想输出误差为 误差性能指标函数为 2 反向传播 采用 学习算法 调整各层间的权值 根据梯度下降法 权值的学习算法如下 输出层及隐层的连接权值学习算法为 k 1时刻网络的权值为 隐层及输入层连接权值学习算法为 其中 k 1时刻网络的权值为 如果考虑上次权值对本次权值变化的影响 需要加入动量因子 此时的权值为 其中 为学习速率 为动量因子 阵 即为对象的输出对控制输入的灵敏度信息 算法为 其中取 由给定的输入样本计算网络输出 并与输出样本进行比较 输出误差 由输出误差依次反向计算每一层的权值 重复 直至输出误差满足要求为止 对每组输入输出样本数据都按 进行学习 重复 直至所有输出误差都达到要求的精度 3 bp算法的计算步骤 4 bp网络的逼近仿真实例 使用bp网络逼近对象 bp网络逼近程序见chap7 1 m 采样时间 1ms 输入信号为 神经网络结构为2 6 1 3 bp网络模式识别 根据标准的输入输出模式对 采用神经网络学习算法 以标准的模式作为学习样本进行训练 通过学习调整神经网络的连接权值 当训练满足要求后 得到的神经网络权值构成了模式识别的知识库 利用神经网络并行推理算法对所需要的输入模式进行识别 相同时 与样本相对应的输出模式 不完全相同时 与其相近样本相对应的输出模式 相差远时 新的样本进行训练 bp网络的训练过程如下 正向传播是输入信号从输入层经隐层传向输出层 若输出层得到了期望的输出 则学习算法结束 否则 转至反向传播 网络的学习算法如下 1 前向传播 计算网络的输出 隐层神经元的输入为所有输入的加权之和 隐层神经元的输出 采用s函数激发 则 输出层神经元的输出 网络第个输出与相应理想输出的误差为 第p个样本的误差性能指标函数为 其中n为网络输出层的个数 2 反向传播 采用梯度下降法 调整各层间的权值 权值的学习算法如下 输出层及隐层的连接权值学习算法为 隐层及输入层连接权值学习算法为 其中 如果考虑上次权值对本次权值变化的影响 需要加入动量因子 此时的权值为 其中为学习速率 为动量因子 仿真实例 取标准样本为3输入2输出样本 如表3 1所示 表3 1训练样本 bp网络结构为3 6 2 chap7 2a m chap7 2b m 4 bp网络的优缺点 bp网络的优点为 1 只要有足够多的隐层和隐层节点 bp网络可以逼近任意的非线性映射关系 2 bp网络的学习算法属于全局逼近算法 具有较强的泛化能力 3 bp网络输入输出之间的关联信息分布地存储在网络的连接权中 个别神经元的损坏只对输入输出关系有较小的影响 因而bp网络具有较好的容错性 bp网络的主要缺点为 1 待寻优的参数多 收敛速度慢 2 目标函数存在多个极值点 按梯度下降法进行学习 很容易陷入局部极小值 3 难以确定隐层及隐层节点的数目 目前 如何根据特定的问题来确定具体的网络结构尚无很好的方法 仍需根据经验来试凑 bp网络的应用领域 1 模式识别 2 图像处理 3 系统辨识 4 函数拟合 5 优化计算 6 最优预测 7 自适应控制由于bp网络具有很好的逼近特性和泛化能力 可用于神经网络控制器的设计 但由于bp网络收敛速度慢 难以适应实时控制的要求 二 rbf神经网络径向基函数 rbf radialbasisfunction rbf网络是一种局部逼近网络 已证明它能任意精度逼近任意连续函数 输入到输出的映射是非线性的 而隐含层空间到输出空间的映射是线性的 作用函数为高斯函数 1 rbf网络的逼近 网络的输入向量 径向基向量 其中hj为高斯基函数 网络的第j个结点的中心矢量为 其中 i 1 2 n 设网络的基宽向量为 为节点的基宽度参数 且为大于零的数 网络的权向量为 k时刻网络的输出为 设理想输出为y k 则性能指标函数为 根据梯度下降法 输出权 节点中心及节点基宽参数的迭代算法如下 其中 为学习速率 为动量因子 阵 即为对象的输出对控制输入的灵敏度信息 算法为 其中取 2 rbf网络的逼近仿真实例 使用rbf网络逼近下列对象 rbf网络逼近程序见chap7 3 m 输入信