神经网络计算-建模讲义解析.ppt

神经网络计算 第一部分神经元模型及神经网络基础 第二部分BP神经网络 第三部分径向基函数网络 第四部分Hopfield网络 授课内容 第一部分 神经元模型 BiologicalNeuralNetworks 神经网络基础 ArtificialNeuralNetworks 人工神经元几何模型 M P模型 返回 人工神经元的代数表达式及其简化形式 其中 活化函数的类型 1 符号函数 活化函数的类型 2 Sigmoid函数 人工神经网络的定义 ArtificialNeuralNetworks ANN 人工神经网络是由大量简单的处理单元 神经元 Neurons 相互连接而构成的网络 是对人脑的抽象 简化和模拟 反映了人脑的信息处理功能 可用于解决模式识别 函数逼近和数据压缩等问题 返回 人工神经网络的结构 具有一个隐层的前馈网络 单层全连接反馈网络 神经网络的特性 鲁棒性 容错 并行计算自我学习硬件实现求满意解 神经网络的三要素 网络结构 信息流动规则 权值学习规则 神经网络的学习方式 有教师学习 Learningwithateacher 无教师学习 Learningwithoutateacher 自组织学习 Self OrganizedLearning 强化学习 ReinforcementLearning 神经网络的学习规则 Hebb学习误差纠正学习竞争 Competitive 学习随机学习 神经网络的应用 语音 视觉 知识处理数据压缩 模式匹配 系统建模 模糊控制 求组合优化问题最佳解的近似解辅助决策 预报与智能管理通信 自适应均衡 回波抵消 路由选择 ATM中的呼叫接纳 识别与控制空间科学 对接 导航 制导 飞行程序优化 分类问题两大任务 用已知样本确定分类判决曲线 根据分类曲线对样本进行归类 分类问题中常用的边界判决曲线 直线划分区域 上下或左右 分类问题中常用的边界判决曲线 圆划分区域 内与外 线性可分问题 线性不可分问题 两类模式分类器 符号函数 分类问题举例 逻辑 与 有解 可取 或 分类问题举例 逻辑 或 有解 可取 或 分类问题举例 逻辑 异或 无解 自适应线性 AdaptiveLinear 感知器 输入 求和符号函数输出 单层感知器学习算法 1 对各初始权值赋较小的非零随机数 2 对于输入样本向量 给出其期望输出 3 网络输入样本向量后 计算实际输出4 修改权值向量其中 学习率 5 判断是否满足终止条件 若满足学习结束 否则转3 单层感知器收敛定理 对于线性可分的两类模式 单层感知器学习算法是收敛的 小结 感知器是用于线性可分模式分类的最简单的神经网络模型 由单个神经元组成的单层神经网络只能完成线性可分的两类模式的识别 带隐层的感知器能对XOR问题进行正确分类 课外作业 试画出单层感知器的学习算法框图 并用C语言或MATLAB写出单层感知器关于逻辑 或 运算的学习算法程序 小结 感知器是用于线性可分模式分类的最简单的神经网络模型 由单个神经元组成的单层神经网络只能完成线性可分的两类模式的识别 带隐层的感知器能对XOR问题进行正确分类 例一 例二 课堂作业 试画出单层感知器的学习算法框图 某神经网络的活化函数为符号函数 学习率 初始权向量 两对输入样本为 试用感知器算法对上述样本反复训练 直至网络输出误差为零 并写出分类判决直线 BP网络 信息输入 若 则 信息输出 神经元的输入与输出 梯度法 函数在点处的梯度为 梯度法 用梯度法求的极小值 迭代公式 为学习率 XOR分类问题解析 把问题转化为 求平方误差函数的极小值 使用梯度法 推导出权值迭代公式 权值获得 网络分类器实现 问题解决 BP网络解决分类问题的基本思想 BP BackPropagation 网络 权值迭代公式推导 BP网络简化拓扑图形 信息流动方式 对于输入样本向量 第一个隐单元的输入为 权向量 第一个隐单元的输出为 信息流动方式 对于隐层各单元的输出 第一个输出单元的输入为 权向量 第一个输出单元的输出为 误差函数 梯度法 GradientMethod 误差函数 权值迭代公式 其中 修改权值 梯度法 其中 为学习率 而 修改权值 梯度法 其中 BP算法流程图 批方式 BP网络用于求解XOR问题 课外作业 给出用BP网络求解XOR问题的C语言或MATLAB源程序 在线梯度法 权值增量公式 BP算法流程图 在线 BP网络的逼近能力 若活化函数为Sigmoid函数 则可以选取适当的隐单元个数及权值 使得BP网络能够以任意的精度逼近一个给定的连续函数 隐层的个数 从理论上讲 多于一个隐层的前向网络是没有必要的 但是对于某些实际问题 更多的隐层可能会使总的神经元个数减少 从而得到更有效的神经网络 隐单元的个数 一般地 隐单元的个数越多 对样本集的学习精度就越高 而推广 即将网络应用于未经学习的输入向量 能力就越差 因此 在满足样本学习精度的前提下 隐节点个数应该尽可能地小 多项式逼近 输入样本向量预处理 输入样本向量的各个分量有时在数量级上差异较大 若不进行适当的处理 数量级大的分量可能完全湮没其它分量的作用 为此在训练开始之前 需对各个分量做相应的调整 使其具有大致相同的数量级 输入样本向量的各个分量有时在数量级上差异较大 若不进行适当的处理 数量级大的分量可能完全湮没其它分量的作用 为此在训练开始之前 需对各个分量做相应的调整 使其具有大致相同的数量级 输入样本向量预处理 活化函数 Sigmoid函数 双曲正切函数 图像 表达式 Sigmoid函数特点 光滑 单调递增 上 下有界 称为饱和性 导数值可由其函数值给出 初始权值通常选为接近于0的随机数 太大的初值可能使系统过早地陷入饱和区 例如对于Sigmoid函数 当较大时 不利于进一步学习 初始权值的选取 标准BP算法的不足 易形成局部极小而得不到全局最优解 训练次数多 收敛速度慢 隐节点的选取缺乏理论指导 训练时学习新样本有遗忘旧样本的趋势 标准BP算法的改进 加动量项 其中 学习率 动量系数均在之间选取 标准BP算法的改进 自适应调整学习率 其中 是误差函数的改变量 和是适当的正常数 BP网络应用举例 手写ZIP码的识别 图像压缩 股票预测 我们曾利用BP网络来预测上海股市综合指数的涨跌 输入层有13个单元 包括今日最高 最低及收盘指数 当日及三十日平均涨跌值等13个参数 隐层为3 5个单元 输出层为一个单元 输出 1时表示预测第二天涨 输出 1时则表示第二天跌 活化函数选为双曲正切函数 其中 0 65 并采用了惯性项 训练时 采用135天的数据去生成80个训练样本 25个检测样本进行实验 训练样本精度达到95 左右 而检验样本精度在65 80 之间 作业 设计一个BP网络对上图中的英文字母进行分类 输入向量含12个分量 输出单元个数取1 分别用 1 0和1代表字符A I O 训练时可选择不同的隐节点数及不同的学习率进行对比 径向基函数网络 RadialBasisFunction RBF 假设给定了一组训练样本 当只取有限个值 例如 取0 1或 时 可以认为是分类问题 而当可取任意实数时 则视为逼近问题 网络学习的任务就是利用训练样本来确定基函数的中心向量和隐层到输出层的权系数 使得 当时 可以简单地令 这时 1 2 变为关于的线性方程组 其系数矩阵为方阵 通常可逆 因此有唯一解 实际中更多的情况是 这时 1 2 一般无解 只能求近似解 非线性基函数 若 则 高斯基函数图形 非线性基函数 薄板样条函数 多二次函数 逆多二次函数 均值聚类算法 1 给定训练样本 2 将聚类中心初始化 例如可选为 3 将按距离远近向聚类 分成P组 方法为 若 则令 4 计算样本均值 作为新的聚类中心 是类中所含样本的个数 5 若新旧相差很小 则停止 否则转3 均值聚类算法 1 将聚类中心初始化 2 随机选取样本向量 3 将按距离远近向聚类 方法为 若 则令 4 调整样本中心 是给定的学习速率 5 若新旧相差很小 则停止 否则转2 其中 是类中样本的个数 宽度的选取 为隐单元的个数 为所选取中心之间的最大距离 权系数求解方法 利用梯度法 求下面关于误差函数的极小值 利用最小二乘法 伪逆法 通过直接进行求解 RBF网络的原理及特点 用径向基函数 RBF 作为隐单元的 基 构成隐层空间 隐层对输入矢量进行变换 将低维的模式输入数据变换到高维空间内 使得在低维空间内线性不可分问题在高维空间线性可分 RBF网络结构简单 训练简洁 学习收敛速度快 能够逼近任意非线性函数 应用十分广泛 适合用RBF网络求解的分类问题 RBF网络与多层感知器 MLP 的比较 MLP的隐层和输出层的神经元模型是一样的 而RBF网络的隐层神经元和输出层的神经元不仅模型不同 而且在网络中所起的作用也不一样 RBF网络只有一个隐层 而MLP可以有多个隐层 RBF网络的隐层是非线性的 输出层是线性的 而用MLP解决模式分类问题时 它的隐层与输出层通常选非线性的 而解决非线性回归问题时 通常选择线性输出层 RBF网络的基函数计算的是输入向量的和中心的欧氏距离 而MLP隐单元的活化函数计算的是输入单元和连接权值间的内积 MLP是对非线性映射的全局逼近 而RBF网络使用局部指数衰减的非线性函数 如高斯函数 对非线性输入输出进行局部逼近 取高斯函数 其中心分别为 宽度均取 RBF网络用于求解XOR问题 取高斯函数 其中心分别为 宽度均取 RBF网络用于求解XOR问题 插点问题可由下表给出 试用RBF网络对其进行求解 课堂作业 课外作业 给出用RBF网络求解XOR问题的C语言或MATLAB源程序 RBF网络解题步骤 使用均值聚类算法求高斯函数中心 使用下面公式求宽度其中 是类中样本的个数 利用梯度法 求权系数 高斯条函数 高斯函数 高斯条函数 高斯条函数中各参数计算 对给定的误差函数 权 中心和宽度的梯度反方向分别为其中 令去掉使收缩为0 高斯条函数网络的修剪方法 联想记忆神经网络 线性联想记忆网络 LinearAssociativeMemory LAM 输入样本向量组成的矩阵 理想输出向量组成的矩阵 所谓线性联想指的是 构造矩阵 使得 一般地 使得上式成立的可能并不存在 或者难于直接求得 因此 我们希望能给出简单而又有效的选取权矩阵的方法 使得线性联想误差尽可能地小 权矩阵W的选取 常数 或 当输入样本向量标准正交 且时 有即联想回忆对样本集是完美的 课堂作业 给出两对存储模式向量 1 试构造线性联想权值矩阵 2 当上述线性联想网络中输入模式时 给出运行的结果 Hopfield神经网络 Hopfield网络拓扑结构 考虑具有个处理单元的网络 每个单元与其它单元都连接 全连接 权矩阵记为 设网络中已经存储了个样本模式根据这些样本模式按某种方式确定了权矩阵 权矩阵W的选取标准 存储模式应该是 4 1 的稳定点 即当输入模式接近于某一存储模式时 由 4 1 迭代计算所得到的向量应收敛于 的选取还应该使收敛过程尽可能地快 权矩阵W的构造 利用所存储模式的外积和构造W拓展定义 即 Hopfield联想记忆模型可描述为 给定输入模式 按公式反复迭代 直至收敛 得到最后的输出模式 作为输入模式的联想 迭代公式几何解释 串行 异步 方式 即每次迭代只改变一个神经单元的状态 而其余个单元暂时不变 并行 同步 方式 即每次迭代同时更新所有单元的状态 更新网络状态的方式 函数的选取 取符号函数 称此时的Hopfield为双极性网络 若的值域是实数域上某一区间 则称此时的Hopfield为连续值网络 有三个稳定存储模式的联想记忆 网络中所存储的四个图像 对图像的干扰 用Hopfield网络做图像恢复 用Hopfield网络做图像恢复 Hopfield网络的记忆过程 把要存储的模式由bmp类型的文件转化成1和 1形式的二进制向量 对存储模式使用外积公式计算网络的各个权值 权值得到后随即 固化 不再改变 Hopfield网络的联想过程 把要识别的模式转化成1和 1类型的二进制向量 作为网络的初始状态 根据公式反复迭代 直至网络中所有神经元的状态不再改变 把得到二进制文件还原为bmp图形 输出 Hopfiled网络设计简例 存储模式取 和 当存储模式取 和 课堂作业 Hopfield网络记忆及联想过程 时 写出 Hopfiled网络是一个单层回归自联想记忆网络 使用Hopfiled网络进行模式回想时 最好按异步方式进行 这样可以避免同步传递信号所遇到的一些困难 一般地 含有N个神经元的Hopfiled网络可预存0 15N个模式 Hopfiled网络在解决字符识别问题方面能力较差 关于Hopfiled网络的几点注释 Hopfield网络用于求解CTSP问题 我国31个直辖市 省会巡回路径约有1 33 1032种 对中国旅行商问题研究的最新结果为15449km 使用Hopfield网络求得的最短路径为15904km Hopfield网络的应用领域 求解联想问题 解决优化问题 BP神经网络故障诊断 神经网络具有自学习能力 非线性映射能力 对任意函数的逼近能力 并行计算和容错能力 这些能力为构造故障诊断系统提供了有力保障 神经网络用于故障诊断的步骤通常如下 1 抽取反映被检测对象 设备 部件或零件等 的特征参数 如 x1 x2 xn 作为网络的输入模式 2 对被检测对象的状态类别进行编码 例如 对于正常 故障1 故障2三种状态 可将期望输出编码为 正常 0 0 故障1 0 1 故障2 1 0 3 进行网络设计 确定网络层数和各层神经元数 输入层单元数由特征参数个数决定 输出层单元数由状态编码方式确定 隐层一般为1层 问题复杂时可取2层 隐层单元数的选择原则目前尚无理论依据 可根据问题规模大小凭经验确定 4 用各种状态样本组成训练样本 输入网络 对网络进行训练 确定各单元的连接权值 5 用训练好的网络对待检测对象进行状态识别 即把待检测对象的特征参数作为网络输入 根据网络输出确定待检对象的状态类别 为了提高网络的故障诊断性能 可把使用中发现的错误判断作为训练样本加入训练样本集 对网络进行进一步训练 从而使网络的性能得到改善 问题实例 轴承故障诊断实例 利用BP神经网络对石油钻井的绞车及传动机组滚动轴承进行故障诊断 能够在轴承早期故障时发出预警信号 提前对将要发生故障的轴承进行维修或更换 缩短停工停产时间和减少维修费用 从而使石油生产损失减少到最低 保证石油生产顺利安全进行 选取某型减速器的主动轴滚动轴承的4个特征参数 包括均方根值 峭度 谐波指标和SQ