Hopfield网络ppt课件.ppt

1 第七章Hopfield神经网络 2 Hopfield网络结构和模型Hopfield网络输出的计算过程 离散 Hopfield网络的稳定性Hopfield网络的学习算法Hopfield网络的几个问题Hopfield网络的MATLAB实现示例 第七章Hopfield神经网络 3 概述 Hopfield网络是神经网络发展历史上的一个重要的里程碑 由美国加州理工学院物理学家J J Hopfield教授于1982年提出 是一种单层反馈神经网络 Hopfield网络是一种由非线性元件构成的反馈系统 其稳定状态的分析比前向神经网络要复杂得多 1984年 Hopfield设计并研制了网络模型的电路 并成功地解决了旅行商 TSP 计算难题 优化问题 Hopfield网络分为离散型和连续型两种网络模型 分别记作DHNN DiscreteHopfieldNeuralNetwork 和CHNN ContinuesHopfieldNeuralNetwork Hello I mJohnHopfield 4 7 1Hopfield网络结构和模型 Hopfield网络有离散与连续两种类型 Hopfield网络是得到最充分研究和应用的神经网络模型之一 在众多的研究者之中 美国科学家J JHopfield的工作具有特别重要的意义 他为这一网络引入了一种稳定过程 即提出了人工神经网络能量函数 也称李雅普诺夫函数 的概念 使网络的运行稳定性判断有了可靠而简便的依据 Hopfield网络在联想存取及优化计算等领域得到了成功的应用 拓宽了神经网络的应用范围 5 7 1 1离散型Hopfield网络离散Hopfield网结构见图 a 是单层反馈非线性网 每一节点的输出反馈至输入 Hopfield用模拟电路 电阻 电容和运算放大器 实现网络的神经元 节点 见图 b 图9 1离散型Hopfeld网络 6 7 1 1离散型Hopfield网络 7 7 1 1离散型Hopfield网络 相关参数说明任意神经元与间的突触权值为 神经元之间连接是对称的 神经元自身无连接 每个神经元都同其他的神经元相连 其输出信号经过其他神经元又有可能反馈给自己设Hopfield网络中有n个神经元 其中任意神经元的输入用表示 输出用表示 它们都是时间的函数 其中也称为神经元在时刻的状态 8 激励函数 7 1 1离散型Hopfield网络 9 7 1 2连续型Hopfield网络连续Hopfield网结构见图 a 是单层反馈非线性网 每一节点的输出反馈至输入 Hopfield用模拟电路 电阻 电容和运算放大器 实现网络的神经元 节点 见图 b 图9 2连续型Hopfeld网络 10 图9 2连续型Hopfeld网络 11 Hopfield网络模型 图9 1连续型Hopfeld网络 12 13 下面给出几个基本概念的定义 这些基本概念与网络运行过程中状态的变迁有关 网络的稳定性 若网络从初始状态v 0 开始 经过有限时间t后 网络的状态不再发生变化 即则称网络是稳定的 网络的吸引子 设t 0时 对输入模式x 网络处于状态v 0 而在时刻t 网络到达状态v t 若v t 稳定 则称v t 为网络的稳定吸引子 若网络状态有规律的在某些状态之间振荡 则称网络处于有限环 limitedcircle 状态 若网络无规律的在某些状态之间振荡 则称网络处于混沌 chaos 状态 吸引子的吸引域 对于某些特定的初始状态 网络按一定的运行规则最后可能稳定在同一吸引子上 称能够稳定在吸引子v t 的所有初始状态集合称为v t 的吸引域 14 例7 1计算下列离散Hopfield网络的运行过程 设初始状态X 0 101 T 找出其吸引子和对应的吸引域 设 01 2W 10 1 2 10 15 设网络状态为Hopfield网络的能量函数可定义为 7 3Hopfield网络的稳定性 由于Hopfield网络为反馈网络 所以需要讨论网络运行的收敛性问题 自然这和网络的拓扑结构以及运行方式有关 如果网络权值对称 则可以定义网络运行的能量函数 能量函数的定义 16 定理7 1 设Hopfield网络具有图9 1的结构形式 且其状态按异步方式更新 且网络权值对称 无自反馈 那么 网络状态在有限步内收敛到稳定点 证明 假设网络中第k个神经元的状态发生变化 由原状态变为新状态 的状态变化后网络能量为 17 18 定理7 2 设Hopfield网络具有图9 2的结构形式 非线性作用函数是二值的 则在该网络权矩阵对称且负定的条件下 对于网络状态的每次变化 网络能量E单调下降 19 归结Hopfield网络的学习算法如下 1 开始赋于权值矩阵W 0 以一个较小不为0的随机数 t 0并且要求 7 4Hopfield网络的学习算法 20 2 随机输入模式 以作为当前的输入模式x t 即 计算 若网络对模式稳定 转到 4 否则进行 3 3 更新网络权值 4 若网络权值对所有的模式稳定 则停机 否则转到 2 其中 21 定理7 3 对于预先给定中的K个模式若存在实对称矩阵满足 那么上述算法在有限步内收敛 表示网络的综合输入 表示网络的非线性作用函数 22 若不考虑网络的容错性能 仅仅考虑网络的容量意义不大 用上述编码方法所给出的编码有时容错性能较差 为了使所得的权值矩阵对记忆样本的吸引域尽可能地大 利用前面的算法 求出一些满足条件的权值矩阵 每一个矩阵除以它的绝对值最大的元素的绝对值 使得它的绝对值最大的元素的绝对值为1 设新求得矩阵为 然后求出这些矩阵的平均值矩阵 23 我们涉及到Hopfield网络的两种运行形式 相应的有两种不同的应用方向 联想记忆因网络能收敛于稳态 故可用于联想记忆 若将稳态视为一个记忆 则由初态向稳态收敛的过程就是寻找记忆的过程 初态认为是给定的部分信息 收敛过程可认为是从部分信息找到了全部信息 实现了联想记忆的功能 联想记忆模型的一个重要特性 由噪声输入模式 反映出训练模式 优化计算若将稳态视为某一优化计算问题目标函数的极小点 则由初态向稳态收敛的过程就是优化计算过程 先把问题表述成能量函数 进一步由能量函数推出网络权结构 然后在某种条件下让网络运行 网络的稳定状态一般来说就对应与问题的解答 7 5Hopfield网络的几个问题 24 7 5Hopfield网络的几个问题 Hopfield反馈神经网络应用于联想与优化计算是相对偶的 应用于优化计算时 网络权矩阵W为已知 目的是寻找具有最小能量值的稳定状态 用作联想时 稳定状态时给定的 目的是通过学习过程来得到合适的权矩阵W 25 7 6Hopfield网络的MATLAB实现示例 MATLAB中Hopfield网络的重要函数和功能 26 MATLAB中与Hopfield网络有关的重要函数和功能newhop 功能生成一个Hopfield回归网络 格式net newhop T 说明net为生成的神经网络 具有在T中的向量上稳定的点 T是具有Q个目标向量的R Q矩阵 元素必须为 1或1 Hopfield神经网络经常被应用于模式的联想记忆中 Hopfield神经网络仅有一层 其激活函数用satlins 函数 层中的神经元有来自它自身的连接权和阈值 7 6Hopfield网络的MATLAB实现示例 27 MATLAB中与Hopfield网络有关的重要函数和功能satlins 功能对称饱和线性传递函数格式A satlins N A输出向量矩阵 N是由网络的输入向量组成的S Q矩阵 返回的矩阵A与N的维数大小一致 A的元素取值位于区间 0 1 内 当N中的元素介于 1和1之间时 其输出等于输入 当输入值小于 1时返回 1 当输入值大于1时返回1 7 6Hopfield网络的MATLAB实现示例 28 7 6Hopfield网络的MATLAB实现示例 Hopfield网络应用 Hopfield网络已成功的应用在多种场合 从概念上讲 Hopfield网络的运行主要有两种形式 相应的应用方式也主要有两种 联想存取与优化计算 而具体的应用方向主要集中在图像处理 语声处理 控制 信号处理 数据查询 容错计算 模式分类 模式识别和知识处理