上海交通大学人工神经网课程第四讲

2016诺贝尔生理学或医学奖 细胞自噬 日本科学家大隅良典 YoshinoriOhsumi 最后折桂 理由是发现细胞自噬的原理机制 自噬反应 autophagy 人工神经网络及其应用 第四讲反馈网络主讲人 方涛 第四讲反馈网络 主讲内容 4 1绪论 4 2离散型Hopfield神经网络 4 3连续时间的Hopfield神经网络模型 4 4联想记忆网络 4 5Hopfield网络的应用 4 1绪论 前馈网络与反馈网络 4 1 1前馈网络4 1 2反馈网络4 1 3Hopfield网络及其应用 Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型 1982年提出的是离散型 1984年提出的是连续型 但它们都是反馈网络结构 4 1绪论 前馈网络与反馈网络 4 1 1前馈网络 I O只是一种没有时延的映射关系 且注重考虑离散型网络 图论观点 加权的有向图 学习观点 具有强的学习能力 系统结构简单 易于编程 主要为误差修正 收敛速度慢 系统观点 经由简单的非线性计算单元的复合映射 得到复杂的非线性处理能力 是静态的非线性映射 计算观点 一个学习网络 不具有丰富的动力学行为 大部分前馈网络的分类能力和模式识别能力一般都强于反馈网络 典型的前馈网络有感知器网络 BP网络等 4 1绪论 前馈网络与反馈网络 4 1 2反馈网络 连续 离散型网络 以微分 差分方程描述神经元和系统的数学模型 I O间有时延 图论观点 加权的完备无向图 所有节点之间都可互连 学习观点 主要Hebb规则学习 收敛速度快 系统观点 具有一般非线性动力学系统性质 是一个非线性动力学系统 不过作定量分析比较复杂和困难 反馈动力学系统 系统的动力学行为 研究系统的稳定态 各类奇异吸引子 馄饨现象等 因此稳定性是反馈网络的重要特征之一 计算观点 计算能力比前馈网络强 经由网络中神经元的状态变迁最终趋于状态空间中不动点吸引子 定态 以获得联想存储或神经计算的结果 4 1绪论 前馈网络与反馈网络 神经动力学 Neurodynamics 1989年Hirsch把神经网络看成是一种非线性动力学系统 是神经网络与动力系统交叉结合的一门新型学科 称为神经动力学 确定性神经动力学将神经网络作为确定性行为 在数学上用非线性微分方程的集合来描述系统的行为 方程解为确定的解 统计性神经动力学将神经网络看成被噪声所扰动 在数学上采用随机性的非线性微分方程来描述系统的行为 方程的解用概率表示 4 1绪论 前馈网络与反馈网络 4 1 3Hopfield网络及其应用系统的动力学行为 研究系统的稳定态 各类奇异吸引子 馄饨现象等 因此稳定性是反馈网络的重要特征之一 对HP网络 有输入时 状态不断变化 并产生HP的输出 输出再反馈到输入 产生新的输出 这样一旦达到一个稳定的平衡态时 Hopfield网络输出一个稳定的恒值 研究Hopfield网络的关键是 如何确定达到稳定状态的连接权 如何判定是否为稳定态 依据是什么 优化计算 最优化问题 具有全局渐进稳定的唯一平衡点 全局最优解 绝对稳定 保证外部输入都是全局渐进稳定的 4 离散型Hopfield神经网络 4 1与状态空间中有关的状态变迁基本概念4 2离散Hopfield网络拓扑结构4 3离散Hopfield网络的不同工作方式4 4离散Hopfield网络的性能及有关定理4 5学习规则 4 1与状态空间中有关的状态变迁基本概念4 网络的稳定性从一初态开始 经有限时间 后 网络的状态满足则网络是稳定的 4 2网络的吸引子如果在时刻t以及以后 网络是稳定的 则网络的状态称为稳定的吸引子 稳定的平衡状态或者网络能量函数的极值点 否则为非稳定的吸引子 4 离散型Hopfield神经网络 4 离散型Hopfield神经网络 吸引域 能够稳定该吸引子的所有初始状态的集合 或在稳定点 吸引子 周围区域内 任一初始状态出发都能收敛于此稳定点 此区域即吸引域 吸引域的大小用吸引半径来描述 吸引域是衡量网络容错性的指标 吸引域越大网络的容错性能越好 或者说网络的联想能力就越强 吸引半径 吸引域中所含所有状态之间的最大距离或吸引子所能吸引状态的最大距离一个网络的稳定点数目愈多 网络的联想和识别能力就愈强 稳定点分布愈均匀 吸引域愈大 网络容错和自适应能力愈强 4 3吸引子的吸引域及其吸引半径 联想记忆网络的能量函数 4 4网络的收敛时间从一初始状态进入稳定点状态所需要的时间 4 5能量函数Hopfield网络引入的一个重要概念 使网络的运行稳定性判断有了可靠而简便的依据 给出了网络稳定性的判据 Hopfield根据自旋材料中的一种Hamilton能量 成功地构造出一种能量函数用于判别Hopfield神经网络的稳定性 并通过能量函数研究优化问题 获得了很大成就 随着网络的工作方式不同 该能量函数定义的形式有所不同 网络从某一初始态出发 经过Hopfield网络的多次演变 使能量函数达到局部极小点 这些极小点就是网络的稳定点或吸引子 4 离散型Hopfield神经网络 能量函数的变化曲线 曲线含有全局最小点和局部最小点 将这些极值点作为记忆状态 可将Hopfield网络用于联想记忆 将能量函数作为代价函数 全局最小点看成最优解 则Hopfield网络可用于最优化计算 4 离散型Hopfield神经网络 网络达到稳定 能量函数满足条件 1 能量函数沿着网络的解是下降的 2 能量函数的导数为零的点是网络的平衡态 3 能量函数有下界 必然会趋于稳定状态 人们普遍认为 只要能量函数沿着网络的解是下降的 能量函数的导数为零的点是网络的平衡态 能量函数有下界 则网络是稳定的且网络的平衡态为能量函数的极小点从网络的平衡态与能量函数的极小点的关系来看 网络稳定不能保证网络的平衡态就是能量函数的极小点 能量函数的情况下网络稳定的充要条件是网络的解有界 4 离散型Hopfield神经网络 Hopfield用能量函数的思想形成了一种新的计算方法 阐明了神经网络与动力学的关系 并用非线性动力学的方法来研究这种神经网络的特性 建立了神经网络稳定性判据 并指出信息存储在网络中神经元之间的连接上 形成了所谓的离散Hopfield网络 4 2离散Hopfield网络拓扑结构 一种循环神经网络 由相同神经元组成的单层网络 从输出到输入有反馈连接 在输入的激励下 要不断产生状态变化 对于稳定的网络 有输入时 产生Hopfield输出 该输出反馈到输入并产生新的输出 此反馈过程一直进行 此反馈与迭代计算过程所产生的变化越来越小 一旦达到稳定平衡状态 Hopfield就输出一个稳定的恒定值 因此对Hopfield网络的关键是确定稳定条件下的连接权 反馈网络有稳定的 也有不稳定的 对Hopfield网络存在如何判定为稳定网络的问题 如何确定判别依据的问题 4 离散型Hopfield神经网络 由于在反馈网络中 网络的输出要反复地作为输入再送入网络中 这就使得网络具有了动态性 网络的状态在不断的改变之中 因而就提出了网络的稳定性问题 所谓一个网络是稳定的是指从某一时刻开始 网络的状态不再改变 4 离散型Hopfield神经网络 单层全互连含有对称突触连接的反馈网络 是最典型的反馈网络模型 Hopfield网络为单层网络 每个单元既是输入也是输出 n个单元其激励函数或转移特性函数分别为 对应阈值 二进制的离散Hopfield网络 阈值输入输出网络在t时刻状态 4 离散型Hopfield神经网络 对称的Hopfield网络连接权注意 网络的当前输出即为下次输入 这样循环迭代直到达到稳定状态 从离散的Hopfield网络可以看出 多输入 含有阈值的二值非线性动力学系统 在动力学系统中 平衡状态可认为是系统运动过程中 能量函数不断减少 最终处于最小值 4 离散型Hopfield神经网络 4 3离散Hopfield的工作方式 串行 异步 方式时刻t 仅一个神经元j的状态更新 其余n 1个神经元状态保持不变 并行 同步 方式任意时刻t 所有的神经元的状态都发生了变化 4 离散型Hopfield神经网络 4 4离散Hopfield的性能及有关定理4 4 1衡量Hopfield网络性能的重要指标 稳定性 吸引域半径 收敛时间这些指标与网络的工作方式 连接权矩阵和阈值都有关 4 4 2Hopfield网络的几个重要定理 如果连接权矩阵为对称阵 且对角线元素为非负 包括为零的情况 则这样的网络在异步方式下 一定收敛于某个稳定态 4 离散型Hopfield神经网络 4 离散型Hopfield神经网络 4 离散型Hopfield神经网络 如果连接权矩阵为对称阵 网络在同步工作方式下一定收敛于一个稳定态或周期为2的极限环 稳定分析中 同步工作方式的神经元网络可等价于另一异步工作方式的神经元网络 4 离散型Hopfield神经网络 有关离散的Hopfield网络的稳定性问题 已于1983年由Cohen和Grossberg给于了证明 而Hopfield等人又进一步证明 只要连接权构成的矩阵是非负对角元的对称矩阵 则该网络就具有串行稳定性 4 离散型Hopfield神经网络 4 离散型Hopfield神经网络 4 5学习规则常用Hebb学习规则 对互连的n个神经元 在学习过程中 两个神经元i和j同时处于兴奋状态时 连接权增强 两个神经元的激活状态 4 离散型Hopfield神经网络 4 3 1非线性连续时间Hopfield神经网络4 3 2稳定性分析 4 3连续时间的Hopfield神经网络模型 1984年 Hopfield设计与研制了Hopfield网络模型的电路 指出神经元可以用运算放大器来实现 所有神经元的连接可用电子线路来模拟 网络的激励函数是连续的 称之为连续Hopfield网络 Hopfield网络是一种非线性的动力网络 可通过反复的网络动态迭代来求解问题 这是符号逻辑方法所不具有的特性 在求解某些问题时 其求解问题的方法与人类求解问题的方法很相似 虽然所求得的解不是最佳解 但其求解速度快 更符合人们日常解决问题的策略 4 3 1非线性连续时间Hopfield神经网络4 3 1 1生物型存储器的特性 并行性 并行I O 联想性 从一个记忆中获得相关的记忆 善于概括 类比等 分布式存储 并有强壮的鲁棒性 模拟实时性 大规模协同作用 即在给定的状态空间中 神经元是大量的 高度藕合的 单个结构又是相同的 简单的 4 3连续时间的Hopfield神经网络模型 4 3 1 2非线性微分方程描述连续型Hopfield网络工作方式 同步 异步 4 3连续时间的Hopfield神经网络模型 基尔霍夫电流定律 4 3 2稳定性分析从能量函数出发来分析网络的稳定性 Lyapunov函数的能量公式 能量函数E是单调下降的 连续Hopfield网络模型是稳定的 4 3连续时间的Hopfield神经网络模型 定理 对于具有N个神经元互连的连续Hopfield网络 其中第i个神经元模型 4 3连续时间的Hopfield神经网络模型 证明 4 3连续时间的Hopfield神经网络模型 这个定理表明 网络的解轨道在状态空间中总是随时间朝能量E减小的方向运动 E的极小点即为稳定平衡点 不对称的网络结构 无法保证网络的稳定性 要么为极限环状态 要么为混沌状态 4 3连续时间的Hopfield神经网络模型 推论 的稳定平衡点就是能量函数E的极小点 反之亦然 连续Hopfield网络与离散Hopfield网络的稳定性都要求连接权矩阵是对称的 不同之处 离散型 激励函数是阶跃函数 连续型 激励函数是S形函数 在时间上是连续的 各神经元都处于同步工作方式 4 3连续时间的Hopfield神经网络模型 4 4联想记忆网络 4 4 1联想记忆原理4 4 2双联想记忆网络的拓扑结构和工作原理4 4 3学习规则4 4 4网络的稳定性 4 4联想记忆网络 4 4 1联想记忆原理 Hopfield网络可以作为联想记忆 联想存储器 反馈网络选择合理的权系数 可使网络的稳定态成为联想存储的一组状态 网络的初态是联想存储中的一组状态 则网络状态不跃迁 否则网络要达到稳定态 联想 概念是什么 触景生情 5 5联想记忆网络 联想记忆 AssociativeMemory AM 是神经网络理论的一个重要组成部分 也是神经网络用于智能控制 模式识别与人工智能等领域的一个重要功能 它主要利用神经网络的良好容错性 能使不完整的 污损的 畸变的输入样本恢复成完整的原型 适于识别 分类等用途 Hopfield网络模拟了生物神经网络的记忆功能 也常常被称为联想记忆网络 人类具有联想的功能 可以从一种事物联系到与其相关的事物或其它事物 人工神经网络的联想就是指系统在给定一组刺激信号的作用下 该系统能联系出与之相对应的信号 联想是以记忆为前提的 即首先信息存储起来 再按某种方式或规则将相关信息取出 联想记忆的过程就是信息的存取过程 4 4联想记忆网络 所谓的联想记忆也称为基于内容的存取 Content addressedmemory 信息被分布于生物记忆的内容之中 而不是某个确定的地址 信息的存贮是按内容存贮记忆的 contentaddressablememoryCAM 而传统的计算机是基于地址存贮的 AddressableMemory 即一组信息对应着一定的存储单元 信息的存贮是分布的 而不是集中的 4 4联想记忆网络 4 4 1 1自联想记忆Auto AM从某事物中提取的主要特征来回忆联想该事物 Hopfield网络属于自联想 4 4联想记忆网络 4 4 2双联想记忆网络的拓扑结构和工作原理 4 4联想记忆网络 4 4联想记忆网络 4 4 3学习规则 4 4联想记忆网络 4 4 4网络的稳定性 4 5 1Hopfield网络应用应考虑的问题4 5 2旅行商问题 TSP 4 5Hopfield网络的应用 最优化计算 不同应用的基本思想可以归纳如下 对于特定的问题 选择一种合适的表示方法 使得神经网络的输出与问题的解对应起来构造神经网络的能量函数 使其最小值对应于问题的最佳解由能量函数反推出神经网络的结构由网络结构构造网络 让其运行 则稳定状态在一定条件下就是问题的解 4 5 1Hopfield网络应用应考虑的问题可用于优化计算 具体用于图像 语音 信号处理 模式识别等 Hopfield用于优化计算的基本原理 串行工作方式下 将2n个初始状态映射到一组稳定状态集合上去 此时能量函数达到极大值具有这样形式的问题求解都可以采用Hopfield网络来求解 4 5Hopfield网络的应用 组合优化就是在给定约束条件下 求出使目标函数极小 或极大 的变量组合将Hopfield神经网络应用于求解组合优化问题 就是把目标函数转化为网络的能量函数 把问题的变量对应于网络的状态 当网络的能量函数收敛于极小值时 网络的状态就对应于问题的最优解 4 5 2旅行商问题 TSP 4 5Hopfield网络的应用 4 5 2 1几种经典的求解方法 穷举搜索法 ExhaustiveSearchMethod 路径总数可得到全局最优解 但是计算量巨大 贪心法 GreedyMethod 从某城市出发选出与此城