第7-1章(人工神经网络).ppt

1 第7章计算智能 人工神经网络遗传算法蚂蚁算法专家系统 2 7 1人工神经网络 ANN 人工神经网络 ArtificialNeuralNetwroks 就是基于模仿生物大脑的结构和功能 经过一定的抽象 简化与模拟的人工信息处理模型 人工神经网络在机器学习 模式识别 组合优化和决策判断等方面取得广泛应用 是传统计算机所难以达到的效果 本节简介人工神经网络的基本模型 算法流程及其应用 通过学习 会用人工神经网络求解优化问题 如TSP 模式识别 如手写汉字 3 本节主要内容 人工神经网络的生物学基础人工神经元人工神经网络基本模型人工神经网络求解TSP 4 人工神经网络系统源于人脑神经网络 了解人脑神经网络的组成和原理 有助于对人工神经网络的理解 1 人脑神经结构1 1011 12个神经元 人脑2 104个连接 神经元3 神经元间传递信号 7 1 1人工神经网络的生物学基础 5 1 神经元构成 细胞体 直径在5至100微米 含细胞核 细胞质和细胞膜 轴突 是细胞体伸出的最长一条分支 细胞的输出 树突 是细胞体伸出的较短的树状分支 细胞的输入 突触 是神经元之间连接的接口 2 生物神经元 6 2 神经元的工作机制神经元与神经纤维构成的神经组织具有两种基本特性 即兴奋与传导 当神经元的某一部分受到某种刺激时 在受刺激的部位就产生兴奋 当这种兴奋达到一定程度 阈值 就会沿着神经元扩散开来 并在一定的条件下通过突触传达到相连的神经细胞 7 3 人脑的工作机制 1 记忆生理机制研究结果表明 在脑细胞经受多次某个对象的刺激而保持连续兴奋状态时 只有当这种刺激达到一定强度 阀值 之后 脑细胞里才会留下痕迹 而且当这个对象刺激的频率提高 记忆更加牢固 2 信息传递突触是神经细胞间传递信息的结构 突触由三部分构成 即突触前 突触间隙和突触后 8 突触前的活动不直接引起突触后成分的活动 突触的信息传递只能由突触前到突触后 不存在反向活动的机制 因此突触传递是单方向的 根据突触后电位的反应 将突触分为两种 兴奋性突触和抑制性突触 3 脑神经信息活动的特征巨量并行性 信息处理和存储单元结合在一起 自组织自学习功能 9 7 1 2人工神经元 1 模型 MP模型 MP模型属于一种阈值元件模型 它是由美国McCulloch和Pitts提出的最早神经元模型之一 MP模型是大多数神经网络模型的基础 10 wij 代表神经元i与神经元j之间的连接强度 连接权 Ui 代表神经元i的活跃值 即神经元状态 Vj 代表神经元j的输出 即是神经元i的一个输入 i 代表神经元i的阈值 如果把阈值 i看作为一个特殊的权值 则可改写 其中 w0i i v0 1中函数f表达神经元的输入输出特性 称激发函数 11 2 常用激发函数 阶跃型 线性型激发函数f ui k ui S型激发函数 12 3 学习规则 MP模型并没有给出一个学习算法来调整神经元之间的连接权 根据需要 调整神经元连接权 才能达到学习目的 Hebb学习规则就是一个常见学习算法 Hebb学习规则 调整神经元连接权的变化wij的原则为 若第i和第j个神经元同时处于兴奋状态 则它们之间的连接应当加强 即 wij uivj这一规则与 条件反射 学说一致 并已得到神经细胞学说的证实 是表示学习速率的比例常数 13 图神经网络结构模型 分层前向网络 反馈前向网络 互连前向网络 广泛互连网络 7 1 3人工神经网络基本模型 1 人工神经网络结构 14 2 Hopfield网络模型 1 模型Hopfield模型是霍普菲尔德于1982年 离散型 及1984年 连续型 提出的两个神经网络模型 它们都是反馈网络结构 15 2 特点 循环网络 Wij wji Wii 0 激发函数f 离散型Hopfield模型 阶跃型激发函数 连续型Hopfield模型 S型激发函数 16 3 稳定性 由于在反馈网络中 网络的输出要反复地作为输入再送入网络中 这就使得网络具有了动态性 网络的状态在不断的改变之中 因而就提出了网络的稳定性问题 所谓一个网络是稳定的是指从某一时刻开始 网络的状态不再改变 设用X t 表示网络在时刻t的状态 如果从t 的任一初态X 0 开始 存在一个有限的时刻t 使得从此时刻开始神经网络的状态不再发生变化 即就称此网络是稳定的 17 4 权矩阵 离散网络模型是一个离散时间系统 每个神经元只有两个状态 可以用1和0来表示 由连接权值 ij所构成的矩阵 是一个对角线为0的对称矩阵 即 如 已证明 上述连接权值构成的矩阵的网络 就具有稳定性 18 5 神经元的状态表示 如果用x t 表示整个网络在时刻 的状态 则X是一个向量 它包含每个神经元的状态 所以 状态向量X中的分量个数就是网络中人工神经元的个数 向量X的构成如下 Xi t 表示节点i 第个i神经元 在时刻t的状态 该节点在时刻t 1的状态由下式决定 19 6 状态变化模式 离散型有两种工作模式 1 串行方式 是指在任一时刻t 只有一个神经元i发生状态变化 而其余的神经元保持状态不变 2 并行方式 是指在任一时刻t 都有部分或全体神经元同时改变状态 连续型有一种工作模式 并行方式 是指在任一时刻t 都有部分或全体神经元同时改变状态 20 7 学习算法 设置互连权值 其中 是s样例的第i个分量 它可以为1或0 样例类别数为m 节点数为n 未知类别样本初始化 用yi t 为节点i在t时刻的输出 当t 0时 yi 0 就是节点i的初始值 xi为输入样本的第i个分量 21 迭代直到收敛 式中f为阈值型激发函数 该过程一直迭代到不再改变节点的输出为止 这时各节点的输出与输入样例达到最佳匹配 否则 转 继续 22 8 能量函数 里阿普诺夫函数 Lyapunov函数 研究它的正定性及其对时间的全导数的负定或半负定 来得到稳定性的结论 23 3 BP网络 BP网络是反向传播 BackPropagation 网络 它是一种多层前向网络 采用