人工神经网络的基本模型ppt课件

2006 5 9 1 第二章人工神经网络的基本模型 北京科技大学信息工程学院付冬梅fdm2003 62334967 2006 5 9 2 第二章人工神经网络的基本模型人工神经元的基本模型几种典型的激活函数人工神经网络的学习算法概述人工神经网络的基本拓扑结构 2006 5 9 3 生物神经元结构 1 细胞体 细胞核 细胞质和细胞膜 2 树突 胞体短而多分枝的突起 相当于神经元的输入端 3 轴突 胞体上最长枝的突起 也称神经纤维 端部有很多神经末稍传出神经冲动 4 突触 神经元间的连接接口 每个神经元约有1万 10万个突触 神经元通过其轴突的神经末稍 经突触与另一神经元的树突联接 实现信息的传递 由于突触的信息传递特性是可变的 形成了神经元间联接的柔性 称为结构的可塑性 5 细胞膜电位 神经细胞在受到电的 化学的 机械的刺激后 能产生兴奋与抑制 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 2006 5 9 4 生物神经元结构 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 2006 5 9 5 生物神经元功能 1 兴奋与抑制 当传入神经元冲动 经整和使细胞膜电位升高 超过动作电位的阈值时 为兴奋状态 产生神经冲动 由轴突经神经末稍传出 当传入神经元的冲动 经整和 使细胞膜电位降低 低于阈值时 为抑制状态 不产生神经冲动 2 学习与遗忘 由于神经元结构的可塑性 突触的传递作用可增强与减弱 因此 神经元具有学习与遗忘的功能 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 2006 5 9 6 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 人工神经元的六个基本特征 1 神经元及其联接 2 神经元之间的联接强度决定信号传递的强弱 3 神经元之间的联接强度是可以随训练改变的 4 信号可以是起刺激作用 也可以是起抑制作用 5 一个神经元接受的信号的累积效果决定该神经元的状态 6 每个神经元可以有一个 阈值 神经元是构成神经网络的最基本单元 构件 人工神经元模型应具有生物神经元的六个基本特性 2006 5 9 7 图2 1MP神经元模型 a 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 基本MP模型 2006 5 9 8 f x 作用 激发 函数 是一种阶跃函数 从神经元的结构示意图上可见 当输入yj的加权和大于域值时 神经元的输出yi 1 即神经元处于 兴奋状态 反之 当输入yj的加权和大于域值时 神经元的输出yi 0 即神经元处于 抑制状态 在基本MP模型中取整数 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 2006 5 9 9 人工神经元模拟生物神经元的一阶特性 输入 Y y0 y1 y2 yn 联接权 W w0 w1 w2 wn T网络输入 netj wjiyi向量形式 netj WY MP模型的另一种形式 令 则MP神经元模型可以表示为 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 2006 5 9 10 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 M P模型从哪些方面刻画了自然神经元 前面已介绍过生物 自然 神经元具有如下特点 两态工作 即工作于兴奋或抑制两种状态 阈值作用 即超过某一阈值则神经元兴奋 多输入单输出特性 空间叠加性 可塑性联接 即突触部分的联接强度可以调节 虽然M P模型无法实现生物神经元的空间 时间的交叉叠加性 但其它生物神经元功能都具备 2006 5 9 11 M P模型在人工神经网络中的地位首先M P模型是所有人工神经元中第一个被建立起来的 它在多个方面都显示出生物神经元所具有的基本特性 其次 目前其它形式的人工神经元已有很多 但大多数都是在M P模型的基础上经过不同的修正 改进变换而发展起来 因此M P人工神经元是整个人工神经网的基础 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 2006 5 9 12 2 1人工神经元的基本模型 第二章人工神经网络的基本模型 对M P人工神经元进行改进的主要方式有如下几个方面 神经元的内部改造 对人工神经元取不同的非线性函数 对输入和输出做不同的限制 离散的 某些离散点 和连续的 整个实数域 神经网络的结构上的改造 人工神经元之间的联接形式不同 算法的改进 在人工神经网络权值和阈值取求的方法上不同 其它形式的改造 2006 5 9 13 激活函数 执行对该神经元所获得的网络输入的变换 也常称为激励函数 活化函数 o f net 线性函数 LinerFunction f net k net c 2 2几种典型的激活函数 ActivationFunction 第二章人工神经网络的基本模型 2006 5 9 14 2 非线性斜面函数 RampFunction ifnet f net k netif net 0为一常数 被称为饱和值 为该神经元的最大输出 2 2几种典型的激活函数 ActivationFunction 第二章人工神经网络的基本模型 2006 5 9 15 o net 0 2 2几种典型的激活函数 ActivationFunction 第二章人工神经网络的基本模型 阈值函数 ThresholdFunction 阶跃函数 2006 5 9 16 2 2几种典型的激活函数 ActivationFunction 第二章人工神经网络的基本模型 其他形式的作用函数 不同的作用函数 可构成不同的神经元模型 非对称型Sigmoid函数 简称S型作用函数 是可微的 用下式表示 如图 a 和 b 或 2006 5 9 17 第二章人工神经网络的基本模型 对称型 Sigmoid 函数 是可微的 用下式表示 如图 a 和 b 或 或 2006 5 9 18 对称型阶跃函数 第二章人工神经网络的基本模型 2006 5 9 19 第二章人工神经网络的基本模型 高斯函数 是可微的 分一维和高维 用下式表示 如图 a 和 b 2006 5 9 20 神经元演示非线性作用函数 激发函数 2 2几种典型的激活函数 ActivationFunction 第二章人工神经网络的基本模型 2006 5 9 21 非线性作用函数1 非对称型Sigmoid函数 2006 5 9 22 非线性作用函数2 对称型Sigmoid函数 2006 5 9 23 非线性作用函数3 非对称型阶跃函数 2006 5 9 24 非线性作用函数4 对称型阶跃函数 2006 5 9 25 非线性作用函数 2006 5 9 26 非线性作用函数5 高斯RBF 一维 2006 5 9 27 非线性作用函数5 高斯RBF 二维 2006 5 9 28 非线性作用函数5 高斯RBF 二维 2006 5 9 29 非线性作用函数6 B样条函数 次 2006 5 9 30 非线性作用函数6 B样条函数 1次 2006 5 9 31 非线性作用函数 2006 5 9 32 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 学习过程就是调整权值的过程 1 竞争学习2 有监督学习3 无监督学习4 Hebb和Delta学习5 有 无监督混合学习6 随即自适应学习模拟退火7 模糊学习等等 几种常见类型学习算法 2006 5 9 33 对于竞争学习规则 有三个基本元素 1 一个神经元集合 这些神经元除了一些随机分布的突触权值之外是完全相同的 并且由于突触权值的不同而对一个给定的输入模式集合由不同的响应 2 在每个神经元的强度上给定一个极限 3 一个机制 它允许神经元为响应一个给定输入子集的权利而竞争 从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的 即 开 竞争获胜神经元被叫做胜者通吃 winner takes all 神经元 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 竞争学习 2006 5 9 34 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 竞争学习 按照标准的竞争学习规则 作用于突触权值wkj的改变量 wkj定义为 获胜神经元k的输出信号yk被置为1 竞争失败的所有神经元的输出信号被置为0 我们有 2006 5 9 35 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 有教师学习 称为监督学习 神经网络的参数可以综合训练向量和反馈回的误差信号进行适当调整 2006 5 9 36 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 如果我们能给定一个设计好的算法来使成本费用最小 而且有足够的输入 输出的数据集 那么有指导的学习系统往往可以较好地完成诸如模式分类 函数逼近之类的任务 有教师学习 称为监督学习 误差信号可以定义为 神经网络实际输出与预期响应之差 这种调节可以逐步而又不断反复地进行 其最终目的就是要让神经网络模拟老师 学习样本 从统计的角度来看 这种模拟是最优的 2006 5 9 37 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 无教师学习模式中没有老师来监视学习过程的 即神经网络没有任何带标号的例子可以学习参考 这学习模式又分2类 无教师学习 称为无监督学习 加强学习 神经动态规划 2006 5 9 38 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 无教师学习 称为无监督学习 无监督学习 在无监督或自组织学习系统中 不再有外在的老师或者评价来监督学习的过程 提供独立于任务的表示质量的度量 要求网络学习该度量而且参数将根据这个度量来逐步优化网络 为了实际地使用无监督系统 我们可能会使用竞争性学习规则 2006 5 9 39 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 学习任务 模式联想 存储阶段 回忆阶段 2006 5 9 40 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 学习任务 模式识别 模式识别将收到的模式或信号置以一个预先定义好的分类号 识别机设计成一个采用监督学习算法的多层前馈网络 2006 5 9 41 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 学习任务 函数逼近 逼近问题其实是一个很完整的监督学习网络系统 其中xi是输入向量 而di是期望的反馈向量 反之 完全可以将监督学习网络系统看成是一个函数逼近问题 2006 5 9 42 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 学习任务 函数逼近 神经网络的函数逼近问题实际上也是逼近一个未知输入输出映射函数问题 系统识别模块图 2006 5 9 43 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 学习任务 函数逼近 逆模式系统图 2006 5 9 44 Hebb学习规则 按照生物学的条件反射原理 Hebb构造了一种简单的神经网络权值调整原则 若第i与第j个神经元同时处于兴奋状态 则它们间的联接应加强 即 这和 条件反射 学说一致 并已得到证实 2 3人工神经网络的学习算法概述 第二章人工神经网络的基本模型 2006 5 9 45 Delta学习规则 误差校正规则如梯度方法 BP算法 Widrow和Hoff的写法 Wij t 1 Wij t yj aj t neti t 也可以写成 Wij t 1 Wij t Wij t Wij t jneti t j yj aj t Grossberg的写法为 Wij t ai t netj t Wij t 更一般的Delta规则为 Wij t g ai t yj netj t Wij t 其中 ai t 是网络目标输出 yj是网络计算输出 netj t 网络内部叠加信号 Wij t 网络权值 2006 5 9 46 2 4人工神经网络的基本拓扑结构 第二章人工神经网络的基本模型 四种常见类型的网络结构1 前向型2 反馈型3 随机型4 自组织竞争型 2006 5 9 47 2 4人工神经网络的基本拓扑结构 第二章人工神经网络的基本模型 前向网络特点1 神经元分层 多层排列 2 层间无连接 3 方向由入到出 应用最为广泛 前向网络 2006 5 9 48 2 4人工神经网络的基本拓扑结构 第二章人工神经网络的基本模型 反馈网络 反馈网络的特点 网络在内部连接上有反馈连接 2006 5 9 49 2 4人工神经网络的基本拓扑结构 第二章人工神经网络的基本模型 Output与Input相连 全反馈 特点 1 内部前向 2 输出反馈到输入 Hopfield网络是其一种特例