神经网络及应用第二章人工神经网络基础

第2章人工神经网络基础 生物神经网络基础人工神经元模型人工神经网络模型神经网络学习 2 1生物神经网络基础 2 1 1生物神经元的结构 2 1生物神经网络基础 神经元在结构上细胞体 树突 轴突和突触4部分组成1 细胞体 Cellbody 神经元的主体由细胞核 细胞质和细胞膜3部分构成细胞膜对细胞液中的不同离子具有不同的通透性 使得膜内外存在离子浓度差 从而出现内负外正的静息电位 2 1生物神经网络基础 2 树突 Dendrite 从细胞体向外延伸出许多突起的神经纤维 其中大部分突起较短 其分支多群集在细胞体附近形成灌木丛状 这些突起称为树突神经元靠树突接受来自其他神经元的输入信号 相当于细胞体的输入端3 轴突 Axon 由细胞体伸出的最长的一条突起 细而长用来传出细胞体产生的输出电化学信号 相当于细胞体的输出端 2 1生物神经网络基础 4 突触 Synapse 神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接 这种连接相当于神经元之间的输入 输出接口 称为突触每个神经元大约有103 105个突触 多个神经元以突触连接即形成神经网络 2 1生物神经网络基础 2 1 2生物神经元的信息处理机理1 信息产生神经元的三种状态 无信号输入时 电位差 70mV 静息电位细胞膜状态 极化状态 Polarization 神经元状态 静息状态静息电位向正偏移细胞膜状态 去极化 Depolarization 神经元状态 兴奋状态 2 1生物神经网络基础 静息电位向负偏移细胞膜状态 超极化 Hyperpolarization 神经元状态 抑制状态神经脉冲的产生过程膜电位超过阈值电位 55mV 神经细胞 活性细胞细胞的兴奋过程 膜电位自发地急速升高 在1ms内比静息膜电位上升100mV左右 此后膜电位又急速下降 回到静止的值 产生一个宽度为1ms 振幅为100mV的电脉冲 又称神经冲动之后慢慢下降到 55mV 这段时间约为数毫秒 称为不应期 2 1生物神经网络基础 2 信息的传递与接收神经脉冲信号沿轴突传向其末端的各个分支从脉冲信号到达突触前膜到突触后膜电位发生变化 有0 2ms 1ms的时间延迟 称为突触延迟神经元间的突触联系大部分是在出生后由于给予刺激而成长起来的 正是由于各神经元之间的突触连接强度和极性有所不同并可进行调整 由此人脑才具有学习和存储信息的功能 2 1生物神经网络基础 3 信息整合单个神经元可以与上千个或更多其他的神经元轴突末梢形成突触连接 接受从各个轴突传来的脉冲输入这些输入可到达神经元的不同部位 输入部位不同 对神经元影响的权重也不同在同一时刻产生的刺激所引发的膜电位变化 大致等于各单独刺激引起的膜电位变化的代数和 空间整合各输入脉冲抵达神经元的先后时间也不一样 由一个脉冲引起的突触厚膜电位很小 但在其持续时间内有另一脉冲相继到达时 总的突触后膜电位增大 时间整合 2 1生物神经网络基础 一个神经元接受的信息 在时间和空间上常呈现出一种复杂多变的形式 需要神经元对它们进行积累和整合加工 从而决定其输出的时机和强度 正是神经元这种整合作用 才使得亿万个神经元在神经系统中有条不紊 夜以继日地处理各种复杂的信息 执行着生物中枢神经系统的各种信息处理功能 2 2人工神经元模型 2 2 1神经元的建模人工神经网络中 神经元常被称为 处理单元 或 节点 1943年心理学家McCulloch和数学家W Pitts的M P模型的6个假定 1 每个神经元都是一个多输入单输出的信息处理单元 2 神经元输入分兴奋性输入和抑制性输入两种类型 3 神经元具有空间整合特性和阈值特性 4 神经元输入与输出间有固定的时滞 主要取决于突触延迟 5 忽略时间整合作用和不应期 6 神经元本身是非时变的 即其突触时延和突触强度均为常数 2 2人工神经元模型 神经元模型示意图 2 2人工神经元模型 许多输入信号 xi 同时输入神经元j 对每个输入都有一个加权系数wij 称为权重值 其正负模拟了生物神经元中突触的兴奋和抑制 其大小则代表了突触的不同连接强度 组合输入信号的 总和值 相应于生物神经元的膜电位 神经元激活与否取决于某一阈值电平 即只有当其输入综合超过阈值时 神经元才被激活并发放脉冲 否则神经元不会产生输入信号 oj表示神经元输出 而输出与输入之间的关系由函数f表示 2 2人工神经元模型 2 2 2神经元的数学模型令xi t 表示t时刻的神经元j接受的来自神经元的输入信息 oj t 表示t时刻神经元j的输出信息 则神经元j的状态可以表示为 2 2人工神经元模型 简单起见 将突触时延取为单位时间 输入总和 常称为神经元在t时刻的净输入 用下式表示表现了神经元j的空间整合特性而未考虑时间整合当时 神经元才能被激活 oj t 1 与xi t 之间的单位时差代表所有的神经元具有相同的 恒定的工作节奏 2 2人工神经元模型 将时间t省略 我们得到 2 2人工神经元模型 2 2 3神经元的变换函数执行对该神经元所获得的网络输入的变换 也可以称为激活函数 激励函数 活化函数常用的变换函数 1 阈值型变换函数单极性阈值型变换函数 2 2人工神经元模型 双极性阈值型变换函数2 非线性变换函数实数域R到 0 1 闭集的非减连续函数最常用的非线性变换函数是sigmoid函数 简称S型函数 其特点是函数本身及其导数都是连续的 x 2 2人工神经元模型 单极性S型变换函数双极性S型变换函数 2 2人工神经元模型 3 分段线性变换函数单极性分段性线性变换函数双极性分段性线性变换函数 f x 1 0 1 0 x xc 0 2 2人工神经元模型 4 概率型变换函数输入输出关系是不确定的 用一个随机函数来描述其输出为1或者0的概率设神经元输出为1的概率为该变换函数输出状态与热力学中的波尔兹曼 Boltzmann 分布类似 因此也称为热力学模型 2 3人工神经网络模型 2 3 1网络拓扑结构类型1 层次型结构a 单纯型层次网络结构b 输出层到输入层有连接的层次网络结构c 层内有互联的层次网络结构 2 3人工神经网络模型 2 互联型结构a 全互联型每个节点均与所有其他节点相连b 局部互联型每个节点只与其临近的节点有连接c 稀疏连接型网络中的节点只与少数相距较远的节点相连 2 3人工神经网络模型 2 3 2网络信息流向类型1 前馈型网络输入层 隐层 隐层 输出层2 反馈型网络 2 4神经网络学习 2 4 1网络学习算法的一些基本概念人工神经网络的功能特性由功能特性由其连接的拓扑结构和连接权值决定神经网络能够通过对样本的学习训练 不断改变网络的链接权值以及拓扑结构 以使网络的输出不断地接近期望的输出 这一过程称为神经网络的学习或训练 其本质是可变权值的动态调整改变权值的规则称为学习规则或学习算法 亦称训练规则或训练算法 2 4神经网络学习 神经网络的学习算法分为1 有导师学习也称为有监督学习 采用纠错规则在学习训练过程中需要不断地给网络成对提供一个输入模式和一个期望网络正确输出的模式 称为 教师信号 将神经网络的实际输出同期望输出进行比较 根据差错的方向和大小按一定的规则调整权值当网络可以对各种给定输入均能产生所期望的输出时 结束训练 2 4神经网络学习 2 无导师学习也称无监督学习不断地给网络提供动态输入信息 网络根据其特有内部结构和学习规则调整权值 在输入信息中发现可能存在的模式和规律 通过这种自组织过程 实现自动分类有时神经网络所解决问题的先验信息很少 甚至没有 这种情况下无导师学习就显得更有实际意义 2 4神经网络学习 1990年 日本著名神经网络学家Amari提出了一种神经网络权值调整的通用学习规则 权向量Wj在t时刻的调整量 Wj t 与t时刻的输入向量X t 和学习信号r的乘积成正比 2 4神经网络学习 用数学式表达为 为正数 称为学习常数 决定了学习速率 基于离散时间调整时 不同的学习规则对r Wj X dj 有不同的定义 从而形成各种各样的神经网络 2 4神经网络学习 2 4 2Hebb学习规则基于 等神经元i与神经元j同时处于兴奋状态时 两者的连接强度应增加 学习信号简单地等于神经元的输出 权向量调整公式为 分量的调整 2 4神经网络学习 Hebb学习规则需要预先设置权饱和值 以防止输入和输出正负始终一致时出现权值无约束增长权值初始化 对Wj 0 赋予零附近的小随机数Hebb学习规则是一种纯前馈 无导师学习该规则至今仍在各种神经网络模型中起着重要作用 2 4神经网络学习 例题2 1设有4输入单输出神经元网络 其阈值T 0 学习率 1 3个输入样本向量和初始权向量分别为X1 1 2 1 5 0 T X2 1 0 5 2 1 5 T X3 0 1 1 1 5 T W 0 1 1 0 0 5 T 解 设变换函数为双极性离散函数f net sgn net 权值调整步骤为 1 输入第一个样本X1 计算净输入net1 并调整权向量W 1 net1 W 0 TX1 1 1 0 0 5 1 2 1 5 0 T 3W 1 W 0 sgn net1 X1 1 1 0 0 5 T 1 2 1 5 0 T 2 3 1 5 0 5 T 2 4神经网络学习 2 输入第二个样本X2 计算净输入net2 并调整权向量W 2 net2 W 1 TX2 2 3 1 5 0 5 1 0 5 2 1 5 T 0 25W 2 W 1 sgn net2 X2 2 3 1 5 0 5 T 1 0 5 2 1 5 T 1 2 5 3 5 2 T 2 输入第三个样本X3 计算净输入net3 并调整权向量W 3 net3 W 2 TX3 1 2 5 3 5 2 0 1 1 1 5 T 3W 3 W 2 sgn net3 X3 1 2 5 3 5 2 T 0 1 1 1 5 T 1 3 5 4 5 0 5 T可以看出 当变换函数为符号函数且 1时 Hebb学习规则的权值调整将简化为权向量加或减输入向量 2 4神经网络学习 当变换函数为双极性连续函数 权值调整步骤如上 1 2 2 4神经网络学习 3 比较两种权值调整结果可以看出 两种变换函数下的权值调整方向是一致的 但采用连续变换函数时 权值调整力度减弱 2 4神经网络学习 2 5 3离散感知器学习规则1958年 美国学者FrankRosenblatt首次定义了一个具有单层计算单元的神经网络结构 称为感知器 Perceptron 学习信号等于神经元期望输出 教师信号 与实际输出之差感知器采用了符号变换函数 2 4神经网络学习 权值调整公式为分量的调整只适用于二进制神经元初始权值可取任意值是一种有导师学习该规则对于神经网络的有导师学习具有极有重要的意义 2 4神经网络学习 2 5 4连续感知器学习规则 规则 1986年 认知心理学家Mclelland和Rumelhart在神经网络训练引入了 规则 亦称为连续感知器学习规则学习信号权值调整公式为分量的调整 2 4神经网络学习 推导 定义神经元输出和期望输出之间的平方误差为欲使误差E最小 Wj应与误差的负梯度成正比可得权值调整计算式 学习规则可推广到多层前馈网络中权值可初始化为任意值 2 4神经网络学习 2 5 5最小均方学习规则 Widrow Hoff规则 1962年 BernardWidrow和MarcianHoff提出了Widrow Hoff学习规则 又称最小均方学习规则 LMS 学习规则为权值调整公式为分量的调整 2 4神经网络学习 如果在 学习规则中假定神经元变换函数为则有 因此LMS学习规则可以看成是 学习规则的一个特殊情况 该学习规则与神经元采用的变换函数无关学习速度较快且有较高的精度权值可初始化为任意值 2 4神经网络学习 2 5 6相关学习规则学习信号权值调整公式为分量的调整要求权值初始化为零 2 4神经网络学习 2 5 7胜者为王学习规则 Winner Take All 是一种竞争学习规则 用于无导师学习将网络的某一层确定为竞争层 对于一个特定的输入X 竞争层的所有p个神经元均有输出相应 其中响应值最大的神经元j 为在竞争中获胜的神经元 即只有获胜神经元才有权调整其权向量Wj 调整量为 2 4神经网络学习 由于两个向量的点积越大 表明两者越近似 所以调整结果是使Wj 进一步接近当前输入X 这样 下次出现与X相像的输入模式时 上次获胜的神经元更容易获胜 从而竞争层各神经元所对应的权向量被逐渐调整为输入样本空间的聚类中心 有时以获胜神经元为中心定义一个获胜邻域 除获胜神经元调整权之外 邻域内的其他神经元也程度不同地调整权值 权值一般初始化为任意值并进行归一化处理 2 4神经网络学习 常用学习规则一览表 2 4神经网络学习 本章小结神经元的数学模型6点假设 模型示意图 解析表达式 变换函数神经网络的连接方式前馈层次型 输入输出有反馈的前馈层次型前馈层内互连型 反馈全互连型 反馈局部互连型等神经网络的学习方式几种