人工神经网络理论与应用.ppt

人工神经网络理论与应用 第七章 神经网络基础知识 神经网络基础知识 7. 1 生物神经元及人工神经元的组成 7. 2 人工神经网络的模型 7 .2 .1 人工神经元的模型 7 .2 .2 常用的激活转移函数 7 .2 .3 MP模型神经元 2.1 生物神经元及人工神经元的组成 神经元也称神经细胞，它是生物神经系 统的最基本单元，它和人体中其他细胞的关 键区别在于具有产生、处理和传递信号的功 能。每个神经元都包括三个主要部分：细胞 体、树突和轴突，见图2.1（a）。 (a) 简单神经元网络图 (b) 简化后的网络示意图 (1) 细胞体；(2) 树突；(3) 轴突；(4) 突触 图7. 1 简单神经元网络及其简化结构图 神经元结构与功能 细胞体由细胞核、细胞质和细胞膜等组成，其直 径大约为0.5-100m，大小不等。细胞体是神经 元的主体，用于处理由树突接受的其它神经元传 来的信号； 轴突是由细胞体向外延伸出的所有纤维中最长的 一条分枝，用来向外传递神经元产生的输出电信 号。每个神经元都有一条轴突，其最大长度可达 1m以上。在轴突的末端形成了许多很细的分枝， 这些分支叫神经末梢。每一条神经末梢可以与其 它神经元形成功能性接触，该接触部位称为突触 。所谓功能性接触，是指非永久性的接触，这正 是神经元之间传递信息的奥秘之处。 神经元结构与功能 树突是指由细胞体向外延伸的除轴突以外的 其它所有分支。树突的长度一般较短，但数 量很多，它是神经元的输入端，用于接受从 其它神经元的突触传来的信号。 神经元中的细胞体相当于一个初等处理器， 它对来自其它各个神经元的信号进行总体求 和，并产生一个神经输出信号。 细胞膜内外的电位之差被称为膜电位。在无 信号输入时的膜电位称为静止膜电位。当一 个神经元的所有输入总效应达到某个阈值电 位时，该细胞变为活性细胞。 生物神经元的功能与特征 (1)时空整合功能 神经元对不同时间通过同一突触传入的神经 冲动，具有时间整合功能。对于同一时间通过不 同突触传入的神经冲动，具有空间整合功能。两 种功能相互结合，使生物神经元对由突触传入的 神经冲动具有时空整合的功能。 (2)兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态 。当传入冲动的时空整合结果使细胞膜电位升高 ，超过动作电位的阈值时，细胞进入兴奋状态， 产生神经冲动。相反，当传入冲动的时空整合结 果使细胞膜电位低于动作电位的阈值时，细胞进 入抑制状态，无神经冲动输出。 生物神经元的功能与特征 (3) 脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神经纤维传递 的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的 电位信号。这种在突触接口处进行的“数/模”转换，是通过神 经介质以量子化学方式实现的如下过程： 电脉冲-神经化 学物质-膜电位 (4) 神经纤维传导速率 神经冲动沿神经纤维传导的速度在1-150m/s之间。其 速度差异与纤维的粗细、髓鞘的有无有关。一般来说，有髓 鞘的纤维，其传导速度在100m/s以上，无髓鞘的纤维，其传 导速度可低至每秒数米。 (5) 突触延时和不应期 突触对相邻两次神经冲动的响应需要有一定的时间间隔 ，在这个时间间隔内不响应激励，也不传递神经冲动，这个 时间间隔称为不应期。 人脑神经系统的结构与特征 神经生理学的研究结果表明，人脑的神经系统是一个由大量生物神经 元并行互连所形成的一个网络系统。每个人的大脑大约有1011-1012 个神经元，每个神经元大约有103-104个突触，即与其它103-104个 神经元相连。 (1)记忆和存储功能 人脑神经系统的记忆和处理功能是有机的结合在一起的。神经元既有 存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地 址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是 当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最 严重部分的那些信息，而不会丢失全部存储信息。 (2)高度并行性（为什么计算机无法模拟更多的神经元，如果有100 个神经元，两两互连，则会出现10099/2=5000个N元一次方程。如 何计算如此复杂的方程组？）提供了非常巨大的存储容量和并行度。 例如，人可以非常迅速地识别出一幅十分复杂的图像。 人脑神经系统的结构与特征 (3) 分布式功能 人们通过对脑损坏病人所做的神经心理学研究，没 有发现大脑中的哪一部分可以决定其余所有各部分的活 动，也没有发现在大脑中存在有用于驱动和管理整个智 能处理过程的任何中央控制部分。人类大脑的各个部分 是协同工作、相互影响的，并没有哪一部分神经元能对 智能活动的整个过程负有特别重要的责任。可见，在大 脑中，不仅知识的存储是分散的，而且其控制和决策也 是分散的。因此，大脑是一种分布式系统。 (4) 容错功能 容错性是指根据不完全的、有错误的信息仍能做出 正确、完整结论的能力。大脑的容错性是非常强的。例 如，我们往往能够仅由某个人的一双眼睛、一个背影、 一个动作或一句话的音调，就能辨认出来这个人是谁。 人脑神经系统的结构与特征 (5) 联想功能 人脑不仅具有很强的容错功能，还有 联想功能。善于将不同领域的知识结合起 来灵活运用，善于概括、类比和推理。例 如，一个人能很快认出多年不见、面貌变 化较大的老朋友。 (6) 自组织和自学习功能 人脑能够通过内部自组织、自学习能 力不断适应外界环境，从而可以有效地处 理各种模拟的、模糊的或随机的问题。 人工神经元的主要结构单元是信号的输入、综合处理和输出 输出信号强度大小反映了该神经元对相邻神经元影响的强弱 人工神经元之间通过互相联接形成网络，称为人工神经网络 神经元之间相互联接的方式称为联接模式 相互之间的联接强度由联接权值体现。 v 在人工神经网络中，改变信息处理及能 力的过程，就是修改网络权值的过程。 目前多数人工神经网络的构造大体上 都采用如下的一些原则： v 由一定数量的基本神经元分层联接； v 每个神经元的输入、输出信号以及综 合处理内容都比较简单； v 网络的学习和知识存储体现在各神经 元之间的联接强度上。 7. 2 人工神经网络的模型 7. 2. 1 人工神经元的模型 神经元是人工神经网络的基本处理单元 ，它一般是一个多输入/单输出的非线性元件 。神经元输出除受输入信号的影响外，同时 也受到神经元内部因素的影响，所以在人工 神经元的建模中，常常还加有一个额外输入 信号，称为偏差，有时也称为阈值或门限值 。 神经元的输出矢量可以表示为： A = f ( W*P + b ) = f ( wj pj + b ) (7.2 ) 可以看出偏差被简单地加在W*P上作为激活函数的另一个输 入分量。实际上偏差也是一个权值，只是它具有固定常数为1的输 入。在网络的设计中，偏差起着重要的作用，它使得激活函数的 图形可以左右移动，从而增加了解决问题的可能性。 7. 2. 2 激活转移函数 激活转移函数（Activation transfer function）简称激活函数，它是一个神经元 及神经网络的核心之一。神经网络解决问题 的能力与功效除了与网络结构有关外，在很 大程度上取决于网络激活函数。 激活函数的基本作用是： 控制输入对输出的激活作用； 对输入、输出进行函数转换； 将可能无限域的输入变换成指定的 有限范围内的输出。 下面是几种常用的激活函数： （l）阀值型（硬限制型） 具有此激活函数的神经元的输入/输出关系为： (a) 没有偏差的阈值型激活函数 (b) 带有偏差的阈值型激活函数 图7. 3 阈值型激活函数 (7.3 ) （2）线性型 具有此激活函数的神经元的输入/输出关系为： (a) 没有偏差的线性激活函数 (b) 带有偏差的线性激活函数 图7. 4 线性型激活函数 A = f (W *P + b ) = W * P + b ( 7.4 ) （3）S型(Sigmoid) 对数S型激活函数 见图7.5(a)，其神经元的输入/输出关系为： (a) 带有偏差的对数S型激活函数 (b) 带有偏差的双曲正切S型激活函数 图7. 5 S型激活函数 (7.5) （3）S型(Sigmoid) 双曲正切S型激活函数 见图7.5(b)，其神经元的输入/输出关系为： (a) 带有偏差的对数S型激活函数 (b) 带有偏差的双曲正切S型激活函数 图7. 5 S型激活函数 (7.6) 一般地，称一个神 经网络是线性或非线性 是由网络神经元中所具 有的激活函数的线性或 非线性来决定的。 人工神经网络 人工神经网络是对人类神经系统的一种模拟。尽管 人类神经系统规模宏大、结构复杂、功能神奇，但 其最基本的处理单元却只有神经元。人工神经系统 的功能实际上是通过大量神经元的广泛互连，以规 模宏伟的并行运算来实现的。 基于对人类生物系统的这一认识，人们也试图通过 对人工神经元的广泛互连来模拟生物神经系统的结 构和功能。人工神经元之间通过互连形成的网络称 为人工神经网络。在人工神经网络中，神经元之间 互连的方式称为连接模式或连接模型。它不仅决定 了神经元网络的互连结构，同时也决定了神经网络 的信号处理方式。 人工神经网络的分类 目前，已有的人工神经网络模型至少有 几十种，其分类方法也有多种。例如，若按 网络拓扑结构，可分为无反馈网络与有反馈 网络；若按网络的学习方法，可分为有教师 的学习网络和无教师的学习网络；若按网络 的性能，可分为连续型网络与离散型网络， 或分为确定性网络与随机型网络；若按突触 连接的性质，可分为一阶线性关联网络与高 阶非线性关联网络。 人工神经网络的局限性 人工神经网络是一个新兴学科，因此还存在 许多问题。其主要表现有： (1) 受到脑科学研究的限制：由于生理实验 的困难性，因此目前人类对思维和记忆机制 的认识还很肤浅，还有很多问题需要解决； (2) 还没有完整成熟的理论体系； (3) 还带有浓厚的策略和经验色彩； (4) 与传统技术的接口不成熟。 上述问题的存在，制约了人工神经网络研究 的发展。 7. 2. 3 MP神经元模型 MP神经元模型是由美国心理学家 McClloch和数学家Pitts共同提出的，因此，常 称为MP模型。 MP神经元模型是典型的阈值型 神经元，见图7.6，它相当于一个多输入单输出 的阈值器件。 w1 w2 wr p1 p2 pr b 图7.6 MP模型神经元 如图(7.6)所示，假定p1，p2，pn表示神经元 的n个输入；wi表示神经元的突触连接强度，其值称 为权值；n 表示神经元的输入总和，f (n) 即为激活函 数；a 表示神经元的输出，b 表示神经元的阈值，那 么MP模型神经元的输出可描述为(7.7)式所示： w1 w2 wr p1 p2 pr b 图7.6 MP模型神经元 (7.7) MP模型神经元是二值型神经元，其输出状态取值 为1或0，分别代表神经元的兴奋和抑制状态。如果 n 0，即神经元输入加权总和超过某个阈值，那么该神 经元兴奋，状态为1；如果n 0，那么该神经元受到抑 制，状态为0。通常，将这个规定称为MP模型神经元 的点火规则。用一数学表达式表示为： 对于 MP模型神经元，权值w在（ 1， 1）区间 连续取值。取负值表示抑制两神经元间的连接强度，正 值表示加强。 (7.8) MP模型神经元 具有什么特性？ 能完成什么功能？ 为了回答这个问题，我们以简单的逻 辑代数运算为例来说明。 例1 假设一个MP模型神经元有2个输入：p1和p2，其目 标输出记为t，试问它能否完成下列真值表功能？ 解：根据要求，神经元的权值和阈值必须满足如下不 等式组： 若取b值为0.5,W1和W2取0.7。可以验证用这组权值和阈值 构成的2输入MP模型神经元能够完成该逻辑“或”运 算。 (1) (2) (3) (4) 不 等 式 组 真 值 表 p1 p2 t 1 1 1 1 0 1 0 1 1 0 0 0 如同许多代数方程一样，由MP模型激活函数得出的不等 式具有一定的几何意义，所有输入样本构成样本输入空间。对 于任意特定W和P的值都规定了一个超平面（决策平面），其 方程为： 它把超平面Rn（XRn）分成了两部分：WX-b0 部分和 WX-b0 部分。 一般地，N输入的 MP模型神经元有2n个输 入样本，几何上分别位 于N维超立方体的各顶 点处。 7.3 人工神经网络的结构与学习 7. 3. 1 人工神经网络的结构 如果将大量功能简单的形式神经元通 过一定的拓扑结构组织起来，构成群体并 行分布式处理的计算结构，那么这种结构 就是人工神经网络，在不引起混淆的情况 下，统称为神经网络。 根据神经元之间连接的拓 扑结构上的不同，可将神经网 络结构分为两大类： 分层网络 相互连接型网络 1分层结构 分层网络将一个 神经网络模型中的所有 神经元按功能分成若干 层，一般有输入层、隐 层（又称中间层）和输 出层各层顺序连接，如 图7. 7所示。 输 出 层 中 间 层 输 入 层 输入 输出 图 7.7 分层网络的功能层次 简单的前向网络； 具有反馈的前向网络； 层内有相互连接的前向网络。 分层网络可以细分为三种 互连形式： 图7.8 （a）简单的前向网络形状； 图7.8 （b）输出层到输入层具有反馈的前向网络； 图7.8 （c） 层内有相互连接的前向网络。 所谓相互连接型网络是指网络中任意两个神 经元之间是可达的，即存在连接路径，如图7.8 （d）所示。 2相互连接型结构 权值修正学派认为：神 经网络的学习过程就是不断 调整网络的连接权，以获得 期望的输出的过程。 7. 3. 2 人工神经网络的学习 v 相关学习法 v 误差修正学习法 典型的权值修正方法有两类 式中，wji( t + 1)表示修正一次后的某一权值；称为学 习因子，决定每次权值的修正量，x i（t）、xj（t）分 别表示 t 时刻第i、第j个神经元的状态。 相关学习法 如果神经网络中某一神经元与另一直接与其相连 的神经元同时处于兴奋状态，那么这两个神经元间的 连接强度应该加强。相关学习法是根据连接间的激活 水平改变权值的，相关学习法也称Hebb学习规则，可 用一数学表达式表示为： (7.9) （1）选择一组初始权值和偏差值； （2）计算某一输入模式对应的实际输出与期望输出的误差 （3）更新权值（偏差值可视为输入恒为-1的一个权值） 式中，为学习因子； y je(t)、yj(t) 分别表示第j个神经 元 的期望输出与实际输出；x i为第i个神经元的输入； （4）返回步骤（2），直到对所有训练模式，网络输出均 能满足要求。 误差修正学习法 根据期望输出与实际输出之间的误差大小来修正权 值。误差修正学习法也称学习规则，可由如下四步来 描述； (7.10 ) 例2考虑一个2输入MP模型神经元的 学习。假设初始参数为： w1 = 0.2， w2 = -0.5， b = 0.1 要求该神经元能实现下列逻辑真值表： 逻辑真值表 x1：0 0 1 1 x2：0 1 0 1 ye：1 1 0 0 解：神经元输入和的表达式为： n = w 1 x 1 + w 2 x 2 - b 满足所给逻辑真值表的激活函数不等式组为： x1 x2 ye 不等式组 0 0 1 - b 0 b 0 0 1 1 w 2 - b 0 b w 2 1 0 0 w 1 - b 0 b w 1 1 1 0 w 1 + w 2 - b 0 b w 1 + w 2 在初始参数设置下，神经元的实际输出为： n1 = 0.2*0 0.5*0 0.1 = - 0.1 0 y1 = 0 n2 = 0.2*0 0.5*1 0.1 = - 0.6 0 y2= 0 n3 = 0.2*1 0.5*0 0.1 = 0.1 0 y 3= 1 n4 = 0.2*1 0.5*1 0.1 = - 0.4 0 y4= 0 可见，有3个输入模式相应的输出都与期望输出不符， 即有误差。下面我们看如何使用学习规则进行学习。 首先，确定学习因子，即确定每次 误差修正量的多少。假如学习因子采用 下式确定： 式中,为一个正的常数，通常在0-1 之间取值。为简便起见，这里取值为0.1 。 (7.11 ) 1. 当输入x1x2 = 00时： 要使实际输出 y = 1，必须满足激活函数大于0，即： n1 = - b0 b0 阈值b需取负值 根据（2