神经网络第二章

神经网络第二章第1页，课件共48页，创作于2023年2月2.1人工神经网络的生物学基础人类大脑大约包含有1.41011个神经元，每个神经元与大约103～105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。2第2页，课件共48页，创作于2023年2月生物神经元的主要内容生物神经元的结构生物神经元信息处理机制信息的产生信息的传递和接受信息的整合3第3页，课件共48页，创作于2023年2月2.1.1生物神经元的结构

生物神经元在结构上由

细胞体(Cellbody)

树突(Dendrite):

接受输入信号

轴突(Axon)：传出信号

突触(Synapse)：输入输出接口

四部分组成。用来完成神经元间信息的接收、传递和处理。4第4页，课件共48页，创作于2023年2月细胞体5第5页，课件共48页，创作于2023年2月6第6页，课件共48页，创作于2023年2月2.1.2生物神经元的信息处理机理一、信息的产生

神经元间信息的产生、传递和处理是一种电化学活动。7第7页，课件共48页，创作于2023年2月静息:无信息输入时，神经元细胞膜内外因离子浓度差而造成的电位差为-70mV（内负外正）左右，称为静息电位，此时细胞膜的状态称为极化状态，神经元的状态称为静息状态。兴奋：当神经元受到外界刺激时，如果膜电位从静息电位向正偏移，称为去极化，此时神经元处于兴奋状态；抑制：如果膜电位从静息电位向负偏移，称为超级化，此时神经元处于抑制状态。8神经元的状态第8页，课件共48页，创作于2023年2月9第9页，课件共48页，创作于2023年2月二、信息的传递与接收10第10页，课件共48页，创作于2023年2月三、信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。11时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。第11页，课件共48页，创作于2023年2月四、生物神经网络

由多个生物神经元以确定方式和拓扑结构

相互连接即形成生物神经网络。

生物神经网络的功能不是单个神经元信息

处理功能的简单叠加。

神经元之间的突触连接方式和连接强度不

同并且具有可塑性，这使神经网络在宏观

呈现出千变万化的复杂的信息处理能力。12第12页，课件共48页，创作于2023年2月

神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元人工神经元(节点)

从三个方面进行模拟:节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)2.2神经元的人工模型13第13页，课件共48页，创作于2023年2月(1)每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；(6)神经元本身是非时变的，即其突触时延和突触强度均为常数。(3)神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；(5)忽略时间整合作用和不应期；模型的六点假设：2.2.1神经元的建模14第14页，课件共48页，创作于2023年2月假设1：多输入单输出图(a)表明，正如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。15第15页，课件共48页，创作于2023年2月假设2：兴奋性和抑制性输入生物神经元具有不同的突触性质和突触强度，使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。16第16页，课件共48页，创作于2023年2月假设3：空间整合特性和阈值特性作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。17第17页，课件共48页，创作于2023年2月神经元的输出图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。18第18页，课件共48页，创作于2023年2月神经元模型示意图19第19页，课件共48页，创作于2023年2月2.2.2神经元的数学模型τij——输入输出间的突触时延；

Tj——神经元j的阈值；

wij——神经元i到j的突触连接系数或称权重值；

f(

)——神经元转移函数。用一个数学表达式进行抽象与概括：20为简便，将突触时延取为单位时间，得第20页，课件共48页，创作于2023年2月(2.3)net’j=WjTX

Wj=(w1j,w2j,

…,wnj)TX=(x1x2…xn)T(2.4)2.2.2神经元的数学模型“输入总和”常称为神经元在t时刻的净输入，用下面的式子表示21第21页，课件共48页，创作于2023年2月2.2.2神经元的数学模型(2.5)oj=f(netj)=f(WjTX)(2.6)净输入与阈值之差可表达为净输入改写为netj，与原来的区别是包含了阈值(2.4)中列向量Wj和X的第一个分量的下标均从1开始，而式(2.5)中则从0开始

令x0=-1，w0j=Tj，

则有-Tj=x0w0j22第22页，课件共48页，创作于2023年2月2.2.3神经元的转移函数

神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。23第23页，课件共48页，创作于2023年2月2.2.3神经元的转移函数(1)阈值型转移函数(单位阶跃函数，又称为硬限幅函数)

1x≥0

f(x)=(2.7) 0x＜0

24第24页，课件共48页，创作于2023年2月(2)非线性转移函数(实数域R到[0,1]闭集的非减连续函数，代表了状态连续型神经元模型,函数本身及其导数都是连续的，便于处理)双极性单极性25第25页，课件共48页，创作于2023年2月(3)分段线性转移函数（一定区间内满足线性关系，模拟了实际系统中的饱和特性。）

0x≤0 f(x)= cx

0＜

x≤xc(2.9)

1

xc＜

x 26第26页，课件共48页，创作于2023年2月(4)概率型转移函数（输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为1或为0的概率）设神经元输出为1的概率为：温度参数由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（Boltzmann）分布相类似，因此这种神经元模型也称为热力学模型。27第27页，课件共48页，创作于2023年2月2.3人工神经网络模型分类：按网络连接的拓扑结构分类层次型结构互连型网络结构按网络内部的信息流向分类前馈型网络反馈型网络28第28页，课件共48页，创作于2023年2月2.3.1网络拓扑结构类型互连型网络结构：网络中任意两个节点之间都可能存在连接路径，根据网络中节点的互连程度将它细分为三种情况：全互连型结构局部互连型网络结构稀疏连接型层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。有3种典型结合方式：单纯层次型结构输出层到输入层有连接层内有连接层次型结构29第29页，课件共48页，创作于2023年2月2.3.1网络拓扑结构类型（层次型结构）

单纯层次型结构30第30页，课件共48页，创作于2023年2月2.3.1网络拓扑结构类型（层次型结构）输出层到输入层有连接31第31页，课件共48页，创作于2023年2月2.3.1网络拓扑结构类型（层次型结构）

层内有连接层次型结构32第32页，课件共48页，创作于2023年2月2.3.1网络拓扑结构类型（互连型结构）全互连型结构33第33页，课件共48页，创作于2023年2月局部互连型网络结构2.3.1网络拓扑结构类型（互连型结构）34第34页，课件共48页，创作于2023年2月2.3.2网络信息流向类型前馈型网络前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行反馈型网络在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。35第35页，课件共48页，创作于2023年2月前馈型网络输入节点:只负责从外界引入信息后向前传递给第一隐层；具有处理能力的节点:包括各隐层和输出层节点。前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。36第36页，课件共48页，创作于2023年2月反馈型网络所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出37第37页，课件共48页，创作于2023年2月神经网络的拓扑结构是决定神经网络特性的第二大要素，其特点可归纳为分布式存储与分布式信息处理、高度互连性、高度并行性和结构可塑性。38第38页，课件共48页，创作于2023年2月2.4神经网络学习学习的定义：“根据与环境的相互作用而发生的行为改变，其结果导致对外界刺激产生反应的新模式的建立”。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。39第39页，课件共48页，创作于2023年2月神经网络的学习方式是决定神经网络信息处理性能的第三大要素，因为有关学习的研究在神经网络研究中具有重要的地位。三大要素神经网络的学习方式神经网络的拓扑结构转移函数2.4神经网络学习40第40页，课件共48页，创作于2023年2月人工神经网络最具有吸引力的特点是它的学习能力。概念：改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法）。

神经网络的学习类型：有导师学习(有监督学习)无导师学习(无监督学习)灌输式学习(一开始就设定好权值，不再改变)41第41页，课件共48页，创作于2023年2月学习的过程（权值调整的一般情况）通用学习规则：权向量在t

时刻的调整量与t

时刻的输入向量和学习信号r的乘积成正比。42第42页，课件共48页，创作于2023年2月43Outstar

有导师第43页，课件共48页，创作于2023年2月例2.1设有4输入