神经元模型和网络结构

2.1目的

第1章给除了生物神经元和神经网络的简述。现在来介绍简化的神经元数学模型，并解释这些人工神经元如何相互连接形成各种网络结构。另外，本章还将通过几个简单的实例阐述这些网络如何工作。本书中将使用本章所引入的概念和符号。本文档共30页；当前第1页；编辑于星期二\4点7分2.2原理和实例2.2.1符号本书中的图、数字公式以及解释图和数字公式的正文，将使用一下符号：标量：小写的斜体字母，如a,b,c。向量：小写的黑正体字母，如a,b,c。矩阵：大写的黑整体字母，如A,B,C。●●●本文档共30页；当前第2页；编辑于星期二\4点7分2.2.2神经元模型单输入神经元权值偏置(值)净输入传输函数图2-1单输入神经元本文档共30页；当前第3页；编辑于星期二\4点7分若将这个简单模型和前面第1章所讨论的生物神经元相对照，则权值w对应于突触的连接强度，细胞体对应于累加器和传输函数，神经元输出a代表轴突的信号。

神经元输出按下式计算：

a=f(wp+b)注：还有多阈值、多权值神经元本文档共30页；当前第4页；编辑于星期二\4点7分

实际输出取决与所选择的待定传输函数。2.传输函数图2-1中的传输函数可以是n的线性或者非线性函数。可以用特定的传输函数满足神经元要解决的特定问题。本书包括了各个不同的传输函数。下面将讨论其中最常用的三种。

硬极限传输函数

线性传输函数

a=n(2.1)

对数-S形传输函数

a=1/1+e-n

(2.2)本文档共30页；当前第5页；编辑于星期二\4点7分

a=hardlim(n)a=hardlim(wp+b)

硬极限传输函数单输入hardlim神经元图2-2硬极限传输函数本文档共30页；当前第6页；编辑于星期二\4点7分

a=purelin(n)a=purelin(wp+b)

线性传输函数单输入purelin神经元图2-3线性传输函数本文档共30页；当前第7页；编辑于星期二\4点7分

a=logsig(n)a=logsig(wp+b)

Log-Sigmoid

传输函数单输入logsig神经元图2-4对数-S形传输函数本文档共30页；当前第8页；编辑于星期二\4点7分名称输入/输出关系图标MATLAB函数硬极限函数a=0,n<0a=1,n≥0hardlim对称硬极限函数a=-1,n<0a=+1,n≥0hardlims线性函数a=npurelin饱和线性函数a=0,n<0a=n,0≤n≤1a=1,n>1satlin对称饱和线性函数a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins对数-S形函数a=1/1+e-nlogsig双曲正切S形函数a=en-e-n/en+e-ntansig正线性函数a=0,n<0a=n,n≥0poslin竞争函数a=1,具有最大n的神经元a=0,所有其他神经元compet本文档共30页；当前第9页；编辑于星期二\4点7分

3.多输入神经元

权值矩阵通常，一个神经元有不止一个输入。具有R个输入的神经元如图2-5所示。其输入p1,p2,…,pR

分别对应权值矩阵W的元素w1,1,w1,2,…,w1,R

。图2-5多输入神经元本文档共30页；当前第10页；编辑于星期二\4点7分

该神经元有一个偏置值b,它与所有输入的加权和累加，从而形成净输入n：

n=w1,1p1+w1,2p2+…+w1,RpR+b

（2.3）这个表达式也可以写成矩阵形式：n=Wp+b(2.4)其中单个神经元的权值矩阵W只有一行元素。神经元的输出可以写成：a=f(Wp+b)(2.5)

权值下标权值矩阵元素下标的第一个下标表示权值相应连接所指定的目标神经元编号，第二个下标表示权值相应连接的源神经元编号。

简化符号图2-6为利用这种符号所表示的多输入神经元。本文档共30页；当前第11页；编辑于星期二\4点7分

图2-6具有R个输入的神经元的简化符号在图2-6中，左边垂直的实心条表示输入向量p，p下面的变量R×1表示p的维数，也即输入是由R个元素组成的一维向量。这些输入被送人权值矩阵W，W有1行R列。常量1则作为输入与标量偏置值b相乘。传输函数f的净输入是n，它是偏置值b与积Wp的和。在这种情况本文档共30页；当前第12页；编辑于星期二\4点7分下，神经元的输出a是一个标量。如果网络有多个神经元，那么网络输出就可能是一个向量。请注意，网络的输入是由问题的外部描述决定的。2.2.3网络结构1.神经元的层层图2-7是由S个神经元组成的单层网络。

该层包括权值矩阵、累加器、偏置值向量b、传输函数框和输出向量a。本文档共30页；当前第13页；编辑于星期二\4点7分输入向量p的每个元素均通过权值矩阵W和每个神经元相连。输入向量通过如下权矩阵W进入网络：（2.6）同样，具有S个神经元、R个输入的单层网络也能用简化的符号表示为如图2-8所示的形式。

权值下标权值矩阵元素下标的第一个下标表示权值相应连接所指定的目标神经元编号，第二个下标表示权值相应连接的源神经元编号。W2,3?本文档共30页；当前第14页；编辑于星期二\4点7分

2.多层神经元层上标现在考虑具有几层神经元的网络。每个变量都附加一个上标来表示其所处层次。图2-9所示的三层网络就使用了这种标记方法。本文档共30页；当前第15页；编辑于星期二\4点7分

输入层隐含层如果某层的输出是网络的输出，那么称该层为输出层，而其他层叫隐含层。前面讨论的三层网络同样也可以用简化的符号表示，如图2-10所示。本文档共30页；当前第16页；编辑于星期二\4点7分

3.递归网络延时在讨论递归网络前，首先介绍一些简单的构造模块。第一种是延时模块，如图2-11所示。延时输出a(t)由输入u(t)根据下式计算得到：

a(t)=u(t-1)

（2.7）本文档共30页；当前第17页；编辑于星期二\4点7分

积分器另一种将用于第15章至第18章中的连续时间递归网络的构造模块是积分器，如图2-12所示：

积分器的输出a(t)由输入u(t)根据下式计算得到：（2.8）本文档共30页；当前第18页；编辑于星期二\4点7分

递归网络一个递归网络是一个带反馈的网络，其部分输出连接到它的输入。图2-13给出了一种类型的离散时间递归网络。

a(1)=satlins(Wa(0)+b),a(2)=satlins(Wa(1)+b),…本文档共30页；当前第19页；编辑于星期二\4点7分2.3小结单输入神经元多输入神经元本文档共30页；当前第20页；编辑于星期二\4点7分传输函数名称输入/输出关系图标MATLAB函数硬极限函数a=0,n<0a=1,n≥0hardlim对称硬极限函数a=-1,n<0a=+1,n≥0hardlims线性函数a=npurelin饱和线性函数a=0,n<0a=n,0≤n≤1a=1,n>1satlin对称饱和线性函数a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins对数-S形函数a=1/1+e-nlogsig双曲正切S形函数a=en-e-n/en+e-ntansig正线性函数a=0,n<0a=n,n≥0poslin竞争函数a=1,具有最大n的神经元a=0,所有其他神经元compet本文档共30页；当前第21页；编辑于星期二\4点7分神经元层三层神经元本文档共30页；当前第22页；编辑于星期二\4点7分延时模块积分器模块本文档共30页；当前第23页；编辑于星期二\4点7分递归网络如何选取一种网络结构应用问题的描述从如下几个方面非常有助于定义网络的结构：

1）网络的输入个数=应用问题的输入数；

2）输出层神经元的数目=应用问题的输出数目；

本文档共30页；当前第24页；编辑于星期二\4点7分

3）输出层的传输函数选择至少部分依赖与应用问题的输出描述。2.4例题

P2.1一个单输入神经元的输入是2.0，其权值是2.3，偏置值是-3。（i）传输函数的净输入是多少？（ii）神经元的输出是多少？解（i）传输函数的网络输出由下式给出：本文档共30页；当前第25页；编辑于星期二\4点7分

（ii）因为未指定传输函数，所以不能确定该神经元的输出。

P2.2如果P2.1中的神经元分别具有如下传输函数，请问其输出值分别是多少？（i）硬极限函数（ii）线性函数（iii）对数-S形（logsig）函数解（i）对硬极限传输函数有（ii）对线性传输函数有（iii）对对数-S形传输函数有本文档共30页；当前第26页；编辑于星期二\4点7分

P2.3

给定一个具有如下参数的两输入神经元：b=1.2,W=[32],p=，试依据下列传输函数计算神经元输出：（i）对称硬极限传输函数（ii）饱和现行传输函数（iii）双曲正切S形（tansig）传输函数解首先计算净输入n:

现针对每种传输函数计算该神经元的输出。

本文档共30页；当前第27页；编辑于星期二\4点7分（i）（ii）（iii）

P2.4现有一个单层神经网络，具有6个输入和2个输出。输出被限制为0到1之间的连续值。叙述该网络的结构，请说明：（i）需要多少个神经元？（ii）权值矩阵的维数是多少？（iii）能够采用什么传输函数？（iv）需要采用偏置值吗？本文档共30页；当前第28页；编辑于星期二\4点7分