生物神经元课件

1、生物神经元生物神经元生物神经元生物神经元生物神经网络生物神经网络 生物神经系统是由大量神经细胞（神经元）组生物神经系统是由大量神经细胞（神经元）组成的一个复杂的互联网络。据统计，人类大脑成的一个复杂的互联网络。据统计，人类大脑约有约有1010101010101111个神经元，每个神经元与个神经元，每个神经元与10103 310105 5个其它的神经元互相连接，从而构成一个个其它的神经元互相连接，从而构成一个极为庞大复杂的网络。神经元的结构总体来讲极为庞大复杂的网络。神经元的结构总体来讲可分为三个部分：胞体（可分为三个部分：胞体（SomaSoma），树突），树突（DendritesDendrit

2、es）和轴突（）和轴突（AxonAxon）。）。生物神经元生物神经网络工作机理生物神经网络工作机理1 在突触的接受侧，信号被送入胞体，在胞体内在突触的接受侧，信号被送入胞体，在胞体内进行综合，有的信息起刺激作用，有的起抑制进行综合，有的信息起刺激作用，有的起抑制作用，当胞体中接受的累加刺激超过一个阈值作用，当胞体中接受的累加刺激超过一个阈值时，胞体被激发，此时它沿轴突通过树突向其时，胞体被激发，此时它沿轴突通过树突向其它神经元发出信号。它神经元发出信号。生物神经元生物神经网络工作机理生物神经网络工作机理2 一个神经元沿轴突通过树突发出的信号是相同一个神经元沿轴突通过树突发出的信号是相同的，而这

3、个信号可能对接受它的不同神经元有的，而这个信号可能对接受它的不同神经元有不同的效果，这一效果主要有突触决定：突触不同的效果，这一效果主要有突触决定：突触的的“联结强度联结强度”越大，接受的信号就越强，反越大，接受的信号就越强，反之，就越弱。之，就越弱。 突触的突触的“联结强度联结强度”可以随系统受到的训练而可以随系统受到的训练而被改变。被改变。生物神经元生物神经元的六个基本特征生物神经元的六个基本特征1、神经元及其联结、神经元及其联结2、联结强度决定信号传递的强弱、联结强度决定信号传递的强弱3、联结强度可以随训练而改变、联结强度可以随训练而改变4、信号可以是刺激作用的，也可以是抑制的、信号可以

4、是刺激作用的，也可以是抑制的5、一个神经元接受的信号的累积效果决定、一个神经元接受的信号的累积效果决定 该神经元的状态该神经元的状态6、每个神经元可以有一个、每个神经元可以有一个“阈值阈值”生物神经元神经网络的定义神经网络的定义神经网络是一个由大量简单的处理单元组成的高神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统度复杂的大规模非线性自适应系统它由处理单元及称为联结的无向信号通道互连而成它由处理单元及称为联结的无向信号通道互连而成生物神经元神经网络模拟人脑的四个方面神经网络模拟人脑的四个方面1、物理结构物理结构：人脑神经细胞约：人脑神经细胞约10101011个个2、计

5、算模拟计算模拟：大规模并行处理：大规模并行处理3、存储与操作存储与操作：信息分布存放，容错、联想能力强：信息分布存放，容错、联想能力强4、训练训练：从实践中获取知识：从实践中获取知识-学习算法学习算法生物神经元构造人工神经元的要求构造人工神经元的要求神经元是构成神经网络的最基本单元神经元是构成神经网络的最基本单元要构造神经网络必须先构造人工神经元要构造神经网络必须先构造人工神经元人工神经元应是简单实现的数学模型人工神经元应是简单实现的数学模型人工神经元应该能模拟生物神经元的工作机理人工神经元应该能模拟生物神经元的工作机理生物神经元人工神经元的构造方法人工神经元的构造方法对于每个神经元，它可以接

6、受来自系统其他对于每个神经元，它可以接受来自系统其他神经元的输入信号神经元的输入信号每个输入信号对应一个权，相当于突触的每个输入信号对应一个权，相当于突触的“联结强度联结强度”所有输入的加权和决定该神经元的激活状态所有输入的加权和决定该神经元的激活状态生物神经元人工神经元的网络输入人工神经元的网络输入1、设、设n个输入分别为个输入分别为x1 , x2 , , xn，对应的权分别为，对应的权分别为 w1, w2, , wn，即有输入向量和权向量：，即有输入向量和权向量：X=(x1 , x2 , , xn)W=(w1, w2, , wn)net= xiwinet=XW神经元网络输入：神经元网络输入

7、：x1x2xnnet=XWw1w2wn 生物神经元激活函数激活函数(激励函数、活化函数激励函数、活化函数)每个生物神经元有一个阈值，当输入信号累加效果每个生物神经元有一个阈值，当输入信号累加效果超过阈值时，神经元处于激活状态，否则处于抑制超过阈值时，神经元处于激活状态，否则处于抑制状态。状态。希望人工神经元有一个更一般的变换函数，来执行希望人工神经元有一个更一般的变换函数，来执行该神经元获得的网络输入的变换，这就是激活函数。该神经元获得的网络输入的变换，这就是激活函数。o=f(net)x1x2xnnet=XWw1w2wn o=f(net)生物神经元激活函数的种类激活函数的种类1、线性函数、线性

8、函数2、非线性斜面函数、非线性斜面函数3、阈值函数，又称阶跃函数、阈值函数，又称阶跃函数4、S型函数型函数生物神经元S型激活函数的特性型激活函数的特性1、非线性、非线性2、处处连续可导、处处连续可导3、有较好的增益控制、有较好的增益控制防止网络进入饱和状态防止网络进入饱和状态neto0生物神经元人工神经元，人工神经元，M-P模型模型x1x2xnnet=XWw1w2wn o=f(net)将基本模型和激活函数合在一起就构成了人工神经元将基本模型和激活函数合在一起就构成了人工神经元这就是著名的这就是著名的McCulloch-Pitts模型，模型，M-P模型模型也称处理单元也称处理单元PE生物神经元人

9、工神经网络的简化画法人工神经网络的简化画法用节点代表神经元，加权有向边代表从神经元到用节点代表神经元，加权有向边代表从神经元到神经元之间的有向联结，权代表联结强度，箭头神经元之间的有向联结，权代表联结强度，箭头代表信号的传递方向。代表信号的传递方向。生物神经元简单单级网简单单级网输入层的神经元不对输入信号做任何处理，它们只输入层的神经元不对输入信号做任何处理，它们只起到对输入向量起到对输入向量X的扇出作用。的扇出作用。简单单级网简单单级网x1x2xnw11o1o2om生物神经元简单单级网的输入输出简单单级网的输入输出W=(wij)=w11w21wn1w12w22wn2w1mw2mwnm权矩阵：

10、权矩阵：输入层第输入层第j个神经元的网络输入为：个神经元的网络输入为：netj=x1w1j+x2w2j+xnwnj(net1从而有从而有NET=net2netm),O=F(NET)生物神经元多级网多级网研究表明，单级网的功能是有限的，适当增加网络研究表明，单级网的功能是有限的，适当增加网络的层数是提高网络计算能力的一个途径。的层数是提高网络计算能力的一个途径。x1x2xno1o2om.生物神经元多级网的几个约定多级网的几个约定输入层：只起到输入信号的扇出作用，不记入层数。输入层：只起到输入信号的扇出作用，不记入层数。第第j层：第层：第j-1层的直接后续层。层的直接后续层。输出层：网络的最后一层

11、，具有最大层号，输出层：网络的最后一层，具有最大层号， 负责输出网络的计算结果。负责输出网络的计算结果。隐藏层：网络输入层与输出层以外的层隐藏层：网络输入层与输出层以外的层层数：网络输入层的层号层数：网络输入层的层号第第j-1层到第层到第j层的联结矩阵称第层的联结矩阵称第j层联结矩阵，记层联结矩阵，记W(j)生物神经元非线性激活函数非线性激活函数非线性激活函数在多级网络中其着非常重要的作用。非线性激活函数在多级网络中其着非常重要的作用。如果采用线性激活函数，则多级网的功能不会超过如果采用线性激活函数，则多级网的功能不会超过单级网的功能。单级网的功能。生物神经元网络模式的概念网络模式的概念所有的

12、信息都是以模式的形式表现出来的。所有的信息都是以模式的形式表现出来的。输入向量是模式；输入向量是模式；输出向量是模式；输出向量是模式；同层神经元的某一时刻的状态是模式；同层神经元的某一时刻的状态是模式；所有神经元的某一时刻的状态是模式；所有神经元的某一时刻的状态是模式；权矩阵及其所含的向量都是模式。权矩阵及其所含的向量都是模式。生物神经元空间模式与时空模式空间模式与时空模式网络在某一时刻的状态所确定模式称为空间模式网络在某一时刻的状态所确定模式称为空间模式以时间维为轴展开的空间模式系列称为时空模式以时间维为轴展开的空间模式系列称为时空模式他们如同一幅画面与整个电影的关系他们如同一幅画面与整个电

13、影的关系当研究稳定性和网络训练的收敛过程时涉及时空模式当研究稳定性和网络训练的收敛过程时涉及时空模式一般情况下，只涉及空间模式一般情况下，只涉及空间模式生物神经元人工神经网络的训练人工神经网络的训练人工神经网络的学习过程就是对它的训练过程人工神经网络的学习过程就是对它的训练过程训练：训练： 输入样本向量输入样本向量 将样本集的内涵以联结权矩阵的方式存储起来将样本集的内涵以联结权矩阵的方式存储起来使网络接收输入时，可以给出适当的输出使网络接收输入时，可以给出适当的输出 调整权矩阵调整权矩阵生物神经元人工神经网络的无导师训练人工神经网络的无导师训练其训练集中只含一些输入向量，训练算法致力于修其训练

14、集中只含一些输入向量，训练算法致力于修改权矩阵，以使网络对一个输入能够给出相容的输改权矩阵，以使网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相似的输出向量。出，即相似的输入向量可以得到相似的输出向量。无导师训练算法用来将训练样本集合中蕴涵的统计无导师训练算法用来将训练样本集合中蕴涵的统计特性抽取出来，并以联结权矩阵的方式存储起来，特性抽取出来，并以联结权矩阵的方式存储起来，使网络可以按照网络向量的相似性进行分类。使网络可以按照网络向量的相似性进行分类。生物神经元无导师训练的无导师训练的Hebb算法算法Wij(t+1)=Wij(t)+oi(t)oj(t)其中：其中： Wij(t+1

15、)、 Wij(t)为神经元为神经元i联结到联结到神经元神经元j的联结在的联结在t+1时刻和时刻和t时刻的强度时刻的强度oi(t)、oj(t)为这两个神经元为这两个神经元t时刻的输出，时刻的输出，为给定的学习效率。为给定的学习效率。生物神经元人工神经网络的有导师训练人工神经网络的有导师训练有导师训练在目前应用中已经非常成功。有导师训练在目前应用中已经非常成功。有导师训练算法要求给出输入向量的同时，还必须有导师训练算法要求给出输入向量的同时，还必须给出相应的理想输出向量。它们构成一个给出相应的理想输出向量。它们构成一个“训练对训练对”(A1,B1), (A2,B2), (An,Bn)生物神经元有导

16、师训练算法有导师训练算法1、从样本集中取出一个样本、从样本集中取出一个样本(Ai,Bi)；2、计算网络的实际输出、计算网络的实际输出O；3、求、求D=Bi-O；4、根据、根据D调整权矩阵调整权矩阵W；5、对每个样本重复上述过程，直到对整个样本集来、对每个样本重复上述过程，直到对整个样本集来 说，误差不超过规定范围说，误差不超过规定范围Wij(t+1)=Wij(t)+(yj-bj)oi(t)生物神经元离散单输出感知器离散单输出感知器(M-P模型模型)设输入：设输入：X=(x1 , x2 , , xn)设权向量：设权向量：W=(w1, w2, , wn)训练样本：训练样本：（X,Y）|X为输入向量

17、，为输入向量，Y为与为与X对应的输对应的输x1x2xnw1w2wno=f(net)(解跃函数解跃函数)生物神经元离散单输出感知器离散单输出感知器(M-P模型模型)训练算法训练算法1、初始化权向量、初始化权向量W;2、重复下列过程，直到训练完成；、重复下列过程，直到训练完成；2.1、对每一个样本，重复下列过程：、对每一个样本，重复下列过程：2.1.1、输入、输入X；2.1.2、计算、计算O=F(XW)；2.1.3、如果输出不正确，则、如果输出不正确，则当当O=0时，取时，取W=W+X当当O=1时，取时，取W=W-X生物神经元离散多输出感知器离散多输出感知器x1x2xnw11o1o2om设输入：设

18、输入：X=(x1 , x2 , , xn)设理想输出：设理想输出：Y=(y1 , y2 , , ym)设实际输出：设实际输出：YO=(o1 , o2 , , om)设权系数矩阵：设权系数矩阵：W=(wij)样本集为：样本集为：(X,Y)|X为输入向量，为输入向量，Y为对应输出向量为对应输出向量生物神经元离散多输出感知器训练算法离散多输出感知器训练算法1、初始化权向量、初始化权向量W;2、重复下列过程，直到训练完成；、重复下列过程，直到训练完成；2.1、对每一个样本，重复下列过程：、对每一个样本，重复下列过程：2.1.1、输入、输入X；2.1.2、计算、计算O=F(XW)；2.1.3、for i

19、=1 to m 执行如下操作执行如下操作if oi不等于不等于yi then if oi=0 then for j=1 to nwij= wij +xielse for j=1 to nwij= wij -xi生物神经元连续多输出感知器连续多输出感知器x1x2xnw11o1o2om输出函数改为非解跃函数，使它们的输出值变成连续的，输出函数改为非解跃函数，使它们的输出值变成连续的，使网络更具一般性，更容易适应实际应用的需求，但拓扑使网络更具一般性，更容易适应实际应用的需求，但拓扑结构仍然不变。结构仍然不变。生物神经元连续多输出感知器训练算法连续多输出感知器训练算法1、用适当的小伪随机数初始化权向

20、量、用适当的小伪随机数初始化权向量W;3.1、d=0；3.2、for 每个样本每个样本(X,Y) do；3.2.1、输入、输入X2、设置精度控制参数、设置精度控制参数 ,学习率学习率 、精度控制变量、精度控制变量d=1+3、while d= do3.2.2、求、求O=F(XW)3.2.3、修改权矩阵、修改权矩阵Wfor i=1 to n, j=1 to m dowij= wij + (yj-oj)xi3.2.4、累积误差、累积误差for j=1 to m dod=d+(yj-oj)2生物神经元“异或异或”运算真值表运算真值表“异或异或”运算是计算机领域最基本的运算：运算是计算机领域最基本的运算

21、：g(x,y)运算对象运算对象y运算对象运算对象x01000111异或运算的真值表异或运算的真值表1o1yw1x+w2y= 0 if x=y“异或异或”运算的定义：运算的定义：g(x,y)= 即即g(x,y)=xy xy 1 其他其他生物神经元感知器无法实现感知器无法实现“异或异或”运算运算如果要实现如果要实现“异或异或”运算则运算则w1+w2- =00+0- 00+w2- 0显然，上述方程无解显然，上述方程无解生物神经元线性不可分问题的克服线性不可分问题的克服增加网络的层数可以解决感知器线性不可分的问题增加网络的层数可以解决感知器线性不可分的问题生物神经元多层网络权重确定的难题多层网络权重确

22、定的难题理想输出与实际输出之差被直接用来估计直接达到该理想输出与实际输出之差被直接用来估计直接达到该神经元的联结的权重的误差。为了解决线性不可分问题神经元的联结的权重的误差。为了解决线性不可分问题而引入的多级网络后，如何估计网络隐藏的神经元的误而引入的多级网络后，如何估计网络隐藏的神经元的误差就成了难题。因为在实际应用中，无法知道隐藏层任差就成了难题。因为在实际应用中，无法知道隐藏层任何神经元的理想输出值。何神经元的理想输出值。生物神经元BP算法的基本思想算法的基本思想BP(Back Propagation)算法利用输出层的误差来估计输出层算法利用输出层的误差来估计输出层的直接前导层的误差，再

23、用这个误差估计更前一层的误差，的直接前导层的误差，再用这个误差估计更前一层的误差，如此下去，就获得了所有其他各层的误差估计。（如此下去，就获得了所有其他各层的误差估计。（1986提出）提出）BP(Back Propagation)算法又称为向后传播算法。算法又称为向后传播算法。使用使用BP算法进行学习的多级非循环网络称为算法进行学习的多级非循环网络称为BP网络。网络。生物神经元BP算法的基本特征和意义算法的基本特征和意义BP算法是非循环多级网络的训练算法。算法是非循环多级网络的训练算法。BP算法的收敛速度非常慢，在高维曲面上局部极小点逃离。算法的收敛速度非常慢，在高维曲面上局部极小点逃离。BP算法的出现结