生物神经元课件

生物神经元生物神经网络生物神经系统是由大量神经细胞（神经元）组成的一个复杂的互联网络。据统计，人类大脑约有1010－1011个神经元，每个神经元与103－105个其它的神经元互相连接，从而构成一个极为庞大复杂的网络。神经元的结构总体来讲可分为三个部分：胞体（Soma），树突（Dendrites）和轴突（Axon）。生物神经网络工作机理1在突触的接受侧，信号被送入胞体，在胞体内进行综合，有的信息起刺激作用，有的起抑制作用，当胞体中接受的累加刺激超过一个阈值时，胞体被激发，此时它沿轴突通过树突向其它神经元发出信号。生物神经元的六个基本特征1、神经元及其联结2、联结强度决定信号传递的强弱3、联结强度可以随训练而改变4、信号可以是刺激作用的，也可以是抑制的5、一个神经元接受的信号的累积效果决定该神经元的状态6、每个神经元可以有一个“阈值”神经网络的定义神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统它由处理单元及称为联结的无向信号通道互连而成神经网络模拟人脑的四个方面1、物理结构：人脑神经细胞约1010~1011个2、计算模拟：大规模并行处理3、存储与操作：信息分布存放，容错、联想能力强4、训练：从实践中获取知识----学习算法人工神经元的构造方法对于每个神经元，它可以接受来自系统其他神经元的输入信号每个输入信号对应一个权，相当于突触的“联结强度”所有输入的加权和决定该神经元的激活状态人工神经元的网络输入1、设n个输入分别为x1,x2,…,xn，对应的权分别为

w1,w2,…,wn，即有输入向量和权向量：X=(x1,x2,…,xn)W=(w1,w2,…,wn)net=xiwinet=XW神经元网络输入：x1x2xnnet=XWw1w2wn激活函数(激励函数、活化函数)每个生物神经元有一个阈值，当输入信号累加效果超过阈值时，神经元处于激活状态，否则处于抑制状态。希望人工神经元有一个更一般的变换函数，来执行该神经元获得的网络输入的变换，这就是激活函数。o=f(net)x1x2xnnet=XWw1w2wno=f(net)S型激活函数的特性1、非线性2、处处连续可导3、有较好的增益控制—防止网络进入饱和状态neto0人工神经元，M-P模型x1x2xnnet=XWw1w2wno=f(net)将基本模型和激活函数合在一起就构成了人工神经元这就是著名的McCulloch-Pitts模型，M-P模型也称处理单元PE人工神经网络的简化画法用节点代表神经元，加权有向边代表从神经元到神经元之间的有向联结，权代表联结强度，箭头代表信号的传递方向。简单单级网的输入输出W=(wij)=w11w21wn1w12w22wn2w1mw2mwnm………权矩阵：输入层第j个神经元的网络输入为：netj=x1w1j+x2w2j+…+xnwnj(net1从而有NET=net2netm),,…O=F(NET)多级网研究表明，单级网的功能是有限的，适当增加网络的层数是提高网络计算能力的一个途径。x1x2xno1o2om...多级网的几个约定输入层：只起到输入信号的扇出作用，不记入层数。第j层：第j-1层的直接后续层。输出层：网络的最后一层，具有最大层号，负责输出网络的计算结果。隐藏层：网络输入层与输出层以外的层层数：网络输入层的层号第j-1层到第j层的联结矩阵称第j层联结矩阵，记W(j)网络模式的概念所有的信息都是以模式的形式表现出来的。输入向量是模式；输出向量是模式；同层神经元的某一时刻的状态是模式；所有神经元的某一时刻的状态是模式；权矩阵及其所含的向量都是模式。空间模式与时空模式网络在某一时刻的状态所确定模式称为空间模式以时间维为轴展开的空间模式系列称为时空模式他们如同一幅画面与整个电影的关系当研究稳定性和网络训练的收敛过程时涉及时空模式一般情况下，只涉及空间模式人工神经网络的训练人工神经网络的学习过程就是对它的训练过程训练：输入样本向量将样本集的内涵以联结权矩阵的方式存储起来使网络接收输入时，可以给出适当的输出调整权矩阵无导师训练的Hebb算法Wij(t+1)=Wij(t)+ßoi(t)oj(t)其中：Wij(t+1)、Wij(t)为神经元i联结到神经元j的联结在t+1时刻和t时刻的强度oi(t)、oj(t)为这两个神经元t时刻的输出，ß为给定的学习效率。人工神经网络的有导师训练有导师训练在目前应用中已经非常成功。有导师训练算法要求给出输入向量的同时，还必须给出相应的理想输出向量。它们构成一个“训练对”[(A1,B1),(A2,B2),…,(An,Bn)]离散单输出感知器(M-P模型)训练算法1、初始化权向量W;2、重复下列过程，直到训练完成；2.1、对每一个样本，重复下列过程：2.1.1、输入X；2.1.2、计算O=F(XW)；2.1.3、如果输出不正确，则当O=0时，取W=W+X当O=1时，取W=W-X离散多输出感知器x1x2xnw11o1o2om设输入：X=(x1,x2,…,xn)设理想输出：Y=(y1,y2,…,ym)设实际输出：YO=(o1,o2,…,om)设权系数矩阵：W=(wij)样本集为：{(X,Y)|X为输入向量，Y为对应输出向量}离散多输出感知器训练算法1、初始化权向量W;2、重复下列过程，直到训练完成；2.1、对每一个样本，重复下列过程：2.1.1、输入X；2.1.2、计算O=F(XW)；2.1.3、fori=1tom执行如下操作ifoi不等于yi

thenifoi=0thenforj=1tonwij=wij+xielseforj=1tonwij=wij-xi连续多输出感知器x1x2xnw11o1o2om输出函数改为非解跃函数，使它们的输出值变成连续的，使网络更具一般性，更容易适应实际应用的需求，但拓扑结构仍然不变。连续多输出感知器训练算法1、用适当的小伪随机数初始化权向量W;3.1、d=0；3.2、for每个样本(X,Y)do；3.2.1、输入X2、设置精度控制参数,学习率、精度控制变量d=1+3、whiled>=do3.2.2、求O=F(XW)3.2.3、修改权矩阵Wfori=1ton,j=1tomdowij=wij+(yj-oj)xi3.2.4、累积误差forj=1tomdod=d+(yj-oj)2“异或”运算真值表“异或”运算是计算机领域最基本的运算：g(x,y)运算对象y运算对象x01000111异或运算的真值表1o1yw1x+w2y=0ifx=y“异或”运算的定义：g(x,y)=即g(x,y)=xyxy1其他感知器无法实现“异或”运算如果要实现“异或”运算则w1+w2-<=00+0-<=0W1+0->00+w2->0显然，上述方程无解线性不可分问题的克服增加网络的层数可以解决感知器线性不可分的问题多层网络权重确定的难题理想输出与实际输出之差被直接用来估计直接达到该神经元的联结的权重的误差。为了解决线性不可分问题而引入的多级网络后，如何估计网络隐藏的神经元的误差就成了难题。因为在实际应用中，无法知道隐藏层任何神经元的理想输出值。BP算法的基本思想BP(BackPropagation)算法利用输出层的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此下去，就获得了所有其他各层的误差估计。（1986提出）BP(BackPropagation)算法又称为向后传播算法。使用BP算法进行学习的多级非循环网络称为BP网络。BP算法的基本特征和意义BP算法是非循环多级网络的训练算法。BP算法的收敛速度非常慢，在高维曲面上局部极小点逃离。BP算法的出现结束了多级神经网络没有训练算法的历史，对神经网络的第二次高潮的到来起到很大的作用。BP算法具有广泛的适用性。BP网络的构成—神经元X=(x1,x2,…,xn)W=(w1,w2,…,wn)net=xiwinet=XW神经元网络输入：x1x2xnnet=XWw1w2wnBP网络的构成—神经元的激励函数按照算法要求，神经元的激励函数必须是处处可导的通常取S型函数：x1x2xnnet=XWw1w2wno=f(net)1o=f(net)=1+e-netf’(net)=o(1-o)neto(0,0.5)(0,0)BP网络的构成—网络的拓扑结构BP算法适用于非循环多级网络的训练x1x2xno1o2om...但在说明BP算法的具体原理时，只需一个二级网络x1x2xno1o2omBP网络拓扑结构的几点注意事项设网络有n层，第h(1<=h<=n)层神经元的个数为Lh,该层神经元的激活函数用Fn表示联结矩阵用W(h)表示输入向量和输出向量的维数由问题直接决定，而层数和各层神经元的个数则与问题相关目前还很难确定它们与问题类型和规模的关系，隐藏层数及其神经元个数的增加不一定能够提高网络精度和表达能力。BP网一般都选二级网络。BP网络训练过程1、样本集（输入向量，理想输出向量）--实际系统采集2、向前传播阶段(1)从样本集中取一个样本(Xp，Yp)，将Xp输入网络；(2)计算相应的实际输出Op；3、向后传播阶段(1)计算实际输出Op与理想输出Yp的差；(2)根据这个误差，按极小化误差方式调整权矩阵；精度要求控制1、网络关于第p个样本的误差测度为：Ep=(ypj-opj)2/22、网络整个样本集的误差测度为：E=Ep误差传播分析----输出层权的调整ANp是输出层第q个神经元，wpq是其前导层第p神经元到ANp的联结权。ANpANq第n-1层第n层wpq取wpq=wpq+wpq根据Delta法则，有wpq=op按照梯度下降法，有=f’n(netq)(yp-oq)=oq(1-oq)(yp-oq)即有wpq=oq(1-oq)(yp-oq)op误差传播分析----隐藏层权调整的困难ANpANq第k-1层第k层wp2ANh第k-2层…vhpwp1wpm1k2kmkPk-1问题：由于无法知道隐藏层的理想输出，所以无法直接利用Delta法则计算Pk-1基本