第5章 人工神经网络_反向传播算法.ppt

模式识别讲义第5章人工神经网络,黄可坤嘉应学院,反向传播算法,主要内容,1前馈神经网络基本概念2感知器3多层感知器4反向传播(BP)算法（重点，难点）5BP算法的步骤6计算实例（重点）7多层感知器的一些问题,1前馈神经网络基本概念,前馈神经网络(feedforwardNN)：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。前馈网络通常分为不同的层(layer)，第i层的输入只与第i-1层的输出联结。可见层：输入层(inputlayer)和输出层(outputlayer)隐层(hiddenlayer)：中间层.,2感知器,即单层神经网络。确定权值可用梯度下降算法：,对应于线性判别函数，只能用于解决线性可分问题。,3多层感知器,4反向传播(BP)算法,多层感知器的中间隐层不直接与外界连接，其误差无法估计.反向传播算法：从后向前（反向）逐层“传播”输出层的误差，以间接算出隐层误差。分两个阶段：正向过程：从输入层经隐层逐层正向计算各单元的输出反向过程：由输出层误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值.,4.1正向过程,4.2反向过程,权值修正:梯度下降法,4.2.1:输出层权值修正,对于sigmoid函数:,若是输出层:,4.2.2:隐层权值修正,若不是输出层:,后层的全部单元都受nj的影响,初始权值前向计算，求出所有神经元的输出对输出层计算从后向前计算各隐层计算并保存各权值修正量：修正权值：判断是否收敛，如果收敛则结束，不收敛则转至Step2,5BP算法的步骤,6计算实例,有两类的二维数据，其中第一类的两个样本为(0,0)t和(1,1)t，第二类的两个样本为(0,1)t和(1,0)t。用神经网络进行分类，设中间隐层有两个单元，如果是第一类则输出1，第二类则输出0，初始权值全部为1，利用反向传播算法对权值进行修正，达到分类目的。,w11,w12,w21,w22,对样本(0,0)，前向计算，求出所有神经元的输出。第(1)层：n1=0*1+0*1=0;a1=f(n1)=1/(1+e-0)=0.5;n2=0*1+0*1=0;a2=f(n2)=0.5;第(2)层：n=0.5*1+0.5*1=1;a=f(n)=1/(1+e-1)=0.73;,0,0,对输出层计算s=-(1-0.73)*0.73*(1-0.73)=-0.053;从后向前计算各隐层s1=0.5*(1-0.5)*1*(-0.053)=-0.0133;s2=-0.5*(1-0.5)*1*(-0.053)=-0.0133;修正权值：第(1)层：w11=1+1*0.0133*0=1;w12=1+0=1;w21=1+1*0.0133*0=1;w22=1+0=1;第(2)层：w11=1+1*0.053*0.5=1.0265w21=1+1*0.053*0.5=1.0265,a1=0.5,a2=0.5,a=0.73,0,0,w11,w12,w21,w22,重复：对样本(0,0)，前向计算，求出所有神经元的输出第(1)层：n1=0*1+0*1=0;a1=f(n1)=1/(1+e-0)=0.5;n2=0*1+0*1=0;a2=f(n2)=0.5;第(2)层：n=0.5*1.0265+0.5*1.0265=1.0265;a=f(n)=1/(1+e-1.0265)=0.743;,0,0,7多层感知器的一些问题,两层感知器可以逼近任意的多元非线性函数。输入层单元数=输入变量或特征维数。输出层单元数=待逼近的函数个数或模式类数。隐层单元数：无有效方法。问题越复杂，需要的隐层单元数越多。隐层单元数过多会导致过学习，推广能力变差。多层网络的权值初始化对结果有影响，若初始值相同，结果权值不能出现差异。故通常用较小的随机数作为初始权值。学习率的选择:通常可在0.13之间试探。,作业,有两类的二维数据，其中第一类的两个样本为(0,0)t和(1,1)t，第二类的两个样本为(0,1)t和(1,0)t。用神经网络进行分类