没有幻灯片标题 - 暨南大学

1、13 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.1感知器模型感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xn23 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.1感知器模型感知器模型j=1,2, ,m Tni,.,x,.x,xx)(21XTmi,.,o,.o,oo)(21OTnjijjjj,.,w,.w,ww)(21W33 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.1感知器模型感知器模型净输入：净输入：niiijjmjxwnet1,.,2 , 1(3.1)输出：输出：)()()(XWTjn0iiijjjjsgnxwsgnTnet

2、sgno(3.2)ojx1-1xn43 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.2感知器的功能感知器的功能(1)设输入向量设输入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j输出：输出：则由方程则由方程 w1jx1+w2jx2-Tj=0 (3.3)确定了二维平面上的一条分界线。确定了二维平面上的一条分界线。ojx1-1x2单计算节点感知器单计算节点感知器53 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.2感知器的功能感知器的功能 x1 * * * * O * * O * * O O * O x2 * * O O O O63

3、 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.2感知器的功能感知器的功能(2)设输入向量设输入向量X=(x1,x2,x3)T0101332211332211jjjjjjjjjTxwxwxwTxwxwxwo输出：输出：则由方程则由方程 w1jx1+w2jx2+w3j x3Tj=0 (3.4) 确定了三维空间上的一个分界平面确定了三维空间上的一个分界平面。 x2ojx1x3-17 x1 * * * * O * * O * * O O * O x2 * * O O O x33 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.2感知器的功能感知器的功能83 前馈神经网络前馈神经

4、网络3.1单层感知器单层感知器3.1.2感知器的功能感知器的功能(3) 设输入向量设输入向量X=(x1，x2,，xn)T则由方程则由方程 w1jx1+w2jx2+wnj xnTj=0 (3.6) 确定了确定了n维空间上的一个分界平面。维空间上的一个分界平面。 输出：输出：sgn(w1jx1+w2jx2+wnjxn Tj) (3.5)93 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.2感知器的功能感知器的功能 一个最简单的单计算节点感知器具有分类功一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权能。其分类原理是将分类知识存储于感知器的权向量（包含了阈

5、值）中，由权向量确定的分类判向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。决界面将输入模式分为两类。10例一例一 用感知器实现逻辑用感知器实现逻辑“与与”功能。功能。x1x2y000010100111逻辑逻辑“与与”真值真值表表感知器结构感知器结构 x1 0.5 0.5 y x2 0.75 -1w1x1+w2x2 -T=0 0.5x1+0.5x2-0.75=011例一例一 用感知器实现逻辑用感知器实现逻辑“与与”功能。功能。 x1 O O O x212例二例二 用感知器实现逻辑用感知器实现逻辑“或或”功能。功能。x1x2y000011101111逻辑逻辑“或或”真值表真值

6、表感知器结构感知器结构 x1 1 1 y x2 0.5 -1w1x1+w2x2 -T=0 x1+x2-0.5=013例二例二 用感知器实现逻辑用感知器实现逻辑“或或”功能。功能。 x1 O x2143 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.3感知器的局限性感知器的局限性问题：能否用感知器实现问题：能否用感知器实现“异或异或”功能？功能？“异或异或”的真值表的真值表x1x2y000011101110 x1 O O x2153 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.4感知器的学习算法感知器的学习算法感知器学习规则的训练步骤：感知器学习规则的训练步骤：(1)

7、对各权值对各权值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m为计算层的节点数）赋予较小的非零随机数；为计算层的节点数）赋予较小的非零随机数；(2) 输入样本对输入样本对Xp,dp，其中，其中Xp=(-1,x1p,x2p,x,xn np p)， dp为期望的输出向量（教师信号），上标为期望的输出向量（教师信号），上标p代表代表 样本对的模式序号，设样本集中的样本总数为样本对的模式序号，设样本集中的样本总数为P， 则则p=1,2,P,P；163 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.4感知器的学习算法感知器的学习算法感知器学习规则的训练步骤：感知器学习规则的

8、训练步骤：(3)计算各节点的实际输出计算各节点的实际输出 ojp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)调整各节点对应的权值，调整各节点对应的权值，Wj(t+1)= Wj(t)+djp-ojp(t)Xp, j=1, 2,m, 其中为学习率，用于控制调整速度，太大其中为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢，会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取一般取0 011；(5)返回到步骤返回到步骤(2)输入下一对样本，周而复始直到对所有输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。样本，感知器的实际

9、输出与期望输出相等。173 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.4感知器的学习算法感知器的学习算法例三例三 单计算节点感知器，单计算节点感知器，3个输入。给定个输入。给定3对训练样本对对训练样本对如下：如下：X1 = (-1，1，-2，0)T d1 = 1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 设初始权向量设初始权向量W(0)=(0.5,1,-1,0)T，=0.1=0.1。注意，输入注意，输入向量中第一个分量向量中第一个分量 x0 恒等于恒等于-1，权向量中第一个分量为阈值，权向量中第一个分量为阈值，试根

10、据以上学习规则训练该感知器。试根据以上学习规则训练该感知器。183 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.4感知器的学习算法感知器的学习算法解：第一步解：第一步 输入输入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T193 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.4感知器的学习算法感知器的学习算法第二步第二步 输入输入X2，得，

11、得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T= -1.6 o2(1)=sgn(-1.6)= -1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于由于d2= o2(1)，所以，所以W(2)= W(1)。203 前馈神经网络前馈神经网络3.1单层感知器单层感知器3.1.4感知器的学习算法感知器的学习算法第三步第三步 输入输入X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T= -2.1

12、O3(2)=sgn(-2.1)= -1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，继续训练直到返回到第一步，继续训练直到 d p- o p = 0，p=1,2,3。213 前馈神经网络前馈神经网络3.2多层感知器多层感知器 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类例四例四 用两计算层感知器解用两计算层感知器解决

13、决“异或异或”问题。问题。“异或异或”的真值表的真值表x1x2y1y2o001011100111223 前馈神经网络前馈神经网络3.2多层感知器多层感知器 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类例四例四 用两计算层感知器解用两计算层感知器解决决“异或异或”问题。问题。“异或异或”的真值表的真值表x1x2y1y2o001010101111233 前馈神经网络前馈神经网络3.2多层感知器多层感知器 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12

14、 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类例四例四 用两计算层感知器解用两计算层感知器解决决“异或异或”问题。问题。“异或异或”的真值表的真值表x1x2y1y2o0011011010011111243 前馈神经网络前馈神经网络3.2多层感知器多层感知器 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分类问题分类例四例四 用两计算层感知器解用两计算层感知器解决决“异或异或”问题。问题。“异或异或”的真值表的真值表x1x2y1y2

15、o00110011011001111110253 前馈神经网络前馈神经网络3.2多层感知器多层感知器 (a)开域 (b)闭域 263 前馈神经网络前馈神经网络3.2多层感知器多层感知器具有不同隐层数的感知器的分类能力对比具有不同隐层数的感知器的分类能力对比 感知器结构 异或问题 复杂问题 判决域形状 判决域 无隐层 半平面 单隐层 凸 域 双隐层 任意复杂 形状域273 前馈神经网络前馈神经网络3.4误差反传（误差反传（BP）算法）算法3.4.1 基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型 o1 ok ol W1 Wk Wl y1 y2 yj ym V1 Vm x1 x2 xi

16、xn-1 xn283 前馈神经网络前馈神经网络3.4误差反传（误差反传（BP）算法）算法3.4.1 基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型输入向量：输入向量： X=(x1,x2,xi,xn)T隐层输出向量：隐层输出向量： Y=(y1,y2,yj,ym)T输出层输出向量：输出层输出向量： O=(o1,o2,ok,ol)T期望输出向量：期望输出向量：d=(d1, d2,dk,dl)T输入层到隐层之间的权值矩阵：输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)293 前馈神经网络前馈神经

17、网络3.4误差反传（误差反传（BP）算法）算法3.4.1 基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型)(kknetfo对于输出层：对于输出层：k=1,2,l (3.4.1)m0jjjkkywnetk=1,2,l (3.4.2)对于隐层：对于隐层：j=1,2,m (3.4.3)j=1,2,m (3.4.4)(jjnetfyn0iiijjxvnet303 前馈神经网络前馈神经网络3.4误差反传（误差反传（BP）算法）算法3.4.1 基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型双极性双极性Sigmoid函数：函数：xxe1e1xf)(单极性单极性Sigmoid函数：函数：x

18、e11xf)(3.4.5)313 前馈神经网络前馈神经网络3.4误差反传（误差反传（BP）算法）算法3.4.2 BP学习算法学习算法一、网络误差一、网络误差 定义与权值调整思路定义与权值调整思路输出误差输出误差E定义：定义：(3.4.6)221E)(Od l1k2kkod21)(将以上误差定义式展开至隐层：将以上误差定义式展开至隐层：l1k2kknetfd21E)(l1k2m0jjjkkywfd21)(3.4.7)323 前馈神经网络前馈神经网络3.4误差反传（误差反传（BP）算法）算法3.4.2 BP学习算法学习算法一、网络误差与权值调整一、网络误差与权值调整进一步展开至输入层：进一步展开至

19、输入层：l1k2m0jjjkknetfwfd21E)(l1k2m0jn0iiijjkkxvfwfd21)(3.4.8)333 前馈神经网络前馈神经网络3.4误差反传（误差反传（BP）算法）算法3.4.2 BP学习算法学习算法jkjkwEwj=0,1,2,m; k=1,2,l (3.4.9a)ijijvEvi=0,1,2,n; j=1,2,m (3.4.9b)式中负号表示梯度下降，常数式中负号表示梯度下降，常数(0,1)表示比例系数。表示比例系数。在全部推导过程中，对输出层有在全部推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有对隐层有 i=0,1,2,n; j=1,2,m3

20、43.4.2 BP学习算法学习算法二、二、BP算法推导算法推导对于输出层，式对于输出层，式(3.4.9a)可写为可写为jkkkjkjkwnetnetEwEw(3.4.10a)对隐层，式对隐层，式(3.4.9b)可写为可写为(3.4.10b)ijjjijijvnetnetEvEv对输出层和隐层各定义一个误差信号，令对输出层和隐层各定义一个误差信号，令 koknetE(3.4.11a)jyjnetE(3.4.11b)yjxi35综合应用式综合应用式(3.4.2)和和(3.4.11a)，可将式，可将式 (3.4.10a)的权值的权值调整式改写为调整式改写为综合应用式综合应用式(3.4.4)和和(3.

21、4.11b)，可将式，可将式 (3.4.10b)的权值的权值调整式改写为调整式改写为(3.4.12a)jokjkyw（3.4.12b)iyjijxv可以看出，只要计算出式可以看出，只要计算出式(3.4.12)中的误差信号中的误差信号 o和和 y，权值调整量的计算推导即可完成。下面继续推导如何权值调整量的计算推导即可完成。下面继续推导如何求求误差信号误差信号 o和和 y 。36对于输出层，对于输出层， o可展开为可展开为对于隐层，对于隐层， y可展开为可展开为下面求式下面求式(3.4.13)中网络误差对各层输出的偏导。中网络误差对各层输出的偏导。(3.4.13a)( kkkkkkoknetfoEnetooEnetE