感知器学习规则

人工神经网络基础,感知器学习规则,主讲：周常欣,人工神经网络基础,目录,生物学的神经网络数字神经网络感知器模拟神经元感知器学习规则从感知器到多层神经网络,人工神经网络基础,人工神经网络基础,1.4.1感知器的训练,1.4感知器学习规则,如果一个单层感知器神经网络可以表示一个具有线性可分性函数，那么接下来的问题是如何找到合适的权值和阈值，使感知器输出、输入之间满足这样的函数关系。不断调整权值和阈值的过程称为“训练”。,神经网络在训练的过程中，其具有把输入空间映射到输出空间的能力，这种过程称为神经网络的“学习”。,人工神经网络基础,感知器学习是一种有教师学习方式，其学习规则为规则。,t表示目标输出，a表示实际输出，则：,e=t-a(1.4.1),网络训练的目的就是要使ta,1.4感知器学习规则,人工神经网络基础,当e=0时，得到最优的网络权值和阈值；当e0时，说明得到的实际输出小于目标输出，应增加网络权值和阈值；当e0时，说明得到的实际输出大于目标输出，应减小网络权值和阈值。,一般感知器的传输函数为阈值型函数，网络的输出a只可能为0或1，所以，只要网络表达式的函数是线性可分的，则函数经过有限次迭代后，将收敛到正确的权值和阈值，使得e=0。,从规则中可以看出，感知器神经网络的训练需要提供训练样本集，每个样本由神经网络的输入向量和输出向量构成，n个训练样本构成的训练样本集为：,1.4感知器学习规则,人工神经网络基础,p1,t1，p2,t2，pn,tn(1.4.2)权值阈值调整算W(k+1)=W(k)+epT(1.4.3)b(k+1)=b(k)+e(1.4.4)式中：e误差向量，e=t-a；W权值向量；b阈值向量；p输入向量；k表示第k步学习过程。,1.4感知器学习规则,人工神经网络基础,输入向量的取值范围很大，一些输入的值太大，而一些输入的值太小，则按照：学习时间会很长。为了解决这一问题，权值调整可以采用归一化算法，即：,（1.4.6）,（1.4.7）,（1.4.5）,式中n输入向量元素的个数,1.4感知器学习规则,人工神经网络基础,训练是不断学习的过程。单层感知器网络只能解决线性可分的分类问题，所以要求网络输入模式是线性可分的。在这种情况下，上述学习过程反复进行，通过有限步骤，网络的实际输出与期望输出的误差减小到零时完成训练过程。,例1.4.1试用单个感知器神经元完成下列分类，写出其训练的迭代过程，画出最终的分类示意图。已知：,p1=22T，t1=0p2=1-2T，t2=1p3=-22T，t3=0p4=-10T，t4=1,解：据题意，神经元有两个输入量，传输函数为阈值型函数。图1.4.1所示感知器神经元结构。,1.4感知器学习规则,人工神经网络基础,图1.4.1感知器神经元结构,（1）初始化：W(0)=00,b(0)=0,（2）第一次迭代：,a=f(n)=fW(0)p1+b(0)=f(0022T+0)=f(0)=1,e=t1-a=0-1=-1,因为输出a不等于目标值t1，所以需要调整权值和阈值。,1.4感知器学习规则,人工神经网络基础,（3）第二次迭代：以第二个输入样本作为输入向量，以调整后的权值和阈值进行计算。,因为输出a等于目标t2，所以不需要调整权值和阈值。,a=f(n)=fW(1)p2+b(1)=f(-2-21-2T+(-1)=f(1)=1e=t2-a=1-1=0,W(2)=W(1)=-2-2b(2)=b(1)=-1,（4）第三次迭代：以第三个输入样本作为输入向量，以w(2)，b(2)进行计算：,1.4感知器学习规则,人工神经网络基础,a=f(n)=fW(2)p3+b(2)=f(-2-2-2-2T+(-1)=f(-1)=0e=t3-a=0-0=0,因为输出a等于目标t3，所以不需要调整权值和阈值。,W(3)=W(2)=-2-2b(3)=b(2)=-1,（5）第四次迭代：以第四个输入样本作为输入向量，以W(3)，b(3)进行计算：,1.4感知器学习规则,人工神经网络基础,a=f(n)=fW(3)p4+b(3)=f(-2-2-10T+(-1)=f(11)=1e=t4-a=1-1=0,因为输出a等于目标值t4，所以无需调整权值和阈值。,W(4)=W(3)=-2-2b(4)=b(3)=-1,（6）以后各次迭代又从以第一个输入样本开始，作为输入向量，以前一次的权值和阈值进行计算，直到调整后的权值和阈值对所有的输入样本，其输出的误差为0为止。,1.4感知器学习规则,人工神经网络基础,从以上各个步骤可以看出：W=-2-2，b=-1对所有的输