人工神经网络第二部分201504感知机

1、人工神经网络数学模型及其应用之二 感知机东北大学软件学院 郝培锋 人工神经网络简单例程BP神经网络及结构BP神经网络的学习算法一个简单的BP神经网络例程一个简单的识别用神经网络 感知机简单的线性网络模型简单线性网络模型的学习线性阈值网络及其学习重要的神经网络BP神经网络 一、感知机网络 (Perceptron) 感 知 器 是 由 美 国 学 者 罗 森 布 拉 持（F.Rosenblatt）于1958年提出的一种神经网络模型，其重要贡献是提出了一种感知器的训练算法，并成功应用于模式分类问题。虽然，其局限性在于它只能解决线性可分的问题，但它仍然是一种十分重要的神经网络模型，在解决线性可分的问题

2、时，保持了运算速度快、性能可靠的优点；同时，理解感知器的工作原理，可以为我们更好地理解其它复杂的神经网络模型奠定基础。 感知器神经网络特点 阈值型传输函数 单层网络 只适于解决线性可分问题 感知器神经网络的学习 训练：权值和阈值的调整过程被称为“训练”。 学习：神经网络在训练的过程中，便学到了把输入空间影射到输出空间的能力，称之为神经网络的“学习”，调整权值和阈值的算法称之为学习规则或训练算法。 1.1 简单的分类例题 其中a, b是输入单元，c, d是隐单元，e是输出单元。单元的激活值规定取1或0，每个单元的输出函数都取为等价函数，即a=o。单元的net值是所有输入的加权和：net=wo 。

3、单元的激活函数采用阈值函数，阈值为0.01。即当单元的net值大于0.01时该单元的激活值取1，否则取0。dbcae+1+1+1+1-1-1 输入 输出 阈值 ( 0 0 ) 0 =0.01 ( 0 1 ) 1 ( 1 0 ) 1 ( 1 1 ) 0=0.01 =0.01 =0.01 简单的分类计算 1. 输入为(0, 0)时，oa=ob=0 netc = oaw wcaca + + obw wcbcb = 01+ 0(-(-1)= 0)= 0 netd = oaw wdada + + obw wdbdb = 0(-(-1) )+ 01= 0= 0 因为因为 netc0.01，netc 0.0

4、1，所以 ac=0，ad=0 得到oc=0, od=0。所以 nete = ocw wecec + + odw weded = 01 + 01 = 0= 0 因为因为 nete0.01 所以 oe=ae=0 即当输入为(0, 0)时，网络的输出为0。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 简单的分类计算 2. 网络输入为(0, 1)时，oa=0, ob=1 netc = oaw wcaca + + obw wcbcb = 01+1(-(-1)= -1)= -1 netd = oaw wdada + + obw wdbdb = 0(-(-1) )+ 11= 1= 1

5、 因为因为 netc 0.01 所以 oc= ac= 0, od= ad= 1。得 nete = ocw wecec + + odw weded = 01 + 11 = 10.01= 10.01 oe=ae=1 即当输入为(0, 1)时，网络的输出为1。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 1.2 例题总结 同样当网络输入为(1, 0)时，网络的输出为1。 当网络输入为(1, 1)时，网络的输出为0。 因此，神经网络完成了一个影射，起到了函数的作用。由于其中的机理不清楚，也称“黑箱”。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 “黑箱”

6、 或函数 F 输入 ( 0 0 ) ( 0 1 ) ( 1 0 ) ( 1 1 )输出 0 1 1 0二、简单的线性模型 模型结构： 1. 只有输入、输出单元； 2. 输出函数是等值函数； 3. 输入层与输出层全连接； 4. 单元的新激活值为neti； 5. 两层网络可代替多层网络；jbcaiWij 6. 输入模式(学习样本)为正交集合时，学习规则采用hebb规则： wij =aj ti 如果输入模式非正交集合，但是线性无关时，使用Delt学习规则进行学习： wij =(tiai) aj2.1 线性模型学习例程1 正交输入模式集 目标输出 P1: 1 0 0 0 1 P2: 0 1 0 02

7、P3: 0 0 1 0 1 P4: 0 0 0 1 4dbcaeW3W2W1W4 网络学习规则采用hebb规则：wij =aj ti 初始权重：W1 = W2 = W3 = W4 = 0学 习 率： = 0.50.5 判断网络学习的准确程度，利用目标值与实际输出误差指标函数：E = Sqrt(E = Sqrt(t(tieie-a-aieie) )2 2) ) 第一次学习 首先学习模式对(P1，t1e)。 w1=aa t1e =0.51(-1)=-0.5 w2=ab t1e =0.50 0(-1)=0 w3=ac t1e =0.50 0(-1)=0 w4=ad t1e =0.50 0(-1)=0

8、 相似的过程学习其它模式对得：dbcaeW3W2W1W4 w1=w3=w4=0 0，w2=ab t2e=0.521=1 w1=w2=w4=0 0，w3=ac t3e=0.511=0.5 w1=w2=w3=0 0，w4=ad t4e=0.514=2 因此，w1=-0.5，w2=1，w3=0.5，w4=2 新权重下网络输出：a1e=-0.5, a2e=1, a3e=0.5, a4e=2 目标值与网络输出误差：e=Sqrt(t(tieie-a-aieie) )2 2)=2.35 第二次学习 先学习模式对(P1，t1e)，得 w1=-0.5，w2=w3=w4=0 相似的过程学习其它模式对得： w1=w

9、3=w4=0 0，w2=1 w1=w2=w4=0 0，w3=0.5 w1=w2=w3=0 0，w4=2dbcaeW3W2W1W4 因此，w1=-1，w2=2，w3=1，w4=4 新权重下网络输出：a1e=-1, a2e=2, a3e=1, a4e=4 目标值与网络输出误差：E=Sqrt(t(tieie-a-aieie) )2 2)=0 结论：1. 训练后网络完成了模式对间的影射； 2. 定义的指标函数值为0，说明训练过程收敛； 3. 本次学习对样本有特殊要求(正交样本集合)。2.2 线性模型学习例程2 非正交输入模式集 目标输出 P1: 1 0 1 0 2 P2: 1 0 0 1 5 P3:

10、0 1 1 1 5 P4: 1 1 1 0 2dbcaeW3W2W1W4 网络学习规则采用hebb规则：wij =aj ti 随机置初始权重：W1 = W2 = W3 = W4 = 0置一个较小的学习率： = 0.50.5 判断网络学习的准确程度，利用目标值与实际输出误差指标函数：E = Sqrt(E = Sqrt(t(tieie-a-aieie) )2 2) ) 第一次学习 首先计算学习之前的网络误差： e=Sqrt(t(tieie-a-aieie) )2 2)=7.62 开始学习模式对(P1，t1e)。 w1=aa t1e =0.51(-2) =-1 w2=ab t1e =0.50 0(-

11、2) =0 w3=1，w4=0dbcaeW3W2W1W4 继续学习其它模式对，得第一次总的权重改变量 w1=-2.5, w2=3.5 w3=-0.5, w4=5 新权重 w1=-2.5, w2=3.5, w3=-0.5, w4=5 新权重下网络输出：a1e=-2, a2e=7.5, a3e=-9, a4e=-0.5 目标值与网络输出误差：e=Sqrt(t(tieie-a-aieie) )2 2)=4.95 第二次学习 同样的过程学习所有模式对(Pi, tie)。 w1=-2.5, w2=3.5, w3=-0.5, w4=5 所以有新权重 w1=-5, w2=7, w3=-1, w4=10 对应

12、的有: a1e=-4, a2e=15, a3e=-18, a4e=-1 其中 E=16.55dbcaeW3W2W1W4 表明网络误差E随着学习次数增加而增加，训练不收敛。 在同样的初始条件下，对模式对使用Delt学习规则： wij =(tiai)aj 初始权为0, 则 a1e=a2e=a3e=a4e=0 计算学习之前的网络误差： e=Sqrt(t(tieie-a-aieie) )2 2)=7.62 开始学习模式对(P1，t1e)。 w1=(t1ea1e)aa =0.5(-2-0) 1 =-1dbcaeW3W2W1W4 w2=(t1ea1e)ab=0.5(-2-0)0=0 同样的计算得： w3=

13、 1，w4=0 所以对第一个 模式对训练后新权重 w1=-1, w2=0, w3=1, w4=0 对第二个模式对(P2，t2e)进行训练时, 网络的 实际输出ae已经变化 a2e= a2i wi = 12.3 使用Delt算法进行网络训练 所以 w1=(t2ea2e)aa = 0.5(5-1)1 = -2 w2=(t2ea2e)ab = 0.5(5-1)0 = 0 w2 = 0, w2 = 2 对(P2，t2e)训练后新权重 w1=-3, w2=0, w3=1, w4=2dbcaeW3W2W1W4 同样的过程对模式对(P3，t3e)进行训练得权重为 w1=-3, w2=2, w3=-1, w4

14、=4 对(P4, t4e)进行训练得权重w1=-1, w2=4, w3=1, w4=4 新权重下Pi实际输出 a1e=-2, w2e=5, w3e=-7, w4e=-4 得四个样本第一次学习误差 Sqrt(t(tieie-a-aieie) )2 2)=2.83 注：注：附训练参考程序nnet1.mbcaW2W1 计算网络输出： P1:0w w1+ 0w w2=0 P2:0w w1+1w w2=1 P3:1w w1+ 0w w2=1 P4:1w w1+1w w2=0 推出矛盾式： w w2 = 1, w w1= 1, w w1+ w w2 = 02.4 线性网络模型不能解决的问题 XOR输入模式 目标输出 P1: 0 0 0 P2: 0 1 1 P3: 1 0