matlab人工神经网络学习教案

1、会计学1matlab人工神经网络人工神经网络第一页，共49页。3、BP神经网络神经网络4、BP神经网络在实例神经网络在实例(shl)中的应用中的应用1、引例、引例(yn l)第1页/共48页第二页，共49页。1981年生物学家格若根（年生物学家格若根（W Grogan）和维什（）和维什（WWirth）发现了两类蚊子发现了两类蚊子(或飞蠓或飞蠓midges)他们测量了这两类蚊子每个个他们测量了这两类蚊子每个个体的翼长和触角体的翼长和触角(chjio)长，数据如下：长，数据如下：翼长 触角(chjio)长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70

2、 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af第2页/共48页第三页，共49页。解法(ji f)一： 把翼长作纵坐标，触角长作横坐标；那么每个蚊子(wn zi)的翼长和触角决定了坐标平面的一个点.其中 6个蚊子(wn zi)属于 APf类；用黑点“”表示；9个蚊子(wn zi)属 Af类；用小圆圈“。”表示得到的结果见图1 第3

3、页/共48页第四页，共49页。图1 飞蠓的触角(chjio)长和翼长 第4页/共48页第五页，共49页。例如；取A（，）和 B，1.16)，过A B两点作一条直线(zhxin)： y ，其中X表示触角长；y表示翼长 分类规则：设一个蚊子(wn zi)的数据为（x, y）, 如果y，则判断蚊子(wn zi)属Apf类； 如果y；则判断蚊子(wn zi)属Af类 第5页/共48页第六页，共49页。图2 分类(fn li)直线图 第6页/共48页第七页，共49页。若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类(fn li)直线变为 分类结果(ji gu)变为： (1.24,1.

4、80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 哪一分类直线才是正确的呢？ 因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线第7页/共48页第八页，共49页。新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究(ynji)输入与输出的关系。第8页/共48页第九页，共49页。2.1 人工神经网络概述人工神经网络概述(i sh)第9页/共48页第十页，共49页。第10页/共48页第十一页，共49页。第11页/共48页第十二页，共49页。第12页/共48页第十三页，共49页。 图1 神经元的解剖图

5、第13页/共48页第十四页，共49页。第14页/共48页第十五页，共49页。第15页/共48页第十六页，共49页。图图2 2 人工人工(rngng)(rngng)神经元（感知器）神经元（感知器）示意图示意图 第16页/共48页第十七页，共49页。其中其中(qzhng) 为阈值，为阈值， 为从神经元为从神经元i到到神经元神经元j的连接权重因子，的连接权重因子，f( )为传递函数，或为传递函数，或称激励函数。称激励函数。ixjy)(1jjjmiiijjsfyxwsjijw第17页/共48页第十八页，共49页。miiixwz1. 0, 0, 0, 1)sgn(xxx第18页/共48页第十九页，共49

6、页。miiimiiixwxwzfy11, 0, 1)(,11)(xexf; 1)(0 xf第19页/共48页第二十页，共49页。第20页/共48页第二十一页，共49页。BP神经网络是一种多层前馈神经网络，该网络的主要特神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传递。在前向传递中，输点是信号前向传递，误差反向传递。在前向传递中，输入信号从输入层经隐入信号从输入层经隐 含层逐层处理，直至含层逐层处理，直至(zhzh)输出层。输出层。每一层的神经元状态只影响下一层神经元状态。如果输每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预

7、测误差出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阀值，从而使调整网络权值和阀值，从而使BP神经网络预测输出不断神经网络预测输出不断逼近期望输出。逼近期望输出。第21页/共48页第二十二页，共49页。第22页/共48页第二十三页，共49页。3.3 BP神经网络模型神经网络模型(mxng)结构结构 BP神经元模型神经元模型(mxng) 第23页/共48页第二十四页，共49页。 上图给出一个基本的BP神经元模型，它具有R个输入，每个输入都通过一个适当的权值w和上一层相连，网络输出可表示为： a=f (w*p+b)f就是表示输入/输出关系的传递函数。BP网络中隐层神经元的传递函数通

8、常用log-sigmoid型函数logsig()、tan-sigmoid型函数tansig()以及纯线性函数purelin()。 如果BP网络的最后一层是sigmoid型神经元，那么整个(zhngg)网络的输出就限制在一个较小的范围内；如果BP网络的最后一层是purelin型线性神经元，那么整个(zhngg)网络的输出可以取任意值。 下图(上半部) 是一个典型的BP网络(wnglu)结构。具有S个神经元，R个输入和S个输出，神经元采用S型传递函数logsig() 。可见，就单层网络(wnglu)而言，除传递函数不同外，与前面所介绍的感知器和线性神经网络(wnglu)没有什么不同。第24页/共4

9、8页第二十五页，共49页。第25页/共48页第二十六页，共49页。 上图(下半部) 是一个典型两层BP网络 (一个隐层和一个输出层)。前馈型网络通常有一个或多个隐层，隐层中的神经元均采用S型传递函数，输出层的神经采用线性传递函数。隐层的非线性传递函数神经元可以学习输入输出之间的线性和非线性关系，线性输出层是为了拓宽网络输出。如果需要限定网络输出(例如(lr)约束在0和1之间)，则可以采用S型传递函数(例如(lr)logsig()。 第26页/共48页第二十七页，共49页。 3.4 BP神经网络的训练神经网络的训练(xnlin)过程过程 BP神经神经(shnjng)网络拓扑结构图网络拓扑结构图第

10、27页/共48页第二十八页，共49页。第28页/共48页第二十九页，共49页。第29页/共48页第三十页，共49页。 最新版本的神经网络工具箱几乎涵盖了所有的神经网络最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和的基本常用模型，如感知器和BP网络等。对于各种不同的网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大供了极大(j d)的方便。的方便。Matlab R2007神经网络工具箱中包神经网络工具箱中包含了许多用于含了许多用于BP网络分析与设计的函数，网络分析与设计的函数，BP网络

11、的常用函网络的常用函数如表数如表1所示。所示。第30页/共48页第三十一页，共49页。表表1 BP网络网络(wnglu)的常用函数表的常用函数表函数类型函数类型函数名称函数名称函数用途函数用途前向网络创建函数前向网络创建函数newcf创建级联前向网络创建级联前向网络Newff创建前向创建前向BP网络网络传递函数传递函数logsigS型的对数函数型的对数函数tansigS型的正切函数型的正切函数purelin纯线性函数纯线性函数 学习函数学习函数learngd基于梯度下降法的学习函数基于梯度下降法的学习函数learngdm梯度下降动量学习函数梯度下降动量学习函数性能函数性能函数 mse均方误差函

12、数均方误差函数msereg均方误差规范化函数均方误差规范化函数 显示函数显示函数plotperf绘制网络的性能绘制网络的性能plotes绘制一个单独神经元的误差曲面绘制一个单独神经元的误差曲面plotep绘制权值和阈值在误差曲面上的位置绘制权值和阈值在误差曲面上的位置errsurf计算单个神经元的误差曲面计算单个神经元的误差曲面第31页/共48页第三十二页，共49页。第32页/共48页第三十三页，共49页。第33页/共48页第三十四页，共49页。第34页/共48页第三十五页，共49页。第35页/共48页第三十六页，共49页。第36页/共48页第三十七页，共49页。Matlab运行运行(ynxn

13、g)第37页/共48页第三十八页，共49页。节点与函数逼近能力之间的关节点与函数逼近能力之间的关系。系。3.6.1 问题问题(wnt)的提出的提出第38页/共48页第三十九页，共49页。Matlab实现实现(shxin)第39页/共48页第四十页，共49页。n=3;net = newff(minmax(p),n,1,tansig purelin,trainlm);对于初始网络，可以应用对于初始网络，可以应用sim（）函数（）函数(hnsh)观察网络输出。观察网络输出。y1=sim(net,p);figure;plot(p,t,-,p,y1,:)title(未训练网络的输出结果未训练网络的输出结

14、果);xlabel(时间时间);ylabel(仿真输出仿真输出-原函数原函数(hnsh)-);Matlab实现实现(shxin)第40页/共48页第四十一页，共49页。第41页/共48页第四十二页，共49页。=50; (网络训练时间设置为网络训练时间设置为50)=0.01;（网络训练精度设置为）（网络训练精度设置为）net=train(net,p,t);（开始训练网络）（开始训练网络）从以上结果从以上结果(ji gu)可以看出，网络训练速度很快，经过一次循环跌送过可以看出，网络训练速度很快，经过一次循环跌送过程就达到了要求的精度。程就达到了要求的精度。第42页/共48页第四十三页，共49页。M

15、atlab实现实现(shxin)训练训练(xnlin)过程输出图过程输出图第43页/共48页第四十四页，共49页。步骤步骤4： 网络测试网络测试对于对于(duy)训练好的网络进行仿真：训练好的网络进行仿真：y2=sim(net,p);figure;plot(p,t,-,p,y1,:,p,y2, -)title(训练后网络的输出结果训练后网络的输出结果);xlabel(时间时间);ylabel(仿真输出仿真输出);绘制网络输出曲线，并与原始非线性函数曲线以及未训练网络绘制网络输出曲线，并与原始非线性函数曲线以及未训练网络的输出结果曲线相比较，比较出来的结果如图所示。的输出结果曲线相比较，比较出来

16、的结果如图所示。Matlab实现实现(shxin)第44页/共48页第四十五页，共49页。从图中可以看出，得到从图中可以看出，得到的曲线和原始的非线性函的曲线和原始的非线性函数数(hnsh)曲线很接近曲线很接近。这说明经过训练后，。这说明经过训练后，BP网络对 非 线 性 函 数网络对 非 线 性 函 数(hnsh)的逼近效果比的逼近效果比较好。较好。训练训练(xnlin)后网络的输出结果图后网络的输出结果图 第45页/共48页第四十六页，共49页。当当n=3时训练后网络时训练后网络(wnglu)的输出结果的输出结果 当当n=6时训练后网络的输出时训练后网络的输出(shch)结果结果 第46页/共48页第四十七页，共49页。例例3： BP网络在样本含量网络在样本含量(hnlin