Matlab神经网络工具箱.ppt

1、MATLAB神经网络工具箱,人工神经网络的特点,人工神经网络的应用,ANN本质上可以理解为函数逼近，可以应用到众多领域。,生物神经元,生物神经网络：Biological Neural Network (BNN) 神经元：neuron 神经元经突触传递信号给其他神经元（胞体或树突） 1011个神经元/人脑 104个连接/神经元,神经元,一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另一方面, ANN对处理大量原始数据而不

2、能用规则或公式描述的问题, 表现出极大的灵活性和自适应性。,生物神经元,人工神经元,Neuron Model： 多输入，单输出，带偏置,R个输入piR，即R维输入矢量p n: net input, n=wp+b。 R个权值wiR，即R维权向量w 阈值b 输出a=f(n), f: transfer function 激励函数或传递函数,常用激励函数(传递函数）,a,Wp,-b,1,-1,阈值函数,线性激励函数,Purelin Transfer Function ：,Sigmoid函数,Sigmoid Function ： 特性： 值域a(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线

3、性函数 |n|较大时可近似阈值函数,ANN 结构 (连接),单层前向网络,多层前向网络,Hidden Layer,单层 反馈网络,多层反馈网络,神经网络的学习方法,神经网络的学习(learning) ：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练(training) 学习方式： 监督学习(supervised learning)或有导师学习 非监督学习(unsupervised learning)或无导师学习 强化学习（reinforcement learning) 学习规则(learning rule)： Hebb学习算法 误差纠正学习算法 竞争学习

4、算法,监督学习,对训练样本集中的每一组输入能提供一组目标输出 网络根据目标输出与实际输出的误差信号来调节网络参数,导师,神经网络,比较,环境,实际输出,输入,期望输出,误差信号,p(n),t(n),a(n),e(n),非监督学习与强化学习,非监督学习：不存在导师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性 强化学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能,第八章 人工神经网络,19,误差纠正学习,对于输出层第k个神经元的实际输出: ak(n)目标输出: tk(n) 误差信号: ek(n) = tk(n) - ak(

5、n)目标函数为基于误差信号ek(n)的函数，如误差平方和判据(sum squared error, SSE)，或均方误差判据(mean squared error, MSE, 即SSE对所有样本的期望),误差纠正学习,梯度下降法：,对于感知器和线性网络：,delta学习规则,对于多层感知器网络：扩展的delta学习规则，BP算法,前馈神经网络及其主要方法,前馈神经网络(feed forward NN)：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。 前馈网络通常分为不同的层(layer)，第i层的输入只与第i-1层的输出联结。 可见层：输入层(input layer)和输

6、出层(output layer) 隐层(hidden layer) ：中间层,前馈网络,训练一个单层感知器,Training Set,Goal:,感知器学习规则,感知器学习规则,BP神经网络,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J. McClelland,David Rumelhart,BP神经网络的特点,非线性映射能力 能学习和存贮大量输入-输出

7、模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络训练时输入未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,BP神经网络模型,是一种多层前馈神经网络,BP神经网络模型,激励函数 必须处处可导 一般都使用S型函数 使用S型激励函数时BP网络输入与输出关系 输入 输出,BP网络的标准学习算法,学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接

8、权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,BP网络的标准学习算法-算法思想,学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,BP网络的标准学习算法-学习过程,正向传播： 输入样本输入层各隐层输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（导师信号）不符 误差反传 误差以某种形式在各层表示修正各层单元的权值

9、 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止,径向基函数网络RBF,径向基函数网络：只有一个隐层，隐层单元采用径向基函数。隐层把原始的非线性可分的特征空间变换到另一个空间（通常是高维空间），使之可以线性可分。 输出为隐层的线性加权求和。采用基函数的加权和来实现对函数的逼近。 径向基函数(radial basis function, RBF)：径向对称的标量函数k(|x-xc|)，最常用的RBF是高斯核函数,径向基函数网络结构,MATLAB神经网络工具箱,神经元模型,Neuron Model： 多输入，单输出，带偏置,输入:R维列向量,权值:R维行向量,阈值:标量,求和单元,

10、传递函数,输出,常用传递函数,a,Wp,-b,1,-1,阈值函数,MATLAB函数: hardlim,MATLAB函数: hardlims,线性函数,Purelin Transfer Function ：,MATLAB函数: purelin,Sigmoid函数,Sigmoid Function ： 特性： 值域a(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性函数 |n|较大时可近似阈值函数,MATLAB函数: logsig(对数), tansig(正切),对数Sigmoid函数,正切Sigmoid函数,单层神经网络模型,R维输入, S个神经元的单层神经网络模型,多层神经网络模型

11、,多层神经网络简化表示,前馈神经网络,前馈神经网络(feed forward NN)：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。 前馈网络通常分为不同的层(layer)，第i层的输入只与第i-1层的输出联结。 可见层：输入层(input layer)和输出层(output layer) 隐藏层(hidden layer) ：中间层,感知器(perceptron):,单层前馈网络 传递函数为阈值函数,主要功能是模式分类,感知器的生成,函数newp用来生成一个感知器神经网络,net = newp( pr, s, tf, lf ),net: 函数返回参数,表示生成的感知器网

12、络 pr: 一个R2矩阵, 由R维输入向量的每维最小值和最 大值组成 s: 神经元的个数 tf: 感知器的传递函数, 默认为hardlim, 可选hardlims lf: 感知器的学习函数,默认为learnp, 可选learnpn,net = newp(-2,+2;-2,+2,2) %生成一个二维输入,两个神经元的感知器,newp,感知器的权值和阈值初始化,newp默认权值和阈值为零(零初始化函数initzero).,net = newp(-2,+2;-2,+2,2);,W=net.IW1,1 %显示网络的权值,b=net.b1 %显示网络的阈值,W = 0 0 0 0,b = 0 0,改变默

13、认初始化函数为随机函数rands,net.inputweights1,1.InitFcn = rands;,net.biases1.InitFcn = rands;,net =init(net); %重新初始化,直接初始化定义权值和阈值,net.IW1,1=1 2; net.b1=1,感知器学习,感知器学习算法,权值增量:,阈值增量:,权值更新:,阈值更新:,算法改进,输入样本归一化,权值和阈值训练与学习函数,train,net=train(net, P, T),设计好的感知器并不能马上投入使用. 通过样本训练, 确定感知器的权值和阈值.,输入向量,目标向量,被训练网络,net.trainPa

14、ram.epochs=10 ; %预定的最大训练次数为10, 感知器经过最多训练10次后停止,adapt,net=adapt(net, P, T),自适应训练函数,权值和阈值学习函数,learnp,dW=learnp(W,P,Z,N,A,T,E,D,gW,gA,LP,LS),dW:权值或阈值的增量矩阵,W:权值矩阵或阈值向量,P:输入向量,T:目标向量,E:误差向量,其他可以忽略,设为 ,learnpn,归一化学习函数,网络仿真函数,sim,a = sim(net, P),输入向量,网络输出,分类结果显示绘图函数,plotpv,plotpv(P,T),plotpc,plotpc(W,b),画输

15、入向量的图像,画分类线,根据给定的样本输入向量P和目标向量T, 以及需分类的向量组Q, 创建一个感知器, 对其进行分类.,例: 创建一个感知器,P=-0.5 -0.6 0.7;0.8 0 0.1; %已知样本输入向量 T=1 1 0; %已知样本目标向量 net=newp(-1 1;-1 1,1); %创建感知器 handle=plotpc(net.iw1,net.b1); %返回划线的句柄 net.trainParam.epochs=10; % 设置训练最大次数 net=train(net,P,T); %训练网络 Q=0.6 0.9 -0.1;-0.1 -0.5 0.5; %已知待分类向量

16、Y=sim(net,Q); %二元分类仿真结果 figure; %新建图形窗口 plotpv(Q,Y); %画输入向量 handle=plotpc(net.iw1,net.b1,handle) %画分类线,BP网络,多层前馈网络,主要功能: 函数逼近, 模式识别, 信息分类,数据压缩,传递函数:隐层采用S形函数,输出层S形函数或线性函数,BP网络的生成,newff,函数newff用来生成一个BP网络,net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF),PR: 一个R2矩阵, 由R维输入向量的每维最小值和最大值组成,Si: 第i层的神经元个数,TFi:

17、第i层的传递函数, 默认为tansig,BTF: 训练函数, 默认为trainlm,BlF: 学习函数, 默认为learngdm,PF: 性能函数, 默认为mse,net=newff(0,10;-1,2,5,1,tansig,purelin,trainlm);,%生成一个两层BP网络,隐层和输出层神经的个数为5和1, 传递函数分别为tansig和purelin, 训练函数为trainlm, 其他默认,BP网络的初始化,newff 函数在建立网络对象的同时, 自动调用初始化函数, 根据缺省的参数对网络的连接权值和阈值.,使用函数init可以对网络进行自定义的初始化. 通过选择初始化函数, 可对各

18、层连接权值和阈值分别进行不同的初始化.,BP网络的学习规则,权值和阈值的调节规则采用误差反向传播算法(back propagation). 反向传播算法分二步进行，即正向传播和反向传播。,1正向传播 输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。 2反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。 BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。,BP网络的快速学习算法与选择,MATLAB神经网络工具箱对常规BP算法进行改进,提供了一系列快速算法,以满足不同问题的需要,BP网络的训练,利用已知的”输入目标”样本向量数据对网络进行训练,采用train 函数来完成. 训练之前, 对训练参数进行设置,net = train(net, P, T),BP网络的设计(1),网络层数,已经证明,单隐层的BP