线性判别函数人工神经元网络模型PPT课件

1、10.1 人工神经网络概述 2 概念解释 （1）人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 （2）神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 (3)ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练第1页/共42页 3主要组成（1） 一组处理单元（PE或AN）；（2） 处理单元的激活状态（ai）；（3） 每个处理单元的输出函数（fi）；（4） 处理单元之间的

2、联接模式；（5） 传递规则（wijoi）；（6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；（7） 通过经验修改联接强度的学习规则；（8） 系统运行的环境（样本集合）。 10.1 人工神经网络概述第2页/共42页 4 人工神经网络的特点（1） 信息的分布表示（2）运算的全局并行和局部操作（3）处理的非线性10.1 人工神经网络概述第3页/共42页10.2 神经元的结构与功能特性1.生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成（1）细胞体（2）轴突（3）树突（4）突触 (如图10.1)第4页/共42页10.2 神经

3、元的结构与功能特性2. 人工神经元的工作过程 对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0,1,n-1,处理单元的内部阈值为。第5页/共42页10.2 神经元的结构与功能特性10niiixw而处理单元的输出为)xw(fy1n0iii那么本处理单元（神经元）的输入为第6页/共42页10.3 BP神经网络模型与学习算法 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误

4、差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart 第7页/共42页1 BP神经网络模型 (1) 三层BP网络结构1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隐含层输出层输入层3NT第8页/共42页1 BP神经网络模型 （2）激活函数 必须处处可导 一般都使用S型函数 （3）使用S型激活函数时BP网络输入与输出关系 输入 输出1122.nnnetx wx wx w1f()1enetynet第9页/共42页1 BP神经网络模型 （4）输出的导数211f ()(

5、1)1e(1e)-netnetnetyy根据S S型激活函数的图形可知, ,对神经网络进行训练，应该将netnet的值尽量控制在收敛比较快的范围内 第10页/共42页2 BP网络的标准学习算法 （1）学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 （2）学习的本质： 对各连接权值的动态调整 （3）学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。第11页/共42页2 BP网络的标准学习算法-算法思想 （4）学习的类型：有导师学习 （5）核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 （6

6、）学习的过程： 信号的正向传播 误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值第12页/共42页2 BP网络的标准学习算法-学习过程 正向传播： 输入样本输入层各隐层输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止第13页/共42页2 BP网络的标准学习算法 (7)网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 (8)变量定义 输入向量;

7、隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod第14页/共42页2 BP网络的标准学习算法 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k第15页/共42页2 BP网络的标准学习算法 (10)标准学习算法的主要步骤 第一步，网络初始化 给各连接权

8、值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod第16页/共42页2 BP网络的标准学习算法 第三步，计算各层各神经元的输入和输出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq第17页/共42页2 BP网络的标准学习算法 第四步，利

9、用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok第18页/共42页2 BP网络的标准学习算法( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利用隐含层到输

10、出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。 ( )hk( )ok第19页/共42页2 BP网络的标准学习算法21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kd kyo kyi kwhi k

11、k whi kk 第20页/共42页2 BP网络的标准学习算法 第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk第21页/共42页2 BP网络的标准学习算法 第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x k第22页/共42页2 BP网络的标准学习算法 第八步，计算全局误差 第九步，判断网

12、络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 2111( )( )2qmookoEdky km第23页/共42页2 BP网络的标准学习算法 （11）BP算法直观解释 情况一直观表达 当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。whohoewe0，此时who0第24页/共42页2 BP网络的标准学习算法 BP算法直解释 情况二直观表达 当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方

13、向调整，使得实际输出与期望输出的差减少。hoewe0who第25页/共42页回忆 激发函数一般具有非线性特性,常用的非线性激发函数如图所示1n0iiixw(a)(a)阈值型 (b)(b)分段线性型 (c) Sigmoid(c) Sigmoid函数型 (d)(d)双曲正切、 常用的激发函数 第26页/共42页3 BP神经网络学习算法的MATLAB实现 （1）MATLAB中BP神经网络的重要函数和基本功能 函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log

14、-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数第27页/共42页3 BP神经网络学习算法的MATLAB实现 （2）MATLAB中BP神经网络的重要函数和基本功能 newff() 功能 建立一个前向BP网络 格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 说明 net为创建的新BP神经网络；第28页/共42页 PR为网络输入取向量取值范围的矩阵； S1 S2SNl表示网络隐含层和输出层神经元的个数； TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig； BTF表示网络的训练

15、函数，默认为trainlm； BLF表示网络的权值学习函数，默认为learngdm； PF表示性能数，默认为mse。第29页/共42页 newff() newff: Create a feed-forward backpropagation network Syntax net=newff net=newff( PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) Description net = newff creates a new network with a dialog box. newff(PR,S1 S2.SNl,TF1 TF2.TFNl, BTF,BLF

16、,PF) takes 第30页/共42页 (1)PR-R x 2 matrix of min and max values for R input elements (2)Si-Size of ith layer, for Nl layers (3)TFi-Transfer function of ith layer, default = tansig (4)BTF-Backpropagation network training function, default = traingdx (5)BLF-Backpropagation weight/bias learning function,

17、 default = learngdm (6)PF-Performance function, default = mse第31页/共42页3 BP神经网络学习算法的MATLAB实现 （3）MATLAB中BP神经网络的重要函数和基本功能 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。 logsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，

18、1)。它是可导函数，适用于BP训练的神经元。第32页/共42页第33页/共42页3 BP神经网络学习算法的MATLAB实现 （4）例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。 第34页/共42页

19、月份月份123456销量销量205623952600229816341600月份月份789101112销量销量187314781900150020461556数据标准化：X=(x-min)/(max-min)第35页/共42页3 BP神经网络学习算法的MATLAB实现 %以每三个月的销售量经归一化处理后作为输入 P=0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000; %以第四个月的销售量归一化处理后作为目标

20、向量 T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761; %创建一个BP神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个神经元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法 net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd); net.trainParam.epochs=15000; net.trainParam.goal=0.01; %设置学习速率为0.1 LP.lr=0.1; net=train(net,P,T); 第36页/