线性判别函数人工神经元网络模型

人工神经网络ArtificialNeuralNetworks,10.1人工神经网络概述,1概念（1）人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。（2）它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。（3）应用它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。,10.1人工神经网络概述,2概念解释（1）人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。（2）神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统(3)ANN力求从四个方面去模拟人脑的智能行为物理结构计算模拟存储与操作训练,3主要组成（1）一组处理单元（PE或AN）；（2）处理单元的激活状态（ai）；（3）每个处理单元的输出函数（fi）；（4）处理单元之间的联接模式；（5）传递规则（wijoi）；（6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；（7）通过经验修改联接强度的学习规则；（8）系统运行的环境（样本集合）。,10.1人工神经网络概述,4人工神经网络的特点（1）信息的分布表示（2）运算的全局并行和局部操作（3）处理的非线性,10.1人工神经网络概述,10.2神经元的结构与功能特性,生物神经元的结构神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成（1）细胞体（2）轴突（3）树突（4）突触(如图10.1),10.2神经元的结构与功能特性,2.人工神经元的工作过程对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi,i=0,1,n-1,处理单元的内部阈值为。,10.2神经元的结构与功能特性,而处理单元的输出为,那么本处理单元（神经元）的输入为,10.3BP神经网络模型与学习算法,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J.McClelland,DavidRumelhart,1BP神经网络模型,(1)三层BP网络结构,1BP神经网络模型,（2）激活函数必须处处可导一般都使用S型函数（3）使用S型激活函数时BP网络输入与输出关系输入输出,1BP神经网络模型,（4）输出的导数,根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内,2BP网络的标准学习算法,（1）学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。（2）学习的本质：对各连接权值的动态调整（3）学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,2BP网络的标准学习算法-算法思想,（4）学习的类型：有导师学习（5）核心思想：将输出误差以某种形式通过隐层向输入层逐层反传（6）学习的过程：信号的正向传播误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,2BP网络的标准学习算法-学习过程,正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止,2BP网络的标准学习算法,(7)网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元(8)变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;,2BP网络的标准学习算法,输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：,2BP网络的标准学习算法,(10)标准学习算法的主要步骤第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出,2BP网络的标准学习算法,第三步，计算各层各神经元的输入和输出,2BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。,2BP网络的标准学习算法,第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。,2BP网络的标准学习算法,2BP网络的标准学习算法,第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。,2BP网络的标准学习算法,第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。,2BP网络的标准学习算法,第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,2BP网络的标准学习算法,（11）BP算法直观解释情况一直观表达当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。,2BP网络的标准学习算法,BP算法直解释情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。,回忆,激发函数一般具有非线性特性,常用的非线性激发函数如图所示,(a)阈值型(b)分段线性型(c)Sigmoid函数型(d)双曲正切、常用的激发函数,3BP神经网络学习算法的MATLAB实现,（1）MATLAB中BP神经网络的重要函数和基本功能,3BP神经网络学习算法的MATLAB实现,（2）MATLAB中BP神经网络的重要函数和基本功能newff()功能建立一个前向BP网络格式net=newff(PR，S1S2.SN1，TF1TF2.TFN1，BTF，BLF，PF)说明net为创建的新BP神经网络；,PR为网络输入取向量取值范围的矩阵；S1S2SNl表示网络隐含层和输出层神经元的个数；TFlTF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。,newff()newff:Createafeed-forwardbackpropagationnetworkSyntaxnet=newffnet=newff(PR,S1S2.SNl,TF1TF2.TFNl,BTF,BLF,PF)Descriptionnet=newffcreatesanewnetworkwithadialogbox.newff(PR,S1S2.SNl,TF1TF2.TFNl,BTF,BLF,PF)takes,(1)PR-Rx2matrixofminandmaxvaluesforRinputelements(2)Si-Sizeofithlayer,forNllayers(3)TFi-Transferfunctionofithlayer,default=tansig(4)BTF-Backpropagationnetworktrainingfunction,default=traingdx(5)BLF-Backpropagationweight/biaslearningfunction,default=learngdm(6)PF-Performancefunction,default=mse,3BP神经网络学习算法的MATLAB实现,（3）MATLAB中BP神经网络的重要函数和基本功能tansig()功能正切sigmoid激活函数格式a=tansig(n)说明双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能对数Sigmoid激活函数格式a=logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。,3BP神经网络学习算法的MATLAB实现,（4）例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。,数据标准化：X=(x-min)/(max-min),3BP神经网络学习算法的MATLAB实现,%以每三个月的销售量经归一化处理后作为输入P=0.51520.81731.0000;0.81731.00000.7308;1.00000.73080.1390;0.73080.13900.1087;0.13900.10870.3520;0.10870.35200.0000;%以第四个月的销售量归一化处理后作为目标向量T=0.73080.13900.10870.35200.00000.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法net=newff(01;01;01,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T);,3BP神经网络学习算法的MATLAB实现,BP网络应用于药品预测对比图由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度也进一步缩小,4BP神经网络的特点,（1）非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。（2）泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。（3）容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,5BP神经网络的优缺点,B-P算法的优缺点：优点：理论基础牢固，推导过程严谨，物理概念清晰