（精选）2.4-BP神经网络模型与学习算法.ppt

2.4BP神经网络模型和学习算法，1，概要，Rumelhart， McClelland在1985年提出了BP网络误差反向传播(back propagation )学习算法的基本原理，利用输出后的误差来估计输出层的直接前导码层的误差，利用该误差来估计更高层的误差，这种更进一步的反向传播J.McClelland、DavidRumelhart、2、2.4.1BP神经网络模型、三层BP网络、3、2.4.1BP神经网络模型、激活函数在任何地方通常使用s型激活函数时，BP网络输入根据、4、2.4.1BP神经网络模型、输出导数、s型激活函数的曲线图，训练神经网络，将网值尽可能控制在收敛快的范围内，5、2.4.2BP网络的标准学习算法，学习过程：神经网络学习的本质：各连接权值的动态调整学习规则：权重调整规则是学习过程中网络中各神经元连接权变化的依据的一定调整规则。 6，2.4.2BP网络的标准学习算法-算法思想，学习类型：教师学习的核心思想：以某种形式通过隐藏层逐步反转学习输出误差的过程：信号正向传播误差的反向传播，将误差分配给各层所有单元各层单元的误差信号， 修正各单元权重值，7、2.4.2BP网络的标准学习算法-学习过程前向传播：判断样本输入层-各隐藏层-输出层是否向反向传播阶段转移：输出层的实际输出以存在与期望的输出(教师信号)不一致的误差反向传播误差的形式在各层显示时， 修正各层单元权重，减少到网络输出误差可接受的程度，执行，8，2.4.2BP网络的标准学习算法，网络结构输入层有n个神经元，隐藏层有p个神经元，输出层有q 隐含层输入向量隐含层输出向量输出层输入向量输出层的输出向量期望的输出向量，9，2.4.2BP网络的标准学习算法， 输入层和中间层的连接权值：抑制层和输出层的连接权值：抑制层的各神经元的阈值：输出层的各神经元的阈值：样本数据数：激活函数：误差函数：10、2.4.2BP网络的标准学习算法网络初始化为每个连接权值提供区间(-1，1 )内的随机数，设定误差函数e，以及提供计算精度值和最大学习次数的第二步骤对应于第一输入采样和期望输出11， 在第三步骤中，随机选择用于2.4.2BP网络的标准学习算法，计算抑制层中的每个神经元的输入和输出，以及计算用于12，2.4.2BP网络的标准学习算法，其中第四步骤利用网络的期望输出和实际输出，使用输出层中的每个神经元第五步骤利用从抑制层到输出层的连接权值以及输出层和抑制层的输出来计算误差函数到抑制层中的每个神经元的偏导函数。 另外，在14、2.4.2BP网络的标准学习算法、15、2.4.2BP网络的标准学习算法、第6步骤中，使用输出层的各神经元的和抑制层的各神经元的输出来修改连接权值。 此外，在16，2.4.2BP网络的标准学习算法中，第七步骤使用抑制层中的每个神经元的输入层中的每个神经元的输入来修改连接权限。 17、2.4.2BP网络的标准学习算法，第8步骤，计算全局误差的第9步骤，判断网络误差是否满足要求。 误差达到预先设定的精度时，或学习次数超过设定的最大次数时，结束算法。 否则，选择与下一个学习样本相对应的期望输出，并且处理返回步骤3以继续下一个学习。直观地描述了18、2.4.2BP网络的标准学习算法、BP算法，如果误差大于权重值的偏差导数的零，则权重值调整量为负，实际输出大于期望输出，权重值向减小的方向进行调整，实际输出与期望输出之间的差减小。 19、2.4.2BP网络的标准学习算法、BP算法直观地说明了情况，当误差小于权重值的偏微分值时，权重值调整量为正，实际输出小于期望输出，权重值向增大方向调整，实际输出与期望输出之间的差减小。20、2.4.3BP神经网络学习算法的MATLAB实现、MATLAB中BP神经网络的重要函数和基本功能、21、2.4.3BP神经网络学习算法的MATLAB实现、 MATLAB中BP神经网络的重要函数和基本功能newff ()功能是向前BP网络形式net=newff(PR、S1S2.SN1、TF1TF2.TFN1、BTF、BLF、PF ) 所建立的PR是网络输入向量的值范围矩阵S1S2SNl表示网络抑制层和输出层的神经元数的TFlTF2TFN1表示网络的隐式层和输出层的传递函数，默认为“tansig”，其中BTF表示网络的训练函数BLF表示网络的权重学习函数，默认值为 learnmd .pf表示性能数，默认值为 mse 。 实现了22，2.4.3BP神经网络学习算法的MATLAB，在MATLAB中BP神经网络的重要函数和基本功能tansig ()功能正切sigoid激活函数形式a=tansig(n )，双曲正切sigoid函数在神经元输入范围一种适用于BP训练的诱导函数。 logsig ()功能对数sigoid激活函数格式a=logsig(N )表示对数sigoid函数将神经元的输入范围(-，)映射到(0，1 )。 一种适用于BP训练的诱导函数。23、2.4.3BP神经网络学习算法的MATLAB的实现，例2-3，下表是某药品销售情况，构建了目前输入层有三个节点，抑制层节点数为5，抑制层激活函数为tansig的三层BP神经网络预测方法用最初的3个月的销售量来预测第4个月的销售量。 例如，以1、2、3月的销售量为输入，预测第4个月的销售量，以2、3、4月的销售量为输入，预测第5个月的销售量。 这样重复进行直到满足预测精度的要求。 实现24、2.4.3BP神经网络学习算法的MATLAB，将每%3个月的销售量标准化输入P=0.51520.81731.0000； 0.81731.00000.7308； 1.00000.73080.1390； 0.73080.13900.1087； 0.13900.10870.3520； 0.10870.35200.0000； ； 以第%4个月的销售量标准化目标向量t=0. 73080.13900.10870.35200.00000.3761 ； 创建%1个BP神经网络，每个输入向量值范围为 0，1 ，抑制层有5个神经%元素，输出层有神经元，抑制层激活函数为tansig，输出层激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节所述的标准01.01 01， 5，1 ，tansig，logsig，traingd； net.trainParam.epochs=15000； net.trainParam.goal=0.01； 将%学习率设置为0.1LP.lr=0.1实现了net=train(net，p，t )，25，2.4.3BP神经网络学习算法的MATLAB，BP网络应用于药品预测比较图，可知预测效果与实际存在一定误差。 该误差可以通过增加运行步长和提高预误差精度进一步缩小26，BP神经网络的特征、非线性映射能力可以学习并存储大量输入输出模式映射关系。 不需要事先知道记述这种映射关系的数学方程式。 如果网络的学习训练可以提供足够的样本模型来实现，则可实现n维输入空间到m维输出空间的非线性映射。 泛化能力即使是在训练时没有见过的样本以外的数据