神经网络模型及其应用(一)v

1、第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）1化工过程动态数学模型化工过程动态数学模型硕士研究生课程硕士研究生课程-2010-2010陈祥光陈祥光第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）2第第7章章 神经网络模型及其应用神经网络模型及其应用7.1 7.1 生物神经元系统生物神经元系统 神经元（即神经细胞）是脑的基本组成单位，从神经元（即神经细胞）是脑的基本组成单位，从人脑的结构来看，它由大量的（约人脑的结构来看，它由大量的（

2、约10101012个）神经个）神经细胞组合而成。这些细胞相互联结，每个细胞完成某细胞组合而成。这些细胞相互联结，每个细胞完成某种基本功能，如兴奋和抑制，它们并行工作，整体上种基本功能，如兴奋和抑制，它们并行工作，整体上完成复杂思维活动和信息处理。完成复杂思维活动和信息处理。 大多数神经元具有某些结构上的共同特征，通常大多数神经元具有某些结构上的共同特征，通常可以将其分为三个区：即可以将其分为三个区：即细胞体细胞体、树突树突和和轴突轴突，如图，如图7-1所示。所示。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）3图

3、图7-1 生物神经元生物神经元第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）4 细胞体由细胞体由细胞核细胞核、细胞质细胞质和和细胞膜细胞膜等组成；等组成；树突树突是精致的管状延伸物，是细胞体向外伸出的许多较是精致的管状延伸物，是细胞体向外伸出的许多较短的分支，围绕细胞体形成灌木丛状，它们的作用短的分支，围绕细胞体形成灌木丛状，它们的作用是接受来自四面八方传入的神经冲击信息，相当于是接受来自四面八方传入的神经冲击信息，相当于细胞的细胞的“输入端输入端”，信息流从树突出发，经过细胞，信息流从树突出发，经过细胞体，然后

4、由轴突传出；体，然后由轴突传出； 轴突轴突是由细胞体向外伸出的最长的一条分支，形是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的传送到脑神经系统的其他部分，其相当于细胞的“输出端输出端”。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）5 人脑功能是依靠信息流经由神经元组成的复杂网络人脑功能是依靠信息流经由神经元组成的复杂网络来完成的，信息是通过神经元系统中的接合部（即突来完成的，信息是通过神经元

5、系统中的接合部（即突触）由一个细胞传递至另一个细胞。触）由一个细胞传递至另一个细胞。突触突触是两个细胞是两个细胞之间连接的之间连接的接口接口，一个典型的神经元可能有，一个典型的神经元可能有100010000个突触，能接收来自大约个突触，能接收来自大约10000个其它神经元的个其它神经元的信息。突触有两种类型：即信息。突触有两种类型：即兴奋型兴奋型和和抑制型抑制型。 当输入脉冲使细胞膜电位升高，超过动作电位的阈当输入脉冲使细胞膜电位升高，超过动作电位的阈值时，产生正的突触后电位的称为值时，产生正的突触后电位的称为兴奋型突触兴奋型突触；当输；当输入脉冲使细胞膜电位下降至动作电位的阈值时，产生入脉冲

6、使细胞膜电位下降至动作电位的阈值时，产生负的突触后电位的称为负的突触后电位的称为抑制型突触抑制型突触。 第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）67.2 7.2 人工神经元模型人工神经元模型 人工神经网络（人工神经网络（Artificial Neural Networks）是采）是采用物理可实现的系统来模仿人脑神经细胞的结构和功用物理可实现的系统来模仿人脑神经细胞的结构和功能。它反映了生物神经系统的基本特征，是对生物神能。它反映了生物神经系统的基本特征，是对生物神经系统的经系统的某种抽象某种抽象、简化简化与

7、与模拟模拟。 神经网络的基本要素是人工神经元，也就是说人工神经网络的基本要素是人工神经元，也就是说人工神经元是神经网络的基本处理单元，它只模拟了生物神经元是神经网络的基本处理单元，它只模拟了生物神经元的神经元的三个基本功能：三个基本功能：对每个输入信号进行处理，对每个输入信号进行处理，以确定其强度以确定其强度（权值），（权值），如神经元中突触的可变强度；如神经元中突触的可变强度；确定所有输入信号的组合确定所有输入信号的组合（加权和）（加权和）；确定其输确定其输出出（转移特性）（转移特性）。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学

8、模型（化工与环境学院）7典型的人工神经元模型如图典型的人工神经元模型如图7-2所示。所示。yjsj图图7- -2 处理单元示意图处理单元示意图x0=-1w0jwnjw2jw1jx1x2xn f( )第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）8 处理单元的内部处理单元的内部阈值阈值或或门限值门限值为为j，若用，若用x0=-1的固定偏的固定偏置输入表示，其连接强度取置输入表示，其连接强度取w0j=j。于是，该神经元模。于是，该神经元模型的输入输出关系为型的输入输出关系为:)() 17(), 1(0001jjjjn

9、iijinijijijsfywxxwxws 其中其中j称为称为阈值阈值，wji称为称为连接权系数连接权系数，f（）称为输出激活函数。）称为输出激活函数。 如果用向量表示，则如果用向量表示，则第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）9)27(),(),(210210TnjijjjjjTniwwwwwWxxxxxX神经元模型的输出矢量可表示为：神经元模型的输出矢量可表示为：)37()()*(1nijiijjxwfXWfy 从式（从式（7-3）可以看出，阈值也被看作是一个输入分量，）可以看出，阈值也被看作是一个输

10、入分量，也就是阈值也是一个权值，在此用固定常数来表示。也就是阈值也是一个权值，在此用固定常数来表示。在网络的设计中，在网络的设计中，阈值阈值起着重要的作用，它使得激活函起着重要的作用，它使得激活函数的图形可以数的图形可以左右移动左右移动而增加了解决问题的可能性。而增加了解决问题的可能性。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）107.3 7.3 处理单元的激活转移函数处理单元的激活转移函数 激活转移函数激活转移函数（Activation transfer function）是一个神经）是一个神经元的重要组成

11、部分，转移函数元的重要组成部分，转移函数f（）也称为激励函数，）也称为激励函数，它描述了生物神经元的转移特性，激活函数的基本作用是：它描述了生物神经元的转移特性，激活函数的基本作用是： 控制输入对输出的控制输入对输出的激活作用激活作用； 对输入、输出进行对输入、输出进行函数转换函数转换； 将可能无限域的输入变换成指定的将可能无限域的输入变换成指定的有限范围内有限范围内的输出。的输出。常用的激活函数常用的激活函数有以下几种：有以下几种：阈值型函数阈值型函数;线性型函数线性型函数;S型函数型函数.第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态

12、数学模型（化工与环境学院）11阈值型函数阈值型函数这种激活函数将任意输入转化为这种激活函数将任意输入转化为 1或（或（0，1）两种）两种状态输出，有时称为状态输出，有时称为硬限幅函数硬限幅函数，如图，如图7-3（a）所示，）所示，其表达式为其表达式为常用的激活函数有以下几种：常用的激活函数有以下几种：)57(0001)()47(0101)(jjjjjjjjsssfysssfy或第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）12 其主要特征是其主要特征是不可微、阶跃形不可微、阶跃形，常应用于感知器模，常应用于感知器

13、模型、型、M-P模型及模型及Hopfield模型。模型。0+1-1sy（a）阈值型函数阈值型函数第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）13线性型函数线性型函数 线性型函数可将输入转化为任意值输出，线性型函数可将输入转化为任意值输出，即将输入即将输入原封不动地输出，原封不动地输出，而不象阈值型函数的输出只是而不象阈值型函数的输出只是两种状态，其输入输出关系如图两种状态，其输入输出关系如图7-3（b）所示，）所示，线性函数表达式为线性函数表达式为jjjssfy)( (1-7) 0+1-1sy（b）线性型函数）

14、线性型函数第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）14分段线性型（饱和型）函数分段线性型（饱和型）函数 实质上，饱和型函数是阈值型函数和线性型函数实质上，饱和型函数是阈值型函数和线性型函数的的综合综合，如图，如图7-3（c）所示，其表达式为）所示，其表达式为0sh-h+1-1y（c）饱和型函数）饱和型函数第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）15 S型函数型函数S型激活函数将任意输入值压缩到（型激活函数将任意输入值压缩

15、到（0，1）的范围内，）的范围内，常用的常用的S型函数有型函数有对数函数对数函数，即，即)exp(11)(jjjssfy(7-9)jjssjjeesfy11)(7-10)或或双曲正切函数双曲正切函数第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）16如图如图7-3（d）（）（e）所示，其主要特征是）所示，其主要特征是可微可微、阶跃型阶跃型，常用于常用于B-P模型或模型或Fukushina（认识机（认识机/神经认识机）模型。神经认识机）模型。（d）S型函数型函数（e）双曲正切函数）双曲正切函数图图7-5 激活转移函数

16、激活转移函数第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）177.4 7.4 人工神经网络的应用领域人工神经网络的应用领域 人工神经网络能模拟人脑的并行信息处理方式，具有惊人工神经网络能模拟人脑的并行信息处理方式，具有惊人的人的自学习自学习、思维推理思维推理、判断判断和和记忆记忆的功能。目前人工神经的功能。目前人工神经网络主要应用于解决下述几类问题：网络主要应用于解决下述几类问题：模式信息处理和模式识别模式信息处理和模式识别;最优化问题计算最优化问题计算;信息的智能化处理信息的智能化处理;复杂控制复杂控制 ;信号

17、处理信号处理 。 第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）187.5 7.5 人工神经网络在化学工程中的应用人工神经网络在化学工程中的应用化工过程故障诊断化工过程故障诊断;化工过程控制化工过程控制;化工过程建模化工过程建模;化工过程优化。化工过程优化。7.6 BP7.6 BP网络网络(多层前向网络多层前向网络-Back Propogation Training Algorithm BP算法算法) 将将B-P算法应用于前馈网络，通常称之为算法应用于前馈网络，通常称之为BP网络网络。 第第7 7章章 神经网络模

18、型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）19 BP算法是一种有导师的学习算法，这种算法通常算法是一种有导师的学习算法，这种算法通常是应用最速下降法。图是应用最速下降法。图7-4描述了多层前向网络中的一部分，描述了多层前向网络中的一部分，其中其中有两种信号在传送有两种信号在传送： 工作信号（用实线表示），工作信号（用实线表示），它是施加输入信号后向前传它是施加输入信号后向前传播直到在输出端产生实际输出的信号，它是输入和权值的播直到在输出端产生实际输出的信号，它是输入和权值的函数。函数。 误差信号（用虚线表示），误差信号（用虚线表示），

19、实际输出与应有输出之间的实际输出与应有输出之间的差值即为误差，它由输出端开始逐层向后传播。差值即为误差，它由输出端开始逐层向后传播。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）20工作信号工作信号误差信号误差信号图图7-4向前工作信号与反向误差信号示意图向前工作信号与反向误差信号示意图第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）21 该算法的特点是：该算法的特点是：当网络输出存在误差时，通过输出层神当网络输出存在误差时，通过输出

20、层神经元的等效误差，逐层反向传播经元的等效误差，逐层反向传播“分摊分摊”给各隐层神经元，给各隐层神经元，以便按以便按“分摊分摊”得到的等效误差值调整对应的连接权值（如图得到的等效误差值调整对应的连接权值（如图7-5所示）。故称这种算法为所示）。故称这种算法为误差反向传播学习算法。误差反向传播学习算法。y2x1x2xn0m01 jn201km01 ly1y1ympmplp2p1第一隐层第一隐层第二隐层第二隐层 输出层输出层图图7-5误差反向传播过程示意图误差反向传播过程示意图第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境

21、学院）22图图7-6 单个神经元学习过程模拟示意图单个神经元学习过程模拟示意图第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）23下面叙述几种在学习过程中可能出现的情况：下面叙述几种在学习过程中可能出现的情况：收敛到局部极小点收敛到局部极小点 由于由于BP算法采用的是算法采用的是梯度下降法梯度下降法，训练是从某一起始点，训练是从某一起始点沿误差函数的斜面逐渐达到误差的最小值。而网络误差曲面是沿误差函数的斜面逐渐达到误差的最小值。而网络误差曲面是高维的凹凸不平的复杂曲面，因此，在学习过程中可能陷入某高维的凹凸不平的复

22、杂曲面，因此，在学习过程中可能陷入某个局部极小点，如图个局部极小点，如图7-6a所示。所示。在平坦区域内连接权值调整缓慢在平坦区域内连接权值调整缓慢 误差曲面往往存在一些平坦区，由于激活函数的导数误差曲面往往存在一些平坦区，由于激活函数的导数f/()趋于零，即使误差较大，但梯度已趋于零使得等效误差趋于零，即使误差较大，但梯度已趋于零使得等效误差 以及连接权的修正量以及连接权的修正量 w均趋于零，因而网络连接权的调整过均趋于零，因而网络连接权的调整过程几乎处于停顿状态。即出现所谓的程几乎处于停顿状态。即出现所谓的“网络麻痹网络麻痹现象现象”。但。但只要调整方向正确，则经较长时间的调整后，总可以从

23、平坦只要调整方向正确，则经较长时间的调整后，总可以从平坦区退出，朝全局最小点趋近，如图区退出，朝全局最小点趋近，如图7-6b所示。所示。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）24在陡峭的沟壑（峡谷）中振荡在陡峭的沟壑（峡谷）中振荡 误差曲面通常也存在陡峭的沟壑，这就使网络的权值调整误差曲面通常也存在陡峭的沟壑，这就使网络的权值调整收敛不到极小点上，而在极小点的周围来回振荡。这种情况如收敛不到极小点上，而在极小点的周围来回振荡。这种情况如图图7-6c所示。所示。跳过较好的极小点跳过较好的极小点 BP网络在学

24、习过程，也可能在网络权值调整过程中，跳过网络在学习过程，也可能在网络权值调整过程中，跳过较好极小点，由于误差曲面的凹处太窄，而梯度值又较大，致较好极小点，由于误差曲面的凹处太窄，而梯度值又较大，致使网络权值从一个较好的极小点附近跳到另一个次好极小点使网络权值从一个较好的极小点附近跳到另一个次好极小点区域。这种现象如图区域。这种现象如图7-6d所示。所示。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）25图图7-7 反传算法存在的问题反传算法存在的问题第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一

25、一) )2022-3-19化工过程动态数学模型（化工与环境学院）267.7 BP7.7 BP学习算法的改进学习算法的改进 为了改善为了改善BP算法的有效性，提高学习速度，避免陷入局部算法的有效性，提高学习速度，避免陷入局部极小点和增强泛化能力，所以近十几年来，许多研究人员对极小点和增强泛化能力，所以近十几年来，许多研究人员对其做了深入的研究，提出了许多改进的方法。其做了深入的研究，提出了许多改进的方法。 如：如：（1）附加动量项）附加动量项 ；（2）学习速率的调整）学习速率的调整 ；（3）改变误差函数的形式）改变误差函数的形式；（4）激活函数的选择）激活函数的选择 。 BP网络中神经元的激活函

26、数要求是连续可微、单调上升的网络中神经元的激活函数要求是连续可微、单调上升的有界函数。目前，已提出有许多不同形式的激活函数，有界函数。目前，已提出有许多不同形式的激活函数， 第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）27（1）附加动量项）附加动量项 ； 附加动量法使网络在修正其权值时，不仅考虑误差在梯度附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络上的微小变化特性。在没有

27、附同一个低通滤波器，它允许网络上的微小变化特性。在没有附加动量的作用下，网络可能陷入浅的局部极小值，而利用附加加动量的作用下，网络可能陷入浅的局部极小值，而利用附加动量的作用则有可能滑过这些极小值。因此，在引入动量项后动量的作用则有可能滑过这些极小值。因此，在引入动量项后，网络连接权的迭代关系具有如下形式。，网络连接权的迭代关系具有如下形式。1(1)( )(1)( )( )(7 11)uvuvuvppuvuvcuvpwnwnwnwnymwn第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）28 mc为动量因子，一般为

28、动量因子，一般mc取为取为0.9左右。动量项的作用在于，左右。动量项的作用在于，记忆前一时刻连接权的变化方向（即变化量的值）。这样，记忆前一时刻连接权的变化方向（即变化量的值）。这样，就可用较大的学习速率就可用较大的学习速率 ，以提高学习的速度；增加动量项，以提高学习的速度；增加动量项，利用其利用其“惯性效应惯性效应”来抑制可能产生的振荡，起到平滑的作用，来抑制可能产生的振荡，起到平滑的作用，此外，当网络的训练进入了误差曲面底部的平坦区时，此外，当网络的训练进入了误差曲面底部的平坦区时， u很小，很小， 与基本与基本BP算法的连接权修正量相比较，其附加动量项后系算法的连接权修正量相比较，其附加

29、动量项后系数增大为数增大为 /（1-mc），从而有利于使网络连接权加快脱离误），从而有利于使网络连接权加快脱离误差曲面的平坦区。差曲面的平坦区。1( )(7 12)1ppuvuvpcwnym第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）29（2）学习速率的调整）学习速率的调整 由于由于BP网络中的误差曲面是一高维的非线性复杂曲面，网络中的误差曲面是一高维的非线性复杂曲面，因此，对于一个特定的问题，学习速率的确定往往是一件既因此，对于一个特定的问题，学习速率的确定往往是一件既繁琐又费时的工作。在网络权值的调整过程中

30、，人们通常希繁琐又费时的工作。在网络权值的调整过程中，人们通常希望：在学习的初始阶段，步长可选择大一些，以使学习速度望：在学习的初始阶段，步长可选择大一些，以使学习速度加快；加快； (1)( )(7 13)uvuvuvwnwnw11(7 14)ppppuvuvoutinppwyy第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）30 当接近最优点时，步长又必须相当小，否则连接权值将产当接近最优点时，步长又必须相当小，否则连接权值将产生振荡而难以收敛；当处在误差曲面的平坦区时，步长太小将生振荡而难以收敛；当处在误差曲面

31、的平坦区时，步长太小将使迭代次数增多；当处在误差曲面的剧烈变化区域，步长又不使迭代次数增多；当处在误差曲面的剧烈变化区域，步长又不宜太大，否则将跳过较好的极小值或全局极小值。宜太大，否则将跳过较好的极小值或全局极小值。 由（由（3-18）式可知，）式可知，BP网络任意连接权的修正量，取决了该网络任意连接权的修正量，取决了该连接权输出端点的等效误差连接权输出端点的等效误差 和输入端点的实际信号和输入端点的实际信号 。poutpiny第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）31（3）改变误差函数的形式）改变误差

32、函数的形式在第在第p个输入模式后输出方差为：个输入模式后输出方差为：mlplplpytE12)(21 基本基本BP算法中误差函数通常采用式（算法中误差函数通常采用式（3-4）的形式，当）的形式，当 趋趋向向1时，时，E趋向一个常数，即处于趋向一个常数，即处于E 的平坦区，从而造成不能的平坦区，从而造成不能完全训练的完全训练的麻痹现象麻痹现象。因此，可以采用误差函数的形式。因此，可以采用误差函数的形式。例如：例如：Baum和和Wilczek等人等人1988年提出的另一种误差函数为年提出的另一种误差函数为(7-15)111(1)log(1)log211ppppllllppplllttEttyy(7

33、-16)ply第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）32 其中其中 0， 0和为可调参数，调节这些参数值可改变非线性和为可调参数，调节这些参数值可改变非线性的特性，通常在实际应用中，令的特性，通常在实际应用中，令 0= 0=1，则式，则式(7-16)可改写为下列形式可改写为下列形式（4）激活函数的选择）激活函数的选择在基本的在基本的S型函数中加入可调参数，则激活函数的形式变为型函数中加入可调参数，则激活函数的形式变为 0001( )r ayf ae(7-16)01( )1r ayf ae(7-17)第第7

34、 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）33图图7-8 具有可调参数的具有可调参数的S型函数型函数 当网络训练进入误差曲面的平坦区，而当网络训练进入误差曲面的平坦区，而f/(a)0时，可调整，时，可调整，使使r01，而使导数值，而使导数值 增大，尽快地退出平坦区。待退出平增大，尽快地退出平坦区。待退出平坦区后再恢复坦区后再恢复r0=1。因此，调节对加快学习速度，克服。因此，调节对加快学习速度，克服“麻痹麻痹现象现象”的产生是比较有效的。其激活函数的输入、输出变化的产生是比较有效的。其激活函数的输入、输出变化曲线如

35、图曲线如图7-8所示。所示。( )fa第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）34 应用举例应用举例1：油田产量多变量预测模型的优化及应用油田产量多变量预测模型的优化及应用 油田开发是一个复杂的多变量非线性动力学系统，为有效地油田开发是一个复杂的多变量非线性动力学系统，为有效地预测油田产量，确保油田生产过程高产稳产，需要油藏工程知预测油田产量，确保油田生产过程高产稳产，需要油藏工程知识，合适地运用数学方法，引入人工智能技术。识，合适地运用数学方法，引入人工智能技术。 本例是采用线性回归与神经网络相结合的方法

36、对油田产量进本例是采用线性回归与神经网络相结合的方法对油田产量进行预测。首先基于多元线性回归的行预测。首先基于多元线性回归的“后退法后退法”对影响产量的变对影响产量的变量进行优选，然后通过神经网络对优选后的变量进行训练得到量进行优选，然后通过神经网络对优选后的变量进行训练得到最终的预测模型，从而实现神经网络与多元线性回归相结合的最终的预测模型，从而实现神经网络与多元线性回归相结合的方法，并将其用于油田的产量预测。方法，并将其用于油田的产量预测。 实际应用结果表明，该方法简便且行之有效，突破了产量预实际应用结果表明，该方法简便且行之有效，突破了产量预测方法的常规模式，对其它领域的预测也有一定的借

37、鉴价值。测方法的常规模式，对其它领域的预测也有一定的借鉴价值。 第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）35 首先利用回归分析的首先利用回归分析的“后退法后退法”从影响产量的诸多因素中筛选从影响产量的诸多因素中筛选出最显著的因素作为变量，然后通过神经网络建立新老区产量出最显著的因素作为变量，然后通过神经网络建立新老区产量综合预测的模型。综合预测的模型。 （1） 多元线性回归分析及变量显著性检验多元线性回归分析及变量显著性检验多元线性回归模型可记为多元线性回归模型可记为 PPxxxy22110其矩阵形式为：其

38、矩阵形式为：XY （7-1）（7-2）式中 ：,21pxxxX,10p第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）36反映回归效果的反映回归效果的5项参数项参数，即残差平方和，即残差平方和 、回归平方和、回归平方和 、F值统计量值统计量 、相关系数、相关系数 、和、和 值统计量值统计量 ，其中其中 ：)(q)(u)(F)(rt)(jtniiiyyq12)(niiyyu12)() 1/(/pnqpuF)/(quur（7-3）（7-4）（7-5）（7-6）第第7 7章章 神经网络模型及其应用神经网络模型及其应用(

39、(一一) )2022-3-19化工过程动态数学模型（化工与环境学院）37)1/(pnqctjjjj)()(1ijcxxpji, 2 , 1 , 0,（7-7） 根据根据t值统计量值统计量tj大小剔除对应的自变量大小剔除对应的自变量xj， tj值越小，对应的值越小，对应的自变量对于自变量对于y的作用越不显著，此时可以将其剔除，然后用保的作用越不显著，此时可以将其剔除，然后用保留的自变量再次回归，再次考察，再次剔除对油田产量影响不留的自变量再次回归，再次考察，再次剔除对油田产量影响不显著的变量，如此重复，直至所有变量都能满足显著水平显著的变量，如此重复，直至所有变量都能满足显著水平0.05的要求。

40、这就是的要求。这就是所谓的所谓的t值值“后退法后退法”剔除不显著的变量。剔除不显著的变量。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）38（2） 预测实例与分析预测实例与分析 某油区含有稀油、稠油等多种不同性质的油品。基于实际某油区含有稀油、稠油等多种不同性质的油品。基于实际开发数据的研究分析，选取了开发数据的研究分析，选取了9个影响产量的因素（个影响产量的因素（探明储探明储量量x1、新增探明储量新增探明储量x2、动用储量动用储量x3、新增动用储量新增动用储量x4、新新建产能建产能x5、油井数油井数x6、新增油

41、井数新增油井数x7、油井开井数油井开井数x8及及上年上年产油量产油量x9）作为自变量）作为自变量xi（i=1,2,n），把产量作为因变量。），把产量作为因变量。基础数据如表基础数据如表7-1所示，表中所示，表中116组数据用于建模，组数据用于建模，1719组用于验证模型预测精度。组用于验证模型预测精度。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）39表表7-1 某油区年产油影响因素基础数据表某油区年产油影响因素基础数据表时 间序 列探明储量(万吨)新增探明储量(万吨)动用储量(万吨)新增动用储量(万吨)新建产能

42、(万吨)油井总数(口)新增井数(口)油井开井(口)上年产量(万吨)目标产量(万吨)1500763010354842180401031160779509.14502.15253687360038498301457.112382071014502.15534.3636077270854300445067015493111249534.36611.214777041693251318831415019003511541611.21760.0159265914955562704952180.323264261813760.01900.236102777101187245016180129.127984

43、722210900.23100171137631098687938154882503450652273910011135第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）408123971102089841510477130.73936486301411351285.4913172977581035935178250464170535691285.41335.11014151397841073883795180515050938381335.11360.21114633848251137876399180.15750

44、60044371360.21370.11215256162231202956508210645570547941370.11385.11315818356221234193124215718973453481385.11420.11416750793241291555736251.78411122264851420.11502.3151761678660141601124462839808139773191502.31552.3161820205853148364676320010852104481131552.31504.31719007880581529514587230.71232914

45、7791931504.31504.051819845283741569524001155.31306093189481504.051452.081920585674041589893037143.21390864893901452.081430.35第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）41 首先将这首先将这9个影响产量的因素作为变量进行回归分析，然后个影响产量的因素作为变量进行回归分析，然后根据前面所述方案进行变量筛选，逐一筛去显著性较差的根据前面所述方案进行变量筛选，逐一筛去显著性较差的变量。在第一轮

46、筛选中，变量。在第一轮筛选中，“油井开井油井开井”的值为的值为 t=0.0647，显著性，显著性较差，将其剔除，经过较差，将其剔除，经过5次筛选，被剔除的变量分别为：次筛选，被剔除的变量分别为：油井开井油井开井、上年产量上年产量、新建产能新建产能、新增探明储量新增探明储量、新增动新增动用储量用储量，可知所有保留变量的值都满足显著水平，可知所有保留变量的值都满足显著水平0.05的的要求。要求。 经过筛选，最后确定影响某油区年产油量的重要因素是经过筛选，最后确定影响某油区年产油量的重要因素是:探明储量探明储量x1、动用储量动用储量x3、油井总数油井总数x6和和新增井数新增井数x7，如表如表7-2所

47、示。所示。 第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）42表表7-2 经筛选后的主要因素数据表经筛选后的主要因素数据表时间序列探明储量(万吨)动用储量(万吨)油井总数(口)新增井数(口)目标产量(万吨)150076354841031160502.15253687384981238207534.36360772430041549311611.21477704513181900351760.01592659562702326426900.23610277772450279847210017113763879383

48、450652113581239719841539364861285.4913172910359346417051335.11014151310738851505091360.21114633811378757506001370.1第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）431215256112029564557051385.11315818312341971897341420.114167507129155841112221502.315176167141601980813971552.3161820201

49、483641085210441504.3171900781529511232914771504.0518198452156952130609311452.0819205856158989139086481430.35第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）44图图7-8 BP预测网络结构图预测网络结构图1x2x3x9xyk（3）神经网络结构）神经网络结构第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）45 下面分别利用四种不同方

50、案建模以检验其拟合和预测精度。下面分别利用四种不同方案建模以检验其拟合和预测精度。方案方案A是对所有变量数据进行多元线性回归建模；是对所有变量数据进行多元线性回归建模；方案方案B是对筛选后的是对筛选后的4个变量数据进行多元线性回归建模；个变量数据进行多元线性回归建模；方案方案C是神经网络对所有变量数据进行训练；是神经网络对所有变量数据进行训练；方案方案D是神经网络对筛选后的是神经网络对筛选后的4个变量数据进行训练。个变量数据进行训练。 各个方案的拟合结果如表各个方案的拟合结果如表3所示，预测结果如表所示，预测结果如表7-3所示。所示。 第第7 7章章 神经网络模型及其应用神经网络模型及其应用(

51、 (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）46表表7-3 四种不同方案的预测结果四种不同方案的预测结果时 间序 列实 际年产量方案A误差(%)方案B误差(%)方案C误差(%)方案D误差(%)171504.051556.5023.49 1526.6491.50 1447.6651 3.75 1471.1122 2.19 181452.081474.431.54 1471.7081.35 1472.9298 1.44 1451.5730 0.03 191430.351384.2883.22 1453.9211.65 1461.6606 2.19 1434.3966 0.

52、28 第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）47图图7-8 变量筛选后神经网络预测结果变量筛选后神经网络预测结果第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）48结结 论论（1）本文利用神经网络与多元线性回归相结合建立油田产）本文利用神经网络与多元线性回归相结合建立油田产量预测模型，首先利用多元线性回归的量预测模型，首先利用多元线性回归的“后退法后退法”筛选出影响筛选出影响油田产量的重要因素，而后利用油田产量的重要因素，而后

53、利用BP神经网络建立综合考虑神经网络建立综合考虑油田生产情况的预测模型，实际预测结果是较为理想的。油田生产情况的预测模型，实际预测结果是较为理想的。（2）在进行多年连续预测时，可采用滚动式训练方法，）在进行多年连续预测时，可采用滚动式训练方法，即随着时间的推移不断加入新的样本进行网络训练，可获得即随着时间的推移不断加入新的样本进行网络训练，可获得较为理想的预测效果。较为理想的预测效果。 （3）该方法将神经网络与多元线性回归各自的优势有机）该方法将神经网络与多元线性回归各自的优势有机结合，分析油田开发过程中的实际因素，对年产量的预测结合，分析油田开发过程中的实际因素，对年产量的预测可取得较好的效

54、果，同时也可该预测方法应用于其他领域可取得较好的效果，同时也可该预测方法应用于其他领域的预测工作。的预测工作。第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）49应用举例应用举例2：人工神经网络用于气相色谱保留值预测人工神经网络用于气相色谱保留值预测 M.H.Abraham提出的溶剂化模型，根据溶质进入溶剂的过程，提出的溶剂化模型，根据溶质进入溶剂的过程，将溶质与溶剂间的作用分为具有线性加合性的五种作用，将溶质与溶剂间的作用分为具有线性加合性的五种作用，并用其总和来决定溶质的保留值，其一般的线性自由能关系为：并用其

55、总和来决定溶质的保留值，其一般的线性自由能关系为：162222loglogLlbasrRcSPHHH（7-8） 其中其中logSP为因变量，表示气液色谱中在给定温度下溶质的为因变量，表示气液色谱中在给定温度下溶质的保留数据，可以是保留体积、气液分配系数及相对保留时间。保留数据，可以是保留体积、气液分配系数及相对保留时间。如果因变量是如果因变量是Kovats指数指数I，那么溶剂化参数模型的自由能关，那么溶剂化参数模型的自由能关系则为：系则为：162222logLlbasRrcIHHH（7-9）第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数

56、学模型（化工与环境学院）50式(7-9)中的自变量为： 2RH2H2H216logL 这这5个参数是描述溶质溶剂化作用大小的描述性参数，个参数是描述溶质溶剂化作用大小的描述性参数，对不同的对不同的溶质溶质，其值也不同。，其值也不同。 crsabl 为相参数，衡量了溶剂为相参数，衡量了溶剂对溶质保留贡献的大小，不同的对溶质保留贡献的大小，不同的固定相固定相相参数不同。相参数不同。 （1 1） 同一溶质同一溶质,在不同色谱柱上在不同色谱柱上Kovats保留指数的预测保留指数的预测 使用同一种溶质使用同一种溶质2-indanol(茚满醇茚满醇)在在20种不同相参数的固定种不同相参数的固定液上的液上的

57、Kovats保留指数，建立了六种相参数与保留指数，建立了六种相参数与2-indanol(茚满茚满醇醇)的的kovats保留指数的关系模型。原始数据如表保留指数的关系模型。原始数据如表7-4所示，所示，建模时，首先将原始数据归一化处理，使其落在建模时，首先将原始数据归一化处理，使其落在-1到到+1之间，之间，如表如表7-5所示，所示，第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）51 表表7-4 原始数据原始数据crs a b lI数组数组色谱柱色谱柱1SQU79.237.5000196.211492PHA59.1

58、85.9234.8491.8101.7199.814083PH-B261.0141.8211.5472.60151.412854PH-G94.099.6262.7513.9188.4192.414515DA-A28.769.0147.0403.10208.012766DA-B1.2109.7184.3452.60212.813207DA-G20.786.4193.9451.30209.113318TA-A107.4-75.7321.7159.00189.312709TA-B91.0145.3168.7408.20193.0131010TA-G110.4170.6130.2504.40189.8

59、133411Hydrodex27.429.8250.2388.00210.0134712Cydodex24.910.0260.3372.30210.8144813CTC-SV61.443.4220.9440.90199.5131214PBC-SV52.943.7214.6401.50202.5131815Lip-A-17.752.7233.0384.70222.0138316Lip-B80.740.6236.6418.80196.4134717Lip-C112.126.7153.3260.50188.3122018Lip-D37.0-248.5623.0290.90205.6142219Lip

60、-E38.6-190.3491.4256.70204.9136420B-1:4-19.7114.7184.7441.60218.41302crsablI第第7 7章章 神经网络模型及其应用神经网络模型及其应用( (一一) )2022-3-19化工过程动态数学模型（化工与环境学院）52数组数组色谱柱色谱柱1SQU-0.2950.365-1.0-1.0-1.00.269-1.02PHA-0.4390.596-0.2460.9140.080.3710.7153PH-B1.00.863-0.3210.839-1.0-1.0-0.0994PH-G-0.2210.661-0.1571.01.00.1611