神经网络方法环境工程

1、1 BP神经网络神经网络 X1 X2 Xi Xm Y1 Yk Yn H1 H2 Hj Hl Wij Vjk 输 入 层 隐 含 层 输 出 层 误差反向传播网络（误差反向传播网络（Back Propagation Network），简称），简称 BP神经网络，是目前人工神经网神经网络，是目前人工神经网 络最具有代表性的一种网络，应络最具有代表性的一种网络，应 用最为广泛。用最为广泛。BP神经网络通常由神经网络通常由 输入层、若干隐含层和输出层组输入层、若干隐含层和输出层组 成，最基本的成，最基本的BP神经网络通常由神经网络通常由 一个输入层、一个隐含层和一个一个输入层、一个隐含层和一个 输出层

2、组成。输出层组成。 X表示网络的输入、表示网络的输入、H表示隐含层、表示隐含层、Y表示网络的输出，表示网络的输出，Wij表示表示 输入层与隐含层之间的连接权值，输入层与隐含层之间的连接权值，Vjk表示隐含层到输出层的连表示隐含层到输出层的连 接权值。接权值。m、l、n分别表示输入层、隐含层、输出层神经元的分别表示输入层、隐含层、输出层神经元的 个数。个数。Q1j和和P1j分别表示隐含层、输出层神经元的阈值。分别表示隐含层、输出层神经元的阈值。 2 BP网络整个学习过程的一般步骤如下网络整个学习过程的一般步骤如下 ： 网络初始化。给各连接权值网络初始化。给各连接权值Wij、Vjk及阈值及阈值Q1

3、j、P1j 赋予（赋予（-1，+1）间的随机量。）间的随机量。 将第将第t（t=1）个学习样本输入到图的网络中。）个学习样本输入到图的网络中。 计算隐含层第计算隐含层第j神经元输入神经元输入sj和输出和输出 bj ：，即：，即： ), 2 , 1( 1 1 ljQxWs m i jitijj ), 2 , 1()(ljsfb jj 式中：式中： f（x）网络相应函数，取网络相应函数，取f（x）为）为Sigmoid函数，函数， 即即 。 x e xf 1 1 )( 3 计算输出层第计算输出层第k神经元的输入神经元的输入Lk和输出层的输出和输出层的输出Ck， 即：即： ), 2 , 1( 1 1

4、nkPBVL l j kjjkk ), 2 , 1()(nkLfC kk 计算输出层各神经元的一般化误差计算输出层各神经元的一般化误差dk： ), 2 , 1()1 ()(nkCCCYd kkkkk 式中：式中：Yk第第k神经元的期望输出。神经元的期望输出。 计算隐含层第计算隐含层第j神经元的一般化误差神经元的一般化误差Ej： n k jjjkkj ljbbVdE 1 ), 2 , 1()1 ()( 4 调整连接权值和阈值：调整连接权值和阈值： ), 2 , 1;, 2 , 1(nkljbdV jkjk ), 2 , 1( 1 nkdV kk ), 2 , 1;, 2 , 1(ljmixEW

5、ikjij ), 2 , 1( 1 ljEQ jj 式中：式中：学习速率，学习速率，01。 选取下一个训练样本对（选取下一个训练样本对（t=2），重复步骤，直至），重复步骤，直至 所有样本对（所有样本对（t =1，2，m）训练完毕，即完成了训练样）训练完毕，即完成了训练样 本集的一轮训练。本集的一轮训练。 5 计算全局误差计算全局误差SSE： 2/)( 2 11 M t n k t k t k CYSSE 式中：式中：M学习样本的对数；学习样本的对数； Ykt第第t对学习样本的期望输出；对学习样本的期望输出； Ckt第第t对学习样本的计算输出对学习样本的计算输出 如果如果SSE小于预先设定的一

6、个误差值，则网络停小于预先设定的一个误差值，则网络停 止学习；否则将重复步骤，进行样本学习样止学习；否则将重复步骤，进行样本学习样 本集的下一轮训练。本集的下一轮训练。 6 标准标准BP算法是基于梯度下降法，通过计算目标函数对网络权算法是基于梯度下降法，通过计算目标函数对网络权 值和阈值的梯度进行修正。学习过程是通过调整权重和阈值值和阈值的梯度进行修正。学习过程是通过调整权重和阈值 使期望值和神经网络输出值的均方误差趋于最小实现的，只使期望值和神经网络输出值的均方误差趋于最小实现的，只 用到均方误差函数对权值和阈值的一阶导数信息。用到均方误差函数对权值和阈值的一阶导数信息。 标准梯度下降法权值

7、和阈值的迭代过程可表示为标准梯度下降法权值和阈值的迭代过程可表示为 ： 标准标准BP算法：算法： )()() 1(kXEkXkX 由网络所有权值和阈值所形成的向量。由网络所有权值和阈值所形成的向量。 学习速率学习速率 目标函数目标函数(均均 方误差函数方误差函数) 目标函数的梯度目标函数的梯度 (一阶导数一阶导数) 迭代次数迭代次数 7 BP神经网络的缺点：神经网络的缺点： BP神经网络是目前应用最多的一种神经网络形式，但不神经网络是目前应用最多的一种神经网络形式，但不 是非常完美，是非常完美， 表现出结构确定的人为性、训练速度慢以表现出结构确定的人为性、训练速度慢以 及初始权值对结果影响的随

8、机性等缺陷；存在学习过程及初始权值对结果影响的随机性等缺陷；存在学习过程 易陷入局部极小、易出现震荡和网络存在冗余连接或节易陷入局部极小、易出现震荡和网络存在冗余连接或节 点等缺陷；另外，隐含层单元数及隐含层结点数的确定点等缺陷；另外，隐含层单元数及隐含层结点数的确定 至今没有统一的方法。至今没有统一的方法。 8 对于上述存在的缺点，许多学者对对于上述存在的缺点，许多学者对BP网络进行了改进，网络进行了改进， 大多采用基于标准梯度下降的改进方法，如附加动量法、大多采用基于标准梯度下降的改进方法，如附加动量法、 弹性弹性BP算法、自适应调整参数法等或基于标准数值优化算法、自适应调整参数法等或基于

9、标准数值优化 的改进方法，如拟牛顿法、共扼梯度法和的改进方法，如拟牛顿法、共扼梯度法和LM法等，并没法等，并没 有将两种改进方法结合起来。有将两种改进方法结合起来。 BP神经网络的改进：神经网络的改进： 9 （1）基于标准数值优化的改进）基于标准数值优化的改进 BP神经网络的训练实质上是非线性目标函数的优化问题，神经网络的训练实质上是非线性目标函数的优化问题， 标准标准BP神经网络利用了目标函数的一阶导数信息。本次改神经网络利用了目标函数的一阶导数信息。本次改 进采用进采用“LM”法，它是基于标准数值优化的改进方法，在利法，它是基于标准数值优化的改进方法，在利 用目标函数的一阶导数信息的基础上

10、，还利用了目标函数的用目标函数的一阶导数信息的基础上，还利用了目标函数的 二阶导数信息。二阶导数信息。 改进后的权值和阈值的迭代过程表示为：改进后的权值和阈值的迭代过程表示为： )( 2)() 1( 1 kXEDHkXkX H DH是对角矩阵，其对角元素为是对角矩阵，其对角元素为H的对角元素；的对角元素； 10 阻尼因子（若阻尼因子（若E(X(k+1)E(X(k), (k+1)=10(k)；否则；否则 (k+1)=0.1(k)）。）。 该改进方法根据迭代的结果动态地调整阻尼因子，使每次该改进方法根据迭代的结果动态地调整阻尼因子，使每次 的迭代误差函数值都有所下降，收敛速度快。的迭代误差函数值都

11、有所下降，收敛速度快。 （2）基于梯度下降的改进）基于梯度下降的改进 标准标准BP算法的步长算法的步长是定值，这就导致了是定值，这就导致了难以确定，若难以确定，若过过 小，在误差曲面较平坦的区域，收敛较慢；当步长小，在误差曲面较平坦的区域，收敛较慢；当步长较大时，较大时， 又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长 自适应改进方法确定自适应改进方法确定，即：，即： 1 1 )()1 ( )()1 ( ) 1( pp pp EEp EEp p 式中：式中：某一小正数，某一小正数， 0.01，0.03； p训练次数训练次数 Ep第第p次的训

12、练误差。次的训练误差。 11 该方法的优点是当误差减小时步长相应增大，当误差增大该方法的优点是当误差减小时步长相应增大，当误差增大 时步长相应减小，克服了标准时步长相应减小，克服了标准BP算法步长难以确定的缺陷。算法步长难以确定的缺陷。 采用这两种方法改进的采用这两种方法改进的BP神经网络能克服标准神经网络能克服标准BP神经网络神经网络 训练速度慢、初始权值对结果影响的随机性、在学习过程易训练速度慢、初始权值对结果影响的随机性、在学习过程易 陷入局部极小、易出现震荡等缺陷。陷入局部极小、易出现震荡等缺陷。 12 基于人工神经网络的综合评价方法步骤基于人工神经网络的综合评价方法步骤 （1）确定评

13、价指标集，指标个数为BP网络中输入节点的个数； （2）确定BP网络的层数，一般采用具有一个输入层，一个隐 含层和一个输出层的三层网络模型结构； （3）明确评价结果输出层的节点数为1; （4）对指标值进行标准化处理； （5）用随机数（一般为0-1之间的数）初始化网络节点的权值 与网络阈值； （6）将标准化以后的指标样本值输入网络，并给出相应的期 望输出； 13 基于人工神经网络的综合评价方法步骤基于人工神经网络的综合评价方法步骤 （7）正向传播，计算各层节点的输出； （8）计算各层节点的误差； （9）反向传播，修正权重； （10）计算误差。当误差小于给定的拟合误差，网络训练结束； 否则转到（7）

14、，继续训练； （11）训练所得网络权重就可以用于正式的评价。 14 神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用 地下水环境质量评价是地下水资源评价的一项重要内容，地下水环境质量评价是地下水资源评价的一项重要内容， 它根据地下水中主要物质成分和给定的水质标准，分析地下水它根据地下水中主要物质成分和给定的水质标准，分析地下水 水质的时空分布状况和可用程度，为地下水资源的开发利用、水质的时空分布状况和可用程度，为地下水资源的开发利用、 规划和管理提供科学依据。规划和管理提供科学依据。 15 神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用 地下水水质评价的方法有

15、很多地下水水质评价的方法有很多,如模糊数学法、灰色聚类法、如模糊数学法、灰色聚类法、 物元分析法、内梅罗指数法等。在设计模糊数学的隶属度函数、物元分析法、内梅罗指数法等。在设计模糊数学的隶属度函数、 灰色聚类的白化函数时及在确定各评价指标的权重时，都存在灰色聚类的白化函数时及在确定各评价指标的权重时，都存在 着人为因素，造成评价模式难以通用，而且也存在着在计算时着人为因素，造成评价模式难以通用，而且也存在着在计算时 丢失信息太多而使评价结果与实际不符。内梅罗指数法数学过丢失信息太多而使评价结果与实际不符。内梅罗指数法数学过 程简捷，运算方便，物理概念清晰等，该方法的主要缺点是过程简捷，运算方便

16、，物理概念清晰等，该方法的主要缺点是过 于突出最大污染因子，未考虑权重因素，对各污染因子等同对于突出最大污染因子，未考虑权重因素，对各污染因子等同对 待等。这些方法并没有很好解决评价因子与水质等级间复杂的待等。这些方法并没有很好解决评价因子与水质等级间复杂的 非线性关系，以及水体污染的模糊性与随机性，至今还没统一非线性关系，以及水体污染的模糊性与随机性，至今还没统一 的评价模型。的评价模型。 16 神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用 表表1 水质资料水质资料 17 神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用 18 神经网络在地下水环境评价中的

17、应用神经网络在地下水环境评价中的应用 I类水的标准界值为类水的标准界值为I类水的分级代表值，类水的分级代表值，类水的分级代表值为类水的分级代表值为I类水和类水和类类 水标准界值的中值，其余依次类推，将水标准界值的中值，其余依次类推，将 类水或类水或类水的界值作为类水的界值作为类水的类水的 分级代表值。得到本次分级代表值。得到本次BP网络的训练样本，见表网络的训练样本，见表2。 1 训练样本选择训练样本选择 表表2 地下水质量标准分级类别和网络期望输出值地下水质量标准分级类别和网络期望输出值 19 神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用 BP网络模型一般以S形函数作为转

18、换函数，该函数的值域为0，1， 因此在网络训练时 要将原始数据进行处理，规范到0，1之间，常用的数据预处理 方法主要有标准化法、重新标法、变换法、比例压缩法、压缩系 数法。 为了实现将网络输入数据信息集进行合理的压缩，又能够体现原 始输入数据信息之间的差别，建议使用压缩系数法。公式如下： T=X 式中：X原始数据；压缩系数法，00）的取值进行估计，可以认 为xn，xn-1，xn-m之间存在有某种函数关系，可用下式描述： ),( 1mnnnkn xxxFx 24 神经网络时间序列预测模型的步骤神经网络时间序列预测模型的步骤 神经网络预测时间序列的方法就是用神经网络来拟合某一时间神经网络预测时间序

19、列的方法就是用神经网络来拟合某一时间 序列的函数序列的函数F()，然后将之用于时间序列的预测。建立神经网，然后将之用于时间序列的预测。建立神经网 络时间序列预测模型有以下几个步骤：络时间序列预测模型有以下几个步骤： （1）数据的预处理）数据的预处理 BP神经网络一般以神经网络一般以S型函数作为转换函数，该函数的值域为型函数作为转换函数，该函数的值域为 0，1，因此在网络训练时要将原始数据进行处理，规范到，因此在网络训练时要将原始数据进行处理，规范到 0，1之间，常用的数据预处理方法主要有标准化法、重新之间，常用的数据预处理方法主要有标准化法、重新 标法、变换法、比例压缩法、压缩系数法。标法、变

20、换法、比例压缩法、压缩系数法。 25 神经网络时间序列预测模型的步骤神经网络时间序列预测模型的步骤 （1）数据的预处理）数据的预处理 为了实现将输入数据信息集进行合理的压缩，又能够体为了实现将输入数据信息集进行合理的压缩，又能够体 现原始输入数据信息之间的差别，本次研究采用压缩系数法，现原始输入数据信息之间的差别，本次研究采用压缩系数法， 对数据进行预处理，公式如下：对数据进行预处理，公式如下： T=X 式中：式中：X原始数据；原始数据； 压缩系数法，压缩系数法，00.950.800.700.65 不合格不合格0.700.65 35 神经网络时间序列预测模型的步骤神经网络时间序列预测模型的步骤

21、 （7）预测）预测 利用所得到的神经网络时间序列预测模型，进行各种序利用所得到的神经网络时间序列预测模型，进行各种序 列的长期预测。列的长期预测。 36 BP神经网络神经网络 X1 X2 Xi Xm Y1 Yk Yn H1 H2 Hj Hl Wij Vjk 输 入 层 隐 含 层 输 出 层 误差反向传播网络（误差反向传播网络（Back Propagation Network），简称），简称 BP神经网络，是目前人工神经网神经网络，是目前人工神经网 络最具有代表性的一种网络，应络最具有代表性的一种网络，应 用最为广泛。用最为广泛。BP神经网络通常由神经网络通常由 输入层、若干隐含层和输出层组输

22、入层、若干隐含层和输出层组 成，最基本的成，最基本的BP神经网络通常由神经网络通常由 一个输入层、一个隐含层和一个一个输入层、一个隐含层和一个 输出层组成。输出层组成。 X表示网络的输入、表示网络的输入、H表示隐含层、表示隐含层、Y表示网络的输出，表示网络的输出，Wij表示表示 输入层与隐含层之间的连接权值，输入层与隐含层之间的连接权值，Vjk表示隐含层到输出层的连表示隐含层到输出层的连 接权值。接权值。m、l、n分别表示输入层、隐含层、输出层神经元的分别表示输入层、隐含层、输出层神经元的 个数。个数。Q1j和和P1j分别表示隐含层、输出层神经元的阈值。分别表示隐含层、输出层神经元的阈值。 3

23、7 阻尼因子（若阻尼因子（若E(X(k+1)E(X(k), (k+1)=10(k)；否则；否则 (k+1)=0.1(k)）。）。 该改进方法根据迭代的结果动态地调整阻尼因子，使每次该改进方法根据迭代的结果动态地调整阻尼因子，使每次 的迭代误差函数值都有所下降，收敛速度快。的迭代误差函数值都有所下降，收敛速度快。 （2）基于梯度下降的改进）基于梯度下降的改进 标准标准BP算法的步长算法的步长是定值，这就导致了是定值，这就导致了难以确定，若难以确定，若过过 小，在误差曲面较平坦的区域，收敛较慢；当步长小，在误差曲面较平坦的区域，收敛较慢；当步长较大时，较大时， 又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长 自适应改进方法确定自适应改进方法确定，即：，即： 1 1 )()1 ( )()1 ( ) 1( pp pp EEp EEp p 式中：式中：某一小正数，某