神经网络方法环境工程大全.ppt

1、1神经网络、人工神经网络能够模仿人脑的功能，并行处理、分散存储信息，具有良好的适应性、自组织性、自学习和推理能力，表现出容错性、非线性、非局部性、非凸性等特征，识别和归纳模糊信息或复杂的非线性关系2、简称BP神经网络、误差反传播网络、BP神经网络，是目前人工神经网络最具代表性的网络，应用最广泛。 BP神经网络通常由输入层、几个隐式层和输出层组成，而最基本的BP神经网络通常由输入层、隐式层和输出层组成。 x表示网络的输入，h表示隐式层，y表示网络的输出，Wij表示输入层和隐式层之间的连接权重，Vjk表示隐式层到输出层的连接权重。 m、l、n分别表示输入层、默认层、输出层的神经元的个数。 Q1j和

2、P1j分别表示隐式层、输出层的神经元的阈值。 3、BP网络整个学习过程的一般步骤如下：网络初始化。 由(-1，1 )间的随机容量给出每个连接权重Wij和Vjk以及阈值Q1j和P1j。 将第t(t=1)个学习样本输入到图的网络中。 计算隐式层中的第j神经元输入sj和输出bj :即，等式中的： f(x )网络对应函数，并且将f(x )取作Sigmoid函数。 对第k个输出层神经元的输入Lk和输出层的输出Ck，即：进行校正，对输出层各神经元的一般化误差dk :式中：第Yk个神经元的所希望的输出进行校正。 对隐式层第j神经元的一般化误差Ej :5进行修正，调整连接权重和阈值：式中：学习速率，01。 然

3、后选择下一个训练样本对(t=2)，重复该步骤，直到完成所有样本对(t=1、2、m )的训练，完成训练样本集的训练。 6、全局误差SSE :式中：对校正m个学习样本的对数的Ykt第t个学习样本的期待输出Ckt的第t个学习样本的校正输出，如果SSE小于预先设定的误差值，则网络停止学习，除此之外，重复步骤，从而样本学习样本7、标准BP算法基于梯度下降法，通过修正目标函数修正网络权重和阈值梯度。 学习过程是通过调整权重和阈值实现期望值与神经网络输出值的平均误差最小化，仅使用平均误差函数对权重和阈值的一次导数信息。 标准梯度下降法的权重和阈值的重复过程可以表示为由、标准BP算法：网络所有权值和阈值构成的

4、向量。 学习速度、目标函数(平均误差函数)、目标函数的梯度(一次微分)、反复次数、8、BP神经网络的缺点：BP神经网络是目前应用最多的神经网络形式，但是非常不完美，所表现的学习过程在局部极小易于振荡，网络存在冗馀的连接和节点等缺陷，而且，默认层单元数和默认层节点数的决定迄今为止没有统一的方法。 9、针对上述存在的缺点，许多学者对BP网络进行了改进，大多采用基于标准梯度下降的改进方法，如附加动量法、弹性BP算法、自适应调整残奥表法等或基于标准数值优化的改进方法，如拟牛顿法、共轭梯度法和LM法等BP神经网络的改进：10，(1)基于标准数值优化的改进BP神经网络训练实质上是非线性目标函数的优化问题，

5、标准BP神经网络利用了目标函数的一阶导数信息。 这次的改良采用了“LM”法，这是基于标准数值最优化的改良方法，在利用了目标函数的一次导数信息的基础上，还利用了目标函数的二次导数信息。 改进的权重和阈值迭代过程包括： 11、衰减因子(E(X(k 1)E(X(k ) )、k 1)=10(k )，否则(k 1)=0.1(k )，其中，DH是对角矩阵，而其对角元素是h的对角元素。中的组合图层性质变更选项。 该改进方法根据世代的结果动态调整衰减系数，使每个世代的误差函数值降低，收敛速度变快。 (2)基于梯度下降的改善基准BP算法的步长是一定的，这是很难确定的，如果过小误差曲面在平坦区域收敛变慢，如果步长

6、大峡谷发生振动。 对于这样缺陷，这次采用阶梯自适应改善方法决定：式中：某个小的正数，0.01、0.03； p训练次数Ep第p次的训练误差。 另外，该方法的一个优点是克服了标准BP算法的步长难以确定的缺陷，当误差减小时，步长增加，而当误差增加时，步长减小。 这两种方法改进的BP神经网络可以克服标准BP神经网络训练速度慢、初始权重对结果影响的随机性、学习过程中容易局部陷入极小、易发生振动等缺陷。 (13 )基于人工神经网络的综合评估方法步骤：(1)确定评估指标集，指标个数是BP网络中输入节点的个数(2)确定BP网络的层数，具有1个输入层、1个隐式层、1个输出层的3层网络(4)标准化指示值；(5)用

7、随机数(一般在0-1之间的数)初始化网络节点的权重和网络阈值； 基于人工神经网络的综合评估方法步骤：(7)正向传播，各层节点的输出校正运算(8)校正各层节点的误差(9)反向传播，校正权重(10 )校正误差。 如果误差小于规定的拟合误差，则网络训练结束；否则前进到(7)，继续训练(11 )训练所得到的网络权重可用于正式评估。 神经网络在地下水环境评价中的应用、地下水环境质量评价是地下水资源评价的重要内容，根据基地水中的主要物质成分和给定的水质标准，分析地下水水质的时空分布状况和可用性，为地下水资源的开发利用、修订和管理提供科学依据。 神经网络在地下水环境评价中的应用、地下水水质评价的方法有很多，

8、例如模糊数学法、灰色聚类法、元分析法、奈美洛指数法等。 在设定模糊数学的成员资格函数、灰色簇的白化函数以及决定各评价指标的权重时，可能存在人为因素，评价模式难以通用，并且在修正运算时因过于失去信息而使评价结果与实际不一致。 尼美洛指数法数学过程简单、修正方便、物理概念清晰等，该法的主要缺点是过于强调最大污染因子，不考虑权重因子，对各污染因子均等对待等。 这些方法没有很好地解决评价因子与水质水平之间复杂的非线性关系、水体污染的模糊性和随机性，从来没有统一的评价模型。 17、神经网络在地下水环境评价中的应用、表1水质资料、18、神经网络在地下水环境评价中的应用、19、神经网络在地下水环境评价中的应

9、用得到了本次BP网络的训练样本，如表2所示。 1训练样本选择，表2地下水质量标准分类和网络期望输出值，20，神经网络在地下水环境评价中的应用，2数据的预处理，BP网络模型一般以s形函数作为转换函数，因此该函数的值域是0、1， 建议使用压缩系数法来合理压缩网络输入数据信息集，以便在网络训练时处理原始数据，并表示原始输入数据信息的差异。公式如下： T=X公式中： x原始数据压缩系数法，01，根据特定对象选择的值t变换后的数据，21，神经网络在地下水环境评价中的应用，3隐藏层和隐藏层的神经元节点数的确定，地下水环境质量评价是非线性关系由于神经网络具有接近任何非线性函数的能力，并且一般的三层BP网络模

10、型能满足大部分的非线性系统要求7-8，因此此次确定采用一个隐藏层的隐藏层神经节点数是人工神经网络建立校正中最重要的步骤现在出现的确定隐含层神经元的方法多种多样，但没有有说服力的依据，有时无效。 本论文用“实验算法”确定神经元数，经估算，最佳隐式层节点数为15个。 神经网络在地下水环境评价中的应用、4地下水环境质量评价，由于此次评价指标选择了5个评价因子，所以输入层神经节点数5个，评价等级5个，输出层神经节点数5个，隐式层神经节点数15个。 此次BP网络的拓扑是一个隐式层，神经元节点数为15个；一个输出层，神经元节点数为5个。 神经网络在地下水环境评价中的应用、4地下水环境质量评价、表3地下水环

11、境质量评价结果、24神经网络时序预测模型、时序记为Xt，其中xt=x(t )、t=0时序预测是指时序Xt的历史观测值xn，xn-1 从xn-m推定未来的n k时刻(k0)的可取值，被认为在xn，xn-1，xn-m之间有某种函数关系，能够用下式进行记述。 (1)数据预处理，BP神经网络一般以s型函数作为变换函数，由于该函数的值域为0、1，故在网络训练时处理原始数据并规范化到0、1；26，尼为了合理地压缩输入数据信息集，使数据的预处理能够表现原始输入数据信息之间的差异，本次研究采用压缩系数法，预处理数据的压缩系数法，01，基于特定对象选择的值t变换后的数据，27，神经元(2)隐藏层和隐藏层神经节点

12、数的确定神经网络具有接近任意非线性函数的能力，而且一般的三层BP网络模型可满足大部分非线性系统要求，这次研究是上述改进的BP神经网络隐藏层神经节点数的确定确定现在出现的隐含层神经元数的方法多种多样，但是没有有说服力的依据，有时是无效的。 本研究采用了默认层采用1层，确定默认层节点数采用了“试行算法”。 (3)网络结构设置校正网络结构设置校正包括确定网络的隐藏层数目、隐藏层神经节点的数目和输入/输出层神经节点的数目。 输入输出层的神经元节点数取决于实际问题。 神经网络时间序列预测模型的步骤，(4)以样本的选择时间序列作为样本集，将其分成两组，一组作为训练样本，一组作为检验样本。 训练样本的选择通常遵循样本足够多、具有代表性、样本分布均匀的原则。、30、神经网络时间序列预测模型的步骤，(5)训练网络用训练样本，训练神经网络，得到神经网络时间序列预测模型。 31、神经网络时序预测模型的步骤，(6)验证网络验证网络，预测验证时序，对验证样本进行对比，分析预测效果，效果满足精度要求，可进行长期预测。 检查方法通常采用事后预测法。 32、