自适应变步长BP神经网络在水质评价中的应用

自适应变步长自适应变步长 BP 神经网络在水质评价中的应用神经网络在水质评价中的应用 关键词 关键词 水质水质 网络网络 评价评价 水质评价水质评价 神经网络神经网络 摘摘 要 要 为克服传统的 BP 网络的不足 采用自适应变步长算法 ABPM 来训练前馈人工神经网络 根据黄河流域的大汶河水系的水质监测的数据 建立了一个对地面水质进行判别的多层前馈网络数学 模型 以地面水质七项污染指标为训练样本 对网络进行训练 并将训练好的网络用于水质进行评价 将计算结果与 BP 网络评价结果 单因子评价结果进行了比较分析 结果表明 ABPM 神经网络方法 收敛速度较快 预测精度很高 为水质评价提供了一种新方法 关键词 关键词 人工神经网络 BP 网络 自适应变步长算法 ABPM 水质评价 作者简介 黄胜伟 1965 男 安徽安庆人 副教授 博士 从事人工神经网络建模和可视化研究 由于影响水质的因素较多 目前用物理方法进行水质评价存在一些困难 70 年代我国使用的是综合 污染指标法的 硬性分级划分 目前使用的是灰色和模糊系统 如灰色集类法 模糊综合评判法 1 等 30 多年来在评价原理的科学性和实际评价结论的合理性等方面都有了长足的发展 然而 灰色和模 糊系统两大类方法都仍然存在一些缺陷 如都需要设计若干不同的效用函数 灰色系统的白化函数 模糊数学的隶属函数等 以及人为地给定各评价指标的权重 或权函数 等 这些效用函数和指标权 重的给定往往因人而异 造成评价模式难以通用 而且增加了应用的困难和人为臆断因素对结论的影 响 事实上 在评价指标确定后 水质评价的过程是把这些指标的监测值与标准值进行比较和分析 在此基础上判断其与哪一级分类标准更接近 因此 水质综合评价属于模式识别问题 当前 迅速发 展的人工神经网络已在模式识别中广泛应用 2 人工神经网络是近几年来发展起来的一门新兴学科 它是一种大规模并行分布处理的非线性系统 可以处理那些难以用数学模型描述的系统 可以逼近任何非线性的特性 具有很强的自适应 自学习 联想记忆 高度容错和并行处理能力 使得神经网络理论的应用已经渗透到了各个领域 近年来 人 工神经网络在水质分析和评价中的应用越来越广泛 并取得良好效果 2 在这些应用中 纵观应用于 模式识别的神经网络 BP 网络是最有效 最活跃的方法之一 笔者根据黄河流域大汶河水系水质监测的条件 建立了一个对地表水质进行判别的多层前馈网络 数学模型 以地表水质 7 项污染指标为训练样本 利用自适应变步长 BP 神经网络 即 ABPM 网 进 行训练 并将训练好的网络来对水质进行评价 1 BP 算法及其改进 1 1 BP 网络特点网络特点 多层前向网络的权值学习常采用误差逆传播学习算法 Error Back Propagation 简称 BP 为了简单起见 将采用这一学习算法进行训练的多层前向网络简称为 BP 网络 在具体应用该 网络时分为网络训练及网络工作 2 个阶段 在网络训练阶段 根据给定的训练模式 按照 模式的顺 传播 误差逆传播 记忆训练 学习收敛 4 个过程进行网络权值 包括阈值 的训练 2 在网 络的工作阶段 根据训练好的网络权值及给定的输入向量 按照 模式顺传播 方式求得与输入向量相 对应的输出向量的解答 BP 算法是一种比较成熟的有指导的训练方法 是一个单向传播的多层前馈网络 它包含输入层 隐含层 输出层 同层节点之间不连接 输入信号从输入层节点 依次传过各隐含层节点 然后传到 输出层节点 每一层节点的输出只影响下一层节点的输入 网络训练目标是使误差函数 E 最小 E 的 定义如下 式中 E 为网络输出误差 P 代表第 P 个样本 j 为输出单元数 tjp为单元期望输出 Ojp 为单元的 实际输出 tjp Ojp 2输出层第 j 个神经元在模式 P 作用下的实际输出和期望输出之差的平方 1 2 BP 算法存在的问题算法存在的问题 BP 算法的基本形式为 3 W k 1 W k D k 2 式中 W k 为时刻的权值 为学习率 k 为 k 时刻的负梯度 用三层 BP 网络可以任意逼近任何连续函数 但是它主要存在如下缺点 1 从数学上看 它可 归结为一非线性的梯度优化问题 因此不可避免地存在局部极小问题 2 学习算法的收敛速度慢 通常需要上千次或更多 3 络结构为前向结构 没有反馈连接 因此它是一非线性映射系统 1 3 BP 算法的改进 算法的改进 ABPM 算法 算法 由于 BP 算法存在以上的缺陷 因而用 BP 网络训练网络时常常会 出现收敛慢 振荡和陷入局部极小等问题 因此 采用引入动量项的自适应变步长来调整学习率的改 进算法 即 ABPM 算法 自适应变步长算法和常规 BP 算法的主要区别在于学习步长 随误差曲面的变化而进行调整 由 于 BP 网络的逼近误差曲面的梯度变化是不均匀的 即 k 在不同的位置大小不同 如果采用 固定的步长 当 较小时 在误差曲面较平坦的区域 收敛较慢 当步长 较大时 又会在峡谷区域 引起振荡 自适应变步长算法正是针对步长的缺陷提出来的 这种算法是以进化论中的进退法为理论 基础的 即连续两次观测训练的误差值 如果误差下降则增大学习率 误差的反弹在一定的范围内 则保持步长 误差的反弹超过一定限度则减小学习率 学习率的调整可用如下公式进行描述 W k 1 W k k 1 D k D k 1 3 其中 k 2 k 1 sign D k D k 1 式中 k 为 k 时刻的 学习率 它是 k 1 时刻学习率的函 数 是动量因子 用来抑制振荡 确定好网络结构和训练算法后 就可以利用输入输山样本对网络进行训练 即按照式 3 对网 络权值进行调整 当达到期望的输出时训练即告完成 否则继续调整权值 2 水质评价的 ABPM 模型 对于水质综合评价的 ABPM 神经网络来说 其训练样本即为水质分级标准 网络训练完成后 将网络对分级标准学习的知识和有关信息保存下来 然后输入待评价样本资料得到有关评价结论的信 息 从而根据一定的规则作出有关评价结论的判断 2 1 输入层神经元数和输入模式向量输入层神经元数和输入模式向量 设有需分级评价的水质样本 n 个 对每个样本 本文取如下 7 项污染指标监测 值 溶解氧 DO 五日生化需氧量 BOD5 挥发酚 氰化物 CN 汞 Hg 砷 As 六价镉 Cr 6 等 国家行业规范规定 根据相应于这 7 项污染指标下的水质标准浓度将 水质划分为 5 个等级 由于取 7 项污染指标数 即取每一份水样有 7 项污染指标监测值 因而输入层神经元的节点数为 7 若某一流域需监测断面 m 个 现每一断面取一份水样 则网络的输 入模式向量为 Xk x1 x2 x7 k 1 2 m 4 式中 m 为学习样本个数 2 2 隐层和隐层神经元数的确定隐层和隐层神经元数的确定 水质评价是一个非线性关系较为复杂的问题 考虑到既满足精度要 求 又要尽可能减少学习费用 一个隐含层足够了 下面主要确定隐单元个数 采用 试错法 确定隐层单元数 首先给定较小初始隐单元数 构成一个结构较小的 BP 网络进行 训练 如果训练次数很多或者在规定的训练次数内没有满足收敛条件 停止训练 逐渐增加隐单元数 形成新的网络重新训练 作为算例 对文献 4 的数据 分别采用 BP ABPM 网络训练方法 经过 50 次试验获得训练最大次数和最小次数与隐单元的关系如表 1 其中初始权值和阈值是用 Matlab 中 rand 函数产生均匀分布随机数矩阵 控制误差 一般根据实际情况而定 暂定为 0 0001 表 1 网络的训练次数与隐单元数的关系 表中 INF 代表无穷多次 468101215 最小最大最小最大最小最大最小最大最小最大最小最大 隐单 元数 次数次数次数次数次数次数次数次数次数次数次数次数 BP 网 络 8700INF6860INF36002650026802100022001620015808180 ABPM 网络 103INF138558993398285312021821141402368 由表 1 可以看出 当隐含单元数小于 8 时 网络易陷入局部极小 难以达到所要求的精度 表 1 中表示为 TNF 当隐含单元数为 8 12 时 训练次数明显减少 再增加隐含单元数对训练次数影响 不大 由此可以看出 选取隐单元数的最佳值为 8 12 2 3 水质评价的神经网络模型 针对水质综合评价是个非线性关系较为复杂的问题 笔者建立了一个 含有 7 个输入神经元节点 10 个隐含神经元节点和 5 个输出神经元节点的人工神经网络 如图 1 所 示 2 4 学习样本和期望输出学习样本和期望输出 对于水质综合评价的 RBF 神经网络来说 其训练样本即为地面水质分级标 准 表 1 为国家地面水环境质量标准 GHZB1 1999 因而也为 RBF 网络的训练样本 对每一类水 质 期望输出值见表 1 所示 表 1 地表水环境质量标准浓度值和网络希望输出值 污染指标 溶解氧 生化需氧 量 挥发酚氰化物汞 Hg 砷 As 六价铬希望输出值 类9 02 00 0010 0050 000050 050 011 0 0 0 0 类6 03 00 0020 050 000050 050 050 1 0 0 0 类5 04 00 0050 20 00010 050 050 0 1 0 0 类3 06 00 010 20 0010 10 050 0 0 1 0 类2 010 00 10 20 0010 10 10 0 0 0 1 2 5 样本的规范化处理样本的规范化处理 通过实践 选用下述规范化方法 效果更好 即 5 6 式 5 和 6 中 分别为原始资料的第 P1个实际样本的第 i 个输入值和第 j 个期望输出值 分别为规范化后第 P1个样本的第 i 个输入值和第 j 个期望输出值 xi max xi min分别为样本中第 i 个 输入的最大和最小值 tj max tj min分别为样本中第 j 个期望输出的最大和最小值 由式 5 和 6 规范化的 教师值域仍在 0 1 之间但不包括 0 和 1 3 应用实例 对黄河流域的大汶河水系进行评价 黄河流域的大汶河水系设立了东周 雪野等 9 个水质监测站 对 1991 1993 年间每年分别在丰 平 枯水期取样监测 各断面指标实测浓度的平均值列于表 2 表 2 1991 1993 年黄河流域的大汶河水系 9 个监测站水质浓度平均值和水质 3 种评价方法结果 ABPMBP 网络 单 因 子 断面溶解 氧 生化需 氧 挥发酚 氰化 物 汞 Hg 砷 As 六价 铭 网络 评 评价评 价 mg l 量 mg l mg l mg l mg l mg l mg l ABPM 网络训练结果 价结 果 结果结 果 东周13 11 00 00 00 00 001 0 002 1 088 0 099 0 004 0 000 0 004 类 类 类 雪野12 71 50 00 00 00 00 001 1 087 0 097 0 003 0 000 0 005 类 类 类 莱芜8 029 40 0080 00 00 010 00080 002 0 002 0 001 0 0020 998 类 类 类 羊流12 41 50 00 00 00 00 01 087 0 097 0 004 0 000 0 005 类 类 类 临汶8 49 00 0160 00 0009 0 012 0 00 002 0 036 0 226 0 805 0 077 类 类 类 北望6 037 50 0590 018 0 0009 0 016 0 001 0 0020 002 0 001 0 002 0 998 类 类 类 戴村9 27 80 0630 012 0 000440 076 0 00 018 0 131 1 102 0 007 0 001 类 类 类 白楼8 011 40 0390 048 0 000380 092 0 003 0 004 0 000 0 001 1 053 0 048 类 类 类 石汶12 50 80 00 00 00 001 0 01 088 0 099 0 004 0 000 0 005 类 类 类 图 2 ABPM 网络训练次数与网络输出误差关系 3 1 ABPM 网络训练结果网络训练结果 取动量因子 0 3 初始学习率 1 0 01 随机赋予 ABPM 网络的初始 权值和阈值 控制误差取为 0 0001 利用上述 ABPM 神经网络和标准 BP 神经网络进行网络训练 并 将其评价结果与单因子评价结果比较 如表 2 所示 图 2 为地表水水质评价的 ABPM 网络训练次数与网络输出误差 E 变化规律 图 3 为 ABPM 网络 训练次数与学习率 k 变化规律 图 4 为地表水水质评价的标准 BP 神经网络训练次数与网络输出误差 E 变化规律 图 3 ABPM 网络训练次数与学习率 k 变化规律图 4 标准 BP 网络训练次数与网络输出误差关系 3 2 结果分析结果分析 表 3 中的评价结果表明 ABPM 网络方法与 BP 网络方法对水质评价结果是一致 但同 单因子评价结果相比 在戴村断面和白楼断面的水质评价结果有一些偏差 其原因为戴村断面水质 7 项中单项因子有 2 项达 类 1 项达 类 2 项达 类 2 项达 类 因而综合考虑定为 类较为合 理 白楼断面水质 7 项中单项因子有 1 项达 类 5 项达 类 l 项达 类 因而综合考虑定为 类 较为合理 自适应变步长 BP 神经网络方法有以下特点 1 ABPM 算法是以进化论中的进退法为理论基础 通过自适应变步长避免了 BP 网络收敛慢 易引起局部振荡等缺点 从图 2 和图 4 对比可以看出 用 APBM