基于Matlab的BP神经网络在大气污染预报中的应用

环境污染与防治 网络版 第 2 期 2007 年 2 月 1 基于基于 Matlab 的的 BP 神经网络在大气污染预报中的应用神经网络在大气污染预报中的应用 雷 蕾 1 秦 侠 姚小丽 北京工业大学 北京 100022 摘要摘要 介绍了运用 Matlab 神经网络工具箱进行 BP 神经网络设计的基本方法与过程 并将 BP 网 络模型引入到大气污染预报领域 根据 2004 年至 2005 年英国伦敦 Marylebone Road 监测站的 PM2 5监 测数值 构建并选用合适的 BP 神经网络建立了大气污染物含量的神经网络预报模型 计算结果表明 BP 模型应用于大气污染预报具有较高的预测精度和良好的泛化能力 它为信息社会的城市空气污染预 报工作提供了一种全新的思路和方法 关键词关键词 BP 神经网络 Matlab 大气污染 Application of BP neural network based on Matlab in air pollution forecasting Lei Lei Qin Xia Yao Xiaoli Beijing University of Technology Beijing 100022 Abstract The basic procedures of designing BP neural network utilizing Matlab neural network toolbox were introduced BP model was applied by the authors in the field of air pollution forecasting and a neural network forecasting model for air pollution based on the dataset of Marylebone Road London UK was set up as well the computation results showed that the BP model had good quality on forecasting precision and generalization ability Besides it provided a new method for urban air pollution forecasting Keywords BP neural network Matlab Air pollution 1974 年 WERBOS 在其博士论文中提出了第一个适合多层网络的学习算法 但该算 法并未受到足够的重视和广泛的应用 直到 20 世纪 80 年代中期 美国加利福尼亚的 PDP Parallel Distributed Procession 小组于 1986 年发表了 Parallel Distributed Processing 一书 将该算法应用于神经网络的研究 才使之成为迄今为止最著名的多层网络学习算 法 BP 算法 由此算法训练的神经网络 称之为 BP 神经网络 在人工神经网络的实 际应用中 BP 网络广泛应用于函数逼近 模式识别 分类 数据压缩等 80 90 的人 工神经网络模型是采用 BP 网络或它的变化形式 它也是前馈网络的核心部分 体现了人 工神经网络的最精华部分 1 然而 依靠操作人员的经验来建立合理的神经网络算法 编写程序仿真再到分析结 果需要很长时间的试探 并且网络结构 训练参数及训练方法的改变往往会引起程序的 改变 为设计和仿真带来很多不便 Matlab 神经网络工具箱 Neural Network Toolbox 以 神经网络理论为基础 用 Matlab 的语言构造出各种神经网络激活函数 训练函数及各种 网络集成块等 设计者通过对激活函数 网络函数等的调用 仅需写很少的源代码 即 可完成必须的科学计算 根据各种典型的修正网络权值的规则 配合网络的训练过程 用 Matlab 编写出各种网络设计与训练的子程序 网络的设计者可以根据自己的需要去调 用工具箱中有关神经网络的设计训练程序 使自己能够从繁琐的编程中解放出来 集中 精力去思考问题和解决问题 取得事半功倍的效果 1 第一作者 雷 蕾 女 硕士研究生 1982 年生 研究方向为人工神经网络在环境科学中的应用 环境污染与防治 网络版 第 2 期 2007 年 2 月 2 1 BP 神经网络设计的基本方法神经网络设计的基本方法 Matlab 的 NNbox 提供了建立神经网络的专用函数 newff 用 newff 函数来确定网络 层数 每层中的神经元数和传递函数 其语法为 net newff PR S1 S2 SN TF1 TF2 TFN BTF BLF PF 式中 PR 表示由每个输入向量的最大最小值构成的 Rx2 矩阵 Si 表示第 i 层网络的神经 元个数 TF 表示第 i 层网络的传递函数 缺省为 tansig 可选用的传递函数有 tansig logsig 或 purelin BTF 表示字符串变量 为网络的训练函数名 可在如下函数中选 择 traingd traingdm traingdx trainbfg trainlm 等 缺省为 trainlm BLF 表示字符串 变量 为网络的学习函数名 缺省为 learngdm BF 表示字符串变量 为网络的性能函数 缺省为均方差 mse newff 在确定网络结构后会自动调用 init 函数用缺省参数来初始化网络中各个权重和 阈值 产生一个可训练的前馈网络 即该函数的返回值为 net 下面针对以上各参数的确定作简要介绍 1 1 网络层数 BP 网络可以包含不同的隐层 但理论上已经证明 在不限制隐层节点数的情况下 两层 只有一个隐层 的 BP 网络可以实现任意非线性映射 在模式样本相对较少的情况 下 较少的隐层节点 可以实现模式样本空间的超平面划分 此时 选择两层 BP 网络就 可以了 当模式样本数很多时 减小网络规模 增加一个隐层是必要的 但 BP 网络隐层 数一般不超过两层 1 2 输入层节点数 输入层起缓冲存储器的作用 它接受外部的输入数据 因此其节点数取决于输入矢 量的维数 1 3 输出层节点数 输出层节点数取决于两个方面 输出数据类型和表示该类型所需的数据大小 1 4 隐层节点数 一个具有无限隐层节点的两层 BP 网络可以实现任意从输入到输出的非线性映射 但 对于有限个输入模式到输出模式的映射 并不需要无限个隐层节点 这就涉及到如何选 择隐层节点数的问题 而这一问题的复杂性 使得至今为止 尚未找到一个很好的解析 式 隐层节点数往往根据前人设计所得的经验和自己进行试验来确定 一般认为 隐层 节点数与求解问题的要求 输入输出单元数多少都有直接的关系 另外 隐层节点数太 多会导致学习时间过长 而隐层节点数太少 容错性差 识别未经学习的样本能力低 所以必须综合多方面的因素进行设计 环境污染与防治 网络版 第 2 期 2007 年 2 月 3 隐层节点数的初始值可先由以下两个公式中的其中之一来确定 2 3 lmna 1 或 2 l0 43mn0 12n2 54m0 77n0 350 51 2 式中 m n 分别为输入结点数目与输出结点数目 a 为 1 10 之间的常数 隐层结点数可根据式 1 或 2 得出一个初始值 然后利用逐步增长 先从一个较简单 的网络开始 若不符合要求则逐步增加隐层单元数到合适为止 或逐步修剪 从一个较 复杂的网络开始逐步删除隐层单元 法 1 5 传输函数 BP 网络中的传输函数通常采用 S sigmoid 型函数 x 1 f x 1 e 3 在某些特定情况下 还可能采用纯线性 pureline 函数 如果 BP 网络的最后一层 是 Sigmoid 函数 那么整个网络的输出就限制在一个较小的的范围内 0 1 之间的连续量 如果 BP 网络的最后一层是 Pureline 函数 那么整个网络的输出可以取任意值 1 6 训练方法及其参数选择 针对不同的应用 BP 网络提供了多种训练 学习方法 可供选择 在 Matlab 中训 练网络有两类模式 增加方式 incremental mode 和批处理方式 batch mode 在增加方式 中 每提交一次输入数据 权值和阈值都更新一次 增加方式更普遍的应用于动态网络 在批处理方式中 当所有的输入数据都被提交以后 权值和阈值才被更新 使用批处理 方式只需为整个网络指定一个训练函数 在样本数比较多时 批处理方式比增加方式收 敛速度快 而且许多改进的快速训练算法只能采用批处理方式 故本文只讨论批处理方 式 以批处理方式来训练网络的函数是 train 其语法主要格式为 net tr train NET p t 式中 p 和 t 分别为输入输出矩阵 NET 为由 newff 产生的要训练的网络 net 为修正后 的网络 tr 为训练的记录 训练步数 epoch 和性能 perf train 根据在 newff 函数中确定的 训练函数来训练 不同的训练函数对应不同的训练算法 详见表 1 训练时直接调用上述的函数名 调用前为下列变量赋初始值 net trainParam show 每多少轮显示一次 net trainParam lr 学习速度 net trainParam epochs 最大训练 轮回数 net trainParam goal 目标函数误差 2 BP 网络在大气污染预报中的应用实例网络在大气污染预报中的应用实例 环境污染与防治 网络版 第 2 期 2007 年 2 月 4 目前由于自动环境监测技术的发展 积累了大量环境信息 如果能找到行之有效的方法 或技术来揭示这些历史时序数据内部所隐藏的对人类有用的知识或信息 将对分析环境 状况的变化 污染源的变迁和环境管理的变革起到非常重要的作用 通过对污染物资料 的分析 发现大气污染物浓度的变化具有较强的非线性特性 要对其进行较为准确的预测 就必须采用能捕捉非线性变化规律的预报方法 传统统计预报方法或数值预报逐渐显示 出其局限 表表 1 训练算法列表训练算法列表 函数训练算法备注 traingd最速梯度下降算法收敛速度慢 网络易陷于局部极小 学习过程常发生振荡 traingdm有动量的梯度下降算法收敛速度快于 traingd traingdx学习率可变的 BP 算法收敛速度快于 traingd 仅用于批量模式训练 trainrp弹性 BP 算法用于批量模式训练 收敛速度快 数据占用存储空间小 traincgfFletcher Reeves 变梯度算法是一种数据占用存储空间最小的变梯度算法 且速度通常比 traingdx 快 得多 在连接权的数量很多时 时常选用该算法 traincgp Polak Ribi re 变梯度算法 存储空间略大于 traincgp 但对有些问题有较快的收敛速度 traincgbPowell Beale 变梯度算法性能略好于 traincgp 但存储空间较之略大 trainscg固定变比的变梯度算法比其他变梯度算法需要更多迭代次数 但无需在迭代中进行线性搜索 使每次迭代的计算量大大减小 存储空间与 traincgf 近似 trainbfgBFGS 拟牛顿算法每次迭代过程所需的计算量和存储空间大于变梯度算法 数据存储量 近似于 Hessian 矩阵 对规模较小的网络更有效 trainoss变梯度法与拟牛顿法的折中算 法 trainlmLevenberg Marquardt 算法对中等规模的前馈网络 多达数百个连接权 的最快速算法 trainbr贝叶斯归一化法可使网络具有较强的泛化能力 避免了以尝试的方法去决定最佳网络 规模的大小 性 因此笔者将 BP 神经网络引入到大气污染预报中来 用历史时序数据预测未来大气污 染水平 弥补传统预报方法的不足 有研究表明 一天中某指定时段内的 PM2 5浓度与前一日各小时平均浓度有关 虽然 污染物浓度与气象条件等多种因素密切相关 常规预测方法不可忽略 但对于三层前向 神经网络 如果输入向量为浓度历史时间序列 输入层窗宽足够大 那么网络结构本身 就包含了其他污染物和气象条件对待预测污染物浓度的影响 4 故本实例采用英国伦敦 Marylebone Road 监测站 2004 年和 2005 年 4 月 1 日 7 月 31 日的 PM2 5小时平均浓度监 测值 共 2 122 24 个数据点 进行研究 用 2004 年数据训练网络 训练好的网络用 于预测 2005 年第二日 PM2 5的 24 h 各小时平均浓度 2 1 定义输入向量和目标向量 对于每一年 都建立 2 个矩阵 即训练集输入向量矩阵 P 训练集目标向量矩阵 T 待预测输入向量矩阵 PC 和待预测目标向量矩阵 TC 每个矩阵都有 24 行 121 列 其中第 i 行 i 1 2 24 代表第 i 小时 第 j 列 j 1 2 121 代表 4 个月中 环境污染与防治 网络版 第 2 期 2007 年 2 月 5 的第 j 天 输入向量矩阵的第 j 1 列为目标向量矩阵的第 j 列 表示目标值为第二日 该小时平均浓度 一般来说 在实际应用中 由于所采集的数据跨度较大 为了便于网络训练 防止计 算过程出现 过拟合 等问题 需先将数据进行 标准化 处理 标准化方法可采用零 均值标准差标准化方法或归一化等方法 在实践中 作者发现 采用归一化方法效果较 好 注意 如果进行了这一步 则对以后 BP 网络训练输出的结果一定要进行相反的处理 过程 即将输出值还原为原量纲值 根据公式可将数据 归一化 即限定在 0 1 区间 内 归一化公式为 min maxmin k k xx x xx 4 2 2 创建 BP 网络和定义训练函数及参数 本研究采用三层 BP 网络 选取输入层节点数为 24 分别为一天 24 h 各小时平均 浓度 输出层节点数为 1 为第二日该小时 PM2 5小时平均浓度 根据前述经验公式 选取隐层节点数为 5 但通过实际应用发现网络预测性能并不理想 经分析研究后发现 对于一个具有 ni个输入 no个输出 nh个隐层节点的三层前向网络 自由度 no nh ni no 1 本例共有 121 个训练样本 ni 24 no 1 计算得隐层节点数不能大 于 4 故最终确定隐层节点数为 nh 4 对于学习算法 根据前述各种算法特点和实践 比较 选用贝叶斯归一化学习算法 2 3 训练网络并用于预测仿真 完成上述步骤后 即可编写程序用 04 年数据训练神经网络 用训练好的网络预测 05 年输入向量 仿真输出结果 并将输出结果还原为归一前量纲 为验证所建立 BP 网 络的预测性能 本研究还将预测值与待预测目标值比较 计算相对误差 结果见图 1 相对误差在 20 上下波动 结果表明 BP 网络经有效训练后应用