（环境工程专业论文）基于数据挖掘的era决策支持系统研究.pdfVIP

大连理工大学硕士学位论文 摘要 环境风险评价是环境影响评价领域中的一个重要组成部分。风险决策管理是环 境风险评价的目的，即环境风险决策管理是整个环境风险评价的最后环节。然而， 由于环境风险的复杂性，环保部门不易做出及时、准确的风险管理决策。 越来越多的城市建立起一系列基于i n t e m e t 的环境质量监测数据库，这使得大量与 环境质量相关的数据源源不断地被保存到数据库中。目前对这些数据所做的工作主要局 限于实时监测、日报、月报、年报等的生成，并在此基础上进行环境风险评价，然而， 数据的其他有用的潜在价值并没有被开发利用于环境风险管理。 为上述问题提供一个行之有效的解决方案基于数据挖掘的环境风险评价决策 支持系统，是本文研究的目的所在。本文的主要工作包括以下几个方面： 1 提出将数据挖掘技术引入环境风险评价的构想，设计了基于数据挖掘技术的环境 风险评价决策支持系统的模型与框架，并采用数据库服务器m y s q l 和开发工具v i s u a l b a s i c 、v i s u a lc + + ，实现了该系统的数据库和模型库部分。 2 设计了b p 神经网络及其改进算法的预测模型、马尔科夫模型和趋势结构序列预 测模型，并采用v i s u a lc h 和v i s u a lb a s i c 在决策支持系统中实现了所有预测模型的应 用模块。其中，对于b p 神经网络及其改进算法的预测模型，开发出基于数据库与基于 数据文件的应用模块，以适用于不同数据来源的挖掘分析。 3 为了验证该决策支持系统预测模型的有效性与可行性，本文采用济南市环境空气 质量监测数据、大连小野田水泥有限公司t s p 与s 0 2 浓度监测数据以及广东东江水质 t o c 监测数据进行了实证分析。结果表明：预测结果与实际情况基本吻合，能够大致 反映出特定环境质量的变化趋势。 综上所述，本文开发的基于数据挖掘的决策支持系统预测模型应用模块，在环境风 险管理决策中的应用是基本可行的。 关键词：数据挖掘；环境风险评价；决策支持系统；即神经网络；马尔科夫模型 基于数据挖掘的e r a 决策支持系统研究 s t u d y 0 ne r ad e c i s i o ns u p p o r t i n gs y s 自锄b a s e do nd a t am i n i n g a b s t r a c t e n v i m n m e n t a l 黜s ka s s e s s m e n t 饵r a ) i sa ni m p o n a m ta s p e c to fe n v i r o n m e i l t a li m p a c t a s s e s s m e n t ( e i a ) n l ca i mo fe n v i r o i m l e r l t a lr i s ka s s e s s m e n ti st om a k ed e c i s i o no fr i s k m a n a g e m e n t ，t h a ti st os a y ，d e c i s i o n - m a l ( i n gi s 也el a s ts t 印o fe n v i r o n i n e n t a lr i s ka s g e s s m e n t h o w e v e r ，d u et ot h ec o 珂l p i e x i 母o fe i l _ 咖珊e n t a lr i s k 。i ti sh 砌f b re l w i r o 衄a 删 d e p 矧蛾l tt om a k ep r o m p ta n dp r o p e rd e c i s i o no f e n v i r 0 瑚删r 王s km a n a g e m e n t m o r ea n dm o r ec 衔e sh a v ec r e a t e das e r i e so fe r l v i r o r l m e 删m o n i t o r i n gd a t a b a s e sb a s e d o ni n t e m e ta n dag r e a td e a ld a t aa b o u tc n v i r o m n e n t a lq u a l i 够a r ea c c 啪u l a t e di n t om e s e 出出山a s e s n o w a d a y s ，t h ed a t ap r o c e s s i n gi sl m l i t e di nr e a l t i i n em o i l i t o r i n g ，d a i l yr e p o r t ， m o n t h l yr e p o r t ，a i m u a l l yr e p o r te t c ，o nw h i c he r a i sm a i m yb a s e d ，n e v 硪k s s ，t h e1 a t e n t v a l u eo f 铂e s ed a 协h a sn o tb e e nu n e a 吡e d h lo r d e rt os o l v e 也ep r o b l e m sm e n t i o n e da b o v ee 腩c t i v e l y ，a ne r ad e c i s i o ns u p p o n i n g g y s t e mb a s e do nd a t am i l l i n gi sp r o v i d e di nm i sd i s s e m t i o n ，t h em a mt a s ko fw h i c hi n c l l l d e s m ef b l l o w i n gm r e ea s p e c t s 1 a 且i d e ao f i 曲o d u c i n gd a 忸m i 血gi n t oe r ai sb r o u g h tf b 粼嗵t h e n ，廿l em o d e l 眦d 丘醐1 e w o r ko fa i le l u d e c i s i o ns u p p o r t i r 曙s y s t e ma r ed e s i 弘e d f u n l l e n n o r e ，t h e 出【协b a s e a n dm o d e lb a s eo ft h ed e c i s i o ns u p p o n 抽gs y s t e ma r ed e v e l o p e dr e s p e c t i v e l yb yu s i l 坞 m y s q la n dv i s u a lb a s i c ，v i s u a la 斗 2 f o r e c 碰n gm o d e l so f b pn e u r a ln e t 、o r ka n di t si m p r o v e da l g o r i t h m ，m a r k o vm o d e l ， a n dt r e n ds 帆恤s e q u e t l c em o d e la r ed e s i g 皿e da n da l lm o i h 王1 e so f t h e ma r ei m p l e m e n t e db y v i r t i l eo fv i s u a lb a s i ca 1 1 dv i s u a lc + + f o rm es a k eo fa d 卸t i l l gt h em o d m e s0 fb pn e u r a l n e 椭r o r ka n di t s 油p r o v e da i g o r i m mt ov a r i o u sd a 崎s o u r c e s ，t h em o d m e sw b i c ha r e r e s p e c t i v e l l yb a s e do nd a t d b a s ea n dd a l - 且m e sh a v e b e e nd e v e l o p p e d 3 i i lo r d e rt ov 甜母m ev a l i d i 四a n df e a s i b i t yo f t h ef o r e c a s 血zm o d e l sf o r 吐i ed e c i s i o n s u p p o m n gg y s t e m ，r e c 。r d e dd a 扭o fa 主rq u a l 毋m o n i t o r i n g b mj 纽a 1 1c i t y ，r e c o r d 4 dd a t ao f t s pa n ds 0 2c o n c e n 们t i o nm o m t o r i n g 舶md a l i a l lx i a oy et i a nc o ，l t d ，a n dr e c o r d e d d a t ao ft o cc o n c e r 心a t i o nm o n i t o d n g 丘o md o n gi u v e ri ng u a l l g d o n gp r o v i n c ea r eu s e df o r c a s ea n a l y s i s t h es 砌yi n d i c a t e s 也a tr e s u n so ff o r e c a s t i n 岛州c ha r eo n 也ew h o l e c o n s i s t e n t 谢t 1 1p r a c 廿c a ls i n l a t i o n ，c a nr e n e c tm ec h 缸g h gt r e n do f 也es p e c m ce n v m m m e n t a l q 戚毋b ya n d l a r g e i naw o r d ，i ti sb a s i c a l l yf e a s i b l et o 印p l yt l l ee r ad e c i s i o ns u p p o r t i n gs y s t e mb a s e do n 出【诅m i n i n gt od e c i s i o n - m a k i n go fe n v i r ( ) m n e m a lr i s km a l l a g e r n e m 大连理工大学硕士学位论文 l ( e yw o r d s ：d a t am i i n g 回峋；e 吖i r o n m 姐t a lm s ka s s e s s m e n t r a ) ；d e c i s i o n s u p p o r t i n gs y s t e m ( d s s ) ；b pn e u r a ln e 仰o r k ；m a r k o vm o d d 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均己在论文中做了明确的说明并表示了谢意。 作者签名：j 攀垄垒 日期：区堡：! 兰星 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名兰互至i ! 导师签名：堡垒互竖 甚鲤年五月= 墨星日 大连理工大学硕士学位论文 引言 环境管理作为预防环境污染的一种手段，越来越受到人们的重视，也越来越被提出 更高的要求。环境风险评价是目前环境管理中的有效手段之一。环境风险评价 ( e n v i r o i l i n e n t a lr i s ka s s e s s m e n t ，e r a ) 是评估环境污染事件的发生概率以及在不同概 率下事件后果的严重性，并决定采取适宜的对策，主要是关心与项目联系在一起的 突发性灾难事故造成的环境危害的评价。当前环境风险评价的技术方法尚需摸索与 探讨，而建设项目环评中环境风险评价的技术方法正在不断探索发展中，甚至针对 不同的建设项目提出不同的评价方法【l 】。 目前，各城市的环境保护监测站已经建立起了一套基本完整的城市环境质量监控系 统，使得环境空气质量、重点污染源和水质的监测数据能够直接地通过i “t e m e t 网络到 达中心控制室，并保存在城市环境空气质量数据库、重点污染源监测数据库和水质监测 数据库中。这些数据库的建立，使大量的与环境质量相关的数据源源不断地被保存。目 前对这些数据所做的工作主要局限于实时监测、日报、月报、年报等的生成，并在此基 础上进行环境风险评价，然而，数据的其他有用的潜在价值并没有被开发利用于环境风 险管理。 数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识( 模型或规则) 的过程。 将数据挖掘技术引入环境风险评价，旨在从收集的特定海量环境数据中，探求出特定的 制约环境质量变化趋势的潜在规则，从而为环境风险评价工作的决策过程提供技术支 持。 本次研究采用b p 神经网络算法、马尔科夫预测模型以及趋势结构挖掘等数据挖掘 技术，设汁了基丁数据挖掘技术的环境风险评价决策支持系统，并实现了该系统的数据 库和模型库部分。该决策支持系统采用c l i e 州s e r v e r 模式的软件体系结构，为用户提供 了友好的实现多种数据挖掘算法的使用界面。用户可根据自己需要的规则模式，选择使 用特定的数据挖掘算法模块。用户只需关心对系统的输入数据与输出结果，不用干涉数 据的分析与处理过程，并且无需对挖掘出的潜在规则进行科学解释。该决策支持系统是 对收集的海量环境数据进行数据挖掘的实用工具，通过对不同环境数据库的切换选择， 可以满足复杂、多变的环境风险评价的需要，使现代环境风险评价信息管理和应用朝着 多地区、多部门、多领域的方向发展，实现了基于数据挖掘技术的面向环境风险评价的 决策支持系统的社会化与专业化。建立一个技术先进、实用性强、反应敏捷、运行可靠 的环境风险评价决策支持系统，对于掌握以环境数据为中心的信息资源，提高环境管理 的效率和决策水平。具有极其重要的意义。 基于数据挖掘的班l a 决策支持系统研究 1 数据挖掘概述 1 1 数据挖掘现状 数据挖掘面对的是海量的数据，这是数据挖掘产生的原因，怎样对这些数据进行复 杂的应用成了先进数据库技术的研究热点。数据挖掘就是从大量的数据中发现隐含的规 律性的内容，解决数据的应用质量问题。充分利用有用的数据，废弃虚伪无用的数据， 是数据挖掘技术最重要的应用。 数据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。这些信息是可 能有潜在价值的，用以支持决策，可以为企业带来利益，或者为科学研究寻找突破口。 数据挖掘的历史虽然较短，但从2 0 世纪9 0 年代以来，它的发展速度很快。数据挖掘作 为一门处理数据的新兴技术，具有许多的新特征：首先，数据挖掘面对的是海量的数据， 这也是数据挖掘产生的原因：其次。数据有可能是不完全的、有噪声的、随机的，有复 杂的数据结构，维数大；最后，数据挖掘是许多学科的交叉，运用了计算机科学、统计 学、数学等学科的技术。当前的主要功能如下： ( 1 ) 分类：按照分析对象的属性、特征，建立不同的组类来描述事物。 ( 2 ) 聚类：识别出分析对象内在的规则，按照这些规则把对象分成若干类。 ( 3 ) 关联规则和序列模式的发现：关联是某种事物发生时其他事物会发生的这样一 种联系【2 】。 ( 4 ) 偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。 ( 5 ) 预测：把握分析对象发展的规律，对未来的趋势做出预见。这也是本文建立的 环境风险评价决策支持系统所采用韵数据挖掘算法所要实现的功能。 1 2 数据挖掘的应用领域与常用模型 数据挖掘所要处理的问题，就是在庞大的数据库中找出有价值的隐藏事件，并且加 以分析，获取有意义的信息，归纳出有用的结构，作为有关部门进行决策的依据。数据 挖掘的应用领域非常广泛，常见的应用案例多发生在零售业、制造业、财务金融保险、 通讯及医疗服务。 ( 1 ) 市场销售：这是数据挖掘技术应用最早的领域。主要功能是；市场定位，消费 者分析，预测销售趋势，优化营销策略，分析库存需求，识别顾客的购买行为模式，协 助货架布置，制定促销活动时间，促销商品组合以及了解滞销和畅销商品状况等商业活 动。 大连理工大学硕士学位论文 ( 2 ) 金融：预测存、贷款趋势，优化存、贷款策略# 抽取预测模式；监督交易活动， 发现交易规则。 ( 3 ) i n t e m e t 的应用：研制新的更好的索引系统、利用已有索引系统或搜索引擎开发 高层次的搜索或发现系统。 ( 4 ) 化学、制药行业：从各种文献资料中自动抽取有关化学反应的信息，发现新的 有用化学成分，分析和解释有利于提高产品质量、功能和增加公司利润的重要数据。 ( 5 ) 遥感领域：在遥感领域针对每天从卫星上及其它方面来的巨额数据，对气象预 报，臭氧层监测等能起很大作用。 ( 6 ) 学校教育：学院分析学生历史信息，决定哪些人愿意报考何专业，发送手册给 他们；分析教师的学历、年龄、职称等与授课效果的关联规则，制定教学方案，促进教 学质量的提高。 ( 7 ) 其他应用：药房分析医师的处方，判断哪些医师愿意购买他们的产品：医师分 析病人历史和当前用药情况，不仅诊断用药而且预测潜在的问题；广告公司分析人们购 买模式，估计他们的收入和孩子数目，作为潜在的市场信息；旅游调查局分析不同团体 的旅游模式，决定不同团体之间的关联。 总之，只要该领域具有分析价值与需求的数据库，皆可利用数据挖掘技术进行有目 的的挖掘分析。对于环保领域而言，相关环境质量监测数据库的建立，已经满足数据挖 掘技术的应用条件。因此，完全能够将数据挖掘引入环境风险评价技术方法体系。 以下是常见和应用最广泛的数据挖掘算法和模型： 传统统计方法：抽样技术：我们面对的是大量的数据，对所有的数据进行分析 是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样；多元统计分析： 因子分析、聚类分析等；统计预测方法，如回归分析、时间序列分析等。 决策树：利用一系列规则划分，建立树状图，可用于分类和预测。常用的算法有 c a r t 、c h a 丑d 、i d 3 、c 4 5 、c 5 o 等【4 j 。 神经网络算法( n e u r a ln e t w o r k l i n i n ga l g o r i t h m ) ：模仿动物的神经元结构，以m p 模 型和h e b b 学习规则为基础，在本质上是一个分布式矩阵结构，通过对训练数据( 环境质 量监测数据) 的挖掘，逐步计算( 包括反复迭代或累加计算) 神经网络连接的权值，用训练 好的神经预测网络对新输入的值进行预测。 马尔科夫模型愀o vm o d e l ，m m ) ：研究某一事件的状态及状态之间的转移规律理 论的随机过程，它通过对f 0 时刻事件不同状态的初始概率及状态之间的转移概率关系， 来研究( f o + r ) 时刻状态的变化趋势。将马尔科夫模型引入环境风险评价，就是基于马尔 科夫过程，由环境质量历史统计数据预测出未来时刻环境质量的一种预测模型。 基于数据挖掘的e r a 决策支持系统研究 趋势结构序列挖掘算法m 蛐ds 仃u c n 鹏s e q u e n c ei n i n i n ga i g o 劬m ) ：把最近时间子序 列看作是时间序列的信息收集器，先把待挖掘的时间序列( 环境质量监测数据) 转换成时 序趋势结构序列，然后利用时序趋势结构序列的最近时间子序列所隐含的知识，考察时 序数据( 环境质量监测数据) 变化趋势的支持度和可信度。 除了上述的常用方法外，还有关联规则挖掘算法、粗集方法、模糊集合方法、最邻 近算法( 七n e a r e s tn e i g h b o r sm 甜l o d ，胁烈) 等。 大连理工大学硕士学位论文 2 环境风险评价技术方法研究现状与发展趋势 2 1 环境风险评价的评价流程及技术方法 环境风险评价是环境评价的一个分支，也是环境影响评价的重要内容之一。一个完 整的环境风险定量分析或评价程序一般应包括四个方面。危害识别、概率和后果估算、 风险计算和风险管理。风险决策管理是环境风险评价的目的，也就是说环境风险决策管 理是整个环境风险评价的最后一个环节( 5 】。为此，图2 1 给出了目前我国进行环境风险 评价的一般流程框图。 图2 1 环境风险评价流程框图【6 l f i g 2 1f 1 0 wc h a o f e r a 当前环境风险评价的技术方法尚需摸索与探讨，而建设项目环评中环境风险评价的 技术方法正在不断探索发展中i _ ”，甚至针对不同的建设项目提出不同的评价方法，评价 的范围仅仅局限于突发性事故。本文将数据挖掘技术引入环境风险评价，并建立基于数 据挖掘的环境风险评价决策支持系统，突破了突发性事故的局限，将评价范围扩大到非 突发性风险，是对环境风险评价的技术方法进行的研究与探索。 突发性风险，是对环境风险评价的技术方法进行的研究与探索。 基于数据挖掘的e r a 决策支持系统研究 2 2 环境风险评价国内外研究进展 环境风险评价是环境影响评价领域中的一个重要组成部分，伴随着环境影响评价工 作的深入展开，人们已经逐渐从正常事件转移到对偶然事件发生可能性的环境影响进行 风险研究 s j 。环境影响评价作为一项专业工作，最早见于莱斯特市空气污染研究。而最 早的环境风险评价的代表作则是由美国原子能委员会提出的一份“大型核电站中重大事 故的理论可能性和后果”的研究报告，其目的在于减少核电工程事故的风险损失，此后， 1 9 7 4 年由加拿大安大略省唐斯维欧市大气环境服务公司m u i mre ( 环境问题科学委员 会主席) 主笔，包括来自世界各地专家学者联合编写出版了一本关于环境影响评价的书， 这部书阐述了用概率方法探求“最佳方案”的准则 9 】。1 9 7 5 年在日本东京召开了人类环 境国际科学家大会，w a l t e r 提出环境影响评价应包括对政策的意外失误的影响分析，并 应阐述适宜的应急计划，h i l b o m 把上述概念用到渔业发展中的政策失败的后果分析中 【l0 】，这是环境风险评价的一大发展。特别是近年发生的一些灾害事故，如1 9 8 4 年在印 度博帕尔市发生的异氰酸甲酯外溢事件，1 9 9 3 年8 月在深圳清水核危险品仓库发生的特 大火灾等，更加促进了环境风险评价成为某些项目环境影响评价的重要组成部分。 目前国际上对环境风险评价问题，主要集中在针对突发性灾难事故造成的环境危害 的评价方面，包括易燃易爆和有毒物质、放射性物质的泄漏，大型技术系统的故障风险 评价常称为事故风险评价。关于事故风险评价，国际上是沿着三条线发展的【n 】。 ( 1 ) 概率风险评价( p r o b a b i l 时鼬s ka s s e s 锄e n t ，p r a ) 它是在事故发生前预测某设施( 或项目) 可能发生什么事故及可能造成的环境风险。 其最好的范例是美国核管委会( n r c ) 于1 9 7 5 年完成的对核电站所进行的极其系统的安 全研究，其研究成果就是著名的巨著w a s h 1 4 0 0 报告。该报告系统地发展和建立所谓 的概率风险评价( p r a ) 理论。 ( 2 ) 实时a 1 t i m e ) 后果评价 其主要研究对象是在事故发生期间给出实时的有毒物质的迁移轨迹及实时浓度分 布。以便作出正确的防护措施决镱，减少事故的危害。主要标志之一是国际原子能机构 ( l 墟a ) 于1 9 8 8 年l o 月于美国利物莫国力实验所召开的第一届实时剂量评价国际研讨 会。我国于1 9 8 9 1 9 9 2 年开发了我国第一套核电厂事故应急实时剂量评价系统。 ( 3 ) 事故后后果( o v 小e v e n t 或p 船ta c c i d e n t ) 评价 主要研究事故停止后对环境的影响，其主要标志是1 9 8 8 。1 9 9 4 年由k 垣a 及欧盟共 同发起主持的由2 0 多个国家的大型长期国际协调研究项目“核素在陆地、水体、城市 诸环境中迁移模式有效性研究”( 简称“v a 御”) ，主要研究前苏联切尔诺贝利核电站 泄漏事故停止后对中、西欧的影响后果。 大连理工大学硕士学位论文 目前我国开展的环境风险评价主要包括概率风险评价和事故后果评价两大类，即预 测某设施( 或项目) 建成后可能造成的风险概率和风险后果。 美国联合碳化公司在印度博帕尔市的农药厂事故和切尔诺贝利核电站事故大大刺 激并推动了环境风险评价的研究与开展。1 9 8 7 年，联合国环境规划署咖p ) 制定了阿 佩尔计划【1 2 】“地区性紧急事故的意识和防备”，欧盟甚至立法，规定对有可能发生化学 事故危险的工厂必须进行环境风险评价。i a e a 、w h o ( 世界卫生组织) 、u n e p 和 u n i d 0 ( 联合国工业发展组织) 则与1 9 8 7 年联合国组织大型国际合作研究计划“能源和 其他复杂工业体系所引起的健康与环境风险评价与管理”。2 0 世纪8 0 年代，在美国的 一些州环保局( s e p a ) ，风险评价正在成为环境影响评价的一部分。亚洲开发银行于1 9 9 0 年出版了“环境风险管理”。 在我国，2 0 世纪8 0 年代开始了对事故风险的重视与研究工作。国家环保总局于1 9 9 0 年下发第0 5 7 号文，要求对环境污染事故隐患进行环境风险评价。2 0 世纪9 0 年代在我 国的重大项目的环境影响报告中也普遍开展了环境风险评价。1 9 9 5 年，我国王勇等结合 中国石化总公司的安全评价，开展了石油化工企业环境风险评价的应用和实例研究工作 1 1 3 _ 1 4 1 。 综合这些研究进展可以看出，目前的环境风险评价尚处在研究和发展阶段，主要 表现在：没有形成统一、完善的理论体系，有些概念、原则和影响的判断标准还比 较模糊；缺乏系统、有效的评价方法学，现在的评价方法还比较初级，在评价方法、 技术和程序上都没有突破，基本上是定性的方法，因而难以满足具有复杂多样及不确 定性的环境风险评价的实际要求；相关的研究实例及经验较少，特别是环境风险评 价的标准的经验则更少；研究领域过于狭窄，突发性事故研究较多，非突发性环境 风险研究较少；评价与决策管理衔接不够，环境风险评价的最终目的是为风险决策 管理提供科学依据，但目前对这一环节缺乏系统的研究。 2 3 环境风险评价研究的国内外发展趋势 根据目前国内外环境风险评价的研究现状，可以预测环境风险评价研究的发展趋势 如下。 ( 1 ) 继续加强相关基础学科的科学研究。环境风险评价是一门多学科交叉的新兴学 科，它的发展有赖于相关基础学科的发展。今后环境风险评价将会紧随相关基础学科的 最新进展，在理论基础、机理研究和技术方法方面取得更大突破【1 5 】。 基于数据挖掘的e r a 决策支持系统研究 ( 2 ) 加强基础数据和资料的积累。各种事故发生的概率参数一般依赖于历史统计资 料【1 6 j 。由于环境风险评价的历史较短，有事故隐患的工业企业还没有足够的事故记录资 料，有些企业甚至没有开始事故记录工作，这使得事故资料的积累十分匮乏。 ( 3 ) 不确定性的处理。不确定性的定量化处理是风险评价必须解决的关键技术问题。 来源于各种外推过程的不确定性，包括物种间外推、实验室向野外外推、高剂量向低剂 量外推等。都需要准确的定量表达，但由于某些过程的机理不甚清楚，外推模型本身还 存在很多不确定性。另外，环境风险评价中的风险标准，即风险可按受水平问题，也存 在很大不确定性。如何解决这些不确定性问题，并实现定量表达，是今后环境风险评价 的主要研究方向之一。 ( 4 ) 切实开展环境风险评价的应用研究。为了使环境风险评价发挥更大作用，今 后应通过建立相应的风险管理机构、制定完善的风险评价指南等，切实开展环境风 险评价的实际应用f 埘j 。 2 4 本文研究目的与意义 鉴于目前环境风险评价研究领域的存在问题以及顺应上述环境风险评价研究的敷 展趋势，本文将数据挖掘技术作为环境风险评价的技术方法进行研究。将数据挖掘技零 应用于环境风险评价决策过程，不是为了增加一个繁琐的工作程序，而是为了提高环境 风险评价的效率和质量。 目前。传统的环境风险评价技术方法仅仅是针对突发性事故的评价，对环境风险的 历史统计进行分析与计算，进而求出风险发生的概率与后果，不能预见到未来时刻风险 发生与否。基于数据挖掘技术的环境风险评价决策支持系统封装了数据挖掘的具体实现 步骤，用户只需关心对系统的输入数据与输出结果，不用干涉数据的分析与处理过程， 并且系统的输出结果往往是采用传统的概率和数理统计方法难以探求到的潜在规则，能 够预见到未来时刻风险出现与否，具有预见性与前瞻性，从而有利于环保部门及时、准 确地做出环境风险管理决策。基于数据挖掘的环境风险评价决策支持系统是针对非突发 性风险进行的研究，突破了研究领域过于狭窄的局限。 为改变过去领导凭借经验、知识等自身素质来做决策的情况，避免主观、片面等因 素引起盼璧大失误，建立基于数据挖掘的环境风险评价决策支持系统，具有重要现实意 义。决策支持系统是以管理科学、运筹学、控制论和行为科学为基础，以计算机技术、 仿真技术和信息技术为手段，面对半结构化或非结构化的决策问题，通过对数据、信息 进行分析，利用定量与定性模型进行仿真、优化，辅助中、高级决策者解决半结构化或 非结构化决策问题的，具有定钽自行为的人机交互系统口9 】。本文设计的决策支持系统 大趣工大学硕士学位论文 能够为环保部门的决策者提供环境风险决策所需的数据、信息和背景材料，帮助明确决 策目标和进行问题识别，并对各种方案进行分析、比较和判断，为正确决策提供有益的 帮助。 此外，基于数据挖掘的环境风险评价决策支持系统在一定程度上解决了前述不确定 性的量化问题。该系统克服了各种步 推过程的不确定性的难点，其数据库能够动态收集 环境质量的变化，其数据挖掘模型库能够预测环境质量的变化趋势，实现对相关污染物 排放走势的定量表达，提前发现环境风险在未来时刻出现与否。这是引入数据库技术和 数据挖掘技术，另辟蹊径，对环境风险评价中不确定性量化的研究探索，也顺应了环境 风险评价研究融入多学科的发展潮流。 基于数据挖掘的认决策支持系统研究 3 数据挖掘相关算法模型 3 1 b p 神经网络预测模型简介 3 1 1b p 神经网络基本原理 人工神经网络是在现代神经科学研究成果基础上提出的一种数学模型，它能够模拟 和反映大脑功能，具有与大脑相似的特征，其基本特征有：通过神经元的传递，可以 对大规模的输入信息进行并行处理；容错性和健壮性，即少量的畸变缺损信息和少量 网络神经元的损坏并不影响网络的整体功能；网络的自适应性和可学习性。神经网络 的运行方式可表达为“输入一输出”或“问题一答案”的形式。 神经网络需要很长的训练时间，因此对于有足够长训练时间的应用更合适。它需要 大量的参数，这些通常靠经验确定，如网络拓扑或“结构”。由于人们很难解释蕴含在 学习权中的符号含义，神经网络常常因其可解释性差而受到批评。这些特点使得神经网 络在数据挖掘初期并不被看好。 然而。神经网络的优点包括其对噪声数据的高承受力，以及它对未经训练的数据分 类的能力，此外，最近已提出了一些由训练过的神经网络提取规则的算法。这些因素推 动了神经网络在数据挖掘分类预测方面的应用。 b p ( b a c kp r o p a g a t i o n ) 神经网络是一种利用误差反向传播算法的人工神经网络，具有 很强的自学习、自适应、抗干扰性等特点，适宜模式识别及分类。其网络结构由输入层、 中间层( 隐层) 和输出层构成，输入层接受到的信号经过隐层激活放大后再由输出层输出， 信号传递时每一层神经元通过权值只影响下一层神经元的状态。其结构模型图如图3 1 所示。 其基本原理是：先从基础数据中给出有代表性的网络输入信号( 即训练或学习样本) ， 并根据所要关心的具体问题构造出期望的目标信号( 教师样本) 输入网络，然后在网络学 习和自适应过程中，通过输入信号正向的激活放大传播和误差的反向传播，不断修改和 调整各层神经元的连接权值，使输出信号与期望目标输出信号间的误差信号减至最小， 当其值小于某一给定值时，即认为完成或训练好该神经网络，在此基础上将进行下一步 的预测或拟合。 l o 大连理工大学硕士学位论文 x l 输入层隐层 输出层 图3 1b p 人工神经网络 f i g 3 1b pa r t i n c 试n e u m ln 咖0 r k y 1 y n 3 1 2b p 算法的神经网络训练过程 1 ) 初始化 选定合理的网格结构，赋予网络各层之间节点的连接权值及隐层节点和输入层节点 闽值为( 一1 ，1 ) 之间的随机小量，选定误差p 的终止值s ，步长控制量日。 2 ) 从输入层节点输入训练样本的信息 输入信息正向传播的过程中，在隐层节点，和输入层节点七，均经过s i g m a i d 激活 函数艄= l ，( 1 + e 的作用，最后在输出层节点得到输出信息 d ，= ，( 瑚f ，) h p 0 = q ( 3 1 ) l 其中，q 为节点f 的输出，”e 寺为节点，的输入，w f 为节点f 到节点，的连接权值。 3 ) 计算产生误差g 对误差的计算采用了广义的占规则，误差函数为： e = 去( 以n ) 2 ( 3 2 ) 基于数据挖掘的e r a 决策支持系统研究 其中，n ，雎分别为输出层上节点七的实际输出( 即由网络计算得到的输出) 及期望 输出。如果b o 。，算法结束，否则， 4 ) 修改连接权值 玎觚f + 1 ) 2 啊f ) + d ( 3 3 ) 其中，彤以) 及降铽f + 1 ) 分别是时刻f 及f + 1 从节点，到节点七的连接权值，阡知是 权值的变化量。 为了使连接权值沿着e 的梯度变化方向得到改善，网络逐渐收敛，b p 算法阡知正 比于一芸生，即w m = 1 害生。其中j l 为增益因子，毒生由以下计算得到： o 、 ；m 。 洲h k鳓* 彘= 去篑 4 ， 一一 4 l 却m 讹却m 、 由h 2 莩q ，故有薏2 彘莩邓令瓯= 壶，所以有 2 1 盖2 1 瓯。， ( 3 5 ) 5 ) 计算盘，分两种情况计算： ( 1 ) 节点七是输出层的节点。此时，巩= 雎，则 驴蠹2 蠹鲁 ( 3 s )哦= _ = = 一。，( 3 6 ) 0 e l 口儿0 e 抒豪一( 以训，盏= ( 删所以 瓯= 一( 以一儿) ，。( n e 靠) = 叩( 蚊一靠) ，( ，z e ) q ( 2 ) 节点j 】 不是输出层上的节点。这表示连接权值是作用于隐层节点的， 如下计算： 瓯2 去2 毒，薏八帆， 其中，兰是一个隐函数求导问题，结果是 a d 睾= 氏 k = 所以 瓯= 厂。0 b ) 氏w k ( 3 7 ) ( 3 8 ) 此时靠按 ( 3 9 ) ( 3 1 0 ) 大连理工大学硕士学位论文 b p 神经网络的学习训练流程图，如图3 2 所示。 图3 2b p 神经网络算法流程图 f i g 3 2f 1 0 wc h a r to f n e u r a ln e 、 r o r ka l g o r i t h m 基于数据挖掘的e r a 决策支持系统研究 3 1 38 p 神经网络的改进算法 传统b p 神经网络的学习训练算法实质上是一种简单的最速下降静态寻优法，在修 正权值w ( r ) 时，只是按照f 时刻的负梯度方式进行修正，而没有考虑到以前积累的经验， 即以前时刻的梯度方向，从而常常使学习训练过程发生振荡，通常具有收敛速度慢，易 陷入局部极小值和网络推广能力不强等方面的缺附2 0 埘】。 ( 1 ) 附加动量法 该法使网络在修正其权值时，不仪考虑误差在梯度上的作用，而且考虑误差曲面上 的变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特 征。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则 可能滑过这些极小值。该方法是在反向传播法的基础上，在每一个权值的变化上添加一 项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。带有附加动 量因子的权值调节公式为： ( f 十1 ) = ( 1 一，”，7 4 p ，+ 埘c 嘞( o ( 3 1 1 ) 6 j o + 1 ) = ( 1 一m c ) 叩曩+ 聊c 6 l ( f )( 3 1 2 ) 式中f 为训练次数；w “为权值的增量；”为学习因子；磊为输出节点f 的计算误 差；力为输入节点，的计算输入；m c 为动量因子。附加动量的实质是将最后一次权值变 化的影响，通过一个动量因子来传递。当动量因子取值为l 时，新的权值变化则设置为 最后一次权值的变化，而以梯度法产生的变化部分被忽略掉。以此方法，增加动量向后， 促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平 坦区时，西变化很小，于是，4 w “件1 ) = w d ，) ，从而防止了d w f = o 出现，有助于使 网络从误差曲面局部极小值中跳出。 学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统 的不稳定；但是小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的 误差值不跳出误差曲面的低谷而最终趋于最小误差值。本论文采用自适应学习速率，使 网络根据不同的训练阶段自动调节其学习速率。通常调节学习速率的准则是：检查权值 的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小，可 以将其再增大；若不是，而产生了过调，那么就减小学习速率值。 ( 2 ) p i d 神经网络 p i d 神经网络是一种由比例( p r o p 耐i o n a l ) 、积分( i n t e g r a l ) 、微分p e r i v a t i v e ) 神经元组 成的多层b p 神经网络，具有p i d 控制和神经网络的优点。p i d 神经网络根据使目标函 数为最小的目的，通过训练自主调整网络权值，同时完成了系统的解耦和控制，具备良 大连理工大学硕士学位论文 好的解耦控制性能。p i d 神经网络解耦控制的能力来自于它的并列交叉结构和非线性映 射特征，以及其隐含层神经元的p i d 处理功能。 比例调节作用是按比例反应系统的偏差。系统一旦出现了偏差，比例调节立即产生 调节作用以减少偏差。比例作用大，可以加快调节，减少误差，但是过大的比例会使系 统的稳定性下降，甚至造成系统的不稳定。 积分调节作用是使系统消除稳态误差，提高无差度。因为有误差，积分调节就进行， 直至无差，积分调节停止，积分调节输出一常值。积分作用的强弱取决于积分时间常数， 积分时间常数越小，积分作用就越强，反之，积分时间常数越大则积分作用越弱。加入 积分调节可使系统稳定性下降，动态响应变慢。 微分调节作用反应系统偏差信号的变化率，具有预见性，能预见偏差变化的趋势， 因此能产生超前的控制作用，在偏差没有形成之前，已被微分调节作用消除。因此，微 分调节作用可以改善系统的动态性能。在微分时间选择合适的情况下，可以减少超调， 减少调节时间。微分作用对噪声干扰有放大作用，因此过强的微分调节对系统抗干扰不 利。此外，微分反应的是变化率，而当输入没有变化时，微分作用输出为零。微分作用 不能单独使用，需要与另外两种调节规律结合，组成p 控制器。 在对p d 参数进行整定时，如果能够有理论的方法确定p i d 参数当然是最理想的， 但是在实际的应用中，更多的是通过凑试法来确定p i d 的参数。在凑试时，可参考以上 对系统控制过程的影响趋势，对参数调整实行先比例后积分再微分的整定步骤。 首先整定比例部分。由比例参数由小变大，并观察相应的系统响应，直至得到反应 快、超调小的响应曲线。如果系统没有静差或者静差已经小到允许范围内，并且对响应 曲线已经满意，则只需要比例调节器即可。 如果在比例调节的基础上系统的静差不能满足设计要求，则必须加入积分环节。在 整定时将积分时间设定到一个比较大的值，然后将已调节好的比例系数略微缩小( 一般 缩小为原值的o 8 ) ，然后减小积分时间，使得系统在保持良好动态性能的情况下，静差 得到消除。在此过程中，可根据系统的响应曲线的好坏反复改变比例系数和积分时间， 以期得到满意的控制过程和整定参数。 如果在上述调整过程中对系统的动态过程反复调整还不能得到满意的结果，则可以 加入微分环节。首先把微分时间设置为o ，在上述基础上逐渐增加微分时间，同时相应 地改变比例系数和积分时间，逐步凑试，直至得到满意的调节效果。 基于数据挖掘的e r a 决策支持系统研究 3 2 马尔科夫模型简介 3 2 1 马尔科夫过程原理 马尔科夫过程是研究某一事件的状态及状态之间的转移规律理论的随机过程阎，它 通过对幻时刻事件不同状态的初始概率及状态之间的转移概率关系，来研究( ，。+ 4 ，) 时刻 状态的变化趋势。由于我们所考虑的环境系统的环境质量往往是由诸多因素影响所决定 的，其中有人为因素，也有自然环境自身的因素，而这些因素往往又具有许多的不确定 性，如所考虑环境的水环境特征( 如水环境类型、几何因素、水文、水力学要素、生化 特征等) 和污染物特征( 如污染物类型、污染源时空分布、互