硕士论文-基于数据仓库的区域环境质量预测研究.doc

工程硕士学位论文 ENGINEERING MASTER DISSERTATION 论 文 题 目：基于数据仓库的区域环境质量预测研究 工 程 领 域： 计算机技术 指 导 教 师： XXX 作 者 姓 名： XXX 班 学 号： XXX - 2 - 分类号 密级 UDC 学 位 论 文 基于数据基于数据仓库仓库的区域的区域环环境境质质量量预测预测研究研究 （题名和副题名） XXXXX （作者姓名） 指导教师姓名 XXXX 副教授副教授 XXXXXXXX XXX （职务、职称、学位、单位名称及地址） 申请学位级别 硕硕士士 专业名称 计计算机技算机技术术 论文提交日期 论文答辩日期 学位授予单位和日期 答辩委员会主席 评阅人 年 月 日 3 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作明确的说明并 表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全解电子科技大学有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘要 I 摘 要 随着经济的多元化迅猛发展，呈现出的环境问题错综复杂,虽然建立了各类 环保信息管理系统， 但各系统独自完成日常的业务处理工作。由于系统之间的 数据不一致，没有形成一个全面、集成的数据环境，各个信息系统之间沟通不畅， 信息共享不能实现，无法满足环境管理决策与数据分析的要求。因此，本文利用 基于数据仓库的区域环境质量预测技术有效解决现代环境管理的业务要求及环境 决策分析管理要求。 本文在研究数据仓库技术、数据挖掘技术、决策支持技术和相关理论基础上， 对系统实现的主要关键技术进行了探讨。针对环境管理用户需求进行系统分析， 搭建出基于数据仓库的区域环境质量预测系统结构，并对系统中数据仓库、OLAP 和数据挖掘部分进行了相应的设计。在系统实施上，将环境管理行业经验与数据 挖掘方法密切结合，体现了系统的适用性、先进行与可扩展性。 本研究利用 XXX 环保局现有的业务管理系统的元数据，建立区域环境质量分 析模型。通过对区域环境质量的变化趋势进行预测分析，为全市环境管理、新项 目建设提供决策依据和规划方向，并实现对重大环境事件的预测、预警，提高环 保局环境管理水平，为领导决策提供准确的数据依据，为城市建设规划及环境管 理工作提供数据支撑。 关键词：关键词：环境信息系统；决策分析；质量预测 ABSTRACT II ABSTRACT With the burgeoning development of the diversified economy, a great numbe r of complicated environmental problems have emerged.In order to tackle the pro blems, we have established various environmental information management syste ms, but each system deals with its daily business processing work separately. Du e to the inconsistency of the data in different systems, the lack of a comprehens ive and integrated data environment,as well as the difficulty in information excha nge among different systems, smooth information sharing cannot be achieved, wh ich causes the failure of fulfilling the requirement of environmental management decision-making and data analysis.Therefore,this paper,availing the regional enviro nmental quality prediction technology based on data warehouse, effectively meet the requirements of modern environmental management business and environment al decision analysis management. Based on the study of data warehouse technology, decision support technolo gy and related theoretical foundation, key technologies concerning the implementa tion of the system are discussed in this paper.System analysis are made accordi ng to the requests from the environmental management clients,so as to set up re gional environmental quality prediction system structure based on the data wareh ouse .Meanwhile, the corresponding designs,including data warehouse,OLAP and data mining are also covered.As to system implementation, the combination of in dustry experience in environmental management and data mining method fully r eflects the applicability,superiority and expansibility of the system. This research, adopting the existing business management system metadata o f Chengdu Environmental Protection Bureau , establishes regional environmental quality analysis model.Through the analysis and prediction of the regional enviro nmental quality trend ,decision-making basis and planning direction for the env ironment management and new projects are provided.The realization of forecast and early warning for major environmental events, and the improvement of the e ABSTRACT III nvironmental protection management level are made possible.It also provides accu rate data for the decision-makers for reference , as well as data support for urb an construction planning and environmental management work. Key words:Environmental Information System， Decision Analysis， The Quality Prediction 目录 - IV - 目录目录 第一章 引言.1 1.1研究背景与意义.1 1.2国内外研究现状.2 1.2.1数据仓库与数据挖掘的技术发展.2 1.2.2基于数据仓库的环境质量预测领域的应用.4 1.3本课题的主要研究内容.7 1.4论文组织结构.7 第二章 环境质量预测相关基础理论与技术.9 2.1环境质量预测基础系统研究.9 2.1.1环境质量预测关键技术研究.9 2.1.2环境业务数据交换技术研究.10 2.1.3环境数据库技术研究.11 2.2预测分析系统研究.12 2.2.1预测分析相关概念.12 2.2.2预测分析系统结构.13 2.2.3基于数据仓库的预测分析系统.14 2.3环境质量预测主要技术研究.14 2.3.1按时间段的环境质量预测.14 2.3.2按照环境要素的预测分析.16 2.3.3按照环境区域、空间的预测分析.16 2.3.4按照职能的预测分析.16 2.4本章小结.17 第三章 环境质量预测分析系统需求分析.18 3.1系统需求概述.18 3.2系统功能需求.19 3.2.1数据仓库建设要求分析.19 3.2.2数据仓库设计要求分析.20 3.2.3大气环境质量预测需求分析.21 3.2.4空气质量预测评价需求分析.22 目录 V 3.2.5河流环境质量预测需求分析.24 3.2.6湖泊环境质量预测需求分析.26 3.2.7环境突发事件应急需求分析.27 3.3系统性能需求.28 3.4本章小结.31 第四章 环境质量预测平台系统设计.32 4.1系统架构设计.32 4.1.1系统设计原则.32 4.1.2系统架构设计.34 4.1.3数据接入原则.35 4.1.4数据中心设计.36 4.1.5系统业务逻辑结构设计.36 4.2数据仓库设计.37 4.2.1数据仓库的设计.37 4.2.2数据库设计.42 4.2.3数据仓库管理子系统.45 4.3本章小结.47 第五章 系统实现.48 5.1系统软硬件平台.48 5.1.1硬件配置方案.48 5.1.2系统软件配置.48 5.2系统应用结果展现.49 5.2.1系统登录界面.49 5.2.2系统主界面.50 5.2.3数据分析界面.50 5.2.4预测分析界面.52 5.3关键功能实现编码示例.56 5.3.1系统登录验证代码.56 5.3.2环境质量预测分析代码.59 5.4环境数据分析实现及预测模型应用.61 目录 - VI - 5.4.1环境质量专题分析功能.61 5.4.2空间分析模型.61 5.4.3环保专业模型.63 5.5本章小结.67 第六章 总结与展望.68 6.1总结.68 6.2展望.69 致 谢.2 参考文献.2 图索引 VII 图索引 图 3-1 环境质量数据获取及应用模型图 .19 图 3-2 数据仓库的设计实现图 .20 图 4-1 系统架构设计图 .35 图 4-2 系统业务逻辑结构图 .37 图 4-3 区域空气环境质量预测分析主题的维度与指标 .38 图 4-4 主题划分 .38 图 4-5 空气质量的逻辑模型 .39 图 4-6 空气质量维度设计图 .40 图 4-7 ER 逻辑模型图 .41 图 4-8 数据仓库相关数据关联结构图 .45 图 5-1 系统登录界面 .49 图 5-2 系统主界面 .50 图 5-3 污染源分析成果图 .51 图 5-4 按区域分析成果图 .51 图 5-5 按行业分析成果图 .52 图 5-6 按噪声分析成果图 .53 图 5-7 按空气质量分析成果图 .53 图 5-8 按污染扩散分析成果图 .54 图 5-9 按大气污染扩散分析成果图 .54 图 5-10 按区域污染扩散分析成果图 .55 图 5-11 按污染范围扩散分析成果图 .55 图 5-12 系统登录验证流程图 .56 图 5-13 环境质量预测分析流程图 .59 图 5-14 按缓冲扩散分析成果图 .62 图 5-15 空间分布成果图 .62 图 5-16 污染事故分析成果图 .63 图 5-17 流域污染分析成果图 .64 图 5-18 污染物走势分析成果图 .66 图 5-19 污染物实时数据分析成果图 .67 目录 - VIII - 图 5-20 污水排放分析成果图 .67 第一章 引言 - 1 - 第一章引言 本章从环保局环境管理业务面临的现实问题和发展前景展开分析，对数据仓 库的区域环境质量预测这一选题的技术发展和研究文献进行了回顾，对该课题的 研究发展趋势进行展望，最后，对全文的结构和篇章布局做了总体安排。 1.1 研究背景与意义 随着信息技术、网络技术、数据库技术的飞速发展和环境保护事业新需求的 不断提出，过去以面向应用和面向事务处理为主的环境数据库系统已不能满足环 境管理业务需求。原有环境信息管理系统的主要缺点是各个业务系统之间的数据 各自分离，并且是二维的表格结构，它不足以描述实际的业务需求模型1，环境 管理部门迫切需要的是具有多维立体空间数据结构的分析查询，真正实现信息系 统从单一管理向分析决策和数据共享转变。 环境数据仓库技术利用动态技术构造而成，使用预先设置的环境数据结构参 数，建立环境数据分析模型，对实时环境数据及历史环境数据均动态存储，系统 自动调用现有环境参数生成标准环境数据仓库，并及时更新最新环境动态作息数 据，保证了环境数据仓库数据的实时性、连续性和完整性。实现以数据仓库为依 托，以数据分析工具、环境数据模型为支撑的现代化、信息化的环境保护管理。 现在环保局信息化建设的特点主要是面向各职能部门的单一管理业务，面向 数据申报、数据收集、排污监管、排污收费、数据汇总分析等内容的信息化建设， 管理手段依然比较传统。由于系统缺乏统一的标准、统一的规划，各业务管理系 统采集到的环境数据都只能应用于各业务处室，无法实现数据共享，更无法向领 导提供全面的环境管理决策依据，数据不一致、不完整，数据冗余度高的问题非 常突出。 由于各个环境管理系统之间存在大量的历史数据，应该将这些历史数据重新 使用，将各个应用系统形成的“数据孤岛”共享起来，对各个业务系统进行整合， 为决策层从业务信息系统中进行数据分析，得到对环境管理决策有帮助的信息， 满足业务层、管理层、决策层三个不同层面数据利用的需求，进一步提高环境管 理的科学化、精细化管理水平。 电子科技大学硕士学位论文 - 2 - 利用基于环境数据仓库、环境数据仓库联机分析处理(OLAP)、数据清洗、转 换，对现有环境信息管理系统不断产生和积累的海量历史和实时数据进行管理和 深层次处理2，可根据不同时期的环境污染数据和当前最新的环境污染数据，利 用环境质量评价和预测模型，对不同的环境对象进行多维的评价和综合分析，即 按一定的评价标准和评价方法对一定范围内的环境质量进行定量的判定、预测。 建立环境保护业务管理模型，通过环保决策支持系统对环境保护管理业务数 据进行实时查询、数据清洗与转换、多维度分析等等，可以反映城市总体环境历 史变化情况、预测环境未来变化趋势。决策支持系统不断地将这些指标的实时状 况与环境规划数据或环境历史数据进行比较，高效利用各种信息，保证了环境数 据的完备性、现时性，加快了查询与分析的速度，促进了信息共享。其意义如下： 通过对基于数据仓库的区域环境质量预测研究，能够及时、全面掌握重点污 染源主要污染物排放情况与环境质量变化情况，能够对不同地区的数据从不同纬 度进行汇总、对比、统计分析，能够对重点案件进行实时监督与指导，大大提高 了领导层的信息获取速度与决策速度，进而提高了环保部门的污染物减排能力。 1.2 国内外研究现状 1.2.1 数据仓库与数据挖掘的技术发展 经过十几年的努力，国家环境信息化进展较快，取得了一定的成效。随着环 境基础设施建设的逐步发展，环境信息的开发和利用得以发展，目前，我国从国 家到省、市、县，通过环境统计、监测、专业调查和科研等渠道，已经积累了大 量环境信息。环境管理软件的应用比较普遍，涉及环境质量监测、统计、排污收 费、污染源申报等多种业务数据的收集、存储、处理和加工，在管理和决策中发 挥着重要作用。 根据我国环境信息现状和数据库发展技术，不同部门根据本部门数据源建设 自己的数据库、数据库软件可使用 Oracle、Sybase、Infomix、DB2、MSSQL Server 等，但必须提供访问接口。根据环境信息现状、环境信息来源于不同部门、 不同部门存在信息封锁等现象，不能将所有数据收集起来，建立各种数据库。 数据仓库是未来的一大趋势，它将分散的数据集中到另一个更大的库中（称 为数据仓库） ，最终用户从数据仓库中运行查询、制作报表，进行数据分析。数 第一章 引言 - 3 - 据仓库收集各不同数据源中的数据，是一个决策支持环境。数据仓库是一个将操 作的和外部的数据提取至一个单一资源库中的过程3。 20 世纪 70 年代出现并被广泛应用的关系型数据库技术为解决这一问题提供 了强有力的工具。然而，从 20 世纪 80 年代中期开始，随着市场竞争的加剧，信 息系统用户已经不满足于仅仅用计算机去管理日复一日的运营数据，他们更需要 的是从这些数据中得到有用的信息，以便于进行决策支持，这种需求使得在 20 世纪 80 年代中后期出现了数据仓库思想的萌芽，为数据仓库的最终提出和发展 打下了基础。1992 年，W.H.Inmon 在其里程碑的建立数据仓库一书中提出了 “数据仓库” （DW.Data Warehouse） ”的概念5，数据仓库的研究和应用得到了 广泛的关注6。 数据仓库不同于以前的业务数据库，数据仓库中的数据一旦存入就不再发生 改变，这样才能更好的针对特定主题的集成化的、随时间变化的分析已存的（5- 10 年或更长时间的）数据。 数据仓库为更深入的、多维的数据分析 提供了条件，针对业务需求的不断变 化及数据的不断更新，人们提出了能进行实时分析在联机分析工具 OLAP（On Line Analytical Processing） 。OLAP 可以让用户以交互的方法管理数据仓库的 内容，并能对不同时期、不同地域、不同行业的数据进行多维分析，也可以产生 相应的报表8。 虽然 OLAP 可以对数据仓中的数据，但这些分析都是基于人们已有感知的基 础上的。数据仓库的数据来源是多方面的，数据也是交错复杂的，在各种数据中 隐藏着的各种信息及知识，这就引出了数据挖掘的概念，数据挖掘就是指利用智 能方法从海量数据中挖掘数据模型和数据变化规律，所挖掘的知识可以进行决策 分析、过程控制、信息管理等等。 数据仓库的出现，真正使用联机分析处理(olap)成为流行的查询方式，是继 计算机实现联机事务处理(oltp)后的又一次重大进步。olap 是一种数据分析技术， 也叫多维数据分析，它将数据仓库中的数据转换成多维的逻辑视图，支持交互式 的查询分析(包括细剖和概括两个方向，也称为上下挖掘)11，支持发展预测、趋 势分析和统计分析，能提供新的度量，如比率，能以表和图的形式检索和显示数 据并能方便地变换观察基轴。在多维分析中，数据按维层次来组织。 数据挖掘指通过对大量详细的数据作分析以发现出乎意料之外的或预先未知 的关系、模式、规律。数据挖掘的实现与前两者有很大差异。它涉及更庞大的数 据和更多的维，关注隐藏在数据下面的深层的商业规律，分析处理过程需要很少 电子科技大学硕士学位论文 - 4 - 的指导，处理时间从几分钟到几天不等，所以不支持即席查询。数据挖掘现在能 为用户所用，是因为三方面因素已经基本成熟：大规模数据收集、强大的计算机 处理能力、数据挖掘理论。最常用的数据挖掘技术包括决策树和规则发现、人工 神经网络、遗传算法、聚簇等等7。虽然现在大量数据挖掘工具独立于数据仓库 之外，但基于数据仓库的数据挖掘处理简单而且效率更高。 当前，我国的环境信息系统已经逐步完善了国家、省、城市三级体系结构， 随着卫星网项目的逐步建设，势必需要将原来的三级体系整合成一个综合、灵活 的信息系统，在统一的网络信息平台上进行数据查询、共享等操作。这就需要在 原有体系结构上、为各类环境数据和信息建立起上下贯通的数据传输、共享渠道； 同时围绕核心的信息，在水平向上依据各地的实际情况和管理要求开展相应层次 的信息系统建设。 从目前环境信息系统建设中，我们不难发现，各类环境数据库和办公文档是 所有应用的基础，是整个信息系统的数据来源，因此在未来的信息系统框架结构 中，这两种数据将作为上下传输的通道，并以他们为核心支撑起各级信息系统的 其他应用内容。 随着城市规模的不断扩大，区县级环境信息系统的建设工作也已经提到议事 日程上来了，未来的全国环境信息系统将是一个四级体系结构，各级环境信息系 统都围绕着中心数据库和办公自动化软件所组成的核心系统在水平方向上拓展各 类应用，同时沿着这个核心系统组成整个系统的轴心，形成一个上下贯通，横向 拓展的框架结构。 1.2.2 基于数据仓库的环境质量预测领域的应用 环保局信息化建设在“十一五”期间从软硬件基础和人才队伍建设方面，都 取得了一定的成绩，已经具备了初步的信息化建设基础，但离实现环境综合监管 和预警、实时掌控污染物排放情况、提高全市环境质量、环境数据综合分析与辅 助决策等方面，都还存在很大差距。 目前，我国在环境科学研究工作中所谈的环境质量，一般侧重于工业、农业 的发展，排放大量污染物而造成的环境质量下降。在判定环境受污染的程度时， 往往以国家规定的环境标准或污染物在环境中的本底值作为依据。实际上，在进 行环境质量评价时，所考虑的范围既应包括自然环境质量、化学污染所引起的环 境质量变异，还应包括社会经济及文化、美学等方面的内容。 第一章 引言 - 5 - 环境质量评价及预测分析的概念引入我国开始于 1973 年的第一次全国环境 保护会议。1979 年，在国家支持下，北京师范大学等单位率先在江西永平铜矿 开展了我国第一个建设项目的环境质量评价工作。1979 年 9 月，环境质量评价 制度被写进了环境保护法 （试行）中9。2002 年 10 月 28 日，九届全国人 大常委会第三十次会议通过了环境影响评价法 （以后简称新环境影响评价法） ， 并于 2003 年 9 月 1 日起正式施行。该法对“公众参与”和“规划的环境影响评 价”等环境质量评价领域出现的新观念和新问题给予以了一定的强调，这无疑会 对我国实施可持续发展战略，预防因规划和建设项目实施后对环境造成不良影响， 促进经济、社会和环境的协调发展产生重大影响。 1992 年以来，环境质量评价制度从单纯的建设项目评价发展至区域环境质 量评价，从单个项目的、简单因果关系的环境质量评价扩展到考虑多个项目的、 具有时间和空间效应的、复杂因果关系的累积影响评价，又扩展到对经济社会发 展的重大决策所产生的规划的环境质量评价；从对污染影响的评价，发展到对生 态影响的评价。在资源开发利用方面，正在试验可持续发展评价等。在农业开发 方面对生物技术和有毒化学品的生态安全性评价展开了相关研究10。在环境影响 评价技术方法上从地理信息系统（GIS）在环境质量评价各阶段的应用到生命周 期评价（LCA）在清洁生产中的应用等。 （1）战略环境影响评价 战略环境评价是环境质量评价从微观到宏观的战略转移，是指对法规、政策、 规划和计划的实施可能对环境带来的影响做出预测与评价，并在不利环境影响的 情况下，采取预防措施或者其他补救措施，如对该政策进行修正或寻求替代方案。 1990 年，联合国欧洲经济委员会（EEC）提出，在项目环境影响评估之外， 也应同样考虑政策（Policy） 、方案（Plan）及计划（Program） ，即 3Ps 的环境 影响；1994 年欧洲共同体（EC，现称欧洲联盟 EU）提出政策环境评估方法论12， 加速政策评估并入环境影响评估之中。1999 年 12 月，各国确认 SEA 指导准则 （TheEUs SEA Directive） 。 我国在新环境影响评价法中在项目的环境影响评价基础上，增加了规划的环 境影响评价部分，为了规范规划环境影响评价工作同时颁布了规划环境影响评 价技术导则（试行） ，该项政策的实施必将为我国的可持续发展和环境与发展综 合决策起到极大的推进作用。 （2）生态安全性评价 电子科技大学硕士学位论文 - 6 - 目前对生态安全性评价主要集中在有毒化学品和转基因生物的研究上。人工 合成化学品的日益增长，给人类文明和世界经济发展带来了巨大的进步和利益。 但同时也对人类的健康和生存环境造成严重的、长时期的和潜在的危害。面对如 此大量的化学品，尤其是有毒化学品，如何对其安全性科学地评价，最终减轻或 消除有毒化学品的污染，已经成为全人类共同面临的重大环境问题。 化学品安全性评价方法学和风险预测模型、有毒化学品的管理及其污染控制 技术与对策、有毒化学品的环境化学行为以及检测新技术和新方法目前还处在探 讨阶段。 （3）可持续发展的影响评价 我国为了实现自然资源的可持续利用，在中国 21 世纪议程第 14 章指 出在自然资源管理决策中推行可持续发展影响评价制度，目前对于它还处在研究 阶段，其目标是逐步推行在制定有关自然资源管理的重大政策、规划和开发项目 时采用可持续发展影响评价，最终以法规的方式加以推广实施13；利用可持续发 展影响评价进行规划或实施自然资源保护和管理政策的费用效益分析。 （4）生命周期评价 生命周期评价（LCA） ，有时也称为“生命周期分析” 、 “生命周期方法” 、 “摇 篮到坟墓” 、 “生态衡算”等。它