数据分析、挖掘与模型

1、数据分析数据分析对于防汛抗旱、水资源的分配与调度、水利工程建设等方面都具有 重要的指导意义和参考价值。以水文数据为例，水文系统收集的水文数据主要包 括各个地区的降雨量、蒸发量、水位、流量、含沙量、墒情、地下水等重要数据， 如何对收集到的水文数据进行分析并从这些数据中发现隐藏于其中的关系和规 则，然后根据已收集到的历史数据对未来的发展趋势做出预测和评估，对于防汛 抗旱及国民经济建设具有重要的指导意义。1、水雨情预报预警分析雨量预报信息：预测未来一段时间内的降雨量信息。水情预测：根据历史数据预测未来一段时间内的水位流量；2、水情分析流量分析：计算时间段内各测站的流量信息。水量分析：计算某时间段内下

2、游测站水量与上游各相关测站水量的比重关 系，并以饼图展示其百分比关系。入库洪水推导：根据三角插值和矩形插值方法，测算出某时间内洪水入库总 量。3、水情月年分析流量月年汇总：自动计算出指定年份间各月最大、最小流量并指出该流量发 生的年份，同时计算出历年该月平均流量、年平均流量、汛期均流量、非汛期均 流量等。流量月分配百分比：计算出各月流量占全年流量的百分比，并分别求汛期、 非汛期流量百分比。4、水情过程分析流量插值过程：将指定站指定时间段的要素信息，按照指定时常（分钟）插 成连续的记录集。多年流量过程对比：根据流量日值，将多年的日流量进行对比。流量插值过程对比：在流量插值过程的基础上加入多测站对

3、比的功能。多站流量过程对比：将多测站的流量信息进行按日对比。5、水情滑动分析连日滑动极值计算：按照指定滑动天数、指定时段、特征年计算出连续滑动 天数的最大、最小流量，并可实现多站连续极值的对比与多站平均流量极值的计 算。流量连续超量计算：计算出各站指定时段内、特征年超出指定流量的天数， 并计算出超量水量。连续枯水日计算：计算出低于指定流量的天数。洪量连日滑动极值计算：按照指定滑动天数、指定时段、特征年计算出连续 滑动天数的最大、最小水量，并可实现多站连续极值的对比与多站平均水量极值 的计算。6、水情频率分析逐年时段平均水位频率分析：计算出指定时段，指定特征年的水位平均值。年最高水位频率分析：计

4、算出各年该测站的最高水位。7、雨情分析降水过程分析：包括单站降水过程（日、小时）、面雨量降水过程（日、小 时）、前期影响雨量（PA）计算。降水对比分析：多站雨量对比（日、小时）。降水频率分析：列出一个站每年（或每年的一个特定时间段）的降水量。降水空间分布分析：一个区域中所有站的降水量、CV，并可以绘制出等值 线。降水滑动分析：包括连续N天（小时）最大（最小）雨量、连续超量、连续 无雨分析。降水距平分析：降水距平百分率计算某一时段降水与同期平均状态的偏离程 度。8、气象信息分析对降水、风向、风力、温度、蒸发等信息进行分析。9、旱情分析10、墒情分析11、社会经济信息分析12、灾情分析13、险情分

5、析14、供水调度分析15、工情信息分析二、数据挖掘用数据库来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后的 知识，这两者的结合促成了数据挖掘的产生。数据挖掘是一门交叉性学科，涉及 到人工智能、机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模 糊数学等多个领域。数据挖掘作为知识发现过程中的重要步骤，是从大型数据库及数据仓库中提 取未知的、有价值的和可操作性的关系、模式和趋势用于决策支持的过程。我国 目前在防洪领域存在着大量水文数据、水库调度数据和预报成果数据，如何充分 有效地利用各种智能算法对这些数据进行分析与挖掘，以形成相应的水文预报、 水库调度模型等进行准确的预报、合理的

6、调度，是一项具有重要的意义的工作。实施数据挖掘，一般的步骤是：问题理解和提出一数据准备一数据整理一建 立模型一评价和解释。实施数据挖掘应从以下三方面加以考虑，一是用数据挖掘 解决什么样的水利方面的问题，二是为进行数据挖掘所做的数据准备，三是数据 挖掘的各种分析算法。而要实施数据挖掘，面临的问题主要有：（1）数据挖掘的基本问题在于数据的 数量及维数，数据结构也因此显得非常复杂，如何选择分析变量，是首先要解决 的问题。（2）面对积累起来的大量数据，现有的统计方法等都遇到了问题，人们 直接的想法就是对数据进行抽样。怎么抽样，抽取多大的样本，又怎样评价抽样 的效果。（3）既然数据是海量的，那么数据中就

7、会隐含一定的变化趋势，在数据 挖掘中也要对这个趋势做应有的考虑和评价。（4）各种不同的模型如何应用，其 效果如何评价。不同的人对同样的数据进行挖掘，可能产生差异很大的结果，这 就是可靠性的问题。（5）数据挖掘涉及到数据也就碰到了数据的安全性。（6）数据 挖掘的结果是不确定的，要和专业知识相结合，才能对其做出判断。1、嵌入式空间数据挖掘嵌入式是将数据挖掘系统融入到GIS中，也就是说系统既是一个GIS系 统，又是一个数据挖掘系统。嵌入式的优点是可以充分利用GIS系统所提供的空间数据处理和分析功能来开发数据挖掘系统，减少了开发的工作量， 降低了开发的难度；2、松散耦合式空间数据挖掘在松散耦合式下，数

8、据挖掘系统和GIS系统实际上是两个独立的系统，数 据挖掘系统从GIS中获取空间数据和属性数据，经过清洗、过滤和变换后存入 自身的数据库或数据仓库中，数据挖掘所进行的其他工作与GIS系统没有任何 联系。这种模式的优点是数据挖掘系统不依赖于特殊的GIS系统，可以开发出 独立的、相对通用的空间数据挖掘系统；（；|用界仙空间散枫挖聊界此松散耦合式空间数据挖掘J一 钊H1 倨性中佃I舞据此即屈牌敢揪姓理3、紧密耦合式空间数据挖掘紧密耦合式克服了嵌入式和松散耦合式的缺点，既充分利用了原有GIS的 处理空间数据的强大功能，降低了开发的难度，又不受制于原有GIS系统的用 户需求的制约，具有较大的灵活性，提供了

9、相对独立的数据挖掘功能。素密耦合式空间数据挖掘 IS 应T* Dl? 5 也H；哉麻k狂4、水利工程数据挖掘模型分为4层，分别为数据存储层、多维数据库与数据仓库层、OLAP/OLAM 层、用户界面层。第一层数据存储层的数据主要来源于水利工程数据库和相关的 异构数据库，元数据用于指导数据的清理、过滤和集成，是构建水利工程数据仓库重要的技术手段。第一层的数据经过变换和集成后，存储到数据仓库和多维数 据库中，它们是实现第三层OLAP/OLAM分析所需要的重要的数据源。该模型 的核心是OLAP/OLAM，它们是支持探查性知识发现的核心技术。第四层是用户 界面层，用来帮助用户实现基于约束的挖掘查询，并将

10、挖掘结果显示给用户。5、流域水文数据挖掘根据水文数据挖掘体系的特点，通过从数据仓库、数据挖掘、元数据管理等 几个方面建立了流域水文预报、水库调度、水资源决策分析等传统水文科学在水 文数据挖掘体系下应用的流程与特点，从而为流域防洪与兴利业务提供一类新的 解决方案。水艾数据宙按小同I.S 密成的散明模型数据清理模型是指使用模拟技术以模型的形式再现系统的特征并希望模型能够代表 真实情况，通过模拟运行适当的模型产生解决问题的多种方案。从防汛抗旱的角度看，利用模型可以揭示流域水文循环时空分布的不均匀 性、大尺度流域水文过程、气候变化的水文响应等以及气候、生态、水资源管理 等领域水文过程的模拟。随着科学技

11、术的发展，通过遥感数据和地理信息系统技 术在模型中开始应用，水文学与气候学、生态学、环境科学和社会管理等相关学 科相互渗透，为模型的理论和技术取得发展创造了条件。以水文模型为例，水文模型是指模拟水文现象而建立的实体结构或数学结 构。其中，被模拟的水文现象称为原型，模型是对原型的概化，当概化出的形式 是一种实体结构，在这种实体结构里可以演示出被模拟的水文现象，称为水文实 体模型或物理模型。从模型的分类上看，按照建模角度分，有集总式水文模型和 分布式水文模型；从建模手段分有物理模型（又叫实体模型）、电子模型和数学 模型。目前广泛应用于水利方面的模型有水动力学模型、对流扩散及粘性输水模 型、非粘性沙

12、传导模型、NAM降雨径流模型、洪水实时预报模型、地理信息系 统、流域水文模型等。模型简介：1、流域集总式模型集总式水文模型的框架主要是建立在流域水文过程的概念性理解之上。在过 去相当长的一个阶段里，在应用集总式的方法描述水文过程中，发展了大量集总 式水文模型。如USLE、HEC-1、新安江模型、WRAP、WEAP模型、日本的水 箱模型等。2、流域分布式模型与传统的集总式模型相比，分布式水文模型考虑了流域内部各地理要素的空 间异质性，能够反映水文水资源要素在空间上的变化，能够进行下垫面变化条件下 的计算，特别是它具有更多的模拟功能,即能够把单一水量变化的模拟扩大到广泛 的水文水资源与生态环境问题

13、模拟，而这些是基于经验与黑箱方法的集总式水文 模型所难以实现的。最新发展的流域分布式模型有AGNPS、ANSWERS、MATSALU、SWAT、STREAM SWIM、TOPMODEL、GBHM2 等。3、流域水资源综合管理模型所谓流域水资源综合管理模型是将流域水环境视为一个整体，把那些关系十 分紧密，又有成熟工作基础的流域模型结合起来，如土壤侵蚀模型、地表水文模型 （处理坡面流和河槽流）、陆面模型（处理蒸散发）、地下水模型相互耦合，组成流域 水资源综合管理工具，在管理上统筹考虑，寻求整体最优的流域水资源开发模型。 常用的有 WRM模型、MIKE BASIN等。4、新安江流域水文模型根据输入的实测水面蒸发与当时的土壤湿度，代入蒸散发模型，可计算出流 域蒸散发。再根据输入的实测降雨与计算的蒸散发，代入产流方程，可计算出径 流，同时调整了土壤湿度。把径流代入分水源方程可分出地面径流、壤中流与地 下径流。地面径流用单位线计算流量过程，壤中流与地下径流各用水库演算计算 流量过程，合而成为流域的出流过程。再应用河道洪水演算，求得下游某断面的 流量过程。产流方程5、洪水实时预报模型 在计算机上实现洪水预报联机作业的运行系统称为洪水