数据挖掘技术与水文现代化间的关系

Word版本，下载可自由编辑数据挖掘技术与水文现代化间的关系随着数据库技术的快速进展以及数据库管理系统的广泛应用，人们堆积的数据越来越多。激增的数据背后躲藏着许多重要的信息，人们希翼能够对其举行更高层次的分析，以便更好地通过这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发觉数据中存在的关系和规章，无法按照现有些数据预测将来的进展趋势。

用数据库来存储数据，用机器学习的办法来分析数据，挖掘大量数据背后的学问，这两者的结合促成了数据挖掘的产生。数据挖掘是一门交错性学科，涉及到人工智能、机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、含糊数学等等多个领域。数据挖掘技术包括算法和技术，数据、建模能力3个主要部分。

数据挖掘的演进过程

数据挖掘其实是一个逐渐演化的过程。电子数据处理的初期，人们就试图利用某些办法来实现自动决策支持，当初机器学习成为人们关怀的焦点。尔后，随着神经网络技术的形成和进展，人们的注重力转向学问工程，专家系统就是这种办法所得到的成绩。

20世纪80年月，人们在新的神经网络理论的指导下，重新回到机器学习的办法上，并将其成绩应用于处理大型商业数据库，而且浮现了一个新的术语——KDD(Knowledgediscoveryindatabase，泛指从源数据中发掘模式或联系的办法)。人们用KDD来描述囫囵数据发掘的过程，包括最开头的制定业务目标到终于的结果分析，而用数据挖掘来描述使用挖掘算法举行数据挖掘的子过程。DM侧重数据库角度，KDD侧重人工智能角度[1]。

数据挖掘的核心模块技术历经了数十年的进展，其中包括数理统计、人工智能、机器学习。数据挖掘技术在当前的数据仓库环境中进入了有用阶段。

数据挖掘的定义

数据挖掘的定义为“从数据库中发觉隐含的、从前不知道的、潜在实用的信息”，是在数据库技术、机器学习、人工智能、统计分析、含糊规律、人工神经网络和专家系统的基础上进展起来的新概念和新技术，是指从大量的、不彻低的、有噪声的、含糊的、随机的实际应用数据中提取隐含的、未知的、潜在的、实用的信息和学问的过程。更广义的说法是[2]：数据挖掘意味着在一些事实或观看数据的集合中寻觅模式的决策支持过程。

数据挖掘与传统分析(如查询、报表、联机应用分析)的本质区分是，数据挖掘是在没有明确假设的前提下去挖掘信息、发觉学问。数据挖掘所得到的信息应具有先未知、有效和可有用3个特征。从前未知的信息是指该信息是预先未曾预料到的，即数据挖掘是要发觉那些不能靠直觉发觉的信息或学问，甚至是违反直觉的信息或学问，挖掘出的信息越是出乎意料，就可能越有价值。

马克威分析系统简介

马克威分析系统是中国第一套彻低自主学问产权，集统计分析、数据挖掘和网络挖掘于一体的数据分析系统。它可以与现有些信息管理系统举行集成，在庇护现有设备的状况下，节省数据挖掘项目的开支。该系统由数据输入、数据处理、统计分析、数据挖掘、统计制图和电子报表等六大功能模块组成，各模块特点为：

灵便多变的数据输入方式。输入方式包括从界面直接输入、直接打开数据文件、使用数据向导将数据库中的数据导入到分析平台上等，并且与全部主流数据库实现了无缝衔接，例如Oracle、DB2、Sybase、SQLServer、Mysql、Informix、Access等。

丰盛的数据处理功能。包括数据合并、数据拆分、插入或删除记录、记录处理、权重设置、多维查询、分类汇总、数据抽样、变量计算、缺失值填充、异样值删除、记录排序、变量类型转换、行列转换、随机数生成等。

统计分析是该系统的核心模块之一，有基础统计和高级统计可选。基础统计包括均值分析、交错表、频率分析、描述分析、一元方差分析、参数T检验、单样本T检验、自立样本T检验、配对样本T检验、相关分析、非参数检验等；高级统计包括回归分析、聚类分析、判别分析、因子分析、时光序列分析、多因素方差分析等。

数据挖掘模块提供了目前市场上较为完备的挖掘办法。包括神经网络、决策树、关联规章、含糊聚类、粗糙集、支持向量机、孤立点分析等。

数据信息的可视化是信息应用的进展趋势。统计制图模块包括直线图、条状图、柱状图、圆饼图、面积图、罗列图、误差图、序列图、散点图、自相关图、相互关图、控制图等。

统计报表模块主要针对中国用户。它将主要和常用的报表根据国家统计局的常规模式设定成格式，为用户自动生成表格，包含内设的系统模板以及用户自设的用户模块两类。

水文现代化与数据挖掘

针对我国存在的洪涝灾难、水资源短缺、水环境恶化、水土流失等有关水的问题，水利部提出了从传统水利向现代水利、可持续进展水利改变，以水资源的可持续通过支撑经济社会可持续进展的治水新思路，并对水利现代化提出了基本要求[5]。

水文现代化

水文现代化是水利信息化的基础。数字水文系统就是通过数据库技术建立完美的信息处理和存储体系；通过海量数据库和数据挖掘技术建立信息提取和分析体系；通过地理信息系统等工具建立气象、水文、地形地貌、植被、土壤水分、人类活动影响措施等信息的空间分布数字体系；通过中尺度数值预告模式和分布式水文模型建立数字化的空间和时光分布预告体系；依托网络、地理信息系统和数据库等技术，建立为防汛决策、专业应用、电子政务等提供决策支持的信息应用与服务体系。其核心在于如何形成数字化的、笼罩囫囵指定地域空间的、多重时空尺度的、多种要素的、对水文分析实用的数据产品。

对于水文现代化而言，要形成与水利信息化相适应的信息服务能力，必需大力建设水文信息数据库，使之成为水利信息资源的重要组成部分，包括两层含义：一是要丰盛数据库的内容；二是要对水文部门内部的各类信息资源举行集成，形成有一定聚合度和服务目标的水文信息资源。簇拥在一个个单独部门的水文数据很难形成可以被开发通过的资源。

实施数据挖掘

实施数据挖掘普通的步骤是：提出和理解问题→数据预备→数据收拾→建立模型→评价和解释[2]。

实施数据挖掘应从以下3个方面加以考虑：一是用数据挖掘解决什么样的行业问题；二是为举行数据挖掘所做的数据预备；三是数据挖掘的各种分析算法。

数据挖掘的分析算法主要来自于统计分析和人工智能两个方面。数据挖掘讨论人员和数据挖掘软件供给商在这一方面所做的主要工作是优化现有些一些算法，以适应大数据量的要求[4]。

数据挖掘最后是否胜利，是否有经济效益，数据预备至关重要。数据预备主要包含两个方面：一是从多种数据源去综合数据挖掘所需要的数据，保证数据的综合性、易用性、数据的质量和数据的时效性，这有可能要用到数据仓库的思想和技术；另一方面就是如何从现有数据中衍生出所需要的指标，这主要取决于数据挖掘者的分析阅历和工具的便利性。

3.3数据挖掘中存在的问题

数据挖掘的基本问题在于数据的数量及维数，数据结构也因此显得十分复杂，如何挑选分析变量，是首先要解决的问题。

面向堆积起来的大量数据，现有些统计办法等都碰到了问题，人们直接的主意就是对数据举行抽样。怎么抽样，抽取多大的样本，又怎样评价抽样的效果，都是需要讨论的问题。

既然数据是海量的，那么数据中就会隐含一定的变化趋势，在数据挖掘中也要对这个趋势作出应有些考虑和评价。

各种不同的模型如何应用，其效果如何评价。不同的人对同样的数据举行挖掘，可能产生差异很大的结果，这就存在牢靠性的问题。

数据挖掘涉及到数据，也就涉及了数据的平安性问题。

数据挖掘的结果是不确定的，要和专业学问相结合才干对其做出推断[1]。

水文数据挖掘

水文综合数据库系统与服务平台是以现代技术手段向用户提供优质、高效水文信息分享服务的基本保障[5]。信息猎取与分析技术的迅速进展，特殊是遥测、遥感、网络、数据库等技术的应用，有力地增进了水文数据的采集和处理技术的进展，使之在时光和空间的尺度及要素类型上有了不同程度的扩展。因为水在人类生存进展中的特别作用，因此应用各种新技术猎取水文数据，挖掘蕴藏于水文数据中的学问，已成为水文科学进展的新热点。

水文数据挖掘可以应用决策树、神经网络、笼罩正例排斥反例、概念树、遗传算法、公式发觉、统计分析、含糊论等理论与技术，并在可视化技术的支持下，构造满足不同目的的水文数据挖掘应用系统。

据统计，我国水文整编资料数据累计量已超过7GB，加上举行水文预告所需的天气、地理等数据，举行水文分析所需要处理的数据量很大。沿用传统的技术工具和办法，从这些数量巨大、类型复杂的数据中准时精确     地挖掘出所需要的学问，必定会由于计算能力、存储能力、算法的不足而无能为力，因此需要高效的水文数据挖掘技术。

数据仓库能把囫囵部门的数据，无论其地理位置、格式和通信要求，统统集成在一起，便于