数据挖掘研究在信息化中的应用研究

1、数据挖掘研究在信息化中的应用研究摘要：本文系统论述和总结了数据挖掘和空间数据挖掘的概念、技术方法和研究现状。详细介绍了目前主流的数据挖掘厂商及解决方案文章最后简要分析了数据挖掘技术在国土资源行业中的研究现状，并对如何利用这些新技术为国土资源业务管理与决策支持提供帮助进行了初步探讨。 关键词：数据挖掘 空间数据挖掘 国土资源1 数据挖掘的概念、技术方法和研究现状1.1数据挖掘的概念 随着数据仓库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。人们迫切地感到需要新的技术和工具以便从大量数据中智能地、自动地抽取出有价值的知识或信息。数据库知识发现（knowledg。discove

2、ry in databases,kdd，或者称数据挖掘，data mining,dm）于是应运而生。 1989年8月在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上首次出现kdd这个术语。数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而促进信息的传递。数据挖掘是数据仓库系统中最重要的部分。数据挖掘，就是从大型数据库的数据中提取人们感兴趣的知识。这些知识是隐含的，事先未知的有用信息，提取的知识可表示为概念（concepts)，规律（regulations)，模式（patterns）等形式。事实上，更广泛一点说，数

3、据挖掘就是在一些事实或观察数据的集合中寻找模式的决策支持过程。数据挖掘是一个多学科的交叉领域，它涉及到数据库技术、人工智能、机器学习、神经网络、统计学、模式识别、知识库系统、信息检索、高性能计算和数据可视化等学科。1.2数据挖掘的技术和分析方法 数据挖掘的核心模块技术历经了数十年的发展，主要涉及到数据库、人工智能、决策树、统计分析等多种技术，这些技术多数已被集成到大型数据仓库和olap系统中。常用数据挖掘技术，见表1。 数据挖掘利用的技术越多，得出的结果精确性就越高。数据挖掘方法有多种，其中比较典型的有关联分析、序列模式分析、分类分析、聚类分析等，具体如表2所示。1.3数据挖掘研究现状 目前，

4、数据挖掘己从高速运行的初级阶段进人了方兴未艾的中级阶段。初级阶段已完成了理论草创、模型框架、学术领域的组织落实等工作；中级阶段，在理论上完成模型补遗、算法优化，理论完善，撰写著作、教科书。 近年来，对关系数据库中的数据挖掘和知识发现研究己经取得了不少进展，其中代表性的工作有：用面向属性的归纳方法在关系数据库中发现特征规则和区分规则。在事务数据库中发现关联规则。基于距离的和基于密度的聚类分析的优化等。为了处理数据库中的不确定性问题，rouhg集和模糊集理论得到了广泛的研究与应用。另外，决策树、神经网络、遗传算法、可视化等方法也在机器学习与知识发现中得到了研究与应用。在数据挖掘与知识发现领域，最有

5、影响的发现算法有imb的agrwaal的关联算法apriori、加拿大j.han教授的概念树提升算法、澳大利亚的教授的分类算法以4.5/c5.0、zhang等的birch聚类算法、密西根州立大学erick goomdan的遗传算法等。在挖掘工具方面的产品也比较成熟。如基于规则和决策树的工具典型产品有angoss software开发的knowledgeseeker。聚类，规则归纳，发现多种因果关系，图形方式显示决策树，支持多种数据库。在基于人工神经网络的工具典型产品为advaneed software application的dbprofile。windows环境，适于市场分析，自然聚类、分段

6、、统计模型和可视化技术。 在国内，对数据挖掘的研究稍晚，还没有形成整体力量，大多数相关成果停留在实验阶段，目前尚未见商品化软件。李德仁院士领导的课题组对发现状态空间理论和云模型在mdkd中的应用进行了系统的研究；北京系统工程研究所对模糊方法在知识发现中的应用进行了较深人的研究；华中科技大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉林大学等单位开展了对关联规则发掘算法的优化和改造。2 空间数据挖掘的概念和研究现状2.1空间数据挖掘的概念 空间数据库（数据仓库）中的空间数据除了其显式信息外，还具有丰富的隐含信息，如数字高程模型(d em或tin）除了载荷高程信息外，还隐含了地质岩性与

7、构造方面的信息。这些隐含的信息只有通过数据挖掘才能显示出来。空间数据挖掘（spatial data min-ing,sdm)，或称从空间数据库中发现知识（knowledge discovery from spatial databases,kdsd)，是指从空间数据库中提取用户感兴趣的空间模式与特征、空间与非空间数据的普遍关系及其他一些隐含在数据库中的普遍的数据特征。它可以用来理解或重组空间数据、发现空间和非空间数据间的关系、构建空间知识库、优化查询等。2.2空间数据挖掘的研究现状 空间数据挖掘是数据挖掘领域的一个研究热点。早期sdm工作方式一般是静态地对单机上一些空间数据进行知识挖掘，花费大

8、量的时间精力收集原始信息，挖掘速度慢，挖掘结果难于理解，知识不易更新等缺点。德国慕尼黑大学、加拿大simon fraser大学、芬兰赫尔辛基大学等空间数据挖掘取得了进展。例如，matheus(1993）提出了集数据、数据表达、数据处理三位一体的方式的空间数据挖掘的体系结构。在这种结构中，用户可以控制挖掘过程的每一步。挖掘所需的空间及属性信息存储在一个知识库中，通过数据库接口进行访问。加拿大simon fraser大学开发了空间数据挖掘系统原形goeminer已迈出的软件开发的第一步。goeminer系统功能模块包括空间数据立方体构件模块、空间联机分析处理（olap）模块和空间数据挖掘模块；挖掘

9、语言为gmql；挖掘规则有特征规则、判别规则和关联规则。这些研究大多具有计算机科学背景，只是把空间数据挖掘作为数据挖掘的一个应用领域，研究的重点是提高原先数据挖掘算法在空间数据库的执行效率。在遥感的影像识别方面，许多学者实际已经做了大量的空间数据挖掘工作。 在国内，李德仁院士最早开始关注空间数据挖掘和知识发现，提出了空间数据挖掘和知识发现的概念，率先研究了从gis数据库中发现知识，构筑了空间数据挖掘和知识发现的理论框架，系统地研究了粗糙集和云理论在空间数据挖掘中的理论和技术，提出了用于空间数据挖掘的地学粗空间理论。目前武汉大学、中国科学院与环境信息系统国家重点实验室、中国科学院软件研究所等高校

10、和科研院所开展了空间数据挖掘的理论研究和应用研究。 数据挖掘从提出到现在只短短20年时间，而空间数据挖掘则更年轻，但其发展十分迅速，已经取得了十分丰富的成果。空间数据挖掘将具有广阔的发展前景。目前，空间数据挖掘理论和技术研究方面有待于进一步研究和探索，如多分辨率的数据挖掘、并行数据挖掘、多媒体空间数据库的数据挖掘、知识的可视化表达、分布式空间数据的知识发现、空间数据挖掘语言、新算法和高效率的空间挖掘算法、sdm与空间数据仓库、sdm与gis、sdm与空间决策知识系统、sdm与专家系统的集成等方面。3 主流数据挖掘厂商及其解决方案 目前，主流的数据挖掘厂家有ibm、sas、spss等，他们的产品

11、历史长、应用而广，有较大的用户群。3.1 intelligent miner 由美国ibm公司开发的数据挖掘软件intelligent mine：是一种分别面向数据库和文本信息进行数据挖掘的软件系列，它包括intelligent miner for data和intelligent miner for text。intelligent miner for data可以挖掘包含在数据库、数据仓库和数据中心中的隐含信息，帮助用户利用传统数据库或普通文件中的结构化数据进行数据挖掘。它已经成功应用于市场分析、诈骗行为监测及客户联系管理等；intelligent miner for text允许企业从文

12、本信息进行数据挖掘，文本数据源可以是文本文件、web页面、电子邮件、lotus notes数据库等等。3.2 sas enterprise miner 这是一种在我国的企业中得到较多应用的数据挖掘工具，比较典型的包括上海宝钢配矿系统应用和铁路部门在春运客运研究中的应用。sas enterprise miner是一种通用的数据挖掘工具，按照“抽样探索转换建模评估”的方法进行数据挖掘可以与sas数据仓库和olap集成，实现从提出数据、抓住数据到得到解答的“端到端”知识发现。3.3 spss clementine spss clementine是一个开放式数据挖掘工具，曾两次获得英国政府smart创

13、新奖，它不但支持整个数据挖掘流程，从数据获取、转化、建模、评估到最终部署的全部过程，还支持数据挖掘的行业标准cristdm。clementine的可视化数据挖掘使得“思路”分析成为可能，即将集中精力在要解决的问题本身，它还提供了多种图形化技术，有助理解数据间的关键性联系，指导用户以最便捷的途径找到问题的最终解决办法。 其它常用的数据挖掘工具还有levels5 quest、mineset(sgi）、partek、selearn、spss的数据挖掘软件snob、ashraf azmy的superquery、winrosa、xmdv-tool等。4数据挖掘在国土资源信息化中的应用初探 如何把数据仓库

14、和数据挖掘技术应用到北京市国土资源信息化中来，是一个很重要的研究课题。我局数据仓库和数据挖掘课题组经过调研分析，认为这二种技术应用主要有以下形式：报表（含文字报告、图表）、地图、olap分析和数据挖掘与预测分析。而要把这些形式应用到电子政务中来，许多信息化单位都提出了不同的方法，其中建立数据综合分析与决策支持系统是一个常用的方法。4.1应用形式 （1）报表 由于数据仓库的数据来自国上资源系统各个已有系统，提供非常完整而集成的全局数据。因而数据仓库的一大应用可以是替代或增强现有业务报表系统，为国土资源系统不同层次和不同部门提供服务。 国土资源数据仓库的应用涉及多个部门和应用，不同部门对报表的需求

15、是多样化的。用户以数据仓库作为基准平台可以采取两种方式产生报表：一是由数据仓库平台只为各部门提供基础数据，由各个部门自己开发实现报表系统；其二是提供一个报表自动创建工具，用户利用该工具创建报表。也可以结合企业oa系统来实现数据仓库的报表实现。 （2）地图 地图是国土资源业务管理和决策分析的最重要工具之一。利用地图可以实现传统报表无法实现的功能，展示空间数据，实现可视化效果。事实上，国土资源业务审批已经和地图紧密地联系在一起，核心业务审批和宏观决策都离不开地图技术的支持，利用地图和报表可以更好地为宏观决策提供可视化支持。因此，根据业务需要，开发出灵活、直观的专题地图，为业务管理和决策支持提供可视

16、化技术支持，是一项必要的需求。 （3）olap分析的应用 数据仓库的特点应用是提供olap分析。国土资源数据仓库中数据己经被组织成各个主题，可以针对主题以及需要决策的层面构建数据立方体。它包括土地利用现状olap、基本农田olap、土地规划olap、土地整理和储备olap等多种分析。对于高级用户来言，olap可以理解为多维、复杂报表，决策者可以通过olap随时查找他感兴趣的主题数据，得到实用的报表，而不需要每一次工作都由技术人员来完成。 （4）数据挖掘和预测 数据挖掘能够帮助实现国土资源数据向国土知识转换，同时发现隐含的信息。预测是在充分考虑一些重要的国土资源数据、社会经济与其他因素的条件下，

17、研究或利用一套系统的数学方法（模型）对未来国土资源的要素发展进行预计和推测，例如农用地（耕地）变化的预测。数据挖掘和预测都是决策支持的重要方向。4.2 国土资源综合分析与决策支持系统设计 国土资源综合分析与决策支持系统（以下简称决策系统）设计主要由需求分析、系统设计、系统开发实现、系统集成与测试、系统运行等阶段组成。每一阶段均有其相应的具体工作内容。系统建设的详细流程如图1所示。 （1）系统分析 系统的需求分析必须要考虑到管理相关部门现有的资源及其在本系统的充分应用。在对系统用户需求充分调研基础上，进行系统需求分析。系统分析包括以下几个方面：l）用户业务管理分析；2）用户的功能需求；3）数据源

18、调查与分析；4）业务流程分析与建模；5）系统界面分析。 （2）系统架构设计和网络结构设计 系统架构是整个信息系统的骨架，决定了系统各个逻辑组织部分，而网络结构是其中的重要部分。系统架构设计要从系统组织的层次、多组成部分的关系出发，设计出实用、结构灵活、可扩展性的系统架构。 （3）功能子系统设计 系统具有功能繁多的特点，必须对各个具体功能进行分析、规范、分类，建立功能子系统，把具体功能点归人各功能子系统，才能方便用户使用。 （4）数据整合与集成设计 由于国土资源数据多源性、多格式的特点，如何整合和集成这些数量大、形式多样、量纲不一、兼具定量和定性特点的数据，是系统建设中的重要内容。在确定了数据库

19、的概念体系结构之后，数据的整合和集成设计过程是构建大型数据库最困难的部分。在具体设计过程中，有较多的技术难点，需要解决好整合、集成的方法和技术路线问题。 （5）数据组织与管理设计 国土资源数据是内容复杂的海量数据，建设国土资源数据仓库是十分必要。通过本文前面所提到的建设流程、方法，利用概念设计、逻辑设计和物理设计共同完成对北京市国土资源数据仓库的数据仓库设计。 （6）可视化分析和表达方式设计 可视化分析和表达方式是利用最新的可视化表达技术，针对七个主题中的数据特点，设计可视化分析和表达方式，最终以文字、图表、专题地图、olap报表等多种方式展现给用户，为管理决策部门提供决策辅助功能。参考文献：1邸凯昌空间数据发掘与知识发现m武汉大学出版社，2002.12.2范明，孟小峰等译数据挖掘m机械工业出版社，2001.3李德仁，王树良，李德毅等论空间数据挖掘和知识发现的理论与方法j武汉大报信息科学版vo(l.7)2003年221一233.4李德仁，王树良，史文中等论空间数据挖掘和知识发现m科学出版社，2000.5黄添强关于空间数据挖掘环境调控空间决策支持系统研究d福州大学硕士学位文，2003.6han j,kamber m.