空间数据挖掘及其在海洋地理信息系统中的应用.pdf

第 37 卷第 6 期 2015 年 6 月 舰 船 科 学 技 术 SHIP SCIENCE AND TECHNOLOGY Vol. 37, No. 6 Jun. , 2015 空间数据挖掘及其在海洋地理信息系统中的应用 杜 鹃, 曹建春 (黄河水利职业技术学院 信息工程系,河南 开封 475004) 摘 要: 空间数据挖掘是数据挖掘中的一个重要门类,空间数据挖掘的意义是在空间数据库或数据仓库的支 持下,提取、推理出未知、有价值、可利用的关系、模式或趋势,从而为决策系统提供支持。 随着海洋测量技术和电子地 图技术的持续发展,以及计算机存储容量的不断扩大,使得海洋地理信息系统中出现了海量数据,如何对这些数据进 行有效利用,从而进一步发现价值,是当前海洋地理信息系统研究的主要课题之一。 本文介绍空间数据挖掘技术的主 要原则,分析空间数据挖掘的实际效果,并研究空间数据挖掘在海洋地理信息系统中的应用,为今后海洋地理信息系 统的完善和提高提供依据。 关键词: 空间数据挖掘;数据仓库;海洋地理信息系统 中图分类号: U172. 7 文献标识码: A 文章编号: 1672 -7649(2015)06 -0168 -04 doi:10 3404/ j issn 1672 -7649 2015 06 037 Spatial data mining and the implementation in marine geographical information system DU Juan, CAO Jian-chun (Information Engineering Department,Yellow River Conservancy Technical Institute,Kaifeng 475004,China) Abstract: Spatial data mining is an important aspect in data mining. Spatial data mining is the meaning of: with the support of spatial database or data warehouse, extraction, unknown reason logically, valuable, usable relationships, patterns, or trends, so as to provide support for decision system. As the sustainable development of marine surveying technology and electronic map technology, as well as the expansion of the computer storage capacity, makes marine geographic information system producing the vast amounts of data. And how to carry on the effective use of these data is one of the main topics of the current marine geographic information system research. This paper introduces the main principles of spatial data mining technology, in which the practical effects of the spatial data mining is analyzed, and studied the spatial data mining application in marine geographic information system. This paper provide the basis of marine geographic information system improvement in future days. Key words: spatial data mining; data warehouse; marine geographical information system 收稿日期: 2015 -01 -19; 修回日期: 2015 -03 -27 作者简介: 杜鹃(1982 - ),女,硕士,讲师,研究方向为数据挖掘、信息安全、软件技术。 0 引 言 随着卫星技术、 通信技术、 计算机技术、 数据 处理技术和其他现代科技的发展, 海洋学和地图学 早已突破传统对于空间和时间的限制, 逐渐进入了 以数字测量和数字地图为主干, 以计算机科学作为 支撑, 以 3S 技术为代表的新纪元。 通过以上新技 术, 以及各种新型设备, 我们获得了大量的海洋测 量数据和电子地图数据, 并采用现代处理方法对这 些数据进行持续不断地更新和处理。 这些海量而种 类丰富的数据, 蕴含了极大价值, 并构成了海洋地 理信息系统的基础1 -2。 然而, 这些多来源、 多维度、 多时态的数据, 其容量和复杂程度早已超出了传统分析方法的处理 能力。 一方面导致大量数据无法利用, 造成决策失 误或数据浪费; 另一方面导致极大的系统负担和系 第 6 期杜 鹃,等:空间数据挖掘及其在海洋地理信息系统中的应用 统存储资源浪费, 使得对于数据资源的利用效率较 低。 空间数据挖掘作为统计学、 数据库技术、 机器 学习技术、 人工智能和专家系统的结合, 能够很好 地克服传统数据分析方法的缺陷, 高效而充分地对 数据进行分析和利用。 所谓空间数据挖掘, 是数据挖掘技术在空间数 据集合中的一种应用, 主要通过对空间数据的分析 和比对, 发现蕴含在数据中, 不能够直观发现的关 系、 趋势、 模式等特征, 为预测未来现象提供依据, 为系统决策提供支持。 然而由于空间数据的特点和 海洋地理信息系统应用的特殊性, 空间数据挖掘与 传统的数据挖掘方法也略有不同。 本文在对空间数 据挖掘技术进行深入研究的基础上, 介绍了空间数 据挖掘技术的主要原则, 分析了该技术能够取得的 潜在效果, 并结合海洋地理信息系统的特点和需求, 研究了空间数据挖掘技术在海洋地理信息系统中的 应用方法和运行模式, 为进一步完善该系统, 更加 充分地对海洋空间数据进行利用, 提供依据3。 1 空间数据挖掘的基本原则 1 1 空间数据挖掘的概念 空间数据挖掘以空间数据库或数据仓库作为数 据来源, 结合相关的数据学习理论和挖掘技术, 能 够从海量充满噪声和不确定的空间数据中, 提取出 可信的、 新型的、 隐藏的和未知的数据关系、 发展 趋势等特征和属性, 并能够在不需要人工干预的前 提下自动执行, 完成对潜在知识的发现和挖掘工作, 从而向多种信息系统提供服务, 向决策支持系统提 供决策依据3 -4。 空间数据挖掘是空间数据库、 计算机管理技术 和决策技术发展到新阶段的产物。 其集成了多种当 前流行的技术, 如人工智能、 概率统计、 专家系统、 机器学习、 空间数据库、 模糊数学、 网络技术和数 据可视化技术等, 是一种数据挖掘技术在空间数据 领域的重要扩展和应用。 1 2 空间数据挖掘的框架 当前, 存在多种空间数据挖掘框架, 例如由 Maheus 提出的多组件数据挖掘框架, 由 Hoslsheimer 提出的特征挖掘框架, 由 Han 提出的数据挖掘通用 模型等。 从适用性的角度考虑, 最适合空间数据挖 掘的框架应当为多组件数据挖掘框架, 该框架的基 本结构如图 1 所示。 数据库 管理系统 用户控制器 数据库 接口组件 分析组件 模式提取 组件 评价组件 知识来源 知识库 图 1 空间数据挖掘框架 Fig 1 The framework of spatial data mining 在此系统中, 用户可以与系统实时交互, 并控 制数据挖掘的过程。 知识库存储有背景知识。 数据 挖掘过程通过以下组件完成: 数据库接口从数据库 中直接提取数据; 分析组件对数据进行筛选, 决定 哪些数据可用, 哪些数据不可用; 模式提取组件能 够从可用的数据中发现新的知识或有价值的规则; 评价组件则对发现的知识和规则等进行评价, 决定 其重要性、 相关性等属性, 并根据评价结果对知识 库进行更新。 以上 4 个组件通过控制器相互交互, 并将最后结果提交给用户。 空间数据挖掘框架为整个空间数据挖掘过程提 供依据, 并为海洋地理信息系统中的数据分析和利 用提供设计思路。 2 空间数据挖掘的内容 与空间数据处理不同, 空间数据挖掘能够提取 出隐含的知识、 空间数据之间的关系和其他有价值 的模式信息, 从而能够进一步发现更多有用的知识, 为其他系统和应用提供决策依据。 2 1 空间关系 空间关系规则是描述不同实体相互位置关系的 规则, 是一种固有的并且相互同步的规则, 如相邻 规则、 连接规则、 共生规则、 包括规则等。 在数据 挖掘过程中, 不同的位置关系将使用以上逻辑规则 表达, 因此, 空间关系是空间数据挖掘所获得的一 种重要知识。 当采用的数据来源为 “空间时间” 数据时, 还可以通过空间规则, 进一步发现对象在 一段时间序列下的运动轨迹。 2 2 对象特征 对象特征描述的是一种或多种对象实体所共有 的属性特征, 包括类型、 尺寸、 形状等其他常见或 特殊的属性。 并且如果数据样本的数量足够时, 我 们还能够获得对象的先验概率知识, 例如海底沉积 物的经纬度分布等。 961 舰 船 科 学 技 术第 37 卷 2 3 数据分类 通过空间分类规则, 空间数据集中的数据能够 被映射为特定的类, 通常在数据预测的过程中使用。 同时, 分类规则是一种全局适用的知识, 本质上是 对数据集的一种抽象和一般化。 2 4 数据聚类 通过聚类能够将类型相近的数据集合为一种类 型, 同时使得不同类型之间的差异最大化, 而使得 同一类型之间的差异最小化, 能够应用于生成和划 分多种异构信息。 与分类规则不同, 在聚类之前, 并不知道划分的每一类的特征和属性, 也不清楚数 据能够被划分为哪些类别。 需要注意的是, 在空间数据挖掘的过程中, 挖 掘的内容和结果, 并不一定是以上几类的一种, 而 大多数需要涉及到多种。 因为, 在对信息进行分析 和可视化的过程中, 对一个对象的感知, 仅仅知道 其特征、 空间关系、 类别等的一种, 并不能完全认 识该对象, 更无法深度挖掘该对象与其他对象存在 的其他隐含关系, 因而, 在实际使用中, 从实践角 度考虑, 我们需要获得包括以上各种内容的多种或 全部, 从而完成对对象的全维感知, 也能够使得在 下一步的挖掘中, 获得的知识更加完备和详细。 3 空间数据挖掘流程 在传统的数据处理方法中, 往往采用专家系统 方法, 采用处理规则或模板, 将专家知识固化为某 种知识的固定提取方法和处理措施。 这种方法具有 2 个主要缺点: 一是其仅仅能够对数据进行表面化 的处理, 而不能够进行多层次和持续的挖掘, 因而 这种数据处理方式, 仅仅能够发现事先已知类型和 符合规定的知识; 二是其难以应对大量的数据, 采 用该种方法的数据处理系统, 往往采用线性处理方 法, 对于某一类的数据处理往往需要遍历所有的规 则和模板, 造成不必要的算法复杂性, 当数据量较 大时, 其效率较低。 而空间数据挖掘算法, 能够克 服以上问题, 采用聚类、 分类等措施和循环迭代的 方法, 不仅能够发现大量隐含知识, 同时能够处理 海量知识, 其主要过程有以下几个步骤: 1) 数据滤波: 对于海上地理信息系统来说, 其中包含了大量来自不同设备和不同种类的数据, 由于海上环境的多变性, 必然会存在错误和异常数 据, 为了确保能够得到正确结果, 在对数据进行处 理之前, 需要对数据进行滤波, 得到无噪声的可用 数据; 2) 数据聚类: 相比于数据分类, 数据聚类具 有更广泛的适用性, 能够发现实现未被定义的数据 类型。 通过数据聚类, 能够完善数据的结构性, 从 而为下一步数据挖掘提供依据; 3) 数据挖掘: 当前数据挖掘、 分类与分析的 算法种类较多, 主要的方法有神经网络、 SVM 等。 需要注意的是, 空间数据挖掘与传统方法不同, 完 成整个挖掘过程需要多次迭代。 具体流程如图 2 所示。 开始 数据过滤 数据聚类 形成类别是 否有定义？ 否 是 是 数据挖掘 重定义类别 是否有新 知识产生？ 否 结束 图 2 空间数据挖掘流程图 Fig 2 The flow chart of spatial data mining 4 空间数据挖掘在海洋 GIS 中的应用 海洋学和地图学数据是海洋地理信息系统中的 重要组成部分, 有着 GIS 数据的典型特征。 因此, 可以利用空间数据挖掘, 最大化的发挥海洋测量和 电子地图数据的价值, 开发多种类型的应用, 扩展 海洋测绘和电子地图产品的种类, 从而向用户提供 丰富多样的服务5。 4 1 海底地形数据挖掘 海图是一种用来描述某个海域及其邻接陆地 的地图, 其中对于海底地形的描述主要采用虚线 点迹表示。 由于图幅限制, 海图中的虚线点迹通 常采用互相隔离和离散的形式出现, 难以直观地 表示出海底地形的全貌, 从而为安全航线的划定 造成不便。 使用空间数据挖掘中的统计学方法, 能够从离 071 第 6 期杜 鹃,等:空间数据挖掘及其在海洋地理信息系统中的应用 散的虚线点迹中发现出海底地形走势的固有规律, 从而建立一个等高线模型, 结合可视化技术, 我们 能够得到海底地形的 3D 全景显示, 从而能够方便 直观地对海底地形进行分析和利用。 4 2 海洋沉积物数据挖掘 海洋沉积物是海底地形的重要组成部分之一, 同时也是航海导航、 船舶抛锚和海底航行等活动的 重要影响因素之一。 通过使用数据挖掘工具, 如概率统计、 模糊集 理论和集群方法, 海洋沉积物的分布区域和时空变 化规律将能够被发现, 使得船舶航行的安全性得到 加强, 同时水上航线的利用率也能够得到提高。 此 外, 也能够为国防和海洋工程建设等活动, 提供决 策依据。 4 3 航行障碍数据挖掘 在船舶的航行过程中往往需要考虑诸如暗礁、 残骸、 障碍物等, 并及时进行规避以保证航行安全。 尽管大多数航行障碍物的位置固定, 但是由于洋流 和其他原因, 某些类型的障碍物将会发生移动。 对 于航行障碍物来说, 其空间数据并不仅仅包括其所 在位置信息和属性等, 同时也包括其影响范围、 移 动趋势及其他时空信息。 在空间数据挖掘理论的支持下, 海洋地理信息 系统能够自动映射出航行障碍物所处的水域, 并在 不同的航行条件下, 给出航行的安全指数。 当船舶 进入某个危险水域时, 系统能够智能化地向船员发 送警报, 从而最大限度地保证船舶的航行安全。 4 4 航行助航数据挖掘 助航设施, 例如导航标记、 海上浮标等, 通常 用来指示暗礁位置, 或进行海洋观测, 是一种重要 的人工实施, 使得船舶能够借助这些设施进行位置 测量, 航线导航和障碍规避。 航行助航数据储存了大量助航设施的属性特征 和地理位置。 这些知识并不仅仅反应了安全航道信 息, 还指示了海拔信息, 可航行水深等信息。 使用空间数据统计分析及聚类, 遗传算法和其 他空间数据挖掘技术, 系统能够根据助航设施的特 征和级别进行重分类。 最终, 可以向船舶提供最优 化的航线, 实现自动化的航线选择等功能。 4 5 水文数据挖掘 水文数据指示了水力、 洋流等海水的物理和化 学特征, 包含潮汐、 浪高、 洋流速度、 漩涡、 冰山、 浮冰等数据, 以及盐度、 密度、 海水颜色等数据。 一方面水文数据中蕴含着丰富的位置、 特性、 强度、 方向等信息; 另一方面, 水文数据也表明了 多种未知的、 随时间变化的模糊数据。 例如, 在不 同水深下的浪高、 浪速和方向等, 以及当发生何种 情况时, 海浪会进一步发展为漩涡。 使用空间数据挖掘, 系统不仅能够自动化地发 现各种数据的隐含关系和规则, 同时也能够在一定 的需求下进行最优化分析和未来数据的预测, 从而 为决策提供有力支持。 5 结 语 海洋地理信息系统是当前人类活动必不可少的 信息化系统, 其中产生和储存的海量数据, 更蕴含 着巨大的价值, 随着大数据时代的来临, 如何发挥 这些数据的巨大作用, 将是海洋地理信息系统下一 步研究和完善的重点。 本文对空间信息挖掘技术进 行详细介绍, 从该技术的基本原则、 内容和流程等 方面进行深入研究, 并结合空间信息挖掘技术的特 点, 研究了其在海洋地理信息系统中的引用方法, 为之后系统的进一步完善提供基础。 参考文献: 1 KANVSKI M,PARKIN R. Environmental da