数字地球关键技术数据仓库数据挖掘PPT课件.ppt

1 空间数据仓库与数据挖掘 第八讲 2 联机分析处理技术 数据仓库技术 数据挖掘技术 从一种更广阔的视角来观察空间数据仓库和空间数据挖掘 而不是某种具体细节去认识这个问题 3 面对空间数据堆积越来越庞大的环境 各级管理者和指挥人员需要从大量复杂的空间数据中获取各自权限内的决策信息 从而作出正确有效的判断和决策 从各级决策者的角度讲 空间数据处理的重点应该从传统的操作型扩展到空间数据的联机分析 OLAP 处理或分析型 信息型 1关于空间数据仓库 1 1为什么要有空间数据仓库 4 无数分散的不同数据库存在着数据格式 数据语义 数据编码 空间参照系统 数据处理方式 数据质量等方面的异构性 面对如此复杂的海量空间数据的频繁交互过程 各级决策者从复杂的数据库中提取的数据必须具有集成和关联机制 1关于空间数据仓库 1 1为什么要有空间数据仓库 5 结论 空间数据仓库就是针对解决上述问题所产生的一种技术方案 空间数据仓库的历史是伴随着空间数据库的发展过程开始的 空间数据仓库服务于决策支持 1关于空间数据仓库 1 1为什么要有空间数据仓库 6 1关于空间数据仓库 空间数据库技术的变化 7 数据仓库的创始人W H Inmon曾经给数据仓库 DW 下过一个定义 空间数据仓库是数据仓库向空间维的扩展 它是一个支持决策过程的 面向主题的 集成的 稳定的 不同时间的空间数据的集合 1关于空间数据仓库 1 2空间数据仓库的概念 8 面向用户解决的问题 主题是数据归类的标准 每个主题对应一个客观分析的领域即用户 1关于空间数据仓库 1 2空间数据仓库的概念 支持决策过程 面向主题的 SDW的根本的是服务于决策支持的 是空间决策支持系统 SDSS 的核心 9 空间数据仓库内包含了大量历史数据 时限为5 10年 主要用于进行时间趋势分析 1关于空间数据仓库 集成的 稳定性 不同时间的 具有关联机制 可为辅助决策集成多个不同部门不同系统的大量数据异构空间 进入空间数据仓库的数据是不能或极少更新的 10 空间数据仓库是一个多种异构数据源在单个站点以统一的模式组织的存储 它的根本目的是服务于决策支持 是空间决策支持系统 SDSS 的核心 1关于空间数据仓库 结论 11 1关于空间数据仓库 1 3空间数据仓库与数据库的比较 12 空间数据仓库的体系结构 1关于空间数据仓库 13 空间数据仓库的数据模型是一般数据仓库的数据模型在空间域的有效扩充 要针对空间信息的特点 对星型模型和雪花模型进行扩展 与一般数据仓库模型相比 空间数据仓库要管理复杂的空间数据类型 其维和度量中不仅包括简单数据类型的数据 而且包含复杂的空间对象 由于空间对象占用的存储空间大 其操作也很复杂 因此需要扩充维和度量的定义 如研究空间数据的立方体模型 以便更有效地处理这样的维和度量 1 4空间数据仓库的关键技术和研究内容 支持空间信息的空间数据仓库模型的研究 1关于空间数据仓库 14 空间数据仓库包含海量的空间信息 支持海量空间信息的高效存储是空间数据仓库的需求 也是空间数据仓库的重要特征 空间信息的计算耗费的资源很多 研究空间信息的合理存储策略 如数据分片等 以便于计算和显示 是非常重要的 面向海量空间信息的数据存储策略 1 4空间数据仓库的关键技术和研究内容 1关于空间数据仓库 15 空间数据仓库的元数据是人们定义空间数据仓库模型 理解空间数据的意义的重要窗口 空间数据仓库的元数据必须支持对空间数据分析的导航 主要内容包括 空间数据仓库的描述信息 信息源描述信息 数据转换方法的描述信息 数据加载方法的描述信息 业务术语的定义 业务处理规则的描述信息等 1 4空间数据仓库的关键技术和研究内容 支持空间数据导航的元数据机制 1关于空间数据仓库 16 1 4空间数据仓库的关键技术和研究内容 1关于空间数据仓库 17 由于空间数据仓库中的数据 是根据决策者所要解决问题的主题或领域 从多源异构空间数据库中提取的 数据由操作型空间数据库环境导入空间数据仓库环境 而且空间数据仓库中的数据存在不同的细节级 因此如何有效地提取和集成这些数据就成了一个突出的问题 从深层次讲 这是空间数据仓库的数据结构问题 1 4空间数据仓库的关键技术和研究内容 多源异构空间数据的有效提取和集成 1关于空间数据仓库 18 合理的空间数据索引机制是提高数据检索效率的有效途径 空间数据库的索引方法很多 主要有 四叉树索引 R树索引 R 树索引等 由于空间数据仓库中的数据具有海量 极少更新 随时间变化等特点 其主要操作是数据的追加和检索 因此要针对空间数据仓库的特点设计更加合适的空间数据仓库索引机制 这是目前许多专家关注的问题 1 4空间数据仓库的关键技术和研究内容 面向海量空间信息高效检索的空间索引机制 1关于空间数据仓库 19 即共享多维信息的快速分析 FastAnalysisofsharedMultidimensionalinformation 简称FASMI 目前常见的有基于多维数据库的MOLAP Muti dimensionalOLAP 基于关系数据库的ROLAP RelationOLAP 和混合的HOLAP HybridOLAP 1 4空间数据仓库的关键技术和研究内容 空间数据仓库的联机分析处理OLAP技术 1关于空间数据仓库 20 1 4空间数据仓库的关键技术和研究内容 1关于空间数据仓库 21 有望解决OpenGIS在数据上不一致的问题 实现真正意义上的数据共享 支持基于GIS的空间决策支持 成为空间决策支持系统SDSS的核心 GIS中使用空间数据仓库的优势 1 4空间数据仓库的关键技术和研究内容 1关于空间数据仓库 22 Stanford大学的数据仓库WHIPS WareHouseInformationProjectatStanford 美国启动的空间信息处理项目EOS EarthOverviewSystem 该项目的主要组成部分之一就是空间数据的联机分析与挖掘技术的研究 IBM的Almenden实验室 北美和德国的一些公司 和科研机构的实验室在这个领域的研究中处于领先位置 1 5国内外研究现状 1关于空间数据仓库 23 目前的空间数据仓库原型系统主要有 AMicrosoftTerraServer 由JimGray主持 GeoMiner 由加拿大SimonFraser大学开发 等 在国内 国家 九五 科技重点攻关项目 空间信息共享和处理技术研究 专题项目已取得阶段成果 提出了空间信息共享系统设计方案 视觉与听觉信息处理国家重点实验室开放课题基金项目 空间数据联机分析与空间数据挖掘研究 该项目重点对空间数据联机分析与空间数据挖掘及底层的空间数据仓库技术作基础理论研究 1 5国内外研究现状 1关于空间数据仓库 24 由于近年来空间信息技术领域内对地观测技术 数据库技术 网络技术的飞速发展 以及观测台站建设的普及和不断完善 包括资源 环境 灾害等在内的各种空间数据呈指数级数增长 已经出现所谓 数据丰富 信息贫乏 或 数据丰富 知识贫乏 有的人甚至认为目前存储在大型数据中的数据已经变成了 数据坟墓 我们怎样将 数据坟墓 变成 知识金块 呢 2关于空间数据挖掘 2 1为什么要有空间数据挖掘 25 我们数据丰富 但信息贫乏 2关于空间数据挖掘 2 1为什么要有空间数据挖掘 26 专门处理空间数据的GIS技术在近十几年来虽然得到广泛应用 空间数据的存储 查询 显示特别是分析功能有了较快发展 但这些分析仍多以图形操作为主 如缓冲区分析 叠置分析 邻近分析等 而隐藏在空间数据中的许多知识或有用信息的提取和发现方面的功能仍相对薄弱 我们怎样进一步解决这个问题呢 2关于空间数据挖掘 2 1为什么要有空间数据挖掘 结论 空间数据挖掘实质上是空间信息技术发展的必然结果 27 2关于空间数据挖掘 2 2什么是空间数据挖掘 28 空间数据挖掘 SpatialDataMining SDM 是从空间数据集中识别或提取出有效的 新颖的 潜在有用的 最终可理解的模式的非平凡的过程 也有的认为是从空间数据仓库中发现知识 2关于空间数据挖掘 2 2什么是空间数据挖掘 29 指发现的知识将有有实际效用 如用于决策支持可提高军事 社会 经济效益 2关于空间数据挖掘 2 2什么是空间数据挖掘 有效的 性 新颖的 性 潜在有用的 性 指知识发现的模式对于新的数据仍保持有一定的可信度 指发现的模式是前所未有的 30 过程分为多个阶段 涉及数据准备 模式搜索 知识评价 及反复修改求精 这个过程要有一定程度的智能性 自动化 如仅仅给出所有数据的总和就不能算作是知识发现过程 2关于空间数据挖掘 2 2什么是空间数据挖掘 最终可理的 性 非平凡的 性 指发现的模式能被用户理解 目前主要体现在模式的简洁性上 31 有时 人们常常把DM和KDD KnowledgeDiscoveryinDatabases 等同起来 一般说来 KDD侧重于目的和结果 多用于人工智能领域 而DM侧重于处理过程和方法 多用于数据库领域 也有人将两者结合起来使用 称为数据挖掘和知识发现 DataMiningandKnowledgeDiscovery 简称 技术 2关于空间数据挖掘 2 3空间数据挖掘与知识发现的关系 32 1995年在加拿大召开的第一届知识发现和数据挖掘 也称数据开采 国际学术会议上 KDD被认为从数据中发现有用知识的整个过程 知识即意味着数据元素之间的关系和模式 数据挖掘被认为是KDD过程中的一个特定步骤 它是应用具体算法从数据中提取模式和知识 2关于空间数据挖掘 2 3空间数据挖掘与知识发现的关系 33 Knowledge 2关于空间数据挖掘 2 3空间数据挖掘与知识发现的关系 34 一种观点 认为OLAP和数据挖掘是不交的 OLAP是数据汇总 聚集工具 它帮助简化数据分析 而数据挖掘自动发现隐藏在大量数据中的隐含模式和有趣知识 OLAP工具的目标是简化和支持交互数据分析 而数据挖掘的目标是尽可能自动处理 尽管允许用户指导这一过程 2关于空间数据挖掘 2 4空间数据挖掘与OLAP的关系 35 另一种更广泛的观点可能被接受 数据挖掘包含数据描述和数据建模 由于OLAP系统可以提供数据仓库中数据的一般描述 OLAP的功能基本上是用户指挥的汇总和比较 这些尽管有限 但都是数据挖掘功能 同样根据这种观点 数据挖掘要比简单的OLAP操作宽得多 因为它不仅执行数据汇总和比较 而且执行关联 2关于空间数据挖掘 2 4空间数据挖掘与OLAP的关系 36 分类 预测 聚类 时间序列分析和其他数据分析任务 而且 数据挖掘不限于分析数据仓库中的数据 它可以分析现存的 比数据仓库提供的汇总数据粒度更细的数据 它也可以分析事务 文本的 空间的和多媒体数据 这些数据很难用现有的多维数据库技术建模 在这种意义下 数据挖掘涵盖的数据挖掘功能和处理的数据复杂性要比OLAP大得多 2关于空间数据挖掘 2 4空间数据挖掘与OLAP的关系 37 根据数据库的数据模型 可以有关系 事务 面向对象 对象 关系或SDW的空间数据挖掘系统SDMS 根据所处理的数据的特定类型 可以有空间的 时间序列的 文本的或多媒体数据的SDMA 或WWW数据挖掘系统 2关于空间数据挖掘 2 5空间数据挖掘的分类 根据挖掘的数据库类型分类 38 即根据数据挖掘的功能 如特征化 区分 关联 分类聚类 孤立点分析和演变分析 偏差分析 类似性分析等分类 一个全面的数据挖掘系统当提供多种和 或集成的数据挖掘功能 2关于空间数据挖掘 2 5空间数据挖掘的分类 根据数据挖掘系统所挖掘的知识类型分类 39 包括概化知识 在高抽象层 原始层知识 在原始数据层 或多层知识 考虑若干抽象层 一个高级数据挖掘应当支持度抽象层的知识发现 2关于空间数据挖掘 2 5空间数据挖掘的分类 按照所挖掘的知识的粒度或抽象层分类 根据数据是否规则 还可以分类为挖掘数据规则性 通常出现的模式 和数据不规则性 如异常或孤立点 一般地 概念描述 关联分析 分类 预测和聚类挖掘数据规律 将孤立点作为噪音排除 这些方法也能帮助检测孤立点 40 2关于空间数据挖掘 2 5空间数据挖掘的分类 根据应用分类 数据挖掘系统可以根据应用分类 例如 金融 电信 DNA 股票市场 E MAIL等等 41 2关于空间数据挖掘 2 5空间数据挖掘的分类 根据SDMS所用的技术分类 根据用户交互程度 例如自动系统 交互探查系统 查询驱动系统 根据所用的数据分析方法 例如面向数据库或数据仓库的技术 机器学习 统计学 可视化 模式识别 神经网络等 描述 复杂的数据挖掘系统通常采用多种数据挖掘技术 或采用有效的 集成的技术 结合一些方法的优点 42 2关于空间数据挖掘 2 6空间数据挖掘的体系结构 43 一种空间数据挖掘系统的体系结构 44 一种空间数据挖掘系统的体系结构 2关于空间数据挖掘 45 一种空间数据挖掘系统的体系结构 2关于空间数据挖掘 46 空间聚类规则 空间聚类规则 或空间分类规则 是指特征相近的空间目标聚类成上一级类的规则 可用于GIS的空间概括和综合 空间特征规则 指某类或几类空间目标的几何的和属性的普遍特征 即对共性的描述 空间区分规则 指区分不同类目标的特征 空间演变规则 指空间目标依时间的变化规则 伴随 相符 类似 突变 2关于空间数据挖掘 2 7空间数据挖掘的知识类型 47 空间关联 序列规则 空间关联规则是空间实体之间同时出现的内在规律 即空间实体间相邻 相连 共生和包含等关联规则 发现的知识采用逻辑规则表达 2关于空间数据挖掘 2 7空间数据挖掘的知识类型 当空间数据库是时 空数据库或存储有同一地区不同时间的历史数据时 可将空间实体数据之间的关联规则与时间相联 挖掘带有时间约束的空间序列规则 基于时序的空间序列规则根据空间实体数据随时间变化的趋势预测未知值 48 空间特征 区分规则 空间特征规则指某类或几类空间实体的几何的和属性的共性特征 空间区分规则是指两类或几类空间实体的不同空间特征规则 2关于空间数据挖掘 2 7空间数据挖掘的知识类型 空间分类 回归规则 空间分类规则根据空间区分规则把数据集中的数据映射到某个给定的类上 用于反映空间分布特征或数据预测 其预测值是离散的 空间回归规则是用于预测的 其预测值是连续的 49 空间聚类 函数依赖规则 空间聚类规则是把特征相近似的空间实体数据划分到不同的组中 组之间的差别尽可能大 组内的差别尽可能小 可用于空间实体的概括和综合 与空间分类规则不同 进行聚类之前并不知道将要划分成几个组和什么样的组 也不知道根据哪些空间区分规则来定义组 2关于空间数据挖掘 2 7空间数据挖掘的知识类型 空间函数依赖规则是发现空间实体的属性间的函数依赖关系 50 分类模式它是一分类函数 能够把数据集中的数据相项影射到某个给定的类上 分类模式往往表现为一棵分类树 根据数据的值从树根开始搜索 沿数据满足的分支往上走 走到树叶就能确定类别 回归模式回归模式与分类模式相似 它们的差别在于分类模式的预测值是离散的 回归模式的预测值是连续的 时间序列模式根据数据随时间变化的趋势预测将来的值 2关于空间数据挖掘 2 8空间数据挖掘的功能 51 聚类模式把数据分到不同的组中 组间差别尽可能大 组内差别尽可能小 关联模式关联模式是数据之间的关联规则 序列模式和回归模式相仿 而把数据之间的关系与时间联系起来 分类模式与回归模式是在解决实际问题时最普遍的模式 2关于空间数据挖掘 2 8空间数据挖掘的功能 52 以空间信息泛化为目标的数据挖掘以空间关联规则发现的目标为根据挖掘以空间分类 聚类 为目标的数据挖掘其他 分类标准 2关于空间数据挖掘 2 9空间数据挖掘的方法 53 1 空间分析