Chapter 7. 空间数据仓库与数据挖掘.ppt

空间数据仓库和数据挖掘 spatialdatawarehouseanddatamining 空间数据仓库空间数据挖掘应用举例 主要内容 目的 从一种更广阔的视角来观察空间数据仓库和空间数据挖掘 而不是某种具体细节去认识这个问题 第一讲总论 1 关于空间数据仓库 1 1为什么要有空间数据仓库 面对空间数据堆积越来越庞大的环境 各级管理者和指挥人员需要从大量复杂的空间数据中获取各自权限内的决策信息 从而作出正确有效的判断和决策 从各级决策者的角度讲 空间数据处理的重点应该从传统的操作型扩展到空间数据的联机分析 olap 处理或分析型 信息型 无数分散的不同数据库存在着数据格式 数据语义 数据编码 空间参照系统 数据处理方式 数据质量等方面的异构性 面对如此复杂的海量空间数据的频繁交互过程 各级决策者从复杂的数据库中提取的数据必须具有集成和关联机制 结论 空间数据仓库就是针对解决上述问题所产生的一种技术方案 空间数据仓库的历史是伴随着空间数据库的发展过程开始的 on lineanalyticalprocessing 简称olap 1 关于空间数据仓库 空间数据模型与数据结构层次 网状 关系数据库系统数据建模工具 实体 关系模型空间数据索引技术空间数据查询语言sql事务管理 数据恢复与并发控制联机事务处理oltp 空间数据库技术的变化 20世纪60年代中 图形 图象模式识别矢量数据采集 空间数据文件空间数据库系统 空间数据库管理系统 20世纪70年代 高级数据库系统 基于web的空间数据库系统 高级数据模型扩充关系模型 面向对象 对象关系 面向用户 空间数据分库和数据挖掘 空间属性一体化数据库系统 第一代综合信息系统 90年代到现在 2000年以后 20世纪90年代到现在 20世纪80年代到现在 空间数据库和联机处理olap空间数据挖掘sdm和知识发现kdd 基于xml的数据系统 knowledgediscoveryindatabase 1 关于空间数据仓库 1 2什么是空间数据仓库 数据仓库的创始人w h inmon曾经给数据仓库 dw 下过一个定义 空间数据仓库是数据仓库向空间维的扩展 它是一个支持决策过程的 面向主题的 集成的 稳定的 不同时间的空间数据的集合 1 支持决策过程sdw的根本是服务于决策支持的 是空间决策支持系统 sdss 的核心 spatialdecision makingsupportsystem 2 面向主题的面向用户解决的问题 主题是数据归类的标准 每个主题对应一个客观分析的领域 即用户 1 关于空间数据仓库 1 2什么是空间数据仓库 3 集成的具有关联机制 可为辅助决策集成多个不同部门不同系统的大量数据异构空间 4 稳定性进入空间数据仓库的数据是不能或极少更新的 5 不同时间的空间数据仓库内包含了大量历史数据 时限为5 10年 主要用于进行时间趋势分析 结论 空间数据仓库是一个多种异构数据源在单个站点以统一的模式组织存储 它的根本是服务于决策支持的 是空间决策支持系统 sdss 的核心 1 关于空间数据仓库 1 3空间数据仓库与空间数据库 1 关于空间数据仓库 1 4空间数据仓库的体系结构 1 关于空间数据仓库 1 5空间数据仓库的关键技术和研究内容 1 支持空间信息的空间数据仓库模型的研究空间数据仓库的数据模型是一般数据仓库的数据模型在空间域的有效扩充 要针对空间信息的特点 对星型模型和雪花模型进行扩展 与一般数据仓库模型相比 空间数据仓库要管理复杂的空间数据类型 其维和度量中不仅包括简单数据类型的数据 而且包含复杂的空间对象 由于空间对象占用的存储空间大 其操作也很复杂 因此需要扩充维和度量的定义 如研究空间数据的立方体模型 以便更有效地处理这样的维和度量 2 面向海量空间信息的数据存储策略空间数据仓库包含海量的空间信息 支持海量空间信息的高效存储是空间数据仓库的需求 也是空间数据仓库的重要特征 空间信息的计算耗费的资源很多 研究空间信息的合理存储策略 如数据分片等 以便于计算和显示 是非常重要的 1 关于空间数据仓库 1 5空间数据仓库的关键技术和研究内容 3 支持空间数据导航的元数据机制空间数据仓库的元数据是人们定义空间数据仓库模型 理解空间数据的意义的重要窗口 空间数据仓库的元数据必须支持对空间数据分析的导航 主要内容包括 空间数据仓库的描述信息 信息源描述信息 数据转换方法的描述信息 数据加载方法的描述信息 业务术语的定义 业务处理规则的描述信息等 元数据标准 元数据操作工具 空间数据仓库 元数据 元数据库 gis数据库 数据访问 gis数据挖掘中元数据的工作模式 对元数据的要求及数据特点 1 关于空间数据仓库 1 5空间数据仓库的关键技术和研究内容 4 面向海量空间信息高效检索的空间索引机制合理的空间数据索引机制是提高数据检索效率的有效途径 空间数据库的索引方法很多 主要有 z 序索引 四叉树索引 kd 树索引 r树索引 r 树索引等 由于空间数据仓库中的数据具有海量 极少更新 随时间变化 历史数据 等特点 其主要操作是数据的追加和检索 因此要针对空间数据仓库的特点设计更加合适的空间数据仓库索引机制 这是目前许多专家关注的问题 5 多源异构空间数据的有效提取和集成由于空间数据仓库中的数据 是根据决策者所要解决问题的主题或领域 从多源异构空间数据库中提取的 数据由操作型空间数据库环境导入空间数据仓库环境 而且空间数据仓库中的数据存在不同的细节级 因此如何有效地提取和集成这些数据就成了一个突出的问题 从深层次讲 这是空间数据仓库的数据结构问题 1 关于空间数据仓库 1 5空间数据仓库的关键技术和研究内容 6 空间数据仓库的联机分析处理olap技术即共享多维信息的快速分析 fastanalysisofsharedmultidimensionalinformation 简称fasmi 目前常见的有基于多维数据库的molap muti elementionolap 基于关系数据库的rolap relationolap 和混合的holap hybridolap 1 关于空间数据仓库 1 6gis中使用空间数据仓库的优势 1 有望解决opengis在数据上不一致的问题 实现真正意义上的数据共享 2 支持基于gis的空间决策支持 成为空间决策支持系统sdss的核心 1 7国内外研究现状 stanford大学的数据仓库whips warehouseinformationprojectatstanford 美国正在启动一个空间信息处理项目eos earthoverviewsystem 到2003年 对全球地面监测的精度将达到1米的分辨率 该项目对巩固美国在全球的竞争优势具有重要的作用 该项目的主要组成部分之一就是空间数据的联机分析与挖掘技术的研究 ibm的almenden实验室 北美和德国的一些公司和科研机构的实验室在这个领域的研究中处于领先位置 1 关于空间数据仓库 1 7国内外研究现状 目前的空间数据仓库原型系统主要有 amicrosoftterraserver 由jimgray主持 geominer 由加拿大simonfraser大学开发 等 在国内 国家 九五 科技重点攻关项目 空间信息共享和处理技术研究 专题项目已取得阶段成果 提出了空间信息共享系统设计方案 视觉与听觉信息处理国家重点实验室开放课题基金项目 空间数据联机分析与空间数据挖掘研究 该项目重点对空间数据联机分析与空间数据挖掘及底层的空间数据仓库技术作基础理论研究 2 关于空间数据挖掘 2 1为什么要有空间数据挖掘 1 由于近年来空间信息技术领域内对地观测技术 数据库技术 网络技术的飞速发展 以及观测台站建设的普及和不断完善 包括资源 环境 灾害等在内的各种空间数据呈指数级数增长 已经出现所谓 数据丰富 信息贫乏 或 数据丰富 知识贫乏 有的人甚至认为目前存储在大型数据中的数据已经变成了 数据坟墓 我们怎样将 数据坟墓 变成 知识金块 呢 2 关于空间数据挖掘 2 1为什么要有空间数据挖掘 2 专门处理空间数据的gis技术在近十几年来虽然得到广泛应用 空间数据的存储 查询 显示特别是分析功能有了较快发展 但这些分析仍多以图形操作为主 如缓冲区分析 叠置分析 邻近分析等 而隐藏在空间数据中的许多知识或有用信息的提取和发现方面的功能仍相对薄弱 我们怎样进一步解决这个问题呢 结论 空间数据挖掘实质上是空间信息技术发展的必然结果 2 关于空间数据挖掘 2 2什么是空间数据挖掘 空间数据挖掘 spatialdatamining sdm 是从空间数据集中识别或提取出有效的 新颖的 潜在有用的 最终可理解的模式的非平凡的过程 也有的认为是从空间数据仓库中发现知识 2 关于空间数据挖掘 2 2什么是空间数据挖掘 1 有效的 性 指知识发现的模式对于新的数据仍保持有一定的可信度 2 新颖的 性 指发现的模式是前所未有的 3 潜在有用的 性 指发现的知识将有实际效用 如用于决策支持可提高军事 社会 经济效益 4 最终可理解的 性 指发现的模式能被用户理解 目前主要体现在模式的简洁性上 5 非平凡的 性 过程分为多个阶段 涉及数据准备 模式搜索 知识评价 及反复修改求精 这个过程要有一定程度的智能性 自动化 如仅仅给出所有数据的总和就不能算作是知识发现过程 2 关于空间数据挖掘 2 3空间数据挖掘与知识发现的关系 有时 人们常常把dm和kdd knowledgediscoveryindatabases 等同起来 一般说来 kdd侧重于目的和结果 多用于人工智能领域 而dm侧重于处理过程和方法 多用于数据库领域 也有人将两者结合起来使用 称为数据挖掘和知识发现 dataminingandknowledgediscovery 简称 技术 1995年在加拿大召开的第一届知识发现和数据开采 也称数据挖掘 国际学术会议上 kdd被认为从数据中发现有用知识的整个过程 知识即意味着数据元素之间的关系和模式 数据开采被认为是kdd过程中的一个特定步骤 它是应用具体算法从数据中提取模式和知识 2 关于空间数据挖掘 2 3空间数据挖掘与知识发现的关系 2 关于空间数据挖掘 2 3空间数据挖掘与知识发现的关系 一种观点 认为olap和数据挖掘是不交的 olap是数据汇总 聚集工具 它帮助简化数据分析 而数据挖掘自动发现隐藏在大量数据中的隐含模式和有趣知识 olap工具的目标是简化和支持交互数据分析 而数据挖掘的目标是尽可能自动处理 尽管允许用户指导这一过程 另一种更广泛的观点可能被接受 数据挖掘包含数据描述和数据建模 由于olap系统可以提供数据仓库中数据的一般描述 olap的功能基本上是用户指挥的汇总和比较 这些尽管有限 但都是数据挖掘功能 同样根据这种观点 数据挖掘要比简单的olap操作宽得多 因为它不仅执行数据汇总和比较 而且执行关联 分类 预测 聚类 时间序列分析和其他数据分析任务 而且 数据挖掘不限于分析数据仓库中的数据 它可以分析现存的 比数据仓库提供的汇总数据粒度更细的数据 它也可以分析事务 文本的 空间的和多媒体数据 这些数据很难用现有的多维数据库技术建模 在这种意义下 数据挖掘涵盖的数据挖掘功能和处理的数据复杂性要比olap大得多 2 关于空间数据挖掘 2 4空间数据挖掘与olap的关系 根据挖掘的数据库类型分类 根据数据库的数据模型 可以有关系 事务 面向对象 对象 关系或sdw的空间数据挖掘系统sdms 根据所处理的数据的特定类型 可以有空间的 时间序列的 文本的或多媒体数据的sdma 或www数据挖掘系统 根据所挖掘的知识类型分类 即根据数据挖掘的功能 如特征化 区分 关联 分类聚类 孤立点分析和演变分析 偏差分析 类似性分析等分类 一个全面的数据挖掘系统应当提供多种和 或集成的数据挖掘功能 2 关于空间数据挖掘 2 5空间数据挖掘的分类 按照所挖掘的知识的粒度或抽象层分类 包括概化知识 在高抽象层 原始层知识 在原始数据层 或多层知识 考虑若干抽象层 一个高级数据挖掘应当支持粒度或抽象层的知识发现 根据数据是否规则 还可以分类为挖掘数据规则性 通常出现的模式 和数据不规则性 如异常或孤立点 一般 概念描述 关联分析 分类 预测和聚类挖掘数据规律 将孤立点作为噪音排除 这些方法也能帮助检测孤立点 根据应用分类 数据挖掘系统可以根据应用分类 例如 金融 电信 dna 股票市场 e mail等等 2 关于空间数据挖掘 2 5空间数据挖掘的分类 根据sdms所用的技术分类 根据用户交互程度 例如自动系统 交互探查系统 查询驱动系统 根据所用的数据分析方法 例如面向数据库或数据仓库的技术 机器学习 统计学 可视化 模式识别 神经网络等 描述 复杂的数据挖掘系统通常采用多种数据挖掘技术 或采用有效的 集成的技术 结合一些方法的优点 2 关于空间数据挖掘 2 5空间数据挖掘的分类 2 关于空间数据挖掘 2 6空间数据挖掘的体系结构 控制器 db接口空间数据结构查询优化 聚焦对象和属性抽取 模式抽取统计学 机器学习和数据挖掘方法计算几何学 评估有趣程度统计重要性 知识库概念层元数据数据库统计数据 发现 领域知识 dbms 用户 查询 一种空间数据挖掘系统的体系结构 2 关于空间数据挖掘 客户端 数据集 规则 报告 过程 图表 项目对象 空间数据仓库 数据访问 调度中心 聚类引擎 规则引擎 分类引擎 其它引擎 判定树引擎 基于存储推理引擎 线性图归引擎 服务器端 主程序 一种空间数据挖掘系统的体系结构 2 关于空间数据挖掘 2 6空间数据挖掘的体系结构 一种空间数据挖掘系统的体系结构 2 关于空间数据挖掘 2 6空间数据挖掘的体系结构 一种空间知识发现的体系结构 2 关于空间数据挖掘 2 7空间数据挖掘系统挖掘的知识类型 空间聚类规则 空间聚类规则 或空间分类规则 是指特征相近的空间目标聚类成上一级类的规则 可用于gis的空间概括和综合 空间特征规则 指某类或几类空间目标的几何的和属性的普遍特征 即对共性的描述 空间区分规则 指区分不同类目标的特征 空间演变规则 指空间目标依时间的变化规则 伴随 相符 类似 突变 2 关于空间数据挖掘 2 8空间数据挖掘的功能 分类模式它是一分类函数 能够把数据集中的数据项影射到某个给定的类上 分类模式往往表现为一棵分类树 根据数据的值从树根开始搜索 沿数据满足的分支往上走 走到树叶就能确定类别 回归模式回归模式与分类模式相似 它们的差别在于分类模式的预测值是离散的 回归模式的预测值是连续的 时间序列模式根据数据随时间变化的趋势预测将来的值 聚类模式把数据分到不同的组中 组间差别尽可能大 组内差别尽可能小 关联模式关联模式是数据之间的关联规则 序列模式和回归模式相仿 而把数据之间的关系与时间联系起来 分类模式与回归模式是在解决实际问题时最普遍的模式 2 关于空间数据挖掘 2 9空间数据挖掘的方法 以空间信息泛化为目标的数据挖掘以空间关联规则发现的目标为根据挖掘以空间分类 聚类 为目标的数据挖掘其他 分类标准 2 关于空间数据挖掘 2 9空间数据挖掘的方法 1 空间分析方法2 统计分析方法3 归纳学习方法4 聚类与分类方法5 可视化方法6 粗集方法7 云理论 8 空间特征和趋势探测方法9 数字地图图像分析和模式识别方法10 探测性的数据分析方法11 遗传算法12 模糊逻辑13 最近邻技术 具体方法 2 关于空间数据挖掘 2 10空间数据挖掘近年主要研究方向 1 针对海量数据的算法研究改变算法运行的策略 采用并行运算环境 提高数据库查询语言的效率 对原有算法的结构进行改进 从而减小运算的复杂度 2 以神经网络为代表的智能方法成为解决空间非线性关系的主要工具神经网络学习算法的发展统计学习领域的研究热点 支撑向量机机器学习中熵标准的应用 2 关于空间数据挖掘 2 10空间数据挖掘近年主要研究方向 3 尺度空间概念的应用4 模糊集和粗集理论的应用5 高维数据的挖掘算法6 空间数据的缺值研究 2 关于空间数据挖掘 2 11空间数据挖掘的发展方向 在空间数据挖掘sdm的理论和方法方面 重要的研究方向有 背景知识概念树的自动生成 不确定性情况下的数据挖掘 递增式数据挖掘 栅格矢量一体化数据挖掘 多分辨率及多层次数据挖掘 并行数据挖掘 新算法和高效率算法的研究 空间数据挖掘查询语言sdmql 规则的可视化表达 真正高效的空间分类方法 基于模式或基于相似性的采掘以及元规则指导的空间数据采掘 基于泛化的空间数据采掘机制需要进一步的开拓等等 在sdm系统的实现方面 要研究多算法的集成 sdm系统中的人机交互技术和可视化技术 sdm系统与地理信息系统 遥感解译专家系统 空间决策支持系统的集成等 3 空间数据挖掘方法及应用 1 空间关联分析 2 聚类分析 3 分类方法 4 统计方法 5 趋势分析 1 空间关联分析 即空间关联规则发现 形式 a b s c a和b是空间和非空间谓词的集合 s 表示规则的支持度 c 表示规则的可信度 例 is a x school close to x sports center close to x park 0 5 80 此规则表明80 靠近体育中心的学校同时也靠近公园 并且有0 5 的数据符合这一规则 构成空间关联规则的谓词 距离信息 close to 临近 far away 远离 拓扑关系 intersect 交 overlap 重叠 disjoin 分离 空间方位 left of 左边 west of 西部 空间关联规则的挖掘需要在大量的空间对象中计算多种空间关系 代价极高 所以应采用逐步求精的挖掘优化方法 koperski 1 通过空间查询从初始空间数据库中获得和任务相关的空间数据库 2 使用一些有效空间挖掘算法计算对象之间的空间联接 从而获得一个候选谓词集合 3 对 2 中所得到的谓词集合中的每一个谓词计算其支持度 并且将那些支持度小于最小支持度的谓词删除 4 对谓词集合进行进一步精化以决定准确的空间关系 5 以 4 所得的候选集作为输入 生成空间关联规则 前期采用的粗略挖掘算法必须满足超级覆盖特性 supersetcoverageproperty 即它保持了潜在的答案 允许假正测试 falsepositivetest 即可以包括一些不属于结果集的数据集 不允许假负测试 falsenegativetest 即不能排除一些潜在的答案 例如 挖掘与空间谓词close to有关的空间关联规则 1 使用一定的近似空间计算算法 如用最小边界矩形结构 仅涉及两个空间点 2 计算放宽后的空间谓词 如g close to 它包括close to touch和intersect的结果 2 聚类分析 聚类 clustering 就是将数据对象分组成为多个类或簇 cluster 在同一个簇中的对象之间具有较高的相似度 而不同簇中的对象分簇中的对象差别较大 聚类分析是统计学的一个分支 与规则分类不同的是 聚类算法无需背景知识 能直接从空间数据库中发现有意义的空间聚类结构 主要聚类方法的分类 1 划分方法 给定一个n个对象或元组的数据库 一个划分方法构建数据的k个划分 每个划分表示一个簇 即k个组 k n 同时要求 1 每个划分至少包含一个对象 2 每个对象必须属于且只属于一个组 给定要构建的划分的数目k 划分方法首先创建一个初始划分 然后采用一种迭代的重定位技术 尝试通过对象在划分间移动来改进划分 一个好的划分的准则 在同一个类中的对象之间尽可能 接近 或相关 而不同类中的对象之间尽可能 远离 或不同 流行的启发式方法 1 k 平均算法 2 k 中心点算法 2 层次的方法 对给定数据对象集合进行层次的分解 凝聚的方法 自底向上的方法 一开始将每个对象作为单独的一个组 然后相继地合并相近的对象或组 直到所有的组合并为一个 层次的最上层 或者达到一个终止条件 分裂的方法 自顶向下的方法 一开始将所有的对象置于一个簇中 在迭代的每一步中一个簇被分裂为更小的簇 直到最终每个对象在单独的一个簇中 或者达到一个终止条件 3 基于密度的方法 只要临近区域的密度 对象或数据点的数目 超过某个阈值 就继续聚类 对给定类中的每个数据点 在一个给定范围的区域中必须至少包含某给数目的点 这样的方法可以用来过滤 噪声 孤立点 发现任意形状的簇 4 基于网格的方法5 基于模型的方法 3 分类方法 空间分类发现的规则在模式识别 基于内容的查询 图象分类等应用中具有重要应用 数据分类 dataclassification 是一个两步过程 1 建立一个模型 描述预定的数据类集或概念集 或称作分类器 要构造分类器 需要有一个训练样本数据集作为输入 训练集由一组数据库记录或元组构成 每个元组是一个由有关字段 又称属性或特征 值组成的特征向量 此外 训练样本还有一个类别标记 训练样本形式 v1 v2 vn c 其中vi表示字段值 c表示类别 2 使用模型进行分类 分类器的构造方法有统计方法 机器学习方法 神经网络方法等等 机器学习方法包括决策树法和规则归纳法 神经网络法主要是bp算法 决策树方法的分类稳定性优于神经网络方法 4 统计方法 空间统计学 spatialstatistics 是依靠有序的模型描述无序事件 根据不确定性和有限信息分析 评价和预测空间数据 空间统计学是基本的数据挖掘技术 特别是多元统计分析 如判别分析 主成分分析 因子分析 相关分析 多元回归分析等 实例 问题 某地区气象观测站的最优设置 某地区内有12个气象观测站 为了减少开支 计划减少气象观测站的数目 已知该地区12个气象站的位置 以及10年来测得的年降水量 考虑减少哪些观测站可以使所得的降水量的信息足够大 模型的假设条件 1 该地区的地理特性有一定的均匀性 而不是复杂多变的地理特性 2 相近地域的气象特性具有较大的相似性和相关性 可以近似为一种线性关系 3 在距离较远的条件下 由于地形 环境等因素而造成不同区域的年降水量相似的可能性很小 可以忽略 不同区域年降水量的差异主要与距离有关 建模分析在原始数据中 若有n个观测站可以反映同一规律 可认为这n个观测站相关性好 相似性好 可以去掉其中的n 1个观测站 只保留一个 以这个观测站得到的观测值作为所去掉的n 1个观测站的代表 反映相似区域的气象规律 在减少观测站后 所保留下的观测站仍能为预报工作提供足够的信息 数据模型任意两站的距离及平均降水量 年平均降水量 允许误差等 可以得出