第六讲空间数据质量与元数据

学习目标 理解空间数据质量及其相关概念 了解空间数据质量评价的标准 并分析造成数据质量问题的来源 说明控制空间数据质量的措施 理解元数据的概念 了解空间数据元数据所用到的概念 了解空间数据元数据的分类和标准 了解空间数据元数据的获取方法 弄清为什么在地理信息系统中使用元数据 说明空间数据元数据的应用重点 空间数据质量的概念 数据质量评价 元数据的概念 难点 元数据的分类与标准 第五章空间数据质量与元数据 第一节空间数据的质量 空间数据质量的概念空间数据质量评价空间数据质量问题的来源与分析数据质量控制 一 空间数据质量的概念 空间数据 是对有关空间位置 专题特征及时间信息的符号纪录 是对现实世界中空间特征和过程的抽象表达 空间数据质量 空间数据在表达实体空间位置 特征和实践所能达到的准确性 一致性 完整性和三者统一性的程度 以及数据适应于不同应用的能力 二 空间数据质量评价 数据质量特征 1 误差 2 准确度 3 精度 4 不确定性空间数据质量标准 1 数据说明 2 位置精度 3 属性精度 4 时间精度 5 逻辑一致性 6 完整性 7 表达形式的合理性 1 数据质量的基本特征准确度 测量值与其实际真值的接近程度精度 对象表达的详细程度 包括定位精度 属性精度 空间分辨力 2 数据质量的基本特征 续 不确定性 当某种现象不能精确测定时 其值无法知道 其误差也就无法确定 这时就用不确定性代替误差 一般采取对同一现象进行多次观测并求标准差来表示相容性 两个来源数据在同一应用中的难易程度土地利用图拼接时 边缘处地物类型和几何位置应该相容不同比例尺可造成数据的不相容 如一种图上有 而另一种图上被忽略一致性 同一现象或同类现象表达的一致程度 包括位置不一致 河流 行政边界在不同的图上形状不同逻辑不一致 道路不能穿越房子 等高线不能交叉 2 数据质量的基本特征 续 完整性 指数据的完整性 包括分层的完整性 分类的完整性 内容完整性 不缺少数据 可得性 获得或使用数据的容易程度现势性 数据反映客观现象目前状况的程度 对许多类型的地理信息来说 时间是一个严格的因素 如人口统计信息 土地利用类型信息适用性 数据质量的适用性主要取决于所使用数据的内容与质量 用户的财力 获得数据的易容程序等上述这些数据质量的基本特征决定了数据质量的好坏 2 空间数据质量标准 空间数据质量标准是生产 使用和评价空间数据的依据 数据质量是数据整体性能的综合体现 其主要内容如下 数据说明 要求对空间数据的来源 数据内容及其处理过程等作出准确 全面和详尽的说明 位置精度 指空间实体的坐标数据与实体真实位置的接近程度 常表现为空间三维坐标数据的精度 属性精度 指空间实体的属性值与其真值相符的程度 它取决于地理数据的类型 常常与位置精度有关 时间精度 指时间的现势性 可以通过数据更新的时间和频度来体现 2 空间数据质量标准 逻辑一致性 指地理数据关系上的可靠性 包括数据结构 数据内容 以及拓扑性质上的内在一致性 完整性 指地理数据在范围 内容及结构等方面满足所有要求的完整程度 包括数据范围 空间实体类型 空间关系分类 属性特征分类等方面的完整性 表达形式的合理性 指数据抽象 数据表达与实体的吻合性 包括空间特征 专题特征和时间特征表达的合理性等 三 空间数据质量问题的来源与分析 源误差空间现象自身存在的不稳定性空间现象的表达操作误差空间数据使用中的误差 1 源误差 地面测量数字数据的误差地图数字化数据的误差遥感数据的误差 1 地面测量数字数据的误差 来源于地面测量的数字数据中含有控制测量和碎部测量误差 其中控制点误差又受控制网的参考基准 网形和观测精度以及观测费用等因素的影响 碎部点误差除继承了控制点的误差外 还受自身的观测方法 观测精度和地界的人为判断 以及地物地貌的取舍等因素的影响 当然 原始观测误差受观测仪器 观测者和外界环境三种因素影响 地面测量数据中的误差可以表现为随机误差 系统误差或粗差 一般而言 粗差可采用可靠性理论探测剔除 系统误差可采用实验方法校正或建立系统误差模型处理 随机误差可采用随机模型 如最小二乘法平差处理 利用误差传播规律可求得点坐标的方差 协方差矩阵或误差椭圆 球 元素来表达点坐标数据的精度 测量方面的误差通常考虑的是 系统误差 操作误差和偶然误差 2 地图数字化数据的误差 地图数字化是GIS数据来源之一 原图固有误差和数字化过程误差是地图数字化数据误差的主要来源 原图固有误差除含有上述地面控制测量和碎部测量的全部误差外 还含有制图误差 制图误差数字化误差 制图误差 控制点展绘误差 展绘控制点是成图的第一步 编绘误差 地形图的编绘一般用摄影测量手段把各种原始资料化为同一比例尺的过程 其中所引入的误差大约在0 30 0 33毫米之间 绘图误差 这项误差是在绘图过程中产生的 综合误差 地图综合误差的大小取决于特征的类型与复杂程度 故该项误差极难量化 制图误差 地图复制误差 地图复制误差的均方差为0 1 0 2毫米 分色版套合误差 该项误差的均方差为0 17 0 30毫米 绘图材料的变形误差 地图一般印刷于纸质载体上 随着温度和湿度的变化 纸的尺寸也会改变 归化到同一比例尺所引起的误差 地图的比例尺是指真实的主比例尺 在将地图数字化或从地图量距时 必须利用适当的比例尺因子进行修正 制图误差 特征的定义 自然界的许多特征并无明确的界限 特征定义会引起特征位置的某些不确定性 但并非所有的特征都有此误差 特征夸大误差 为了增强地图的易读性 有时需要夸大某些特征 因为它们在图上难以按其真实情况表示 由于很难知道制图过程中各种误差间的关系以及图纸尺寸的不稳定性 因此 很难准确地评价原图固有误差 数字化误差 数字化方式主要有手扶跟踪数字化和扫描数字化 在生产实践中 采用扫描数字化 然后屏幕半自动化跟踪 线划跟踪与扫描数字化所引起的平面误差较小 只是在扫描时 要素结合处出现的误差较大 手扶跟踪数字化引起的误差主要与被数字化的要素对象 作业员和数字化仪有关 要素对象 要素本身的宽度 密度和复杂程度对数字化误差有显著影响 数字化误差 作业员 作业员的经验与技能主要表现在选择最佳点位 跟踪曲线和判断十字丝与目标重合程度的能力等方面 数字化仪 数字化仪的分辨率对数字化误差有决定性影响 一般在选择数字化仪时采用经济实用的原则 3 遥感数据误差 遥感数据的误差积累过程可以分为 数据获取误差 数据预处理误差和人工判读误差等 数据获取误差 遥感资料获取时存在着多种误差 其中有些误差源是可控的 有些则是不可控的 可控的数据获取误差又包括几何误差和遥感平台误差 数据预处理误差 数据预处理包括利用地面控制对原始数据进行的几何校正 图像增强和分类等 这些预处理会引入各种各样的误差 3 遥感数据误差 人工判读误差 在数据分析和判读阶段会引入人工判读误差 在GIS中使用遥感数据时 人工判读会影响随后的地图分析结果 2 操作误差 除了地图原始录入数据本身带有的源误差外 空间数据处理操作中还会引入新误差 由计算机字长引起的误差空间数据处理中的误差 在计算机中 数据是由一定字长的编码表示的 舍入误差是由计算机字长引起的一种误差 除了数据处理精度外 数据存储精度也与计算机字长有关 1 空间数据处理中的误差 投影变换 地图投影是三维地球椭球面到二维平面的拓扑变换 在不同投影形式下 地理特征的位置 面积和方向的表现会有误差 数据格式转换 在矢量格式和栅格格式之间的转换中 数据所表达的空间特征的位置具有差异性 数据抽象 在数据发生比例尺变换时 对数据进行聚类 归并 合并等操作时产生的误差 建立拓扑关系 建立拓扑过程中 伴随有数据所表达的空间特征的位置坐标的变化 1 空间数据处理中的误差 与主控数据层的匹配 为保证各数据层之间空间位置的协调性 在同一地区的多层数据面中 一般建立一个主控数据层 以控制其他数据层的边界和控制点 在与主控数据层匹配的过程中也会存在空间位移 从而导致误差 数据叠加操作和更新 数据在叠加运算以及数据更新时 会产生空间位置和属性值的差异 数据集成处理 在来源不同 类型不同的各种数据集的相互操作过程中错产生的误差 1 空间数据处理中的误差 数据的可视化表达 数据在可视化表达过程中 为适应视觉效果序对数据的空间特征位置 注记等进行调整 由此产生数据表达上的误差 数据处理过程中误差的传递和扩散 在数据处理的各个环节和过程中 误差是累积和扩散的 前一过程的误差可能成为下一阶段的误差起源 从而导致新的误差的产生 3 空间数据使用中的误差 在空间数据使用过程中也会导致误差的出现 主要表现在两方面 一是用户错误理解信息造成的误差 二是缺少文档说明 从而导致用户不正确地使用信息 造成数据的随意性使用而使误差扩散 一般来说 源误差远大于操作误差 因此 要想控制GIS产品的质量 良好的原始录用数据是首要的 使用GIS过程中的误差来源 陈俊 宫鹏 1998 返回 3 数据的误差类型误差类型的分类有不同的方法GIS数据处理过程分类 史文中 1994 按误差性质来分类几何误差 属性误差 时间误差 逻辑误差 按误差来源分类 返回 四 数据质量控制 数据质量控制是指为达到规范或规定对数据质量要求而采取的作业技术和措施 空间数据质量控制常见的方法有 传统的手工方法 主要是将数字化数据与数据源进行图形部分和属性部分的比较检查 元数据方法 通过元数据可以检查数据质量 通过跟踪元数据可以了解数据质量的状况和变化 地理相关法 指的是用空间数据的地理特征要素自身的相关性来分析数据的质量 对数据的质量控制或质量评价一般从数据的逻辑性检查入手 例如 停车场与桥梁与公路应该有接口 相邻地物的边界不能有交叉和裂缝不同弧段依附于同一结点时 坐标应该一致 属性相邻的地块应该合并 地类标注应该符合植物的演变规律 5 数据几何误差检测和表达点误差 某点的测量值与其真实位置之间的差异 一般采取点位误差分布椭圆表示线误差 线误差的分布可以采取 骨头型 和 车链型 分布带表示 也可以采用 带表示 6 属性误差不确定性属性数据是指对于某一GIS中点 线 面或遥感数据的属性值或属性类别的描述属性数据可以具有 离散 类别值或连续值 也可以区分为定性或定量属性值类别变量是一个有限集合内的有限个元素 如土地覆盖分类系统中的土地类别是有限的 这时类别值没有先后 大小的涵义连续变量是某一区间内的任意值 如环境指标从1到4依次表示最好到最差 这时类别值有先后次序的涵义属性数据误差由属性的取值与其真值的相差程度决定连续属性数据误差可以用量测误差来确定 这时可以采用与位置误差相同的方法来确定 如误差传播定律类别属性数据误差确定是一个复杂的过程 受多种因素的影响 类别 区域形状与大小 试验点的取样方法以及相互混合类别情况等 举例 土地利用分类中 一个地块实际的裸地占30 水面占10 植物覆盖占60 如果该地块记录为植被类型 则有40 的不确定性如果用航片解译方法得到该地块中裸地占28 水面占15 植物覆盖占55 城镇占2 则裸地低估2 水面高估5 植物低估5 城镇高估2 这时总的不确定性为四类土地类型估计误差的绝对值之和 2 5 5 2 14 第二节空间数据的元数据 一 元数据概念与分类二 空间数据元数据所涉及的概念三 空间数据元数据的标准四 空间数据元数据的获取与管理五 空间数据元数据的应用 一 元数据概念与分类 元数据 Metadata meta 是一希腊语词根 意思是 改变 Metadata 一词的原意是关于数据变化的描述 一般都认为元数据就是 关于数据的数据 即关于数据的描述性数据信息 在地理空间数据中 元数据说明数据内容 质量 状况和其他有关特征的背景信息 联想 纸质地图的元数据 随着计算机技术和GIS技术发展 特别是网络通信技术的发展 空间数据共享日益普遍 管理和访问大型数据集的复杂性正成为数据生产者和用户面临的突出问题 在这种情况下 空间数据的内容 质量 状况等元数据信息变得更加重要 地理信息元数据标准和操作工具已经成为空间空间数据基础设施的一个重要组成部分 元数据产生背景 一 元数据概念与分类 1 元数据概念 元数据 是关于数据变化的描述 是描述数据的数据 它应尽可能多地反映数据集自身的特征规律 以便于用户对数据的准确 高效与充分的开发与利用 关于元数据认识的共同点是 元数据的目的是促进数据集的高效利用 并为计算机辅助软件工程服务 2 元数据的内容 元数据的内容包括 1 对数据的描述 对数据集中各数据项 数据来源 数据所有者 数据序代 数据生产历史 等的说明 2 对数据质量的描述 如数据精度 数据的逻辑一致性 数据完整性 分辨率 源数据的比例尺等 3 对数据处理的说明 如量纲的转换等 4 对数据转换方法的描述 5 对数据库的更新 集成方法等的说明 3 元数据的主要作用 1 帮助数据生产单位有效地管理和维护空间数据 建立数据文档 2 提供有关数据生产单位数据存储 数据分类 数据内容 数据质量 数据交换网络及数据销售等方面的信息 便于用户查询检索地理空间数据 3 提供通过网络对数据进行查询检索的方法或途径 以及与数据交换和传输有关的辅助信息 4 帮助用户了解数据 以便就数据是否能满足其需求作出正确的判断 5 提供有关信息 以便用户处理和转换有用的数据 4 元数据的表达形式 元数据的表达形式 元数据也是一种数据 在形式上与其他数据没有区别 它可以以数据存在的任何一种形式存在 主要的形式是与元数据内容标准相一致的数字形式 数字形式的元数据可以用多种方法建立 存储和使用 1 最基本的方法是文本文件 2 元数据的另一种形式是用超文本链接标示语言 HTML 编写的超文本文件 用户可用浏览器查阅元数据 3 用通用标示语言 SGML 建立元数据 SGML提供一种有效的方法连接元数据便于在空间数据交换网络上查询 5 元数据的分类 分类原则不同 元数据的分类体系和内容将会有很大的差异 主要分类方法有 根据元数据的内容分类根据元数据描述对象分类根据数据在系统中的作用分类根据元数据的作用分类 1 根据元数据的内容分类 科研型元数据 主要目标是帮助用户获取各种来源的数据及其相关信息 主要任务是帮助科研工作者高效获取所需数据 评估型元数据 主要服务于数据利用的评价 模型元数据 用于描述数据模型的元数据 与描述数据的元数据在结构上大致相同 2 根据元数据描述对象分类 数据层元数据 指描述数据集中每个数据的元数据 属性元数据 关于属性数据的元数据 实体元数据 是描述整个数据集的元数据 3 根据数据在系统中的作用分类 系统级别元数据 指用于实现文件系统特征或管理文件系统中数据的信息 应用层元数据 指有助于用户查找 评估 访问和管理数据等与数据用户有关的信息 4 根据元数据的作用分类 说明元数据 是为用户使用数据服务的元数据 多为描述性信息 侧重数据库的说明 控制元数据 是用于计算机操作流程控制的元数据 这类元数据有一定的关键词和特定的句法来实现 二 空间数据元数据所涉及的概念 空间数据 用于确定具有自然特征或者人工建筑特征的地理实体的地理位置 属性及其便捷的信息 类型 在元数据标准中 数据类型指该数据能接收的值的类型 对象 对地理实体的部分或整体的数字表达 实体类型 对于具有相似地理特征的地理实体集合的定义和描述 点 用于位置确定的零维地理对象 结点 拓扑连接两个或多个链或环的一维对象 标识点 显示地图或图表时 用于特征标识的参考点 线 一维对象的一般术语 线段 两个点之间的直线段 弧 由数学表达式确定的点集组成的弧状曲线 链 两个结点之间的拓扑关联 链环 非相切线段或由结点区分的弧段构成的有方向无分支序列 环 封闭状不相切链环或弧段序列 多边形 在二维平面中由封闭弧段包围的区域 二 空间数据元数据所涉及的概念 外多边形 数据覆盖区域内最外侧的多边形 其面积是其他所有多边形的面积之和 内部区域 不包括其边界的区域 格网 组成一规则或近似规则的棋盘状镶嵌表面的格网集合 或者组成一规则或近似规则的棋盘状镶嵌表面的点集合 格网单元 表示格网最小可分要素的二维对象 矢量 有方向线的组合 栅格 同一格网或数字影像的一个或多个叠加层 二 空间数据元数据所涉及的概念 像元 二维图形要素 它是数字影像最小要素 栅格对象 一个或多个影像或格网 每一个影像或格网表示一个数据层 各层之间相应的格网单元或像元一致且相互套准 图形 与预定义的限制规则一致的零维 一维和二维有拓扑相关的对象集 数据层 集成到一起的面域分布空间数据集 它用于表示一个主体中的实体 或者有一公共属性或属性值的空间对象的联合 二 空间数据元数据所涉及的概念 层 在有序系统中数据层 级别或梯度序列 纬度 在中央经线上度量 以角度单位度量离开赤道的距离 经度 经线面到格林威治中央经线面的角度距离 经圈 穿过地球两极的地球的大圆圈 坐标 在笛卡尔坐标系中沿平行X轴和Y轴测量的坐标值 投影 将地球球面坐标中的空间特征 集 转化到平面坐标体系时使用的数学转换方法 二 空间数据元数据所涉及的概念 投影参数 对数据集进行投影操作时用于控制投影误差 变形实际分布的参考特征 地图 空间现象的空间表征 通常以平面图形表示 现象 事实 发生的事件 状态等 分辨率 由涉及到或使用的测量工具或分析方法能区分开的两个独立测量或计算的值的最小差值 质量 数据符合一定使用要求的基本或独特的性质 二 空间数据元数据所涉及的概念 详述 用一对数或三个数分别直接描述水平位置和三维位置的方法 介质 用于记录 存储或传递数据的物理设备 二 空间数据元数据所涉及的概念 三 空间数据元数据的标准 空间数据元数据标准的建立是空间数据标准化的前提和保证 只有建立起规范的空间数据元数据才能有效利用空间数据 目前 空间数据元数据已形成了一些区域性或部门性的标准 下表为有关空间数据元数据的几个现有主要标准 三 空间数据元数据的标准 Page 57 三 空间数据元数据的标准 美国联邦空间数据委员会 FGDC 的空间数据元数据内容标准的影响较大 该标准用于确定地学空间数据库的元数据内容 该标准于1992年7月开始起草 1994年7月8日 FGDC正式确认该标准 该标准将地学领域中应用的空间数据元数据分为7个部分 它们是 数据标识信息 数据质量信息 空间数据组织信息 空间参照系统信息 地理实体及属性信息 数据传播及共享信息和元数据参考信息 元数据标准化