数字填图数据质量控制基本概念与技术方法.ppt

数字填图数据质量控制基本概念与技术方法 李超岭中国地质调查局发展研究中心2008年12月21日 数字填图数据质量控制基本概念与技术方法 一 数字地质调查数据模型内容介绍二 数据验收组织方式三 数据库成果验收阶段性划分四 数据提交验收的基本条件五 空间数据质量的概念与内容六 数据完整性检查总体要求七 空间数据质量检查总体要求八 定量描述数据质量单位 一 数字地质调查数据模型内容介绍 数字填图数据库建设是区调成果的重要组成部分之一 本要求根据区调 矿产远景调查的工作内容与目的 基于地理信息应用模式规则 ISO19109 与地理信息空间模式 ISO19107 以地理数据库描述框架 UML和关系数据库规范化理论为基础 采用面向对象 地理数据库模型 的建模技术 建立矿产远景调查数据 实体 数据 实体 之间的联系以及有关语义约束规则的形式化表述 为矿产远景调查数据库的统一描述 组织和管理提供基础 本要求文档包括以下几大部分 第1 5章 主要讲述标准的范围 术语 定义 缩写 符号和编码约定 第6 16章 为数字地质调查景调查原始数据库建库内容与要求 第17 30章 为矿产远景调查不同阶段成果数据库建库内容与要求 第31 32章 为矿产远景调查数据库成果提交物理存储与质量控制要求 经过专家多次讨论 历经7稿 仍然欢迎大家提出修改意见 1 数字地质调查数据库建库组织基本原则 数字地质调查数据库主要工作内容包括矿产地质填图 地球化学勘查 地球物理勘查 重砂测量 遥感地质调查 矿产检查和综合研究等 涉及多专业 为了更好组织数据 根据数据获取的方法 把数据分为原始数据 原始采集部分 和成果数据 综合分析部分 两大部分 在此基础上按地质填图 地球化学勘查 地球物理勘查 重砂测量 遥感地质调查 异常查证结果 矿点检查结果 资源量估算 区域地质图与地质矿产图和成矿规律与矿产预测等专业划分数据内容 按分两大类 根据既能保证数据规范化组织 又能保证数字地质调查主要成果提交 本次数据库建库原则采取了对主要原始数据和主要最终成果数据库进行统一描述 统一组织 统一存储的方法 而对中间成果数据内容不做具体的约束规定的原则 2 数据库分类与构成 RGMAPGIS提供全部数据库建库工具 3 章节内容介绍第三章内容 引用标准 第五章内容 编码规则 1 第五章内容 编码规则 2 分类编码主要解决以下5个层次的问题 第一层次 解决数据库命名空间问题 第二层次 解决要素类名称或对象类名称数据库命名空间或代码的问题第三层次 解决要素 要素是组成要素类的属性 和对象名称据库命名空间和代码问题 相当于数据库中的字段名称或具体的属性值第四层次 解决要素和对象的取值的代码和值域 相当于数据库中的每一个记录中的每一个字段的具体的属性值第五层次 解决要素和对象的每个实体的唯一代码 代码组成一定和分类代码有关 有利于应用人员识别该实体的物理意义 并保证唯一性 第五章内容 编码规则 3 根据数据库建的基本要求 提出以下分类编码原则 1 命名原则 命名原则必须清晰反映要素与对象的描述语义 其原则包括以下几个方面 使用Pascal大小写命名形式 Pascal大小写命名形式是指名称中单词的第一个字母大写 GeologicalMap TopographicalMap 要素类分类 对象类分类 要素及对象的属性名称 要素及对象的属性值分类和命名空间的名称都应遵循该原则 如果所使用的软件不支持大小写 如字段名 可以用下划线的方式代替第二个单词的第一个大写字母 如 Dip Angle 如果单词字母过多 可以采用按音节截断缩写 如 GEOLOGICALPOLYGON缩编为GeoPolygon 第五章内容 编码规则 4 2 各数据库命名空间由数字地质调查系按规则统统一规定 自动组织存储 3 各要素类名称或对象类名称数据库命名空间或代码 由数字地质调查系按规则统统一规定 自动组织存储 手工建库按6 36章的名称建立 4 要素 要素是组成要素类的属性 和对象 组成对象类的属性 名称据库命名空间和代码 即相当于数据库中的字段名称或具体的属性值 为解决易读性和数据共享交流 采用了主题法 由数字地质调查系按规则统统一规定 自动组织存储 手工建库按6 36章的数据字典称建立 5 要素和对象的取值的代码和值域 相当于数据库中的每一个记录中的每一个字段的具体的属性值 按GB T9649中规定的代码填写 6 地理底图部分按GB T13923 92执行 第五章内容 编码规则 5 7 地质代号与地质年代代号是地质图的重要属性内容之一 规范化地质代号与地质年代代号表示法按GB T9649中规定的代码填写 采用计算机的具体表示法 在录入时还需须遵循下列规则 表示上标 表示下标 每个标识只对紧邻后的一个字母或标识有效 若该标识紧邻后的一个是标识 则构成组合标识 该组合标识再对紧邻后的一个字母或标识有效 以此类推 任意上标或下标个数可以随意组合 比如 表示上标的上标 表示上标的下标等 如莲沱组下亚组 Z1l1表示为Z 1l 1 第五章内容 编码规则 6 附录A 规范性附录 地质领域学科及勘查专业分类1 3级代码25个领域大纲105个基本分类10万个基本本体 第五章内容 编码规则 7 第五章内容 编码规则 8 第五章内容 编码规则 9 第五章内容 编码规则 10 第五章内容 编码规则 11 第五章内容 编码规则 12 第五章内容 编码规则 13 第五章内容 编码规则 14 第五章内容 数据模型 字典 语义约束规则的形式化描述内容说明 1 3 矿产远景调查数据库数据模型 字典 语义约束规则的形式化表述说明如下 要素类名称 该数据是图层文件 要素类的中文名称 要素类代码 该数据是图层文件 要素类的具体文件名 可以是英文也可以是中文 数据库代码 该数据是属性数据库 数据库的具体文件名 可以是英文也可以是中文 实体名称 该数据文件以DBF方式组织 实体名称是该DBF的中文名称 实体代码 该数据文件以DBF方式组织 实体代码是该DBF的文件名 空间数据类型 指点线面类型 第五章内容 数据模型 字典 语义约束规则的形式化描述内容说明 2 3 数据类型 指数据存储的类型数据存储的类型 一般包括字符型 C 单精度数值 S 双精度数值 D 长整形 L 整形等 I 对于特殊系统的数据类型 需要明确说明 数据存储长度 存储于某一特定系统平台的字节数 为系统默认值 数据显示长度 数据用于信息表达的长度 字符型数据说明字符个数 数值型数据说明小数点前后的位数 如F8 2 不确定长度的数据项需明确说明 约束条件 确定数据项是否填写 按照以下三类规定 可选 O 必选 M 条件必选 C 若为必选 M 时 可填写是否为空 NOTNULL 默认值 初始值 确定数据项在初始状态下的值 值域范围 明确给出数据项的取值范围 第五章内容 据模型 字典 语义约束规则的形式化描述内容说明 3 3 数据项描述 对需要进一步说明的数据项进行描述 对于特殊表达格式的数据项也需在此说明 如多数值表达的分隔符 特殊符号的表达描述等 主关键字名称 用以标识记录的唯一性 并用于和其它实体进行关联的数据项的名称 子关键字名称 和主关键字一起用以标识记录的唯一性 并用于和其它实体进行关联的数据项的名称 索引键名称 用于按照一定规律排序的数据项的名称 第六 七章内容 地质填图数据建库内容 49张 第八 九 十 十一章内容 重砂 地球化学 地球物理 遥感数据数据建库 第十二 十三章内容 探矿工程数据建库 第十四 十五章内容 探矿工程数据建库 第十六 十七 十八章内容矿产地与取样分析结果 重砂数据建库 第二十 二十一章内容地球化学与地球化学成果结果数据建库 第二十二至二十五章内容地球化学 地球化学 遥感推断地质构造数据及重砂异常数据建库 第二十六章内容 资源量估算数据库建库 1 第二十六章内容 资源量估算数据库建库 2 第二十七至三十章内容 异常查证 矿点检查 区域地质图与矿产图 成矿规律与矿产预测图数据库 该部分为成果重点部分 二 数据验收组织方式 根据中国地质调查局关于矿产资源补偿战略性矿产远景调查项目野外验收和报告评审有关事项的通知 数据库成果应与战略性矿产远景调查项目成果验收同步 其数据库验收方式与项目成果验收方式相同 具体验收初步意见如下 1 在专家组中 增加2 3名数据库专家 对数据库成果进行验收 验收内容和评分标准参见 战略性矿产远景调查数据库建设内容与数据库成果提交要求 技术要求文档 并且数据库验收的分数做为战略性矿产远景调查项目成果总体分数 5 10 的一部分 2 数据库专家由中国地质调查局发展中心和大区指定专家组成 通过本次培训考核或指定推荐 并参加所在大区项目的成果验收 三 数据库成果验收阶段性划分 由于本次数据库建设过程中 数据建库的技术路线和入口方式不同 特别是部分图幅的数据库采集没有与野外调查和工作同步 导致数据的数字化工作集中而显得数据采集与数字化工作偏大 根据工作量测算 工作量大的工作主要是野外路线数据的录入 包括地质路线和地球化学数据采集 地质图空间数据库 根据实际工作的情况 数据库成果验收可分阶段提交 具体意见如下 1 数据库成果应与战略性矿产远景调查项目成果的验收同步的数据库如下 PRB图幅库 同时提交野外PRB数据 剖面数据库槽井坑钻数据库 可选 矿产地数据库地质图空间数据库 与当时验收的地质矿产图一致 地球化学数据库 分析数据 成果数据 地球物理数据库 分析数据 成果数据 遥感解译数据库异常查证结果数据库矿点检查结果数据库成矿规律与矿产预测图数据库 综合地质构造图层 含矿地质建造图层 控矿构造图层 矿产地图层 矿化信息及找矿标志图层 蚀变带信息 物 化 遥等综合异常图层 矿产预测远景区图层 找矿靶区图层 地质工作部署建议 2 最终验收后 可在3个月内提交战略性矿产远景调查项目成果的验收的数据库如下 地球化学数据库野外采样数据库地球物理数据库野外采样数据库地质图空间数据库 同修改后的报告一致 重砂野外数据采集与成果数据库 四 数据提交验收的基本条件 1 数据种类与地质调查报告一致 2 数据库路径与数字地质调查系统一致 3 数据逻辑内容与空间数据拓扑一致性应100 通过数字地质调查系统提供的数据质量检查工具 4 数据分图幅组织 5 按地调局元数据标准填写提交的成果的元数据 6 数据存储介质 光盘 一 拓扑关系定义要素 图元 之间的连通性或相邻的关系成为拓扑关系 空间实体之间的拓扑关系 点 线 面三类实体的关系可以有六种组合 即点与点 点与线 点与面 线与线 线与面 面与面 这些组合表示了实体间拓扑关系的相邻性 连接性 闭合性 一致性等 是地理空间数据处理的依据 五 空间数据质量的概念与内容 二 描述空间数据特征的基本术语 ARCNODE VERTEXPSEUDODANGLINGNODELABLEUSER IDTICRMSERR 三 COVERAGE的重要容限值 1 FuzzyTolerance 坐标距离容限 弧段坐标之间的最小距离 用CLEAN时 间距小于坐标距离容差的两个或两个以上的坐标点就合并成一个 包括VERTEX NOTE及弧段之间 2 DangleLength 悬挂长度 一段悬挂线段 其左右两边是同一个多边形 用CLEAN命令使任何短于该长度的悬挂线段都删去 3 NodeMatchTolerance 结点结合容限 结点相互连接的距离4 WeedTolerance 坐标间隔距离 用于平滑线段坐标点 采用Douglas Pucker算法平滑各线段的坐标点 从线段起始出发到各个顶点产生一条趋势线 而坐标间隔距离即用来判明那些落在趋势线容差范围之内该删去的顶点 5 RMS 残余均方误差 控制点转绘误差 该值必须小于0 003 这是当控制点 TIC 用来把地图固定在数字化仪上时自动计算出来的RMS值代表了数字化仪光标获取COVERAGE上的控制点位置精度 坐标距离容限 坐标距离容限 坐标间隔距离 坐标间隔距离 坐标间隔距离 结点结合容限NODEMATCH BUILD 加入ID Build加入ID 四 GIS数据的质量特征 1 具有地理位置的空间实体 它是GIS系统中属性数据描述的对象 GIS把地理实体抽象地用点 线 面 多边形 三个基本特征来表示2 描述实体的属性3 空间实体之间的拓扑关系 点 线 面三类实体的关系可以有六种组合这三个基本内容决定了GIS的质量控制分别包含了空间数据的质量控制 属性数据的质量控制 空间实体之间关系和空间数据与属性数据之间关系的质量控制 四 GIS数据的质量特性 1 空间数据的质量特性数据位置的精度将直接影响数据库的应用 在质量控制检查中 对数据的位置精度进行严格的检查和分析是十分重要的一环 1 数学基础图廓点 公里网 经纬网交点 控制点等的坐标值应正确 2 平面精度由内业数字化 及扫描矢量化 采集数据的数字产品 其误差以偏离中心位置为衡量标准 主要地物的误差不得超过0 2mm 次要地物的误差不得超过0 3mm 线状目标位移中误差不得大于 0 20mm 3 高程精度内业数字化采集的数字地图其高程点的高程值正确 等高线的高程不应与相邻高程点的高程或地物产生地理适应性矛盾 并能显示该地区的地貌形态特征 2 属性数据的质量特性 1 描述空间数据的属性项定义 包括名称 类型 长度等 必须正确 属性表中各数据项的属性取值及其单位不得有异常 2 标识码是区分标识空间数据的码 必须唯一有效 不重复 描述每个地理实体特征的各种属性数据应正确 3 空间数据与描述它的属性数据之间一一对应的联接关系须正确 也即空间数据与属性数据必须具有正确的相关性 具有一个以上属性表时 各属性表之间的相关性和网络层次应当正确描述和建立 3 空间数据之间的关系 与制图区别 1 空间实体的点线面类型定义必须正确 岩脉 2 保证多边形空间实体的封闭性 3 保证线状空间实体的连接性 4 保证编码不重复 组合实体 基础图形要素 5 保证符合组合实体间和基础图形要素之间的关系原则 其中包括 连接 如地质界线连接或分段路线的连接 相交 如地质界线与分段路线的相交 共享 地质体边线共享 落于 ROUTing落于相应的地质体内 包含 大地质体包含小地质体 6 保证不出现悬挂节点和伪节点 所有线状要素相交处 都应建立节点 7 每个线状要素必须既有从左侧相关于它的面域 又有从右侧相关于它的面域 保证空间数据之间拓扑关系的正确性是实现GIS系统数据处理和分析的基础 它的质量特性是GIS区别于CAD系统的重要内容之一 4 数据编辑处理过程中的质量特性 1 要素类每个图形要素必须按定义赋予一定的图名 或号 同一元素不能赋予一个以上图层名 每一图层只有一种要素 2 完备性GIS系统中的图形数据和属性数据 包括注记不得有错漏和偏移 数据必须完备 每组数据文件应该完整 3 唯一性图形数据必须具有唯一性 不得有重复重叠 4 自然接边 5 图饰质量其数据结构要适应GIS的拓扑化处理和空间分析 需要时也可以生成满足国家制图标准的地图 6 数据转换不同采集系统之间的数据转换 转换过程中要保证数据精度 空间数据间的拓扑关系 空间数据与属性数据的联接关系不丢失 六 数据完整性与整体性检查总体要求 1 1 完整性的含义与完整性的必要性 在本项目评价中 完整性指数据库的类型 数量 记录 与业务报告的相匹配 二者缺一不可 如果类型全 但记录不全 提交的数据库意义不大 或不可用 类型不全 数据记录全 提供的数据库可用 但会使数据综合信息的价值变小 故也不允许 六 数据完整性与整体性检查总体要求 2 2 整体性含义与把握 本次验收是针对图幅数据库验收的 因此保障数据的关系具有整体性 如路线观测数据 PRB总图 实际材料图 地质图空间数据库的应是完整的 整体性通过关系来约束 其约束或整体性是通过下面来描述的 就上述的例子来看 不能可以看到PRB总图 但没有野外PRB数据 数据目录组织应按系统的目录进行组织 PRB路线与扩展机制的数据内容的绑定 素描 照片 产状 如果路线存在 但相关的数据没有 显然数据的整体性没有 有等值线图 没有形成等值线的原始数据 即直接给定中间数据 违反建库总体要求 抓两头 放中间 的原则 六 数据完整性与整体性检查总体要求 3 3 工作量检查与统计 依据 按报告中提供的技术指标 1 路线长度 2 地质点个数 3 剖面长度 累加 4 探矿工程量 报告数在平距或斜距之和 3 4的结果之内均属满足要求 5 主要样品数据 地球化学 地球物理数据 6 矿产地数 7 主要数据 图层 数与主要内容数据不能为空 如数据模型27 30章的数据 8 路线数据完整性与整体性评价 PRB与照片素描等 七 空间数据质量检查总体要求 1 数学精度 空间坐标系与投影 标准图框精度 2 PRB地质路线划分正确性 PRB空间划分 相似度检验 路线之内的点和点比较 3 地质图拓扑一致性 4 不同图层的在统一空间的整合 5 地质界线的继承一致性 地质精度 与野外路线数据的一致性 6 地质属性的一致性 野外手图 PRB图幅库 实际材料图 地质图空间数据库 八 定量描述数据质量单位 缺陷法 1 致命缺陷themostseriousdefect个体的极重要质量特性不符合规定 或个体的质量特性极严重不符合规定 以致不经返工处理不能提供用户使用 严重缺陷themoreseriousdefect个体的重要质量特性不符合规定 或个体的质量特性严重不符合规定 对用户有重大影响 八 定量描述数据质量单位 缺陷法 2 重缺陷seriousdefect个体的较重要质量特性不符合规定 或个体的质量特性较严重不符合规定 对用户有较大影响 轻缺陷lightdefect个体的一般质量特性不符合规定 或个体的质量特性轻微不符合规定 对用户使用有轻微影响 九 战略性矿产远景调查数据库质量检查验收实施细则 另 1 2章节内容简介 质量检查依据 对矿产远景调查数据库进行质量检查的依据 主要包括如下方面 项目任务书 项目工作设计 数字地质图空间数据库 标准 战略性矿产远景调查数据库建设内容与数据库成果提交要求 2 4质量检查方式 方法和手段 2 3 1质量检查方式地质数据质量的检查方式分为全检和抽检 全检 对批数据中的所有个体进行全数检查 抽检 按照规定的抽样方案 采用适用的抽样方法从批数据中抽取部分个体作为样本进行检查 抽检是用样本的质量判断批数据质量的一种方法 适用于质量比较稳定 数据量大 检查费用与时间有限的情况 2 3 2质量检查手段地质数据的质量检查手段包括数据库检查软件自动检查 人机交互的计算机辅助检查和人工判别检查 2 3 3质量检查方法地质数据的质量检查方法指对检查项实施检查的具体技术方法 常用的检查方法如下 屏幕显示检查 图表打印输出检查 统计分析检查 理论计算检查 人工判别检查 第三章质量检查主要内容简介 第四章质量综合评价 第四章质量综合评价 数据检查的基本要求按三级检查要求进行 一级检查 作业组自查 互检 要求100 的全面检查 二级检查 由项目负责人或项目质检人员对作业组生产的数据进行100 的全面检查 三级检查 三级检查由生产单位的质量管理部门或质检员负责 按抽样比例进行检查 对每级