数字高程模型概论课件：第五讲：数据质量分析与控制

1、DEM数据质量分析与控制,主要内容,数据质量分析与控制,质量控制是DEM生产中最关键的环节之一，DEM精度的好坏事实上取决于DEM的质量控制好坏。 影响DEM精度的因素是多种多样的，其中DEM原始数据的质量是最主要的因素. 不管采用何种测量方法，测量数据总会包含各种各样的误差，DEM数据也不例外，这些误差从不同方面影响了DEM原始数据的质量，而DEM原始数据的质量又将严重影响最终DEM产品及其派生产品的精度或保真度，因此必须予以专门的处理。,空间数据质量及其精度分析,数据质量是空间数据在表达空间位置、专题特征以及时间这三个基本要素时，所能够达到的准确性、一致性、完整性，以及它们三者之间统一性的

2、程度。 （1）误差(Error) （2）数据的准确度(Accuracy) （3）数据的精密度(Resolution) （4）不确定性(Uncertainty),几个概念,误差 误差反映了数据与真实值或大 家公认的真值之间的差异。,数据的准确度 结果、计算值、估计 值与真实值之间的差异。,不确定性关于空间过程和特征不能被准确确定的程度。,数据的精密度数据表示的精密程度， 亦即数据表示的有效位数。,空间数据质量评价,数据情况说明 时间精度(现势性) 位置精度(几何精度) 分类精度(属性精度) 可靠性 逻辑的一致性、完整性 数据采集与编码方法,数据情况说明,要求对地理数据的来源、数据内容及其处理过程

3、等做出准确、全面和详尽的说明。,位置精度,指空间实体的坐标数据与实体真实位置的接近程度，通常表现为空间三维坐标数据精度。它包括数学基础精度、平面精度、高程精度、接边精度、形状再现精度、像元定位精度。平面精度又分为相对精度和绝对精度。,属性精度,指空间实体的属性与其真值相符的程度。通常取决于地理数据的类型，且常常与位置精度有关，包括要素分类与标准的正确性、要素属性值的准确性、名称的正确性等。,时间精度,指数据的现势性。可以通过数据更新的时间和频度来表现。,逻辑一致性,指地理数据关系上的可靠性，包括数据结构、数据内容，以及拓扑性质上的内在一致性。,数据完整性,指地理数据在范围、内容和结构等方面满足

4、所有要求的完整程度，包括数据范围、空间实体类型、空间关系分类、属性特征分类等方面的完整性。,表达形式的合理性,主要指数据抽象、数据表达与真实地理世界的吻合性，包括空间特征、专题特征、时间特征表达的合理性。,误差来源,原始数据的采集误差,1）、原始资料误差：航片的误差(包含航摄的各种误差的 综合)、定向点误差； 2）、采点设备误差：测图仪的误差和计算机计算有效位数； 3）、人为误差：测标切地面的误差(采用数字影像相关时为 影像的相关误差)； 4）、坐标转换误差：相对定向和绝对定向的误差。,高程内插误差,不管采用哪种内插算法，内插点的计算高程与实际 量测高程之间总存在差值。高程内插的误差一方面和选

5、 用的数学方法(内插算法)有关，另一方面和采点的方式 有关。,常见的人为误差,漏输或错输高程注记点,矢量化过程中由于要在效果并不太好、密密麻麻的底图上寻找大量高程注记点及其高程值,很容易使矢量化人员错输或者漏输山头上的高程注记点,这样造成的影响是产生许多错误地形,如平顶山。因此,在数字化过程中要特别留意对高程注记点的全面、正确赋值。,常见的人为误差,等高线赋值误差,等高线赋值误差是一个比较常见的问题。将A、B两条等高线的值由200和250错赋值为1000和750，使得原来平缓的山坡变为有陡崖,地形非常复杂的山坡。将等高线由280错赋值为100,使得原来凸出来的台地变为凹下去的台地。这种对实际地

6、形、地貌的错误描述严重影响DEM的精度。减少这种误差除了需要加倍仔细外,提高识图技能,掌握必要的地形、地貌知识也是很重要的。,DEM构造误差,对“陡崖”地貌的表示,遇到陡崖的时候,地形图上一般都会有特定的符号表示。这种情况若按照地形图上等高线的画法来数字化等高线,即使将等高线正确赋值、没有遗漏,也不能够把实际地貌表现出来。必须对陡崖出现的地方进行专业化处理,把断掉的等高线按照实际走向连接起来,并且密集一些。至于陡崖符号,只是一种表示符号,不能把它当作等高线连接起来,对于一些特殊地形、地貌并没有输入错误,但是也可能出现较大误差。对于这种情况,必须实施一些专业的技术处理。,DEM构造误差,消除“平

7、顶山”,地形图中有一些山头有高程注记点,但是仍然有许多小山包没有加高程注记点,遇到这种情况应该人为添加高程值不超过一个等高距的高程注记点,或者借用大比例尺地形图上的有效高程点,否则插值得出的DEM会出现平顶山。,误差分类（观察的角度）,系统误差,跟物理方面的因素有关，也即它们可能源于摄影胶片 的温度变化或测量仪器本身。另外，测量仪器在使用前缺 乏必要的校正，或者因为观测者自身的限制(如观测立体的 敏锐度或未能进行正确的绝对定向等)，也有可能产生。 系统误差一般为常数，也可以互相抵消。,偶然误差,对同一目标的量测由于观测误差的存在，其测量值会有所不同，且不表现出任何必然规律。,粗差,实质是一种错

8、误。同随机误差和系统误差相比，它们在测量中出现的可能性一般较小。,原始数据误差处理,DEM原始数据的质量可使用原始数据的三个属性(即精度、密度和分布)的质量来衡量。 涉及DEM原始数据质量的重要因素是 数据点自身的精度。,主要方法,1、滤波法：分离数据集合中人们感兴趣的主要信息与其余的作为随机噪声的信息。 2、基于趋势面及三维可视化的粗差检测与剔除 3、基于坡度信息的格网数据粗差检测与剔除 4、基于等高线拓扑关系的粗差检测与剔除,基于趋势面及三维可视化,对于一个特定的研究区域，在三维透视图上 可疑点是否表现为粗差非常直观，很容易据此作 出正确判定。,基于坡度信息的格网数据,1、坡度阀值检测：检

9、测P点周围的(八个)坡度值，判断其是 否正常，也即坡度值是否超过某一预先设定的阀值； 2、局部邻域坡度一致性检测：检查横跨P点的四对坡度差值 的绝对值，以确定是否有差值超过给定的阀值； 3、远邻域坡度一致性检测：检测跨越P点周围八邻域点的每 个点的坡度差值是否超过给定的阀值。,主要步骤,对起伏不平的地区它产生了过于平坦化的不良结果， 而在平坦地区它又产生了一些不自然的特征。,整体效果,所有接受或拒绝一个点的既定准则都建立在绝对的意义之上。,缺点,基于等高线拓扑关系,1）、同一条等高线上的各个数据点高程值相等； 2）、等高线为连续的曲线，一个拓扑节点最多只能连接两条高程 值相同的等高线，高程值不

10、等的等高线不能相接，不能相交； 3）、相邻等高线的变化应是渐进的，并适应实地坡形变化的规律。,等高线特征,1）、空间位置错误 ：错误的悬挂线、两条等高线相交和同一等高线 应该连接处未能相连 2）、赋值错误：首尾相连两条等高线高程值不等、相邻等高线高程 值突变。,错误类型,等高线错误图示,DEM精度的数学模型,精度：误差分布的密集或离散程度,分布规律：P(X=xi ) = pi xi为随即采样点值 n 数学期望：E(X)=xipi 随机变量所有可能取值的平 i=1 均值，表示随机变量的大小 方差：D(X)=EX-E(X)2 表示随机变量的离散度 标准差：x=sqrt(D(X) 方差的算术平方根，

11、表示随 机变量离散度的特征值 中误差：RMSE=sqrt(Z-z) 2 / n) Z为真值，z为观测或计算值 粗差：限=3 超过极限误差的误差,DEM精度评定方法,评定方式,1、平面精度和高程精度分开评定 2、两种精度同时评定,评定途径,1、理论分析；2、试验检测；3、理论与试验相结合 共同特点：试图寻求对地表起伏复杂变化的统一量度，和各种内插数学模型的通用表达方式，使评定方法、评定所得的精度和某些带规律性的结论有比较普遍的理论意义。,评定方法,1、检查点法 2、剖面法 3、等高线法,DEM精度评定方法,检查点法,事先将检查点按格网或任意形式进行分布，对生 成的DEM在这些点处进行检查。将这些

12、点处的内插高 程和实际高程逐一比较得到各个点的误差，然后算出 中误差。,剖面法,将一定的剖面量测计算离程点和实际高程点进行 比较的精度计算方法。剖面可以是沿X方向、Y方向 或任意方向。可以用数学方法(如传递函数法)计算任 意剖面的误差，也可以用实际剖面和内插剖面相比较 的方法估算高程误差。,检查点法的国家规范,1：1万技术规定还有：高程最大误差为中误差的两倍；密林等隐蔽地区高程中误差按表1中数据的1.5倍计；DEM内插点的高程中误差按表1数据1.2倍计；一般情况按二级精度要求执行，若原始资料精度较差，可放宽到三级精度。,DEM质量检查,分类,1、原始资料质量检查 2、数据处理的质量检查 3、最

13、终产品的质量检查,DEM质量控制是指在DEM建设和应用过程中，对可能引入误差的步骤和过程规定一些指标和参数，并对检查出的误差和错误进行修正。 DEM质量控制贯穿DEM建立的全过程，是DEM生产流程中的一条主线；应针对影响DEM质量的关键性问题，采取系列切实有效的方法，进行精度控制和错误改正。,DEM质量检查,DEM质量检查的主要内容,1、检查DEM原始的数学基础； 2、检查DEM数据起止点坐标的正确性； 3、检查DEM原始数据的质量； 4、检查DEM的高程值有效范围区是否正确； 5、检查生成DEM的内插模型； 6、检查生成的DEM产品的质量； 7、检查DEM的元数据文件是否正确。,DEM质量检

14、查方法,目视检查,半自动检查(交互式检查),基于趋势面与三维可视化的方法，以及基于等高线拓扑关系的方法都属于此类。在全数字摄影测量及交互式摄影测量生产DEM的方法中，使用左右正射影像零立体对DEM的检测手段也属于这类型方法。,自动检查(影像分析法),多种方法综合应用,最常用的DEM通常是一组用矩阵形式表示的高程数组,实际上为栅格数据。和其他栅格数据一样,可用影像来表达和检查DEM高程误差。用影像检查DEM的手段主要有两种,即灰度和彩色影像两种方法均采用色彩对照表建立各高程值和灰度或彩色之间的对应关系,对DEM的局部进行详细检测,进而计算出局部区域DEM的误差。实际上将DEM作为影像时,许多对影

15、像的操作都可用于对DEM的检测。,DEM质量的目视检查,基于立体影像的DEM检查法,这是一种最基本的检测方法。对DEM的局部检查最简单有效的方法是恢复立体像对,将DEM格网点显示至立体像对,通过立体观察检查格网点和立体模型的套合情况。目前,全数字摄影测量系统均提供立体目视检查DEM的功能。,基本过程如下 1.依据像对的控制点确定显示范围; 2.选取落在范围内的格网点; 3.将DEM反算至立体像对并进行显示；,DEM质量的目视检查,分层设色显示,首先求出DEM中高程的最大和最小值,然后将高程分为多个等级,按高程由低到高每组赋予由浅到深的颜色进行显示。分色显示可从整体上反映地貌的变化趋势,配合水平

16、和垂直方向的断面图显示,对高程异常变化的地方有一定检查效果。,DEM质量的目视检查,三维方式检查,等高线可以是DEM应用的产物,利用OpenGL3维显示功能显示DEM数据,并将等高线叠加在DEM上,这样能清晰直观地看到等高线和DEM的总貌与细部,便于用户发现问题。为适应用户从不同角度动态观察3维灰度图和等高线的需要,用OpenGL函数对生成的DEM和等高线进行变换,以实现对等高线进行不同方位、不同远近、不同角度和放大缩小的显示。,DEM质量检查步骤,1、实验数据的选择和精度要求 1)实验数据。 为使实验具有一定的普遍意义,在数据的选择上,注意考虑各种地形特征。测绘学通常考虑的地形特征有山地、平

17、原和丘陵。 2)精度要求。 以地形图数字化方法生成的数字高程模型,其格网点高程中误差应不大于相应比例尺地形图的2/等高距(GB/T17941.12000数字测绘产品质量要求第一部分:数字线划地形图、数字高程模型质量要求)。,DEM质量检查步骤,2、检查点的选择 实际上,从实验得到的DEM精度不是绝对可靠的,只能在一定的置信水平上接受这个精度。通常,以检查点作为真实地面点,利用检查点同相应模型点之间的高差H来计算DEM的精度。一般从3个方面来考察用于DEM精度估计的检查点。 1)检查点数目的确定。 对于DEM精度Sd估计的可靠性度量,一般是采用定量的方式,即用Sd(Sd(H)/Sd(H)的百分比作为对DEM精度估计的可靠性度量。 2)检查点的精度。 利用原始等高线线性内插得到各检查点的高程值。通过对原始等高线图进行适当放大,用直尺确定检查点同相邻两等高线的距离比例, 以求出检查点的高程。 3)检查点的分布。,DEM质量检查步骤,3精度分析方法 对于各个软件的DEM产品,主要从总体精度和相对精度两个方面评价。 1)总体精度。 总体精度是用标准偏差(Sd)来表示的: 式中,Zdati为检查点i的高程值