数字摄影测量学.ppt

1,影像匹配基础理论与算法,数字摄影测量学,DigitalPhotogrammetry,2,前述内容回顾基于灰度影像匹配的定义（重点）基于灰度影像匹配的相似性测度（难点）基于灰度影像匹配的计算过程（重点）基于物方的影像匹配（VLL影像匹配）基于灰度影像匹配的子像素精度内插小结,第23讲基于灰度的影像匹配,Area-BasedImageMatching,3,为什么说影像匹配问题是摄影测量中最具挑战性的问题？,影像匹配贯穿于数字摄影测量数据处理的整个过程(内定向、相对定向、绝对定向、空三转点、DEM自动生成、地物识别)；另一个挑战性的问题是地物识别。,前述内容回顾,4,什么是共轭实体、匹配实体、相似性测度、匹配方法、匹配策略？,前述内容回顾,5,定义,以数字影像局部范围内（窗口）的灰度值及其分布作为匹配实体，通过计算相似性测度确定共轭实体的影像匹配方法。共轭实体：可以是点、线和其它物体图像匹配实体：影像的局部灰度值及分布相似性测度：基于局部灰度值的某种度量函数,基于灰度影像匹配的定义,Area-BasedMatching(ABM),6,示意图,互相关函数,相似程度,同名点,目标区,搜索区,基于灰度影像匹配的定义,7,影像匹配-同名点寻找,8,优点：窗口可以很快地提取，匹配的方法比较直观；在纹理丰富的区域可以达到很高的精度。,AdvantagesandDisadvantagesofABM,基于灰度影像匹配的定义,9,缺点：辐射量的改变对灰度值比较敏感；搜索的空间比较大，可能会出现不同的局部极值；处理的数据量相对比较大；在一些情况下，如遮挡区（建筑物）、缺乏纹理（高速公路）或局部纹理重复区（沙漠、草地），可能会出现误匹配的情况。,AdvantagesandDisadvantagesofABM,基于灰度影像匹配的定义,10,相关系数匹配最小二乘匹配基于物方的影像匹配（VLL）与特征提取相结合的灰度匹配,匹配方法,基于灰度影像匹配的定义,11,影像匹配模式主要有二维匹配和一维匹配两种。,匹配模式,基于灰度影像匹配的定义,12,x=1;y=0,x=0;y=0,x=0;y=0,x=1;y=0,x=2;y=0,x=3;y=0,x=4;y=0,x=5;y=0,x=6;y=0,x=7;y=0,x=8;y=0,x=9;y=0,x=10;y=0,x=11;y=0,x=1;y=1,x=2;y=1,二维搜索,基于灰度影像匹配的定义,目标窗口,搜索窗口,13,一维搜索,基于灰度影像匹配的定义,目标窗口,搜索窗口,核线方向,核线重排列影像的一维匹配,14,一维搜索,基于灰度影像匹配的定义,目标窗口,搜索窗口,核线方向,原始核线影像的一维匹配,15,相关函数测度,离散情形，相关函数定义为：,是两个窗口内对应灰度值乘积的代数和,基于灰度影像匹配的相似性测度,定义：,若R（c0,r0）R（c,r）（cc0，rr0），则c0,r0为搜索区影像相对于目标区影像的位移参数。对于一维相关应有r0。,16,基于灰度影像匹配的相似性测度,协方差函数测度,离散情形，协方差函数定义为：,定义：,若C（c0,r0）C（c,r）（cc0，rr0），则c0,r0为搜索区影像相对于目标区影像的位移行、列参数。对于一维相关应有r0。,协方差函数是中心化的相关函数,17,基于灰度影像匹配的相似性测度,相关系数测度,定义：,相关系数就是标准化的协方差函数,若（c0,r0）（c,r）（cc0，rr0），则c0,r0为搜索区影像相对于目标区影像的位移参数。对于一维相关应有r0。,协方差函数除以两信号的方差即得相关系数,18,4、差平方和测度,离散情形，差平方和函数定义为：,基于灰度影像匹配的相似性测度,若S2（c0,r0）S2（c,r），则c0,r0为搜索区影像相对于目标区影像的位移行、列参数。对于一维相关应有r0。,取极小值,19,差绝对和测度,离散情形，差绝对和函数定义为：,基于灰度影像匹配的相似性测度,若S（c0,r0）S（c,r）（cc0，rr0），则c0,r0为搜索区影像相对于目标区影像的位移行、列参数。对于一维相关应有r0。,取极小值,20,候选窗口灰度值形成的变动向量,搜索区域,候选窗口/搜索窗口,1、直观说明（以点匹配为例）：,目标窗口灰度值形成的固定向量,目标窗口,四.基于灰度影像匹配的计算过程,21,在目标影像上选取待匹配的点，称为目标点；以目标点为中心，选取一定大小的窗口，称为目标窗口；,2、具体实现步骤：,四.基于灰度影像匹配的计算过程,22,按照一定的先验知识和约束条件确定该目标点的共轭点（同名点）在右影像上可能存在的范围，称为搜索区域；,2、具体实现步骤：,四.基于灰度影像匹配的计算过程,23,以搜索区域内每一点为中心，开取同样大小的窗口，称为搜索窗口；,四.基于灰度影像匹配的计算过程,2、具体实现步骤：,24,计算目标窗口和每一个搜索窗口的相关系数，以相关系数大于一定阈值的搜索窗口的中心作为候选的匹配点;,四.基于灰度影像匹配的计算过程,2、具体实现步骤：,25,结合其它的条件或指标在候选点中确定最终配准点。或者直接以相关系数最大的窗口作为目标窗口的配准窗口，中心点作为配准点。,四.基于灰度影像匹配的计算过程,2、具体实现步骤：,26,4,6,3、匹配的例子,四.基于灰度影像匹配的计算过程,27,3、匹配的例子,四.基于灰度影像匹配的计算过程,28,影像相关是左影像为目标区与右影像上搜索区内相对应的相同大小的一影像相比较，求得相关系数，代表各窗口中心像素的中央点处的匹配测度,整像素相关精度,六.基于灰度影像相关的精度,29,整像素相关精度,-/2,/2,目标点,匹配点,以一维相关为例，如果左核线上的目标点与右核线上找到的配准点是真正的同名点，但真正精确的配准位置未必在整像素格点上，但在以该格点为中心、以（像素大小）为长度的区间内。,五.基于灰度影像相关的精度,30,真正精确的配准位置误差是-/2，/2上的均匀分布（因为是偶然误差），因此配准精度为：,其中，p(x),五.基于灰度影像相关的精度,均匀分布,31,五.基于灰度影像相关的精度,可得配准精度为,32,用相关系数的抛物线拟合提高相关精度,为了把同名点位求的精确一些，可以把i点左右若干点处所求得的相关系数拟合一条曲线，求其最大值。,抛物线顶点k处的位置应为,五.基于灰度影像相关的精度,33,用相关系数的抛物线拟合提高相关精度,相关系数抛物线拟合,五.基于灰度影像相关的精度,34,将坐标原点移至i点，可得：,取相邻像元3个相关系数进行抛物线拟合时,五.基于灰度影像相关的精度,35,五.基于灰度影像相关的精度,36,由相关系数抛物线拟合可使相关精度达到0.150.2子像素精度,37,影像匹配的目的是提取物体的几何信息，确定其空间位置。因此，能够直接确定物体表面点空间三维坐标的影像匹配方法得到了研究，这些方法也被称为“地面元影像匹配”。直接确定地面点空间三维坐标(DEM)。待定点的平面坐标(X,Y)已知，只需要确定其高程Z。,六.基于物方的影像匹配（VLL）,38,六.基于物方的影像匹配（VLL）,基本思想,在物方有一条铅垂线轨迹（VLLVerticalLineLocus），它在影像上的投影是一直线。就是说VLL与地面交点A在影像上的构像必定位于相应的“投影差”上。,39,VLL法影像匹配示意图,A?在铅垂线上,地面,A,那一个点正确？,40,2.具体步骤,给定地面点的平面坐标（X，Y）近似最低高程Zmin。,ZiZminiZ，高程搜索步距Z可由所要求的高程精度确定,六.基于物方的影像匹配（VLL）,41,由地面点平面坐标和可能的高程Zi计算左右像坐标（xi,yi）与（xi”，yi”）：,共线条件方程式,42,分别以（xi,yi）与（xi”，yi”）为中心在左右影像上取影像窗口，计算其匹配测度，如相关系数i。,将i的值增加1，重复（3）（4）两步，得到0，1，2，n取其最大者k：kmax0，1，2，n,43,还可以利用k及其相邻的几个相关系数拟合一抛物线，以其极值对应的高程作为A点的高程，以进一步提高精度，或以更小的高程步距在一小范围内重复以上过程。,六.基于物方的影像匹配（VLL）,44,基于灰度影像匹配