《数字影像相关》PPT课件.ppt

第9章 数字影像相关 核点：基线延长线与左、右 像片的交点称为核点。 A S1S2 l1 a1 a2 l2 9-1 核线影像 一、基本概念 核面：通过摄影基线与地面 所作的平面称为核面。 核线：核面与像片面的交线 称为核线。 A S1S2 l1 a1 a2 l2 9-1 核线影像 沿核线方向，将航片的灰度 重新排列，所形成的影像称 为核线影像。 同名核线：同一核面与两像片 面的交线称为同名核线。 通过像主点的核面称为主核 面，通常左主核面与右主核 面不重合。 同名像点必然位于同名核线上 。 9-1 核线影像 二、同名核线的确定 同名核线的确定归结于取得同名核线上的像点坐标，然后 把左、右像片的同名核线上的诸点的灰度值按核线方向排 列，形成核线影像。确定同名核线有两种方法： （一）根据共面条件 这种方法从核线定义出发，直接在倾斜像片上获取同名核 线。核线是一条直线。在左片上取一个像点a(xa，ya)，要 确定过a的核线l，需再确定其上的另一点b。要确定右片上l 的同名核线l，需要确定l上的两个点a、b。这里a、a或 b、b不要求是同名像点。 9-1 核线影像 如右图，在左片上选定一像点a ，现要确定过a的核线l和右片上 的同名核线l。 设b点为l上的任一点，由图知， SS 、Sa、Sb三线共面： 若采用单独像对基线系，有： 9-1 核线影像 像空辅坐标与像空间坐标之间的转换关系为： 将共面条件式展开，有： 而： 9-1 核线影像 则有： 当给定xb，由上式就可求得yb。当有了a、b两点坐标，就 可得到过a点的左核线了。 9-1 核线影像 同理，a和a应位于同一核面内，则有： 最后得到a的直线方程为： 这样就可得到a的坐标，再可求得b的坐标。 这样l也可得到。 9-1 核线影像 （二）基于数字影像几何纠正的核线关系 倾斜航片上的核线相交于核点，当航片对平行于基线的平 面投影时，水平像片上的核线相互平行，且平行于x轴。 9-1 核线影像 则倾斜像片上像点(x,y) 与水平像片上像点(xt,yt)的关系为： 式中ai、bi、ci为倾斜像片P相对于摄影基线的方位元素的 函数。 在水平像片上同名核线上的点的yt坐标为常数，将yt=c带入 上式，有： 9-1 核线影像 在水平像片上取一些等间隔点，带入x、y的公式中，就可 得到一些列的像点坐标(x,y)，这些点就位于倾斜影像的核 线上，将这些点的灰度直接赋给水平影像上的相应像点， 就可获得水平影像上的核线。 由于水平影像对上，同名核线的v坐标相等，因此将v=c带 入右影像共线方程中，就可获得右影像上的同名核线。 此方法的实质就是数字纠正，将倾斜影像上的核线投影到 水平像片上，求得水平影像上的同名核线。 9-1 核线影像 三、生成核线影像 1、直接在倾斜影像上获取核线影像 在求出了核线后，就可得到核线的斜率K，在核线上根据一 个起点即K，就能确定核线在倾斜影像上的位置，这样就能 获得沿核线方向排列的影像。 9-1 核线影像 2、在“水平”影像上获取核线影像 从水平核线影像上，根据公式获取倾斜影像上对应核线上 的点的坐标，由于所求得的像点不一定恰好位于原始采样 像元中心，如图，这时可通过重采样来获取灰度值，再把 像元的灰度值填回“水平”影像。 摄影测量中立体像对的量测是提取地物三维信息的基础。 在数字摄影测量中，是以影像匹配代替传统的人工观测， 来达到自动确定同名像点的目的的。最初的影像匹配采用 了相关技术，因而也称影像匹配为影像相关，实际上影像 相关只是影像匹配方法的一种。 影像相关是利用相关函数，评价两块影像的相似性以确定 同名点。即先取出以待定点为中心的小区域中的影像信号 ，然后取出另一影像中相应区域的影像信号，计算两者的 相关函数，以相关函数最大值的相应区域的中心点作为同 名像点。 9-2 影像相关原理 一、二维影像相关 二维相关时，一般在左影像上先确定一个待定点，作为目 标点，以待定点为中心，选取mn个像素的灰度矩阵作为 目标区域。为了在右影像上搜索同名点，必须估计出该同 名点可能存在的范围，建立一个kl（km,ln）个像素的 灰度矩阵作为搜索区，相关的过程就是依次在搜索区中取 出mn个像素灰度矩阵，计算其与目标区的相似性测度， 当相似性测度取得最大值时，该搜索窗口的中心像素被认 为是同名点。 9-2 影像相关原理 二、一维相关 一维相关是在核线影像山进行的。由于同名像点必然位于 同名核线上，那么就可以沿着同名核线搜索同名像点。这 样就将二维相关变成一维相关，大量节省搜索时间。 理论上目标区域和搜索区域均可以是一维窗口，但是为了 保证相关结果的可靠性，应有较多的样本进行估计，因而 目标窗口中的像素不应太少。因此一维相关目标区选以待 定点为中心的mn个像素的窗口，此时搜索区为ml（ln ）个像素的灰度阵列，搜索工作只在一个方向上进行。 9-2 影像相关原理 同名点的确定是以匹配测度为基础的，因而如何定义匹配 测度，则是影像匹配最首要的任务。在各种实现算法中， 基于统计理论的一些基本方法得到了较广泛的应用。 9-3 数字影像匹配的基本算法 若影像匹配的目标窗口灰度矩阵为 G(gi,j)(i=1,2,m,j=1,2,n)，m和n是G的行列数。与G相 应的灰度函数为g(x,y)，(x,y) D，将G中元素排成一行， 构成一个N=mn的目标向量X=(x1,x2,xN)。搜索区灰度矩 阵为G(gi,j)(i=1,2,k,j=1,2,l)，与G相对应的灰度函数 为g(x,y)，G中任意一个N=mn的子块构成搜索向量，记 为Y=(x1,x2,xN)。 1、相关函数（矢量数积） 对于离散灰度数据来说，g(x,y)与g(x,y)的相关函数定义 为： 9-3 数字影像匹配的基本算法 式中，r、c为目标区中心像素的行列号。 若R(c0,r0)R(c,r)，则c0,r0为搜索区影像相对于目标区影像 的位移行、列参数。 相关函数的估计值就是矢量X与Y的数积： 9-3 数字影像匹配的基本算法 在N维空间y1,y2,yN中，R=(xY)是y1,y2,yN的线性 函数， 当N=2时，R=x1y1+x2y2是二维平面上垂直于X的一条直线 。设X、Y的模为|X|、|Y|，夹角为，则 9-3 数字影像匹配的基本算法 因目标向量X为已知常数，故相关函数最大等价于Y在X上 的投影最大。 2、协方差函数（矢量投影） 协方差函数是中性化的相关函数，g(x,y)与g(x,y)的协方 差函数定义为： 9-3 数字影像匹配的基本算法 若C(c0,r0)C(c,r)，则c0,r0为搜索区影像相对于目标区影像 的位移行、列参数。 设 ， ，令 9-3 数字影像匹配的基本算法 , 矢量 是X在矢量E上的投影，X， 与X构成直角三角形，X是斜边。同理，Y， 与Y也具有相 同的关系。 9-3 数字影像匹配的基本算法 协方差函数的估计值即X与Y的数积： 由于C是Y在X的投影与X的长之积，因而协方差测度等价 于Y在X的投影最大，而在二维空间中是平行于 或E的一 条直线。 9-3 数字影像匹配的基本算法 3、相关系数（矢量夹角） 相关系数是标准化的协方差函数，协方差函数除以两信号 的方差，既得相关系数： 9-3 数字影像匹配的基本算法 相关系数的估值最大，等价于矢量X与Y的夹角最小。 9-3 数字影像匹配的基本算法 4、差平方和（差矢量模） 差平方和的计算公式为： 若S2(c0,r0)S2(c,r)，则c0，r0为搜索区影像相对于目标区影 像的位移行、列参数。 9-3 数字影像匹配的基本算法 两影像窗口灰度差平方和即灰度向量X与Y的差矢量X-Y的 模的平方和。它是N维空间点Y与点X之间距离的平方。故 差平方和最小等于N维空间点Y与点X的距离最小。 当N=2时，S2=(x1-x2)2+(y1-y2)2=min是二维平面上的一个圆 。 9-3 数字影像匹配的基本算法 5、差绝对值和（差矢量分量绝对值和） g(x,y)与g(x,y)的差绝对值和为： 两影像窗口灰度差绝对值和即矢量X与Y之差矢量X-Y之分 量的绝对值之和。 9-3 数字影像匹配的基本算法 当N=2时，S=|x1-y1|+| x2-y2|=min是二维平面上以(x1,y1)为 中心，边长为21/2S、对角线与坐标轴平行的一个正方形。 9-4 最小二乘影像匹配 最小二乘影像匹配(LSM)由德国Ackermann教授提出的。 该方法充分利用了影像窗口内的信息进行平差计算，使影 像匹配可以达到1/10甚至1/100像素的高精度，即影像精度 可达子像素等级。 LSM可以非常灵活领入各种已知参数和条件，从而可以进 行整体平差。它不仅可以解决“单点”的影像匹配问题，以 求其“视差”；也可以直接解求其空间坐标；而且可以同时 解求待定点的坐标与影像的外方位元素；还可以同时解决“ 多点”影像匹配或“多片”影像匹配。另外，在LSM系统中可 以很方便地引入“粗差检测”，从而大大提高影像匹配的可 靠性。 9-4 最小二乘影像匹配 一、最小二乘影像匹配原理 上节我们学过的判断相似性测度中，差平方和最小。将灰 度差记为v，则上述判断为： 这种思想与最小二乘法的原则是一致的，但它仅仅认为影 像灰度只存在偶然误差（随即噪声），没有考虑影像灰度 中存在着系统误差。即： 9-4 最小二乘影像匹配 这就是一般的按照差平方和最小原则进行影像匹配的数学 模型，若在此系统中引入系统变形的参数，就构成了最小 二乘影像匹配系统。 影像灰度的系统变形可分为辐射畸变和几何畸变。产生辐 射变形的原因有照明及被摄物体辐射面的方向、大气与摄 影机物镜所产生的衰减、摄影处理条件的差异以及影像数 字化过程中所产生的误差。 产生几何变形的原因主要有摄影机方位不同所产生的影像 的透视畸变、影像的各种畸变以及由于地形坡度所产生的 影像畸变。在近似竖直摄影下，地形高差是几何畸变的主 要因素，因此，陡峭的山区的影像匹配要比平坦地区影像 匹配困难。 9-4 最小二乘影像匹配 1、仅考虑辐射的线性畸变的最小二乘匹配（相关系数法） 假定灰度分布g2相对于另一灰度分布g1存在着线性畸变， 则它们之间的表达式为： 其中，h0，h1为畸变参数，ni为随即噪声，按上式可列出 最小二乘匹配的数学模型为： 9-4 最小二乘影像匹配 上式在 的条件下可得法方程式为： 解法方程可得： 9-4 最小二乘影像匹配 假定对g1，g2作过中心化处理，即： 则： 则在消除了两个灰度分布系统的辐射畸变后，其残余灰度 差平方和为： 9-4 最小二乘影像匹配 因为相关系数的平方为： 则有： 其中 是噪声的功率， 是信号的功率，则信噪比为 ： 由此可知，以相关系数最大作为影像匹配搜索同名点的准 则，其实质是搜索信噪比为最大的灰度序列。 9-4 最小二乘影像匹配 2、仅考虑影像相对位移饿一维最小二乘匹配 上面的方法仅仅考虑辐射畸变，而影像匹配的主要目的是 确定影像的相对位移，寻找同名点。因此在最小二乘影像 匹配中，可引入几何变形参数，直接解算影像位移。 假设两个一维灰度函数g1(x) ，g2(x)，除随即噪声n1和n2外 ，g2还相对于g1存在零次几何变形，两者的关系为： 将x作为未知数，对上式列误差方程式为： 9-4 最小二乘影像匹配 对于离散的数字影像而言，灰度函数的导数可表示为： 按最小二乘原理，解得影像的相对位移为： 此方法中，在取得初匹配结果后，解算x，加到初始值上 ，反复迭代。 9-4 最小二乘影像匹配 二、单点最小二乘影像匹配 两个二维影像之间的几何变形不仅存在着相对移位，还存 在着图形变形。在立体像对中，左影像上为矩形的影像窗 口，在右影像上可能是个任意四边形。因此只有充分考虑 影像的几何变形，才能获得最佳的影像匹配。 由于影像匹配窗口的尺寸很小，一般只考虑一次畸变： 9-4 最小二乘影像匹配 若同时考虑到右影像相对于左影像的线性灰度畸变，则有 ： 将上式线性化，得到最小二乘影像匹配的误差方程式为： 9-4 最小二乘影像匹配 观测值g是相应像素的灰度值，误差方程式的系数为： 上式中，dh0,dh1,db2等8个是待定参数的改正数，是未 知数，它们的初值分别为： 9-4 最小二乘影像匹配 按上式逐个像元建立误差方程式，矩阵表示为： V=CX-L，未知数为： 将上式线性化，得到最小二乘影像匹配的误差方程式为： 由误差方程式可建立法方程： 9-4 最小二乘影像匹配 最小二乘影像匹配的迭代过程为： 1、几何变形改正。根据几何变形改正参数ai、bi的初始值 ，将左影像窗口的影像坐标变换到右影像列阵： 2、重采样。由于所换算的坐标x2，y2一般不是右影像阵列 中的整数行列号，因此需要重采样，由重采样获得该点的 灰度g2(x,y)。 9-4 最小二乘影像匹配 3、辐射畸变改正。利用由最小二乘影像匹配所求得辐射畸 变参数hi，对上述采样的结果作辐射改正： 4、计算左影像窗口g1与经过几何、辐射改正后的右影像窗 口的灰度阵列h0+h1g2(x2,y2)之间的相关系数，判断是否 需要迭代。若相关系数小于前一次迭代后所得的相关系数 ，则可认为迭代结束；另外迭代结束也可根据几何变形参 数是否小于某个预定的阈值。 9-4 最小二乘影像匹配