数字影像相关

数字影像相关第1页，课件共48页，创作于2023年2月核点：基线延长线与左、右像片的交点称为核点。AS1S2l1a1a2l2§9-1核线影像一、基本概念核面：通过摄影基线与地面所作的平面称为核面。核线：核面与像片面的交线称为核线。第2页，课件共48页，创作于2023年2月AS1S2l1a1a2l2§9-1核线影像沿核线方向，将航片的灰度重新排列，所形成的影像称为核线影像。同名核线：同一核面与两像片面的交线称为同名核线。通过像主点的核面称为主核面，通常左主核面与右主核面不重合。同名像点必然位于同名核线上。第3页，课件共48页，创作于2023年2月§9-1核线影像二、同名核线的确定同名核线的确定归结于取得同名核线上的像点坐标，然后把左、右像片的同名核线上的诸点的灰度值按核线方向排列，形成核线影像。确定同名核线有两种方法：（一）根据共面条件这种方法从核线定义出发，直接在倾斜像片上获取同名核线。核线是一条直线。在左片上取一个像点a(xa，ya)，要确定过a的核线l，需再确定其上的另一点b。要确定右片上l的同名核线l´，需要确定l´上的两个点a´、b´。这里a、a´或b、b´不要求是同名像点。第4页，课件共48页，创作于2023年2月§9-1核线影像如右图，在左片上选定一像点a，现要确定过a的核线l和右片上的同名核线l´。设b点为l上的任一点，由图知，SS´

、Sa、Sb三线共面：若采用单独像对基线系，有：第5页，课件共48页，创作于2023年2月§9-1核线影像像空辅坐标与像空间坐标之间的转换关系为：将共面条件式展开，有：而：第6页，课件共48页，创作于2023年2月§9-1核线影像则有：当给定xb，由上式就可求得yb。当有了a、b两点坐标，就可得到过a点的左核线了。第7页，课件共48页，创作于2023年2月§9-1核线影像同理，a和a´应位于同一核面内，则有：最后得到a´的直线方程为：这样就可得到a´的坐标，再可求得b´的坐标。这样l´也可得到。第8页，课件共48页，创作于2023年2月§9-1核线影像（二）基于数字影像几何纠正的核线关系倾斜航片上的核线相交于核点，当航片对平行于基线的平面投影时，水平像片上的核线相互平行，且平行于x轴。第9页，课件共48页，创作于2023年2月§9-1核线影像则倾斜像片上像点(x,y)与水平像片上像点(xt,yt)的关系为：式中ai、bi、ci为倾斜像片P相对于摄影基线的方位元素的函数。在水平像片上同名核线上的点的yt坐标为常数，将yt=c带入上式，有：第10页，课件共48页，创作于2023年2月§9-1核线影像在水平像片上取一些等间隔点，带入x、y的公式中，就可得到一些列的像点坐标(x,y)，这些点就位于倾斜影像的核线上，将这些点的灰度直接赋给水平影像上的相应像点，就可获得水平影像上的核线。由于水平影像对上，同名核线的v坐标相等，因此将v´=c带入右影像共线方程中，就可获得右影像上的同名核线。此方法的实质就是数字纠正，将倾斜影像上的核线投影到水平像片上，求得水平影像上的同名核线。第11页，课件共48页，创作于2023年2月§9-1核线影像三、生成核线影像1、直接在倾斜影像上获取核线影像在求出了核线后，就可得到核线的斜率K，在核线上根据一个起点即K，就能确定核线在倾斜影像上的位置，这样就能获得沿核线方向排列的影像。第12页，课件共48页，创作于2023年2月§9-1核线影像2、在“水平”影像上获取核线影像从水平核线影像上，根据公式获取倾斜影像上对应核线上的点的坐标，由于所求得的像点不一定恰好位于原始采样像元中心，如图，这时可通过重采样来获取灰度值，再把像元的灰度值填回“水平”影像。第13页，课件共48页，创作于2023年2月摄影测量中立体像对的量测是提取地物三维信息的基础。在数字摄影测量中，是以影像匹配代替传统的人工观测，来达到自动确定同名像点的目的的。最初的影像匹配采用了相关技术，因而也称影像匹配为影像相关，实际上影像相关只是影像匹配方法的一种。影像相关是利用相关函数，评价两块影像的相似性以确定同名点。即先取出以待定点为中心的小区域中的影像信号，然后取出另一影像中相应区域的影像信号，计算两者的相关函数，以相关函数最大值的相应区域的中心点作为同名像点。§9-2影像相关原理第14页，课件共48页，创作于2023年2月一、二维影像相关二维相关时，一般在左影像上先确定一个待定点，作为目标点，以待定点为中心，选取m×n个像素的灰度矩阵作为目标区域。为了在右影像上搜索同名点，必须估计出该同名点可能存在的范围，建立一个k×l（k>m,l>n）个像素的灰度矩阵作为搜索区，相关的过程就是依次在搜索区中取出m×n个像素灰度矩阵，计算其与目标区的相似性测度，当相似性测度取得最大值时，该搜索窗口的中心像素被认为是同名点。§9-2影像相关原理第15页，课件共48页，创作于2023年2月二、一维相关一维相关是在核线影像山进行的。由于同名像点必然位于同名核线上，那么就可以沿着同名核线搜索同名像点。这样就将二维相关变成一维相关，大量节省搜索时间。理论上目标区域和搜索区域均可以是一维窗口，但是为了保证相关结果的可靠性，应有较多的样本进行估计，因而目标窗口中的像素不应太少。因此一维相关目标区选以待定点为中心的m×n个像素的窗口，此时搜索区为m×l（l>n）个像素的灰度阵列，搜索工作只在一个方向上进行。§9-2影像相关原理第16页，课件共48页，创作于2023年2月同名点的确定是以匹配测度为基础的，因而如何定义匹配测度，则是影像匹配最首要的任务。在各种实现算法中，基于统计理论的一些基本方法得到了较广泛的应用。§9-3数字影像匹配的基本算法若影像匹配的目标窗口灰度矩阵为G(gi,j)(i=1,2,…,m,j=1,2,…,n)，m和n是G的行列数。与G相应的灰度函数为g(x,y)，(x,y)∈D，将G中元素排成一行，构成一个N=m·n的目标向量X=(x1,x2,…,xN)。搜索区灰度矩阵为G'(g'i,j)(i=1,2,…,k,j=1,2,…,l)，与G'相对应的灰度函数为g'(x',y')，G'中任意一个N=m·n的子块构成搜索向量，记为Y=(x1,x2,…,xN)。第17页，课件共48页，创作于2023年2月1、相关函数（矢量数积）对于离散灰度数据来说，g(x,y)与g'(x',y')的相关函数定义为：§9-3数字影像匹配的基本算法式中，r、c为目标区中心像素的行列号。若R(c0,r0)>R(c,r)，则c0,r0为搜索区影像相对于目标区影像的位移行、列参数。第18页，课件共48页，创作于2023年2月相关函数的估计值就是矢量X与Y的数积：§9-3数字影像匹配的基本算法在N维空间{y1,y2,…,yN}中，R=(x·Y)是y1,y2,…,yN的线性函数，第19页，课件共48页，创作于2023年2月当N=2时，R=x1y1+x2y2是二维平面上垂直于X的一条直线。设X、Y的模为|X|、|Y|，夹角为θ，则§9-3数字影像匹配的基本算法因目标向量X为已知常数，故相关函数最大等价于Y在X上的投影最大。第20页，课件共48页，创作于2023年2月2、协方差函数（矢量投影）协方差函数是中性化的相关函数，g(x,y)与g‘(x’,y‘)的协方差函数定义为：§9-3数字影像匹配的基本算法若C(c0,r0)>C(c,r)，则c0,r0为搜索区影像相对于目标区影像的位移行、列参数。第21页，课件共48页，创作于2023年2月设，，令§9-3数字影像匹配的基本算法,矢量是X在矢量E上的投影，X，与X’构成直角三角形，X是斜边。同理，Y，与Y’也具有相同的关系。第22页，课件共48页，创作于2023年2月§9-3数字影像匹配的基本算法协方差函数的估计值即X’与Y’的数积：由于C是Y’在X’的投影与X’的长之积，因而协方差测度等价于Y’在X’的投影最大，而在二维空间中是平行于或E的一条直线。第23页，课件共48页，创作于2023年2月§9-3数字影像匹配的基本算法3、相关系数（矢量夹角）相关系数是标准化的协方差函数，协方差函数除以两信号的方差，既得相关系数：第24页，课件共48页，创作于2023年2月§9-3数字影像匹配的基本算法相关系数的估值最大，等价于矢量X’与Y’的夹角最小。第25页，课件共48页，创作于2023年2月§9-3数字影像匹配的基本算法4、差平方和（差矢量模）差平方和的计算公式为：若S2(c0,r0)>S2(c,r)，则c0，r0为搜索区影像相对于目标区影像的位移行、列参数。第26页，课件共48页，创作于2023年2月§9-3数字影像匹配的基本算法两影像窗口灰度差平方和即灰度向量X与Y的差矢量X-Y的模的平方和。它是N维空间点Y与点X之间距离的平方。故差平方和最小等于N维空间点Y与点X的距离最小。当N=2时，S2=(x1-x2)2+(y1-y2)2=min是二维平面上的一个圆。第27页，课件共48页，创作于2023年2月§9-3数字影像匹配的基本算法5、差绝对值和（差矢量分量绝对值和）g(x,y)与g’(x’,y’)的差绝对值和为：两影像窗口灰度差绝对值和即矢量X与Y之差矢量X-Y之分量的绝对值之和。第28页，课件共48页，创作于2023年2月§9-3数字影像匹配的基本算法当N=2时，S=|x1-y1|+|x2-y2|=min是二维平面上以(x1,y1)为中心，边长为21/2S、对角线与坐标轴平行的一个正方形。第29页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配最小二乘影像匹配(LSM)由德国Ackermann教授提出的。该方法充分利用了影像窗口内的信息进行平差计算，使影像匹配可以达到1/10甚至1/100像素的高精度，即影像精度可达子像素等级。LSM可以非常灵活领入各种已知参数和条件，从而可以进行整体平差。它不仅可以解决“单点”的影像匹配问题，以求其“视差”；也可以直接解求其空间坐标；而且可以同时解求待定点的坐标与影像的外方位元素；还可以同时解决“多点”影像匹配或“多片”影像匹配。另外，在LSM系统中可以很方便地引入“粗差检测”，从而大大提高影像匹配的可靠性。第30页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配一、最小二乘影像匹配原理上节我们学过的判断相似性测度中，差平方和最小。将灰度差记为v，则上述判断为：这种思想与最小二乘法的原则是一致的，但它仅仅认为影像灰度只存在偶然误差（随即噪声），没有考虑影像灰度中存在着系统误差。即：第31页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配这就是一般的按照差平方和最小原则进行影像匹配的数学模型，若在此系统中引入系统变形的参数，就构成了最小二乘影像匹配系统。影像灰度的系统变形可分为辐射畸变和几何畸变。产生辐射变形的原因有照明及被摄物体辐射面的方向、大气与摄影机物镜所产生的衰减、摄影处理条件的差异以及影像数字化过程中所产生的误差。产生几何变形的原因主要有摄影机方位不同所产生的影像的透视畸变、影像的各种畸变以及由于地形坡度所产生的影像畸变。在近似竖直摄影下，地形高差是几何畸变的主要因素，因此，陡峭的山区的影像匹配要比平坦地区影像匹配困难。第32页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配1、仅考虑辐射的线性畸变的最小二乘匹配（相关系数法）假定灰度分布g2相对于另一灰度分布g1存在着线性畸变，则它们之间的表达式为：其中，h0，h1为畸变参数，ni为随即噪声，按上式可列出最小二乘匹配的数学模型为：第33页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配上式在的条件下可得法方程式为：解法方程可得：第34页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配假定对g1，g2作过中心化处理，即：则：则在消除了两个灰度分布系统的辐射畸变后，其残余灰度差平方和为：第35页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配因为相关系数的平方为：则有：其中是噪声的功率，是信号的功率，则信噪比为：由此可知，以相关系数最大作为影像匹配搜索同名点的准则，其实质是搜索信噪比为最大的灰度序列。第36页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配2、仅考虑影像相对位移饿一维最小二乘匹配上面的方法仅仅考虑辐射畸变，而影像匹配的主要目的是确定影像的相对位移，寻找同名点。因此在最小二乘影像匹配中，可引入几何变形参数，直接解算影像位移。假设两个一维灰度函数g1(x)，g2(x)，除随即噪声n1和n2外，g2还相对于g1存在零次几何变形，两者的关系为：将Δx作为未知数，对上式列误差方程式为：第37页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配对于离散的数字影像而言，灰度函数的导数可表示为：按最小二乘原理，解得影像的相对位移为：此方法中，在取得初匹配结果后，解算Δx，加到初始值上，反复迭代。第38页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配二、单点最小二乘影像匹配两个二维影像之间的几何变形不仅存在着相对移位，还存在着图形变形。在立体像对中，左影像上为矩形的影像窗口，在右影像上可能是个任意四边形。因此只有充分考虑影像的几何变形，才能获得最佳的影像匹配。由于影像匹配窗口的尺寸很小，一般只考虑一次畸变：第39页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配若同时考虑到右影像相对于左影像的线性灰度畸变，则有：将上式线性化，得到最小二乘影像匹配的误差方程式为：第40页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配观测值Δg是相应像素的灰度值，误差方程式的系数为：上式中，dh0,dh1,…,db2等8个是待定参数的改正数，是未知数，它们的初值分别为：第41页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配按上式逐个像元建立误差方程式，矩阵表示为：V=CX-L，未知数为：将上式线性化，得到最小二乘影像匹配的误差方程式为：由误差方程式可建立法方程：第42页，课件共48页，创作于2023年2月§9-4最小二乘影像匹配最小二乘影像匹配的迭代过程为：1、几何变形改正。根据几何变形改正参数ai、bi的初始值，将左影像窗口的影像