《图像校正技术》PPT课件.ppt

图像校正技术,一、概述,在图像的获取或显示过程中往往会产生各种失真（畸变）：几何形状失真灰度失真颜色失真引起图像失真的原因有：成像系统的象差、畸变、带宽有限、拍摄姿态、扫描非线性、相对运动等;传感器件自身非均匀性导致响应不一致、传感器件工作状态、非均匀光照条件或点光源照明等；显示器件光电特性不一致；图像畸变的存在影响视觉效果，也是影响图像检测系统的形状检测和几何尺寸测量精度的重要因素之一。图像校正是指对失真图像进行的复原性处理。,二、图像几何失真,图像在获取过程中，受镜头制造精度、成像系统本身的非线性以及拍摄角度等因素的影响，会使获得的图像出现不同程度的几何位置、尺寸、形状、方位等畸变，产生几何失真。几何失真：系统失真：有规律的、能预测的；非系统失真：具有随机性；当对图像作定量分析时，就要对失真的图像先进行精确的几何校正（即将存在几何失真的图像校正成无几何失真的图像），以免影响定量分析的精度。,1.相机成像模型：针孔模型是理想的投影成像模型,满足光的直线传播条件。即当光线照射到物体表面时，反射光透过一个针孔在成像平面上成像。Q点为空间中的一点，q点为成像平面上的相对应的点，由此可以得到二者之间的对应关系，公式如下所示：针孔模型为线性模型，用矩阵表示如下：,2.畸变模型：成像光学系统（包括广角镜头）由于设计、加工工艺以及安装等因素，导致所拍摄的图像产生很大的畸变，主要包括：径向畸变离心畸变薄棱镜畸变一般的非线性模型公式:其中,(x,y)是理想图像的坐标,而是图像畸变后的坐标。图像几何畸变校正基本原理：将几何畸变量x和y用含参数的模型来表示，根据畸变公式将理想坐标表示成包含畸变坐标和畸变参数的等式，再利用理想坐标点在成像模型中的约束条件或者其他几何约束条件，求解得到相应的畸变参数，最后再根据畸变公式计算出图像中所有点的理想坐标，将所有点移动到理想位置，实现图像几何崎变的校正。,（1）径向畸变：径向畸变产生的原因主要是因为光学镜头径向曲率的不稳定引起图像发生变形，表现在图像点从它的理想位置向内或向外的移动；这种变形与距离有关，图像点离中心距离越大，变形越大；图像点的畸变关于中心对称，空间中的一条直线经过径向畸变后，变成一条外凸或内凹的曲线，即，径向畸变有两种形式：桶形畸变和枕形畸变，两种畸变的形状如下图所示。径向畸变的x与y的偏移量描述如下:其中k1与k2为径向畸变系数,（2）离心畸变：离心畸变形成是由于镜头部分的光学中心并不能严格地保持共线所造成的，表现在图像在切线方向上出现偏离。离心畸变可用如下公式表示:其中，p1与p2为离心畸变系数。,（3）薄棱镜畸变：薄棱镜畸变主要是由镜头设计、生产以及摄像机组装过程中的缺陷引起的，比如说镜头或图像感应阵列的微小倾斜造成的，一般来说其畸变现象比较细微：其中，s1与s2为薄棱镜畸变系数。,（4）畸变分析：综合上面的三种畸变,可以得到畸变总公式如下:由Tsai结论得出:对于摄像机的非线性畸变,建立模型时不宜引入过多的参数,参数过多时稳定度和精度都会降低。一般来说,径向畸变已经足够描述广角镜头成像系统的非线性畸变,因此在这里我们只考虑径向畸变模型。根据公式可以看出,图像畸变的大小与像素点的位置有关,畸变关于中心点对称,图像的边缘点处畸变最大。,三、几何畸变校正,图像几何校正的基本方法是：先建立几何校正的数学模型，然后利用已知条件确定模型参数，最后根据模型对畸变图像进行校正。通常分两步：图像空间坐标变换：首先建立图像像素坐标（行、列号）和物方（或参考图）对应点坐标间的映射关系，求解映射关系中的未知参数，然后根据映射关系对图像各个像素坐标进行校正；确定各像素的灰度值（灰度内插）。,1.空间坐标变换,实际工作中常以一幅图像或一组基准点为基准，去校正几何失真图像。通常设基准图像f(x,y)是利用没畸变或畸变较小的摄像系统获得的，而有较大几何畸变的图像用g(x,y)表示：设两幅图像几何畸变的关系能用解析式来描述：几何校正方法可分为直接法和间接法两种。,（1）直接法,由推导出，然后从畸变图像出发，依次计算每个像素的校正坐标值，保持各像素灰度值不变，这样便生成一幅校正图像。校正图像的像素分布是不规则的，会出现像素挤压、疏密不均等现象，还需对此不规则图像通过灰度内插生成规则的栅格图像。,设经校正的图像像素在基准坐标系统中为等距网格的交叉点，从网格交叉点的坐标(x,y)出发计算出在已知畸变图像上的坐标(x,y)，即显然点(x,y)坐标为整数，但(x,y)一般不为整数，不会位于畸变图像像素的中心，因而在畸变图像上不能直接确定该像素的灰度值，而只能由其在畸变图像的周围像素灰度内插求出，作为对应像素(x,y)的灰度值，据此获得校正图像。间接法内插像素灰度比较容易，所以一般采用间接法进行几何校正。,（2）间接法,通常用基准图像和几何畸变图像上多对同名像素的坐标来确定；假定基准图像像素坐标(x,y)和畸变图像对应像素坐标（x,y）之间的关系用二元多项式来表示：其中aij，bij为待定系数。确定aij和bij的方法有：线性校正二元二次多项式校正三次多项式校正,（3）h1(x,y)和h2(x,y)的确定：,线性校正：对二元多项式当n=1时，畸变关系简化为线性变换，上述式子中包含a00、a10、a01、b00、b10、b01共6个未知数，至少需要3个已知点来建立方程式，解求未知数。,从基准图上找出三个点(r1,s1),(r2,s2),(r3,s3)，它们在畸变图像上对应的三个点的坐标为(x1,y1),(x2,y2),(x3,y3)；把上述三对点坐标带入以下公式：写成矩阵形式：通过解联立方程或矩阵求逆，可得到各系数，从而确定了畸变公式，进一步可采用间接法来校正畸变图像。,二元二次多项式校正：当n=2时，畸变公式变为二元二次多项式，可用来描述理想图像坐标点(x,y)和畸变图像坐标(x,y)之间的关系，数学表达式为：式中包含12个未知数，因此至少需要6对已知同名像素坐标；可采用曲面拟合的方法对选择的控制点进行拟合，从而用最小二乘法计算出待定系数。为了提高畸变校正的精度，需要使得拟合误差平方和最小，需要满足以下公式：二元多项式法原理比较简单且容易理解，同时对于畸变图像的校正精度比较高。畸变图像校正的精度与选用的多项式次数有关。当选择的多项式次数越高时，坐标点的位置拟合的误差便越小，但并不是次数越多越好，增加次数会使得公式的计算量剧增，从而增加算法在实际操作过程中难度。,在输入图像f(x,y)中，灰度值仅在整数位置(x,y)处有定义。然而，经过空间坐标变换处理所得的新图像g(x,y)的灰度值一般由处在非整数坐标上的f(x,y)的值来决定。坐标变换是从f到g的映射，则f中的一个像素会映射到g中几个像素之间的位置，反之亦然。数字图像中的坐标总是整数。在前面章节所述的图像校正部分中,经过倾斜校正和畸变校正计算出来的坐标可能不是整数。此时,非整数处的像素值就要用其周围的一些整数坐标处的像素值来判断。用于该任务的技术称为灰度插值。灰度插值常用方法有:最近邻插值、双线性法和三次卷积法,2.灰度级插值,（1）最近邻插值,最近邻插值法(NearestNeighbor)又称泰森多边形方法,是荷兰气象学家A.H.Thiessen提出的一种分析方法。最初用于从离散分布气象站的降雨量数据中计算平均降雨量,现在GIS和地理分析中经常采用泰森多边形进行快速的赋值。最近邻插值是最简单的灰度插值方法,不需要计算,在待求像素的四邻像素中,将距离待求像素最近的像素灰度赋给待求像素，即可实现最近邻插值。假设在已经校正的图像中有一像素点(i+u,j+v),其中i和j表示整数部分,u和v表示小数部分,设待求像素点的周围四近邻像素点构成区域如图所示:如果(i+u,j+v)落在A区,即u0.5,v0.5,v0.5,落在D区,则赋予右下角象素灰度值。待求像素的数学表达式如下:,（2）双线性插值,双线性插值是线性插值函数的扩展,它是一种具有两个变量的线性插值函数。双线性插值的核心思想是在两个方向分别进行一次线性插值,其示意图如下:假设在待求点的像素坐标为(i+u,j+v)，且其四个最近邻点坐标分别为:A,B,C和D,且其灰度值分别为g(A),g(B),g(C)和g(D)。在X轴方向对AB段线性插值方法得到E点的灰度值:g(E)=ug(B)-g(A)+g(A)在X轴方向对CD段线性插值方法得到F点的灰度值:g(F)=ug(D)-g(C)+g(C)在Y轴方向进行线性插值可求得待求点的像素灰度为：综合上述公式可得：,（3）三次多项式校正,三次卷积法也是一种很实用的灰度插值方法,如果在校正后能找到与待求像素邻近的16个像素点,就可以采用此法。假设待求像素为图中空心点所示,其邻近的16个像素点如图中实心点所示:将16个邻点排成矩阵B,则待求像素的灰度值为:式中，其中s(x)函数为三次多项式,其求解公式为：,（4）比较,最邻