第2章 图像几何变换

1、第1页第2讲第第2 2章章 图像几何变换图像几何变换2.0 成像几何2.1 像素间联系2.2 基本坐标变换 2.3 形态变换 2.4 几何失真校正 第2页第2讲2.0 成像几何 1、投影投影变换变换将3-D客观场景投影到2-D图像平面成像过程成像过程三个坐标系统： 1）世界坐标系统 XYZ 2）摄像机坐标系统 xyz 3）图像平面 xy 从 XYZ 到 xyz，从 xyz 到 xy第3页第2讲2.0 成像几何 透视变换透视变换3-D点投影后的图像平面坐标非线性投影等式（分母含变量Z）ZXxZYy第4页第2讲2.1 像素间联系像素间联系2.1.1 像素的邻域2.1.2 像素间的邻接，连接和连通

2、2.1.3 像素间的距离 第5页第2讲2.1.1 像素的邻域像素的邻域像素的邻域4-邻域N4(p)： 对角邻域ND(p)：8-邻域N8(p)：prrsssrsrprrrrpssss第6页第2讲2.1.2 像素间的连接（adjacency, 邻接）vs. (connectivity, 连接)邻接：邻接：邻接仅考虑像素间的空间关系 连接连接：两个像素是否连接取决于下面2条件：(1) 是否接触（邻接）(2) 灰度值是否满足某个特定的相似准 则（同在一个灰度值集合中取值）第7页第2讲像素间的连接方式3 3种连接种连接 (1) 4-连接：2个像素 p 和 r 在V 中取值且 r 在N4(p)中 (2)

3、8-连接：2个像素 p 和 r 在V 中取值且 r 在N8(p)中011100000011100000第8页第2讲像素间的连接方式3 3种连接种连接 (3) m-连接（混合连接）：2个像素 p 和 r 在V 中取值且满足下列条件之一 r 在N4(p)中 r 在ND(p)中且集合N4(p)N4(r)不包含V中取值（这个集合是由 p 和 r 的在V中取值的4-连接像素组成的）第9页第2讲像素间的连接方式3 3种连接种连接 混合连接的应用：消除8-连接可能产生的歧义性 原始图 8-连接 m-连接 第10页第2讲像素间的连通通路：通路：由一系列依次连接的像素组成从具有坐标(x, y)的像素p到具有坐标

4、(s, t)的像素q的一条通路由一系列具有坐标(x0, y0)，(x1, y1)，(xn, yn)的独立像素组成。这里(x0, y0) = (x, y)，(xn, yn) = (s, t)，且(xi, yi)与与(xi-1, yi-1)邻接邻接，其中1 i n，n为通路长度 ；连通连通：连接是连通的一种特例，若通路上的所有像素灰度值均满足连接特性的相似准则，则p和q是连通的。第11页第2讲011100000像素集合的邻接，连接和连通像素集合的邻接和连通像素集合的邻接和连通 对2个图像子集 S 和 T 来说，如果S中的一个或一些像素与 T 中的一个或一些像素邻接，则可以说2个图像子集S 和 T

5、是邻接的。完全在一个图像子集中的像素组成的通路上的像素集合构成该图像子集中的一个连通组元。如果 S 中只有1个连通组元，即 S 中所有像素都互相连通，则称 S 是一个连通集。ST第12页第2讲2.1.3 像素间的距离像素在空间中的接近程度可用像素在空间中的接近程度可用像素间的距离像素间的距离测量测量。设有3个像素p，q，r，坐标(x, y)，(s, t)，(u, v)距离距离量度量度函数需满足下面三个条件：函数需满足下面三个条件：(1) 两个像素之间的距离总是正的(2) 距离与起终点的选择无关(3) 最短距离是沿直线的)0),(qpqpD当且仅当),(),(pqDqpD),(),(),(rqD

6、qpDrpD0),(qpD第13页第2讲2.1.3 像素间的距离距离量度距离量度函数（点函数（点p(x,y),q(s,t) (1) 欧氏（Euclidean）距离 (2) 城区（city-block）距离(pq间的D4距离） (3) 棋盘（chessboard）距离(pq间的D8距离）2/1 22E)()(),(tysxqpD ),(4tysxqpD) , ( max),(8tysxqpD第14页第2讲2.1.3 像素间的距离距离量度距离量度函数，对函数，对p(0,0),q(4,3)两点两点距离计算示例距离计算示例DE = 5 D4 = 7 D8 = 4第15页第2讲2.1.3 像素间的距离距

7、离量度函数距离量度函数等距离轮廓图案等距离轮廓图案 D4距离 D8距离33233212332101233212332332222221112210122111222222第16页第2讲2.1.3 像素间的距离范数和距离范数和距离wwwdxxff/1)(wwwwtysxqpD/1),(函数f(x)的范数：Minkowski距离公式：第17页第2讲2.1.3 像素间的距离用距离定义邻域用距离定义邻域考虑在空间点 (xp, yp)的像素 p4-邻域N4(p)8-邻域N8(p)1),( )(44rpDrpN1),( )(88rpDrpN第18页第2讲2.2 基本坐标变换基本坐标变换2.2.1图像坐标变

8、换 2.2.2坐标变换讨论Avv 第19页第2讲2.2.1 图像坐标变换坐标坐标变换示例：变换示例：平移变换 000 ZZZYYYXXX1 100010001000ZYXZYXZ Y X 1 10001000100011000ZYXZYXZYX矩阵形式矩阵形式齐次形式齐次形式Avv 第20页第2讲2.2.1 图像坐标变换旋转变换（绕旋转变换（绕X轴，轴，Y轴，轴，Z轴）轴） 10000cossin00sincos00001R10000cos0sin00100sin0cosR1000010000cossin00sincosR第21页第2讲2.2.2 坐标变换讨论变换级连变换级连对一个坐标为 v

9、的点的平移、放缩、绕 Z 轴旋转变换可表示为：用单个变换矩阵的方法可对点矩阵v 变换 这些矩阵的运算次序一般不可互换次序一般不可互换AvTvSRv)( 第22页第2讲2.2.2 坐标变换讨论变换变换的的推广推广( (3-点映射变换) )：将一个三角形映射为另一个三角形，而将一个矩形映射为一个平行四边形;拉伸拉伸(stretch):一个方向放大，其正交方向缩小；剪切剪切(shearing)：仅水平或垂直坐标之一发生平移；第23页第2讲2.2.2 坐标变换讨论坐标坐标变换变换 反变换 1001001001yxT1000100011yxSSS1000cossin0sin-cos1000)cos()s

10、in(0)sin()cos(1-R R第24页第2讲2.3 形态变换形态变换2.3.1变换体系2.3.2一般仿射变换2.3.3特殊仿射变换2.3.4变换的层次第25页第2讲2.3.1 变换体系形态变换形态变换将平面区域映射到平面区域(1)将一个组合区域映射为另一个组合区域(2)将单个区域映射为一个组合区域(3)将一个组合区域映射为单个区域第26页第2讲2.3.1 变换体系投影变换投影变换 q = Hp zyxzyxppphhhhhhhhhqqq333231232221131211第27页第2讲2.3.1 变换体系投影变换投影变换通用的非奇异齐次线性变换A是一个22的非奇异矩阵，t是一个21的矢

11、量，而矢量v = v1, v2T 其中矩阵H只能定义一个比例因子，可用8个独立的参数表示，因此，一个投影变换共有8个自由度（degrees of freedom，dof），可根据4组点的对应性来计算 。pvtApHquTP第28页第2讲2.3.2 一般仿射变换 仿射变换仿射变换一个非奇异线性变换接上一个平移变换一个平面上的仿射变换有6个自由度 1100122211211yxyxyxpptaataaqqp0tApHq1TA第29页第2讲2.3.2 一般仿射变换 仿射变换仿射变换 线性分量A可考虑成两个基本变换的组合：旋转和非各向同性放缩 ：)()()(DRRRA2100D第30页第2讲2.3.2

12、 一般仿射变换 仿射变仿射变换的性质：换的性质：(1)仿射变换将有限点映射为将有限点映射为有限点（一对一）有限点（一对一）(2)仿射变换将直线映射为直线将直线映射为直线(3)仿射变换将平行直线映射为平行直线将平行直线映射为平行直线(4)当区域P和Q是没有退化的三角形（即面积不为零），那么存在一个唯一的仿射变换存在一个唯一的仿射变换A可将可将P映射为映射为Q，即Q = A(P) （5） 仿射变换会导致区域面积的变化会导致区域面积的变化第31页第2讲2.3.3 特殊仿射变换 1.相似变换相似变换s ( 0)表示各向同性放缩，R是一个特殊的2 2正交矩阵（RTR = RRT = I），对应这里的旋转

13、。典型特例为纯旋转（此时t = 0）和纯平移（此时R = I） 。1100cossinsincos1yxyxyxpptsstssqqp0tRpHq1TSs矩阵表达：矩阵表达：分块矩阵：分块矩阵：第32页第2讲2.3.3 特殊仿射变换 相似变换的性质：相似变换的性质：保形性（保持形状）或保角性 相似变换可以保持两条曲线在交点处的角度 平面上的相似变换有4个自由度，所以可根据2组点的对应性来计算。（没有非各向同性放缩 ） 01234-1-2-3-4-55-5-4-3-2-1012345第33页第2讲2.3.3 特殊仿射变换 2.等距变换等距变换等距（isometry）指在2-D空间中保持 两点间所

14、有距离（iso表示相同，metric表示测度）e = 1，那么等距还能保持朝向且是欧氏变换。e = 1，将反转朝向，即变换矩阵相当于一个镜像与一个欧氏变换的组合 1100cossinsincos1yxteeteeyxyxp0tRpq1TIH第34页第2讲2.3.3 特殊仿射变换 等距变换T能保持区域中两个点间的所有距离给定两个点p1, p2 P，距离d1,2 = dist(p1, p2)，那么必有distT(p1), T(p2) = d1,2 （相似变换中的 s = 1） 01234-1-2-3-4-55-5-4-3-2-1012345第35页第2讲2.3.3 特殊仿射变换 3.欧氏变换欧氏变

15、换欧氏变换可表达刚体的运动（平移和旋转的组合）。一个欧氏运动是先旋转（可看作特殊的正交变换）后平移的组合所有区域都可以认为是全等的 01234-1-2-3-4-55-5-4-3-2-1012345第36页第2讲2.3.4 变换的层次 平行的直线变平行的直线变 成会聚的直线成会聚的直线 圆环变成椭圆圆环变成椭圆 平行或垂直的平行或垂直的 直线仍具有相直线仍具有相 同的相对朝向同的相对朝向 圆环和正方形圆环和正方形 都不变化形状都不变化形状 仿射变换相似变换第37页第2讲2.4 几何失真校正几何失真校正 2.4.1 空间变换对图像平面上的像素进行重新排列以恢复恢复原原空间空间关系关系。 2.4.2

16、灰度插值对空间变换后的像素赋予相应的灰度值以恢恢复原位置的灰度复原位置的灰度值值。 第38页第2讲几何失真模型几何失真模型 原图像原图像f (x, y)受几何形变的影响变成失真图像失真图像 g(x, y ) 坐标关系： 线性失真时：线性失真时：（非线性）二次失真（非线性）二次失真 2.4.1 空间变换 ),(yxsx ),(yxty 321),(kykxkyxs654),(kykxkyxt26524321),(ykxykxkykxkkyxs21211210987),(ykxykxkykxkkyxt第39页第2讲约束对应点方法约束对应点方法在输入图（失真图）和输出图（校正图）上找一些其位置确切知

17、道的点，然后利用这些点建立两幅图间其它点空间位置的对应关系。 设失真过程可用双线性等式表示，选取四边形顶点作为四组对应点，求解八个参数： 2.4.1 空间变换 4321kxykykxkx8765kxykykxky第40页第2讲w用整数处的像素值来计算在非整数处的像素值w上式中，(x, y)总是整数，但(x, y )值可能不是整数 最近邻插值最近邻插值 也常称为零阶插值 将离(x, y )点最近的像素的灰度值作为(x, y )点的灰度值计算原图(x, y)处像素 2.4.2 灰度插值 空间变换灰度赋值x, yx, yg最近邻()()()x, yx, y()f4321kxykykxkx8765kx

18、ykykxky不失真图失真图第41页第2讲前向映射前向映射 将实际采集的失真图像坐标向原始的不失真图像映射将实际采集的失真图像坐标向原始的不失真图像映射，一个失真图的像素映射到不失真图的四个像素之间，则将失真图中像素灰度按距离远近分配给不失真图像中的4个像素，不失真图像中某点的灰度最终是由许多失真图像素的贡献之和决定。 不失真不失真图像中的坐标图像中的坐标是失真图像中坐标的函数是失真图像中坐标的函数。2.4.2 灰度插值 前向映射x, yx, yg()()()x, yx, y()f(a)不失真图实采的失真图第42页第2讲后后向映射向映射 将原始的不失真图像坐标反映射到实际采集的失真将原始的不失真图像坐标反映射到实际采集的失真图像中图像中，实际失真图中四个像素之间的位置对应不失真图的某个像素，则先根据插值算法计算出该位置的灰度