计算机视觉的多视几何课件

计算机视觉的多视几何吴毅红中国科学院自动化研究所模式识别国家重点实验室计算机视觉的多视几何吴毅红1主要内容1.单视几何（应用单幅图像测量）2.两视几何（EpipolarGeometry约束）空间平面与Homography3.三视几何（TrifocalGeometry约束）主要内容1.单视几何（应用单幅图像测量）21.单视几何成像平面摄像机坐标系ZXYOMm成像平面O1.单视几何成像平面摄像机坐标系ZXYOMm成像平面O31.单视测量目标、内容研究的意义国内外研究的现状算法1.单视测量目标、内容41.单视测量从单幅图像中恢复场景的全部或部分三维信息运用射影几何理论，探索利用单幅图像实现场景测量所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量目标、内容1.单视测量从单幅图像中恢复场景的全部或部分三维信息目标、51.单视测量利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确具有非常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面研究的意义1.单视测量利用超声波、激光等来测量，很容易受到外界不可预61.单视测量用两幅或多幅图像对场景进行重建以后进行测量的方法以及摄影测量学的方法有很大的局限性利用单幅图像对场景进行测量，已引起人们的关注A.CriminisiUniversityofOxford目前，国内外在此方面还没有系统的研究研究现状1.单视测量用两幅或多幅图像对场景进行重建以后进行测量的方71.单视测量空间平面与其图像间的关系可由平面Homography:H来表示(一个的矩阵).一般将空间平面假设为即X-Y

平面,则：

算法成像平面摄像机坐标系ZXYOMmXwYw平面测量1.单视测量空间平面与其图像间的关系可由平面Homograp81.单视测量

如果4个空间点已知，则由它们可线性求解H：算法然后通过将图像点反投到空间平面，实现空间平面上的测量平面测量距离\面积\夹角1.单视测量如果4个空间点已知，则由它们可91.单视测量已知一个空间平面的homography和此平面法向量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测：算法空间测量体积、身高、两个平面的距离、两个平面内的两个点之间的距离1.单视测量已知一个空间平面的homography101.单视测量算法物体体积的测量结果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%1.单视测量算法物体体积的测量结果：112.两视几何外（对）极几何（Epipolargeometry）基本矩阵、本质矩阵重建景物平面与单应矩阵（Homography）主要内容2.两视几何外（对）极几何（Epipolargeomet122.两视几何外极几何外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。基本概念：基线；外极点；外极线；外极平面；基本矩阵；本质矩阵2.两视几何外极几何外极几何是研究两幅图像之间存在的几何。132.两视几何外极几何外极线Mmm'l'ee'lOO'm'TFm=0基线外极点外极平面对极线基本矩阵，的矩阵2.两视几何外极几何外极线Mmm'l'ee'lOO'm'T142.两视几何基线：连接两个摄象机光心O（O’）的直线外极点：基线与像平面的交点外极平面：过基线的平面外极线：对极平面与图像平面的交线基本矩阵F：对应点对之间的约束外极几何2.两视几何基线：连接两个摄象机光心O（O’）的直线外极152.两视几何外极几何世界坐标系Ou摄像机坐标系v图像坐标系O’R0,t0R’,t’如果将世界坐标系取在第一个摄像机坐标系上，则：R,t2.两视几何外极几何世界坐标系Ou摄像机坐标系v图像坐标系16基本矩阵F：

是一秩为2的3×3矩阵，自由度为72.两视几何外极几何对象的数学表达：Mmm'l'ee'lOO'm'TFm=0外极点：光心：基本矩阵F：2.两视几何外极几何对象的数学表达：Mmm17本质矩阵E：

是一秩为2的3×3矩阵，自由度为52.两视几何外极几何对象的数学表达：Mmm'l'ee'lOO'm'TFm=0外极线：（用法向量表示）对象之间的关系式：本质矩阵E：2.两视几何外极几何对象的数学表达：Mmm182.两视几何外极几何Mmm'l'ee'lOO'm'TFm=0对象之间的关系式：F不是一个一一对应的变换。如果，m，m’是一对对应点，则：反之，不成立。2.两视几何外极几何Mmm'l'ee'lOO'm'TFm=192.两视几何H是一个射影变换矩阵，投影矩阵对和对应相同的基本矩阵。基本矩阵2.两视几何H是一个射影变换矩阵，投影矩202.两视几何在两幅图像之间，基本矩阵将点m映射为对应的对极线，将对极点映射为0。不能提供对应点间的一一对应。基本矩阵的变换作用Mmm'l'ee'lOO'm'TFm=0F0F2.两视几何在两幅图像之间，基本矩阵将点m映射为对应的212.两视几何空间中一点在两幅图像上的成像分别为：极点极线基本矩阵的代数推导mm'l'ee'lCC'm'TFm=0M因此：2.两视几何空间中一点222.两视几何基于代数误差的线性估计---8、7点算法基于几何误差的非线性优化基于RANSAC思想的自动估计算法基本矩阵F的估计方法2.两视几何基于代数误差的线性估计---8、7点算法基本矩232.两视几何一对对应点，之间满足约束：展开可以得到约束方程为：基本矩阵F的估计方法8点算法:2.两视几何一对对应点242.两视几何当n>=8时，可以线性求解f。对于n对对应的图像点对可得到n个这样的方程构造向量:构造矩阵:从而:基本矩阵F的估计方法8点算法:2.两视几何当n>=8时，可以线性求解f。对于n252.两视几何基于代数误差的估计方法是满足某些约束下使最小的算法8点算法：步骤：1)由对应点(n>=8)集构造矩阵A；2)对A进行奇异值分解，由向量构造矩阵F（3）对F进行SVD分解得到基本矩阵的估计基本矩阵F的估计方法8点算法:2.两视几何基于代数误差的估计方法是满足某些约束下使基本矩262.两视几何8点算法估计基本矩阵F

的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精确时，由8点算法给出的基本矩阵F的解精度很低。存在一种规一化坐标系，在此坐标系下估计的基本矩阵优于其它坐标系。基本矩阵F的估计方法8点算法:2.两视几何8点算法估计基本矩阵F的结果与图像点的坐272.两视几何规一化变换：1)对图像点做位移变换，使得图像的原点位于图像点集的质心；2)对图像点做缩放变换，使得图像点分布在以质心为圆心半径为的圆内。基本矩阵F的估计方法8点算法:H2.两视几何规一化变换：1)对图像点做位移变换，使得图像28规一化8点算法：由对应点，求F1)对两幅图像分别做规一化变换,得到新的对应点集；2)有新的对应点集和8点算法估计；3）基本矩阵

2.两视几何基本矩阵F的估计方法8点算法:规一化8点算法：由对应点292.两视几何

如果求解的基本矩阵F不满足约束，即那么不存在向量e使得Fe=0，则在图像中的对极线不交于同一点(对极点e

)。由于基本矩阵的秩为2，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以确定基本矩阵。基本矩阵F的估计方法7点算法:2.两视几何如果求解的基本矩阵F不满足约束302.两视几何利用SVD分解的方法得到两个对应于系数矩阵A

的右零空间的基向量和的矩阵基和，然后利用det(F)=0性质来解出F通解中的比例因子，来确定所要估计的基本矩阵。由于基本矩阵行列式为零所对应的约束是一个三次方程，因此最后所可能得到的基本矩阵的解的个数对应于上述三次方程实数解的个数，最多可以得到3个解。基本矩阵F的估计方法7点算法:2.两视几何利用SVD分解的方法得到两个对应于系数矩阵A312.两视几何将估计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解.算法如下：（1）构造基于几何意义的目标函数（2）选取8点算法的结果作为迭代算法的初始值（3）选取一种迭代方法（L-M方法），迭代求解最小化问题基本矩阵F的估计方法基于几何误差的优化:2.两视几何将估计基本矩阵的问题化为数学的最优化问题，然后322.两视几何常用准则：(1)点到对应极线距离的平方和(2)反投影距离基本矩阵F的估计方法基于几何误差的优化:构造基于几何意义的目标函数2.两视几何常用准则：(1)点到对应极线距离的平方和基本矩332.两视几何mm'l'ee'lOO’基本矩阵F的估计方法基于几何误差的优化:准则(1)点到对应极线距离的平方和2.两视几何mm'l'ee'lOO’基本矩阵F的估计方法34其中和是通过一定的方法进行射影重建所得到空间点的反投影图像点.2.两视几何准则(2)反投影距离基本矩阵F的估计方法基于几何误差的优化:mm'ee'OO’其中和是通过一定的方法进行射影重建所得到35基于准则(2)步骤：1.由线性算法求出基本矩阵的初始值;2.由对应点和基本矩阵射影重建得到三维空间点坐标；3.由三维空间点得到新的图像点：.2.两视几何基本矩阵F的估计方法基于几何误差的优化:基于准则(2)步骤：2.两视几何基本矩阵F的估计方法基362.两视几何例：利用RANSAC思想估计直线给定7点，找最匹配的直线，使有效点到直线的距离小于0.8个单位，找到的点集为{1,2,3,4,5,6}，然后用最小二乘法计算直线方程。x01123234578645910yPOINTXY1234567001122323344102理想直线基本矩阵F的估计方法RANSAC估计2.两视几何例：利用RANSAC思想估计直线x011372.两视几何前面所讲的所有的方法都假设没有错误匹配点(Outliers)。实际处理过程中可能会出现错误的匹配点。可以用RANSAC方法剔除错误的匹配点基本思想：1.通过迭代地随机抽取最小点集来找出能够使得所谓Inliers所占比例最高的最小点集2.用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最终的基本矩阵估计值基本矩阵F的估计方法RANSAC估计2.两视几何前面所讲的所有的方法都假设没有错误匹配点(Ou382.两视几何本质矩阵E(EssentialMatrix)由摄像机的外参数确定，与摄像机内参数无关。本质矩阵EO摄像机坐标系v图像像素坐标系O’uxymm’2.两视几何本质矩阵E(EssentialMat392.两视几何

本质矩阵E当摄像机内参数K已知时，当F被求出时，重建即要求出R，t。tR2.两视几何本质矩阵E当摄像机内参数K已知时，当F40给定一基本矩阵F，构造投影矩阵对2.两视几何重建有了投影矩阵和图像点就可以通过三角化实现重建给定一基本矩阵F，构造投影矩阵对2.两视几何重建有了412.两视几何重建H是一个4×4的可逆射影变换矩阵，则HH2.两视几何重建H是一个4×4的可逆射影变换矩阵，则HH422.两视几何例子

2.两视几何例子432.两视几何例子2.两视几何例子44概念已知基本矩阵F确定单应矩阵H已知单应矩阵H确定基本矩阵F无穷远平面的单应矩阵2.两视几何景物平面与单应矩阵概念2.两视几何景物平面与单应矩阵45两幅图像上的点如果来自空间的同一个平面，则在它们之间存在一个射影变换，可以用一个33矩阵表示，称为单应矩阵,记为H。xπmm'ee'2.两视几何景物平面与单应矩阵概念H33两幅图像上的点如果来自空间的同一个平面，则在它们之间存在一个46建立世界坐标系，使得X-Y

平面为空间平面，即为平面，则2.两视几何景物平面与单应矩阵概念建立世界坐标系，使得X-Y平面为空间平面，即为47若是空间平面上的点在两幅图像上对应点对，则存在矩阵H使得s为非零常数因子，H是一3×3矩阵，一般可由4对对应点求得。2.两视几何景物平面与单应矩阵概念2.两视几何景物平面与单应矩阵概念48若两视点投影矩阵为则空间平面的单应矩阵H可表示为2.两视几何景物平面与单应矩阵概念若两视点投影矩阵为2.两视几何景物平面与单应矩阵概念492.两视几何景物平面与单应矩阵由F确定H给定三对对应点：它们对应的空间的景物点为：M1，M2，M3则这三个景物点唯一确定了一个空间平面如果F已求出，则这个平面的H也可以求出：e,e’H2.两视几何景物平面与单应矩阵由F确定H给定三对对应点：502.两视几何景物平面与单应矩阵由F确定Hxπmm'ee'2.两视几何景物平面与单应矩阵由F确定Hxπmm'ee'51一.由共面的4对对应点求得H二.由直线和确定极点e'

三.

由6个点，其中4个点共面，来求解基本矩阵F：2.两视几何景物平面与单应矩阵由H确定F一.由共面的4对对应点求得H由6个点，其中4个点共面，来52当空间平面为无穷远平面时，对应的单应矩阵为无穷远平面的H：如果H已知后，则可进行标定、重建。2.两视几何景物平面与单应矩阵无穷远平面的单应矩阵当空间平面为无穷远平面时，对应的单应矩阵为无穷远平面的H：53引言点、线关联关系基本矩阵、投影矩阵3.三视几何主要内容引言3.三视几何主要内容54两幅图像之间存在约束：基本矩阵F；三幅图像之间存在约束：三焦张量T（TrifocalTensor）；四幅或更多幅图像之间不存在独立的约束，它们可以由F和T生成。3.三视几何引言两幅图像之间存在约束：基本矩阵F；3.三视几何引言55三幅图像间的独立的几何约束O’’LOO’ll’l''3.三视几何两幅图像间不能对直线产生约束LOO’ll’引言三幅图像间的独立的几何约束O’’LOO’ll’l''3.三56三焦张量由三个33矩阵{T1，T2，T3}组成。3.三视几何在两幅图像之间有约束：在三幅图像之间有约束：其中，l，l’，l’’为在三幅图像中对应的直线。引言三焦张量由三个33矩阵{T1，T2，T3}组成。3.三视57线-线-线点-线-线点-线-点点-点-线点-点-点点、线关联关系3.三视几何线-线-线点-线-线点-线-点点-58点、线关联关系Point–line–line3.三视几何点、线关联关系Point–line–line3.三59点、线关联关系Point–line–point3.三视几何点、线关联关系Point–line–point3.60点、线关联关系Point–point–point3.三视几何点、线关联关系Point–point–point3.61基本矩阵与三焦张量之间存在关系：由三焦张量和外极点可得到一组投影矩阵：基本矩阵、投影矩阵3.三视几何基本矩阵与三焦张量之间存在关系：基本矩阵、投影矩阵3.三视62小结1.单视几何：应用于单幅图像测量2.两视几何：基本矩阵、外极点、空间平面与单应矩阵3.三视几何：三焦张量参考文献：R.Hartley,A.Zisserman.MultipleViewGeometryinComputerVision.CambridgeUniversityPress,2000.小结1.单视几何：应用于单幅图像测量参考文献：63计算机视觉的多视几何吴毅红中国科学院自动化研究所模式识别国家重点实验室计算机视觉的多视几何吴毅红64主要内容1.单视几何（应用单幅图像测量）2.两视几何（EpipolarGeometry约束）空间平面与Homography3.三视几何（TrifocalGeometry约束）主要内容1.单视几何（应用单幅图像测量）651.单视几何成像平面摄像机坐标系ZXYOMm成像平面O1.单视几何成像平面摄像机坐标系ZXYOMm成像平面O661.单视测量目标、内容研究的意义国内外研究的现状算法1.单视测量目标、内容671.单视测量从单幅图像中恢复场景的全部或部分三维信息运用射影几何理论，探索利用单幅图像实现场景测量所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量目标、内容1.单视测量从单幅图像中恢复场景的全部或部分三维信息目标、681.单视测量利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确具有非常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面研究的意义1.单视测量利用超声波、激光等来测量，很容易受到外界不可预691.单视测量用两幅或多幅图像对场景进行重建以后进行测量的方法以及摄影测量学的方法有很大的局限性利用单幅图像对场景进行测量，已引起人们的关注A.CriminisiUniversityofOxford目前，国内外在此方面还没有系统的研究研究现状1.单视测量用两幅或多幅图像对场景进行重建以后进行测量的方701.单视测量空间平面与其图像间的关系可由平面Homography:H来表示(一个的矩阵).一般将空间平面假设为即X-Y

平面,则：

算法成像平面摄像机坐标系ZXYOMmXwYw平面测量1.单视测量空间平面与其图像间的关系可由平面Homograp711.单视测量

如果4个空间点已知，则由它们可线性求解H：算法然后通过将图像点反投到空间平面，实现空间平面上的测量平面测量距离\面积\夹角1.单视测量如果4个空间点已知，则由它们可721.单视测量已知一个空间平面的homography和此平面法向量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测：算法空间测量体积、身高、两个平面的距离、两个平面内的两个点之间的距离1.单视测量已知一个空间平面的homography731.单视测量算法物体体积的测量结果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%1.单视测量算法物体体积的测量结果：742.两视几何外（对）极几何（Epipolargeometry）基本矩阵、本质矩阵重建景物平面与单应矩阵（Homography）主要内容2.两视几何外（对）极几何（Epipolargeomet752.两视几何外极几何外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。基本概念：基线；外极点；外极线；外极平面；基本矩阵；本质矩阵2.两视几何外极几何外极几何是研究两幅图像之间存在的几何。762.两视几何外极几何外极线Mmm'l'ee'lOO'm'TFm=0基线外极点外极平面对极线基本矩阵，的矩阵2.两视几何外极几何外极线Mmm'l'ee'lOO'm'T772.两视几何基线：连接两个摄象机光心O（O’）的直线外极点：基线与像平面的交点外极平面：过基线的平面外极线：对极平面与图像平面的交线基本矩阵F：对应点对之间的约束外极几何2.两视几何基线：连接两个摄象机光心O（O’）的直线外极782.两视几何外极几何世界坐标系Ou摄像机坐标系v图像坐标系O’R0,t0R’,t’如果将世界坐标系取在第一个摄像机坐标系上，则：R,t2.两视几何外极几何世界坐标系Ou摄像机坐标系v图像坐标系79基本矩阵F：

是一秩为2的3×3矩阵，自由度为72.两视几何外极几何对象的数学表达：Mmm'l'ee'lOO'm'TFm=0外极点：光心：基本矩阵F：2.两视几何外极几何对象的数学表达：Mmm80本质矩阵E：

是一秩为2的3×3矩阵，自由度为52.两视几何外极几何对象的数学表达：Mmm'l'ee'lOO'm'TFm=0外极线：（用法向量表示）对象之间的关系式：本质矩阵E：2.两视几何外极几何对象的数学表达：Mmm812.两视几何外极几何Mmm'l'ee'lOO'm'TFm=0对象之间的关系式：F不是一个一一对应的变换。如果，m，m’是一对对应点，则：反之，不成立。2.两视几何外极几何Mmm'l'ee'lOO'm'TFm=822.两视几何H是一个射影变换矩阵，投影矩阵对和对应相同的基本矩阵。基本矩阵2.两视几何H是一个射影变换矩阵，投影矩832.两视几何在两幅图像之间，基本矩阵将点m映射为对应的对极线，将对极点映射为0。不能提供对应点间的一一对应。基本矩阵的变换作用Mmm'l'ee'lOO'm'TFm=0F0F2.两视几何在两幅图像之间，基本矩阵将点m映射为对应的842.两视几何空间中一点在两幅图像上的成像分别为：极点极线基本矩阵的代数推导mm'l'ee'lCC'm'TFm=0M因此：2.两视几何空间中一点852.两视几何基于代数误差的线性估计---8、7点算法基于几何误差的非线性优化基于RANSAC思想的自动估计算法基本矩阵F的估计方法2.两视几何基于代数误差的线性估计---8、7点算法基本矩862.两视几何一对对应点，之间满足约束：展开可以得到约束方程为：基本矩阵F的估计方法8点算法:2.两视几何一对对应点872.两视几何当n>=8时，可以线性求解f。对于n对对应的图像点对可得到n个这样的方程构造向量:构造矩阵:从而:基本矩阵F的估计方法8点算法:2.两视几何当n>=8时，可以线性求解f。对于n882.两视几何基于代数误差的估计方法是满足某些约束下使最小的算法8点算法：步骤：1)由对应点(n>=8)集构造矩阵A；2)对A进行奇异值分解，由向量构造矩阵F（3）对F进行SVD分解得到基本矩阵的估计基本矩阵F的估计方法8点算法:2.两视几何基于代数误差的估计方法是满足某些约束下使基本矩892.两视几何8点算法估计基本矩阵F

的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精确时，由8点算法给出的基本矩阵F的解精度很低。存在一种规一化坐标系，在此坐标系下估计的基本矩阵优于其它坐标系。基本矩阵F的估计方法8点算法:2.两视几何8点算法估计基本矩阵F的结果与图像点的坐902.两视几何规一化变换：1)对图像点做位移变换，使得图像的原点位于图像点集的质心；2)对图像点做缩放变换，使得图像点分布在以质心为圆心半径为的圆内。基本矩阵F的估计方法8点算法:H2.两视几何规一化变换：1)对图像点做位移变换，使得图像91规一化8点算法：由对应点，求F1)对两幅图像分别做规一化变换,得到新的对应点集；2)有新的对应点集和8点算法估计；3）基本矩阵

2.两视几何基本矩阵F的估计方法8点算法:规一化8点算法：由对应点922.两视几何

如果求解的基本矩阵F不满足约束，即那么不存在向量e使得Fe=0，则在图像中的对极线不交于同一点(对极点e

)。由于基本矩阵的秩为2，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以确定基本矩阵。基本矩阵F的估计方法7点算法:2.两视几何如果求解的基本矩阵F不满足约束932.两视几何利用SVD分解的方法得到两个对应于系数矩阵A

的右零空间的基向量和的矩阵基和，然后利用det(F)=0性质来解出F通解中的比例因子，来确定所要估计的基本矩阵。由于基本矩阵行列式为零所对应的约束是一个三次方程，因此最后所可能得到的基本矩阵的解的个数对应于上述三次方程实数解的个数，最多可以得到3个解。基本矩阵F的估计方法7点算法:2.两视几何利用SVD分解的方法得到两个对应于系数矩阵A942.两视几何将估计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解.算法如下：（1）构造基于几何意义的目标函数（2）选取8点算法的结果作为迭代算法的初始值（3）选取一种迭代方法（L-M方法），迭代求解最小化问题基本矩阵F的估计方法基于几何误差的优化:2.两视几何将估计基本矩阵的问题化为数学的最优化问题，然后952.两视几何常用准则：(1)点到对应极线距离的平方和(2)反投影距离基本矩阵F的估计方法基于几何误差的优化:构造基于几何意义的目标函数2.两视几何常用准则：(1)点到对应极线距离的平方和基本矩962.两视几何mm'l'ee'lOO’基本矩阵F的估计方法基于几何误差的优化:准则(1)点到对应极线距离的平方和2.两视几何mm'l'ee'lOO’基本矩阵F的估计方法97其中和是通过一定的方法进行射影重建所得到空间点的反投影图像点.2.两视几何准则(2)反投影距离基本矩阵F的估计方法基于几何误差的优化:mm'ee'OO’其中和是通过一定的方法进行射影重建所得到98基于准则(2)步骤：1.由线性算法求出基本矩阵的初始值;2.由对应点和基本矩阵射影重建得到三维空间点坐标；3.由三维空间点得到新的图像点：.2.两视几何基本矩阵F的估计方法基于几何误差的优化:基于准则(2)步骤：2.两视几何基本矩阵F的估计方法基992.两视几何例：利用RANSAC思想估计直线给定7点，找最匹配的直线，使有效点到直线的距离小于0.8个单位，找到的点集为{1,2,3,4,5,6}，然后用最小二乘法计算直线方程。x01123234578645910yPOINTXY1234567001122323344102理想直线基本矩阵F的估计方法RANSAC估计2.两视几何例：利用RANSAC思想估计直线x0111002.两视几何前面所讲的所有的方法都假设没有错误匹配点(Outliers)。实际处理过程中可能会出现错误的匹配点。可以用RANSAC方法剔除错误的匹配点基本思想：1.通过迭代地随机抽取最小点集来找出能够使得所谓Inliers所占比例最高的最小点集2.用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最终的基本矩阵估计值基本矩阵F的估计方法RANSAC估计2.两视几何前面所讲的所有的方法都假设没有错误匹配点(Ou1012.两视几何本质矩阵E(EssentialMatrix)由摄像机的外参数确定，与摄像机内参数无关。本质矩阵EO摄像机坐标系v图像像素坐标系O’uxymm’2.两视几何本质矩阵E(EssentialMat1022.两视几何

本质矩阵E当摄像机内参数K已知时，当F被求出时，重建即要求出R，t。tR2.两视几何本质矩阵E当摄像机内参数K已知时，当F103给定一基本矩阵F，构造投影矩阵对2.两视几何重建有了投影矩阵和图像点就可以通过三角化实现重建给定一基本矩阵F，构造投影矩阵对2.两视几何重建有了1042.两视几何重建H是一个4×4的可逆射影变换矩阵，则HH2.两视几何重建H是一个4×4的可逆射影变换矩阵，则HH1052.两视几何例子

2.两视几何例子1062.两视几何例子2.两视几何例子107概念已知基本矩阵F确定单应矩阵H已知单应矩阵H确定基本矩阵F无穷远平面的单应矩阵2.两视几何景物平面与单应矩阵概念2.两视几何景物平面与单应矩阵108两幅图像上的点如果来自空间的同一个平面，则在它们之间存在一个射影变换，可以用一个33矩阵表示，称为单应矩阵,记为H。xπmm'ee'2.两视几何景物平面与单应矩阵概念H33两幅图像上的点如果来自空间的同一个平面，则在它们之间存在一个109建立世界坐标系，使得X-Y

平面为空间平面，即为平面，则2.两视几何景物平面与单应矩阵概念建立世界坐标系，使得X-Y平面为空间平面，即为110若是空间平面上的点在两幅图像上对应点对，则存在矩阵H使得s为非零常数因子，H是一3×3矩阵，一般可由4对对应点求得。2.两视几何景物平面与单应矩阵