计算机视觉课程10multigeo and calibration

1、计算机视觉的多视几何高伟人视觉研究组模式识别中国自动化wgao回顾二维射影几何点、线二次曲线、对偶二次曲线无穷远点、无穷远直线圆环点、对偶二次曲线三维射影几何点、平面直线二次曲面、对偶二次曲面扭三次曲线无穷远平面绝对二次曲线、绝对对偶二次曲面课程计划相机与成像模型射影几何多视几何与相机标定基于图像的三维重建相关章节Szeliski, Ch. 7.2Hartley, Ch. 9，11主要内容两视几何 外极几何 本质矩阵 基本矩阵三视几何多视几何希腊神话独眼巨人Odilon Redon, Cyclops, 1914多视几何从单视图像中恢复场景的结构和深度，会引起歧义性多视几何从单视图像中恢复场景的

2、结构和深度，会引起歧义性多视几何从单视图像中恢复场景的结构和深度，会引起歧义性M?M?M?m有哪些线索可以帮助我们获取到三维形状和深度信息呢？ShadingFigure from Prados & Faugeras 2006Focus/defocusImages from same point of view, different camera parameters3d shape / depth estimatesfigs from H. Jin and P. Favaro, 2002TextureFrom A.M. Loh. The recovery of 3-D structur

3、e using visual texture patterns. PhD thesisPerspective effectsImage credit: S. SeitzMotionFigures from L. Zhang估计场景形状“Shape from X”: Shading, Texture, Focus, Motion视觉 Stereo: shape from “motion” 在两个视角之间Public Library, Stereoscopic Looking Room, Chicago, by Phillips, 1923SimpleSimpleNormalized Cross

4、Correlationregion Aregion Bwrite regions as vectorsabvector avector bAddingSimple Stereo SystemGeneral Stereo SystemIn general, the cameras may be related by an arbitrarytransformation (R,T)Epipolar MatrixIn general, intrinsic camera parameters may bedifferent, and even unknownFundamental Matrix外极几何

5、Right ImageLeft Image外极几何Right ImageLeft Image外极几何外极线约束：将点对应约简为在外极线上的一维搜索外极几何一般情况下，外极线不是平行的外极几何Right ImageLeft Image外极几何外极几何外极几何基本矩阵本质矩阵外极几何本质矩阵基本矩阵外极几何外极点：基本矩阵估计 8点算法基本矩阵估计 8点算法基本矩阵估计 8点算法基本矩阵估计 8点算法矩阵各个列之间的量纲的差别将直接导致无法获得较好的最小二乘解基本矩阵估计化8点算法H基本矩阵估计化8点算法基本矩阵估计化8点算法8-pointNormalized 8-pointAv. Dist. 1

6、2.33 pixels0.92 pixelAv. Dist. 22.18 pixels0.85 pixelRANSAC估计RANSAC(RANdom Sample Consensus)估计方法由Fischler和Bolles提出了一种鲁棒估计方法外点(Outliers)下的直线估计外点影响最小二乘拟合RANSACRANdom Sample Consensus: 为了避免外点的影响，我们需要寻找内点，在最小二乘拟合的时候，只使用内点进行拟合如果外点用来进行拟合的话，该拟合应该其它大部分点的支持得到RANSAC: 基本框架RANSAC 循环:1.2.3.4.随机选择点根据点进行数据拟合通过拟合的模

7、型寻找内点如果内点的数量足够多，则根据这些内点重新进行拟合保留具有内点数量最多的拟合RANSAC直线拟合RANSAC直线拟合最小二乘拟合RANSAC直线拟合随机选取最小点集1.RANSAC直线拟合随机选取最小点集推断一个模型1.2.RANSAC直线拟合随机选取最小点集推断一个模型计算误差函数1.2.3.RANSAC直线拟合随机选取最小点集推断一个模型计算误差函数选择与模型一致的点集1.2.3.4.RANSAC直线拟合随机选取最小点集推断一个模型计算误差函数选择与模型一致的点集重复推断-循环1.2.3.4.5.RANSAC直线拟合随机选取最小点集推断一个模型计算误差函数选择与模型一致的点集重复推

8、断-循环1.2.3.4.5.RANSAC直线拟合没有受到噪声影响的样本随机选取最小点集推断一个模型计算误差函数选择与模型一致的点集重复推断-循环1.2.3.4.5.RANSAC直线拟合随机选取最小点集推断一个模型计算误差函数选择与模型一致的点集重复推断-循环1.2.3.4.5.RANSAC直线拟合重复N次:随机选取 s 个点用 s 个点拟合一条直线从其余的点中选找相对于该条直线的内点， 即到直线距离小于 t 的点如果内点的数量大于 d ，则接受该直线并利用所有的内点重新拟合直线RANSAC 优缺点 优点 简单且一般话Simple and general 可以应用到不同的 非常实用 缺点 有许多

9、参数需要调整 不适合内点比例过低的情况 最小个数的采样通常无法获得好的初值基本矩阵估计 RANSAC估计RANSAC估计 从两幅图像的对应点集中随机选取样本集（如由8对点集） 利用样本集中的点对应计算基本矩阵F 确定极几何约束 在对应点集合中确定内点对集，统计其个数 内点对：对应点到外极线的距离小于某一阈值 如果内点对集的个数小于某一阈值，则迭代 由内点对集估计基本矩阵F基本矩阵估计 RANSAC估计粗匹配错误匹配在10-50%之间基本矩阵估计 RANSAC估计确定内点对集基本矩阵估计 RANSAC估计外极线结果Stereo多视几何之三视几何三视几何两幅图像间不能对直线产生约束llOO三视几何

10、的几何约束三幅图像间的Ll''lOlOO三视几何两幅图像之间三幅图像之间约束：基本矩阵F约束：三焦张量T四幅或图像之间不的约束，可以由F和T生成小结两视几何 外极几何 本质矩阵 基本矩阵三视几何相机标定相关章节Szeliski, Ch. 6.2, 6.3Hartley, Ch. 4，19主要内容传统相机标定法 直接线性变换法平面标定法平面圆标定法平行圆标定法相机自标定法 基于Kruppa方程标定法 基于绝对对偶二次曲面标定法主动视觉相机标定法视觉目的三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向. (Marr 1982)所谓三维重建就是指从图像出发恢复出空间点三

11、维坐标的过程。三维重建的三个关键步骤 图像对应点的确定 相机标定 图像间相机运动参数的确定相机标定之传统相机标定法传统相机标定法之直接线性标定法相机投影模型中心投影直接线性变换法(DLT)Rank = 2直接线性变换法直接线性变换法SVD配置三维点位于一个平面上或过相机中心的直线上三维点和相机位于一个扭三次曲线上数据化将数据化为一阶 将数据质心平移到原点 通过尺度缩放，使得均方根距离为1数据化几何误差图像几何误差：采用Levenberg-Marquardt等迭代技术优化：黄金标准算法直接线性变换法?RQ分解：=+RQRQ分解直接线性变换法直接线性变换法优点： 标定精度高 计算简单缺点： 需要高

12、精度的标定 使用不方便=> 单独平面可否标定？传统相机标定法之平面标定法平面标定平面标定M (X ,Y , 0)YcZcYwOXcZwm (u,v )OwXw平面标定H平面标定由正交矩阵的性质每幅图像可以获得2个对内参数的基本约束平面标定标定过程Camera Calibration Toolbox forJean-Yves Bouguet标定过程打印一张模板并贴在一个平面上标定过程从不同角度拍摄若干张模板图像标定过程检测图像中的特征点标定过程检测图像中的特征点标定过程求解相机内外参数标定过程重投影误差标定过程平面标定优点： 采用单个平面，即可标定，简单缺点： 依旧需要确定模板上的点阵坐标

13、与图像点之间 匹配=> 全自动标定？传统相机标定法之平面圆标定法平面圆标定法标定法依旧需要确定模板上的点阵坐标与图像点之间匹配全自动的标定呢？所用的模版平面圆标定法平面圆标定法计算圆环点的像模板平面无穷远直线C 1A2BB11OA1B2C 2平面圆标定法平面圆标定法优点： 全自动标定缺点： 依然需要模板=> 利用自然界信息，可以标定么？传统相机标定法之平行圆标定法平行圆标定法平行圆标定法平行圆标定法该从平行圆的最小个数出发，基于准仿射不变性，分析了所有可能情况的计算圆环点的The line at infiThe line at infiThe line at infia) The

14、concentric casec) The outer-tangent caseb) The inner-tangent caseThe line at infiThe line at infiThe line at infie) The separate casef)Theenclosingbut notconcentric cased) The intersecting case平行圆标定法é1409.3835ê568.2194ù8.04171385.37720349.3042úK =00êêëúú&

15、#251;1平行圆标定法优点： 利用自然物体信息，不需模板缺点： 依然对景物信息有要求，需要圆形物体=> 可否完全利用图像信息完成标定？相机标定之相机自标定法相机自标定法之基于KRUPPA方程标定法二次曲线在非齐次坐标中，二次曲线的方程是：二次曲线的切线lxC对偶二次曲线二次曲线变换绝对二次曲线(AC，Absolute Conic)绝对二次曲线的图像(IAC)绝对二次曲线的图像绝对二次曲线的图像仅仅与相机的内参数有关绝对二次曲线的对偶图像(DIAC)Kruppa方程Kruppa方程Kruppa方程Kruppa方程基于Kruppa方程标定法Kruppa方程基于Kruppa方程标定法相机自标定法之基于绝对对偶二次曲面标定法二次曲面与对偶二次曲面绝对对偶二次曲面绝对对偶二次曲面标定绝对对偶二次曲面标定绝对对偶二次曲面标定相机标定之主动视觉相机标定法主动视觉系统主动视觉系统：相机被