计算机视觉14-第七章Shape(Structure)-From-Motion-I

1、计算机视觉14-第七章Shape(Structure)-From-Motion-I计算机视觉14-第七章Shape(Structure)-From-Motion-IShape(Structure) From X解决的是从2D图像到表面形状(场景深度)的问题Shape from motion-第七章,第八章Shape from stereo-第九章Shape from monocular cues(shading, vanishing point, defocus, texture,.)-第十章第七章第七章 基于运动视觉的场景复原基于运动视觉的场景复原 三维运动估计三维运动估计 三维运动估计是指

2、从二维图象序列来估计物体三维三维运动估计是指从二维图象序列来估计物体三维运动参数以及三维结构。运动参数以及三维结构。 SFM (Shape From Motion)SFM (Shape From Motion)Singular value decomposition (SVD)Every matrix represents a transformation :/Singular value decompositionSingular value decompositionPseudo-inverse三维刚体运动三维刚体运动coscoscossinsincossinsinsincoscoscos

3、sinsinsinsincossinsincossincossincoscossinsincoscoszzzyzxyzyyyxxzxyxxrrrrrrrrrzzzyzxyzyyyxxzxyxxrrrrrrrrrR小角度旋转矩阵小角度旋转矩阵小角度旋转小角度旋转1. 1. 基于正交投影的三维运动估计基于正交投影的三维运动估计小角度旋转矩阵小角度旋转矩阵6 6个未知数，个未知数，3 3对点对点基于正交投影的三维运动估计基于正交投影的三维运动估计 Aizawa, 202X Aizawa, 202X 1. 1. 根据对应点和深度估计值，计算运动参根据对应点和深度估计值，计算运动参数数2. 2. 根据运

4、动参数和对应点，重新估计深度根据运动参数和对应点，重新估计深度交替直到稳定交替直到稳定基于正交投影的三维运动估计基于正交投影的三维运动估计 Bozdagi, 202X Bozdagi, 202X 利用深度估计值的随机扰动，跳出局部最利用深度估计值的随机扰动，跳出局部最优优 1. 1. 根据对应点和深度估计值，计算运动根据对应点和深度估计值，计算运动参数参数 2. 2. 根据运动参数和深度估计值，估计对应点坐标根据运动参数和深度估计值，估计对应点坐标 3. 3. 计算估计误差计算估计误差基于正交投影的三维运动估计基于正交投影的三维运动估计4. 4. 随机扰动深度估计值随机扰动深度估计值5. 5.

5、 重复以上步骤重复以上步骤实验证明，这种改进的迭代算法在初始深度值有实验证明，这种改进的迭代算法在初始深度值有50%50%的的误差的情况下，也能很好地收敛到正确的运动参数值。误差的情况下，也能很好地收敛到正确的运动参数值。2 2 基于透视投影模型的三维运动估计基于透视投影模型的三维运动估计规范化焦距规范化焦距F=1,F=1,分子分母同除以分子分母同除以Z Zk k3 3 基于外极线的三维运动估计基于外极线的三维运动估计外极线方程几何意义外极线方程几何意义基于外极线的三维运动估计基于外极线的三维运动估计 外极线方程外极线方程三维刚体运动三维刚体运动引进一个反对称矩阵：引进一个反对称矩阵： 基于外

6、极线的三维运动估计基于外极线的三维运动估计 基本矩阵（基本矩阵（essential matrixessential matrix）平移矢量乘以不为零的系数，不影响外极线方程成平移矢量乘以不为零的系数，不影响外极线方程成立立所恢复的运动参数是关于比例系数的解所恢复的运动参数是关于比例系数的解本质矩阵的应用本质矩阵的应用 可被用于可被用于 简化匹配问题简化匹配问题检测错误的匹配检测错误的匹配基于外极线的三维运动估计基于外极线的三维运动估计 外极线方程外极线方程基于外极线的三维运动估计基于外极线的三维运动估计基本矩阵的性质基本矩阵的性质 外极线方程的待求参数外极线方程的待求参数 5 5个未知的独立的

7、参数，这也和运动参数的自由个未知的独立的参数，这也和运动参数的自由度数量相一致，即三个旋转自由度，二个平移自由度数量相一致，即三个旋转自由度，二个平移自由度（或三个关于一个比例系数的平移自由度）度（或三个关于一个比例系数的平移自由度）. . (1) (1) 根据基本矩阵估计运动根据基本矩阵估计运动1. 1. 计算基本矩阵计算基本矩阵8 8对以上对应点求稳定解对以上对应点求稳定解( (实际经常使用实际经常使用RANSACRANSAC算算法法) )(1) (1) 根据基本矩阵估计运动根据基本矩阵估计运动1. 1. 计算基本矩阵计算基本矩阵In reality, instead of solving

8、 , we seek E to minimize , least eigenvector of . 8-point algorithmTo enforce that F is of rank 2, F is replaced by F that minimizes subject to . It is achieved by SVD. Let , where , let then is the solution. 8-point algorithm% Build the constraint matrix A = x2(1,:).*x1(1,:) x2(1,:).*x1(2,:) x2(1,:

9、) . x2(2,:).*x1(1,:) x2(2,:).*x1(2,:) x2(2,:) . x1(1,:) x1(2,:) ones(npts,1) ; U,D,V = svd(A); % Extract fundamental matrix from the column of V % corresponding to the smallest singular value. E = reshape(V(:,9),3,3); % Enforce rank2 constraint U,D,V = svd(E); E = U*diag(D(1,1) D(2,2) 0)*V;8-point a

10、lgorithmPros: it is linear, easy to implement and fastCons: susceptible to noiseProblem with 8-point algorithm100001000010000100001001001100100!Orders of magnitude differencebetween column of data matrix least-squares yields poor resultsNormalized 8-point algorithmTransform input by ,Call 8-point on

11、 to obtain FNormalized 8-point algorithm(0,0)(700,500)(700,0)(0,500)(1,-1)(0,0)(1,1)(-1,1)(-1,-1)normalized least squares yields good resultsTransform image to -1,1x-1,1Normalized 8-point algorithm A = x2(1,:).*x1(1,:) x2(1,:).*x1(2,:) x2(1,:) . x2(2,:).*x1(1,:) x2(2,:).*x1(2,:) x2(2,:) . x1(1,:) x1

12、(2,:) ones(npts,1) ; U,D,V = svd(A); E = reshape(V(:,9),3,3); U,D,V = svd(E); E = U*diag(D(1,1) D(2,2) 0)*V; % Denormalise E = T2*E*T1;x1, T1 = normalise2dpts(x1);x2, T2 = normalise2dpts(x2);Normalizationfunction newpts, T = normalise2dpts(pts) c = mean(pts(1:2,:); % Centroid newp(1,:) = pts(1,:)-c(

13、1); % Shift origin to centroid. newp(2,:) = pts(2,:)-c(2); meandist = mean(sqrt(newp(1,:).2 + newp(2,:).2); scale = sqrt(2)/meandist; T = scale 0 -scale*c(1) 0 scale -scale*c(2) 0 0 1 ; newpts = T*pts;RANSACrepeatselect minimal sle (8 matches)compute solution(s) for Fdetermine inliersuntil (#inliers

14、,#sles)95% | too many times compute E based on all inliers根据基本矩阵估计运动根据基本矩阵估计运动2. 2. 估计运动参数估计运动参数T: T: 根根据基本矩阵的性质据基本矩阵的性质R: R: 根据根据(2) (2) 直接根据外极线方程估计运动直接根据外极线方程估计运动理想情况下：理想情况下：由于误差，改求：由于误差，改求：Structure from motionStructure from motionstructure for motion: automatic recovery of camera motioncamera mo

15、tion and scene structurescene structure from two or more images. It is a self calibration technique and called automatic camera tracking or matchmoving.Structure from motion2D featuretracking3D estimationoptimization(bundle adjust)geometry fittingSFM pipelineStructure from motionStep 1: Track FeaturesDetect good features, Shi & Tomasi, SIFTFind correspondences between frameswindow-based correlationSIFT matchingKLT tracking :/ /stb/klt/SIFT tracking (matching actually)Frame 0Frame 10SIFT trackingFrame 0Frame 200Structure