计算机视觉ppt课件.ppt

期末作业通知 作业形式 项目报告 PPT 15分钟 2 3人一组 自由组队 作业内容 项目名称 项目意义 相关工作 提出的算法 实验结果 分析与结论 作业题目 计算机视觉范围内任意课题 建议与个人导师商议后决定 如有需要 可向任课老师申请题目 关键的时间点 下周四之前 将项目名称 团队成员名单发至任课老师信箱 第15周课堂时间答辩 1 Shape Structure FromX 解决的是从2D图像到2 5D表面形状 场景深度 的问题Shapefrommotion 第七章 第八章Shapefromstereo 第九章Shapefrommonocularcues shading vanishingpoint defocus texture 第十章 2 第七章基于运动视觉的场景复原 3 三维运动估计 三维运动估计是指从二维图象序列来估计物体三维运动参数以及三维结构 SFM ShapeFromMotion 4 Singularvaluedecomposition SVD 5 Everymatrixrepresentsatransformation http www uwlax edu faculty will svd index html 6 Singularvaluedecomposition 7 Singularvaluedecomposition 8 Pseudo inverse 9 三维刚体运动 10 小角度旋转矩阵 小角度旋转 11 1 基于正交投影的三维运动估计 小角度旋转矩阵 6个未知数 3对点 12 基于正交投影的三维运动估计 Aizawa 19891 根据对应点和深度估计值 计算运动参数 2 根据运动参数和对应点 重新估计深度 交替直到稳定 13 基于正交投影的三维运动估计 Bozdagi 1994利用深度估计值的随机扰动 跳出局部最优1 根据对应点和深度估计值 计算运动参数 2 根据运动参数和深度估计值 估计对应点坐标 3 计算估计误差 14 基于正交投影的三维运动估计 4 随机扰动深度估计值 5 重复以上步骤 实验证明 这种改进的迭代算法在初始深度值有50 的误差的情况下 也能很好地收敛到正确的运动参数值 15 2基于透视投影模型的三维运动估计 规范化焦距F 1 分子分母同除以Zk 16 3基于外极线的三维运动估计 外极线方程几何意义 17 基于外极线的三维运动估计 外极线方程 三维刚体运动 引进一个反对称矩阵 18 基于外极线的三维运动估计 基本矩阵 essentialmatrix 平移矢量乘以不为零的系数 不影响外极线方程成立所恢复的运动参数是关于比例系数的解 19 本质矩阵的应用 可被用于简化匹配问题检测错误的匹配 20 基于外极线的三维运动估计 外极线方程 21 基于外极线的三维运动估计 基本矩阵的性质外极线方程的待求参数5个未知的独立的参数 这也和运动参数的自由度数量相一致 即三个旋转自由度 二个平移自由度 或三个关于一个比例系数的平移自由度 22 1 根据基本矩阵估计运动 1 计算基本矩阵 8对以上对应点求稳定解 实际经常使用RANSAC算法 23 1 根据基本矩阵估计运动 1 计算基本矩阵 Inreality insteadofsolving weseekEtominimize leasteigenvectorof 24 8 pointalgorithm ToenforcethatFisofrank2 FisreplacedbyF thatminimizessubjectto ItisachievedbySVD Let where letthenisthesolution 25 8 pointalgorithm BuildtheconstraintmatrixA x2 1 x1 1 x2 1 x1 2 x2 1 x2 2 x1 1 x2 2 x1 2 x2 2 x1 1 x1 2 ones npts 1 U D V svd A ExtractfundamentalmatrixfromthecolumnofV correspondingtothesmallestsingularvalue E reshape V 9 3 3 Enforcerank2constraint U D V svd E E U diag D 1 1 D 2 2 0 V 26 8 pointalgorithm Pros itislinear easytoimplementandfastCons susceptibletonoise 27 Problemwith8 pointalgorithm 10000 10000 10000 10000 100 100 1 100 100 Ordersofmagnitudedifferencebetweencolumnofdatamatrix least squaresyieldspoorresults 28 Normalized8 pointalgorithm Transforminputby Call8 pointontoobtain 29 Normalized8 pointalgorithm 0 0 700 500 700 0 0 500 1 1 0 0 1 1 1 1 1 1 normalizedleastsquaresyieldsgoodresultsTransformimageto 1 1 x 1 1 30 Normalized8 pointalgorithm A x2 1 x1 1 x2 1 x1 2 x2 1 x2 2 x1 1 x2 2 x1 2 x2 2 x1 1 x1 2 ones npts 1 U D V svd A E reshape V 9 3 3 U D V svd E E U diag D 1 1 D 2 2 0 V DenormaliseE T2 E T1 x1 T1 normalise2dpts x1 x2 T2 normalise2dpts x2 31 Normalization function newpts T normalise2dpts pts c mean pts 1 2 Centroidnewp 1 pts 1 c 1 Shiftorigintocentroid newp 2 pts 2 c 2 meandist mean sqrt newp 1 2 newp 2 2 scale sqrt 2 meandist T scale0 scale c 1 0scale scale c 2 001 newpts T pts 32 RANSAC repeatselectminimalsample 8matches computesolution s forFdetermineinliersuntil inliers samples 95 toomanytimes computeEbasedonallinliers 33 根据基本矩阵估计运动 2 估计运动参数 T 根据基本矩阵的性质 R 根据 34 2 直接根据外极线方程估计运动 理想情况下 由于误差 改求 35 Structurefrommotion 36 Structurefrommotion structureformotion automaticrecoveryofcameramotionandscenestructurefromtwoormoreimages Itisaselfcalibrationtechniqueandcalledautomaticcameratrackingormatchmoving Unknowncameraviewpoints 37 Structurefrommotion 2Dfeaturetracking 3Destimation optimization bundleadjust geometryfitting SFMpipeline 38 Structurefrommotion Step1 TrackFeaturesDetectgoodfeatures Shi Tomasi SIFTFindcorrespondencesbetweenframeswindow basedcorrelationSIFTmatching 39 KLTtracking http www ces clemson edu stb klt 40 SIFTtracking matchingactually Frame0 Frame10 41 SIFTtracking Frame0 Frame200 42 StructurefromMotion Step2 EstimateMotionandStructureSimplifiedprojectionmodel e g Tomasi92 2or3viewsatatime Hartley00 43 StructurefromMotion Step3 Refineestimates Bundleadjustment inphotogrammetryOtheriterativemethods 44 StructurefromMotion Step4 Recoversurfaces image basedtriangulation silhouett