视觉测量与三维重建课件

视觉测量与三维重建Computervisiontechnologyhasbeenwidelyappliedinmanyfields,suchasassocialproductionandlife.Itenablesdigitalcomputerhavetheabilityofrecoveringthesurroundingenvironmentandinformationfromthetwo-dimensionaldata,andcopyshumanvisualcognitiontocomputer.视觉测量与三维重建Computervisiontec目录CONTENTS1稀疏点云重建Sparsepointcloudreconstruction2点云配准pointcloudregistration4参考文献Referencepaper3后期计划Laterplan目录CONTENTS1稀疏点云重建Sparsepoint01稀疏点云重建Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever01稀疏点云重建Doonethingatatime,稀疏点云重建步骤：（1）特征点的提取特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。当前比较常用的特征点提取算法：1）尺度不变特征变换算法（ScaleInvariantFeatureTransform，SIFT）2）加速鲁棒特征算法（Speeded-UpRobustFeature，SURF）

场景的三维重建问题可总结为：从二维空间中的点估计相机的位置、投影矩阵以及恢复场景在三维空间中的点。稀疏点云重建步骤：（1）特征点的提取场景的三维（2）图像特征点匹配

在特征点提取完成之后，就需要对立体图像进行特征匹配，当前常用的特征点匹配算法：1）归一化互相关技术（NormalizedCrossCorrelationMethod，NCC）2）最近邻算法（NearestNeighbor-NN）（3）去除误匹配

上述特征点匹配方法会产生许多错误点对，常用的去除误匹配算法为RANSAC（RandomSampleConsensus）。其主要思想是：在模型参数估计中，为了消除异常样本，最直观的想法是找出一组不包含异常值的数据抽样来进行参数估计。RANSAC算法搜索M组数据，且M足够大，就可以认为在这M组中至少有一组不包含异常点，然后用这M组抽样数据分别估计参数，根据一定的评选标准，找出最优模型。利用最优模型根据一定的规则对其他数据进行筛选，确定最终模型参数。（2）图像特征点匹配（3）去除误匹配（4）SFM算法

在特征点提取和匹配完成之后，可以用SFM算法得到稀疏的三维点云。SFM（structurefrommotion）可以在不知道相机参数和场景三维信息的情况下通过迭代解出三维点云和相机矩阵。SFM开源库：*OpenMVGhttp://openmvg.readthedocs.io/en/latest/#*libMV/tag/libmv/*VisualSFMhttp://ccwu.me/vsfm/*Bundler/~snavely/bundler/（4）SFM算法（5）利用VisualSFM得到的结果（5）利用VisualSFM得到的结果视觉测量与三维重建ppt课件02点云配准Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever02点云配准Doonethingatatime,a很多时候，由于设备的显示，我们需要从不同角度拍摄图像，获取点云数据，从而才能得到目标的完整的点云。这些点云需要转换到同一坐标系下，这个过程被称为配准过程。对于两个点云来说，配准的目的就在于找到一个最优的几何变换使得两个点云数据在同一坐标系下最大程度的对齐融合。点云配准最常用的是最近点迭代（IterativeClosestPoint，ICP）点云配准算法。很多时候，由于设备的显示，我们需要从不同角度拍ICP算法的基本原理是：分别在带匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近点（pi，qi），然后计算出最优匹配参数R和t，使得误差函数最小。误差函数为E（R，t）为：

其中n为最邻近点对的个数，pi为目标点云P中的一点，qi

为源点云Q中与pi

对应的最近点，R为旋转矩阵，t为平移向量。ICP算法原理ICP算法的基本原理是：分别在带匹配的目标点云（1）在目标点云P中取点集pi∈P；（2）找出源点云Q中的对应点集qi∈Q，使得||qi-pi||=min；（3）计算旋转矩阵R和平移矩阵t，使得误差函数最小；（4）对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，的到新的

对应点集pi’={pi’=Rpi+t,pi∈P}；（5）计算pi’与对应点集qi的平均距离；（6）如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算。

否则返回第2步，直到满足收敛条件为止。ICP算法步骤（1）在目标点云P中取点集pi∈P；ICP算法步骤（1）原始点集的采集

均匀采样、随机采样和法矢采样（2）确定对应点集

点到点、点到投影、点到面（3）计算变化矩阵

四元数法、SVD奇异值分解法

ICP算法重点问题（1）原始点集的采集ICP算法重点问题（5）ICP算法配准结果（5）ICP算法配准结果03后期计划Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever03后期计划Doonethingatatime,a（1）理解SFM算法完整过程（2）完成ICP算法及其优化算法的编程（2）了解PMVS算法，实现点云的稠密重建（3）学习点云空洞填补的算法后期计划（1）理解SFM算法完整过程后期计划04参考文献Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever04参考文献Doonethingatatime,a[1]SegalA,HähnelD,ThrunS.Generalized-ICP[C]//DBLP,2009.[2]SerafinJ,GrisettiG.NICP:Densenormalbasedpointcloudregistration[C]//Ieee/rsjInternationalConferenceonIntelligentRobotsandSystems.IEEE,2015:742-749.[3]戴嘉境.基于多幅图像的三维重建理论及算法研究[D].上海交通大学,2012.[4]张明明.基于点云边界特征点的改进ICP算法研究[D].吉林大学,2013.[5]DuS,ZhangC,WuZ,etal.RobustisotropicscalingICPalgorithmwithbidirectionaldistanceandboundedrotationangle[J].Neurocomputing,2016,215(C):160-168.[6]解则晓,徐尚.三维点云数据拼接中ICP及其改进算法综述[J].中国海洋大学学报(自然科学版),2010,40(1):99-103.参考文献：[1]SegalA,HähnelD,ThrunS2018谢谢聆听LobalStandardAdesignercanusedefaulttexttosi