【优秀硕士博士论文】光学三维快速检测系统中的点云融合技术研究与应用

2017/12/27,1,光学三维快速检测系统中的点云融合技术研究与应用,2017/12/27,2,答辩提纲:,1. 立论依据2. 技术路线 3. 研究工作4. 结论和展望,2017/12/27,3,1、立论依据,1.1 项目来源1.2 国内外研究现状 1.3 研究内容1.4 研究意义,2017/12/27,4,1.1 项目来源,针对研究所自主研发的光学三维面扫描测量系统 用于逆向设计点云预处理,应用光学三维面扫描系统获取点云数据时，往往需要从多个角度和方向进行扫描，得到的三维点云数据不可避免的存在大量重叠的区域，对后期的处理造成很大的麻烦，为此需要研究点云融合技术，自动融合多幅点云重叠的区域从而获得单层完整的点云数据模型。,2017/12/27,5,1.1 项目来源,点云融合技术是光学三维密集点快速检测中最关键的技术之一，没有点云融合技术就没法进行后期的比对检测，用于快速检测点云预处理。,2017/12/27,6,1.1 项目来源,本项目得到国家863项目 “大型复杂曲面产品 的反求和三维快速检测系统研究”支持(2007AA04Z124)。本项目获江苏省工业扶持项目“三维光学快速质量检测系统”支持（BE2008058 ）。,2017/12/27,7,1.1 项目来源,本课题和天津汽车模具有限公司是长期合作伙伴，本课题的研究成果应用于天津汽车模具有限公司泡沫实型的检测、模具的表面检测和制件的检测，并由天津汽车模具有限公司反馈本技术存在的不足之处，对该技术进行改进和完善。,2017/12/27,8,1.2 国内外研究现状,点云融合技术一直是点云预处理技术中的难点，对于这方面的研究，国外最早由一些著名的大学开始于上世纪八十年代末，九十年代初。目前比较典型的方法有：基于网格缝合的方法（Zippered Polygon Meshes from Range Images）增量式网格化方法（Incremental Approaches）基于空间容积的方法（Volumetric Approaches）基于聚类的方法（Accurate integration of multi-viewrange images using k-means clustering）,2017/12/27,9,1.2 国内外研究现状,基于网格缝合的方法 由斯坦福大学的Greg Turk1提出,2017/12/27,10,1.2 国内外研究现状,增量式网格化方法 通过网格化的过程去除多幅点云中的冗余点，把网格化的过程和去除冗余点的过程结合在一起，效率高。该方法中最典型的是滚球法（Ball-Pivoting），由Bernardini2提出。,2017/12/27,11,1.2 国内外研究现状,基于空间容积的方法 该方法是由斯坦福大学的 BrianCurless和Marc Levoy3提出，该方法的算法思想很简单：给输入的点云建立一个距离函数f(),该函数的返回值有正负两种情况。其次用遍历空间立体网格（March Cubes）的方法抽取f=0的节点，最后用这些点构建点云曲面。,2017/12/27,12,1.2 国内外研究现状,聚类法 该方法由Liu Yonghuai4提出。下图是其融合的基本原理：,2017/12/27,13,国内外研究现状总结：有些融合方法对特征的模糊较严重，比如滚球法，融合后细节特征损失的较厉害。有些融合方法融合后表面不光滑，如基于网格缝合的方法。融合的速率都比较慢，不能适用于快速检测中。占用内存大，可处理的数据量相对较小。,1.2 国内外研究现状,2017/12/27,14,1.3 研究内容,由上节对国内外研究现状的分析可知，现有点云融合技术融合速度慢、占用内存大，不能适用于快速检测中，所以本文对点云融合技术进行了深入的研究，研究内容如下：提出针对研究所自主研发的XJTUOM 三维光学快速检测系统点云融合方案。设计并实现了单面法融合点云数据的方法。实现了手动删除点云重叠面进行点云数据融合的方法以及自动删除多幅点云重叠面融合点云数据的方法。设计并实现了中点法融合点云数据的方法。首先去除每幅点云中的孤立点，其次搜索两幅点云中的对应点对，为了加快搜索速度，本文采用KD-Tree空间邻域搜索策略。最后用点对的中值代替点对中的两个点，从而实现去除冗余点。,2017/12/27,15,1.3 研究内容,实现了聚类融合点云数据的方法，并对该方法进行了改进。首先提出了结构光扫描技术中点云权值计算的理论，实现了结构光扫描技术中点云权值的计算。其次对KD_Tree空间邻域搜索方法进行了改进，实现了一种高效的空间点云搜索策略，有效提高了点云数据融合的速度。最后提出按包围盒等间距分割点云数据的方法，分块多次融合点云，解决了融合海量点云数据时内存不足的问题。对点云融合方案进行试验和分析。,2017/12/27,16,1.4 研究意义,三维点云融合技术极大地减少逆向设计中手动删除重叠面的工作量，提高逆向设计的效率。三维点云融合技术是光学三维快速检测系统中不可或缺的一部分，如果没有自动高效的三维点云融合技术，光学仪器获得的点云将无法应用于快速检测中。,2017/12/27,17,答辩提纲:,1. 立论依据2. 技术路线 3. 研究工作4. 结论和展望,2017/12/27,18,2. 技术路线,2017/12/27,19,答辩提纲:,1. 立论依据2. 技术路线 3. 研究工作4. 结论和展望,2017/12/27,20,3. 研究工作,3.1 开发图形处理平台 开发了基于Opengl的图形处理软件3.2 设计并实现了单面融合法 开发了点云预处理软件 V2.0-V2.203.3 设计并实现了中点融合法 开发了点云预处理软件 V5.03.4 改进了聚类融合点云算法 开发了点云预处理软件 V6.0-V6.23.5 实验、分析及应用,2017/12/27,21,3.1 图形处理平台,开发了基于Opengl的图形处理软件,2017/12/27,22,3.2 单面融合法,单面法的基本原理 如果两幅点云有重叠区域，那么在重叠的区域以其中一幅点云为基准删除与其重叠的另一幅点云中的重叠点，从而得到单层的点云。,2017/12/27,23,单面法小结,3.2 单面融合法,该方法的优点是效率高，可以很好的适用于快速检测中。该方法的缺点是融合表面的光滑度不好，表面较粗糙，不能很好的应用于逆向设计中。,某花瓶点云数据用单面法融合后,为了进一步改善点云数据融合后的表面光滑度，本文继续探索新的点云融合方法-中点法。,2017/12/27,24,3.3 中点法,中点法基本原理 如果两幅点云有重叠区域，那么在重叠的区域以其中一幅点云上的点为基准，给定搜索半径，搜索与其重叠的另一幅点云中的重叠点然后以基准点和其最近点的中点插值代替基准点和其最近点，从而得到单层的点云。,2017/12/27,25,3.3 中点法,2017/12/27,26,中点法小结该方法的优点是和单面法相比，融合后的表面光滑度有所改善。该方法的缺点是和单面法相比融合效率降低。该方法融合后表面有新的小锯齿出现，表面光滑度仍然不是理想的。,3.3 中点法,某花瓶点云数据用中点法融合后,为了进一步改善点云数据融合后的表面光滑度，并提高融合效率，本文继续探索新的点云融合方法-聚类法。,2017/12/27,27,3.4 聚类法,聚类法的基本原理 聚类（Cluster）：相似文档的分组表达方式。在向量空间模型中，用户可以通过比较查询向量和聚类的中心进行检索，并在聚类中进一步检索以找到最相似的文档。,2017/12/27,28,3.4 聚类法,减小点云边界权值,达到的效果：减小翘边的影响，提高边界的光滑度,2017/12/27,29,3.4 聚类法,新的空间邻域搜索策略,本文提出基于包围盒的搜索策略：对于上述两幅点云pt1和pt2，令其包围盒分别为Bbox1和Bbox2，pt1中的点落在Bbox2内的点个数记为，i=1,2,n1；pt2中的点落在Bbox1内的点个数记为，j=1,2,n2；那么在建树的过程中只把m1个点压入kd树，而pt2在搜索的过程中只对m2个点进行搜索，其余的点不参与运算。这时整个搜索算法的时间复杂度为m2*log(m1)，对于两幅重叠部分较少的点云可以极大的减小搜索时间。而实际的点云数据重叠的部分往往比较少，所以该方法能有效提高点云处理的速度。达到的效果：提高搜索效率 n1*log(n2) m1*log(m2),2017/12/27,30,3.4 聚类法,根据点云的包围盒分割点云,令点云包围盒为Bbox，划分方向为orientation那么划分方向确定方法如下：,达到的效果：减小软件在融合过程中的内存占用,2017/12/27,31,3.4 聚类法,2017/12/27,32,聚类法小结该方法融合效率比单面法低，但比中点法高，可以满足快速检测的需求。该方法融合后的表面比单面法和中点法都光滑，可以很好的适用于逆向设计和快速检测中。,3.4 聚类法,某花瓶点云数据用聚类法融合后,2017/12/27,33,3.5 实验、分析及应用,融合效果,2017/12/27,34,3.5 实验、分析及应用,2017/12/27,35,3.5 实验、分析及应用,2017/12/27,36,3.5 实验、分析及应用,时间复杂度分析,单面法：N*log(N)； 中点法： N*log(N)； 聚类法：N*log(N);融合效率 在融合相同数量的点云时：单面法效率最高 中点法的效率最低，改进的聚类算法介于两者之间。改进的聚类算法的效率在数据规模较大时远远高于原聚类算法,2017/12/27,37,3.5 实验、分析及应用,2017/12/27,38,3.5 实验、分析及应用,2017/12/27,39,3.5 实验、分析及应用,空间复杂度 O(N);融合海量点云数据的极限改进前： 同时处理2000万个点分块融合改进后： 同时处理4000多万个点数据压缩： 同时处理1亿多个点,2017/12/27,40,答辩提纲:,1. 立论依据2. 技术路线 3. 研究工作4. 结论和展望,2017/12/27,41,4.1 结论,设计并实现了针对光学三维快速检测系统的点云融合方案，即首先对点云进行预处理：去除孤立点、计算法向量、计算点云权值、减小边界点权值、精简数据等。然后融合多层点云数据，获得单层完整的点云数据，用于比对检测或逆向设计。 设计并实现了单面法融合点云数据的方法。实现了手动删除点云重叠面进行点云数据融合的方法以及自动删除多幅点云重叠面融合点云数据的方法，能将具有重叠区域的多幅点云快速融合为单层的一幅点云。该方法的优点是效率高，可以很好的应用于快速检测中，但该方法融合后的表面光滑度不好，不能很好的应用于逆向设计中。,2017/12/27,42,4.1 结论,设计并实现了中点法融合点云数据的方法。首先去除每幅点云中的孤立点，其次搜索两幅点云中的对应点对，为了加快搜索速度，本文采用KD-Tree空间邻域搜索策略。最后用点对的中值代替点对中的两个点，从而实现去除冗余点。该方法相对于单面法表面光滑度有所改善，但融合效率比单面法慢。实现了聚类法融合点云数据的方法，并对该方法进行了改进：首先提出了结构光扫描技术中点云权值计算的理论，实现了结构光扫描技术中点云权值的计算；其次对KD_Tree空间邻域搜索方法进行了改进，实现了一种高效的空间近邻点云搜索策略，有效提高了点云数据融合的速度；最后提出按包围盒等间距分割点云数据的方法，分块多次融合点云，解决了融合海量点云数据时内存不足的问题。该方法融合效率比单面法低但比中点法高，融合后表面光滑，可以很好的应用于快速检测和逆向设计中。,2017/12/27,43,4.2 展望,单面法是所有融合方法中效率最高的，如果能对其融合后的表面的光滑度进行改进，那么单面法能很好的应用于检测与逆向设计中。而聚类法的融合效率也有进一步改进的空间，如果其融合速率能达到单面法的速率那么是理想的融合方法。目前的研究主要是针对研究所自主研发的面扫描系统获取的点云数据。这种点云是按扫描线有序排列的，而用其他一些扫描仪器获取的点云数据并不一定有扫描线信息，因此本文的算法并不是通用的算法。而实际应用中点云数据的格式往往变化不定，但不论哪种数据格式，都会包含最基本的3D坐标即xyz值。所以点云融合应该能处理只包含xyz信息的点云，这样算法将可以处理各种扫描仪器获取得到的点云数据。,2017/12/27,44,参考文献,1 G Turk, M Levoy. Zippered polygon meshes from rang imagesJ. SIGGRAPH,1994,311-318.2 F Bernardini, J Mittleman, H Rushmeier et al. The ball-pivoting algorithm forsurface reconstructionJ. IEEE Trans. Visual.Comput. Graph. 1999, (5):349359.3 B