基于三维点云的室内结构化三维重建课件

1、基于三维点云的室内结构化三维重建基于三维点云的室内结构化三维重建研究背景Research Background研究目的Research Purpose研究方法Methods实验结果Research Result目录结论与展望Conclusions0102030405研究背景研究目的研究方法实验结果目录结论与展望01020301城市空间的扩张交通压力 土地资源 环境保护人类生活（衣食住行）室内空间人类经济和社会生活的主要场所 人类生活相关的室内服务的需求室内三维模型研究背景31城市空间的扩张研究背景31研究背景三维点云数据获取基于多视图像获取三维点云 激光点云获取技术深度相机4移动测量技术的发展

2、室外车载、机载LIDAR（GNSS） 室内移动测量平台手持SLAM（GeoSLAM, Tango） 背包SLAM视觉（单目相机，双目相机，RGB-D深度相机） 激光（机械旋转激光，固态激光）GeoSLAMTango1研究背景三维点云数据获取4移动测量技术的发展视觉（单目相机1三维重建多视图三维重建 激光SLAM技术 Visual SLAM研究背景无人机摄影测量SFM+MVS多视图三维重建51三维重建研究背景无人机摄影测量SFM+MVS多视图三维重建1三维重建多视图三维重建 激光SLAM技术 Visual SLAM研究背景Cartographer采集的场景点云61三维重建研究背景Cartogra

3、pher采集的场景点云61三维重建多视图三维重建 激光SLAM技术 Visual SLAM研究背景OrbSLAM2采集的场景带颜色点云BundleFusion重建结果示例通常所说的三维重建结果：稀疏点云稠密点云Mesh网格71三维重建研究背景OrbSLAM2采集的场景带颜色点云Bun2研究目的为什么要结构化？点云数据数据量大，信息冗余获取的点云数据存在遮挡和不完整网格模型显示效果不美观缺乏语义信息，无法满足某些应用现有方法及存在的问题机器人领域基于栅格图像的房间分割 形态学方法，Voronoi图方法，距离变换方法，基于学习的方法ACE领域As-built BIM，空间划分，图割方法生成房间平面

4、图点云处理方面，单纯的平面分割，或者点云语义分类的研究 存在问题：没有充分利用建筑物室内结构约束，导致房间分割失败没有对室内连通空间进行建模不适用大规模室内场景82研究目的为什么要结构化？83研究方法Room spaceIndoor spaceFree spaceOccupied spaceCorridorWall opening space (e.g., doors and windows)(Walls)Connection space室内空间和结构约束室内结构约束的两个层次：几何层次和语义层次室内空间曼哈顿空间假设弱曼哈顿空间假设93研究方法Room spaceIndoor spaceFr

5、e3研究方法 （技术路线）103研究方法 （技术路线）103研究方法点云平面分割 采用一种基于正态分布变换（Normal Distribution Transformation，NDT）的随机一致性 平面提取方法。该方法采用首先用NDT分布作为点云的空间表达，将点云离散化为体素单元，并 计算每个体素单元的NDT特征；接着根据设定的阈值提取主要的表现为平面的体素单元。然后结 合RANSAC方法实现点云平面分割。本方法可以最大限度的消除RANSAC方法可能存在的虚假平面 问题，采样重权重方法拟合平面，提高平面拟合的精度和稳健性。原 始 点 云 正 态 分 布 变 换 单元平面NDT和非平面NDT

6、点云平面分割结果Li, L.; Yang, F.; Zhu, H.; Li, D.; Li, Y.; Tang, L. An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution Transformation Cells. Remote Sens. 2017, 9, 433.113研究方法点云平面分割原 始 点 云 正 态 分 布3研究方法房间分割 通过自由空间证据地图进行房间分割，得到标记了房间属性的栅格图层。将点云进行平面 分割并选择墙面投影到二维平面，利用二维墙面线将平面空间进

7、行分割得到矢量多边形单元。 通过叠加分析最终得到房间平面图。Cell complex layerRandom samplingPoint layerExtraction valuePoint with evidenceJoins and statisticsRoom Polygon layerRoom labelling layer123研究方法房间分割Cell complex layerRa3研究方法房间平面图与属性信息提取对生成的面图层进行简化，提取每个房间的高度、面积等信息。房间平面图13高程直方图3研究方法房间平面图与属性信息提取房间平面图13高程直方图3研究方法墙面标记利用激光和物体

8、之间的位置关系，对扫描墙面进行标记，生成证据栅格图。占用遮挡Free space空白143研究方法墙面标记占用遮挡Free space空白143研究方法门窗检测提出一种水平和垂直双向生长的门窗提取算法。153研究方法门窗检测154实验结果数据集两个合成数据集，两个真实数据集。Test SitesTotal FramesTable 1. Description of the datasets.Length (m)Width (m)Height (m)Points(per Frame)Synthetic-14310.35.62.56274,000Synthetic-211054.323.65.63

9、80,000Dataset-1468.610.22.8367,602Dataset-21022.832.32.82,765,000评价指标U= eaf ee eaf URDM = ( a )aAAD = |ea ea| eee= + Nee= + 164实验结果数据集两个合成数据集，两个真实数据集。Test S4实验结果(a)(b)(c)(d)Figure 12. Synthetic-1 dataset. (a) Original point clouds, the trajectory is shown in red. (b) Plane segmentation and fusion re

10、sult; (c) Semantic decomposition of room space and floor plan; (d) 3D indoor model.(a)(b)(e)(f)Figure 14. Real world dataset-1. (a) Original point clouds; (b) Plane segmentation and fusion result; (c) Semantic decomposition of room space and floor plan; (d) 3D indoor model.174实验结果(a)(b)(c)(d)(a)(b)(

11、e)(f4实验结果TableT2a. bDlees4c.riDpteisocnriopftitohne trhoeomexpreecroimnsetnrutacltiroensuelvtsalfuoartitohnesrbeayl-uwsionrgldthdeatsaysnetthse. tic datasets.of RoomsRoomsIoURDM (m)AAD (m2)8180.0120.0090.0110.0140.120.180.210.52Test SitesTest SitesTEolteaml NenutmberBDacektegcrtoeudndDetectionBackgr

12、oundDetectionTPFPFNDoors7763.6%100%Windows77440063.6%100%Synthetic-2Doors17169164.0%94.1%Windows45428384.0%93.3%Dataset-1Rooms55-Synthetic-1DaStyansetht-e2tic-2Wall8Planes Ro1o8ms Wall Planes6-98.4%1.3% 3599.4%0.6% 637Test SitesElementTable 3. DescriptBioanckogf rthoeunstdructured wall oDpeetneicntg

13、ioenlement detection results.PrecisionRecallNum.TPFPFNTest SitesDataset-14410DEoleomrsent WindowsNum.109618P0r.0ec%ision 60.0%1R00e%call 90%Synthetic-1Dataset-2Doors9969.2%100%Windows87470150.0%88%184实验结果TableT2a. bDlees4c.riDpte5结论与展望结论本方法可以满足大场景多房间的室内结构化三维重建。构建的房间平面图具有很高精度。门窗检测的查全率较高，查准率相对较低，和点云数据的噪声，稀疏性有关系。展望多楼层环境下的室内空间划分与重建？更加复杂的室内环境下的建模问题？商场？本方法只采用了点云坐标，更多的线索，包括颜色，强度等信息。Li, L.; Su, F.; Yang, F