蔡国桢开题报告V1 0

1、本表一式二份，由学生、所属学院留存！研究生学位论文开题报告学位论文题目:基于多传感信息融合的三维壁面环境地图构建和结构化学生学号、姓名:2111701012 蔡国桢所学学科(专业):机械工程入学年月:2017年9月所属学院名称:机电工程学院指导教师姓名:管贻生 朱海飞 研究生院 制表2018 年 12 月 20 日研究生姓名蔡国桢性别男身份证号读本学位前学历本科已获最高学位类别学士已获学位授予单位广东工业大学已获学位年月2017/06主要学习、工作经历起止年月所在单位任职2013.092017.072017.09至今广东工业大学广东工业大学学生学生学位论

2、文所属类型（请单项选择打）基础研究 应用研究 综合研究 其他学位论文选题来源（请单项选择打） 973、863项目 国家社科规划、基金项目 教育部人文、社会科学研究项目 国家自然科学基金项目中央、国家各部门项目 省（自治区、直辖市）项目 国际合作研究项目 企、事业单位委托项目外资项目 学校自选项目国防军工项目 非立项 其他学位论文关键词（不超过5个）多传感信息融合、爬壁机器人、定位和建图、结构化属于导师科研项目名称仿生双足爬壁机器人的自主环境感知和路径规划该项目来源及编号51605096开题报告会组成人员姓名职称注明是博导、硕导还是校外专家工作单位管贻生教授博导广东工业大学 机电工程学院杨勇教授

3、博导广东技术师范学院Juan Rojas副教授硕导广东工业大学 机电工程学院朱海飞讲师硕导广东工业大学 机电工程学院何力讲师硕导广东工业大学 机电工程学院张涛讲师/广东工业大学 机电工程学院一、选题依据（一） 课题来源国家自然科学基金青年基金项目：仿生双足爬壁机器人的自主环境感知和路径规划（项目号：51605096）（二） 研究背景及意义高空作业大量存在于我们的日常生活中，如高层建筑清洁、桥梁检修、大型钢板焊接等任务1。这些高风险、高污染和高强度的作业任务，目前严重依赖人力来完成，给工人的生命健康造成极大的损害。如何把先进机器人理论和技术应用到该领域，使机器人更好的服务于人类，实现产业升级，是

4、一个极具现实意义和应用前景的挑战。爬壁机器人是执行上述高空作业的理想载体。作为特种机器人的一个重要研究和发展方向，国内外许多院校和科研单位已经研发出各种各样的爬壁机器人系统234。其中仿生双足构型的爬壁机器人，在灵巧性、机动性和操作功能等方面具有突出优势56。典型代表系统如图1所示，Flipper7和Crawler7以及W-Climbot8等。在一系列样机实验中，本实验室自主研发的W-Climbot不仅证明其具备多种攀爬步态和全方位运动能力，更具有良好的越障和壁面过渡能力以及操作功能。 Flipper7 Crawler7 W-Climbot8图 1 双足爬壁机器人系统爬壁机器人在系统研发方面已

5、取得长足进步，但仍不足以投入实际使用。究其原因，机器人尚缺乏环境感知功能，无法实现定位和构建地图。受限于此，机器人在作业过程中，采用预先编程或示教再现的方法，缺乏对环境的自适应性和容错性；而采用遥操作的方式存在检测角度限制、观察距离远等问题。区别于地面移动过平台，爬壁机器人需要精确感知三维壁面环境，单一传感器存在其局限性。采用多种传感器可协助机器人感知环境中不同信息源，可较详尽地描述作业环境的标准特征9。因此必须赋予机器人融合多传感信息的环境感知能力，使机器人能够构建精确的结构化地图，为后续路径规划和导航提供作业环境信息。（三） 国内外研究现状及分析就目前而言，国内外爬壁机器人研究学者大多将注

6、意力放在攀爬和附着方式及系统开发等基础问题上，较少关注攀爬机器人的环境感知问题。在此针对本项目研究内容简述爬壁机器人环境感知和地图结构化的研究现状。攀爬环境与地面环境不同，一般为三维空间中错落布置、存在边界的多幅平面组成的建筑结构（下文简称“三维壁面环境”），包含壁面、立柱、横梁、门和窗等既可能是障碍也可能是目标的特征。地面移动机器人环境感知和地图构建时将壁面等视为运动边界或障碍，并不关注墙壁表面状况；而爬壁机器人将所有壁面均视为“地面”，需要感知和建模各壁面的几何、语义信息，形成“立体地面”。这一区别导致爬壁机器人在感知系统，地图表达方式等方面都具有其特殊性。对于爬壁机器人融合多种传感信息进

7、行环境感知的研究不多。文献10研究了在四足爬壁机器人上使用1个长距离红外二维扫描仪和5个短距离红外传感器进行壁面环境感知以及网格地图构建的问题。其不足在于获取信息很有限、精度未知。文献11研究了多机器人（其中之一为爬壁机器人）进行室内环境地图构建的方法。该方法依赖多台机器人协调和互相定位，增加了系统的复杂性和成本，效率低。文献1213提出了一种采用二维激光区域扫描仪和低分辨率相机的三维面地图构建方法，在小场景下精度可达若干厘米。算法精度和鲁棒性有待提高。文献14研究了四足机器人融合单目视觉和力传感器在垂直立面上的导航问题。其不足之处在于视觉传感器放置在机器人外部，这种传感器布置方案将面临视角遮

8、挡问题，严重限制机器人的运动范围。文献18研究了机器人搭载2个激光雷达在缺乏外部光源和纹理稀疏的环境中定位和导航的问题。该方法使用支持向量机从激光雷达数据中剔除噪声，增加了数据预处理环节的复杂性，降低了算法的实时性，机器人定位功能存在迟延。文献19提出了一种采用双目视觉信息构建几何平面环境模型的方法，实验证明从45角检测1米远墙壁可获得最大误差为19厘米的精度，耗时为秒级。对于提高地图精度的研究，大多都是基于图像特征的回环检测，而基于点云特征进行回环检测的研究则较少。文献20212223提出了基于图像ORB特征的场景识别算法，实验验证该算法能够在大规模场景下实现快速重定位和回环检测，同时具有较

9、好的鲁棒性，能够识别出尺度、角度变化很大的场景。其不足在于算法依赖图像的纹理信息，难以将该算法移植到依靠激光传感器的移动平台上。此外为实现快速响应能力，该算法仅使用ORB特征点构建稀疏地图，该类地图无法用于路径规划。文献24研究二维雷达的回环检测问题，采用分支定界法求解新采集数据与已有二维地图的匹配约束，实现实时回环检测。其不足在于仅利用场景的二维边界特征，不利于检测到回环。文献2930采用外加旋转机构的方法，使用二维雷达采集三维空间的点云数据，融合IMU数据拼接点云地图。其缺点在于IMU数据存在漂移且误差累积，此外该方案缺少回环检测模块，因此该方法的稳定性有待提高。文献31提出了一种基于面片

10、特征图（PbMap）实现室内场景的快速重识别。图的节点表示从点云中提取到的特征面片，图的边表示两个面片的邻接关系，通过此方法将无序、数据量庞大的点云地图精简为一个图模型，最后采用interpretation tree算法匹配两个图模型，实现场景重识别。该研究仅停留在场景重识别，没有进一步将该方法应用于回环检测。文献33利用文献31的图模型实现高精度的视觉里程计和回环检测，从而校准室内点云地图。文献34研究基于点云团匹配的实时回环检测算法。该算法将具有明显特征的点云团（如汽车、树木）编码成特征向量，采用随机森林分类所有特征向量并结合特征点云团的空间几何位置关系检测回环。其不足之处在于该方法严重依

11、赖点云的质量，需要选用高成本的激光雷达。文献Error! Reference source not found.提出一种实时六自由度姿态估计的激光里程计算法。该算法从三维点云中分割、提取稳定性更强的特征点，利用这些特征点计算相邻两帧点云数据的变换矩阵和回环检测。需要指出的是，文献13-23均是以手持传感器或者轮式移动平台搭载传感器的研究。点云地图是非结构化的地图表达形式32，存在大量冗余的信息耗费大量计算资源，且无法直接用于路径规划和导航，因此，已有学者尝试将点云地图转化为能够高效描述三维壁面环境的结构化地图。文献4344研究了基于最大似然估计的平面提取方法，其中前者仅考虑了三维区域扫描仪信息

12、，后者在聚类点云信息的同时考虑了颜色信息。文献Error! Reference source not found.45提出了一种采用二维激光区域扫描仪进行数据采集的基于正交最小二乘法和对称摄动模型的平面拟合方法。其缺点在于高度依赖稠密数据采集来进行区域“生长”，因而对计算资源要求高。另外，平面模型不包含边界信息，显然与实际情况不符。文献46提出了一种以块为基础的对带噪声距离数据进行平面聚类的方法，大大加快了从点云数据到平面模型的提取速度。文献4748研究基于车载雷达点云重建建筑物立面的方法。该方法充分利用建筑物的几何先验信息对平面粗糙边界进行规则化处理，极大地改善了立面重建的精度。其不足在于该

13、方法对点云质量非常敏感，需要成本高昂的激光雷达系统。综上所述，目前国内外对爬壁机器人环境感知的研究很少涉及定位和构建三维空间地图的内容。点云地图结构化的研究成果中，对于存在噪声的点云地图目前依然没有很好的解决方案。本文旨在深入研究双足爬壁机器人的环境感知系统，围绕构建地图、消除地图累积误差、地图结构化展开一系列研究，该研究对于提升爬壁机器人的现实应用有重要意义。参考文献：1 付宜利, 李志海. 爬壁机器人的研究进展J. 机械设计, 2008, 25(4):1-5.2 M. Silva, J. Machado, and J. Tar. A survey of technologies for c

14、limbing robots adhesion to surfaces. In Proc. IEEE Int. Conf. on Computational Cybernetics, 2008, pp. 127132.3 D. Schmidt and K. Berns. Climbing robots for maintenance and inspections of vertical structures - A survey of design aspects and technologies. Robotics and Autonomous Systems, 2013.12, 61(1

15、2): 1288-1305.4 王贝. 钩爪抓取式粗糙壁面攀爬机器人建模与研究D.南京邮电大学,2017.5 C. Balaguer, A. Gimenez, and A. Jardon. Climbing robots mobility for inspection and maintenance of 3D complex environments. Autonomous Robots, 2005, 18(2): 157169.6 曹志华, 陆小龙, 赵世平, et al. 电力铁塔攀爬机器人的步态分析J. 西安交通大学学报, 2011, 45(8):67-72.7 R. Tummala,

16、 R. Mukherjee, N. Xi, et al. Climbing the walls - Presenting two underactuated kinematic designs for miniature climbing robots. IEEE Robotics and Automation Magazine, 2002.05, 9(4): 1019.8 Y. Guan, H. Zhu, W. Wu, et al. A modular biped wall-climbing robot with high mobility and manipulating function

17、. IEEE/ASME Trans. on Mechatronics, 2013.12, 18(6): 17871798.9 朱文浩. 基于多传感信息融合的移动机器人系统设计与建图导航研究D. 哈尔滨工业大学, 2018.10 V. G. Loc, M. K. Ig, T. D. Tran, et al. Sensing and control of quadruped walking and climbing robot over complex environment. In Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Syste

18、ms, 2008, pp. 3884-3889.11 R. Kaushik, J. Xiao, W. Morris, et al. 3D Laser scan registration of dual-robot system using vision. In Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2009, pp. 4148-4153.12 B. Howarth, J. Katupitiya, J. Guivant, et al. Novel robotic 3D surface mapping using

19、range and vision fusion. In Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2010, pp. 1539-1544.13 Meiting W , Junjian T S D , Liwen Y . Complete Coverage Path Planning of Wall-Cleaning Robot Using Visual sensorC/ 国际电子测量与仪器学术会议. 2007.14 Linder S P , Wei E , Clay A . Robotic Rock Climbin

20、g using Computer Vision and Force FeedbackC/ IEEE International Conference on Robotics & Automation. IEEE, 2006.15 Chen Y Z , Zhao H J , Shibasaki R , et al. Amobile System Combining Laser Scanners and Cameras for Urban Spatial Objects ExtractionC/ International Conference on Machine Learning & Cybe

21、rnetics. IEEE, 2007.16 Geng X X , Zhong S D . A Mobile System Using Lidar and Photogrammetry for Urban Spatial Objects ExtractionC/ Information Engineering and Computer Science, 2009. ICIECS 2009. International Conference on. IEEE, 2010.17 He Y , Zhang C , Fraser C S . A line-based spectral clusteri

22、ng method for efficient planar structure extraction from LiDAR dataJ. 2013.18 Veiga R S D , Oliveira A S D , Arruda L V R D , et al. Localization and Navigation of a Climbing Robot Inside a LPG Spherical Tank Based on Dual-LIDAR Scanning of Weld BeadsM/ Robot Operating System (ROS). Springer Interna

23、tional Publishing, 2016.19 L. Iocchi, K. Konolige and M. Bajracharya. Visually realistic mapping of a planner environment with stereo. Experimental Robotics VII, LNCIS 271, pp. 521532, 2001.20 Ral Mur-Artal, Juan D Tards. Fast Relocalisation and Loop Closing in Keyframe-Based SLAMJ. Proceedings - IE

24、EE International Conference on Robotics and Automation, 2014:846-853.21 Mur-Artal R , Montiel J M M , Tardos J D . ORB-SLAM: a Versatile and Accurate Monocular SLAM SystemJ. IEEE Transactions on Robotics, 2015, 31(5):1147-1163.22 GlvezLpez, Dorian, Tards, Juan D. Bags of binary words for fast place

25、recognition in image sequencesJ. IEEE Transactions on Robotics, 2012, 28(5):1188-1197.23 Mur-Artal R , Tardos J D . ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D CamerasJ. IEEE Transactions on Robotics, 2017:1-8.24 Hess W , Kohler D , Rapp H , et al. Real-time loop closure i

26、n 2D LIDAR SLAMC/ 2016 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2016.25 Karl Granstrm, Thomas B. Schn, Nieto J I , et al. Learning to close loops from range dataJ. The International Journal of Robotics Research, 2011, 30(14):1728-1754.26 Granstrm, Karl, Callmer J , Ramo

27、s F , et al. Learning to Detect Loop Closure from Range DataC/ IEEE International Conference on Robotics & Automation. IEEE Press, 2009.27 Xia Y , Li J , Qi L , et al. An Evaluation of Deep Learning in Loop Closure Detection for Visual SLAMC/ IEEE International Conference on Internet of Things. IEEE

28、, 2018.28 Zhang X , Su Y , Zhu X . Loop closure detection for visual SLAM systems using convolutional neural networkC/ International Conference on Automation & Computing. IEEE, 2017.29 Zhang J , Singh S . Visual-lidar Odometry and Mapping: Low-drift, Robust, and FastC/ IEEE Conf on Robotics and Auto

29、mation (ICRA). IEEE, 2015.30 Zhang J , Singh S . Low-drift and real-time lidar odometry and mappingJ. Autonomous Robots, 2017, 41(2):401-416.31 Fernandez-Moral E , Mayol-Cuevas W , Arevalo V , et al. Fast place recognition with plane-based mapsC/ IEEE International Conference on Robotics & Automatio

30、n. IEEE, 2013.32 Hornung A , Wurm K M , Bennewitz M , et al. OctoMap: an efficient probabilistic 3D mapping framework based on octreesJ. Autonomous Robots, 2013, 34(3):189-206.33 Fernandez-Moral E , Rives P , Vicente Arvalo, et al. Scene Structure Registration for Localization and MappingJ. Robotics

31、 and Autonomous Systems, 2015, 75(To appear):649-660.34 Dub, Renaud, Dugas D , Stumm E , et al. SegMatch: Segment based loop-closure for 3D point cloudsJ. 2016.35 Tixiao S, Brendan Englot. LeGO-LOAM: Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable TerrainC/ IEEE International

32、 Conference on Robotics & Automation. IEEE, 201736 Tatavarti A , Papadakis J , Willis A R . Towards real-time segmentation of 3D point cloud data into local planar regionsC/ Southeastcon. IEEE, 2017.37 Richter R , Behrens M , Jrgen Dllner. Object class segmentation of massive 3D point clouds of urba

33、n areas using point cloud topologyM. Taylor & Francis, Inc. 2013.38 Ning X , Zhang X , Wang Y , et al. Segmentation of architecture shape information from 3D point cloudJ. 2009.39 Lari Z , Habib A , Kwak E . An Adaptive Approach for Segmentation of 3D Laser Point CloudJ. ISPRS - International Archiv

34、es of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2011, 3812:103-108.40 Ulrich I , Nourbakhsh I . Appearance-Based Place Recognition for Topological LocalizationC/ IEEE International Conference on Robotics & Automation. IEEE, 2000.41 Garciafidalgo E , Ortiz A . Probabilistic

35、 Appearance-Based Mapping and Localization Using Visual FeaturesM/ Pattern Recognition and Image Analysis. Springer Berlin Heidelberg, 2013.42 Bacca B , Salvi J , X. Cuf. Appearance-based mapping and localization for mobile robots using a feature stability histogramJ. Robotics & Autonomous Systems,

36、2011, 59(10):840-857.43 R. Triebel, W. Burgard and F. Dellaert. Using hierarchical EM to extract planes from 3D range scans. In Proc. IEEE Int. Conf. on Robotics and Automation, 2005, pp. 4437-4442.44 H. Andreasson, R. Triebel and W. Burgard. Improving plane extraction from 3D data by fusing laser d

37、ata and vision. In Proc. Int. Conf. on Intelligent Robots and Systems, 2005, pp. 2656-2661.45 J. W. Weingarten, G. Gruener and R. Siegwart. Probabilistic plane fitting in 3D and an application to robotic mapping. In Proc. IEEE Int. Conf. on Robotics and Automation, 2004, pp. 927-932.46 R. Kaushik an

38、d J. Xiao. Accelerated patch-based planar clustering of noisy range images in indoor environments for robot mapping. Robotics and Autonomous Systems, 2010, 60(4): 584-598.47 焦增涛. 基于结构先验的规则场景三维重建技术研究D. 南京邮电大学, 2012.48 魏征. 车载LiDAR点云中建筑物的自动识别与立面几何重建D. 武汉大学, 2012.49 Weingarten J W , Siegwart R. 3D SLAM

39、using planar segmentsC/ IEEE/RSJ International Conference on Intelligent Robots & Systems. IEEE, 2007.50 Lenac K , Kitanov A , Cupec R , et al. Fast planar surface 3D SLAM using LIDARJ. Robotics and Autonomous Systems, 2017, 92:197-220.二、课题研究目标、研究内容、拟解决的关键问题（一）课题研究目标本课题旨在深入研究双足爬壁机器人进行环境感知的关键理论和技术，提高

40、其对攀爬环境的适应性，以期推动爬壁机器人进入实际应用。具体包括以下内容：（1） 提出一种融合多传感信息感知三维壁面环境的方法，赋予机器人实时定位和构建地图的能力；（2） 提出一种利用三维壁面环境中的壁面元素的回环检测方法，消除地图累积误差；（3） 提出一种点云地图结构化算法，计算三维壁面环境的点云地图中的壁面几何特征（法向量、边界点），组成结构化地图；（2） 研究内容本课题将采取“定位与建图回环检测结构化”的研究方案。主要研究内容如下：图 2双足爬壁机器人环境感知和结构化流程图1. 多传感信息融合构建三维壁面环境地图由于爬壁机器人及其所处环境与地面移动机器人的区别，需将三维空间中多幅“壁面”均

41、视为“地面”进行感知。本课题拟首先分析多种传感器的特点，构建集成激光雷达和IMU等多种传感器的感知系统，然后研究融合多传感信息的激光雷达里程计算法，从中筛选关键帧点云，最后探索对三维壁面环境进行建图的方法。2. 基于点云壁面特征的回环检测 回环检测可以为后端优化提供更多有效的数据，使得后端优化不再局限于局部的帧与帧之间位姿变换的优化，而是扩展到对全局地图的优化，提高了轨迹的全局一致性。本课题拟首先探索单帧点云数据中的特征描述子，然后探索特征描述子的匹配方法，通过匹配各关键帧点云之间特征描述子寻找“机器人曾经到过的地方”。3. 三维壁面环境的点云地图结构化点云是非结构化的地图表达形式，存在大量的

42、冗余点和噪声点，不便于保存和使用。需将点云地图重建模为由壁面组成的“立体地面”。本课题拟首先观察点云地图，探索点云的预处理方法。之后试验多种分割算法，将点云地图分割成具有相似几何特征的点云团。然后从点云团中分割壁面并提取粗糙的壁面边界，探索粗糙边界精细化处理的方法。最后根据障碍物的几何先验信息，提出障碍物点云的判定方法。（三）拟解决的关键问题本课题拟解决的关键问题包含以下三个方面：1 多传感信息融合的激光雷达里程计算法。爬壁机器人携带的传感器随机器人在三维空间中产生六自由度的剧烈运动，如何融合多传感信息提高里程计定位精度，克服剧烈运动产生的影响，是构建地图的重要前提；2 点云特征的编码方式和匹

43、配。如何设计具有鲁棒性的壁面特征编码方式，如何设计高效的特征匹配算法实现场景重识别，是回环检测所面临的重要问题；3 壁面边界的规则化处理。点云地图中的噪声点使提取出来的壁面边界呈锯齿状，如何设计基于先验信息的壁面边界规则化算法，对粗糙边界进行精细化处理，提高壁面边界的精度。这是本课题最后要解决的关键问题。三、研究方法、技术路线、实验方案及其可行性论述（一）总体研究方案本项目将以理论分析、技术探索和算法开发等手段开展基于激光雷达的三维壁面环境地图构建和结构化的研究，最终通过样机实验来验证相关理论和方法的正确性和有效性。具体研究方案和技术路线说明如下（二）研究方法、技术路线下面针对研究方案中的三个

44、部分说明拟采用的研究方法和技术路线。1 多传感信息融合构建三维壁面环境地图首先联合标定多传感器系统，包括统一传感器数据的坐标系并对齐时间戳。然后设计“线”、“面”两种点云特征点，从激光雷达采集的单帧点云中提取两种特征点。为保证特征点均匀分布，先将单帧点云分成6个区域，在每个区域中分别提取限定数量的特征点，之后根据特征点数量、比例和空间分布情况等条件筛选候选关键帧。以第一帧候选关键帧自动入选为第一帧关键帧，每新进来一个候选关键帧，IMU能够提供这两帧数据的位姿变换矩阵初始值，之后采用ICP计算精确的位姿变换矩阵。当位姿变换满足设定的阈值要求，则新进来的候选关键帧入选为关键帧。之后，通过局部后端优

45、化提高关键帧之间位姿变换矩阵的精度，利用优化后的轨迹拼接地图。图 3 地图构建的技术方案2 基于点云壁面特征的回环检测首先利用点云库提供的函数分割出单个关键帧中的“面片”点云团，计算“面片”点云团的一系列特征值，将这些特征值组合成特征向量，其中为法向量；为“面片”顶点，是一个数组；为曲率；为面积；为一个关键帧中提取出来的“面片”点云团数量，；一个关键帧中的所有“面片”特征向量构成一个集合。采用特征向量表示“面片”点云团，可以压缩数据同时挖掘出丰富的几何信息。然后匹配新来的关键帧与已有关键帧的特征向量集合，寻找回环。图 4 回环检测技术方案3 三维壁面环境的点云地图结构化首先观察点云地图，拟定预

46、处理方案。利用点云库提供的预处理函数进行降采样，剔除噪声点等滤波操作。接着采用基于密度，法向量或曲率的区域生长算法，分割点云地图。然后采用RANSAC算法从点云团中分割壁面同时提取壁面粗糙边界。利用地图的几何先验信息，剔除冗余壁面，精细化处理壁面粗糙边界。之后综合考虑点云密度和数量，判断剩余点云是否为障碍物，若为障碍物则利用包围盒算法计算障碍物边界。图 5 点云地图结构化技术方案（三） 实验方案本课题将设计两个实验，前者评估定位精度，后者评估结构化地图的精度。第一个实验，以位移、旋转误差作为衡量指标，在多个场景中，机器人沿相同路线重复运动，记录位姿数据，绘制运动轨迹，计算起止位置的定位误差。第二个实验共有两部分内容，分别是衡量算法对壁面轮廓的描述能力