（控制理论与控制工程专业论文）基于三维激光测距的非结构化场景建模与重构.pdf

大连理工大学硕十学位论文 摘要 对于工作在非结构化场景中的移动机器人系统，能否对其周围环境进行有效辨识、 感知和重构是其能够自主运行的前提条件。尤其对三维非结构化场景的建模与重构的研 究，具有更重要的研究意义和广泛的应用价值。本文主要完成了三维场景重构系统的构 建，有效建立了场景的几何特征模型和三维栅格模型，实现了对三维场景的重构与回溯 等研究工作。 本文利用三维激光扫描数据的有序性，快速提取出非结构化场景中的直线、平面以 及边缘轮廓等几何特征，建立三维场景的几何特征模型。为了实现大范围场景数据的调 度及可视化，基于八叉树空间划分的思想，建立场景的三维栅格模型，将空间中的激光 数据划分到三维栅格中。 经典i c p 算法通过查找最近点构成匹配对，以迭代的方式实现场景匹配。该方法具 有迭代速度慢，且易收敛到局部极小值等缺点。本文提出了使用边缘特征点代替原始点 云等五点改进策略，有效地克服了经典i c p 算法的不足。为解决i c p 算法收敛到局部极 小值的缺点，需要利用扫描视点位姿进行初始校正。然而，扫描视点位姿往往不能有效 提供，且存在较大误差。因此本文提出利用视觉图像处理的方法，辅助三维激光场景的 匹配，从而实现无位姿的场景匹配问题。将视觉摄像机与三维激光测距仪结合，通过标 定的方法标定出他们之间参数关系，得到视觉图像与三维激光深度图像之间的映射。首 先对两幅场景对应的视觉图像进行处理，利用s i f t 算法查找两幅图像中的特征匹配对， 再将特征匹配对映射到激光场景中，构成三维激光特征匹配对，最后计算出两幅场景的 转换关系，实现无位姿场景匹配。 基于三维栅格模型，本文解决了大范围场景的数据分块及实时调度显示的问题。根 据o p e n g l 空间中的虚拟摄像机当前位置，按离摄像机的远近分5 个显示等级，实时调 度并显示栅格模型中相应的数据。通过实验证明，本文方法能够有效实现非结构化场景 的建模与重构，具有很强的实用性。 关键词：三维栅格模型；场景重构；i c p 算法；s i f t 算法 基丁三维激光测距的非结构化场景建模与重构 m o d e l i n ga n dr e c o n s t r u c t i o no f u n s t m c t u r e ds c e n e s u s i n g3 dl a s e rs c a n n i n g a bs t r a c t e f f e c t i v er e c o 印i t i o na i l dp e r c 印t i o no fe n v i r o n m e n ta r e 铆oe s s e n t i a lt a s k sf o rm o b i l e r o b o t sn a v i g a t i o na i l de x p l o r a t i o nw m l ew o r k j n gi i lt h eu n s 仃u c 劬僦s c e i l e s e s p e c i a l l yf o r 3 ds c e n e sm o d e l i n ga n dr e c o n s t r u c t i o n ，t h es t u d yh a saw i d er a n g eo fa p p l i c a t i o n s t 1 1 e i n t e l l i g e n te q u i p m e n tf o r3 ds c e n er e c o n s t m c t i o ni s b u i l ti nm i sm e s i s m o r e o v t h e g e o m e t r i c a lm o d e la 1 1 d3 d 鲥d m o d e la r eb u i l tf o r3 ds c e n e s t h i st 1 1 e s i sc o m p l e t e sn l e r e c o n s t r u c t i o na n db a c kr e v i e wo ft h e3 ds c e n e s a c c o r d i n gt o t h eo r d e r l i n e s so f1 a s e rs c a n l l i n g ，t h eg e o m e t r i c a lm o d e li sb u i l tb y e x t r a c t i n gt h el i n e s ，p l a n e s ，e d g ec o n t o u r se t c t oc o m p l e t et h ed a t ad i s p a t c h i n ga 1 1 d v i s u a l i z a t i o ni nl a r g e s c a l es c e n e s ，a3 dg r i dm o d e li sb u i l tb yu s i n gt h eo c t r e es p a c ep a r t i t i o n i d e a ，w h i c hd i v i d e st h el a s e rd a t ai n t os m a l l3 dg r i d se f - f e c t i v e l y t h ec l a s s i c a li c pa 1 9 0 r i t h mc o m p l e t e ss c e n em a t c h i n gi t e r a t i v e l yb y6 n d i n gt h en e a r e s t p o i n t st oc o n s t i t u t em a t c h i n gp a i r s t h i sa p p r o a c hh a st h ed i s a d v a n t a g e so fs l o wi t e r a t i n ga i l d c o n v e r g e st oal o c a lm i n i m 啪e a s i l y i i lt l l i st h e s i sw ep r o p o s ef i v ew a y st oi m p r o v et l l e s e d i s a d v a n t a g e s t h es c a i u l i n gp o s ei sn e e d e dw 1 1 i l em a t c h i n gs c e n e su s i n gi c p u n f o r c u n a t e l y t h es c a n n i n gp o s ec a nn o tb ep m v i d e de f i e c t i v e l yi nt h em o s tt i m e h e n c e ，an e wm e t h o di s p r o p o s e di nt h i st h e s i st os o l v et h i sp r o b l e m i i lt h er e s e a r c h ，ac a m e r ai su s e dt o g e t h e rw i t h t h e3 d1 a s e rs c a n n e r t h em a p p i n gr e l a t i o n s h i po ft h ed i g i t a li m a g ea n dt h el a s e rr a n g ei m a g e i so b t a i n e db yc a l i b r a t i n gt h ep a r 锄e t e r sb e t w e e nt h et w ok i n d so fs e n s o r s a r e rt h e m a t c h i n gp a i r si nt h ec o r r e s p o n d i n gd i 百t a l i m a g e sa r ef o u n db yt h es i f ta l g o d t h m ，w em a p t h e mt ot h el a s e rr a n g ei m a g et og e tt h e3dl a s e rm a t c h i n gp a i r s a tl a s t ，t h et r a n s f o n n a t i o no f t h et w os c e n e si sc a l c u l a t e dw i t h o u ts c 锄i n gp o s e b a s e do nt h e3 d 鲥dm o d e l ，t l l ed a t ab l o c k i n ga n dd i s p a t c h i n go fl a r g e s c a l es c e n e sa r e s o l v e d a c c o r d i n gt om ed i s t a n c eo f 鲥dt ot h ev i r t u a lc a m e r ai no p e n g ls p a c e ，w ed i v i d e f i v ea r e a st 0d i s p a t c hm el a s e rd a t ai n3 d 酣dm o d e l t h en e a r e rt ot l l ev i n u a lc 锄呱m e m o r ed a t ai sd i s p a t c h e da n dd i s p l a y e do nt h es c r e e n as e r i e so fe x p e r i m e n tr e s u l t sa n dd a t a a n a l y s i ss h o wt h em e t h o d sv a l i d i t ya n dp r a c t i c a b i l i t y k e yw o r d s ： 3 dg r i dm o d e i ；s c e n er e c o n s t r u c t i o n ；i c pa i g o r i t h m ；s i f ta i g o r i t h m 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：基王三维邀光塑堕鲍韭结捡丝扬基建搓曼重掐 作者签名：篡p 荭鍪一日期：塑乒年包月矍日 大连理：r 大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 作者签名： 导师签名： 日期：上啦年监月监日 日期：巡年业月丝日 大连理：_ l ：人学硕十学位论文 1绪论 1 1 研究背景与意义 三维场景重构技术实现了对现实环境的数字化，将客观环境在计算机中真实再现， 其在文物保护、考古勘测、工程建设、城市规划、灾害救援等领域有着重要的应用。在 计算机上实现三维场景重构最初是基于立体视觉技术的，该技术初步解决了如何在计算 机上实现真实感图形的实时绘制问题【l j 。然而视觉图像仅获取到空间中物体的二维信息， 缺少真实的空间距离信息。因此，基于三维激光的测量技术的出现和发展为空间三维信 息的获取提供了全新的技术手段。它克服了传统测量技术的局限性，采用非接触式主动 测量的方式直接获取高精度的三维数据，能够对任意物体进行扫描，并且没有白天和黑 夜的限制，准确而快速的将现实世界的信息转换成可以处理的数据。 基于激光的三维场景重构技术，有很多的应用领域。如逆向工程中对中小型物体建 模，从实物上采集大量的三维激光点，并由此重构出该物体的几何模型，其与一般的设 计制造过程相反，是先有实物后有模型。仿形加工就是一种典型的逆向工程应用。对于 矿场中采集的沙石、煤堆等大型堆料，很难使用常用的测量方法来测量其体积，利用三 维激光测距仪扫描该堆料，重构出堆料的三维场景，建立数字化的三维模型，由此可以 有效地估算出堆料的体积。三维重构技术在古建筑保护等领域也有很重要的作用，重构 出古建筑内模型，有利于文物资料的保存。同时将数字化的古文物模型，应用到三维游 戏虚拟场景构建等领域，还可以带来很大的经济利益和社会价值。三维场景重构技术受 到越来越多的关注，现在已经成为众多领域的研究热点。 在移动机器人研究领域，三维场景重构技术也具有着重要的研究意义。特别是在废 墟搜救机器人自主控制研究中，机器人对废墟环境的有效观测与辨识是前提条件和基 础，而能否实现对其工作的三维废墟场景的有效重构则是研究重点和技术关键。废墟搜 救机器人通过三维激光测距系统和视觉传感器实现对废墟环境的感知，而多传感器获取 的信息经过分析、提取以及融合处理后，要以某种抽象的形式来对三维废墟环境中的典 型特征与场景进行表述并定量化的存储在机器人中。该表述模式要具有可辨识性，只有 可供机器人进行自主辨识的环境表述方式才具有实用性。废墟救援机器人根据所获取的 先验信息进行环境辨识与重构，并根据环境重构的结果来完成对废墟环境的深入认知， 进而指导废墟救援机器人本体对复杂外部废墟表面环境的自主适应。本文研究正是基于 废墟救援机器人项目的研究，将激光与视觉传感器结合，重构出机器人所处场景信息， 并建立场景模型，从而为机器人废墟救援提供辅助支持。 基于三维激光测距的1 结构化场景建模与重构 1 2 国内外研究现状 基于激光测距仪的三维场景建模与重构研究经历了逆向工程应用中对中小型物体 的模型重构到大型建筑、室外场景的三维重构的变化过程。从仅仅由一台激光测距仪 和照相机构成的重构系统发展到由多个激光测距仪构成的车载配准系统，或者依托自 主移动机器人的多激光测距系统等等。近年来，三维场景建模与重构技术在移动机器 人三维地图构建中应用日益增多，国际上已经有不少研究小组对机器人的三维地图构 建，做了大量研究工作，并取得了一定的研究进展。 英国的r e s o l v 研究组【2 1 【3 】使用昂贵的三维激光测距仪来获取三维环境数据，其 目标是建立虚拟现实和临场感。加拿大的n r c ( n a t i o n a lr e s e a r c hc o u i l c i l ) 小组【4 】【5 】将激 光测距仪与c c d 照相机安装在小车上，构建起一个车载数据采集与配准系统，并实现 了室内场景三维扫描与重构。美国纽约大学s t a m o s 等人【6 】【7 】【8 】采用三维激光数据和二维 图像来构建大型市区建筑。在多场景匹配问题上他们提出了首先进行场景两两匹配， 然后构建其中的拓扑结构，最后将所有场景匹配到同一个场景的坐标系下。通过同时 获取深度图像和彩色照片图像，该研究小组对教堂这样的大型建筑物进行了效果较好 的三维重构。 由于三维激光测距仪非常昂贵，一些研究小组采用二维激光来获取三维数据，建立 三维立体环境。t h n l n 等人【9 】【1 0 】使用两个相互垂直的二维激光测距仪来获取三维数据。 其中一个二维激光水平放置用来获取机器人当前的位姿，另一个垂直放置以获取垂直扫 描线，这样就可以根据机器人当前的位姿将二维激光数据转换成三维数据，三维数据点 的精确度不仅依赖于测距仪的精确度，它更主要依赖于机器人位姿的估计。不少研究组 采用通过旋转二维激光的方法来获取三维数据。w u l f 等人【】让激光绕垂直轴旋转，在 机器人移动过程中就可以获取三维数据，因此他们构建的三维地图质量主要依赖于通过 惯性传感器获得的位姿估计，如陀螺仪。 德国f r a u l l l l o f ；e r 协会自动智能系统( a i s ) 实验室的s u 咖a n n 等人【1 2 】【1 3 1 【1 4 】 1 5 】【1 6 】【1 7 】 搭建了一个装载在自主移动机器人上的由s i c k 公司二维激光l m s 2 0 0 以及伺服电机构 成的三维激光测量系统。该系统将二维激光测距仪安装在支架的水平轴上，伺服电机在 支架左侧，由伺服电机控制二维激光绕水平轴旋转，从而可以快速获取场景的三维激光 数据。这个研究小组实现了基于三维激光测距数据和二维图像的室内场景重构，以及基 于三维激光的野外环境机器人自主定位与三维地图构建。 还有一些研究组将摄像机和三维激光测距仪结合使用【l 8 】【i9 1 ，利用三维激光测距仪 重构三维场景地图，然后通过摄像机获取场景的纹理图像信息，将图像与激光进行融 合，重构出信息量丰富的场景。 大连理1 二大学硕士学位论文 国内在基于激光测距的三维场景建模与重构方面的研究起步较晚，但是也取得了 一定的成果。北京大学的三维视觉与机器人实验室使用具有不同扫描特性的激光扫描 仪、全方位摄像系统与其他高分辨率数码相机完成建模对象的几何与纹理数据采集， 并通过对这些数据的配准与无缝拼接完成三维物体或场景模型的建立【2 0 】。清华大学的 学者基于激光测距仪应用人工势场方法对道路化室外环境进行了建模【2 ，在特定的相 对平坦的道路环境中实现了机器人的避障与导航问题。但该方法很难满足复杂的废墟 表面环境建模要求。文献【2 2 】介绍了一种基于激光测距仪的实时地面高度估计方法，该 方法把地面栅格化，然后采用高斯和的方法把每个栅格上的地面高度信息综合，形成 一个对地面高度的估计，从而实现了对复杂三维环境的建模。但该方法的环境表述方 式无法完全适应废墟环境的多样性和复杂性，例如无法有效对废墟形成的坍塌、缺口、 洞穴和断裂带等典型废墟环境特征进行有效表述，因此更为有效的环境表述与环境建 模方法必须要与废墟的实际环境特征紧密结合。 近年来，三维场景重构的理论与技术得到了很大的发展。它在理论上已经从有标定 的三维重构发展到无标定的三维重构，其中的难点在于不同视点下的场景匹配问题。尽 管国内外很多学者对其做了很多有意义的研究，但是由于真实场景的复杂的几何结构， 物体表面的反射特性对激光测距的影响，使得一个通用的全自主的三维场景重构系统的 实现充满了挑战。正是这些挑战，使得基于激光的三维场景重构成为一个很好的研究课 题。 1 3 本文的主要工作及创新点 1 3 1 本文的主要工作 本文的研究工作主要是基于机器人学国家重点实验室开放课题“废墟搜救机器人三 维废墟环境自主建模与重构研究”。结合课题研究的任务及要求，本文力图接近国内外 研究的前沿，把握移动机器人三维环境重构的热点，借鉴三维激光相关研究领域，如逆 向工程，虚拟现实技术等领域的前沿技术。研究内容重点在于利用三维激光重构系统重 构出大范围多场景的实际三维环境，为机器人辅助废墟救援提供环境的自主辨识与回 溯。 用三维激光测距仪直接获取的数据，仅含有环境的深度距离信息，是由一系列离线 的激光点组成的点云场景。点云场景一般无法直接被机器人或人辨识使用。基此，本文 利用激光扫描数据的有序性，提取三维场景中的直线、平面及边缘点等几何特征，建立 场景的几何特征模型。按照激光点在三维空间位置，将基于八叉树空间划分思想建立三 维栅格模型。由此实现场景的几何特征及三维栅格方式的表述。 基于三维激光测距的非结构化场景建模与重构 三维激光扫描仪的一次扫描范围往往是有限的，而且激光测距获取的仅仅是三维物 体的表面信息，一次扫描无法获取三维数据的全部信息，需要在不同位置不同扫描角度 进行激光测距，通过多次扫描彳4 能获取环境的完整信息。对同一环境的多次扫描进行匹 配是三维环境重构的核心和关键。本文重构出的环境有多组场景扫描组成，一组扫描往 往含有5 万到2 5 万个激光点。面对如此大的数据量，本文利用建立的三维栅格模型， 将场景数据分配到栅格当中，通过算法实现大范围场景数据的分块及调度显示问题。 本文的内容安排如下：第一章绪论，主要概述了三维场景建模与重构的研究的背景， 意义以及国内外研究现状。如何有效获取三维环境数据并实时传输到上位机，是三维环 境重构与建模的基础，第二章详细介绍了三维环境重构系统的软硬件平台，包括三维激 光扫描仪数据获取，激光数据的传输，视觉与激光的参数标定和系统软件的框架设计。 在第三章中，采用多种形式对三维环境进行表述，建立环境的网格化，几何特征化以及 三维栅格化的环境模型，为机器人废墟救援提供有效的在线显示和自主辨识方法。第四 章是本文的核心部分，针对经典i c p 匹配算法【2 3 】速度慢，易收敛到局部极小值的缺点， 提出用边缘特征点代替原始激光点等五种措施改进i c p 算法。本章将数字图像处理的 s i f t 算法应用到激光场景的匹配上，实现了无扫描位姿的场景重构。最后基于三维栅 格模型对重构后的场景进行回溯，即利用o p e n g l 场景渲染算法和激光场景数据分块和 调度算法实现场景的在线实时显示，解决大范围大数据量的存储及调度显示问题。 1 3 2 本文的创新点 移动机器人三维环境重构的核心问题是对多场景匹配问题，如何将多次扫描得到的 局部场景信息匹配到统一的坐标系统中，形成统一的大范围场景是本文研究的重点。重 构得到的场景往往具有很大的数据量，如何有效解决大数据量的存储和调度是本文的一 个难点。在解决这些重点难点问题过程中，本文主要有以下两个创新点。 ( 1 ) 将图像处理中的s i f t 算法【2 4 】【2 5 】应用到三维激光场景中，实现激光场景的无位 姿匹配。在无扫描视点位姿的情况下，通过标定摄像机与激光测距仪之间的参数，确定 图像与激光之间的映射关系，利用s i f t 算法查找两场景对应图像的特征匹配对，将其 映射到激光场景中构成匹配对，完成场景匹配。 ( 2 ) 通过建立场景的三维栅格模型，有效实现了大范围场景回溯问题。利用栅格 对场景数据进行分块存储，根据0 p e n g l 场景中的虚拟摄像机位置，并按照距虚拟摄像 机的远近不同，实现对大范围场景数据凋度及实时显示。 大连理工大学硕士学位论文 2三维场景建模与重构系统的构建 本文的研究重点是基于三维激光测距的非结构化场景建模与重构，其隶属于机器人 学国家重点实验室开放课题的一部分，整个课题研究按照内容和功能大致可以分为三个 部分：三维场景建模与重构，视觉与三维测距信息融合及基于动态环境约束的机器人自 主运动规划。整个系统框架如图2 1 所示，其中绿色部分为本文的主要研究内容。包括 三维激光测距系统的搭建，典型环境特征提取及环境建模，大范围多场景重构及其在线 显示，并开发出一套3 ds m a r t ( 3 ds c e n e sm o d e l i n ga n dr - e c o n s m l c t i o nt o o l b o x ) 三 维场景建模与重构软件，实现了宜人化的人机交互，为移动机器人辅助废墟救援提供了 极大地方便。 三维激光 测距系统 三维点云 数据标定 典型环境l 环境参数_ 三维废墟环 特征提取j 在线估计境定量模型 图2 1 3 ds m a r t 系统架构图 f i g 2 1 t h es y s t e m 缸m l e w o r ko f3 ds m a r t 在本章中，将详细介绍三维激光测距系统。在当前现有的实验条件下，搭建出三种 不同的三维激光测距系统，实现了三维场景数据的在线采集。本文实验条件中无法有效 提供机器人位姿信息，这使得在进行三维激光测距实验时，只能采用手动测量的方式获 取误差范围较大的位姿信息。为了克服无机器人位姿信息的困难，我们在机器人上搭载 摄像机视觉系统，利用视觉图像处理中的s i f t 算法，实现三维场景的无位姿匹配。所 以在本章的第二节中，将简要介绍一下摄像机原理以及视觉与激光测距信息融合的基本 原理，为利用视觉实现无位姿激光匹配提供理论铺挚。 基丁二维激光测距的1 f 结构化场景建模与重构 21 三维激光测距系统 21 1 激光测距原理 激光测距仪是一种基于t o f ( t i m eo f f l i g h t ) 原理的高精度、高解析度外部传感器。 本文实验平台上装备的是德国s i c k 公司的l m s2 9 l 。从i s 系统是一种非接触式主动测 距系统，不需要预设发射器和定位标志，其工作原理是基于对激光束飞行时间的测量( 如 图2 2 左图所示) 。脉冲红外激光束被发射出去后如果遇到物体则反射回来，并被激光 测距仪的接收器记录。激光脉冲从发射到接收的时间与测距仪和被测量物体之间的距离 成正比。脉冲激光束被测距仪内部的一个旋转光镜( 旋转速度为7 5 r p s ) 控制偏转以便 对周围环境形成一个扇形扫描区域。目标物体的轮廓线从所接收到的一系列脉冲序列来 确定。通过高速串行接口( 5 0 0 k b i 龇r s 4 2 2 ) 可实时的将测量数据传送给机器人的主机 进行进一步的数据处理。 殿丝 鞋浏彭 图2 2 激光测距仪工作原理 f j g221 k p n c i 口黜0 f l a s e rs c a 彻i n g l m s2 9 1 是二维激光测距仪，由水平方向的旋转电机所控制，在二维平面内扫描， 其扫描区域为1 8 0 。( 如图22 右图所示，扫描方向为逆时针方向) ，其最大有限测距 可以设定为8 叫3 2 i r i ，8 ，距离和角度分辨率分别为1 0 m m 和o5 。，l 。( 相对应的扫描 数据点为3 6 1 个或1 8 1 个) ，扫描周期为1 3 3 m s ，具有扫描快速、数据点密集和测量精 度高的优点。扫描数据可以用极坐标表示为： = ( “，只) 。，n = l ， ( 2 1 ) 大连理i 大学硕士学位论文 其中，n 为扫描数据点个数。为了减小反射光强度不均带来的不良影响，l m s 系统采用 = 值化的方法对反射光强度进行处理，因此所获取的激光数据对环境光线不敏感，其主 要受俺碍物材料及其表面光滑度的影响m l 。 21 2 三维激光测距仪 本文采用的三维激光测距仪是在二维激光测距仪l m s 2 9 i 基础上，配合自由旋转电 机实现对三维场景的扫描。旋转电机带动激光扫描仪绕扫描平面0 。，1 8 0 。所在直线旋 转扫描三维激光扫描仪的构成方式主要有两种，如图23 所示：第一种为水平安装， 在垂直方向旋转( 左图) ，第二种方式是垂直安装，在水平方向旋转( 右罔) 。 f 一、 、 。一 盥2 3 两种激光安装方式：水平安装( 左) ，垂直安装( 右) f l g23 1 om o u n ts 峥1 e so f m el a s 卸n e r ：h o n z 0 b 】( l e f t ) v e n i c a i ( r j g h t ) 在本课题的研究过程中，所在的研究小组先后利用三种不同电机搭建出三种三维激 光测距系统，下面分别予以介绍。作者重点负责前两种三维激光测距仪的系统搭建、软 件控制模块设计及对采集后的数据处理等工作。 ( 1 ) 第一种三维激光测距系统是由内置电机的y a a n 室外小型云台和l m s2 9 1 激光测距仪构成的，水平安装方式，云台的内置电机带动激光围绕平行于激光扫描平 面的0 。，1 8 0 。直线在垂直方向上旋转得到三维激光数掘。并将该激光扫描仪安装在 s m 矾r o b - 2 自主移动机器人系统平台上，实物圉如图2 4 左尉所示，该系统主要j j 于室 内和走廊环境的三维场景重构，本文将该系统称为y a a n 3 d l a s e r s c a r i r i e r 。 本文采用的云台是全天候小型负载云台，可承担1 0 k 叠的负载。选用永久型重载碰 同步电机，可保证较长的使用寿命，并具有稳定的操作功能。其旋转速度近似匀速运动， 、一 。一， 基于三维激光测距的非结构他场景建模与重构 水平转速为7 5 。s ，垂直转速为6 。a ，垂直方向转角范围约为1 0 0 。，实验中我们仅 让其按照垂直方向旋转。 瞰24y a n d 山i s c 抓n c r ：实物图( 左) 、结构示意圈( 中) 和参数坐标关系幽( 右) f i g2 4y a a n o d 慨r s c a 皿e r 由于在机械安装时，云台的旋转中心与激光束发射中心在空间上存在一定的偏差， 其位置参数关系可由图2 4 中间的结构示意图来表示。本文选取云台旋转中心到地面的 垂足为参考坐标原点，二维激光扫描平面9 0 。方向( 移动机器人前进方向) 为x 轴， 扫描平面0 。方向为y 轴，垂直地面向上方向为z 轴建立参考坐标系统，则三维激光测 距系统的参考直角坐标关系如图24 右图所示。由三维激光测距系统获取的三维极坐标 数据p ( 岛日，妒) 7 以及通过参数标定方法i 2 7 l 获得的系统平台参数( q 6 ，c ) 7 ，可以由式22 得 到当前局部直角坐标系下的扫描数据p “弘z ) 7 ， l 。f s i i l p c o s p c 0 5 伊i r1 c s i n p l ，= l s m 目o l ：h o( 2 - 2 ) iz il - c 0 3 尹c o s 口s i n 垆j r o i 口一c c 0 3 伊l 其中，d = 1 4 7 研m ，6 z2 0 0 m 删，c 4 2 坍埘，目e ( 一9 旷9 矿) ，舻e ( 5 5 。1 5 5 。) 。 s m 舭o b - 2 自主移动机器人平台是一种功能强大的多用途中型嵌入式移动机器人 系统。该系统采用c o m p a c tp c i 工业标准，由m 0 t o r o l a 生产的m p c 8 2 4 0 商性能中央处 理器控制，使用x 0 ，2 强实时嵌入式操作系统。s m a n r o 阻2 移动机器人具有两个主驱动 轮和一个从动脚轮。主动轮使用带编码反馈的直流电机进行驱动分辨率为s o o 脉冲每 转。机器人在平坦环境中晟太速度为16 m 店，加速度可达8 “以2 。由于s m 甜t r o b 2 是 欺一麓 汐白鸯缈督 大连理工大学硕士学位论文 的位姿信息( 只，只晶) 。利用移动机器人的位姿信息，可以通过式2 3 得到三维激光扫描 举训 | + 刳 c z ， 图25h s r 3 d l a e r s n 地n 实物图( 左) 和参数坐标芙系图( 右) f 螗2 5h s r _ 3 d l 越c 噶伽眦r ： 本文使用的高速旋转舵机是一个高精度数字伺服系统，从上位机以发送串行指令的 方式进行可编程控制。输入舵机的脉冲信号周期为1 2 i i l s 至2 6 啦，转动范围在9 0 。到 9 0 。范围之间，令云台最低位置为0 。，最高位置为1 8 0 。供电电压为6 v 时，转动力 矩为2 4n m ，转动速度为4 0 0 。，s ；供电电压为7 4 v 时，转动力矩为3 0n 日，转动速 度为5 0 0 。居。控制系统输出的脉冲信号的周期设置为1 6 m s ，对应3 7 5 0 0 个d s p 的时 钟信号，d s p 信号与输出脉冲信号的周期的关系如式2 4 所示： l 邶= 2 3 4 3 7 5 个时钟周期( 2 4 ) 舵机脉冲宽度每改变1 u s 对应的舵机角度变化o2 2 5 。，因此可以得到舵机的控制精度 理论值为0 0 9 6 4 。 基于二维激光测距的非结构化场景建模与重构 该三维测距系统与第一种相比，机械构造更为简单，假如激光扫描仪的扫描平面中 0 。，1 8 0 。直线和舵机旋转中心线与支架横轴完全重台，那么该三维激光测距仪的参数坐 标关系就如图25 右图所示。因此也可以通过式22 将极坐标系下的三维激光数据转换 到局部直角坐标系下，其中口= 0 舢z ，6 2 1 0 脚l ，c * 1 0 舢l ，口f 一9 0 。9 0 1 ， 口e ( 3 76 1 2 9 6 ) 。再利用式23 将其转换到全局坐标系中。 ( 3 ) 第三种三维激光测距仪是将l m s2 0 0 激光测距仪垂直安装在靠蜗轮蜗杆传动 的精密电动旋转台上，通过控制嚣编程控制旋转台转动，可以获取旋转范围为3 6 0 。的 三维全景激光数据，实物如图26 左图所示。本文中将该系统简称为 m r s 一3 d l 丑s e r s n e r 。 瞄26m r s o d l a 螂晦c 卸n e r ：实物圈( 左) 和参数坐标关系幽( 右 f i 26m r s 一3 d r s c a n n 盯： m r s 电控旋转台是通过伺服电机驱动，实现角度调整自动化，精密轴系设计，精 度高。伺服电机与传动件通过弹性联轴器连接，人大减低了误差的影响。电机转动最大 速度为2 5 。店，转动角度分辨率为0 0 0 0 2 。，重复定位精度小于00 0 5 。旋转台的驱 动器与控制器之b j 通过r s 2 3 2 串口连接，通过发送代码指令控制伺服电机的转向、转速 和步进量。图2 6 右图为电机安装的结构参数坐标关系图，由此可将获取的三维激光点 极坐标数据p ( b p ，p ) 1 ，利用式25 转换到局部直角坐标系下的数据： 大连理工大学硕士学位论文 圈 篡弓雾二渊吲 5 ) 的距离；护为激光束在扫描平面上的偏向角度；缈为电控旋转台旋转的角度。 表2 1 三维激光扫描仪特性比较 t a b 2 1t 1 1 ec o m p a r i s o no f m e l r e e3 dl a s e rs c a n n e r s 由表2 1 对三种激光三维激光测距仪的性能比较可以得知，h s r 3 d l a s e r s c a 衄e r 三 维激光测距系统获取的激光数据精度高、误差相对较小，且可以根据需求通过控制激光 扫描的速度获取不同稀疏程度的三维激光数据。本文主要是基于此三维激光测距系统进 行三维场景的重构及回溯研究。然而，该系统暂时没有安装到废墟救援机器人平台上， 所以基于此系统的三维坏境重构没有有效的机器人位姿信息。实验中，作者岁i 能通过人 工测量提供误差较大的扫描位姿信息，或在重构中采用无机器人位姿的重构算法。 基于三维澈光测距的非结构化场景建模与重构 2 1 3 激光数据传输 激光数据可以通过高速串行接口( 5 0 0 k b i t s ，sr s 4 2 2 ) 实时的将测量数据传送给上位 机，云台电机也可以通过串行接口+ o 卜位机进行通信进行实时控制。本课题研究中所搭 建的三维激光测距系统采用串口集线器或适配器，将激光数据串行接口和电机控制串口 集成到一起与上位机进行通信。 削2 7 利用有线串口集线器( u s b 转2 个串口) 进行通信 f l 27 c o 柚c a “o n w l t h h u b ( u s b i o2 嘲1 a ip o r t s ) 夺竺竺警 匿28 利川尤线串口集线器建立w l a n ! a d m o c p 2 p 连接进行通信 f l g28 c o m m 叩1 c a 【l o t hw i 化l 既s h u b ( 朗劬1 1 s h m e w l a no r a d 也o c p 2 p 洲t l o n ) 串口集线器有两种：有线传输和无线传输。有线串口集线器可以实现上位机的u s b 与2 个串口外设进行通信( 如图27 所示) 。它采片 r s 4 2 2 通信协议以5 0 0 k b i t 眺的速 度实现激光数据的高速传输，以及采用r s 2 3 2 通信枷议以1 9 2 0 0 b i b s 的速度与h s r 高 速旋转电机建立通信，再通过u s b 接u 与e 位机建立连接，实现了同时对激光数据的 采集和电机的实时控制。无线串口集线器与激光和电机建立连接后，不仅可以通过 e t h e m 烈与l 位机建立有线连接，电可以通过w l a n 实现与上位机无线通信，甚至可以 通过a d h o c 网络赢接与l 位机建立点对点的无线连接，如图28 所示。本文研究主要利 _ j 兀线串ll 集线器对一维激光测距仪与上位机( 笔“本) 建立a d _ h o c 网络连接，实现 埘三维激光数据的采蜒和电机的实时控制。 墓 坚 蓦 国。 拉攫 大连理r t 大学硕士学位论文 2 2 视觉系统 视觉传感器提供的环境信息丰富，数据量大，适用范围广。与激光测距仪相比较， 视觉系统提供的外部环境信息丰富，但图像处理时间较长。在使用激光和视觉混和控制 的移动机器人系统中，视觉传感器与激光传感器相互校正，并可提供冗余的环境信息， 对环境特征的确定具有辅助意义。本文研究中，以视觉传感器辅助激光传感器重构出信 息量丰富的三维环境。为了有效地将摄像机和激光传感器信息结合，我们必须找到视觉 图像与三维激光场景之间的对应关系，即摄像机和三维激光测距仪之间的关系，即他们 之间的参数标定。整个标定过程中用到3 个坐标系：图像坐标系d ，、摄像机坐标系q 和 世界坐标系d ( 即三维激光场景坐标) ，将三维激光测距仪与摄像头安放在同一平台上， 三者之间的关系如图2 9 所示。 图2 9 二维激光测距仪与摄像头的参数标定 f i g 2 9 c a l i b r a t i o no f3 d1 a s e rr a l l g e6 n d e r 锄dc a m e r a 2 2 1 摄像机原理简介 摄像机最简单的成像模型为针孔成像模型，即利用小孔成像原理成像的模型。在针 孔模型中，光线照在物体上，反射光通过小孔进入到成像的图像平面上。在这里假设， 所有的距离都是计算好的，也就是说小孔到像甲而之i 口j 的距离正好可以是图像非常清晰 的呈现在像平面上。如图2 1 0 所示，其中f 是摄像机的焦距长度，z 是摄像机到目标物 体的距离。x 是目标物体的长度，x 就足像平而：目标物体x 的成像的k 度。 ：_ 、 z 一 _ _ _ 秘 秘x a 基于三维激光测距的非结构化场景建模与重构 图2 1 0 摄像机针孔成像模型 f i g 2 10 p i i l l l o l ei m a g i n gm o d e lo fc 锄e r a 图像坐标系是存储在计算机中的数字图像的坐标系，用两种方法来表示：一种用像 素单位来表示，用( “，) 表示图像坐标中某一坐标，原点在左上角；另一种用物理单位 表示，像素点大小为尼，单位毫米，设坐标原点位于( “o ，1 ，。) 像素点上，用( x ，y ) 表 示图像坐标中某一坐标。在真实的物理尺寸与图像像素值之间的关系可用式2 6 表示。 ( 2 6 ) 摄像机坐标系( x 。，l ，z 。) 是以摄像机镜头的光心为原点，x 。轴和k 轴与图像坐 标系x 轴和y 轴平行，并且z 。轴垂直于图像平面的直角坐标系。图像坐标系和摄像机 坐标系之间关系如式2 7 所示。 一厂c o t 秒 厂s i n 秒 o x c i z 。l 7 ) 1j 其中，厂为摄像机焦距，臼为摄像机坐标系的偏斜度( 即两个坐标轴不完全重合，一般 接近9 0 。) 。综合式2 6 和2 7 得到摄像机内参关系如式2 8 。 x y 1o o - 尼) o o l o o 0 o o l 广0 o ，一乙 1j x y ， 大连理工大学硕士学位论文 荆髻笮辜三 伴猫) 由于矩阵a 包含摄像机全部6 个内参数( 七，“。，v 。，厂，p ) ，称a 为摄像机内参数 矩阵。摄像机内参数是由摄像机本身确定的，它们可能随温度、湿度等环境因素变化而 改变。根据该模型采用张正友【2 7 l 的摄像机内参标定方法来标定a 。 2 2 2 视觉与激光参数标定 本文将三维激光测距仪的激光发射中心定为世界坐标系的原点，如图2 9 所示，建 立三维空间直角坐标系。则摄像机坐标系与世界坐标系的关系为式2 9 所示。 荤 = ( _ 言尹气1 ) 辜 ( 2 9 ) 其中r 为旋转矩阵，t 为平移向量。由式2 8 与2 9 ，可以得到世界坐标系到图像坐标系 的一个线性变换： ，- ， 七m = 彳( 尺，f ) m ( 2 1 0 ) 其中，聊= ( “，v ，1 ) 7 为图像点的齐次坐标，m = ( x ，y ，z ，1 ) 1 为三维空间点的齐次坐标， 七为比例系数。如果能够通过标定的方法得到摄像机与激光测距仪之间的外部参数 lr ，f ) ，我们就得到了一个图像点与空间点之间的映射关系。 为了得到外部参数( 尺，f ) ，我们若能找到一组激光数据和视觉数据之间的匹配对， 再利用两匹配集合，建立含参数的非线性方程组，这样通过已标定出的摄像机内参数， 由式2 1 0 从而采用迭代优化高斯牛顿方法进行求解，获得摄像机和三维激光间的外部参 数【2 8 1 。本文研究所在的实验小组，先后利用手动点选方式以及通过黑白格标定板自动方 式，构造视觉图像数据与三维激光数据之间的匹配对，如图2 1 1 所示，实现了视觉与激 光的参数标定。手动点选方式利用人机交互的方式实现，而由于利用黑白格标定板自动 标定的方法，现在正在申请专利保护，本文不便于详细介绍，这里仅给出标定的结果。 基于三维激光测距的非结构化场景建模与重构 图21 1 视觉图像的角点特征( 左) 和三维激光数据的角点特征( 右) f 嘻2 1 l c o m e r 缸i “鹏s j n2 d i m 8 舻( l e f l ) a n d l n3 d l a 辨r d a 诅( r 【g h t ) 通过摄像机与三维激光测距仅之间参数的标定，找到檄光点与图像像素点之间的对 应关系。由于单目视觉无法提供有效地三维信息，我们可以将三维激光点投