（控制理论与控制工程专业论文）基于双目摄像机的robocup家庭机器人地图生成系统研究.pdf

圭塑叁堂堡兰垡笙苎 y 17 414 0 7 删i 洲i i 删| i i j i 舢 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名： 一本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名： i i 上海大学工学硕士学位论文 基于双目摄像机的r o b o c u p 家庭机器人地图生成系统研究 姓名：宋鑫坤 导师：陈万米 学科专业：控制理论与控制工程 上海大学机电工程与自动化学院 2 010 年0 2 月 i i i 上海大学硕士学位论文 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o r t h e d e g r e eo fm a s t e ri ne n g i n e e r i n g 一一一 t h er e s e a r c ho fo bs t a c l em a p c o n s t r u c t i o nf o rr o b o c u p h o m e r o b o tb a s e do nd u a l c a m e r a s m d c a n d i d a t e ：s o n g x i n k u n s u p e r v i s o r ：c h e nw a n m i m a j o r：c o n t r o lt h e o r ya n dc o n t r o le n g i n e e r i n g s c h o o lo fm e c h a t r o n i c se n g i n e e r i n ga n da u t o m a t i o n ， s h a n g h a iu n i v e r s i t y f e b r u a r y , 2 0 1 0 i v 卜海大学硕上学位论文 摘要 近年来，机器人在家庭环境中的应用已经成为国际上的研究热点之一。 其中，机器人的自定位与自建地图系统是一个非常关键且困难的部分。主 办机器人世界杯赛的国际协会性组织r o b o c u p 于2 0 0 6 年设立了家庭机 器人组( r o b o c u p h o m e ) 竞赛。本文对r o b o c u p h o m e 赛制下家庭机器人 的地图生成算法进行研究，设计了一种基于双目摄像机的尺度障碍物栅格 地图生成系统。 首先，本文完成了构架本系统的基础工作：双目摄像机的标定与立体 匹配。在摄像机标定部分，本文结合z h a n g 标定算法和h e i k k i l a 摄像机标 定模型，并考虑了畸变和倾斜角的影响，完成了家庭机器人所搭载的双目 摄像机内外参数、结构参数、畸变参数的标定工作。在立体匹配部分，本 文基于w t a 算法，额外考虑了四种改进措施加以约束，使得改进的w t a 立体匹配算法具有较高的匹配精度，减少误匹配和假目标，获得可靠的视 差图像。 其次，本文提出了p s r o i 算法，并设计了一种基于双目摄像机的尺度 障碍物栅格地图生成系统。给出了算法整体框架与各个模块的理论基础， 包括平面分割、地表噪声消除、确定平面分割范围、视差图像上r o i 操作、 最大值滤波与局部障碍物地图构建。 最后，本文通过实验验证了p s r o i 算法，在具有障碍物的环境中进行 地图构建，进行了空间距离几何分析，障碍物坐标与实际值进行了对照， 并给出了整体算法的伪代码实现及优化方法。在自行开发的搭载 b u m b l e b e e 2 双目摄像机的家庭机器人上进行了双目摄像机的标定与立体匹 配，并实现了地图生成系统，该系统能够为家庭机器人在非结构化场景中 的定位与导航提供有效地解决方案。 关键词：家庭机器人；双目视觉；p s r o i 算法；地图生成系统 v 上海大学硕士学位论文 a b s t r a c t r e c e n t l y , h o m er o b o th a sb e c o m ea ni n t e r n a t i o n a lr e s e a r c hh o t s p o t ，i n w h i c ht h es y s t e mo fs i m u l t a n e o u s1 0 c a l i z a t i o na n dm a p p i n gf o rt h er o b o ti sa k e ya n dd i 街c u l tp a r t t h er o b o c u pu n i o nw h i c hi sa ni n t e r n a t i o n a l o r g a n i z a t i o nh o l d i n gt h er o b o tw 6 r l dc u pt o u r n a m e n ts e t su pt h er o b o c u p h o m et e a mi n2 0 0 6 t h i sp a p e rr e s e a r c h e st h em a pb u i l d i n gs y s t e mo fh o m e r o b o tu n d e rt h er o b o c u p h o m ec o m p e t i t i o n f i r s t l y , t h ef u n d a m e n t a lf r a m e w o r kw a sc o m p l e t e d ：c a m e r ac a l i b r a t i o na n d s t e r e om a t c h i n gf o rd u a l c a m e r a s i nt h ec a l i b r a t i o ns e c t i o n ，t h i sp a d e rp r e s e n t s ag e n e r a li n t e g r a t i v em e t h o db a s e do nt h eh e i k k i l ac a m e r am o d e la n dz h a n g s c a l i b r a t i o nm e t h o d w h i c hc o n c e r n st h ei m p a c to ft h et a n g e n t i a ld i s t o r t i o na n d p i x e lt i l ta n g l e u s i n gt h i sm e t h o dt oc o m p l e t et h ec a l i b r a t i o no fi m p l i c i t ， e x p l i c i t ，s t r u c t u r ea n dd i s t o r t i o np a r a m e t e r sf o rt h ed u a l c a m e r a se q u i p p e do n t h eh o m er o b o t i nt h es t e r e om a t c h i n gs e c t i o n ，t h i sp a p e rp r e s e n t sa ni m p r o v e d s t e r e om a t c h i n ga l g o r i t h mi nf o u ra s p e c t sb a s e do nw t a t h i sm e t h o de n a b l e s t h em a t c h h a ga l g o r i t h mh a sab e t t e rr e a l t i m ep e r f o r m a n c ea n da c c u r a c y , t h u sa r e l i a b l ed i s p a r i t yi m a g ec o u l do b t a i n e d t h ep s r o ia l g o r i t h m ( p l a n es e g m e n t a t i o na n dr e g i o no fi n t e r e s tb a s e d o b s t a c l em 印b u i l d i n g ) w a sp r o p o s e da n dak i n do fs c a l eo b s t a c l eo c c u p a n c y 鲥dm a pb u i l d i n gs y s t e mb a s e d0 1 1d u a l c a m e r a sw a sd e s i g n e di nt h i sp a p e r t h e o v e r a l la l g o r i t h mf r a m e w o r kw a sd r e wa n de a c hm o d u l ew a ss y s t e m a t i c a l e x a m i n e dt h e o r e t i c a l l yi n c l u d i n gp l a n es e g m e n t a t i o n ，f l o o rs i g n a le l i m i n a t i o n ， s e g m e n t a t i o nr a n g et oc u t ，r o io p e r a t i o n s ，m a x i m u mf i l t e r i n ga n dl o c a l o c c u p a n c yg r i dm a pc o n s t r u c t i o n f i n a l l y , t h ep s r o ia l g o r i t h mw a sv e r i 6 e dt op r o d u c es c a l eo b s t a c l e o c c u p a n c yg r i dm a pb ye x p e r i m e n ti nab a r r i e rs c e n a r i o ，a n dt h es p a t i a ld i s t a n c e a n dg e o m e t r yw e r ea n a l y z e d ，t h eo b s t a c l ec o o r d i n a t e sw e r ec o m p a r e dw i t ht h e a c t u a lv a l u e s ，a n dt h ep s e u d o c o d ei m p l e m e n t a t i o na n do p t i m i z a t i o nm e t h o d s w e r ep r e s e n t e d c a m e r ac a l i b r a t i o na n ds t e r e om a t c h i n gw e r ed o n eo nt h eh o m e r o b o tw h i c he q u i p p e dw i t hb u m b l e b e e 2b i n o c u l a rc a m e r a , a n da l s ot h eo b s t a c l e o c c u p a n c yg r i dm a pb u i l d i n gs y s t e mw a sr e a l i z e du s i n gt h ep s - r o ia l g o r i t h m , t h es y s t e mc o u l db ea b l et op r o v i d ee f f e c t i v en a v i g a t i o ns o l u t i o nf o rt h eh o m e r o b o ti nu n s t r u c t u r e ds c e n e s k e y w o r d s ：h o m er o b o t ，b i n o c u l a rv i s i o n ，p s r o ia l g o r i t h m ，o c c u p a n c y g r i dm a p b u i l d i n g v i 上海大学硕上学位论文 目录 摘要v a b s t r a c t v i 第一章绪论1 1 - l 家庭机器人的发展概况l 1 2 地图生成系统的研究现状2 1 3 课题来源及研究目的和意义6 1 4r o b o c u p 家庭机器人组简介7 1 5 本文主要研究内容。l o 1 5 1 本文的主要研究内容。l o 1 5 2 本文的内容安排1l 第二章双目摄相机标定1 2 2 1 线性模型摄像机标定1 2 2 1 1 线性摄像机模型1 4 2 1 2t s a i 与z h a n g 标定算法1 5 2 2 非线性模型摄像机标定2 l 2 2 1h e i k k i l a 摄像机模型2 1 2 2 2 畸变参数的标定- 2 3 2 2 3 像素轴倾斜角的标定一2 4 2 3 双目摄像机标定实验2 5 2 4 本章小结2 9 第三章立体视觉理论与立体匹配3 0 3 1 双日立体视觉理论3 0 3 1 1 双目立体视觉几何模型3 0 3 1 2m a r t 视觉理论及基本约束3 l 3 2 三维重建3 2 3 3 立体匹配3 4 3 3 1 立体匹配算法的一般步骤。3 4 3 3 2 常用的区域立体匹配算法3 6 3 3 3 改进的w t a 立体匹配算法3 7 v u f ：海大学硕上学位论文 3 3 4 深度测量实验3 9 3 4 本章小结4 0 第四章基于视差图像的局部障碍物地图构建4 1 4 1p s r o i 算法。4 l 4 2 平面分割4 2 4 3 消除地表噪声4 4 4 4 确定平面分割范围4 6 4 5 对视差图像进行r o i 操作4 7 4 6 滤波与局部障碍物地图构建4 7 4 7 本章小结4 9 第五章实验与分析5 0 5 1 家庭机器人平台介绍5 0 5 2 家庭机器人双目视觉系统5 2 5 3 场景设置5 4 5 4 目标设置5 5 5 5 障碍物地图生成实验。5 6 5 5 1 局部障碍物地图生成5 6 5 5 2 栅格地图空间距离儿何分析5 8 5 5 3 算法伪代码实例5 8 5 5 4 更多实验结果。6 0 5 6 本章小结6 3 第六章结论与展望6 4 6 1 结论6 4 6 2 展望6 5 参考文献6 6 作者在攻读硕士期间公开发表的论文7 1 作者在攻读硕士期间所获荣誉7 2 致 谢7 3 v i i i 上海人学硕士学位论文 第一章绪论 1 1 家庭机器人的发展概况 时至今r ，机器人已从第一代示教再现型机器人、第二代带感觉的机器人发 展到第三代智能机器人，而家庭服务机器人正是第三代机器人的典型代表。目前 国外的科学家们在移动机构设计、传感器融合与环境建模技术、路径规划技术、 能源技术、智能控制技术、人机交互技术、成本控制等方面都取得了长足的进步。 近年来，家庭机器人开始成为一股机器人界的新生力量【卜4 】。家庭内的家政 服务等单调和疲劳的作业为智能机器人提供了施展才能的新天地。1 9 9 9 年同本 索尼公司首次推出家用机器人，为日本企业开启了一个前所未有的新市场，当年 推出的宠物机器人“a i b o ( “爱宝”狗) 至今已销出l o 万台。家用机器人在功 能上有以愉悦主人为目的的宠物型，也有以看家、做家务、与人做伴为目的的实 用型；在造型上有两脚可以站市的类人造型，也有类猫、狗及恐龙造型等。 美国i r o b o t 公司推出室内地毯和地板清洁机器人，具有污物探测功能，可 根据房间地面的具体情况进行有重点的清洁。本田公司的双足机器人“a s i m o ”， 步行时速达3 k m ，几乎与人类相同【5 】。索尼q r i o 机器人可以漫步、跳舞，做很 多高难度动作而且能识别口语并做出回应。三菱重工的家用机器人“w a k a m a r u 能识别家庭成员的脸部特征，并通过转动脸部和手腕来表现喜怒哀乐。韩国的 “i r o b i ”机器人不仅能念书、唱歌、讲故事，当家里无人的时候，它还可以确认 大门是否上锁以及煤气是否关闭。假如有人闯进家门，它还可以将其拍摄下来， 给主人发电子邮件。美国的“i n t o u c hh e a l t h 远程医疗机器人具有即时双向的 视频和语音传送系统以及行走系统，已成为医生与患者之间的连心桥。英国 d y s o n 公司生产的d c 0 6 型自主式真空吸尘器，在导航和行进路径控制上采用螺 旋形清扫路径，记忆清扫过的位置，自动确定前进方向，提高单位电池能量的清 扫面积，具备自动避障和非正常情况的智能决策能力。配备有各种检测装置的机 器人保安，更成为美国军方后勤部门以及各大公司的新宠。 上海大学硕士学位论文 我国机器人研究起步于上个世纪7 0 年代初期，通过“七五 、“八五 科技 攻关及1 9 8 6 年国家高技术研究发展计划( 8 6 3 计划) 的支持，获得了很大发展【3 4 1 。 目前我国在工业机器人、水下机器人、空间机器人、核工业机器人等领域的研究 处于国际较为先进水平，然而总体上与发达国家相比还存在很大的差距。此外， 我国的机器人市场也有很大潜力。专家预测2 0 1 0 年我国机器人的拥有量为1 7 3 0 0 台，年销售额为9 3 1 亿元。根据发达国家产业发展与升级的历程和机器人产业 化发展趋势，到2 0 1 5 年我国机器人市场的容量约达十几万台套。 机器人之所以能步入家庭，主要有以下几个原因：首先是价格越来越便宜。 联合国欧洲经济委员会和国际机器人联合会的报告显示，目前每个机器人的造价 仅是1 9 9 0 年的l 5 。索尼公司的“a i b o 每只售价仅2 5 万日元( 约合2 0 8 3 美元) ； 松下电器公司的清扫型机器人售价仅为5 0 万日元。其次是机器人技术越来越先 进。在低成本、高速化、小型轻量化、计算机控制、网络化、高精度化及视觉和 触觉等传感技术的飞速发展下，家用机器人的功能同益完善和智能化。可以说， 家庭机器人在未来数十年内将会在我们的家庭生活中扮演越来越重要的角色。 家庭机器人在复杂的非结构化场景中工作，自定位和导航能力是它们完成任 务的日i 提和基础，机器人只有准确的搜集环境信息并确定自身位置，才能在工作 空间中有效的自主移动并完成任务，所以环境特征的提取及环境地图构建能力是 家庭机器人的核心技术之一。 1 2 地图生成系统的研究现状 地图生成系统就是为了确定机器人的可行区域及不可行区域，实现在工作空 间中有效的自主移动并完成任务，其本质在于障碍物区域的划分与识别。近年来， 利用视觉传感器实现移动机器人导航、障碍物识别的应用也越来越受人们重视。 视觉避障的主要功能包括利用视觉信息对各种场景进行识别，从而确定移动机器 人的可行区域。其关键技术是障碍物的检测与识别，国内外学者在这方面做了不 少的研究工作。 未知环境下的移动机器人的障碍物很难给定一个确切的概念。可以说障碍物 是随机出现在机器人的行进过程中且形状不可预测的三维物体。目前一般对障碍 2 上海大学硕上学位论文 物的定义主要分两种情况：一种是对比较平坦的地面上而言，如室内地板或高速 道路上，障碍物被定义为高出或低于地面的且大于一定尺寸的物体；另一种是在 非结构化道路或越野等情况下，大于一个极限坡度，移动机器人无法逾越的区域。 总的来说，障碍物是机器人在行进过程中随机出现的，形状不可预测的物体，很 难对其下一个万能的定义，概括的讲，任何在机器人行进方向上形成一定阻碍作 用的物体都可以称为障碍物。 目前，基于视觉信息的障碍物识别研究较为深入的方向主要有四个： 1 根据颜色信息进行图像分割检测障碍物 这种方法主要是利用道路与障碍物的颜色差异来区分可行区域与可疑障碍 区，采集的图像必须是彩色。颜色的表色系统主要有r g b 、h i s 、三种， 一般地，移动机器人视觉避障系统主要采用h i s 表色系统。由于不同物体很少具 有相同的色度和饱和度，同时强度分量受环境光照影响大，但对颜色分割的影响 不大。因此，在区分可行区域与障碍物时，采用h i s 表色系统的色调h 和饱和 度s 作为判别依据【6 。8 】。对亮度图像进行直方图阈值分割，可分离出可行区域与 可疑障碍区域。如美国u s c 大学s o c i a l l ym o b i l e 和t h en e r dh e r d l 4 】实验系统研 究的多机器人系统，c m u 研究的室外机器人【10 1 、割草机器人【1 1 1 ，中国科学院研 究的仿生机器鱼【1 2 】等研究应用中都涉及用到基于颜色信息来检测障碍物。但是在 实际过程中，由于阴影、水迹、树叶等颜色与路面颜色不一致的缘故，可能被误 划分为障碍物区域，所以只能把通过颜色信息划分出来的区域称为可疑障碍物区 域。 2 利用边缘检测技术检测障碍物及其边缘信息 图像最基本的特征是边缘，边缘是图像区域和另一个属性区域的交接处，是 区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中 的地方，图像的边缘包含着丰富的信息【i3 1 。提取出边缘能将障碍物和背景区分开 来。因此，图像的边缘提取在机器人视觉系统的避障中起着非常重要的作用。近 年来，国内外对边缘检测技术做了不少新的研究【1 4 】。现有的图像边缘提取方法可 以分为三大类：一类是基于某种固定的局部运算方法，如微分法、拟合法等，它 们是属于经典的边缘提取方法。其中微分算子包括常用的罗伯特交叉算子 ( r o b e r t sc r o s s ) 、索贝尔算子( s o b e l ) 、拉普拉斯高斯算子( l o g ) 和c a n n y 算子。相 3 上海大学硕士学位论文 比而言，c a n n y 算子提取的边缘最为完整，但处理时间较长。几种算子共同的优 点是计算简单、速度较快，缺点是对噪音的干扰都比较敏感。第二类则是以能量 最小化为准则的全局提取方法，从全局最优的观点提取边缘。如松弛法，神经网 络分析法等【15 1 。k i n g 1 6 1 等提出的模糊边缘检测方法能有效地将物体从背景中分 离出来，是一种值得重视的方法，但该方法有运行速度缓慢和造成细节信息丢失 的特点。国内一些学者提出了一种改进的新的模糊边缘检测，在质量和速度上都 得到了改掣17 1 。第三类是以小波变捌18 1 、数学形态学、分形理论1 明等近年来发 展起来的高新技术为代表的图像边缘提取方法。小波变换有良好的时频局部特 性，非常适合于图像处理。另外在高速公路上由于背景多为天空、山、和树木等， 所以使用图像分形维法提取边缘是较好的工具。一般说来，天空、山和树木等背 景分形维较小，而人造物如汽车等障碍物的边缘分形维较大。分形维的最大优点 是对噪音极不敏感，鲁棒性很高。边缘检测的缺点是提取出边缘不仅仅是障碍物 的边缘，也可能是路面的裂缝，阴影，及周围环境等，在越野环境下不适合【2 们。 3 利用光流场的计算实现障碍物动态检测 物体带光学特征部位的移动投影到图像平面上就形成光流。光流表达了图像 的变化，它包含了运动物体的信息，可用来确定观测者对目标的运动情况。这种 方法只适应检测较近的动态障碍物，但机器人能产生迅速连续的反映。光流场的 计算最初是由h o r n 和s c h u n c k 于1 9 8 1 年提出的【2 1 1 ，它是一种以灰度梯度基本不 变或亮度恒定的约束假设为基础的。到目前为止，各式各样的光流场计算的新的 及改进算法不断涌现，其中许多是基于一阶时空梯度技术的【捌，利用它实现障碍 物的检测有两条途径2 3 彩】，其中一种途径是基于光流的分析，模仿昆虫的视觉行 为。这种方法分成两步，首先通过分析图像序列的光流场而得到机器人的自运动， 然后将二维光流场的发散性作为障碍物的定性度量。d l a m b r i n o s 2 6 】等就模仿蜜 蜂的视觉机制研制了基于光流场的能在走廊行走的机器人。另一种途径是建立起 一种基于光流的视觉与行为模型2 7 。2 8 】，当机器人处于工作环境时，若机器人的前 方存在障碍物，那么在运动过程中视觉所产生的光流则与标准环境下的光流场有 所不同。 光流场法能够把光流计算得到的运动量作为一个重要的识别特征来判断运 动障碍物，缺点是当障碍物与背景图像的对比度太小，或图像由于噪音、阴影、 4 上海大学硕十学位论文 透明性、遮挡性等原因时【2 9 1 ，会使得计算出的光流分布不是十分可靠、精确，同 时光流场的计算也很耗时。优点是在机器人执行任务时，不需要进行摄像机校准 和三维环境重建，利用这样的视觉与行为模型驱动，通过光流场的计算获取障碍 物的信息能够加速机器人与环境之间的信息交互，减少机器学习的复杂度，实时 的对环境变化做出较快反应。 4 利用立体视觉的方法检测障碍物 立体视觉的方法主要是根据图像中像点的高度，用它判别图像中的像点是否 位于地面上，或者应用单应性矩阵的方法判断像素点是否在地面上【3 0 啦】。其中美 国火星探测车勇气号( s p i r i t ) 和机遇号( o p p o r t u n i t y ) 的障碍物检测就是基于此方法 【3 3 1 ，先对摄像机拍摄的图像做一定处理后得出其层次图( e l e v a t i o nm a p ) ，根据此 信息识别出障碍物( 大于车的体积或大于车轮) ，且通过立体匹配的方法抛掉那些 不属于行进道路的像素点，建立一个障碍物的远近层次图，当前时刻只考虑较近 的层次的障碍物。 美国的c a r n e g i e m e l l o n 大学的机器人研究所对视觉环境识别与定位的开发 方面也做了大量研究工作，该研究所在1 9 9 5 年7 月进行的无人驾驶车辆横穿美 国的实验，全程2 8 4 9 英里，其中大部分的路程( 9 8 2 0 千米) 都是自主驾驶。这辆 车被称为n a v l a b 5 ，包括一个g p s 接收器，一个前视摄像机用来检测前方道路 及障碍物。目前该研究所正在进行多目立体视觉障碍物快速检测技术的研究，如 研究的三目立体视觉算法，可以检测高速公路上1 0 0 米处1 4 厘米高的物体 3 4 - 3 5 】。 意大利的p a r m a 大学研制的a r g o 自主车的视觉环境感知与定位系统，只采用 两个摄像机进行立体视觉检测道路前方障碍物3 6 。7 】。 另外还有很多学者着眼于用对称点，基于三维重建的重投影变换【3 8 】的立体视 差分析，神经网络等方法来解决障碍物的检测。如s t a n l e y 3 9 】提出了基于神经网 络的机器人视觉导航技术，将图像特征的变化与机器人的位置变化对应起来，通 过神经网络训练来近似特征雅可比矩阵的逆阵。 目前，用立体视觉实现障碍物检测所面临的难点，一是对应点的匹配精度以 及匹配算法的问题，二是计算复杂度实时性的问题。通过对以上几种障碍物检测 方法优缺点的研究，本文提出了一种基于视差空间的自适应平面分割和立体视觉 相结合的障碍物检测方法，在满足了机器人实时性要求的同时，可有效地检测出 5 上海人学硕士学位论文 机器人前方的障碍物，以局部尺度障碍物栅格地图的形式提供给机器人，同时以 递增的形式生成全局障碍物地图。 1 3 课题来源及研究目的和意义 本论文的研究目的为设计一种基于双目视觉信息的移动机器人障碍物检测 及地图生成系统，使用双目摄像机所拍摄到的图像信息划分出机器人行进道路上 的可行区域和障碍物区域，并得到障碍物的大小及位置信息，提供给机器人导航 与避障控制系统，实现基于视觉的自定位与导航。实时障碍物地图构建使得机器 人能够“看到 周围的环境从而实现避障，进行自主漫游和路径规划，并且也为 机器人自建地图与自定位( s l a m ) 提供一种新的方法，从而s l a m 就可以简化 成为一个简单的障碍物地图融合以及地图匹配的双重过程。特别地，文中的方法 非常适合用于空旷平坦区域作业，比如星球探测机器人、无人工厂巡游机器人等。 本文研究的意义在于使用双目立体视觉解决“机器人前方障碍物分布怎么 样? ”，“什么地方是可行区域? ，“障碍物的具体位置和大小? 等简单而重要 的问题，完成避障与导航基础件的工作。本文的研究涉及双目摄像机的标定，双 目立体匹配和移动机器人的运动控制以及w i n d o w s 平台的c + + 程序设计等多方 面的知识。通过这个课题的研究，可以初步建立基于移动机器人的双目立体视觉 平台，为后续的进一步研究奠定基础。 本文在上海市电站自动化技术重点实验室智能移动机器人组完成，该实验室 为研究人员提供了基于计算机视觉的智能移动机器人导航、避障、跟踪、物体识 别及控制技术实验平台，并以智能移动机器人为载体，开展多项r o b o c u p ( r o b o t w o r l dc u p ，即机器人世界杯) 竞赛活动( 包括小型机器人组，中型机器人组，家庭 机器人组等) ，多种技术在这里得到应用改进及提高。本文研究与开发的相关内 容与成果服务于上海大学机器人组参加的中国机器人大赛暨r o b o c u p 公开赛中 家庭机器人组的竞技项目：自定位与导航等。 6 i ：海大学硕上学位论文 1 4r o b o c u p 家庭机器人组简介 r o b o c u p h o m e 是一项旨在推动家庭服务机器人技术的国际性赛事，在 2 0 0 6 年德国不来梅举行的第十届r o b o c u p 世界杯中首次被设立为正式比赛项 目。家庭机器人组设立的主要目的是为了倡导机器人技术步入人们的生活以及机 器人技术的实用化普及化，终极目标是为了实现自主机器人与人类真正意义上的 人机协作和自然交互( 如语音交互、姿态交互) 。该赛事一项关键的技术就是要求 机器人能够对周围的环境不断学习和扩展，完成跟随、导航、自建地图与自定位 的功能。 家庭机器人组的特殊性在于比赛选用的场景，还有它在技术上综合了机器视 觉、机器语音、机械臂控制技术，以及人工智能决策。必须承认，这些技术在各 自的领域都有高度的发展和积累，而家庭机器人要把它们融合起来。 在此之前几乎所有的r o b o c u p 项目都是以足球比赛为背景的，比如小型组、 中型组和机器狗足球竞赛。这些比赛项目都有一个共同点，那就是它们的比赛场 地是标准化设计的，组成结构也很简单。这种场地标准中的所有设施只采用少量 纯色，且这些颜色互相不易干扰。因此参与这些项目中的机器人视觉系统大多是 基于色彩分割的，实现较为容易。而家庭机器人组完全不同，其比赛场地被设置 成一个真实的家庭环境。2 0 0 7 年，在美国举行的机器人世界杯上，赛事的场景 由一个起居室和二个厨房构成。图1 1 中给出了一个场景的例子，在这个模型中， 室内的场景由墙和封闭的门窗构成。 墙由标准化的平板建筑材料建造，采用中性的颜色，光滑的表面，要求最低 高度为6 0 e m 。不予指定最大高度，但是要求观众能够观看到比赛。不使用透明 玻璃元素，墙是固定的并且在比赛过程中不得改变位置。场景中必须具备一些典 型的物体，它们在数量和种类上不加以限定。最小的配置至少要包含：带有两个 椅子的小餐桌，一个沙发，一个开着的橱柜或者一张上面放有电视和遥控器的桌 子，在开着的橱柜里面放上一些书，而厨房的冰箱罩面放有食品罐和塑料瓶。一 扇带有把手的门，穿过门是通往客房的入口。因为机器人必须能够在现实的世界 中正常发挥作用，所以场景不是固定的，要求场景在比赛期间每天都有可能发生 变化，这些变化具体将影响到场景内物体的位置。 7 i ：海大学硕上学位论文 图1 1 家庭机器人组赛事场景示例( 由上海人学设计) 显然在这个复杂而部分可变的环境下，单纯地以色彩作为物体的标志已经完 全不可行了。但是，由于国内家庭机器人竞赛的起步更晚，( 直到2 0 0 7 年l o 月 于济南举行的全国机器人大赛上才首次亮相) 水平较低。国际规则对机器人的智 能化程度和自适应能力有更高的要求。该规则将比赛分为能力证明和实际应用两 个阶段。在实际应用测试时，参赛队伍不能在比赛场地内的任何设施或者目标物 体上粘贴自制标识。在测试开始后，参赛队员不允许进入场地，或者对机器人进 行任何操作，比赛中与机器人交互的任务必须由裁判完成或者裁判指定第三者完 成，并且严格禁止任何程度的碰撞和摩擦。除了导航和跟随以外，国际比赛还设 有几个高难度项目：( 1 ) 物体操纵：比如，打开冰箱并且拿出一个食品罐。( 2 ) 识别特定人：在有限的时间内，机器人必须记住一些人。( 3 ) 模仿能力测试：受 试者与机器人各有一套完全相同的玩具积木块，轮流操纵或移动积木块。机器人 “模仿 受试者的操纵动作。( 4 ) 寻找遗失物品：事先在场景中隐藏某件物体， 机器人必须在有限时间内把它找出来。( 5 ) 自定位与导航，自主漫游。 这些高智能项目和规则的严格性以及场景的不确定性都对机器人的各方面 能力都提出了更高的要求。对于感知能力而言( 主要是视觉系统) ，要求机器人 不仅能对房间内的一些设施具有感知能力，还要有强化机器人对自身位置的定位 能力，对周围物体( 包括可变障碍物) 的三维信息的感知能力，以及快速的、适 上海人学硕j l 学位论文 应性强的识别能力。总之，家庭机器人组的特殊性体现在： 1 家庭机器人组的场景是一个真实的家庭环境，机器人在这样一个环境中 要完成跟随、导航、自建地图与自定位( s l a m ) 的功能。家庭环境的风格是多样 的，并且罩面的家具可以随处移动，所以机器人将面对的是一个不确定动态环境。 s l a m 将赋予机器人一项特异功能，它使得机器人像小孩子一样可以对周围的环 境不断的学习不断的扩展，那么这样的机器人可以适用于任何陌生环境，需要的 仅仅是花时间进行训练。 2 机器视觉将能够帮助机器人实现“各样物体的学习与识别、人脸识别、 动态环境中的人体跟踪和人体姿态识别”。在家庭机器人组比赛中要求实现杯子、 书、门把、电视、遥控器等各样物体的识别，分辨熟人与陌生人，向客人做自我 介绍的时候识别客人，识别主人，跟随主人以及为主人导航等。 3 机器语音将能够帮助机器人实现自然的人机交互，包括语音识别和语音 合成。比赛中机器人自主自治| 生就体现在语音交互之中。机器人要主动的向客人 做自我介绍说明自己的使用方法，机器人要听懂主人的语音命令并执行相应的动 作或完成相应的任务，机器人完成任务后向主人回复或征求主人下一步动作。 4 机械臂将是机器人为主人提供服务的主要_ l 具，按照功能要求可以被设 计成各种形式。比赛中期望能够实现开关门和冰箱，拿杯水给主人，捡取地上的 物体到桌子上，清理垃圾到指定区域，人机合作做一道菜肴( 当主人做菜时，机 器人应该推测下一步要做什么并且为主人准备好) 。 家庭机器人组赛事规则的难度会逐年提高，所以我们可以期待着家庭机器人 会更加完美，双目视觉可以像人一样逼真，机器语音也将带着感情和智慧，机械 臂也将更加灵巧和多用途，这一切不再陈列在实验室和科技馆，而是渐渐步入人 们的日常生活1 9 i ：海大学硕士学位论文 1 5 本文主要研究内容 1 5 1 本文的主要研究内容 本文以上海市电站自动化技术重点实验室智能机器人组的家庭机器人为研 究对象，结合搭载的双目立体视觉传感器，进行了双目立体视觉技术的相关研究。 重点对双目立体视觉技术中的摄像机标定、立体匹配和基于双目视觉的机器人局 部地图生成系统进行了研究。 首先，本文对所搭载的双目摄像机完成摄像机标定和立体匹配。在摄像机标 定部分，本文结合z h a n g 标定算法【4 0 1 和h e i k k i l a 摄像机标定模型【4 1 4 2 】，并考虑切 向畸变和像素轴倾斜角的影响，从而获得较为完备的标定参数和较为精确的标定 结果，并且完成了家庭机器人所搭载的双目摄像机内外参数、结构参数、畸变参 数的标定工作。在立体匹配部分，本文在w t a 算法基础上额外考虑了四种改进 措施加以约束，从而可以获得较高的匹配精度，减少误匹配和假目标。主要改进 措旌体现在四个方面：采用立体匹配校验、亚像素插值、边缘检测约束、选取适 当的立体匹配模板尺寸，使得改进的w t a 立体匹配算法可以获得较为可靠的视 差图像。 其次，本文的核心工作开展了基于双目立体视觉的家庭机器人障碍物检测 及局部地图生成系统的研究。本文提出了p s r o i 算法，该算法由消除地表噪声、 自适应平面分割、r o i 操作( r e g i o no f i n t e r e s to p e r a t i o n ) 、最大值滤波等构成， 以家庭机器人所搭载的双目摄像机拍摄的实时图像作为输入，实现机器人前方视 野的局部障碍物地图构建。局部障碍物地图可以递增的生成运动场景的全局地 图，以备机器人的回航以及实现对环境的记忆功能。该算法解决了“机器人前方 障碍物分布及可行区域? 等重要问题。 最后，在本实验室自行开发的家庭机器人平台基础上，通过试验构建机器人 前方视野的局部障碍物地图，实现基于双目摄像机的r o b o c u p 家庭机器人地图 生成系统。 1 0 上海大学硕上学位论文 1 5 2 本文的内容安排 本文对基于双目摄像机的家庭机器人的地图生成系统进行研究。在本章中综 述了地图生成系统研究现状及简要介绍了r o b o c u p 家庭机器人组赛事。家庭机 器人组赛事的一项关键的技术就是要求机器人能够对周围的环境不断学习和扩 展，完成跟随、导航、自建地图与自定位的功能，该项特殊性是本课题的来源。 第二章、第三章研究双目摄像机的标定技术及立体匹配技术，是实现p s r o i 算 法的前提。第二章结合z h a n g 标定算法和h e i k k i l a 摄像机标定模型，并考虑切向 畸变和像素轴倾斜角的影响，完成了家庭机器人所搭载的双目摄像机的标定工 作。第三章叙述了立体视觉模型及m a r t 立体视觉理论，对现有常用立体匹配算 法及匹配代价算子进行了分析和总结，在此基础上，本章基于w t a 算法额外考 虑了四种改进措施加以约束，最后通过深度测量实验对改进的w t a 立体匹配算 法的精度进行实验和验证。第四章叙述本文提出的p s r o i 算法，给出了p s