（控制理论与控制工程专业论文）家庭服务机器人智能空间关键技术研究与设计.pdf

山东大学硕士学位论文 摘要 随着机器人技术的发展，机器人进入民用领域条件日趋成熟。然而通常室内 环境存在的变化快、扰动强等特点成为家庭服务机器人研究、应用中的巨大阻碍。 智能空间技术使得家庭服务机器人的感知能力和计算能力得到了极大的外延，使 家庭服务机器人能在各种复杂环境中轻松、有效工作。它通过安装在室内的各种 传感器、执行器实时获取环境信息，并引导机器人完成家政服务。 本文就家庭服务机器人智能空间中的如下关键技术进行了深入研究，并提出 了新的构想。 本文系统研究了如何设计人工地标以及基于人工地标的定位问题。首先设计 了一种新的人工地标一基于q rc o d e 技术的二维自相似地标，该地标充分满足尺度 不变性、自相似性、仿射变换性，并能够提供充足的环境信息。然后研究了如何 在复杂环境下检测、识别人工地标，并提出一种基于单个人工地标的机器人自定 位方法。试验结果表明，在复杂环境下，机器人能够快速、准确地检测、识别人 工地标，仅仅利用单个人工地标就能够达到很高的定位精度。最后本文首次提出 将无线射频标签用作人工地标的构想，并阐述了相关研究思路。 本文研究了基于顶棚摄像机的环境建模问题。首先利用顶棚摄像机采集环境 图像，对采集到的彩色图像预处理，利用c a n n y 边缘检测算法提取边缘，采用边缘 闭合策略将图像分割成若干区域。然后研究了基于混合高斯模型的区域识别方法， 建立室内物品的颜色混合高斯模型，根据模型辨识每一块图像区域，分辨出不同 物品，根据辨识结果从而完成环境建模。试验结果表明，顶棚摄像机能够以非常 高的准确率完成物品识别，得到很好的环境模型。最后，设计了一种新的直线提 取方案以获取环境中各条直线的参数，采用基于三灭点的自标定算法计算摄像机 内参数，结合摄像机云台给出的外参数计算各个物品的世界坐标，从而完成环境 中的各个物品的定位工作。 本文研究了基于多顶棚摄像机的图像拼接问题。单个顶棚摄像机视野有限， 山东大学硕十学付论文 采用多个顶棚摄像机可以有效消除视觉死区，观测到更大的环境区域。首先对顶 棚摄像机采集到的多幅图像使用s i f t 算法提取各幅图像的特征点，采用欧式距离 特征匹配算法对各幅图像的特征点进行匹配，然后使用r a n s a c 算法匹配各幅图像 的特征点，根据获得匹配特征点较好地完成了图像的拼接。 最后，指出了本文的不足以及有待进一步解决的问题，并对智能空间的发展 提出了一些自己的思路。 关键词：家庭服务机器人，智能空间，人工地标，机器人定位导航，环境建模， 图像拼接 i i 山东大学硕十学位论文 a b s t r a c t 1 1 l ei n c r c 嬲i l l gd c v e l o p m e n to fm b o t t c c h n i q u e sm a l 【髓“p o s s i b l et od c v i 锄d d “e l 叩s e i c cr o b o t sf o rc i v i l 印p l i c a t i 伽s h d w c v c r g c n 眦l i n d o o re n v i m 衄e n t 啪 b ev a i i a b l e 卸dd i 咖r b c d 觚q u e n t l y ，w h i c h 嘶n ga b 加tm u c hd i f f i c l l l t y 叫础孵础 柚dd c v e l 叩m e n t0 fh o m es c r v i c cr o b o t s h l t e l l i g c n ts p a c ci sap 舳i s i n gt e c l i l l o l o g y w l l i c hi se x p e c t c dt oh e l ph o m es c r v i c cm b o tw o ki no m n p l e xe n v i m 砌e n tm o r ee 鹤i l y 锄de 疵c t i v e l y h t d l i g c n ts p a c ci sb u i l d e db ys e t t i i l gm 粕y 】【i n d so f n s o 培觚d m 觚i p u l a t o r si nt h ei n d o o rc n v i 砌帆e n t ng c t st h e 曲v i r o 】姗锄ti n f b n n a t i 伽，柚dt h 雠 i n s t n i c t s l er o b o tt 0s e r 、r et l i eu s e r s w b 舭u s 咖t h ef o l l o w i n gk e yt e c l l l l o l o 百e sf o fs e n ，i c cr o b o t st 0w o r kj nt h e i n t e l l i g c n ts p a c c 柚df i n a l l yp r c s e n t 姐0 u t l 0 0 k 彻t h ed c v e l 叩m c n to ft h ei n t e l l i g e m s p a c ct e c h n i q u e s t h ea r t i f i c i a ll 卸d m a r kt e c b 皿0 l o g yi ss 哪m a r i z c d 卸dan e wl 【i n d0 fa r t i f i c i a l l 卸d m a r ki sp r o p o s c dt h a ti sp l 觚盯s e l f s i m i l a r1 a n d m a r kb 鹤e d q rc o d et e c h n o l o g y 锄di t sc h 缸a d e f i s t i ci si l l t 刚u c c d 啪t h e 加e t h o dt od e t e c t 柚dr e c o 伊i z et h i s l a n d m a r ki ss t i l d i e d ，a n dh o wt 0 此a l i z em b o ta u t o n 哪o u sl o c a l i z a t i o no n l yb ys i n 出e l a n d n l 盯ki sr c s e a r c h e d e x p c r i m c n t a l 佗s u l t ss h o wt h a tt h el 柚d m a r k 啪b cd c t c c t c d 柚dr e c 0 印i z c da c c u m t e l y 柚dt h em b o tc 孤l o c a t cf 勰t 柚d 砌r a t c l yu s i n gt l l i sk i n d o fl a n d n l a r ki nt h cc o m p l e xd ) r n a m i ce n v 的咖e n t i na d d i t i o n ，t h ei d e at h a th o w t ou s e r f t a gi nt h ei n t e l l i g e n ts p a c c 笛an e wk i n do fl 姐d i i l a r ki sp m p o s e d t h cp a n o r 锄av i s i o ns y s t e mu s i n gu p p e r 1 7 r o j c c t o 瑙i s 陀s e a r c h e d t h ei m a g ci s p r e t r e a d e d 锄ds e g m e n t e db ye d g cc 0 皿e c t i o nt e c l l l l o l o g y t h c ni sr c i ：o 印i z e du s i n g g a u s s i 柚m i x t u r cm o d e lb 硒e do nc o l o ri n f o m a t j o n ，l b a tt h ee n v i r o 脚e mm o d e l i s c o n s t m d e d e x p e r i m e n t a l 比s u l t ss h o wt h a tt h eo b j e c t si nt h ei n d 0 0 fe n v i r 0 姗e n tc a l l b er c c o 印i z e dw i t hh i g i la c c u r a c y ，a i l dt h ee n v 椭e n tm o d e lc a l ib ec o n s n l l c t e d u l c o r f c c t ly an e wp r o j e c to fs t r a i 曲tl i n e sc x t m d i o ni sp r o p o s e d ，a n d 龇c a i n e r a i n t r i n s i cp a r 锄e t e 】r si sc a l c i l l a t e d b yu s i n gs c l f c a l i b r a t i m e t l l o d b a s c d 伽t h r c e v a i l i s hp o i n t s ，a i l dt h e nt h eo b j e c t si nt h ee n v i r o n m e n ti sl o c a t e du s i n g c a m e 。ae x t r i n 8 i c a l l di n t 血s i cp a 姗e t e r s i m a 萨m o s a i ct e c h n o l o g yi su s e di n t h i sp a p c ri n0 r d e f t 0m o d e la n dl o c a t et h e p a n o 姗ai m a g c 1 1 l ef e 栅弓p o 砒o f e v c r yi m a g e s 缸ee x 仃a c t c d6 r s t l yb y t l l es i f l r a l 州m m ，a n dt h e nm a t m d b y t h ce u c l i d c 锄d i s 恤c ca 1 9 0 r i t h ma n dt h cr a n s a c a l g o 棚删t h em o s a i ci m a g ci sa c q u i r e d b 弱e d 帆t h c m a t c h c df c a t ep o i i 她 f i n a l l y m cl i m i t a t i o 璐o fm i sp a p e r 哪p o i n t e do u t ，锄ds o m ci d e a sa b o u tt h e f u n u r ed c v c l o p m e mo ft h e 劬e l l i g e n ts p a c ea r ep r o p o s e d k e yw o r d s ：h o m es e r v i c cr o b o t ，i i l t e l l i g c n ts p a c c ，a n i f i c i a ll a n d m a r k ，r o b o t l o c a l i z a t i o na n dn a v i g a t i o n ，e n v i 删衄e n tm o d e l i n g ，i m a g em o s a i c 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：走靖鹂日期：如) 7 t 岁1 f 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件 和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：趟鹏导师签名：阳唧日期：m 鼬， 山东大学硕十学位论文 第一章引言 1 1 课题背景 随着社会的进步和科技的发展，服务机器人日益受到人们的重视1 1 - 2 l 。首先 服务机器人的发展是我国社会发展的需要。2 0 0 0 年1 1 月底我国第五次人口普查 表明，6 5 岁以上老年人口已达8 8 1 1 万人，占总人口6 9 6 ，6 0 岁以上的老人 超过l 亿人口，占总人口的l 成以上，按国际标准衡量，我国已进入老年型社 会。考虑到我国日趋严重的老龄化社会问题，同时考虑还有一大批行动不方便 的残疾人，开发家庭服务机器人非常必要。但老年人和残疾人使用的产品基本 上还只是一些低水平、低技术要求的产品，国际上出现的高水平的产品在国内 还很少见。其次，服务机器人的研发也是我国科技发展的战略要求。服务机器 人在美、日、欧得到了深入研究和广泛应用，这是因为机器人不仅将形成一个 大产业，而且将对国家的综合国力，对国家的可持续发展有着巨大而深远的影 响。在我国，服务机器人也得到了相当的重视，成为8 6 3 计划先进制造技术领 域中的一个重点研究项目。可见，服务机器入有着广阔的发展前景。 和服务机器人美好的应用前景相比，目前机器人的发展仍处于一个较低水 平。首先，机器人的智力水平低下，最先进的智能技术也只能使机器人达到三 岁婴儿的智力水平，另外机器人本体携带设备种类繁多、功能有限，同时价格 昂贵，因此机器人进入家庭作业仍受到很大限制。智能空间作为一种新的技术 手段，可以有效地解决许多机器人自身无法完成的工作，使得服务机器人进入 千家万户变得轻松可行。 我们构建智能空间，主要采用知识分布和智能分布的思想，利用多种传感 器设备并基于网络技术，使得机器人本身能够“轻装上阵”，轻松、有效、稳 定、快速、精确并能适应室内环境动态变化，完成复杂多变环境下的各种服务 任务。 1 2 智能空间 1 2 1 智能空间的概念 山东大学硕士学付论文 1 9 9 6 年日本东京大学的h 勰h i m o t o 实验室率先提出了“智能空间”的概念， 它将p c 机、c c d ( c h a r g ec o u p l e dd e v i c c ) 摄像机、麦克风、显示器等设备通过 网络连接到一块，构建出了智能空间【3 1 。 智能空间的建立主要是通过在室内环境安放传感器、服务p c 机、可触摸显 示器、网络系统以及数据库等软硬件设施，使普通的室内环境具备观测能力并 能够为服务机器人下达命令，使机器人准确进行导航、定位工作，同时完成抓 取、运送等各种家政服务【4 1 。在智能空间的支持下，服务机器人能在未知或半 未知的动态环境中，自主的连续长时间稳定的进行家政服务工作，同时能够完 成对需要服务的用户进行监护和交流，及时为其提供所需的服务。 1 2 2 研究现状与发展趋势 目前国际上对智能空间的研究开展的相当广泛，并将智能空间的概念应用 于很多领域。如麻省理工学院人工智能实验室( m r ra il a b ) 的h l t e l l i g e n tr o o m l 5 l 通过观察人的姿态并通过接受人的语音命令指导房间控制系统为用户服务，国 内清华大学的s m a nc l 勰s r 0 0 m 1 6 】为了方便于远程教学，该系统使教师能够摆脱 键盘鼠标的束缚，通过手势、语言控制讲义和多媒体板上的内容，并且可以像 在黑板上那样直接用手在多媒体板上书写板书。另外斯坦福( s t 孤f b r d ) 大学的 1 1 1 _ t e r a c t i v ew o r k s p a c e 、佐治亚技术理工学院( g 田的a w a r eh o m e 、微软研究院 ( m i a o s o f tr e s e a r c h ) 的e 鹤yl i v i n g 、德国信息技术国家研究中心( g m d ) 的i l a n d 也是智能空间思想的很好应用。 将来的智能空间可能会具有层次的结构，空间与空间之间将会互联，并且 若干单个智能空间可能联合起来构成一个大的空间如a d a c 实验室和 h a s h i m o t o 实验室合作完成了洲际智能空间( i s p a c ei n t e r - n t i n e m a lp r o j e c t ) ，传 感器和激励设备在日本，而计算和处理控制设备在美国，通过i n t e m e t 完成两个 实验室合作构建智能空问同。最终智能空问将构成一系列智能社区( s m a n c o m m u n i t y ) ，智能社区中的智能空间将以怎样的形式组织在一起，如何进行跨 空间的交互，如何进行跨空间的资源访问则是需要研究的问题。 智能空间思想应用广泛，但根据目前的资料表明，服务机器人的研究过程 中尚没有采用智能空i 日j 技术，因此本文提出将智能空间思想应用于服务机器人 系统，研究在智能空间的支持下引导服务机器人完成各种家政服务。 2 山东大学硕十学位论文 1 3 相关技术研究状况和进展 智能空间涉及多个技术领域，同时由于智能空间的应用领域不同，所采用 的技术也有很大差异，本文所要研究的智能空间主要应用于服务机器人，因此 涉及到以下几种相关技术。 1 3 1 机器视觉与图像处理 人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中 约8 0 的信息是由视觉获取的，可见，视觉器官是人类的最重要的感知器官1 8 】。 机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学技术，对 智能化机器而言，它的发展不仅大大推动智能系统的发展，同时也拓宽了计算 机与各种智能机器的研究范围和应用领域。 机器视觉系统的首要目标是用图像创建或恢复现实世界模型，然后认知现 实世界。机器视觉系统获取的场景图像一般是灰度图像，即三维场景在二维平 面上的投影。因此，场景三维信息只能通过灰度图像或灰度图像序列来恢复处 理，这种恢复需要进行多点对一点的映射逆变换。在信息恢复过程中，还需要 有关场景知识和投影几何知识。 机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机科学的 重要研究领域之一机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当 时的工作主要集中在二维图像分析和识别上。6 0 年代，r o b e n s 通过计算机程序 从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对 物体形状及物体的空间关系进行描述。d a v i dm a 盯教授在1 9 7 7 年提出了不同于 “积木世界”分析方法的计算视觉理论( 锄n p u t a t j o 舱lv i s i o n ) ，该理论在8 0 年代 成为机器视觉研究领域中的一个十分重要的理论框架可以说，对机器视觉的 全球性研究热潮是从2 0 世纪8 0 年代开始的，到了8 0 年代中期，机器视觉获得 了蓬勃发展，新概念、新方法、新理论不断涌现。到目前为止，机器视觉仍然 是一个非常活跃的研究领域，许多会议论文集都反应了该领域的最新进展。 1 3 2 移动机器人定位与导航技术 目前自主移动机器人常用的导航方式分为三类：基于地图的导航、基于创 建地图的导航、无地图的导航。根据导航采用的硬件的不同，可将目前导航系 山东大学硕十学何论文 统大致分为两类：视觉导航系统和非视觉导航系统【虬。目前常用的自主定位与 导航技术多依赖于机器人对自然地标的识别或过分依赖于电子地图的匹配。由 于受限于目前机器视觉技术的实用性，依赖于自然地标识别的定位与导航难以 实际实现：由于传感器等的测量误差和环境中不确定因素的存在，使得地图匹 配模式难以保持长时间的稳定运行；因此，大多可实用的定位与导航多依赖于 与人的交互和对确定环境的详细建模。 移动机器人导航技术发展趋势有如下特点：视觉导航具有探测范围广、目 标信息完整等优点，视觉导航与其它传感器融合将是机器人导航技术的主要发 展方向；导航系统结构将朝着分布式、模块化、网络化、多机器人协作的方向 发展；路径规划将朝着多层规划和多方法相结合的方向发展；采用基于反应式 的行为规划和基于慎思行为规划相结合的方法，全局路径规划和局部路径规划 相结合更有利于复杂环境的避障计划；新型传感器的开发和新的信息融合算法 的研究将促进导航技术更快地发剧协”l 。 1 3 3 地图构建技术 自主移动机器人在室内导航、定位、作业都是基于环境地图，因此地图构 建是机器人完成各项工作的基础和关键。目前，针对一个静态的、结构化的和 狭小的环境空间来创建地图已经有了不少方法，但是对于非结构化的、动态的 或者大范围的环境建模还有待于进一步研究。 在地图构建领域常用的地图表示方法有：拓扑图、特征图、栅格图。栅格 图最初由e l f e s 和m o r a v c c 提出。整个环境被分割为均匀的单元栅格，每个栅格 赋一个值来表示这个格子的状态：占用( o c c u p i e d ) 或未占用( u n o c c u p i e d ) 。0 意 味着完全未占用，1 意味着完全占用【体坞】。这样，整个环境空间就被分为占用空 间和闲置空间。用栅格表示的环境地图，环境空间的分辩率与栅格尺寸的大小 有关，增加分辨率将要增加运算的时间和空间复杂度。特征图由一组环境特征 组成，每一个特征用一个几何原型来近似【1 9 - 2 0 1 。这种地图只局限于表示可参数 化的环境特征或者可建模的对象，如点、线、面等。拓扑地图【2 1 垅l 最开始由 b r o o k s 、m a t a r i c 和其它研究者提出。在表示环境地图时，它并没有一个明显的 尺度概念，而是选用一些特定的地点来描述环境空间信息。拓扑地图通常表示 为一个图表，图中的节点表示一个特定地点，连接节点的弧表示特定地点之间 4 山东大学硕十学位论文 的路径信息。拓扑地图对于结构化的环境是一个很有效的表示方法，这里有更 多的特定地点。相反，在非结构化环境中，地点的识别将变得非常复杂。如果 仅仅以拓扑信息进行机器人定位，机器人将很快迷失方向和位置。 1 4 本文的主要研究问题 构建智能空间主要是通过在家庭环境的某些区域内装配上人工地标 ( a n i f i c i a l l 孤d m a r k ) 、传感器( c c d 摄像头、无线射频标签- r f t a g 等) 、执行器( 显 示器、顶棚投影机等) 、通讯网络设备和具备信息处理、数据库管理和计算能力 的计算机系统，从而建立一个人机器人共存的人工生态环境。智能空间能够通 过传感器感知其空间内部各对象发生的变化，可以通过网络与机器人进行信息 传递，同时能通过执行器命令、引导机器人完成各种工作，另外其数据存储系 统可以进行记录、跟踪和管理。 服务机器人完成各种家政服务的基本前提是在室内准确、快速地导航定位， 而它工作的环境种类多、变化快、外部干扰强，如果仅仅依靠机器人自身的能 力难以快捷地完成各种服务。智能空间与服务机器人进行单工或双工信息交互， 结合机器人自身局部传感器的多种信息融合，以及本身的推理和学习能力，可 以实现在未知或半未知的动态环境中自主地定位导航。可以看出，如何使机器 人在智能空间下完成自主定位导航是我们研究智能空间的根本目的所在。 结合目前实验室的试验条件，本文主要研究以下两个问题： 1 基于人工地标的机器人导航定位 人工地标具有制作简单、使用方便、信息量大等优点，我们将人工地标贴 放在环境中的特定位置，当机器人行驶在室内环境中时，通过读取人工地标中 的环境信息，根据自身的导航机制，从而完成定位导航作业。 2 基于顶棚摄像机的全局视觉系统环境建模 机器人自身携带的摄像头视野有限，所看到的场景变化频繁，而单个全景 摄像机为机器人提供环境信息同样有限，主要是因为家庭环境复杂，室内存在 障碍物遮挡，存在视觉死区，同时单摄像头无法提供深度信息，因此我们考虑 使用悬挂在顶棚上的多个摄像机组成全局视觉系统。全局视觉系统中的每个摄 像机观察一部分区域，实时构建环境地图，并能够提供一定的深度信息，融合 多个摄像机所得的环境信息能够构建实时的三维全局地图，然后利用网络设备 5 山东大学硕士学位论文 和机器人本体通信，从而可协助机器人完成导航定位任务。 1 5 各章主要工作 第一章弓l 言，对本文研究的背景、目的、意义、内容及国内外发展的研究 成果进行阐述。 第二章总结了目前的人工地标技术，提出了一种新的人工地标，并首次将 射频标签作为人工地标引入智能空间，拓展了人工地标的研究思路。 第三章根据第二章提出的人工地标，研究了在复杂环境下地标的检测、识 别，提出了一种基于单地标的机器人自定位方案，并通过试验证明该方法可以 为机器人提供相当高精度的定位结果。 第四章采用混合高斯模型构建环境模型。设计了一种新的直线提取方案， 使用自标定算法对摄像机进行标定，根据所得的摄像机参数对图像平面点定位。 第五章采用s i f t 算法提取图像特征，分别根据欧式距离和r a n s a c 算法 进行特征匹配，根据特征匹配结果拼接多顶棚摄像机图像。 第六章总结与展望 6 山东大学硕十学位论文 2 1 人工地标概述 第二章人工地标生成研究 2 1 1 人工地标的定义 什么是地标? 地标是指机器人通过所带的传感器对外界进行感知能够识别 的特征信息。地标研究的核心问题是地标的选择、设计以及检测、定位。地标 可以分为两类：人工地标和自然地标。自然地标是指已经存在于环境中、能够 为机器人所利用、具备导航定位功能的自然物体。人工地标是指人工特殊设计 的具备指引机器人导航、定位功能的物体或标志。目前大量的研究工作主要集 中在基于视觉的人工地标。 2 1 2 人工地标技术综述 人工地标作为协助机器人导航、定位的重要工具得到极高的重视和广泛的 研究，国内外也提出了多种人工地标，并在实际应用中得到了很好的验证。 b e c k e r 等设计出外围的黑色圆圈表征地标和方向雨内部的黑白相问的九宫格 表示信息的人工地标。他们设计的地标贴放在屋顶，因此地标不会被遮挡，同 时地标与机器人之间的距离固定，但缺点是受光照影响严重。j a n 一刎设计出了 一种有色人工地标，通过色块颜色的不同表征不同信息，使用单色背景表征地 标模式，同时利用背景的中线完成对地标的定位。y o 衄等【2 5 1 设计的人工地标由 对称的重复的色块组成，通过不同颜色色块的不同排列表征环境信息，在不同 光照环境下，当发生几何扭曲时利用其颜色直方图的一致性识别人工地标，具 有较高的鲁棒性。t a y l o r 和k r i e g m a l l 【2 6 j 使用条形码设计的人工地标，这种地标 包含五个白色、灰色和黑色的垂直条纹。它们的识别算法是提取垂直边界并且 定位六个连续的具有一定交叉率的边缘。该方法要求模式不被遮挡并且按照一 定的方向放置，同时需要特殊的硬件完成实时图像处理。l j n 和t u m m a l a 【2 7 1 给 出更复杂的三维地标，该地标在白色背景前放置一个黑色圆盘，并在该圆盘前 方1 2 锄放置较小的白色圆盘。可以使用椭圆h o u 曲变换来对圆盘投影图像进 行识别。该方法需要假设圆盘中心与摄像机中心等高并且其模式平面与镜头相 7 山东大学硕+ 学位论文 平行。z i t o v a 和f 1 u s s e r 【冽使用包含两个同心圆的地标，并且给出了一个基于仿 射运动不变性的识别算法，由于该方法目前还缺乏鲁棒性和实时性，所以在实 际应用中受到了很大的限制。d s c h a 硌t e i n 和a j b r i g g s 【2 9 l 利用尺度相似的模式 构造出了一种自相似人工地标。该地标将一维尺度自相似的方波进行二维图形 映射，并给出了一种设计和提取地标的简单方法。然而由于模式构造单一，不 能详细地表示不同环境，同时其尺度在0 到1 范围内，模式容易受噪声污染， 该方法在提取时采用插值方法也降低了系统可靠性。司秉玉【删设计的人工地标 基于分形和小波技术，较好地满足了地标设计法则中的尺度不变要求、自相似 要求和仿射变换要求，但由于采用将一维信号幅值进行二维图形映射，所形成 的人工地标仍然属于一维地标模式，当地标大部被遮挡时造成模式无法识别， 同时信息部分由条形码表示使得信息量有限，且降低了地标整体的仿射变换性。 2 1 3 人工地标设计原则 为了使人工地标能够获得稳定、可靠的识别效果，可视人工地标在设计、 选择时，其模式应该具备如下特性【3 0 1 ： 1 1 尺度不变性要求 所谓尺度不变性要求是指用不同尺度在不同区域对地标模式进行观察时， 所得结果的相似性。尺度不变性要求使得地标模式对机器人的观测距离不再敏 感，允许机器人可以在更大的范围内识别地标。 2 1 自相似性要求 地标贴放在空间中不可避免的会被各种物品遮挡，在这种情况下，如何使 机器人完成对地标的识别，是一个较难解决的问题。如果地标自相似特性，那 么当地标部分被遮挡时仍然能够根据未被遮挡的部分完成识别。自相似性可以 解释为模式的局部特征能够表征整体特征。 3 1 仿射变换要求 目前多数人工地标都要求地标与视觉成像系统保持严格的位置关系，即摄 像机的光心线和人工地标保持在9 0 度左右的小角度范围内。我们希望所设计的 地标模式在较大角度的观测范围内仍然能够正确完成识别，即要求仿射变换角 较大。 4 ) 信息供给能力 s 山东大学硕十学位论文 单纯靠地标模式不同所提供的信息量是有限的，因此要求地标具备为机器 人提供信息，告知其地标周边环境信息的能力。 2 2 基于q rc o d e 技术的二维自相似地标 我们在文献l 刈设计的人工地标基础上进行了改进，提出了一种新的人工地 标一基于q rc o d e 技术的二维自相似地标，和文献【刈给出的地标相比，该地标 性能上更趋完善。 2 2 1 地标模式设计理论分析 2 2 1 1 自相似函数的定义与性质 定义：函数，：冠+ 一贾，对于尺度因子p ，o t p 一，( p 嚣) 一，( 嘎掣)g 一2 ) 这一性质使得自相似信号非常适用于视觉识别，因此人工地标到摄像机的距离 可以不予考虑。 2 2 1 2 一维二迸齐次自相似信号的构造研究 小波分析是近十几年才发展起来并迅速应用到图像处理和语言分析等众多 领域的一种数学工具，是继傅立叶分析之后的一个重大突破。 小波变换的定义是把基本小波的函数妒( f ) 做平移f 后，再在不同尺度口下 与待分析的信号x ( f ) 做内积 工o ) - 掣( f ) 善7( 2 3 ) 一， 。工。z o ) 哗( f 渺 9 山东大学硕士学侍论文 其中叩? 【f ) 代表一组尺度因子为口，平移因子为f 的正交小波基。 小波变换区别于傅立叶变换、拉普拉斯变换的关键一点是不具有固定的核 函数，而是只有满足允许条件( 2 4 ) 的基本小波函数才能成为核函数 q ，正譬珊t m g 川 定理：根据公式( 2 3 ) ，如果令 z 。，- 卢7 2 工。，( 2 5 ) 其中卢，2 2 “1 ，日为h u r s t 常数：而z 。为尺度因子为0 时的信号分解系数，如 果工。；可以表达为 工o ，- p o ) 吵p f ) d ( 2 - 6 ) 则茗( f ) 为二进齐次自相似信号【3 1 】。 证明如下： p ( f ) l f r o f 矽一声正工o ) 2 妒( 2 “f f 渺 一2 t 4 正工o ) 2 妒( 2 4 f f ) 出 - 2 “j 二工( f ) 2 。妒( 2 4 f f ) 出 令2 。f f ，贝0 斑；2 一。出7 代入上式，则得到 p o 即。一f 渺2 正2 “工( 2 ”f 渺( f f 渺 对比上式左右两项，可以得到 善( f ) - 2 一“x ( 2 8 f )( 2 7 ) 则z ( f ) 为自相似信号。 式( 2 7 ) 具有分形性质，可以看出通过( 2 7 ) 式设计的信号具有一个重要属性 一尺度不变性，即用不同尺度观测信号时结果具有相似性。式中h u r s t 指数又称 为局部尺度指数，如果信号各点都具有自相似分形特性，则可以给出由满足( 2 7 ) 式的分形指数：d - 2 一日 当日一一】2 时，有x o f x 。， 根据这个定理，我们希望通过小波综合方程获得一个自相似信号作为我们 l o 山东大学硕士学位论文 的地标模式。我们选择数字序列s ) 一知f - 1 ，2 ，3 ，尺度因子口- 2 ，4 ，6 平移因 子f 一1 2 ，3 的h a 缸小波基构造信号 工( f ) - + 2 j s p l 一芝2 i s o ) ， 0 2 ”f f r 鲫一l m )( 3 1 1 ) 其中，m ) 为地标区域的平均每行非连续像素点个数，罗为整幅图像平 均每行非连续像素点个数， r ，o d 玎一z 朋) 为非地标区域的平均每行非连续像素 点个数。同理，对于地标区域每列的像素点也满足 j ( l m 卜) z o d h 一厶w ) o 1 对图片按行、列扫描检测出地标可能存在的区域，再对较小的行、列进行 合并或过滤后得到可能存在地标的区域，如图3 2 。 1 9 山东大学硕十学竹论文 图3 2 可能存在人工地标的区域 3 基于边缘像素点行、列检测 对图3 2 给出的可能存在地标的区域，设定边缘点数阈值n u m = 3 5 ，对行、 列进行扫描，进一步确定地标可能存在的区域。 4 边界调整 由于地标的打印或光照等影响，在步骤2 、3 搜索地标可能存在的区域时导 致地标的某些边缘像素被漏检，因此，为了保证地标的完整性，我们需要调整 边界。将地标可能存在的区域的上下左右四个边界各向外扩展3 个像素，减少 地标边界像素被漏检的概率。 3 3 人工地标的识别方案 通过上一节，我们获得了地标可能存在的区域，按照地标模式还需要对地 标区域迸一步识别，确认人工地标。 识别方案： 1 根据边缘图像，首先进行行扫描分析，计算各个边缘像素问的宽度，从而形 成一个宽度序列 缈一 - 鸭。峨( 3 - 1 3 ) 根据地标模式的特点，分析每行像素宽度序列，记录满足( 3 一1 4 ) 的各行 嵋：嵋+ - ：m + z ! ： ” ( 3 1 4 ) m ：坼+ l ：w f + 2 。4 ：2 ：1 其中f t n l o 同理，对每列进行列扫描。如果扫描结果表明此类行、列数卅，3 时，认为整个区域存在自相似图形。 2 为了准确完成地标的模式识别，我们还需要对外层的三个圆环进行判断。轮 廓识别往往采用曲线拟合或h o u 曲变换两种方法，由于我们使用的地标背景单 一，有效地克服了外界的干扰，同时为了保证实时性，我们选用二次曲线拟合 2 0 山东大学硕士学位论文 方法检测轮廓。 首先将区域内的边缘像素点按照连续性进行分组 忸纠= k m 魄力纯咒) ( 3 1 5 ) 其中，g 坊与0 钿乃0 为，邻域连续，对像素数超过2 0 0 的像素组g 玲利用二 次曲线拟合方法判断圆弧方程。首先从每一组1 ) 中尽可能分散地取三点 p ，p 2p 3 ，代入方程 瓴一毛) 2 + ( ) ，一y 0 ) 2 - ，2 0 2 一) 2 + ( ) ，2 一y o ) 2 一，2 一) 2 + 魄一凡) 2 一，2 ( 3 1 6 ) 求解可得圆心和半径，计算每一个像素点与该圆的距离。多次选取初始像 素点p ，p ：凡求取圆的参数，并计算每一个像素点与该圆的距离，选取最大绝 对误差和误差符号变化次数作为误差评测标准，选取使这两个参数最小的圆的 方程作为该组像素点的方程。 表3 1 圆参数 x 0 y 0 r 11 4 6 2 1 4 31 4 5 3 5 7 11 3 0 8 1 2 4 21 4 6 1 4 6 8 1 “8 6 9 3 1 0 9 2 7 1 4 31 4 5 7 0 0 0 1 4 4 7 0 0 0 8 7 3 6 0 1 41 4 5 7 4 3 21 4 4 5 0 0 07 5 7 2 5 6 51 4 5 7 0 0 01 “5 0 0 06 5 3 1 7 2 61 4 5 7 1 5 31 4 4 1 7 5 75 9 8 7 8 5 通过实验，获得六组圆的参数( 如表3 1 ) ，分析数据可知这六组圆共心，半径差 之比为2 1 5 4 1 ：1 1 6 3 4 5 ：5 4 3 8 7 4 ：2 ：1 。 综上，我们完全可以认为存在一个人工地标，它的中心点在( 1 4 51 钧。 3 ，4 基于人工地标的机器人自定位 我们首先从人工地标上提取诸多特征点，根据这些特征点使用t s a i 标定技 术对摄像头进行标定，然后确定机器人和人工地标之间的位置关系，如果已知 人工地标在环境中的坐标，就可以确定机器人的坐标，从而完成了机器人自定 位。 2 1 山东大学硕十学位论文 定位算法： 1 分析图片，提取、识别人工地标，将人工地标分割为信息部分和模式部分 2 识别地标的信息部分( 即0 rc o d e ) ，并求取q rc o d e 的边缘、四个边缘点以 及信息部分和模式部分的中心点( 如图3 - 3 ) 图3 - 3 地标信息部分边缘线 3 过地标模式部分的中心点作平行于q rc o d e 边缘线的两条直线，相交于地标 的外层模式部分( 即三个同心圆) ，记录交点的像素坐标( 如图3 - 4 ) 图3 _ 4 过信息部分边缘做平行线求取标定点 表3 2 所得2 4 个标定点坐标 参照点 1 234567891 01 1 像素坐标y 4 1 64 1 6 4 1 6 4 1 6 4 1 6 4 1 64 1 6 4 1 6 4 1 6 4 1 64 1 6 像素坐标x3 1 2 3 3 4 3 5 5 3 6 7 3 7 73 8 3 5 0 1 5 0 7 5 1 7 5 2 85 4 9 世界坐标y 1 9 51 9 5 1 9 5 1 9 51 9 51 9 51 9 51 9 51 9 51 9 5 1 9 5 世界坐标x 3 7 63 7 7 1 73 7 8 3 53 7 8 9 23 7 9 53 7 9 7 93 8 6 2 13 8 6 53 8 7 0 83 8 7 6 53 8 8 8 3 1 2 1 3 1 41 51 61 71 81 92 02 12 2 2 3 2 4 4 1 6 5 4 6 5 2 45 0 34 9 24 8 14 7 63 5 7 3 5 13 4 13 3 03 0 82 8 6 5 7 14 4 24 4 24 4 24 4 24 4 24 4 24 4 24 4 24 4 24 4 24 4 2 4 4 2 1 9 5 02 6 5 02 5 3 32 4 1 52 3 5 82 32 2 7 11 6 2 91 61 5 4 21 4 8 51 3 6 71 2 ，5 3 9 03 8 33 8 33 8 33 8 33 8 33 8 33 8 33 8 33 8 33 8 33 8 33 8 3 4 己知地标模式部分的半径和圆心的世界坐标( 本文将其人为设定成 k y ，z ) ；( 3 8 3 1 9 5 ，6 固) ，据此可计算步骤2 所得交点的世界坐标，利用t s a i 算法进 山东大学硕十学位论文 行标定，得到相应的外参数r 。t ，焦距f 和透镜变形系数k 1 f 一3 3 8 7 8 3 2 1 r 1 “2 5 3 2 l 【1 2 0 2 1 6 3 j ，- 6 5 2 5 9 n - 旬册8 8 查找摄像机说明手册d 。- o 舯6 1 6 8 7 ，4 ，- o 0 0 7 0 7 2 3 ，为简化标定过程，我们认 为倾斜系数s - 1 ，且光心坐标为成像平面的物理中心，为( 3 7 6 ，2 9 1 ) 。 5 根据步骤2 获得地标模式部分中心点的像素坐标为( u ，y ) m 2 ，4 1 6 ) ，该点的世 界坐标为( 3 8 3 ，1 9 5 ，6 8 ) ，使用( 3 4 ) 式求取该点的摄像机坐标，即该点相对摄像机 的位置关系，进行反变换即可确定摄像机的世界坐标系，再通过摄像机与机器 人的相互关系就可以求出机器人的位置。 表3 - 3 地标中心点坐标 地标中心点 x ( u )y ( 、，) z 像素坐标 4 4 24 1 6 世界坐标 3 8 31 9 56 8 摄像机坐标 3 2 4 7 1 6 9 7 8 35 1 5 1 7 2 根据地标中心点的摄像机坐标计算机器人所携带摄像机的世界坐标，将该坐标 作为机器人位置，和我们通过实测机器人摄像机的实际位置进行比较，分析误 差，检验机器人的定位结果。 表3 4 误差结果 机器人位置 xy z 计算位置 3 8 6 2 4 7 11 2 5 2 1 71 1 9 5 1 7 2 准确位置 3 8 5 51 2 31 2 0 5 误差 o 7 4 7 l o 2 2 1 7o 9 8 2 8 l l l 萎一 篙舢 咋 山东大学硕十学竹论文 3 5 本章小结 在本章中，我们根据上一章提出的基于q rc o d e 技术的二维自相似地标， 研究并设计了在复杂环境中地标的检测、识别方案，然后采用t s a i 标定技术， 在人工地标上零活提取标定点，完成了基于单个人工地标地机器人自定位工作， 实验结果表明机器人的定位结果和实际的位置只相差不到1 锄，和三角定位法 f 舡删相比该方法更加简单、准确。 山东大学硕十学位论文 第四章基于顶棚摄像机的环境建模 利用顶棚摄像机为机器人导航定位主要是通过构建环境模型，利用网络设 备使服务机器入实时获取环境地图，从而完成导航作业。本章基于颜色信息，