（控制理论与控制工程专业论文）足球机器人视觉系统及定位方法研究.pdf

摘要 摘要 机器人足球比赛是近年来在国内外兴起的一项高科技竞赛活动。本文以 r o b o c u p 中型组比赛为研究平台，设计了一种全向视觉系统，并在此基础上重点 研究基于全向视觉系统的机器人自定位方法。该视觉系统能够实时采集全景图 像，并快速有效的进行图像颜色分割、物体识别，最终完成机器人的自我定位。 视觉系统是足球机器人最重要的系统之一，它是机器人感知周围环境的信息 来源，相比较其他传感器，视觉系统能获得更为丰富的环境信息，因此国内外 对视觉系统的研究也最为深入。 由于普通摄像头存在视角较小的问题，本文参考其他学者的研究，实现了用 全向反射镜和摄像头组成的视觉系统，能够获得全景图像。同时为了提高图像 处理的实时性，采用了快速的方法识别场上物体，为定位和路径规划奠定基础。 在此基础上，对机器人的环境建立模型，并研究了机器人的基本定位方法， 主要是根据里程计数据的相对定位方法和利用路标的绝对定位方法。然后研究 了识别场地白线并用h o u g h 变换的定位方法。 由于普通定位方法的抗干扰性较差，在噪声较大的情况下会出现定位失败， 因此本文接着引入了当前流行的基于贝叶斯滤波的概率定位方法。首先阐明贝 叶斯滤波的原理，并对其中的概率模型进行描述。对于可信度的数学描述不同， 贝叶斯滤波可发展为卡尔曼滤波、多假设跟踪、粒子滤波等。接着对应用较为 广泛的卡尔曼滤波和粒子滤波进行研究，并将其应用到机器人定位中，通过实 验证明该定位方法的有效性和准确性。 关键词：足球机器人，视觉系统，定位，贝叶斯滤波，卡尔曼滤波，粒子滤波 a b s t r a c t a b s t r a c t r o b o ts o c c e rm a t c hb e c o m e sa p o p u l a rh i g h - t e c hc o m p e t i t i o ni nt h ew o r l d t h i s p a p e rd e s i g n sa l lo m l l i - d i r e c t i o n a lv i s i o ns y s t e ma n ds t u d i e so nr o b o ts e l f - l o c a l i z a t i o n b a s e do nr o b o c u pm i d - s i z em a t c h t h i ss y s t e mc a n c a p t u r eo m l l i - d i r e c t i o n a lp i c t u r e s ， c o l o rs e g m e n t a t i o n , o b j e c tr e c o g n i t i o na n dl o c a l i z et h er o b o ti nr e a lt i m e v i s i o ns y s t e mi so n eo ft h em o s ti m p o r t a n ts u b s y s t e m s i tc a ng e tm u c hm o r e i n f o r m a t i o no fe n v i r o n m e n tc o m p a r e dw i t ho t h e rs e n s o r s a sar e s u l t ，v i s i o ns y s t e mi s s t u d i e dm o r ed e e p l y r e f e r r i n gt oo t h e rs c h o l a r s s t u d y , av i s i o ns y s t e mc o m b i n e db yo m n i d i r e c t i o m i l m i r r o ra n dc a m e r ai sb u i l ti nt h i sp a p e rd u et ov i e wa n g l ep r o b l e mi nc o m m o nc a m e r a b e s i d e s ，af a s to b j e c tr e c o g n i t i o na l g o r i t h mi sa d o p t e dt oi m p r o v et h ee f f i c i e n c yo f i m a g ep r o c e s s i n g ，w h i c hi st h eb a s eo f s e l f - l o c a l i z a t i o na n dp a t hp l a n n i n g t h e nt h ee n v i r o n m e n ti sm o d e l e da n db a s i cs e l f - l o c a l i z a t i o nm e t h o d sa r es t u d i e d ， i n c l u d i n gr e l a t i v em e t h o dw i t ho d o m e t r yd a t aa n da b s o l u t em e t h o dw i t hl a n d m a r k ， a l s ow i t hh o u g ht r a n s f o r m a t i o nb a s e dm e t h o db yi d e n t i f y i n gt h ew h i t ef i e l dl i n e b e c a u s eo ft h ep o o ra n t i i n t e r f e r e n c e ，t h e s em e t h o d sm a yf a i lu n d e rt h e c i r c u m s t a n c eo fb i gn o i s e s s ot h ep r o b a b i l i s t i cm e t h o d sb a s e do nb a y e sf i l t e r i n g t h e na r ei n t r o d u c e d f i r s tt h et h e o r yo fb a y e sf i l t e r i n gi si l l u s t r a t e da n dt h e p r o b a b i l i s t i cm o d e l sa r ed e p i c t e d b a y e sf i l t e r sc a n b ed e v e l o p e di n t ok a l m a nf i l t e r s ， m u l t i h y p o t h e s i st r a c k i n g a n dp a r t i c l ef i l t e r s a c c o r d i n g t od i f f e r e n tb e l i e f r e p r e s e n t a t i o n s t h e nk a l m a nf i l t e r sa n dp a r t i c l ef i l t e r sa r es t u d i e da n da p p l i e di n t o r o b o ts e l f - l o c a l i z a t i o n t h ee x p e r i m e n t ss h o wt h ev a l i d i t ya n dv e r a c i t yo ft h i s l o c a l i z a t i o nt e c h n o l o g y k e yw o r d s ：s o c c e rr o b o t ，v i s i o ns y s t e m ，s e l f - l o c a l i z a t i o n ，b a y e sf i l t e r i n g ， k a l m a nf i l t e r , p a r t i c l ef i l t e r l i 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：莲战友 埘年? 月膀日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 盏啦乜 2 归孑年? 月7 彦日 第1 章引言 第1 章引言 1 1 概况 机器人是人类2 0 世纪最伟大的发明。机器人技术综合了多学科的发展成果， 代表了高技术的发展前沿，它在人类生活应用领域不断扩大，引起了国内外学 者的高度重视。特别是随着计算机技术和自动化技术的发展，机器人技术也取 得了飞速的进步。现在，机器人已经在科学勘探、工业制造、公共服务、家庭 娱乐等许多方面得到广泛的应用，成为人类最有力的工具和最亲密的朋友。 机器人的发展大致经历三个阶段，第一代是可编程的示教再现型机器人，首 先由操作者通过示教盒对操作机器人的运动轨迹、作业顺序等进行示教操作， 机器人控制系统将示教指令记忆、存储，应用时再根据再现指令顺序取出示教 指令，经过编译，在一定精度范围内复现示教动作；第二代是带有一定的传感 功能，包括视觉、力觉、触觉等功能，具有一定适应能力的机器人，这种机器 人可以根据传感信息调整控制算法；第三代则是智能机器人，这种机器人装有 多种传感器，并能将多种传感器探测到的信息进行融合，能有效地适应环境的 变化，具有很强的自适应能力，并具有自学习功能。 机器人技术是一门综合性学科，它综合了多种基础学科、技术学科以及新兴 科技领域的多方面知识，突出地体现了当代科学技术发展的高度分化而又高度 综合的这一特点。因此世界各国都非常重视机器人技术的研究。然而机器人学 涉及运动与分析、人工智能与专家系统、自学习、计算机视觉、语言与声音辨 识、多传感器与数据融合、柔性自动化等技术与学科，人们需要一种研究载体， 它既能满足机器人研究的要求又不需要太大的资余投入。足球机器人f 是在这 种要求下应运而生的。 1 2 课题背景和意义 机器人足球的设想首先是由加拿大不列颠哥伦比亚大学的教授a l a n m a c k w o r t h 在1 9 9 2 年的论文o ns e e i n gr o b o t s ) ) 中提出的，目标是经过约五十年 第1 章引言 的研究，创建一支机器人足球队，能够战胜人类足球冠军队。此想法一经提出， 便得到了各国科学家的普遍赞同和积极响应，国际上许多著名的研究机构和组 织开始开展此项研究，并将其付诸实现，不断推动相关技术的发展。由此产生 了国际上最主要的两大足球机器人比赛系列：r o b o c u p 和f i r a 。 r o b o c u p 1 】于1 9 9 7 年在日本成立，以自主式足球机器人为主。比赛项目可分 为仿真组、小型组、中型组、四腿组等。 f i r a t 2 j 于1 9 9 7 年在韩国成立，以集控式足球机器人为主。比赛项目包括 m i r o s o t 、n a r o s o t 、r o b o s o t 、s i m u r o s o t 等。 r o b o c u p 和f i r a 比赛每年各举办一次，比赛项目越来越丰富，参赛队伍日 益增多，国内外高校和研究机构也加大了对足球机器人的重视和研究，因此也 产生了大量的科技成果，极大的推动了人工智能和机器人技术的发展。 足球机器人是一个在智能机器人领域出现的典型的多自主体系统，是集视觉 技术、通讯技术、伺服控制技术、决策技术等多种技术的综合系统，是一种具 有高度自规划、自组织、自适应能力的自主体，是当前人工智能和机器人领域 的研究热点。 1 3 本课题的研究现状和发展趋势 视觉系统是足球机器人最为重要的传感器之一，它通过采集机器人周围环境 的图像，并对图像信息进行处理，从而识别周围物体，并据此得到机器人自身 位姿，以供机器人决策系统进行策略规划，产生相应的行为。 在国内外比赛中，全向视觉系统是参赛队伍采用的主流技术。全向视觉系统 由全向反射镜和摄像头组成，能一次性采集较多的信息，对周围感知能力较强， 克服了一般摄像头视野小的缺陷。对全向反射镜的研究主要集中在镜面形状， 有球面、双曲线旋转面、抛物线旋转面，不同的形状造成采集图像不同程度的 变形，需要根据摄像头的参数和全向反射镜的形状进行修正。为了克服图像变 形，一些队伍采用组合镜面【3 j ，得到比较好的图像效果。此外，为了加强对足球 的跟踪，有些队伍添加了一个前向摄像头，专门用于感知机器人前方的环境信 息，使得机器人运动快速，带球流畅。 视觉系统的图像处理也不断发展，由于r o b o c u p 比赛环境的特殊性，大部 分队伍根据颜色信息进行特征提取和物体识别，也有些队伍开始尝试使用边缘、 2 第1 章引言 形状和纹理等信息进行处理，这些方法都具有一定的通用性。 机器人的定位需要通过传感器获得各种数据，通常有里程计、陀螺仪、加速 度计、摄像头、超声波或红外线等等。定位方法可分为相对定位和绝对定位。 相对定位是利用里程计或陀螺仪等传感器得到机器人在一段时间的相对位移， 结合机器人上一时刻的位姿得到当前位姿，缺点是存在累计误差，时间越长精 度越差，而且当机器人出现打滑或碰撞的情况时，由于错误的传感器数据使得 该定位方法失效。绝对定位是采用激光、声纳或摄像头等，利用已知的环境信 息进行定位，容易受到干扰，短时间内波动很大。 近些年来，国内外对视觉定位进行了比较深入的研究。其原理是通过视觉传 感器获取周围景物的图像，提取景物中一些自然的或者人造的环境特征，通过 图像处理方法得到周围环境模型来实现定位。这种定位方法的优点是获取信息 量大、灵敏度高、成本低，缺点是易受环境光线影响、计算量大。随着视频设 备、计算机硬件设备性能的不断提升以及图像处理方法的不断改进，视觉定位 的整体性能将会有很大提高。视觉定位是自主机器人定位技术的一个发展趋势。 由于在机器人定位过程中，存在很多不确定因素：首先是机器人内部的不确 定性，如里程计误差和传感器噪声；其次是机器人所处的动态环境，即由于各 种外部因素使得环境时刻变化。由于这些不确定性因素，使得定位准确性、鲁 棒性较差，因此现在国内外学者把概率理论应用到机器人定位中。多传感器数 据融合技术的引入，使得纯几何的静态定位发展为对机器人位姿的动态跟踪。 这种发展可归因于贝叶斯等概率统计方法在移动机器人研究中的应用。通过概 率统计原理描述的各种不确定性情况及假设模型，机器人综合考虑运动和观测 情况以及即时环境信息等以适应高度变化的动态环境。目前这方面研究主要有 卡尔曼滤波、马尔科夫定位、粒子滤波。 此外，由于是多机器人比赛，因而可以充分利用机器人的信息共享，协同定 位，克服了单个机器人对环境信息获取不足的弊端。通过融合不同机器人的感 知信息，可以提高对环境建模的准确性和全局性。 由此，可以将视觉定位的发展概括为如下三个过程：研究方法从简单的几个 推理到较为复杂的概率统计法的应用过程；适用范围从简单的静态环境到复杂 的动态环境的扩展过程；研究对象从封闭式个体到分布式信息共享群体的系统 过程。 3 第1 章引言 1 4 课题研究的主要内容 本文以r o b o c u p 中型足球机器人为平台，对视觉系统进行研究，搭建起摄 像头和全向反射镜组成的全向视觉系统。然后对现有的自主移动机器人的视觉 定位方法进行了研究总结和归纳分析，对各种定位方法进行比较，并将其应用 到机器人定位中。 本文结构如下： 第1 章介绍本课题的研究背景和意义，国内外发展现状，并简单介绍r o b o c u p 比赛组织，同时也概述的介绍了参赛队伍所采用的视觉系统和定位方法。 第2 章首先介绍了本文所采用的足球机器人的硬件结构，从而对足球机器人 有一个全局认识。接着介绍软件开发平台，并对各模块作了简单的分析。 第3 章首先研究足球机器人视觉系统的硬件设计，然后选择颜色空间并在此 基础上对颜色进行标定，然后使用游程编码方法对图像进行预处理，并根据区 域的颜色和属性识别物体，使其具有一定的实时性和准确性。而对场地白线采 用简单快速的识别方法。 第4 章主要讨论足球机器人的静态定位方法。首先建立环境模型，搭建全局 坐标系、机器人坐标系、图像坐标系，然后研究典型的用里程计进行机器人位 姿跟踪的方法，并分析用几何关系推导的定位方法。最后研究通过识别白线利 用h o u g h 变换进行定位的方法。 第5 章首先对第4 章的定位方法的弊端进行探讨，接着引入当前应用广泛的 以贝叶斯滤波为基础的定位方法：卡尔曼滤波和粒子滤波，并将其应用到机器 人定位中，通过实验验证其有效性和准确性。 第6 章总结了论文完成的工作，并对未来的工作进行了展望。 4 第2 章足球机器人系统结构和软件平台 第2 章足球机器人系统结构和软件平台 21 比赛规则简介 r o b o c u p 中型足球机器人是在1 2 m 8 m 的场地上进行比赛如图2 1 。比 赛规则要求机器人的体积要小于5 0 c r u x 5 0 e m x 8 0 e r a ，且带有色标以区分双方。 场上物体以各种彩色标记：球为橙色，球门为黄色和蓝色，角柱为蓝黄相间。 机器人必须是全自主的，也就是传感器信息获取、决策规划以及运动控制都是 由机器人自身完成，机器人之间通过无线网络进行通讯协作。 蚓2l 比赛场地 r o b o c u pl 】型组足球比赛提供了一个多机器人系统的研究和教育、f 台，是智 能移动机器人技术的完美体现。 22 系统结构 本课题实验所用机器人为自土研制的全向移动机器人，负l 图22 。该机器 人从硬件结构上可以分为运动子系统，视觉子系统，决策子系统和通讯子系统， 第2 章足球机器人系统结构和软件平台 如图2 3 。 臣避菡谶 囤22 中型足球机器人 2 21 运动子系统 陶23 机器人系统结构 足球机器人要求反应迅速，运转灵活，以便完成发球、传接球、踢球、防九 断球、射j 等动作，因此运动性能是评估移动机器人的重耍参数。运动予系统 包括乍轮，电机控制器等组成。控制器根据主机的命令渊节电机转速和方向， 从而控制机器人的运动。 车轮采用三轮全向轮，全向轮不存在非完整约束，它可以向任意方向做直线 第2 章足球机器人系统结构和软件平台 运动而不需要事先旋转，并且可以在直线运动中同时做自身旋转运动，从而能 够快速到达目标位置和姿态角，机器人就能在比赛中表现出运动快速灵活，易 于控制。此外，许多队伍采用四轮全向轮，使得各个方向上的加速度性能比较 均匀，加速度的大小受方向影响较小。随着r o b o c u p 比赛的发展，机器人的灵 活性在比赛中越来越重要，因此，采用全向移动技术已经成为发展趋势。 电机对移动机器人运动的快速性起关键作用。相对步进电机而言，直流伺服 电机的功率较大，能保证足够的速度、控制方便，被大多数队伍采用。电机的 选择需要综合考虑电机成本，尺寸和机器人自重，达到所需运动性能要求。本 课题实验采用m a x o n 公司的2 4 v 5 a 直流电机和控制器，机器人通过串口与控制 器通讯，而控制器之间通过c a n 总线通讯，使得机器人能够达到4 m s 的运动速 度，满足比赛的要求。 2 2 2 视觉子系统 视觉子系统也是足球机器人的基础和关键。机器人只有通过视觉系统感知周 围环境，才能进行相关决策，控制机器人运动，完成任务。一般而言，视觉系 统的实现方式可以分为局部视觉系统方式和全维视觉系统方式：局部视觉系统 采用普通摄像机，其局部成像变形较小、使用方便，但是其视角比较小，很难 满足比赛的实际要求；而全维视觉可以完整的观察周围3 6 0 度的环境，比较满 足复杂多变的比赛环境。 本文所实现的视觉子系统由摄像头、反射镜、固定装置、设备接口和图像处 理软件组成。采用b a s l e r6 0 1 f c 的彩色摄像头，以3 0 f p s 的速度采集图像，图像 大小为4 8 0 x 4 8 0 ，通过1 3 9 4 接口把图像数据传送到主控笔记本，由图像处理程 序进行处理，识别出球和球门，并完成自我定位，为决策子系统提供分析决策 的依据。反射镜采用双曲线的镜面参数，满足单视点要求。由摄像头和全向反 射镜组成的视觉系统可以完整的观察周围环境并具有一定角度的垂直视角，并 且结构简单紧凑，成本较低，因此被广大参赛队伍所采用。 2 2 3 决策子系统 在足球机器人系统中，决策子系统是整个系统的大脑和中枢，其任务是根据 视觉系统给出的环境信息，从预先设定的策略中做出f 确的反应，然后给运动 7 第2 章足球机器人系统结构和软件平台 系统发出指令，从而决定机器人的实际运动轨迹。决策子系统综合分析各种传 感器数据，从策略库中调用合适的决策方式，对机器人进行决策分配、路径规 划、动作安排、战术配合等。本文采用的主控机是d e l l 笔记本电脑，通过1 3 9 4 接口接收摄像机的图像数据，通过u s b 转串口数据线与电机控制器进行通讯。 2 2 4 通讯子系统 由于多个机器人共同比赛，因此彼此间的协作至关重要。比赛中机器人扮演 各自角色，然而比赛瞬息万变，机器人在交换信息的同时进行整个队伍的决策 规划，角色转变，因此，通讯是机器人共同配合完成任务的重要环节。 机器人的主控机上配有无线网络，可以通过无线通讯进行信息交换，实现多 个机器人之间的协作。 2 2 软件平台 搭建完机器人的硬件结构后，就需要用软件实现机器人的各部分功能。由于 足球机器人比赛的动态性，因此对软件设计提出了较高的要求。一个具有处理 速度快，结果准确，操作简单的软件系统才能满足比赛要求。本文所用的主控 机是d e l l7 0 0 m ，开发环境是v c + + 6 0 ，可直接调用摄像头和运动控制器提供 的开发包。 2 2 1 设计思想 由于系统结构可分为若干子系统，且相互比较独立，因此可以采用模块化的 编程方案，将整个系统分为以下几个模块：运动模块、视觉及定位模块和决策 模块，如图2 4 。 8 第2 章足球机器人系统结构和软件平台 环境信息 图2 4 软件系统模块及流程 编码器数据 由于机器人在运动中需要时刻采集视觉传感器数据和编码器数据，因此采用 多线程技术，主线程主要负责图像和数据的显示以及界面操作，各模块在后台 的辅助线程中运行。软件界面如图2 5 。 9 第2 章足球机器人系统结构和软件平台 罔25 软件界面 整个软件设计采用面向对象技术，把备模块封装在类里，如图26 。通过使 面向对象技术，可以降低各模块的耦合度，从而可以对各模块单独实现和调 第2 章足球机器人系统结构和软件平台 图2 6 软件主要组成类 2 2 2 运动模块 运动模块接受决策模块的行为指令，分解成对各个电机控制器的命令，并传 送给各控制器，达到所要求的运动。 本文采用m a x o n 公司提供的电机和控制器，并提供二次丌发包，我们通 过调用提供的函数与控制器进行通讯，从而控制电机转速和方向。其提供的一 些主要函数如表2 1 ，将这些相关函数封装到c m a x o n 类，供c m o t i o n 类和 c o d o m e t r y 类调用。 第2 章足球机器人系统结构和软件平台 表2 1i 从x o n 控制器主要函数 函数功能 v c s _ o p e n d e v i c e ( ) 打开控制器 v c sc l o s e d e v i c e ( )关闭控制器 v c s _ s e t p r o t o c 6 1 s t a c k s e t t i n g s ( ) 控制器通讯设置 v c s _ s e t o p e r a t i o n m o d e ( ) 模式设置 v c s _ s c t v c l o c i t y p m i l l e ( )速度参数设置 v c ss e t p o s i t i o n p r o f i l e ( )位置参数设置 v c s _ m o v e w i t h v e l o c i t y ( )速度控制 v c sm o v e t o p o s i t i o n ( )位置控制 v c sg e t p o s i t i o n l s ( ) 得到编码器信息 根据机器人的运动学方程，机器人的移动速度可以推导出各个轮子的转速， 因而对电机转速的调节可以得到任意的机器人运动速度和方向，方法如图2 7 。 图2 7 机器人速度转换为电机转速 因此整个运动控制的流程如图2 8 。 1 2 第2 章足球机器人系统结构和软件平台 运动控制代码示例如下： 图2 8 运动控制流程 代码2 1 运动控制示例 另外，机器人可以调用v c s g e t p o s i t i o n l s ( ) 得到电机编码器数据，结合罩 程计方法得到机器人相对位移，发送给定位模块用于位姿跟踪或全局定位。 1 3 第2 章足球机器人系统结构和软件平台 2 2 3 视觉及定位模块 视觉模块负责对机器人的图像进行处理，提取物体特征，将物体的特征信息 发送给定位模块和决策模块。定位模块根据视觉模块提供的物体距离和角度信 息，结合里程计的机器人相对位移，对机器人进行定位。 本文采用的摄像头为b a s l c r6 0 1 f c 型号，并提供二次开发包。其提供的一些 主要函数如表2 2 ，将这些相关函数封装到c b a s l c r 类里，供c v i s i o n 类调用。 表2 2b a s l e r 摄像头主要函数 函数功能 b c a m o p e n ( )打开摄像头 b c a m c l o s e ( )关闭摄像头 b c a m s e t d e o m o d e ( ) 摄像头模式设胃 b c a m g r a b l m a g e ( )采集图像 通过g r a b i m a g e ( ) 函数采集图像数据并放入内存中，就可进行图像处理。对 于视觉模块，我们可以分成离线处理和在线处理两部分。 离线处理通过保存在文件中的图像进行颜色标定，建立颜色表，通过对大量 的图像文件进行处理，可以对物体识别算法进行验证。 在线处理主要是在动态环境下，对物体的识别及跟踪，并为定位提供数据。 整个视觉模块流程可用图2 9 表示。 视觉模块代码示例如下： 图2 9 视觉模块流程 1 4 第2 章足球机器人系统结构和软件平台 代码2 2 图像处理示例 从视觉模块中得到物体特征点信息后，就可用于机器人定位。机器人定位可 分为静态定位和动态定位，如图2 1 0 。 2 2 4 决策模块 图2 1 0 机器人定位模块 决策模块接受到视觉模块的环境信息和定位模块的机器人自身位姿，就可据 此做出决策判断。机器人从决策库中选择适当的决策，并命令运动模块做出相 应的行为，一些基本决策如表2 3 。 1 5 第2 章足球机器人系统结构和软件平台 表2 3 基本决策行为 决策函数 停止i d l e 0 跟球f o l l o w 0 自转r o t a t e 0 绕球转a r o u n d ( ) 带球 d r i b b l e0 射门s h o o t 0 后退w i t h d r a w 0 决策模块流程可用图2 1 1 表示。 2 3 本章小结 图2 1 1 决策模块流程 本章介绍了机器人的硬件结构及各子系统，然后用面向对象技术将整个软件 系统分成若干模块，模块之间通过接口函数进行通讯，并将电机控制器和摄像 头的硬件接口函数封装成下层类，供上层各模块使用，实现算法与硬件的分离， 可重用性强且调试方便，实践证明这种设计方案能较好的满足软件系统开发的 要求。 1 6 第3 章视觉系统和图像处理 3 1 概述 第3 章视觉系统和图像处理 视觉系统是机器人最主要的传感器，也是能提供丰富的环境信息的最佳传感 器，当然这也增加了信息处理的难度。在足球机器人比赛中，视觉系统的主要 任务是识别场地上的足球、球门、角柱、己方和对方机器人等，为决策系统提 供信息基础。这些任务必须有较好的实时性，这样机器人才能迅速做出决策判 断，并完成相应任务。特别在机器人激烈的比赛中，取胜的关键很大程度上是 机器人迅速完成找球、带球、射门等一系列任务，并使对方机器人无法在较短 时间内组织防御，可见，实时性是比赛的重中之重。而在机器人视觉感知、决 策规划、运动控制环节中，视觉处理所占用的时间较大，因此国内外队伍在视 觉系统中深入研究，希望提高图像处理速度来提高机器人在比赛中的实时性。 中型足球机器人的视觉系统包括硬件设计和软件图像处理。为了满足实时性 和可靠性，视觉系统的设计要满足如下条件： 1 硬件上，有足够的水平视角和垂直视角，能看到较大范围的周围环境； 有足够的分辨率，使得远处物体的图像有较多像素；硬件加工安装方便，成本 较低。 2 软件上，能较快完成图像处理，对周围物体进行识别，有较好的实时性 和准确性，对噪声具有一定的抗干扰性。 3 2 硬件设计 考虑到视觉系统能够采集较多的环境信息，并参考国内外队伍的方案n ， 设计了用摄像头和全向反射镜组成的视觉系统，如图3 1 。 1 7 第3 章视觉系统和图像处理 33 图像处理 凹32 全向反射镜 在构建出全景视觉系统的硬什结构之后，能够采集到场地环境3 6 0 度的全景 图像。下面介绍图像处理“1 的设汁与实现，即如何对采集到的图像进行颜色分割、 特征提取，井泓别出球、球门和角柱。 第3 章视觉系统和图像处理 3 3 1 颜色空间 颜色空间是表示颜色的一种数学方法，用来描述颜色。颜色空间通常用三维 模型表示，即一种颜色可以用三个相对独立的属性描述，这三个属性就构成颜 色空间。不同的三属性组合，构成不同的颜色空间。比较常用的颜色空间有r g b 。 颜色空间、y u v 颜色空间、h i s 颜色空间。 1 r g b 颜色空间 r g b 颜色空间以红、绿、蓝三种基色作为显示彩色的基础，是最常用的颜 色空间，以r 、g 、b 、三个参数为坐标，可以用一个单位立方体来描述r g b 颜 色空间，如图3 3 所示： 图3 3r g b 颜色空间 r g b 空间的优点是简单直观，而且可直接使用无需转换。但同时也有很多 缺点，比如，它不适合人的视觉特征；在r g b 色彩空间中三个分量的相关性很 大，不能够用该空间中两点的距离来衡量两种色彩的相似程度；另外光照强度 的改变对r g b 三个分量的值也会有较大的影响，使得一种颜色的r g b 值在场 上不同位置有较大的变化，这样在选择阈值的时候就比较复杂，容易出现错误。 通过以上分析可以发现r g b 空间不适合颜色分类。 2 y u v 颜色空间 1 9 第3 章视觉系统和图像处理 颜色空是仅次于r g b 的使用最广泛的颜色空间。v u v 是被欧洲电视 系统所采用的一种颜色编码方法( 属于p a l ) ，主要用于优化彩色视频信号的传 输，使其向后兼容老式黑白电视。其中，y 为亮度，u 、v 为蓝色和红色与亮度 之间的色差。 颜色空间去掉了各个分量之间的相关性，亮度信号y 和色差信号u 、 v 分离，使得u v 分量对光线强度有较强的抗干扰，而且包含了所需的颜色信息， 因此可以利用进行颜色分割，效果较好。 3 h s i 颜色空间 h i s 颜色空间将颜色信息分为色调( h ) 、饱和度( i ) 和亮度( s ) 三种属性，如图 3 4 ，其中色调属性能比较准确反映颜色种类，对外界光照条件敏感程度较低。 对于同一种颜色属性物体，色调具有比较稳定和较窄的颜色变化范围，可以作 为识别颜色的主要参数。饱和度为一比例值，它表示所选颜色的纯度和该颜色 最大的纯度之间的比率，反映了彩色的浓淡。亮度表示颜色的明亮程度，它只 和光的能量有关，而与光的颜色无关。 黄 ll 品叁 闷b 蓝 捌 7 h 一 黑 s 图3 4h s i 颜色模型 与y u v 颜色空间类似，h s i 颜色空间对于光线变化具有一定的不变性，有 利于颜色区分。在实际应用中，色调和饱和度包含大部分颜色信息，可利用这 两个分量进行特这提取，而亮度分量只起辅助作用。 4 颜色空间的选择 2 0 第3 章视觉系统和图像处理 由于r g b 颜色空间各分量易受光照条件影响，且相互独立性较差，因此不 太适合采用r g b 模型。另外，由于选用的b a l s e r6 0 1 f c 摄像头直接输出格 式，因此可直接利用来进行图像处理。 而在图像显示时需要用到r g b 格式，因此要用到到r g b 的转换公式： r = 1 1 6 4 3 8 3 幸( 】，一1 6 ) + 1 5 9 6 0 2 7 ( v - 1 2 8 ) g = 1 1 6 4 3 8 3 宰( y - 1 6 ) - 0 3 9 1 7 6 2 ( u - 1 2 8 ) - 0 8 1 2 9 6 8 奉( 矿一1 2 8 ) ( 3 1 ) b = 1 1 6 4 3 8 3 幸( y - 1 6 ) + 2 0 1 7 2 3 2 母( u - 1 2 8 ) 在实现时，考虑到转换的速度，可以事先把系数放入数组中，通过查表法可 以快速得到对应的r g b 值。 r = l u t y y + l u t r v v g = 三u t y y + l u t g u u + 三u t g v v 】 ( 3 2 ) b = l u ty 】厂1 + l u r 召u r u l 一- j 一。j 格式有很多种，如y u v 4 4 4 ，y u v 4 2 2 ，4 1 1 等，这些y u v 格式 的区别主要在于u v 数据的采样方式和存储方式。在本文中采用y u v 4 2 2 格式， 即每个像素保留y 分量，而u v 分量在水平方向上每两个像素采样一次。 图像数据中分量排列顺序如下：y 0u o y lv 0 y 2 u 2y 3v 2 其像素点信息为： y 0u 0v 0 y 1u 0v 0 】 y 2u 2v 2 】 y 3u 2v 2 】 3 3 2 颜色标定 由于颜色识别易受光照条件和环境变化，因此我们需要事先进行颜色标定。 颜色标定就是根据图像中像素的颜色信息进行颜色分类，以确定其所属颜色。 由于在r o b o c u p 比赛中，场地上的各个物体具有明显的颜色区别，因此各队都 利用颜色信息进行物体识别。颜色标定可以分为手动标定和自动标定。手动标 定是在比赛前，采集多幅图像，通过人的视觉观察人为标定其颜色。自动标定 就是机器人自主学习进行颜色分类。手动标定步骤繁琐，耗时多，但标定结果 的效果较好，稳定性强，因此大多数队伍还是采用手动标定的方法。 1 手动颜色标定 手动标定颜色就是在离线情况下，采集一些具有典型性的图像。比如把机器 人放置于球场中心、球门前、角柱前以及球前的几个特定位置，采集全景图像， 2 1 第3 章视觉系统和图像处理 通址人眼观察标识出国像中感兴趣的像素的颜色分类，包括蓝色球门、黄色球 门、红色球、绿色场地等。为了标定方便，可通过鼠标画框确定像素范围，然 后指定其颜色，如图35 。 2 自动黛色标定 躅35 颜色标定 国内外在机器人领域韵研究大部分是基于已知环境下，但由于在很多境况 下t 需要机器人在未知环境下完成任务，使得机器人对未知环境的适应性也是 重点考察指标，冈此昂近对未知环境的研究也成为重点。在机器人足球比赛中， 设计一种能适应光照变化的自动颜色标定方法使得机器人对比赛环境的适应能 力大大加强。开前有基于k - 均值聚类 3 的方法，首先采用r e t i n e x 的方法提高颜 色连续性，然后进行k - 均值聚类，结果产生一个颜色分类表，用于基于颜色的 图像分割和目标识别。这种方法适用于各类特征的颜色之间有明显区别，且各 类样本的数目相差不大的情况下，这种条件在比赛中很难满足。虽然采用了提 高颜色连续性的方法增大r 各类之i 玎的区别，但是在聚类之后j 丕需人工判别 各类所属的特征。而且聚类按照最近临的方法进行分类，很可能将无效的区域 划分到某一类中造成干扰。冈此在比赛中迁小是很实用。 在对颜色特征杯定完之后，就可以根据标定信息对罔像像素进行颜色分类。 颜色分类是图像处理的6 u 期t 作，因此应满足速度快、方法简单，日前主要有 两种方式：阀值法和查询表法。 第3 章视觉系统和图像处理 1 阀值法是在颜色标定时确定颜色值的上下阀值，然后与像素点的 进行比较，当落在某一颜色的阀值空间时，可认为属于此种颜色。用公式 表示： i y y 帐 u 二u u 蛳= p i x e l ，o ，= c o l o r c l a s s ( 3 3 ) 【y 由此可见，确定一个像素的颜色需要用6 条判断语句，且颜色种类越多，判 断语句也就越多。因此这种方法效率很低，不适合图像处理的实时性要求，需 要找到一种较为快速的解决方案。在实际应用中，用一组布尔值向量表示颜色 的阀值空间，然后用位与运算就可判断该像素是否属于颜色类。由于值 0 - 2 5 5 ，因此每个阀值向量有2 5 6 个元素。例如红色的y 1 9 】，u 5 8 】， v 7 9 】，则得到的红色向量为： v - c l a s s = o ，1 ，l ，1 ，1 ，1 ，1 ，1 ，l ，1 ，o ， u _ - c l a s s = o ，0 ，0 ，0 ，0 ，1 ，1 ，1 ，1 ，0 ，o ，) v - c l a s s = o ，0 ，0 ，0 ，0 ，0 ，0 ，1 ，l ，l ，o ，) 当一个像素点的值为 1 ， 5 ，9 时，判断 y _ c l a s s 1 u _ c l a s s 5 v c l a s s 9 ，得到结果为l ，说明此像素点属于红色； 若像素点y u v 值为 3 ，7 ，5 ，得到y l a s s 3 u _ c l a s s 7 v _ c l a s s 5 为o ， 说明该像素点不属于红色。 这种方法还适用于多种颜色的区分，即将各种颜色的阀值向量合并为一个向 量。例如红色的ye 1 9 】，u 5 - 8 】，v 7 - 9 】，而蓝色的y 【3 1 0 】， u 7 9 】，v 3 7 1 ，则颜色向量为( 红色前位，蓝色后位) ： y _ _ c l a s s = o o ，1 0 ，1 0 ，1 1 ，1 1 ，1 1 ，1 1 ，1 1 ，1 1 ，1 1 ，0 1 ，) u - - c l a s s 2 o o ，0 0 ，0 0 ，0 0 ，0 0 ，1 0 ，1 0 ，11 ，1 1 ，0 1 ，o o ，) v - - c l a s s 2 o o ，0 0 ，0 0 ，0 1 ，0 1 ，0 1 ，0 1 ，11 ，1 0 ，1 0 ，0 0 , - - ) 考察y u v 值为 1 ，5 ，9 ) 的像素点，由于y _ c l a s s 1 uc l a s s 5 & v c l a s s 9 得到1 0 ，因此该点属于红色，不属于蓝色。而对于点 3 ，7 ，5 ) ，得到0 1 ，因 此判断为蓝色，而不是红色。 这种方法占用2 5 6 3 个字节，通过位与运算，提高了处理的速度，适合比 赛要求。 2 另一种方法是查询表法，即将颜色表保存到内存中，直接通过查询此表 2 3 第3 章视觉系统和图像处理 即可得到颜色类别，即： p i x e l 。o l o , ，主。，l o o k u p t a b l e y u v ( 3 4 ) i r h ，e ，捌 由于各有2 5 6 个值，直接使用查询表需要占用2 “个字节，大量消耗内 存。可以将各右移2 位，压缩至6 4 个值，则占用内存减少为2 1 8 个字节， 并且对噪声有一定的抑制，较适合比赛。 阀值法和查询表法是综合考虑速度和内存的一种平衡处理。由于主控笔记本 内存较大，且查询表法实现较为简单，因此采用查询表法进行颜色分割。 3 3 3 区域连接 在完成颜色标定并对图像中的所有像素进行颜色分割【8 】后，就可通过简单的 几个值对图像编码，同时可以形成连接区域。区域连接就是通过颜色标定得到 每个像素点到颜色所属类别，在此基础上将邻接的属于同一物体的像素合并成 一个区域。由于这一过程比较耗时，需要设计一种算法提高实时性。本文将采 用游程编码【9 】连接区域，整个过程可分为两个阶段： 第一阶段，对已颜色分类的图像进行横向扫描，并对颜色相同的相邻像素进 行游程编码，记录其起始位置、长度和所属类别。在机器人视觉中，图像中相 邻像素的变化较少，我们可以把颜色相同的相邻像素归为一个游程，使得后续 对图像的处理可以在游程的基础上进行，而不是在一个个像素上，这样既对图 像进行了压缩，也提高了后续图像处理的速度。而且在区域合并中，由于水平 区域在游程编码中已经连接，因此只需考虑垂直连接性。 第二阶段，对图像进行纵向扫描，判断相邻两行颜色相同的游程是否邻接， 并记录其关系。可以通过树结构实现，使相邻且颜色相同的游程指