（控制理论与控制工程专业论文）基于彩色图象的足球机器人视觉系统设计.pdf

摘要 衙展机器人足球赛，最大的好处是能够将人工智能技术、计算机视觉等领域的研究成 果与实践结合起来。借助机器人足球赛对人工智能技术、计算机视觉技术的研究成果进行 检验，探索多个智能机器人在不可预测的动态环境中如何密切配合、协同作战，使人工智 能技术、计算机视觉技术更加成熟，并加速它们的商品化、产业化进程。机器人视觉要在 一秒内给出十几次甚至几十次球场实体识别的结果，这种实时性要求属于图像处理的前沿 课题。足球机器人平台，为人工智能研究领域，特别是对多智能体系统的研究提供了很好 的试验载体。而视觉系统是其最为基本的，也是最为关键的一个子系统，其研究意义是显 然的。 对于计算机视觉系统，实践证明彩色是一个强有力的视觉特性和图象特征。基于彩色 图象的视觉系统，是切实可行的，而且能克服很多使用几何特性和灰度强度方法所不能解 决的问题。对旋转、比例和分辨率等变化的承受能力，使它成为图像分割中一个非常有吸 引力的信息源。尽管有很多的优点，但它也存在一些问题。如彩色感知非常依赖于光照， 这一现象是基于彩色的图像分割所面l 临的一个主要挑战。) 本文进行了基于彩色图象的足球机器人视觉系统的设计，使运动机器人具有实时的感 知能力。通过详细的文献回顾，学习了最新发展水平的基于彩色图像分割及跟踪算法，也 对一些图像分割及目标跟踪算法进行了比较分析。探讨了影响彩色感知效果、如改善目标 识别精度、如何提高目标识别速度和如何克服变化光照条件对识别的影响等问题。实时性 和自适应性是足球机器人视觉系统的设计难点，而且在系统基本满足实时性及自适应性的 前提下，更进一步则是加强系统的鲁棒性能和提高系统的识别精度。 在视觉系统的设计实现过程中，本文提出了将恒定阈值方法、自适应阂值方法，以及 统计模型方法应用于系统的象素分类阶段。同时在目标区域合并( 分割) 阶段，提出了基于 全局扫描的分割算法、行程编码图中基于树的区域查找算法和基于统计的区域特征量计算 方法。实验结果表明这些方法都是可行且有效的，而且比较理想的解决了实时性及自适性， 也使得系统鲁棒性能好，目标识别精度较高。所开发的视觉系统综合运用这些方法，从而 实现了一个鲁棒性能好、识别精度高、处理速度快的视觉系统。 关键字：足球机器人，实时视觉系统，基于彩色的分割，高斯分布密度，彩色滤波，视频 捕获，目标跟踪。 k 一 、， a b s t r a c t h o l d i n g s o c c e rr o b o tg a m eh a sa g r e a t b e n e f i t i e i tc a nc o m b i n et h e o r i e so f t h ea r t i f i c i a i i n t e l l i g e n c e ( a i ) a n dc o m p u t e r v i s i o nw i t hp r a c t i c e w ec a np r o v et h o s et h e o r i e sa n de x p l o r e h o w m u l t i p l ei n t e l l i g e n tr o b o t sc o o p e r a t ei nu n c e r t a i nd y n a m i c i n v i r o n m e n ti ng a m e w ea l s o c a np e r f e c tt h o s et h e o r i e sa n ds p e e du pt h ep r o c e s st h a tt h o s et h e o r i e sa r ec o m m e r c i a l i z e da n d i n d u s t r i a l i z e db yt h eg a m e t h er e a l t i m eo f t h ev i s i o ns y s t e mo f s o c c e rr o b o ti sas t a t eo f t h ea r t r e s e a r c ht a s ki ni m a g ep r o c e s s i n g s o c c e rr o b o tp r o v i d e sa ni n s t r u m e n tf o rt h ee x p e r i m e n t a t i o n o f t h ea r t i f i c i a li n t e l l i g e n c e ( a i ) a n dc o m p u t e rv i s i o n t h ev i s i o ns y s t e mi st h em o s te s s e n t i a l s u b s y s t e mo f s o c c e rr o b o t t h es i g n i f i c a n c eo f s t u d y i n g v i s i o n s y s t e mi sa o p a r e n t c o l o rh a sp r o v e nt ob eap o w e r f u lv i s u a lc u ea n di m a g ef e a t u r ef o rc o m p u t e rv i s i o n i ti s c o m p u t a t i o n a l l yf e a s ! b l e ，a n di to v e r c o m e sm a n yp r o b l e m sa s s o c i a t e dw i t hg e o m e t r i cc u e sa n d g r a ys c a l ei n t e n s 时t h ec a p a b i l i t yt oe n d u r e r o t a t i o ni nd e p t h ，a n ds c a l ea n dr e s o l u t i o n c h a n g e s m a k e si ta na t t r a c t i v ea p p r o a c ht oi m a g es e g m e n t a t i o n d e s p i t et h em a n y a d v a n t a g e s ，c e r t a i n p r o b l e m s a r ea l s oa s s o c i a t e dw i t hc o l o r t h ef a c tt h a tt h ep e r c e i v e dc o l o ri sg r e a t l yd e p e n d e n t o ni l l u m i n a t i o ni so n eo f t h em a j o r c h a l l e n g e si nc o l o r - b a s e ds e g m e n t a t i o n i nt h i s p a p e r ar e a l t i m ec o l o r - b a s e dv i s i o ns y s t e mi sd e s i g n e d m o b i l er o b o th a st h e r e a l t i m ep e r c e p t u a lc a p a b i l i t yb ye m p l o y i n gt h ev i s i o ns y s t e m i ns o m el i t e r a t u r e ，w ek n o w s o m ec o l o r - b a s e di m a g e s e g m e n t a t i o na n dt r a c k i n ga l g o r i t h m sa n da n a l y z es o m ec h a r a c t e r i s t i c s o ft h e m w ed i s c u s ss o m ei s s u e st h a tm a ya f f e c tt h eq u a l i t yo fc o l o ri m a g e a n ds oo ni ti s d i 佑c u l tt oa c h i e v ear e a l t i m ea n d s e l f - a d a p t i v ev i s i o ns y s t e m f u r t h e r m o r e i ti sn e c e s s a r yt o e n h a n c er o b u s ta n d p r e c i s i o n f o rv i s i o ns y s e m i nt h e p r a c t i c a ls e c t i o n ，t h r e ep i x e ll a b l i n ga l g o r i t h m s a r ei n t r o d u c e d i e i n v a r i a b l e t h r e s h o l dm e t h o d ，a d a p t i v et h r e s h o l dm e t h o d ，a n ds t a t i s t i c a lm o d e im e t h o d a tt h es a m et i m e t h r e e r e g i o ns e g m e n t a t i o na l g o r i t h m sa l s o a r e i n t r o d u c e d ，i e g l o b a l b a s e ds e g m e n t a t i o n a l g o r i t h m ，t r e e - b a s e dr e g i o n f i n di nr l em a pi m a g e ，a n ds t a t i s t i c b a s e d r e g i o n f e a t u r e c o m p u t a t i o na l g o r i t h m e x p e r i m e n t s a n dr e s u l t si n d i c a t e t h a tt h o s e a l g o r i t h m a r e c o m p u t a t i o n a l l y f e a s i b l ea n de f f e c t i v e t h e s ei ss u f f i c i e n tt o a c h i e v ear e a l t i m ea n d s e l f - a d a p t i v ev i s i o ns y s t e ma n de n h a n c er o b u s ta n dp r e c i s i o n t h ei m p l e m e n t e ds y s t e m ，w h i c h b a s e do nt h ep r o p o s e d a r c h i t e c t u r e ，i sr o b u s tt o o k e y w o r d s ：s o c c e rr o b o t ，r e a l t i m ev i s i o n s y s t e m ，c o l o r b a s e ds e g m e n t a t i o n ，g a u s s i a n d i s t r i b u t i o nd e n s i t yf u n c t i o n ，c o l o r f l t e r , v i d e oc a p t u r e ，o b j e c tt r a c k i n g 2 弓 中南大学硕士学位论文 徐大宏：基于彩色图象的足球机器人视觉系统设计 第1 章前言 当今社会，移动机器人( m o b i l e r o b o 乜) 正逐渐地进入人们的日常生活。索尼公司的机器 宠物f a i b o ) 、机器人世界杯足球赛( r o b o c u p ：r o b o t w o r l dc u ps o c c e rt o u r n a m e n t ) 和微型机 器人世界杯足球赛( m i r o s o t ：m i c r o r o b o tw o r l dc u p s o c c e rt o u r n a m e n t ) ”1 可能是移动机器人 技术实现应用突破的最明显例证。即使这些应用看起来纯粹是娱乐，但研究机器人的实际目 的是通过使用移动机器人而让我们的日常生活更轻松，更富有乐趣。机器人吸尘器和剪草机、 清洗机器人和消防机器人等己进入实用阶段，而且更多的实际应用也是可以实现的，如工业 机器人等。在实验室里，移动机器人己能够完成传递信件、开关门、搬运物体、导航以及在 某种程度上与人进行交流等功能口】。显然，对某些种类的行动，机器人必须获取大量的关于 与其相关的环境信息，也就说机器人必须能感知外界环境。超声波和其它距离传感器都适于 对局部环境结构进行粗糙的、不精细的研究，也能够给机器人提供基本的导向。然而，我们 日常生活环境的动态特性、以及与人进行交流的需要，对机器人的知觉提出了更具挑战性的 要求。同时由于一些环境( 如我们日常生活环境) 的详细资料数量太大，机器人应只能着重感 知与其将要处理的任务相关的环境特征，或者只选择其中比较重要的信息洳颜色) 进行理解 与分析。 自动分析和自动处理视觉数据，自二十世纪六十年代以来就形成了一个研究领域。关丁 这些问题的研究被称为计算机视觉( c o m p u t e r v i s i o n ) 。它可被定义为一门应用科学，其目标 是从一帧或多帧数字图像中计算出三维世界的特性。近些年来，基于彩色的图像分割、目标 识别、视觉跟踪等己成为这一领域中研究最为活跃的分支部分。 我们知道作为人类最重要的感官是视觉，一个重要的视觉刺激物是彩色( c o l o r ) 。彩色在 我们的日常生活中有着非常重要的作用。它丰富了我们观察环境的方法，帮助我们识别与跟 踪物体，它也被用来吸引人们的注意，比如不同颜色的交通或警告信号等。在无数的方法中， 彩色和其它视觉特征时时影响着我们的决策和行为。在机器人世界杯足球赛和微型机器人世 界杯足球赛中，基于彩色的图像分割和视觉跟踪已用于实现对机器人进行控制。 对于视觉跟踪，实践证明彩色是一个强有力的视觉特性和图象特征。基于彩色的视觉系 统，是切实可行的，而且能克服很多使用几何特性和灰度强度方法所不能解决的问题。对旋 转、比例和分辨率等变化的承受能力，使它成为图像分割中一个非常有吸引力的信息源。尽 管有很多的优点，但也存在着一些问题。如彩色感知非常依赖于环境的光照条件，这一事实 是基于彩色的图像分割所面临的一个主要挑战。 给移动机器人提供一个能适应不同环境，且可适用r 不同任务的视觉系统，是一项比 较凼难的1 ：作。现在，已经有很多基于彩色分割和跟踪的方法可用于给移动机器人提供视觉 感知功能。然而谁也不知道，这些方法中的哪一种最适合r 丁某一给定的任务。由丁移动机器 中南大学硕士学位论文徐大宏：基于彩色图象的足球机器人视觉系统设计 人的很多具体应用要求能实时的对环境作出反应，因此又一个值得关注的问题是，视觉系统 中采用的分割或跟踪方法的计算量问题。而且，外界环境条件的动态特性，如光照变化，也 对机器人的视觉系统提出更多更高的要求。因此视觉系统的实现，应该是计算量小而满足实 时性要求，同时对光照和其它一些能了解的变化具有很强的鲁棒性。 在机器人世界杯足球赛和微型机器人世界杯足球赛中，由于要识别的各类目标，已被 人为设置成截然不同，且是唯一的颜色，如橘红色小球等，因而基于彩色图象的目标识别和 跟踪，相对于其它更复杂的环境来说是比较容易的，但其实时性、鲁棒性、识别精度的要求 又比其它应用要严格得多。基于这些原因，用在足球机器人视觉系统中的方法，可能并不适 用于其它有实时要求的应用环境，而且其它应用环境中的方法，也不一定适用于足球机器人 视觉系统。 本论文的主旨是对实时的基于彩色图像的目标识别与跟踪方法的探讨。本文中也对这 些方法的计算复杂度、适应变化环境的鲁棒性，以及识别结果的精度作了一些论述。 论文第二章介绍了足球机器人的基本情况，当前国内外相关动态。并对足球机器视觉系 统实现原理作了简单说明。第三章介绍了一些背景知识，帮助我们理解彩色及彩色图像信息 的知识，且描述了三种理解彩色的本质方法。其余部分可以说是本篇论文的核心所在，是一 个较为全面的基于彩色图像分割和视觉跟踪方法的探讨。比较详细地介绍了如彩色不变量现 象( c o l o rc o n s t a n c y ) ，允许视觉系统感知不依赖于光照的彩色。接着论述了像素分类方法( p i x e l l a b e l i n g ) 、分割独立目标( c o l o rb l o b s ) 方法及视觉跟踪( v i s u a l t r a c k i n g ) 方法等。第四章介绍作 者在设计视觉系统过程中所作的一些新的尝试与探讨，具体实现及其测试运行结果。第五章 总结并展望关于视觉系统的进一步研究工作。 本论文所作的论述，及系统的设计与实现均针对于微型足球机器人系统。 2 ! 堕查兰堡主兰垡堡塞 堡查室：苎王墅鱼望墨塑星堡塑堡望堂墨竺堡丛 第2 章足球机器人系统 本章比较全面地介绍足球机器人系统的基本情况，回顾了两种类型机器人足球的各届赛 事情况，着重介绍了足球机器人系统的视觉子系统，并提出了我们设计视觉子系统的基本思 路及其实现原理。 2 1机器人足球赛的起源、组织、类型 1 9 9 2 年，加拿大不列颠哥伦比亚大学的艾伦马克沃斯教授提出了关于进行机器人足 球赛的最初设想和具体方案，日本学者对这个设想和方案深感兴趣，投入了大量的人力和物 力，对此进行了广泛的调查研究，进行了可行性分析，最后提出了一份有关举行机器人足球 赛的可行性分析报告。 1 9 9 3 年，a l a nm a c k w o r t h 也提出机器人足球比赛是很好的机器人和人工智能( a i ) 研究的 实验平台。同时，还有一些学者也提出了这个问题。 1 9 9 3 年6 月，日本的北野宏明和浅田埝等学者发起创办了日本机器人足球赛，暂时命 名为r o b o c u pj 联赛，j 联赛是日本足球职业联赛的名称，前面冠以r o b o c u p 即成为日本机 器人足球赛的名称。当日本准备举办机器人足球赛的消息公布之后，在世界上引起了巨大的 反响，许多国家的科研机构、高等学府和人工智能学研究者都表示有兴趣派出机器人足球队 参赛，并建议日本学者将日本机器人足球赛扩大成为国际性的比赛。因此，该比赛改名为机 器人世界杯足球赛，简称为r o b o c u p 。 1 9 9 7 年8 月2 5 日，首届机器人世界杯足球赛在日本名古屋举行，国际人工智能大会也 同期召开，这是久负盛名的国际最高级别的人工智能学术会议。世界一流的人工智能学者云 集名古屋，他们与观众一起观赏了来自美国、日本、欧洲和澳洲的4 0 多支机器人足球队的 精彩比赛。第一届r o b o c u p 比赛分为三组：小型机器人比赛、中型机器人比赛和计算机仿 真比赛，共有超过4 0 支球队参加了这三种比赛。1 9 9 8 年7 月4 - 8 日，在法国巴黎举办了第 二届r o b o c u p 比赛及会议。共有超过8 0 支球队参加比赛( 4 0 支仿真队、1 2 支小型机器人队、 1 6 支中型机器人队和3 支有腿机器人队) 。1 9 9 9 年7 月，第三届机器人足球世界杯赛在瑞典 斯德哥尔摩举行，这次共有9 0 多支足球队参赛，另外引人注目的是一些世界著名的一流人 学、科研机构和大公司都参与了这次比赛和相关活动，如美国卡内基梅隆大学、康奈尔大 学、美国国立研究机构( n a s a ) 和日本索尼公司等。2 0 0 0 年8 月2 8 日一9 月3 日，第四届机 器人足球世界杯赛在澳大利亚的墨尔本举行。2 0 0 1 年8 月2 1 0 日，在美国西雅图举行了 第五届机器人足球世界杯赛，同时也召开了国际人工智能联合会议( i j c a l 2 1 1 。 目前，国际r o b o c u p 联合会已经成为世界上最著名的机器人足球国际组织，它的总部 中南大学硕士学位论文徐大宏：基于彩色图象的足球机器人视觉系统设计 设在瑞士，总共有将近4 0 个成员国参加，在世界机器人足球界的影响最大。该联合会的现 任主席是曾荣获国际人工智能最高奖一计算机与思维大奖的著名科学家北野宏明。作为最 具权威性的国际机器人足球组织，该联合会负责组织每年一届的国际性机器人足球世界杯赛 以及相关的学术研讨活动。 除了国际r o b o c u p 联合会之外，还有国际机器人足球联合会( f e d e r a t i o no f i n t e m a t i o n a l r o b o t s o c c e ra s s o c i a t i o n ，f i r a ) ，成立于1 9 9 7 年6 月5 日，总部设在韩国大田的韩国科学( 技 术) 院( k a i s t ) ，它有2 0 多个成员国。f i r a 每年也举办一届国际性的微型机器人世界杯足球 赛( m i r o s o t ) ，从1 9 9 6 年开始，己举办了三届。 m i m s o t 9 6 于1 9 9 6 年1 1 月9 1 2 日在韩国大田( t a e j o n ) k a l s t 举行，有7 个国家的2 3 支代表队参赛。美国的n e w t o nr e s e a r c hl a b 队获得m i r o s o t 冠军，瑞典的l a m i 队获得 s m i r o s o t 的冠军。m i r o s o t 9 7 于1 9 9 7 年5 月3 1 日- - 6 月4 日在韩国大田k a i s t 举行，有9 个国家的2 2 支代表队参赛。美国的n e w t o nr e s e a r c hl a b 队再次获得m i r o s o t 冠军，汉城 u f o 队获得s m i r o s o t 的冠军。m i r o s o t 。9 8 在法国举行，m i r o s o t 和s m i r o s o t 的冠军都是： 韩国h u m a ni n t e r f a c e 公司的t h ek e y s 队。m i r o s o t 9 9 在巴西举行，m i r o s o t 冠军是：韩国大 学和r o b o t l s c o 公司的r o b o t l s 队、标准动作( b e n c h m a r kt e s t s ) 的冠军是我国东北大学的 n e w n e u 队。2 0 0 0 年9 月1 8 日- - 2 4 日，在澳大利亚举办了f i r a 的m i r o s o t 2 0 0 0 年世界杯 比赛。m i r o s o t 和s m i r o s o t 的冠军都是韩国的球队，我国哈尔滨工业大学的机器人获得标 准动作( b e n c h m a r kt e s t s ) 的冠军。2 0 0 1 年8 月1 日5 日，在北京举行了m i r o s o t 2 0 0 1 机器 人足球世界杯比赛。 f i r a 与r o b o c u p 的最大区别在于f i r a 是集中控制，而r o b o c u p 是分布式控制。国内 在机器人硬件方面的研究基本上都属于f 1 r a 系列，最早着手开发的是东北大学，其他还有 哈尔滨工业大学、国防科大、香港中文大学、中南大学等等。r o b o c u p 系列以清华大学和 中国科技大学为主，但仅限于仿真方面。最近，清华大学已向韩国购买了硬件，准备着手开 发。 1 9 9 8 年2 月，在东北大学召开了我国首届足球机器人研讨会，东北大学的开发者们展 示了自行设计开发的机器人及仿真系统。 1 9 9 9 年6 月，经国际r o b o c u p 联合会授权，我国清华大学和中国科技大学共同发起成 2 3 国际r o b o c u p 联合会中国分会筹备委员会。同年8 月，我国东北大学参加了在巴两举 行的f i r a 世界杯机器人足球微型组的比赛。1 0 月，第一届中国r o b o c u p 仿真机器人足球 赛在重庆大学举行。2 0 0 0 年6 月又举行了第二届比赛。同年8 月，中国科技大学研制的仿 真机器人足球队参加了第四届机器人足球世界杯赛。 我国开展机器人足球赛有力地推动了人工智能领域的研究与实验。智能机器人的研制早 已列入“8 6 3 ”计划，我国科学家已研制成功了水下自主机器人，并且成功地进行了深海作业。 机器人足球的研究目标之一是探索多个机器主体在不可预测的动态环境中如何进行通信联 4 中南大学硕士学位论文 徐大宏：基于彩色图象的足球机器人视觉系统设计 系，如何进行紧密的配合，这也正是当前人工智能领域的主要研究课题之一，因此，我国科 学界和高等院校对于足球机器人的研究投入了大量的人力、物力和财力，力争通过足球机器 人的研究，在国际人工智能研究领域取得新的突破。 开展机器人足球赛，最大的好处是能够将人工智能技术、计算机视觉等领域的研究成果 与实践结合起来，借助机器人足球赛对人工智能技术、计算机视觉技术的研究成果进行检验， 探索多个智能机器人在不可预测的动态环境中如何密切配合、协同作战，使人工智能技术、 计算机视觉技术更加成熟，并加速它们的商品化、产业化进程。建造机器人进行足球比赛是 很有挑战性的工作，激发了大家极大的研究兴趣。到1 9 9 8 年4 月，共有2 2 个国家1 0 0 0 多 名研究人员在进行此方面的研究工作。目前，我国已有很多高等院校实验室，及些科研机 构都己开始了这一方面的研究工作。 人工智能专家北野宏明先生曾指出，完成一台足球机器人离不开多方面的技术创新。首 先，它必须与现实世界建立一种互动性反应机制，一边用摄像机、传感器观察世界，一边即 时做出判断，而且非常接近人类感官功能，属于一种可做出粗略判断的人工智能。比如，若 不能对错误信息及时修正就无法从事这项赛场上瞬息万变的足球运动。另一方面，将来以人 类为对手进行比赛时，还要对它的安全性提出更高要求，其表层材料应保证冲撞中不会给对 方造成肢体伤害，即便可以保证安全也不能仅凭力量以撂倒对方为胜。 北野宏明预计到2 0 0 2 年第六届机器人足球世界杯赛时，参赛的机器人将与人同样大小， 具有相似的外形，并且双足行走，可左右盘带、踢球。而与我们人类同场竞技则可望丁2 0 5 0 年实现。因为从1 9 4 6 年世界上第一台e n i a c 电脑问世，到1 9 9 7 年美国i b m 公司设计和研 制的“深蓝”电脑在对弈中打败国际象棋冠军卡斯帕罗夫，这段时期也不过是用了5 0 年。目 前人工智能研究尚处于初级阶段，而机器人足球世界杯比赛正是朝着这个目标迈出的重要的 一步。 机器人足球之所以获得如此迅速的发展，就是因为它是人1 ：智能领域的理想突破点，又 是吸引青年人科研兴趣与高新技术攻关的完美结合点，参加比赛的机器人不仅要有对周围场 景做出判断及控制自身运动的能力，还需要具有群体意识，要能够识别队友并相互配合。赛 场上的情况瞬息万变，双方机器人都在不停地运动，因而机器人必须具有很强的跟踪、决策、 反应能力和机动性。 足球机器人方案的设计，反映出开发者对人工智能学科前沿的深刻理解和敏锐洞察力。 在足球机器人系统的开发过程中，不仅要遇到机器人学( r o b o t i c s ) 、机电一体化、无线通信技 术与计算机技术，还要涉及图像处理( i m a g e - p r o c e s s i n g ) 、传感器数据融合( s e n s o rd a t af u s i o n ) 、 决策对策、进化算法、人工生命( a r t i f i c i a ll i f e ) 与智能控制等学科内容。 机器人视觉要在一秒内给出十几次甚至几十次球场实体识别的结果，这种实时性要求属 丁图像处理的前沿课题：机器人小车在有限的空间内( 7 5 c m 3 ) 融合了移动机器人技术、无线 通讯技术、微电机控制以及多传感器数据融合和智能协调控制等技术；至于如何将足球比赛 中南大学硕士学位论文 徐大宏：基于彩色图象的足球机器人视觉系统设计 的规则与策略形式化，以适应千变万化的赛场形势，这更要求在知识型系统的建模与决策算 法上具有良好的适应性与实时性。 目前在人工智能领域的研究中常常遇到理论与实际脱节的问题，理论工作者时常抱怨没 有从实际中来的问题，没有应用载体。这时足球机器人应运而生。它造价不高，五脏俱全， 既不受企业条件的制约，又面对许多实际的问题，尤其对多智能体系统的研究提供了很好的 试验载体。 机器人足球己成为高科技与体育、学术与兴趣、科技与娱乐的完美结合。这便是它发展 的活力所在。 在人工智能领域，多智能体系统( m u l t i - a g e n ts y s t e m ) 是指包含2 个以上的机器人以合作 的方式完成给定任务的系统，近年来引起了许多学者的兴趣。而机器人足球融计算机视觉、 模式识别、决策对策、无线数字通讯、自动控制与最优控制、智能体设计与电力传动等技术 于一体。既是一个典型的智能机器人系统，又为研究发展多智能体系统、多机器人合作等理 论提供了生动的研究模型，因此它刚一兴起就倍受关注。 2 2 微型足球机器人系统结构 微型机器人足球的赛场长1 5 米，宽13 米，比乒乓球台略小，场地画有中线、中圈和 fj 区。每队由三个边长不超过7 5 厘米的立方体形状的遥控小车( 机器人) 组成。它们的任务 就是将橘红色的高尔夫球( 足球) 撞入对方的球门而力保本方不失球或少失球。比赛规则与现 实的足球相似，也有点球、任意球和门球等。因机器人的电源电池容量有限，每半场为 5 分钟，中间休息1 0 分钟。下半场结束时若为平局，则有3 分钟的延长期，也实行突然死 亡法和点球大战。明显不同之处在于球场四周有围墙，所以没有界外球，在相持1 0 秒后判 争球。整个系统如图2 一l 所示。 机器人足球系统，在硬设备方面包括机器人小车、摄像装置( 摄像头、视频乍) 、计算 机和无线发射装置( 见图2 一1 ) 。从功能上分，它包括机器人小车、视觉、决策和无线通讯四 个子系统。 机器人小车由车架、车轮、电机、减速机、测速码盘、驱动电源、单片机、d s p 控制电 路与无线接收模块等构成。它可以按着主机发出的命令调整左、右轮转速，以保证按预定的 轨迹运动。 视觉子系统是机器人的眼睛。它由悬挂在球场中圈上空两米的摄像头摄取连续单帧视频 图像，由装在主机内的视频卡将图像数字化，送入主机内存，再由计算机中的软件对图像进 行分析、理解，以获取比赛场上的信息，如机器人小车及小球的方位。比赛双方各自用不同 的颜色表示队标( 黄色或监色) ，和机器人的队员标志，这样计算机就可以通过颜色分割，识 别出全部机器人与球的坐标位置和方位角。这就是基于彩色识别的视觉系统，也就是进行模 6 ! 堕查堂堡主兰堡垒壅 堡查室! 墨王墅鱼堕墨塑星堡垫璺望堂墨竺! ! 生 式识别。 计算机中的决策子系统根据视觉子系统提供的数据，利用人工智能技术，判断场上攻守 态势，分配本方机器人攻守任务，决定各机器人的运动轨迹，然后形成针对各小车左右轮轮 速的指令值。 无线通讯子系统通过计算机串行口取得相应的指令值，再由独立的发射装置与装在小车 上的接收模块建立无线通讯联系，遥控场上各机器人的运动。目前仅实现了单向通信，控制 指令由计算机单向发送至机器人小车，计算机端不能接收机器人小车的反馈。 图2 - l微型机器人足球赛全景图 在机器人足球比赛过程中，上述四个子系统以每秒二、三十次，甚至更高的速率连续运 行，且各司其职，操作人员不能干预。比赛过程各子系统合作流程如图2 2 所示。 指令执行体 图2 2足球机器人系统工作流程 2 3 足球机器人视觉子系统 视觉子系统是足球机器人的“眼睛”。人在行走时，要靠眼睛获得路况信息。当前处住 哪里? 现在在往什么方向走? 前面是否有障碍? 又如，人们在射击时，要用眼睛瞄准目标等 等。眼睛将上述信息传递给大脑，由大脑作出决定来支配手和脚的动作。可见，在人完成某 中南大学硕士学位论文徐大宏：基于彩色图象的足球机器人视觉系统设计 个动作的时候，眼睛起到了收集信息的作用。对人来说，为大脑提供信息的还有其他的感觉 器官，如，听觉，触觉，嗅觉等。 就基于视觉的足球机器人来说，视觉子系统是其“大脑”决策子系统的唯一信息 来源。它的主要任务是实时采集比赛场地的图像，然后自动处理、分析和理解图像，因此而 获得场上运动物体( 比赛双方的机器人小车，小球) 的位置、运动方向、速度等信息，并将这 些信息提供给决策子系统进行分析、决策使用。视觉子系统作为整个足球机器人系统的检测 机构，是它的“眼睛”。 足球机器人视觉子系统所处理的是比赛场地的彩色图像，球场背景为黑色，球门等标志 线条为白色，“足球”为橘红色小球，比赛双方的小车均用不同的颜色( 每种颜色全场唯一) 进行标识。视觉子系统主要是通过分析这样的彩色图像来向决策子系统提供信息的。彩色图 像是由很多彩色象素组成，象素是图像中的可区分的最小单元。一帧分辨率为6 4 0 4 8 0 的 彩色图像包含3 0 0 k b ( 千字节) 个象素。每个彩色象素是用三个八位二进制数( 三个字节) 表示， 分别对应象素红、绿、蓝三基色的亮度。一般的图像采集设备可以达到每秒2 5 ( 或3 0 ) 帧， 即每秒2 2 ( 或2 7 ) ；j e 字节信息。要想圆满完成各项任务，视觉子系统在高精度要求基础上， 还要有真正实时性。 视觉子系统可以有儿种不同的实现方式。有纯软件方式、软硬件综合方式和纯硬件方式。 采用纯软件方式时，图像采集卡只完成图像的数字化转换。这种方式下，图像采集卡的结构 简单，通用性强，成本低，但由于主机要完成大量的数字图像信息的处理，工作量很大。实 时处理的速度难以保证。采用软硬件综合方式时，图象采集卡完成图像的数字化转换、图像 压缩等功能。这种方式下图像的通用性强，成本低，主机的处理的图像信息量可以随图像 的压缩比的增大而减少，在图像处理的精度范围内，提高图像的压缩比可以提高主机的处理 速度。而且这种方式的开发周期相对较短。采用纯硬件方式时，图象采集卡完成图像的数字 化转换、压缩、分析和处理的功能，向主机传送图像处理后的结果。由于大量的图像处理、 分析动作都由图像采集卡来完成，减轻了主机的负担，是提高系统的实时处理速度的有利手 段。目前，大多采用d s p ( d i g i t a ls i g n a lp r o c e s s i n g ) 技术来实现这种方式，图像采集卡上有专 用的数字信号处理芯片。采用这种方式，图象采集卡的结构和功能都是根据不同系统的具体 要求来设计的，通用性不强，设计的周期较长，设计的成本较高。 无论采用哪种方式，足球机器人视觉子系统一般具有如下功能模块：象素分类、目标识 别、特征提取和目标跟踪。 象素分类也可以说是图像二值化，是将彩色图像中各象素区分成不同对象的子类。有几 种类型的分类方法：闽值法、统计学方法和聚类法等。经过象素分类处理后彩色图像变二值 图像( 感兴趣的目标点为1 或2 5 5 ，背景点为0 ，也可根据算法实现的需要设置成其它值，这 。情形可称之为多重二值化1 。 目标识别可认为是真正意义上的图像分割，通过连通性分析，在二值图中，分离出中各 中南大学硕士学位论文徐大宏：基于彩色图象的足球机器人视觉系统设计 个独立的目标区域。 特征提取，此模块是计算独立目标区域的特征量，如矩心、目标周长、面积和方向等， 为决策子系统提供信息。 比赛时，视觉子系统连续摄取场地一帧一帧的彩色图像，及时处理各帧，使机器人小车 能进行连续、连贯的比赛。一种实现方法是对所采集每一帧进行全帧识别处理( 重复执行象 素分类、目标识别和特征提取等动作1 ；另一实现方法是利用上帧所识别出来的目标信息， 根据它的速度及运动方向，对它在f 帧中的大致位置进行预测估计，从而只需在一帧图像的 局部区域进行搜索和识别处理，这一方法便是实际的目标跟踪。二者各有利弊。第一种方法 中当前识别动作及结果不依赖于上次的识别结果，即使在某一次识别中丢失目标，也不影响 下一次的识别，具有很强的鲁棒性，但由于每次处理的数据量大，较难达到系统的实时性要 求，或很难提供时间进行一些其它处理。第二种方法大大的减少了处理的数据量，从而很容 易实现实时性要求，也可以提供较多的时间进行其它处理。但由于下一次的识别依赖于当前 的识别结果，如当前识别过程丢失目标，将比较严重地影响下一次的识别处理，因而鲁棒性 较差一点。 基于彩色识别的视觉子系统的实现原理( 工作过程) 如图2 3 所示。 图2 3 足球机器人视觉子系统原理图 整个足球机器人视觉子系统包含有两大模块：离线的彩色分析( 或称为系统初始化阶段) 和在线的实时分割( 跟踪阶段1 。 离线彩色分析最终结果是获得一个或多个查询表( l o o k u pt a b l e ) ，也可说是模板或模型 ( m o d e l ) ，它可以是基于统计学特征的数据，也可以是根据相应彩色空间使用的闽值，或者 是基于直方图的分布规律。总之，为了加速处理，很少使用传统意义上的模板。 9 堕盔兰堡主兰垡堡苎 堡查室! 墨士墅璺里茎塑星堡塑壁塑堂墨竺堡! 第3 章彩色图像处理及模式识别 在本章我们全面地总结介绍了数字图像中颜色的相关知识：颜色的理解方法：颜色空间 及颜色不变量。讲述了我们在设计视觉系统时，所改进和使用的一些彩色图像滤波算法原理。 同时也详细探讨了基于彩色图像的实时视觉系统中所常用的目标分割算法，以及目标跟踪方 法。这一章为我们设计视觉系统提供了理论基础。 3 1 颜色与彩色图像 为了能够更深入地理解任何一种基于颜色分割的算法，我们先对颜色作一些介绍。这 一节介绍了关于颜色的一些基本常识，以及对彩色图像的理解。阐述了人对颜色的感知，将 它与知觉中存在的物理规律作了一些比较，并描述了三种颜色理解的方法。 3 1 1关于颜色的基本原理及其理解 颜色是一种源自于发光体光谱特性的物理现象。比如说，它可被定义为对光谱中可见 光范围内光的感觉效应。当我们观察我们的周边环境时，我们能根据物体是什么颜色来区分 它们。实际上，人不仅仅能区分颜色( 或色调) ，也能区分颜色的纯度( 或饱和度) 和亮度。然 而，颜色是人们观察的结果，现实世界中它并不存在。用那种知觉，颜色仅存在于人类的大 脑中，是人的眼与脑这间经过复杂合作而产生的一个结果。更精确的说，在现实世界中仅有 能刺激人眼视网膜的发光体。 我们知道，光是光谱中可见光范围内( 波长大约为3 8 0 7 6 0 h m ) 很多不同波长的电磁能混 合物。它能通过光谱能量分布( s p d ：t h es p e c t r a lp o w e rd i s t r i b u t i o n ) 来进行表示，光谱能量分 布主要是描述每个波段中光的总能量。 人的视网膜有三种类型的颜色感光锥体细胞，每一种类型的细胞都只对具有相应光谱反 应曲线的光敏感。在正常人的眼睛里，颜色被感觉成长、中、短三种波长近似线性的一种复 合体，这与现在使用的标准视频摄像系统中三基色原理( 红、绿、蓝) 大致相类似。因而，人 对色调，饱和度，亮度的感觉是被源自于三种类型的锥体细胞混合反应所决定的。这一理论 被称作颜色的三色度学理论。然而，尽管进行了大量的科学研究，关于人类的视觉系统中感 光锥体细胞的刺激物与对颜色的理解二者的精确过程还有很多科学界未知的东西。在彩色 图像化的过程，自然环境与物理规律之间自然地存在着一致性。 然而现在，对颜色的感知必须人为地被创建或转换成为计算机可接受识别的数字形式。 首先，用摄像机取代人眼。传感器取代视网膜反应光的作用，三种不同的设备代替了锥 体细胞，每一种设备对某一种相应的基色( 通过颜色的三色度理论导出的一种方法) 具有不同 的光谱反应。然后，那些对光作出反应的设备，将电磁能转换为电能，传感器产生的电信号 1 0 中南大学硕士学位论文徐大宏：基于彩色图象的足球机器人视觉系统设计 接着被采样( s a m p l e ) 与量化( q u a n u z e ) ，而产生一个对三维真实世界情景的二维数字描述，这 一过程可被解释为图像的数字化过程，它是一个模拟量到数字量的转换过程( a d c ：a n a l o g t o d i g i t a lc o n v e r s l o n ) ，在这个过程里，真实环境的模拟信号( 定义在连续空间域和时域) ， 被转换成数字信号( 仅定义在离散的空问域和时域) 。对真实情景的二维数字描述被称为数字 彩色图像或数字彩色视频图像。连续的、恒定速率的图像流被称为数字彩色视频。 显然，对真实情景的数字描述受获取及处理图像的数字化设备硬件本身特性的限制。 在开发计算机视觉系统时，我们有必要了解由硬件所引出的一些限制。 3 1 2 三种颜色理解方法 在这一节。介绍说明了h e a l e y ，s h a f e r a n d w o u 一1 所定义的三种不同颜色理解方法。而 且也简要地介绍如何将它们应用于计算机视觉中。每种方法都介绍了一个不同的且重要的 观点。 1 统计学方法( s t a t i s t i c a la p p r o a c h ) 这方法中，颜色被看作一个统计量。它被分析成为一个随机变量，与产生颜色与颜 色变化的物理规律没有一致性。很明显，一种可能的进行图像分析的技术是利用目标颜色的 先验知识e 这是最早被采用的一种技术，被称为光谱信号分析( 印e c n _ a ls i g n a t u r ea n a l y s i s ) 。它 将彩色图像中的象素值与预先计算出的目标彩色特征的标准值进行比较，将与目标彩色特征 值最接近的象索归类为该目标，实现象素分类。与之相关的还有一些其它技术如，聚类 ( c l u s t e r