（机械电子工程专业论文）基于大场地的足球机器人视觉系统研究.pdf

摘要 机器人视觉系统是机器视觉系统在机器人上的特定应用，它是机器人系统的 重要组成部分，实现类似于人眼的功能。本文的研究对象是2 0 0 4 年首次在f i r a 中亮相的大场地足球机器人( l a r g el e a g u em i r o s o t ) 视觉子系统，针对该比赛项 目中场地更大，参赛的机器人数目更多等问题，对大场地的足球机器人视觉系统 进行了研究设计。 首先，介绍m a r r 的计算视觉理论，机器视觉系统的组成原理和组成部件， 从而构建了大场地足球机器人视觉系统的硬件组成。采用双摄像头同时采集图 像，满足了采集图像视野及辨识图像分辨率的要求，并可避免产生球的死区。采 用双机互连的方式满足大数据量图像处理和决策程序处理的要求。 其次，针对大场地中光照强度严重不均的情况，对颜色模型理论进行了深入 研究，并着重分析比较了r g b 、y u v 、h s i 颜色模型的特性，构造了基于h s i 模型的r g b 颜色信息库，进行彩色图像分割，同时解决了光照强度不均和识别 实时性两项需求。 第三，对短焦广角成像系统的图像畸变校正进行了深入研究。概述了摄像机 的成像模型、畸变模型和畸变校正方法，并在此基础上采用基于空间多项式的校 正方法对大场地足球机器人比赛的场地图像进行了校正，提高了机器人及球的定 位精度要求。对处于两摄像头重合部分的机器人或球进行了信息融合，得到其单 一位姿信息。 第四，对大场地足球机器人视觉系统的色标设计进行了探讨。采用一种矩形 色标设计，只用3 种颜色即可表示1 1 个机器人。该方法在机器人中心点的辨识 精确性上有更大的优势，并可通过确定矩形的长轴方向准确计算出机器人的方向 角，能够很好地达到色标设计的目的。 最后，采用v c + + 6 0 编程实现大场地足球机器人视觉系统的人机交互界面， 并对基于h s i 的r g b 颜色查找表构造、图像的多项式畸变校正，色标的识别算 法做了编程实现。 关键词：机器视觉，l a r g el e a g u em i r o s o t ，颜色模型，彩色图像分割，图像畸变 校正，色标设计 a b s t r a c t r o b o tv i s i o ns y s t e m ，w h i c hi sa ni m p o r t a n tc o m p o n e n to ft h er o b o ts y s t e mt o a c h i e v es i m i l a rf u n c t i o n sa st h eh u m a ne y e ，i sas p e c i f i ca p p l i c a t i o no f m a c h i n ev i s i o n s y s t e m si nr o b o ts y s t e m t h ev i s i o ns u b s y s t e mo fl a r g el e a g u em i r o s o t w h i c hw a g a p p e a r e df i r s t l yi nf i r a2 0 0 4 ，i ss t u d i e di nt h i sp a p e r a n dt h el a r g el e a g u em i r o s o t v i s i o ns y s t e mi sd e s i g n e dt os o l v et h ep r o b l e m sl e db yt h eb i g g e rm a t c hg r o u n da n d m o r er o b o t s f i r s t ，t h ef o u n d a t i o no fl a r g el e a g u em i r o s o tv i s i o ns y s t e mh a r d w a r ei sb u i l ti n t e r m so fm a r rt h e o r ya n dm a c h i n ev i s i o ns y s t e m sa r c h i t e c t u r ea n dc o m p o n e n t s t w o c a i t l e r 3 sa r eu s e dt om e e tt h ed e m a n do fe y es h o ta n di d e n t i f y i n gr e s o l u t i o n i ta l s o a v o i dt h e d e a d z o n ep r o b l e m i n t e r c o n n e c t i o no f t w oc o m p u t e r si sa d o p t e dt op r o c e s s t h el a r g ev o l u m eo f i m a g ed a t aa n dd e c i s i o n m a k i n gp r o g r a m m s e c o n d ，i nr e s p o n s et ou n e v e ni l l u m i n a t i o ni n t e n s i t y , a ni n d e p t hs t u d yf o c u s i n g o na n a l y s i sa n dc o m p a r i s o no fr g b y 1 a n dh s ic o l o rm o d e lc h a r a c t e r i s t i c si s e o n d u c t e d r g bc o l o rl o o k u pt a b l ei sc o n s t r u c t e db a s e do nt h eh s im o d e l c o l o r i m a g es e g m e n t i o ni sd o n eb a s e do nt h et a b l e i t sas o l u t i o n t om e e tt h en e e d so f u n e v e nd i s t r i b u t i o no fl i g h ti n t e n s i t ya n dr e a l t i m ei d e n t i f i c a t i o n t h i r d a ni n - d e p t hs t u d yo fi m a g ed i s t o r t i o nc o r r e c t i o no fw i d e a n g l ei m a g i n g s y s t e m i sc o n d u c t e d a no v e r v i e wo ft h ei m a g i n gc a m e r am o d e l ，d i s t o r t i o na n d d i s t o r t i o nc o r r e c t i o nm o d e li si n t r o d u c e d ，a n do nt h i sb a s i st h ep o l y n o m i a lc o r r e c t i o n m e t h o di su s e dt oc o r r e c tt h ed i s t o r t i o no ft h eg r o u n di m a g e i tc a ni m p r o v et h e p o s i t i o n i n ga c c u r a c yo fr o b o r t so rb a l l a l s ot h ei n f o r m a t i o no fr o b o t so rb a l li nt h e a r e as h o tb yb o t ht h ec a n l 翻f a si si n t e g r a t e d f o u r t h ，ar e s e a r c ho fc o l o rm a t c hi sm a d ef o rt h el a r g el e a g u em i r o s o tr o b o t s a r e c t a n g u l a rc o l o rm a t c hd e s i g ni se x p r e s s e d i nt h i sm e t h o d11 r o b o t sc a nb e i n d i c a t e dw i t ho n l yt h r e ek i n d so f c o l o r t h ec e n t e rp o i n to f t h er o b o ti sc a l c u l a t e di n ag r e a t e ra c c u r a c y a n dt h eo r i e n t a t i o na n g l ei sa c c u r a t e l yc a l c u l a t e db yt h ed i r e c t i o n o ft h el o n ga x i so fr e c t a n g u l a r 1 1 1 er e c t a n g u l a rc o l o rm a t c hd e s i g nc a na c h i e v ec o l o r d e s i g np u r p o s e sw e l l f i n a l l y , t h ev i s u a ls y s t e mi n t e r f a c eb e t w e e nh u m a na n dc o m p u t e ri sp r o g r a m m e d w i t hv c + + 6 0 a n dt h er g bc o l o rl o o k u pt a b l eb a s e do nh s ii ss t r u c t u r & 1 p o l y n o m i a li m a g ed i s t o r t i o nc o r r e c t i o na n da l g o r i t h mt oi d e n t i f yt h ec o l o rm a t c ha r e a l s op r o g r a m m e d k e yw o r d s ：m a c h i n ev i s i o n ，l a r g el e a g u em i r o s o t ，c o l o rm o d e l ，c o l o ri m a g e s e g m e n t i o n ，i m a g ed i s t o r t i o nc o r r e c t i o n ，c o l o rm a t c hd e s i g n l i 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一 同工作的同事对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ， 学位论文使用授权说明 2 砷年弓月多e l 河海大学、中国科学技术信息研究所、国家图书馆、中国学术 期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件 或电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论 文外，允许论文被查阅和借阅。论文全部或部分内容的公布( 包括 刊登) 授权河海大学研究生院办理。 论文作者( 签名) ：至垒坚2 叼年相拍日 第一章绪论 第一章绪论 1 1 机器人学 “机器人”是存在于多种语言和文字的新造词，它体现了人类长期以来的一 种愿望，即创造出一种像人一样的机器或人造人，以便能够代替人去进行各种工 作【”。从古至今，人类以自己非凡的想象力，不断地对这种能代替人去工作的装 置进行着探索。我国东汉时期，张衡发明的指南车是世界上最早的机器人的雏形， 当然它与我们今天看到的机器人还有很大的差距。进入2 0 世纪，随着机器工业 的发展，机器人技术有了长足的进展。1 9 5 4 年，美国人乔治德沃尔设计了第 一台电子程序可编的工业机器人，并于1 9 6 1 年发表了该项机器人的专利。它的 关键是计算机与机械手配合使用，从而成为一台可“示教”而自动地完成各种任 务的机器。1 9 6 2 年，美国万能自动化( u n i m a t i o n a ) 公司的第一台机器人u n i m a t e 在美国通用汽车公司( g m ) 投入使用，这标志着第一代机器人的诞生。 机器人在其发展中不断借鉴其它学科的知识成果，向着智能化方向发展。6 0 年代早期，h a 厄恩斯特于1 9 6 2 年介绍了带有触觉传感器的计算机控制机械手 的研制情况。此研究项目后来成为m a c 计划的一部分，在机械手上又增加了电视 摄像机，开始进行机器视觉研究。6 0 年代后期，麦卡锡于1 9 6 8 年和他在斯坦福 人工智能实验室的同事报告了有手，眼和耳( 即机械手、电视摄像机和拾音器) 的计算机的开发情况。他们表演了一套能识别语音命令、“看见”散放在桌面上 的方块和按指令进行操作的系统【2 1 。1 9 6 8 年，“机器人王国”日本也在从美国引 进的u n i m a t e 机器人上增加了视觉功能，使其成为一种智能化的机器人。7 0 年 代，大量的研究工作都把重点放在使用外部传感器来改善机械手的操作。 现在，机器入学已经发展成为一个非常广阔的研究领域，它所涉及的范围从 机械和电气元件的设计到传感器技术、计算机系统和人工智能。由于人类感知外 部世界的信息，其中约8 0 是通过视觉获得的，所以视觉传感器在机器人技术 中的采用，使机器人真正向人的意义上靠近。 1 2 计算机视觉、机器视觉与图像工程 1 2 1 计算机视觉( c o m p u t e rv i s i o n ) 与机器视觉( m a c h i n ev i s i o n ) l ，两者的概念与联系 计算机视觉是采用图像处理，模式识别，人工智能技术相结合的手段，着重 于一幅或多幅图像的计算机分析。图像可以由单个或多个传感器获取，也可以是 单个传感器在不同时刻获取的图像系列。分析是对目标物体的识别，确定目标物 体的位置和姿态，对三维景物进行符号描述和解释。机器视觉则偏重于计算机视 觉技术的工程化，能够自动获取和分析特定的图像，以控制相应的行为。具体地 河海大学工学顾j 二论文基于人场地的足球机器人视觉系统研究 说，计算机视觉为机器视觉提供图像和景物分析的理论及算法基础，机器视觉则 偏重于计算机视觉技术工程化，它为计算机视觉的实现提供传感器模型，系统构 造和实现手段。因此可以认为，一个机器视觉系统技术就是一个能够自动获取一 幅或多幅目标物体图像，对所获取图像的各种特征量进行处理，分析和测量，并 对测量结果做出定性分析和定量解释，从而得到有关目标物体的某种认识并做出 相应决策的系统。机器视觉系统的功能包括：物体定位，特征检测，缺点判断， 目标识别，计数和运动跟踪等。 通常来说，计算机视觉和机器视觉可作为相同的概念来使用，并不需要对两 者进行区分。 2 机器视觉( 或计算机视觉) 的产生与发展 机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当时的工作主要集中在 二维图像分析和识别上，如光学字符识别，工件表面、显微图片和航空图片的分 析和解释等【3 l 。6 0 年代，r o b e r t s ( 1 9 6 5 ) 通过计算机程序从数字图像中提取出诸如 立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系 进行描述。r o b e r t s 的研究工作开创了以理解三维场景为目的的三维机器视觉的 研究。到了7 0 年代，已经出现了一些视觉应用系统。7 0 年代中期，麻省理工学院 ( m i t ) 人工智能( a i ) 实验室正式开设“机器视觉”( m a c h i n e v i s i o n ) 课程，由国际 著名学者b k p h o m 教授讲授。2 0 世纪8 0 年代，对机器视觉的研究达到了一 个全球性的研究热潮。到了8 0 年代中期，机器视觉获得了蓬勃发展，新概念、新 方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架，主动视觉 理论框架，视觉集成理论框架等。到且前为止，机器视觉仍然是一个非常活跃的 研究领域。 1 2 2 图像工程 图像对我们并不陌生，它是各种观测系统以不同形式和手段观测客观世界而 获得的，可以直接或间接作用于人跟并进而产生视知觉的实体f 4 】。最为常见的就 是摄像机拍摄的胶片图像或数字图像。图像技术在广义上是各种与图像有关的技 术的总称，包括图像采集、存储，图像的变换、增强、恢复、重建，图像的分割， 目标的检测识别，特征的提取和测量，图像模型的建立和匹配等等。图像技术近 年来有了长足的进展，图像界一致认为该技术工作应在一个整体的框架下进行， “图像工程”的概念由此开始建立。这一概念是由f u 和k u n i 于1 9 8 2 年首先提出 的，它是包括整个图像领域的新学科，当时主要包括有关图像的理论技术，对图 像数据的分析管理以及各种应用。图像工程的内容非常丰富，根据抽象程度和研 究方法等的不同可分为三个层次( 图1 1 ) ：图像处理、图像分析和图像理解。 2 第一章绪论 低 一 图像理解 卜 嘉 一 图1 1 图像工程的内容框图 图象处理着重强调在图像之间的变换。主要指对图像进行各种加工以改善图 象的视觉效果并为自动识别打基础，或对图像进行压缩编码以减少对其所需的存 储空间或传输时间、传输通路的要求。图像分析主要是对图像中感兴趣的目标进 行检测和测量，以获得它们的客观信息从而建立对图像的描述。图像分析是一个 从图像到数据的过程，这里数据可以是对目标特征测量的结果，或是基于测量的 符号表示，它们描述了图像中目标的特点和性质。图像理解的重点是在图像分析 的基础上，进一步研究图像中各目标的性质和它们之间的相互联系，并得出对图 像内容含义的理解以及对原来客观场景的解释，从而指导和规划行动。 图像工程是一门系统地研究各种图像理论、技术和应用的新的交叉学科。它 的研究范围和机器视觉有着重合部分，机器视觉主要强调用计算机实现人的视觉 功能，这中间用到图像工程三个层次的很多技术。 1 3 足球机器人概述 1 3 1 足球机器人的产生与发展 机器人足球是由加拿大大不列颠哥伦比亚大学教授a l a nm a c k w o r t h 在1 9 9 2 年的一次国际人工智能会议上首次提出的，他在论文“o ns e e i n gr o b o t s ”中提 出具有视觉和决策能力的机器人追逐足球的概念，目的是通过机器人足球比赛， 为人工智能和智能机器人学科的发展提供一个具有标志性和挑战性的课题【卯。此 想法一经提出，便得到了各国科学家的普遍赞同和积极响应，国际上许多著名的 研究机构和组织开始开展研究，将其付诸实现并不断推动其发展。 目前国际上有两大足球机器人比赛组织f 瓜a 和r o b o c u p 。f m a ( f e d e r a t i o no fi n t e r n a t i o n a lr o b o t 。s o c c e ra s s o c i a t i o n ) 机器人足球比赛最早由韩国 高等技术研究院( k o r e aa d v a n c e di n s t i t u t eo f s c i e n c ea n dt e c h n o l o g y ，k a i s t ) 的 金钟焕( j o n g h w a n k i l n ) 教授于1 9 9 5 年提出，并于1 9 9 6 年在k a i s t 所在的韩国 大田( d 厕e o n ) 举办了第一届国际比赛。1 9 9 7 年6 月，第二届微机器人足球比赛 i l f 海大学t 学硕上论文 基于大场地的足球机器人视觉系统研究 ( m i r o s o t 9 7 ) 在k a i s t 举行期间，国际机器人足球联盟( f e d e r a t i o n o f i n t e m a t i o n a l r o b o t - s o c c e r a s s o c i a t i o n ，f m a ) 宣告成立。此后f i r a 在全球范围内每年举行一 次世界杯机器人比赛( f m ac u p ) ，同时举办学术会议( f m ac o n g r e s s ) ，供参赛 者交流他们在机器人足球研究方面的经验和技术。f i r a 的比赛项目如表1 1 所 示【6 】。 表1 1f t r a 比赛项目的设置 机器人场地 项目名称 尺寸 尺寸( c m )队员数球 ( c m ) n a r o s o t 超微机器人足 球赛 4 x 4 x 551 3 0 x 9 0 乒乓球 $ - m i r o s o t 单微机器人足 球赛 7 5 7 5 x 7 5l1 3 0 9 0 高尔夫球 微机器人足球 31 5 0 x 1 3 0 m 瓜o s o t7 5 x 7 5 x 7 552 2 0 1 8 0 高尔夫球 赛 l l4 0 0 x 2 8 0 r o b o s o ，r小型机器人足 球赛 1 5 x 1 5 x 3 03曲棍球 h u r o s o t人形机器人足 1 5 x 4 0 球赛 r o b o c u p ( r o b o tw o r l dc u p ) 于1 9 9 7 年成立，总部设在日本东京，在瑞士 伯尔尼正式注册p 1 。r o b o c u p 自1 9 9 7 年起也每年举办一次机器人足球世界杯 ( t h er o b o tw o r l dc u p ) 。 1 3 2 m i r o s o t 足球机器人的体系结构 m i r o s o t 足球机器人比赛是用固定于场地上方的摄像头来获取场地和机器人 信息，可称为集控式足球机器人系统。它可分为四个子系统：视觉子系统，决策 子系统，通讯子系统和小车子系统。该比赛项目的示意图如下( 图1 2 ) ： 图1 2 足球机器人比赛场景 4 第一章绪论 视觉子系统的功能是获取场地信息、比赛用球及足球机器人的信息，将其传送到 电脑中；决策予系统酃在电脑中运行的决策程序，它根据视觉系统获得的信息来 得出需要发送给机器人小车的指令；通讯子系统则负责将决策指令发送给场地上 的机器人小车，它是决策系统与小车子系统通讯的桥梁；小车子系统包括机器人 小车的控制及外部机械结构部分，是决策指令的执行机构。这四个子系统将足球 机器人系统组合成了一个闭环结构【引，可用如下的框图表示( 图1 3 ) 。视觉子系 统作为一种传感设备，实时采集比赛现场的信息，将其传送给决策子系统，决策 子系统将指令发送给机器人小车，小车按指令运动，运动的结果再由视觉子系统 采集，识别，发送给决策系统，由此构成一个闭环。 幽1 3 足球机器人的系统结构 1 4 大场地足球机器人系统的研究现状 本文的研究对象为l a r g el e a g u em i r o s o t 。m i r o s o t ( m i c r or o b o tw o r l dc u p s o c e e r ) 比赛项目中根据参加比赛的机器人的数量和比赛场地的大小分为3 v s 3 、 5 v s 5 、1 l v s l l ，也分别被称为s m a l ll e a g u em i r o s o t ( 小型组) 、m i d d l el e a g u e m i r o s o t ( 中型组) 、l a r g el e a g u em i r o s o t ( 大型组，也被称为大场地或大场景) 。 l a r g el e a g u em i r o s o t 是2 0 0 4 年在韩国举办的第9 界f i r a 世界杯中首次引入的。 大场地足球机器人比赛在中型组比赛的基础上将场地大小增加将近一倍，比赛的 机器人数增加到1 1 个，更加模拟真实的足球比赛。该比赛项目引入时，国内外 的一些参赛队伍纷纷对此进行研究，升级自己的足球机器人系统。 国际上，新加坡南洋理工代表队和韩国i c r o 代表队在这一项目上有比较强 的技术实力。新加坡南洋理工代表队在2 0 0 4 、2 0 0 5 、2 0 0 6 年举办的三届比赛中 均获得该项目的冠军，2 0 0 5 年比赛中亚军亦为新加坡的另一支代表队获得。韩 国i c r o 代表队的成绩则为2 0 0 4 年比赛的亚军、2 0 0 5 年比赛的季军及2 0 0 6 年 比赛的亚军，仅居于新加坡南洋理工代表队之下。国内的队伍中东北大学代表队 最先开始该比赛项目的升级，2 0 0 4 年f i r a 世界杯中东北大学代表队获得该项目 的季军，由于该项目的比赛需要较强的硬件支持和研究环境，在以后的比赛中东 河海大学工学硕士论文 基于人场地的足球机器人视觉系统研究 北大学代表队放弃了该项目的继续参与。现在国内队伍中只有我方代表队和西北 工业大学代表队继续该项目的深入研究。本实验室人员参加了2 0 0 5 第1 0 界新加 坡f i r a 世界杯和2 0 0 6 第1 1 界德国f i r a 世界杯中这一项目的比赛，并在德国 世界杯中取得了第三名的好成绩。 由中型组足球机器人系统升级到大场地足球机器人系统，视觉子系统、决策 子系统、通讯子系统和小车子系统均需作相应的升级。其中视觉子系统和决策子 系统升级的工作量较大。在该项目刚引入比赛时，多数队伍只是在中型组机器人 系统上进行简单的叠加，并未针对大场地的比赛环境作深入研究，所以最初的比 赛中经常出现视觉系统的处理帧数不够，实时辨识时由于场地的光照不均带来的 比赛中丢车或丢球，机器人的运动路线简单等现象。但国际上的两支强队，其系 统升级很快，在比赛中表现自如，并不亚于中型组比赛的精彩程度。本文即是致 力于大场地足球机器人视觉系统的深入研究，为大场地足球机器人系统的建立奠 定基础。 1 5 l a r g el e a g u em i r o s o t 视觉系统设计的关键问题 足球机器人的视觉子系统是机器人小车获得外界信息的唯一来源，对整个系 统的运行起着非常重要的作用。它属于机器视觉的研究范畴，也是一个典型的机 器视觉系统。 1 图像的获取。图像采集设备的选取，主要为摄像头及相应数字化设备的 选用。 2 图像预处理。主要为对获取图像容量和质量的调整，如图像采集参数的 调整，图像的增强、压缩等。 3 颜色模型的选择及颜色信息库的构造。彩色图像处理的前提是颜色模型 的选择，而颜色信息库的构造是为彩色图像分割提供依据。 4 图像几何畸变的校正。短焦广角摄像系统获取的图像有比较大的几何变 形，因此应采用一定的措施修正变形。 5 色标设计及其识别算法。m i r o s o t 足球机器人的识别是通过置于小车顶部 的颜色标记来实现的，所以色标的设计也是一个关键问题。 在大场地足球机器人视觉系统中，由于比赛场地的加大造成场地的几何畸变 更加严重以及场地上的光照更加不均，对关键问题3 和4 需更加深入的研究，机 器人数量的增多需要有相应的色标设计及识别算法，双摄像头的采用需要对图像 采集设备有进一步的规划，以及对两个摄像头之间的信息进行融合，由此大场地 足球机器人视觉系统的研究设计即是对关键问题1 ，3 ，4 ，5 的深入研究及对多 传感器信息融合的研究应用。 1 6 本论文的主要研究内容及意义 6 第一章绪论 足球机器人视觉系统的开发与研制融合了机器视觉、计算机视觉和图像工程 等多个学科的相关技术，因此，它可以为上述学科的研究提供一个理想的试验载 体。大场地的足球机器人视觉系统采用两个摄像头固定于场地的正上方，是一个 多摄像头视频监控系统的良好平台f 9 1 。足球机器人视觉系统需要计算出机器人的 位姿信息，这可应用于工业生产中的零件识别与定位。因此该视觉系统的研究在 理论和实际运用中都有着很大的意义。 本文共分6 章，内容安排如下： 第一章绪论。对大场地足球机器人视觉系统研究的技术背景机器人学， 机器视觉、计算机视觉和图像工程傲简述，同时对足球机器人的产生和发展，足 球机器人的体系机构及关键技术做总结，并介绍了大场地足球机器人视觉系统的 研究现状及设计的关键问题。 第二章大场地足球机器人视觉系统的整体构架。主要论述了大场地足球机 器人视觉系统的硬件选择。采用两个摄像头同时采集场地信息，并用双机互连的 方式对大数据量图像信息和决策程序进行处理。 第三章基于不同颜色空间的图像分割研究。对颜色模型的理论进行深入研 究t 着重分析比较了r g b 、w v 、h s i 颜色模型的特性。通过比较在三种颜色空 间下的彩色图像分割效果，最终构建了基于h s i 颜色模型的r g b 颜色查找表，以 满足比赛环境光照强度不均和实时性的需求。 第四章大场地的图像校正及信息融合技术研究。简述了摄像机成像模型， 图像畸变模型及畸变校正方法，采用基于空间多项式的方法对左右半场图像进行 了校正，并对左右半场的重合部分进行信息融合，得到机器人小车或球的单一位 姿信息。 第五章大场地足球机器人的色标设计及识别算法。本章在总结各种色标设 计优缺点的基础上，采用一种矩形色标设计，可用更少的颜色标志更多的机器人， 并可准确地计算出机器人的位姿信息。 第六章大场地足球机器人视觉系统的实现。采用v c + + 6 0 编程实现视觉系 统的人机交互界面，并对基于h s i 的r g b 颜色查找表构造、图像的多项式畸变 校正、色标的识别算法做了编程实现。 第七章总结本文内容并对本研究课题的研究方向进行了展望。 7 河海大学工学硕l 论文基于大场地的足球机器人视觉系统研究 第二章大场地足球机器人视觉系统的总体 构架 2 1 引言 2 1 。1m a r r 的视觉计算理论 m a r t 视觉计算理论立足于计算机科学，系统地概括了心理生理学、神经生理 学等方面业已取得的所有重要成果，是视觉研究中迄今为止最为完善的视觉理 论。m a r t 建立的视觉计算理论，使计算机视觉研究有了一个比较明确的体系，并 大大推动了计算机视觉研究的发展。人们普遍认为，计算机视觉这门学科的形成 与m a r t 的视觉理论有着密切的关系。事实上，尽管2 0 世纪7 0 年代初期就有人使用 计算机视觉这个名词，但多数学者仍习惯称这门学科为机器视觉( m a c h i n e v i s i o n ) ，正是m a r r 于7 0 年代末建立的视觉理论促使计算机视觉( c o m p u t e rv i s i o n ) 这一名词流行起来。 1 三个层次 m a n 认为，视觉是一个信息处理系统，对此系统研究应分为三个层次：计 算理论层次，表示( r e p r e s e n t a t i o n ) 与算法层次，硬件实现层次，如表2 1 所示。 表2 1 计算理论表示和算法硬件实现 计算的目的是什么?如何实现这个计算理论?在物理上如何实现 为什么这一计算是合适的?输入、输出的表示是什么?这些表示和算法? 执行计算的策略是什么?表示与表示之间的变换是什么? 按照m a r r 的理论，计算视觉理论要回答视觉系统的计算目的和策略是什 么，或视觉系统的输入和输出是什么，如何由系统的输入求出系统的输出。在 这个层次上，信息系统的特征是将一种信息( 输入) 映射为另一种信息( 输出) 。 比如，系统输入是二维灰度图像，输出则是三维物体的形状、位置和姿态，视 觉系统的任务就是如何建立输入输出之间的关系和约束，如何由二维灰度图像 恢复物体的三维信息。表示与算法层次是要进一步回答如何表示输入和输出信 息，如何实现计算理论所对应的功能的算法，以及如何由一种表示变换成另一 种表示，比如创建数据结构和符号。一般来说，不同的输入、输出和计算理论， 对应不同的表示，而同一种输入、输出或计算理论可能对应若干种表示。在解 决了理论问题和表示问题后，最后一个层次是解决用硬件实现上述表示和算法 的问题，比如计算机体系结构及具体的计算装置及其细节。从信息处理的观点 来看，至关重要的乃是最高层次，即计算理论层次。这是因为构成知觉的计算 第二章大场地足球机器人视觉系统的总体构架 本质，取决于解决计算问题本身，而不取决于用来解决计算问题的特殊硬件。 2 m a r t 视觉过程的三个阶段 从视觉处理的过程上看，可划分为三个阶段。第一阶段( 也称为早期阶段) 是将输入的原始图像进行处理，进行特征提取，得到图像中诸如角点、边缘、纹 理、线条、边界等基本特征；第二阶段( 中期阶段) 是指在以观测者为中心的坐标 系中，由输入图像和所得到的基本特征翻译成景物内可见部分的深度、法线方向、 轮廓等，这些信息包含了深度信息，但不是真正的物体三维表示，因此称为二维 半图( 2 5d i m e n s i o n a ls k e t c h ) ；在以物体为中心的坐标系中，由输入图像、基本 特征、二维半图来恢复、表示和识别三维物体的过程称为视觉的第三阶段( 后期 阶段) 。 m a r r 理论是计算机视觉研究领域的划时代成就，但该理论不是十分完善的， 许多方面还有争议。比如。该理论所建立的视觉处理框架基本上是自下而上，没 有反馈。还有，该理论没有足够地重视知识的应用。尽管如此，m a r t 理论给了我 们研究计算机视觉许多珍贵的哲学思想和研究方法，同时也给计算机视觉研究领 域创造了许多研究起点。 2 1 2 机器视觉系统的组成原理 一般机器视觉系统的组成及工作流程如图2 1 所示。 原始 输出 圈2 1 机器视觉系统的组成 图像由摄像机等输入设备转换成连续的模拟电信号输入系统，首先由a d 转 换器转换成离散的数字信号，以便于数字计算机运算处理。由于实际景物转换为 图像信号时，总会引入各种噪声或畸变失真，一般需要先进行图像处理。这一过 程借用了大量的图像处理技术和算法，如图像滤波、图像增强、边缘检测等，以 便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特征； 这一过程还包含了各种图像变换( 如校正) 、图像纹理检测、图像运动检测等；有 时还采用图像编码压缩技术大大地减少信息量，以达到减少对计算机存储容量和 传输通道的要求。图像分析的主要任务是恢复场景的深度、表面法线方向、轮廓 等有关场景的2 5 维信息，实现的途径有立体视觉、测距成像、运动估计、明暗 特征、纹理特征等估计方法。图像理解是在以物体为中心的坐标系中，在原始输 入图像、图像基本特征、2 5 维图的基础上，恢复物体的完整三维图，建立物体 9 河海大学工学硕十论文 基于大场地的足球机器人视觉系统研究 三维描述，识别三维物体并确定物体的位置和方向。可以看出，以上过程基本上 与m a r t 视觉理论的三个阶段相对应。值得注意的是，在上述三个过程中，有可能 有适量的人类参与，这种人类参与活动的多少，与整个系统智能化程度的要求密 切相关。最后，计算机输出处理结果。 实际上，图2 1 给出的是计算机视觉系统的一般性组成原理，对于特定的机 器视觉系统而言，系统的组成和工作过程也不是固定的，而是取决于特定的任务 需要。 2 1 3 机器视觉系统的组成部件 通常的机器视觉系统的主要组成为【l o 】： 1 摄像头和光学部件通常含有一个或多个摄像头和镜头( 光学部件) ， 用于拍摄被检测的物体。摄像头有很多分类方法，如数字摄像头与模拟摄像头， 黑自与彩色摄像头等。镜头的选取在参数上应与摄像头的对应参数一致。 2 灯光灯光用于照亮部件，以便从摄像头中拍摄到更好的图像。一般 的灯光形式是高频荧光灯、l e d 、白炽灯和石英卤( q u a r t z h a l o g e n ) 光纤。 3 部件传感器该部件应用于工业检测中，通常以光栅或传感器的形式 出现。当这个传感器感知到部件靠近，它会给出一个触发信号。当部件处于正确 位置时，这个传感器告诉机器视觉系统去采集图像。 4 图像采集卡也称为视频抓取卡，这个部件通常是一张插在p c 上的 卡。这张采集卡的作用是将摄像头与p c 连接起来。它从摄像头中获得数据( 模 拟信号或数字信号) ，然后转换成p c 能处理的信息。它同时可以提供控制摄像 头参数( 例如触发、曝光时间、快门速度等等) 的信号。图像采集卡形式很多， 支持不同类型的摄像头，不同的计算机总线。 5 p c 平台计算机是机器视觉的关键组成部分。应用在检测方面，通常 使用p e n t i u mi n 或更高的c p u 。一般来讲，计算机的速度越快，视觉系统处理 每一张图片的时间就越短。 6 处理软件该软件用于创建和执行程序、处理采集回来的图像数据。 7 网络连接机器视觉系统通常需要将采集的图像信息或图像信息的处 理结果发送到其它的共享用户或决策系统，因而需要有网络连接的功能模块，这 一功能通常是由网卡来实现的。 机器视觉系统根据要实现的特定功能可对上述部件进行添加和删减，对于足 球机器人的视觉系统部件传感器我们并不需要使用。 2 2 大场地足球机器人视觉系统的硬件选取 本文的研究对象是l a r g el e a g u em i r o s o t ，参加比赛的队员数为1 1 个，更 加模拟人来踢足球。该项目将比赛场地加大到4 0 0 x 2 8 06 1 1 1 ，其示意图如下( 图 1 0 第二章大场地足球机器人视觉系统的总体构架 2 2 ) 。 日卜一 -【；卜_ 蛳a 目日。 日卜- ” 1 1 i 浮 璺 _ 一n 口 p 口k - - _ - j 1 口 t 厂 、 一 ) 毒 ll ， t 。 憎 r 雕 日 -i， _ i 1 。i 卜i 毒 ，e r a 图2 21 1v s l l 场地尺寸 2 2 1 摄像头与镜头的选择 在中型组的m i r o s o t 中我方采用的摄像头是德国b a s l e ra 3 1 2 f c1 3 9 4 数字摄 像头【l l 】和h 2 2 4 5 1 6 c s - 2 镜头，这也是实验室中现有的设备，如图2 3 和图2 4 所 示。 图2 3b a s l e r a 3 1 2 f c 摄像头图2 4h 2 2 4 5 1 6 c s - 2 镜头 b a s l e r 摄像头可以摄取质量很高的图像，其性能参数如下所示( 表2 2 ) 。 表2 2a 3 1 2 f e 的性能参数表 麟熬骚黼鞭戳鬻纂壤鬻鬻裁瑟鬟器灞镧鹾骥鬻湖 传感器类型逐行扫描c c d 麟蕊鬻蠢羹鬻豫豢麟鹱鞭鬻鬻糕鬣翳堡囊羹鏊溪器3 一蜜疆鹱蔫蓁 全分辨率时最高帧速 5 3 f p s 蓊懑瓣蒸鞴霭魑德惑蘸露麓嚣鬟篱蘸鹣莲鬻需溪鬻 视频输出类型 e e1 3 舛 河海大学1 = 学硕士论文 基于大场地的足球机器人视觉系统研究 貔曼! 篡：视频输出格式荔，：i i 篡：攘i 覆! ：纛篓霪瑟盼b 戤霉薹篡翟! ! 篡鬻 同步 外同步或1 3 9 4 总线 i 鑫。善：纛；纛。曝光控翻纛篡鬻荔i 翼荔鬟纛瑟瑟通谶憋9 4 总线可编鹅女獭j 嚣嚣耄缁 红外滤光标准 笺鏊；蓑! ：二i 蔫专供也。琴麓鬟i ；鬈覆鬟鬟i 要瑟，8 - 3 6 d v c 谴议使用1 2 d v c ) 荔l 鬻缓 耗电不大于3 0 w 嚣要爹零”鬈镜头接口男9 曩纛荔鬈霉嚣篡爹纛套鳆耋二荔篓雾夏雾薹筏 外形尺寸4 0 8 x 6 2 r m n x 6 2 r r a n 蓉篡翼? 磷淼童爨瑟蔫罗”羲簇乏蓉磁：勰暖，毯篱黼 h 2 2 4 5 1 6 c s 一2 镜头的性能参数如下： 焦距f ( 咖) ：4 5 1 0 接口方式：c s 光圈( f ) ：1 6 c 视角( 水平) ：8 1 3 3 8 2 最近物像距离( m ) ：0 3 有效口径前n l m ) ：1 8 6 后m m ) ：9 0 前置滤光镜螺纹 外形尺寸( 姗) ：0 3 3 5 x 4 3 5 重量( 曲：4 0 特征：手动光圈及调焦带螺丝锁 镜头焦距的计算公式如下： 仁w i w f = h x l h f 镜头焦距 w ：图像的宽度( 被摄物体在c c d 靶面上成像宽度) w ：被摄物体宽度 l ：被摄物体至镜头的距离 h ：图像高度( 被摄物体在c c d 靶面上成像高度) h ：被摄物体的高度 c c d 靶面规格尺寸与w 、h 的对应关系如下所示( 表2 3 ) ： 表2 3c c d 靶面规格尺寸与w 、h 的对应关系表 ( 2 1 ) ( 2 2 ) 规格 w ( m m )h ( m m ) 1 3 ”4 8 3 6 1 2 ”6 4 4 8 2 3 ”8 86 6 l ”1 2 7 9 6 第二章大场地足球机器人视觉系统的总体构架 我们使用的摄像头c c d 靶面是l 2 ”，摄像头的高度距场地的垂直距离取3 米。当用单个摄像头摄取整个l l v s l l 比赛场地时，可由式( 2 1 ) 计算出应选用 的镜头的焦距。 f = w x w = 6 4 x 3 0 0 0 4 4 0 0 = 4 3 6 m m 这一焦距已小于h 2 2 4 5 1 6 c s 一2 镜头的焦距，即采用h 2 2 4 5 1 6 c s 2 镜头无 法获取场地的全景。由此应选择焦距更小的镜头，但焦距减小时，易产生如下缺 点： ( 1 ) 图像更容易产生大的几何畸变。 ( 2 ) 由于机器入小车有一定的高度，很可能出现比赛用球的死区现象，机器 人小车将球遮挡住，无法采集到球的信息1 1 2 】【1 3 l ，如图2 5 所示。 ( 3 ) 在一定的图像分辨率下，用单摄像头采集整个场地