（计算机应用技术专业论文）小型组足球机器人视觉系统研究与设计.pdf

湖北工业大学硕士学位论文 摘要 r o b o c u p 是一个国际联合项目，宗旨是促进人工智能，机器人技术，以及相 关领域的发展。r o b o c u p 整合了大量的技术，为人工智能和智能机器人的研究提 供了一个标准的问题。项目的最终目标是到2 0 5 0 年，发展一批完全自主人形机器 人，可以在足球场上战胜人类的世界冠军队。 r o b o c u p 小型组足球机器人项目是r o b o c u p 的一个分支，它主要着眼于在高 动态环境里关于一个集中式和分布式相混合的系统的多智能体协调及控制的问 题。需要将大量硬件和软件模块实现和集成进来，做出一个好的设计，组成一个 强有力的机器人足球运作与决策系统。它是研究和教育领域一个非常有趣和具有 挑战性的项目。 硬件是小型组视觉系统的基础，直接决定视觉系统的好坏。本文首先针对 b o t n i a 2 0 0 7 硬件系统的不足，研究了硬件系统的选型方法，选定了新的b o t n i a 2 0 0 8 视觉硬件系统，提高了硬件处理能力。 小型组的视觉软件系统分为图像采集、颜色分割、图像校正、和对象位姿计 算四个大模块。其中图像采集由采集板卡提供配套s d k 解决，其余三部分是本文 研究重点。 在颜色分割方面，本文分析了上一代视觉系统中采用r g b 颜色空间存在的抗 干扰差的问题，以及基于动态窗口搜索方法存在的不能处理高速运动对象、可靠 性低等问题，改用h s v 颜色空间，并采用快速颜色分割和整帧扫描方法，解决了 这些问题。提高了系统的可靠性。 在图像校正方面，本文在t s a i 标定算法方面作了一些探索。 在对象位姿计算方面，本文设计了机器人识别色标模板，提出了一种对机器 人对象识别结果进行筛选的办法，提高了对象识别鲁棒性。 关键词：r o b o c u p ，足球机器人，机器人视觉，对象筛选 湖北工业大学硕士学位论文 i l i _ 鬯，鬯_ 曼 a b s t r a c t r o b o c u pi sa ni n t e m a t i o n a li o i n tp r o j e c tt op r o m o t ea i ，r o b o t i c s ，a n dr e l a t e d f i e l d i ti sa na t t e m p tt of o s t e ra ia n di n t e l l i g e n tr o b o t i c sr e s e a r c hb yp r o v i d i n ga s t a n d a r dp r o b l e mw h e r ew i d er a n g eo ft e c h n o l o g i e sc a nb ei n t e g r a t e da n de x a m i n e d t h eu l t i m a t eg o a lo ft h er o b o c u pp r o j e c ti sb y2 0 5 0 ，d e v e l o pat e a mo ff u l l y a u t o n o m o u sh u m a n o i dr o b o t st h a tc a nw i na g a i n s tt h eh u m a nw o r l dc h a m p i o nt e a m i ns o c c e r 。 s m a l ls i z er o b o ts o c c e ri so n eo ft h er o b o c u pl e a g u ed i v i s i o n s s m a l l s i z e r o b o ts o c c e rf o c u s e so nt h ep r o b l e mo fi n t e l l i g e n tm u l t i a g e n tc o o p e r a t i o na n d c o n t r o l i nah i g h l yd y n a m i ce n v i r o n m e n tw i t hah y b r i dc e n t r a l i z e d d i s t r i b u t e ds y s t e m b u i l d i n gas u c c e s s f u lt e a mr e q u i r e sc l e v e rd e s i g n ，i m p l e m e n t a t i o na n di n t e g r a t i o no f m a n yh a r d w a r ea n ds o f t w a r es u b c o m p o n e n t si n t oar o b u s t l yf u n c t i o n i n gw h o l e m a k i n gs m a l ls i z er o b o ts o c c e rav e r yi n t e r e s t i n ga n dc h a l l e n g i n gd o m a i nf o r r e s e a r c ha n de d u c a t i o n v i s i o ns y s t e mi st h ek e ye l e m e n ti nt h es s la n dd i r e c t l yd e t e r m i n e st h e p e r f o r m a n c eo ft h es y s t e m i nt h i st h e s i s ，t h ew e a k n e s so fp r e v i o u sh a r d w a r e b o t n i a v i s i o n2 0 0 7h a sb e e ns t u d i e da n dt h e nan e wh a r d w a r eb o t n i a v i s i o n2 0 0 8h a s b e e np r o p o s e dt oi m p r o v et h ev i s i o np e r f o r m a n c e s s lv i s i o ns e i f l w a r ei sd i v i d e di n t o4m o d u l e s ，w h i c ha r ev i d e oa c q u i s i t i o n ， c o l o rs e g m e n t a t i o n ，v i s i o nc a l i b r a t i o n ，a n dp o s i t i o nc a l c u l a t i o n a m o n gt h em o d u l e s ， v i d e oa c q u i s i t i o ni ss u p p o r t e db ys d kf r o mt h ep r o v i d e ro fv i d e oc 印t u r eh a r d w a r e ， a n dt h er e s t3m o d u l e sa r et h ef o c u so ft h i st h e s i s i nc o l o rs e g m e n t a t i o n ，t h i st h e s i sa n a l y z e st h ep o o ri m m u n i t yo ft h ep r e v i o u s v i s i o ns y s t e mu s i n gr g bc o l o rs p a c e a sw e l la st h ei n c a p a b i l i t ya n dl o wr e l i a b i l i t y o fh a n d l i n gh i g h - s p e e dm o v i n go b j e c t su s i n gd y n a m i cw i n d o w b a s e ds e a r c hm e t h o d s n e ws o l u t i o nu s e sh s vc o l o rs p a c e ，f a s tc o l o rs e g m e n t a t i o na n de n t i r ef r a m e s c a n n i n gm e t h o dt os o l v et h ee x i s t i n gp r o b l e m sa n di m p r o v et h er e l i a b i l i t yo ft h e s y s t e m i nv i s i o nc a l i b r a t i o n ，t h ec l a s s i ct s a ic a l i b r a t i o na l g o r i t h mh a sb e e nf u r t h e r s t u d i e d i np o s i t i o n c a l c u l a t i o n ，c o l o rc o d et e m p l a t eh a sb e e nd e s i g n e df o rr o b o t i d e n t i f i c a t i o n a no b j e c t f i l t e r i n gs o l u t i o nh a sb e e np r o p o s e d t o i m p r o v et h e r o b u s t n e s so fo b j e c ti d e n t i f i c a t i o n k e y w o r d s ：r o b o c u p ，s o c c e rr o b o t ，r o b o tv i s i o n ，o b j e c tf i i t e r l l 湖彬二棠大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工 作所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体己经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本声明的法律结果由本人承担。 学雠文储鲐借事怵2 咖年5 月5 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权湖北工业大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 学位论文作者签名： 日期：2 0 0 9 年5 月5 日 ：肇枷 日期：2 0 0 9 年5 月5 日 湖北工业大学硕士学位论文 第1 章引言 1 1 机器人足球比赛简介 目前，机器人足球比赛有两个主要的赛事：r o b o c u p 和f i r a 。 ( 1 ) f i r a 机器人足球比赛 f i r a 是国际机器人足球联合会的缩写。f i r a 于1 9 9 7 年5 月在韩国科学技术 院正式成立。f i r a 组织总部设在韩国，现有3 4 个国家和地区的几百个学校和科 研院所参加。每年f i r a 举办一次国际性机器人足球世界杯赛。 ( 2 ) r o b o c u p 机器人足球比赛 r o b o c u p 比1 是r o b o tw r o r l dc u ps o c c e rg a m e s 的简写，即机器人足球世界杯赛。 这是一项综合教育与科研的国际性赛事，其目的是推进人工智能和机器人技术的 研究。通过由组委会提供一个标准的兼容多学科知识的课题或研究平台，所有参 加者针对该课题寻找自己的解决方法，并通过比赛对解决方法进行技术比较。 r o b o c u p 的比赛项目主要有：足球比赛( r o b o c u ps o c c e r ) ，救援比赛( r o b o c u p r e s c u e ) ，青少年比赛( r o b o c u pj u n i o r ) 。 其中，足球赛是r o b o c u p 比赛的核心，它分为以下几种类别： ( 1 ) 仿真组( s i m u l a t i o nl e a g u e ) ( 2 ) 小型组( s m a l ls i z el e a g u e ) ( 3 ) 中型组( m i d d l es i z el e a g u e ) ( 4 ) 标准平台组( s t a n d a r dp l a t f o r ml e a g u e ) ( 5 ) 类人组( h u m a n o i dl e a g u e ) 1 2r o b o c u p 小型足球机器人比赛规则 r o b o c u p 小型组足球机器人比赛是机器人世界杯中的一项重要赛事，由于机 器人运动速度快、比赛激烈而倍受关注。该赛事研究在动态环境下使用一个集中 或者分布的系统控制多智能体以及完成它们的协作，是多智能体集中控制方法的 良好的测试平台，具有典型的研究意义，其中涉及到视觉、无线通讯、实时决策 控制、机械等多个系统。 湖北工业大学硕士学位论文 小型组足球机器人0 9 年规则。1 规定比赛场地是长方形，长6 5 5 0 m m ，宽 4 5 5 0 m m ，上铺一层绿色毛毡或者地毯，地毯表面水平。机器人的体积必须限制 在底面直径为1 8 0 m m ，高为1 5 0 r a m 的圆柱体内。机器人可以拥有挑球、带球、 击球装置，通过无线方式与赛场外的服务器通信。比赛规则与普通足球相似，同 样有点球、任意球和球门球等。规则禁止机器人发生剧烈碰撞，机器人如果出现 犯规，会受到警告或出示黄牌，出现严重犯规时，将被直接罚出场外。比赛分上 下两个半场进行，每个半场1 0 分钟，半场之间有5 分钟的中场休息时间。下半场 结束时若为平局，实行点球大战。如果球帽持超过1 0 秒就判争球，如果比赛中双 方的比分差距达到l o 个球，比赛即自动结束，领先一方获得胜利。比赛规则由 r o b o c u p 官方组委会制定。 全局视觉系统的要求如下： 1 、如图1 1 所示，场地尺寸6 5 5 0 m i n x4 5 5 0 m m ，四周为一圈高1 0 0 哪的墙，每个 摄像机探测区域为场地内部半边，即3 2 7 5 m m x 4 5 5 0 m 的区域，场地外有一幽宽 4 2 5 m m 的裁判行走区域。场地上画有中线、中圈、门区等比赛标志； 萋豢0 。 i 、憋譬 图1 1 比赛场地尺寸 2 、球门的大小为7 0 0 m m x l 8 0 m m ； 3 、比赛采用标准的橙色高尔夫球； 4 、场上双方各自最多有5 名机器人足球队员，其中需要指定一名守门员 湖北工业大学硕士学位论文 5 、场上位置信息的采集由安装在场地上方固定高度的摄像头完成，每支球队町以 安装一个或者多个摄像头。对于机器人小车和球的识别都是通过颜色识别和分割 来实现的。双方机器人小车的上方都贴有不同颜色的色块，称之为色标。正中央 的色标为队标，形状为直径都为5 0 m m 的圆，其颜色是固定的，只有黄色和蓝色两 种，用于区分球队。其它色标为队员色标，要求和队色标及球有明显颜色区别， 其形状和位置不受限制。用来区分同一参赛队伍中的不同队员； 6 、摄像机置于比赛场地上方4 米以内，并保证各队摄像机不相互遮挡； 7 、裁判使用可被视觉系统忽略的球杆拨球； 8 、场地光照要求为5 0 0 l u x 以上，不保证光照完整均匀的布满比赛场地； 9 、球的速度禁止超过1 0 米每秒。 1 3r o b o c u p 小型足球机器人系统结构 图1 2r o b o c u p 足球机器人小型组系统结构图 如图1 2 所示，r o b o c u p 小型组足球机器人系统由摄像机、视觉服务器、策 略服务器、无线传输子系统、机器人、裁判盒组成。 摄像机实时采集比赛场地的图像数据，然后传递给视觉服务器，视觉服务器 负责分析采集到得图像，实时计算出场上机器人的位置、方向、编号以及球的位 置，然后发送给策略服务器。 策略服务器负责分析场上形势，根据裁判盒的命令判断场上攻守态势，分配 己方机器人攻守任务，规划机器人行走路径，并生成各个机器人控制指令。 湖北工业大学硕士学位论文 无线传输子系统负责将控制指令实时可靠的传输剑机器人，此外还需要将机 器人的电池容量等状态信息反馈给策略服务器。 双方球队的机器人包含外壳、车架、万向车轮、高速电机、减速机、编码器、 电机驱动器、高压模块、主控电路与无线收发等模块构成。它可以按着决策结果 调整轮子转速，监测机器人的状态信息，实现行走、挑球、带球、踢球等动作。 比赛通过人工裁判决定比赛的开始、暂停、结束、犯舰的处理等事务，通过 裁判盒程序发给各队策略服务器，使其按裁判口令顺利进行比赛。 比赛过程中，除了通过裁判程序外，禁止人工参与或调整。 1 4 本文研究内容和结构 小型组足球机器人视觉子系统是足球机器人控制系统的前端部分，负责比赛 场地的信息采集和处理工作，其识别的准确性和定位的精确度直接关系到整个系 统工作的有效性，因此极其重要。但是，比赛现场外部干扰非常多，这也造成视 觉子系统非常容易出错。比赛前，尽管己经做了很多工作，但是在比赛时还是会 出现各种各样的问题，很多队甚至因此影响比赛结果。 在r o b o c u p 小型组足球机器人系统中，视觉子系统面临着以下困难： 1 、比赛环境的光照条件不均匀、不稳定西6 1 。 同一个比赛场地不同区域的亮度不一致，比如光照不均匀、物体产生的阴影 等会造成这个结果。此外，比赛期间场地外观众的闪光灯会造成同一时间，比赛 场地不同区域的光照条件不同，所以光照条件也在随时间变化。 2 、目标运动速度快，对处理程序实时性要求高。 目前机器人的最快运动速度可以达到5 6 m s ，球的最快速度可以达到 1 0 m s ，甚至个别队达到了1 5 m s 。为了提高图像采集实时性和控制系统精度， 摄像机的采集速率需要达到每秒6 0 帧以上，这就要求图像处理程序计算执行效率 高，实时性好。 3 、对目标位姿信息精度要求高。 目前很多参赛队已经实现了多个机器人的协作，通过二过一、三过等各种 传接配合实现进攻，并可以在极小的角度下实现进球，这就对场上目标的位姿信 息识别精度要求非常高，一般误差要求方向误差小于3 度，位置小于2 个像素间距， 即小于1 3 2 r a m ， 4 、比赛场地大而要识别的目标小。 目前实际需要处理的区域略大约6 5 5 0 m m 4 5 5 0 m m ，机器人色标的大小一 4 湖北工业大学硕士学位论文 般为5 0 r a m 到5 5 r a m ，球的直径为4 3 m m 。如果采用双摄像机视觉子系统，在图 像的分辨率为7 8 0 5 8 0 的情况下，图像中每个像素对应的场地大小为6 6 m m ， 色标和球等目标的大小通常为十几至几十个像素，且由于光照，摄像机分辨率等 原因造成物体图像周围存在很多杂点，因此，目标图像的实际有效大小仅为十几 个像素左右。 5 、摄像机获取的图像存在严重的畸变。 视觉子系统中摄像机的视野需要大于4 5 5 0 m mx3 2 7 5 m m ，摄像机的高度约 为4 0 0 0 r a m ，因此需要选择焦距小于6 r a m 的广角镜，但是这样小焦距的镜头获 取的图像存着非常严重的畸变，而足球机器人中对机器人和球的位姿信息精度要 求很高，因此镜头畸变给定位精度提高带来了很大的困难。 综上所述，小型足球机器人的视觉子系统对实时性、准确性、光照的适应性 都有很高的要求。 本文第一章概括介绍了机器人足球赛状况、简要介绍了r o b o c u p 小型组足 球机器人的规则、结构。最后介绍了机器人视觉并且概括了全文的内容。 第二章概括介绍视觉子系统的设计，是全文的大纲。该章讲述了整个视觉系 统的构架以及硬件选型方法，对比了新旧系统的差异。并将整个系统分解为数据 采集、图像分割、畸变校正和目标识别四个模块。 第三、四、五章分别介绍了图像分割、畸变校正和目标识别三个重点模块的 详细设计。 1 5 本文研究意义 目前机器视觉处理技术得到了广泛应用。例如利用指纹、人脸、虹膜等识别 技术来处理与身份识别相关的事情；工业中视觉系统主要用在检测方面，如实现 生产过程中零件的识别与定位，达到提高生产效率、控制生产过程产品质量、采 集产品数据等目的。 足球机器人项目融合了机器视觉、计算机视觉和图像工程等多个学科的相关 技术。为这些学科问题的研究提供了理想的试验载体。 5 湖北工业大学硕士学位论文 第2 章r o b o c u p 小型组足球机器人视觉系统总体设计 2 1 小型足球机器人视觉系统概述 在r o b o c u p 小型足球机器人系统中，视觉子系统的主要任务是实时获取和 分析场地图像，精确定位机器人和球的方位，并将方位等信息传输给策略子系统， 以规划机器人的行动。 小型组视觉系统一般采用全局视觉，使用置于场地上方4 米的摄像头摄取图 像，经过数字化处理后送入主机内存，再由专用软件对图像进行理解，识别机器 人的运动轨迹和方位信息。由于场地大、棰器人和球的尺寸相对较小，为了获取 更清晰更丰富的场上信息，参赛队一般使用两个摄像机，分别获取左右半场信息， 再进行图像融合等处理。按照规则，双方各有不同颜色的组队标( 黄色或蓝色) ，机 器人也有不同的队员队标。因此各参赛队主要通过颜色来识别机器人与球的坐标 位置与朝向。 机器人视觉系统是一个十分庞大而复杂的系统h 1 ，软件系统是其核心部分， 其详细处理流程如图2 1 所示。 视频h 捕捉模块h 颜色空间变换h 图像分割h 游程长度构建 参数发送h 畸变校正h 坐标计算h 识别与标识 图2 1 视觉系统详细构架 1 、捕捉模块：完成视频图像采集。 2 、颜色空间变换：将摄像机采集到的数据转换到合适的颜色空间表示。 3 、图像分割模块：根据自动计算或者用户设定的颜色阀值，识别需要的颜色。 4 、建立游程长度：将上一模块获得的满足条件的像素首先按行进行游程长度 编码，并快速组合成颜色区域，然后计算颜色区域的密度，面积等属性。最后将 需要的颜色色标、足球色块信息从场地背景中分割出来， 5 、识别模块：根据色标组合情况，识别机器人的编号，组别。识别球的位置， 从多个类似识别结果中进行筛选，挑选最接近的结果。 6 、坐标计算：用于计算机器人的位置与方向以及球的位置等姿态信息，并调 6 湖北工业大学硕士学位论文 用几何校正模块计算实际坐标。 7 、畸变校正模块：通过摄像机标定计算内外部参数，并完成图像畸变校正。 8 、发送模块：在视觉系统与策略系统间通过网络，通过适当的数据结构，将 位姿等数据通过无线方式发送给策略系统。 上述模块中，颜色空间变换、分割模块、游程长度建立用于完成图像分割。 识别模块、坐标计算用于完成对象识别。捕捉模块完成图像采集功能。 图像采集模块、图像分割模块、摄像机标定与畸变校正模块以及对象识别模 块是视觉子系统的四个主要组成部分，其中后三部分是视觉子系统的核心部分。 2 2 视觉子系统硬件选型 小型组视觉硬件系统主要由摄像头、镜头、图像采集卡、传输电缆、视觉服 务器组成。这些硬件的选型直接决定采集到的视频数据的精确性，可靠性和实时 性。如果由于硬件本身的原因造成采集的颜色数据偏差很大，或者速度低，或者 畸变极其严重，通过软件是很难或不可能弥补的。本文根据小型组的需求，研究 足球机器人视觉硬件系统的选型。 一、摄像头的选择和使用方法 1 、c c d 摄像机的选择 c c d 芯片就像人的视网膜，是摄像头的核心。摄像机一般有单c c d 和3 c c d 之分。和单c c d 相比，由于3 c c d 分别用3 个c c d 转换红，绿，蓝信号，拍摄 出来的图像从彩色还原上要比单c c d 来的自然，亮度以及清晰度也比单c c d 好。 但由于使用了三片c c d ，3 c c d 摄像机的价格要比单c c d 贵很多，所以只有专 业用的摄像机才会使用3 c c d 。 本视觉系统出于成本考虑选择了单c c d 类型。 2 、成像色彩 本视觉系统主要是分辨色标的颜色，所以必须选择彩色摄像机。 3 、c c d 靶面大小 目前采用的c c d 芯片大多数为i 2 英寸、i 3 英寸和1 4 英寸。c c d 靶面 的大小，c c d 与镜头的配合情况将直接影响视场角的大小和图像的清晰度。 考虑价格和镜头选择因素，最终选择了i 2 英寸的摄像机。 4 、扫描制式 摄像机有p a l 制、n t s c 制还有非标准制式。其中p a l 制式标准为6 2 5 行， 2 5 帧，5 0 场，n t s c 制式标准为5 2 5 行，3 0 帧，6 0 场。这两种制式都是在隔 7 湖北工业大学硕士学位论文 行扫描方式下1 作，如果逐场处理视频数据，频率基本叮以达到要求，p a l 制式 只有3 1 2 行数据，n t s c 制式只有2 5 2 行数据，损失了一半的分辨率，反过来如 果逐帧处理视频数据，分辨率基本达到要求，p a l 只有制式2 5 帧，n t s c 制式 只有3 0 帧，处理频率损失一半，很难满足实时性要求。 小型组图像处理中，色标面积相对于比赛场地比较小，视觉系统要从比较小 的色标块中计算出机器人的组别，编号，方向，速度等信息，所以应该在计算速 度足够的情况下，保证能同时获得高分辨率和高采样频率，最新的b o t n i a 2 0 0 8 视觉硬件系统选择了非标准制式。具体为7 8 0 ( h ) x5 8 0 ( v ) 分辨率，采样速度为 6 1 帧，采用逐行扫描方式。 5 、镜头安装方式。 镜头有c 接口和c s 接口两种，二者间不同之处在于感光距离不同。c 接口 镜头与摄像机接触面至镜头焦平面的距离为1 7 5 毫米，c s 接口距焦点距离为 1 2 5 毫米。c 型镜头与c 型摄像机可以配合使用。c s 型镜头与c s 型摄像机可以 配合使用。c 型镜头与c s 型摄像机之间增加一个5 m m 的c c s 转接环也可以配 合使用。 在b o t n i a 2 0 0 8 硬件系统中，由于选择的镜头只有c 接口，所以选择了c 接 口方式的摄像机，如果选择c s 接口方式的摄像机，就必须再购置一个转接环，增 加了费用，也降低了精度。 6 、白平衡 白平衡只用于彩色摄像机，目的是自动地调节对原色r g b 分量的修正因子， 以防止图像受不同色温的影响。 在b o t n i a 2 0 0 8 硬件系统中，选择的f 一0 4 6 c 型摄像机通过软件实现了自动 白平衡功能，极大地简化现场摄像机参数调整。 根据上述分析，选择了德国a l l i e dv i s i o nt e c h n o l o g i e s 原产工业摄 像机a v ts t i n g r a yf 一0 4 6 c ，关键参数如表2 1 所示。 表2 1a v ts t i n g r a yf - 0 4 6 c 摄像机关键参数 参数名描述 i m a g ed e v i c e p i c t u r es i z e c e l ls i z e l e n sm o u n t d i g i t a l i n t e r f a c e t r a n s f e rr a t e t y p e1 2 ，p r o g r e s s i v es c a nc c d ，s o n yi c x415 7 8 0 ( h ) x5 8 0 ( v ) 8 3i j mx8 3i j m c m o u n t o p t i o n a l ：c s - m o u n t i e e e l 3 9 4 b ( i i d cv 1 3 1 ) s8 0 0d a i s yc h a i n 1 0 0m b i t s ，2 0 0m b i t s ，4 0 0m b i t s ，8 0 0m b i t s 湖北工业大学硕士学位论文 f r a m er a t e su pt o61f p s ( f u l lr e s o l u t i o n ) 二、镜头的选择 通过镜头与c c d 摄像机配合，可以将远距离目标成像在摄像机的c c d 靶面 范围内。镜头是视觉子系统中的重要部件，它对成像大小、质量等有着重要的影 响。镜头的种类繁多，从结构上分，包含固定光圈定焦镜头、手动光圈定焦镜头、 自动光圈定焦镜头、手动变焦镜头、自动光圈电动变焦镜头、光圈和焦距以及聚 焦都可调整的电动三可变镜头等类型。从视场大小分，可分为广角、标准、远摄 镜头；按照焦距长度分，有短、中、长和变焦距镜头；由于镜头选择得合适与否 直接影响到成像质量的优劣，因此，本文专门研究了镜头的成像尺寸、焦距、相 对孔径和视场角等参数的选择方法。 1 、成像尺寸 镜头一般可分为2 5 4 m m ( 1 英寸) 、1 6 9 m m ( 2 3 英寸) 、1 2 7 m m ( 1 2 英寸) 、 8 4 7 m m ( 1 3 英寸) 和6 3 5 m m ( 1 4 英寸) 等规格，它们分别对应着不同的成像尺寸， 选用镜头时，应使镜头的成像尺寸与摄像机的靶面尺寸大小相吻合。 当镜头的成像尺寸比摄像机靶面的尺寸大时，不会影响成像，但实际成像的 视场角要比该镜头的标称视场角小，而当镜头的成像尺寸比摄像机靶面的尺寸小 时，就会影响成像，表现为成像的画面四周被镜筒遮挡，在画面的4 个角上出现 黑角。 2 、焦距 镜头的焦距决定着摄像机能看清多么远的物体或能看清多么宽的场景，用不 同焦距的镜头对同一位置的某物体摄像时，配长焦距镜头的摄像机所摄取的景物 尺寸大，反之，配短焦距镜头的摄像机所摄取的景物尺寸小。当然，被摄物体成 像的清晰度还与所选用的c c d 摄像机的分辨率及监视器的分辨率有关。理论上， 任何一种镜头均可拍摄很远的物体，并在c c d 靶面上成一很小的像，但受c c d 像素物理尺寸的限制，当成像小于c c d 传感器的一个像素大小时，便不再能形成 被摄物体的像，即使成像有几个像素大小，该像也难以辨识为何物。 当已知被摄物体的大小及该物体到镜头距离，则可根据公式( 2 - 1 ) ( 2 2 ) 估算 所选取镜头的焦距： f ：hx d( 2 1 ) = 一 iz l ， h 厂：v x d( 2 2 )。 矿 式中，d 为镜头中心到被摄物体的距离；h 和v 分别为被摄物体的水平尺寸 9 湖北工业大学硕士学位论文 和垂直尺寸；v 为靶面成像的高度：h 为靶面成像的水平宽度。对于机器人视觉系 统来说，比赛场地为3 2 7 5 m m x 4 5 5 0 m m 长方形场地，本文所选摄像头靶面为 1 2 英寸( 64 m i n x 48 m m ) ，因此根据公式( 2 - 3 ) ( 2 4 ) ，一6 4 4 x 5 4 5 0 0 0 0 = 5 6 2 ( 23 ) 4 5 5 0 z0 j ，= 4 8 3 x 2 4 燮7 s = 5 8 6( j 一4 ) 。 3 2 7 5 t z 一4 ， 计算得出焦距必须小于56 2 。 根据上述情况，最终选择了s v 一0 5 1 4 m p 镜头，这款镜头参数如下： l 、1 0 0 万以上像素对应广角= 5 r a m c c t v 镜头 2 、f = 5 m m 广角镜头 3 、视角v x h = 5l 4 。6 55 4 、对应百万像素感应器 5 、1 2 英寸c c d 照相机 这款镜头焦距为5 m m ，超过需求，能接1 2 英寸c c d ，满足系统需求。晟 大的优点是失真小，这极大的提高了摄像机标定的精度。图2 2 是这款镜头与旧 版c c t v 镜头的畸变对比图。 ( a ) 旧版c c t v ( b ) s v 一0 5 1 4 m p 图22 摄像机畸变失真对比 三、数据采集板卡选择 由于一个摄像头的传输速度就需要8 0 0 m ，一般称为$ 8 0 0 ，1 3 9 4 a 只能达 到$ 4 0 0 的传输速度，而市面上1 3 9 4 b 卡传输速度一般是8 0 0 m 。因此两个摄 像机就必须使用两路独立的1 3 9 4 b 传送通道，而不是多个1 3 9 4 b 端口共享一路 $ 8 0 0 传送通道。鉴于此，选择了a v t 推荐的f w b - p c i e l x e 2 2 0 卡，这个卡具 备两路独立的s 8 0 0 通道，能满足系统需求。这块卡还有一个优点，板上提供与机 箱电源的接口，用于向摄像机供电，省略了摄像机电源。 四、传输电缆选择 由于本文选择的是1 3 9 4 b 接口的摄像机，需要配备对等速度的连接线。也就 是两头都是9 芯1 3 9 4 b 接口的传输电缆。从摄像机到视觉服务器有1 0 多米，为 了保留余量，选择1 5 米长的1 3 9 4 b 电缆。高品质的电缆能保证在所有支持的速 湖北工业大学硕士学位论文 度下达剑低阻尼和最佳的信号质量，为保证传输效果，最终选择a v t 原j 一配置的 1 5 米1 3 9 4 b 传输电缆。 2 3b o t n i a 2 0 0 8 与b o t n i a 2 0 0 7 视觉子系统硬件对比 1 、b o t n i a 2 0 0 7 视觉子系统是一套老系统口1 ，采用两台s o n yp d l 9 03 c c d 彩色工业摄像机、原配广角镜头、两块w i n t ve x p r e s s 视频采集卡、一台视觉 服务器，服务器c p u 为q 6 6 0 0 ，内存为2 gd d r 2 。 s o n yp d l 9 0 摄像机采用p a l 制式，图像采集速率为每秒2 5 帧5 0 场，成 像元件为i 3 英寸c c d ，有效像素为7 2 0 ( h ) 5 7 6 ( v ) ，隔行扫描。通过s 端子 将摄像机与视频采集卡相连。镜头焦距为6 0 - 7 2 0 r a m ，自动变焦。 该系统的缺点是：由于制式的限制，采集分辨率和速度只能达到6 4 0 x4 8 0 、 2 5 帧或者3 2 0 4 8 0 、5 0 场的数据传输率，很难在分辨率和采样率上同时兼顾。 摄像机过于笨重，难以找到合适的万能央具。在不同的场地进行安装就非常 麻烦。 摄像机长度太长，加上焦距最小只有6 0 r a m ，在4 m 的高度内必须安装到最 高点才能够勉强拍摄整个半场，在比赛的时候，场地上很多队的摄像机焦距比较 小，他们的安装点比较低，我方摄像机视野内很容易出现其他队摄像机，非常不 便于安装。 此系统采用模拟方式传输视频数据，比赛图像从现场采集到转变成计算机中 存储的数字图像需要经过多次信号转换和传输，如从光学图像经过光电转换变为 模拟视频信号，接着进行模拟视频信号传输，最后通过视频采集卡转换成数字图 像，这个过程难免存在非线性畸变，而且信号容易受到干扰。 该系统的优点是：摄像机采用3 c c d 方式，彩色还原性相当好，颜色鲜艳。 2 、b o t n i a 2 0 0 8 视觉子系统则采用两台a v ts t i n g r a yf - 0 4 6 c 摄像机，日 本原厂s v 一0 5 1 4 m p 镜头，a v t 推荐的f w b p c i e l x e 2 2 0 采集卡和1 3 9 4 b 传输电缆。使用d e l l 高端服务器，其c p u 为i n t e l1 79 2 0 ，采用4 g 容量的d d r 3 内存。 这套摄像系统的缺点是：摄像机为单c c d 方式，彩色还原性稍差。 这套系统采用的优点是：摄像机为数字摄像机，视频数据在传输过程中不易 受干扰，摄像分辨率达到了7 8 0 x 5 8 0 ，采样速度达到了6 1 f p s ，同时满足了系统 分辨率和采样率的要求。摄像机非常轻便，长度不大，便于安装。此外，摄像机 配套提供了功能强劲的开发库和例子代码，非常便于开发。计算机处理能力大幅 湖北工业大学硕士学位论文 度提高，为高速实时完成图像处理打下了物质基础。 2 4 本章小结 本章介绍了小型组视觉子系统、探讨了视觉系统的构架以及硬件选型方法， 对比了新旧系统的差异。并将整个系统分解为数据采集、图像分割、畸变校正和 目标识别四个模块。 1 2 湖北工业大学硕士学位论文 第3 章基于色标颜色的图像分割 机器人小车的项部贴有舰则要求的色标，其中位于机器人中心的队色标为黄 色和蓝色，四周队员色标的颜色为与黄色、蓝色和橙色不相近的颜色，球为橙色。 在机器人视觉子系统中，需要将这些颜色区域从采集的图像数据中分割出来，因 此，颜色信息是主要的识别依据，需要通过图像分割陋们来实现。 3 1 图像分割的方法综述 图像分割是指图像分成各具特性的区域，并提取感兴趣目标的技术，是一种 重要的图像技术，在理论研究和实际应用中都得到了人们的广泛重视。图像分割 常用的方法有阀值分割法n 叫3 1 ，如将直方图量化后采用最大熵阈值处理算法n 引，以 及严学强提出的基于量化直方图的最大熵阈值处理算法n 制、边缘分割法n 6 j ，如宋 焕生等人u 町提出的多尺度脊边缘方法较好地兼顾抗噪性和检测精度、区域分割法、 人工神经网络分割法引、小波分析和变换分割法啪1 、数学形态分割法乜、遗传算 法分割法心2 1 等。 上述方法中除了基于区域分割和基于阀值分割方法外，其他的方法都耗时太 长或者耗时不稳定，满足不了本系统对实时性的要求。 3 2 分割所用的颜色空间模型及其选择与转换 足球机器人系统受外界的干扰是不可避免的，视觉子系统要能够快速而准确 地识别出机器人位姿信息及小球的位置，需要采用合适的颜色模型，达到对外界 的干扰具有一定适应性的目的。 在对足球机器人系统进行图像模式识别中位3 2 4 | ，目前比较流行的颜色模型有 r g b 模型、y u v 模型以及h s v 模型口毛她5 0 1 。在上一代视觉系统中，采用摄像机 输出的r g b 颜色空间数据直接进行颜色分割，实际使用中发现存在颜色区分困难， 受光照影响比较大的问题。因此有必要重新选择颜色空间。下面分别分析和比较 三种颜色空间的特性。 1 、r g b 模型介绍 图3 1r g b 彩色空间的图形描述 如图3 1 所示，r g b 颜色空间用红、绿、蓝三原色的混合比例定义不同的颜 色。由于人眼不能直接感觉红、绿、蓝三色的比例，而只能通过感知颜色的亮度、 色调和饱和度来区分物体，而且亮度的变化对r 、g 、b 三个分量都产生很大的影 响，因此在r g b 空间中对图像进行增强处理结果难毗预料。也导致在r g b 空间 中难以用不同的数值来表示和定量分析不同的颜色。 2 、y u v 模型介绍 y u v 跚1 ( 亦称y c r c b ) 是种电视系统采用的颜色编码方法。其中y 表示 明亮度( l u m a ) ，也就是灰度值：而u 和v 表示的则是色度( c h r o m i n a n c e ) ， 作用是描述影像色彩及饱和度，用于指定像素的颜色。y u v 和r g b 之间是线性 转换。 y u v 颜色空间将色度和亮度分开表示，在一定程度上便于颜色的分离，可以 用来作为图像处理的颜色空间。 3 、h s v 模型介绍 图32h s v 彩色空间的图形描述 如图3 2 所示h s v 模型与r g b 模型之问是非线性转换，其模型的三维 表示从r g b 立方体演化而来。 模型中的h 参数表示色彩信息，即所处的光谱颜色的位置。该参数用角度量 来表示，范围从。到3 6 0 度，红、绿、蓝分别相隔1 2 0 度。互补色分别相差1 8 0 度。 纯度s 为比例值，范围从o n1 0 0 ，它表示所选颜色的纯度和该颤色晟 大的纯度之问的比率。 湖北工业大学硕士学位论文 v 表示色彩的明亮程度，范围从0 到1 0 0 。 在实际使用中，为方便快速计算，将上述三个分量都归一化为o 到2 5 5 之间。 4 、三种模型同种颜色不同光照条件对比 比赛现场光照变化的波动是不可避免的，他不仅仅影响颜色中的亮度分量， 对其他分量同样有影响。选择一种合适的颜色空间会降低这种变化对系统的影响， 提高适应性。 本项目以组色标的黄色为对象，在较暗和普通光照情况下，对上述三种颜色 空间模型进行了试验对比。经过测试，实际各分量中值及偏差如表3 1 所示： 表3 1 三种模型空间下黄色实测对比 通过比较，可以看出在同种颜色不同光照条件下，r 、g 、b 各值的偏移较大， 分别达到7 8 、8 0 、3 1 ；而y 、u 、v 的分别为1 0 6 、1 3 、3 ；h 、s 、v 的分别为 1 ，8 ，5 8 。由于在y u v 模型中，一般忽略了y 分量，重点考虑u 、v 分量，其 偏移分别为1 3 、3 ，远低于r g b 模型的偏差；而h s v 模型空间主要依靠h 、s 参数进行分别，其偏移为1 、8 。从上述对比可以看出，h s v 模型比较稳定，受光 照影响相对较小，y u v 模型次之。 此外，本项目还在普通光照条件下，在三个颜色空间中对黄色和蓝色进行了 对比，结果如表3 2 所示： 1 5 湖北工业大学硕士学位论文 5 、三种模型不同光照下同种颜色对比 从上述试验可以看出，r g b 颜色空间下，图像的r ，g ，b 三个分量都受光 照影响和颜色类型影响比较大，因此几个分量都与颜色和光照关联过于紧密，很 难通过r g b 的值直接计算出稳定的结果。 在y u v 颜色空间下，不同两种光照下同种颜色之间u v 的变化比较小，y 的变化比较大，因此，如果重点考虑u v ，这种颜色模型受光照干扰的影响就比较 小了。因此，这种模型相比r g b 模型大大改善了受光照影响大，关联性强的问题。 但是，在相同光照不同颜色情况下，y ，u ，v 的差值没有h s v 模型明显。 在h s v 颜色空间