（通信与信息系统专业论文）足球机器人视觉信息处理.pdf

摘要 本论文首先介绍了足球机器人全局视觉系统的工作原理，然后从构 成视觉系统的硬件和软件两方面分析了影响视觉系统识别效果的各种 因素，并针对这些因素给出了改进方法。 首先，通过基于b p 神经网络的摄像机标定，克服了成像系统本身 存在的图像形变问题：然后根据足球机器人系统的特点，选择h s i 颜色 模型，实现对图像目标的分割：最后通过对典型色标设计进行比较和分 析，提出一种抗干扰性较强的色标设计方案，并给出了相应的辨识算法。 实验表明，经过改进，提高了视觉系统的稳定性和准确性，减少了 赛前的准备时间，在比赛中获得了较好的效果，具有良好的应用前景。 关键词：全局视觉摄像机标定图像分割色标设计计算动词 a b s t r a c t t h eg l o b a lv i s i o no fr o b o ts o c c e rs y s t e mi si n 仃o d u c e df i r s t l yi nt h i s p 叩e r ，t h e ns o m ea f f e c t i n gi d e m i 母r e s u l tf a c t o r sa r ee s p e c i a l l ya n a l y z e d f 幻mk 玳1 w a r ea i l ds o f h ，a r eo ft h ev i s i o ns y s t c m ，a c c o r d i n gt ot h e s e f 配t o r s ，s o i n ei m p r o v e m e n tm e t l l o d sw a sg i v e nb e l o w ： f i r s t l y ，i m a 留ed i s t o n i o nw a ss o l v e db yc a m e r ac a l i b r a t i o nb a s e do nb p n e t w o r k ：s e c o n d l y ，h s ic o l o rm o d e lw a sa p p l i e dt oi m p l e m e n tt 1 1 ep a r t i t i o n o fo b j e c ti m a g e s ；a n d “r d l y ，am o r er e a s o n a b l ea n d 咖i - j a m m i n gd e s i g n w a sp u tf o m d b yc o m p a r i n ga n da 1 1 a l y z i n gv 撕o u sr e p r c s e m a t i v ec o l o r t a gd e s i g n sw 胁af 硫a n dr e l a t i v e l ye x a c ta l g 耐也m 西v e nc o r r e s p o n d i n g l y e x p e r i m e n t ss h o wt h 砒m es t a b i l i t ya 1 1 da c c u r a c yo fv i s i o ns y s t e ma r e i m p r o v e d ，t l l ep r c p a r a t i o nt i m ef o rc o m p e t i t i o ni sa l s or e d u c e da 1 1 da c h i e v e d f a v o r a b l ee f t 色c ti np l a y i th a sab r i g h t 矗i t u 鹏i na p p l i c a t i o np r o s p e c t s k e y w o r d s ：g l o b a lv i s i o nc a m e mc a i i b r a t i o nl m a g es e g m e n t a t i o n c 0 1 0 u rt a gd e s i g n c o m p u t a t i o n a iv e r b i i 第一章绪论 1 1 机器人足球比赛简介 机器人足球比赛是2 0 世纪9 0 年代兴起的一项全球性高科技竞技项 目，其发展目标是力争到2 0 5 0 年实现机器人足球队打败当时的人类世 界杯足球冠军队。机器人足球比赛的设想是由加拿大不列颠哥伦比亚大 学的a l a nm a c k w o r t h 教授在1 9 9 2 年的报告o ns e e i n gr o b o t 中首 先提出的。举办机器人足球比赛的目的在于通过提供一个标准任务，促 使研究人员利用各种技术获得更好的解决方案，从而有效地促进相关科 研领域的发展。目前国际上比较有影响的机器人足球比赛组织有 r o b o c u p ( 机器人足球世界杯锦标赛) 和f i r a ( 国际机器人足球联盟) 两种。 1 1 1r o b o c u d r o b o c u p( r o b o tw o r l dc u p ) 即机器人世界杯足球锦标赛，以姒s ( m u l t i a g e n ts y s t e m ) 年口d a i ( d i s t r i b u t e da r t i f i c i a li n t e l l i g e n c e ) 为主要研究背景，主要目的就是通过提供一个标准的易于评价的比赛平 台促进d a i 与姒s 的研究与发展。到目前为止，r o b o c u p 足球比赛的主要 项目包括以下几项： 1 仿真组( s i 叫l a t i o n ) 比赛：这种比赛是以c l i e n t s e r v e r 方 式进行的，没有实际的机器人硬件。双方将各自的比赛程序( c l i e n t ) 通过u d p i p 连接到服务器( s e r v e r ) 上，通讯通过u d p i p 端口实现。 比赛主要是为了模仿人类足球赛的形式，比赛规则也与人类足球赛类 似。仿真组比赛为实物组比赛的策略制定提供理论依据和试验平台，是 进行机器人控制理论研究的重要手段。 2 小型组( s 衄l l s i z e ) 机器人比赛：这种比赛采用5 对5 的规 模，以实物机器人的形式进行。比赛有场地、球、队员和裁判，队员有 各自的队伍标志和号码标志。双方通过安装在场地上方的摄像机获得赛 场信息，再由主控计算机以无线通讯的方式发出命令控制每个机器人的 动作。比赛的开始和停止命令由场外的裁判盒通过计算机串口发出。 3 中型组( m i d d l e s i z e ) 机器人比赛：也称为f - 2 0 0 0 ，这是一 种采用独立视觉的机器人足球比赛，场地长度为8 米到1 2 米，宽度不 小于5 米。单个机器人( 小车) 的地面投影尺寸不超过5 0 x 5 0 c m ，重量 限制在8 0 公斤以内，视觉和其他传感器以及带有决策程序的主机全部 携带在机器人身上，上场的机器人数量不超过4 个。这种比赛规模较大， 场面壮观，由于机器人彼此独立，通讯也只能在机器人之问进行，因此 更能体现机器人的智能。 4 s o n y 有腿( l e g g e d ) 机器人比赛：这种比赛采用四足机器人( 机 器狗) 在6 米4 米的场地上进行足球比赛，双方各有4 个s o n ya i b o 机器狗出场，比赛没有人的干预，也不受场外计算机的控制。每个机器 狗具有各自独立的视觉系统和决策系统，并具有相互配合和协作的能 力，彼此通过无线通讯方式交换信息。一般由场地边界或场外的某些颜 色标志为机器狗的视觉提供定位依据。比赛要求使用日本s o n y 公司的 系列四足机器人。 5 人形( h u 腿n o i d ) 机器人比赛：这种比赛旨在展示能够参加足 球比赛、高度为4 0 c m 至1 8 0 c m 的独立人形机器人，主要测试和考察机 器人的运动性能和对抗能力。比赛内容包括单腿站立能力、行走能力、 罚球能力( 射门及守门) 和自由动作等，比赛中的对象有相应的颜色作 为标识。2 0 0 4 年的里斯本比赛中有1 6 个队参加了人形机器人的角逐。 是指国际机器人足球协会联合会( f e d e r a t i o no fi n t e r n a t i o n a l r o b o t s o c c e ra s s o c i a t i o n ) 。f i r a 机器人足球比赛最早由韩国高等技术 研究院( k a i s t ) 的金钟焕( j o n g h w a nk i m ) 教授于1 9 9 5 年提出，并于次年 在韩国大田( d a e j e o n ) 举办第一届国际比赛。目前已经包括m i r o s o t 、 r o b o s o t 、h u r o s o t 、s i m u r o s o t 等多个类别，有的类别根据双方参赛队 员数目不同还可以分为小型组、中型组和大型组等等。具体比赛项目见 表卜1 。 表卜1f i r a 比赛项目表 名称机器人尺寸( c m )队员数场地尺寸( c m ) 球 超微机器人足球赛 4 4 551 3 0 9 0乒乓球 单微机器人足球赛 7 5 7 5 7 5l1 3 0 9 0 高尔夫球 微型机器人足球赛 7 5 7 5 7 531 5 0 1 3 0 高尔夫球 小型机器人足球赛 1 5 1 5 3 032 2 0 1 5 0 曲棍球 自主式机器人足球赛 11 0 5 6 8网球 拟人式机器人足球赛1 5 4 02 2 0 1 8 0 仿真足球赛 与r o b o c u p 的项目相比较可以看出，双方都有类人机器人比赛，而 这是今后双方发展的重点所在。f i r a 与r o b o c u p 的主要区别之一是采用 不同的技术规范：f i r a 允许一支球队采用传统的集中控制方式，一支球 队中的全体队员受同一个大脑的控制；而r o b o c u p 允许采用分布式控制 方式，每个队员有自己的大脑，是一个独立的主体。 1 2 目前国内外研究现状 目前，国际上机器人足球比赛和科研活动非常频繁，每年都有 r o b o c u p 和f i r a 两种机器人足球赛举行，地区性的机器人赛事和学术活 动也十分引人注目。如一年一度的日本公开赛、美国公开赛和德国公开 赛每次都吸引了许多大学和研究所及企业的足球机器人爱好者。由于这 些国家的足球机器人起步早，在机器人的理论研究和实际应用方面都比 较成熟和先进，所以更容易将新的理论和控制算法迅速应用在机器人足 球比赛当中。因此，在近年来的国际性大赛当中经常是这些国家占据优 势。当前，这些国家的理工科院校，已经把足球机器人作为一门专业学 科加以研究和建设，并广泛开展足球机器人的教学工作，使该领域的相 关理论和技术迅速得到推广和普及。 我国是在1 9 9 7 年开展足球机器人研究的。当时东北大学、哈尔滨工 业大学等少数几所学校的师生进行了相关软硬件的研发。1 9 9 9 年东北大 学的牛牛( n e w n e u ) 代表队，用自行开发的硬软件系统在巴西举行的第 4 届机器人足球世界杯赛( f i r a r w c 9 9 ) 上一举夺得了标准动作比赛冠 军，实现了中国在机器人足球国际赛场上金牌零的突破。 近几年来，国内的一些大专院校也开始积极组织各种机器人竞赛， 各高校和科研院所踊跃参加，把我国的机器人研究水平推向一个新的高 度。每次比赛期间都要举行学术研讨会、论文发布会，不仅促进了机器 人技术的推广和应用，也使机器人的相关理论得到丰富和发展。中国科 技大学、上海交通大学、中国科学院自动化研究所、清华大学、上海交 通大学、东北大学、哈尔滨工业大学等的机器人竞赛和研究水平都很高， 其中，东北大学的研发工作自始至终得到国家“8 6 3 ”计划和自然科学 基金的支持。他们的牛牛足球机器人还先后参加了“建国5 0 周年成就 展”，“中国国际高新技术成果交易会”和“8 6 3 计划十五年成就展”，展 示出中国的科技工作者是不乏创造力的。在第九届f i r a 世界杯机器人足 球锦标赛上，中国大学代表队夺得了本次比赛8 个冠军中的4 项。其中， 哈尔滨工业大学机器人足球队分别在难度最大的全自主型( 3 对3 ) 比赛 和类人型比赛中夺冠，哈尔滨师范大学和武汉工程大学也创下佳绩。空 前的比赛成绩说明，中国机器人足球队在世界机器人足球领域中拥有了 一席之地。 足球机器人的完全智能化控制和自主能力仍然是当前和今后各个 国家研究的重点问题，也是足球机器人发展的必然趋势。足球机器人的 系统可靠性和功能先进性将始终作为人工智能理论和应用研究的焦点 受到人们的关注。 1 3 本论文主要研究的内容及意义 本论文以f i r a 为例，在对整个足球机器人系统研究的基础上，着 重分析和研究了视觉子系统，针对影响视觉识别效果的各种因素作了充 分的分析，并针对影响视觉识别效果的各个因素做了研究与改进。 本论文分为五章内容，具体组织如下： 第一章主要介绍了目前国际上机器人足球比赛情况，及目i j i 国内外 的研究现状，并指出本论文所要做的主要工作。 第二章从整体出发，介绍了整个足球机器人系统的组成及其各部分 的工作原理。 第三章对影响视觉识别效果的各个因素作了充分的分析，指出影响 视觉识别效果的硬件及软件因素。 第四章针对影响视觉识别效果的各个因素作了研究与改进。 第五章对本论文的工作做了总结，并对以后的研究工作进行展望。 由于足球机器人视觉系统的研究融合了机器视觉、图像处理、模式 识别等多个学科的知识，为科研人员在上述领域的研究活动提供了一个 标准的实验平台，因此，具有重要的研究意义。 第二章足球机器人系统组成及工作原理 根据控制方式的不同，机器人足球系统可以分为三类。第一种被称 为r e t i l o t e - b r a i n l e s s 系统，其特点在于采用全局视觉作为反馈，计算 全部在主机完成，机器人只接受遥控命令，这是一种相对比较简单的单 向集中式控制方式；第二种叫r o b o t _ b a s e d 系统，在这种系统中，所有 的计算和决策都在机器人自带的c p u 上完成，主机只处理视觉信息，相 当于机器人的视觉传感器；第三种控制方式则介于纯粹遥控和完全自主 之间，称为b r a i n o n - b o a r d 系统，机器人具有一些基本的运动规划能 力，视觉处理和决策规划仍然在主机完成。 f i r a 小型组机器人足球系统属于r e m o t e - b r a i n l e s s 系统，即采用 以全局视觉为基础的集中式运动控制系统结构，由摄像机采集场上的比 赛信息送入主控机决策系统进行判断和处理后，将控制命令通过无线通 讯方式发送给场上的每一个机器人。因此，足球机器人系统应由机械子 系统、底层控制予系统、视觉子系统、无线通讯予系统和决策子系统五 个部分组成，如图2 1 所示。 图2 1f i r a 足球机器人系统组成原理 下面分别对各个子系统的结构和工作原理进行说明。 2 1 机器人硬件子系统 我们把底层控制子系统和机械子系统统称为硬件子系统，足球机器 人要求反应迅速，运转灵活，以便完成发球、传球、踢球、防守、断球、 射门等动作。因此机器人需要有坚固的车身、功重比较大的电机、抗干 扰性能良好的通讯、运算能力强大功能齐全的c p u ，保证c p u 对各部分 的控制。 2 1 1 底层控制予系统 底层控制子系统包含了电路板和电路板的单片机上的运行程序，这 两部分组成了底层控制子系统的软硬件结构，接受主机指令，并有效的 控制机械系统的各个部分，其结构主要包括以下几部分： 电源提供电路板、电机所需要的动力，由电源分配电路分配所需的 不同的电压，电池组在比赛的每个半场需要取出更换，并进行充电。电 路板各部分设计应该充分考虑到节省电力的要求，对于电机的控制电 路，存在关闭电机电源的开关电路。 c p u 与存储器是机器人的计算中心，芯片一般采用2 9 6 、d s p 、m s p 等，并增加处理能力，可以使用多片芯片。现在一般倾向于使用d s p ， 利用d s p 强大的处理能力。也可以采用多片m s p ，或者一片d s p ，多片 m s p 的方法，这样容易扩充。 时钟电路在这里不是必需的，所选用的芯片内一般有一个能独立工 作的时钟发生器，在复位后被默认为系统时钟。外部晶振电路提供时钟 主要是考虑到将来可能会需要的其他频率。 直流电机控制电路比较简单，对于控球机构，以开关量控制其运转 与否，而对于踢球机构，同样用开关量，但是在每次通电后，即反向通 电令其缩回，之后关闭。 d i p 开关或者跳线是为了标识当前机器人的号码，亦即运动员的球 衣。通过d i p 开关进行编码，这样主机发出指令时，机器人知道是不是 发给自己的。机器人的编号尚有一套，这是在上平面板上的颜色标记。 d i p 开关另有一项重要的功能是调整比赛使用的频率。由于比赛的双方 使用不同的频率，所以比赛的每一方必须能使用两个不同的频率，调整 时使用d i p 开关切换比赛时使用的频率。 重置开关是使机器人重新启动。 通断电开关则是为了关闭机器人，以及打开。 无线通讯接收模块用于接收主机发出的信号。 2 1 2 机械子系统 机械子系统是机器人的执行机构，是实现前进、后退、转弯、带球、 踢球等技术动作的物质基础。机器人机械性能的好坏，直接关系到机器 人的技术发挥和比赛的胜负。因此机器人需要有坚固的车身、功重比较 大的电机等。 f i r a 比赛中使用的机器人具有统一的尺寸，即不超过7 5 c m 7 5 c m 7 5 c m 的限制。大多数机器人都采用的是一种两轮共轴、独立 驱动的小车，由于严格的尺寸限制，这些机器人一般没有带球和踢球等 机构，而通过车体上“槽”或者“抓手”进行简单的控球，通过碰球来 完成踢球，结构框图如图2 2 所示。 通信部分 电机驱动部分 图2 2 机器人硬件子系统结构框图 在高速运动的比赛过程中，足球机器人电机决定了其运动功能。本 系统的机器人使用瑞士m i n i m o t o r 公司制造的直流电机，采用单字节 p 删控制，控制精度高达5 1 2 线。电机采用5 0 0 u s 的采样周期，通过一 个1 ：8 的减速器，能够使机器人达到最大约2 1 m s 的线速度。电机的 功率为4 2 w ，在运动过程中，由一块7 4 v 的锂电池为机器人提供能源。 2 2 无线通信子系统 按照比赛规则，机器人与主机之间必须通过无线通讯来传输指令。 无线通讯有两种方式可供选择：远程红外( i n f r ar e d ，i r ) 通讯系统和 无线射频( r a d i of r e q u e n c y ，r f ) 通讯系统。 i r 通讯和f r 通讯各有利弊。采用i r 通讯系统的优点是容易实现、 价格低廉、传输速度快；缺点则是有效距离短，定向性和可靠性较差， 容易受到光线和阴影的干扰，通道有限。采用r f 通讯系统的优点是有 许多成熟的商业模块可供选用，性能有保障；缺点是价格较贵。综合考 虑传输速度、可靠性和价格等因素，一般的足球机器人系统都采用r f 通讯方式。 无线通讯系统包括连接计算机主机的无线发射模块和安装在机器 人上的接受模块。 系统通过通讯模块对机器人进行遥控，在集中式控制的系统中，主 机对机器人单向传输指令，机器人之间没有通讯。无线通讯的过程可以 用图2 3 说明。 通信系统 一 机器人 图2 3 无线通讯 发射模块首先通过r s 2 3 2 串口通讯从主机接收驱动各机器人运动 的数据，也就是控制机器人电机的p w m 值，然后按照预定的无线传输协 议进行编码、发送。机器人接收到指令，按照传输协议的约定，从中恢 复两个电机的p w m 控制命令，最后通过电机控制模块驱动电机转动，完 成无线遥控的过程。系统通过通讯模块最多可以同时遥控五个机器人。 f i r a 比赛中，机器人的无线通讯规定采用s r f 一4 1 8 m h z 或者 s r f 4 3 3 m h z 两种频率。无线发射模块和主机之间通过串口连接，传输 速率为1 9 ，2 0 0 b p s 。 2 3 视觉子系统 视觉系统是整个机器人足球比赛的关键，通过视觉系统能够确定本 方机器人、对方机器人和球的位置和角度，从而为比赛策略提供场面信 息。识别效果的好坏、识别速度的快慢直接关系到比赛的胜负。视觉系 统的工作流程如图2 4 所示。 图2 4 视觉系统工作流程 2 3 数字图像的获取 从图2 4 可以看出，视觉处理的第一步是通过c c d 摄像头和采集 卡，将三维的场景转换为平面图像，按照一定的数据结构保存在计算机 内存中，这一过程如图2 5 所示。 采集下来的数字图像信息通过计算机程序进行处理，即对采集的数 据进行分析、计算，最终得到目标物体的几何信息。换句话说，机器人 足球视觉系统的基本功能，就是通过摄像头输入n t s c 或者p a l 视频信 号，经过计算机处理，返回目标物体( 球、机器人) 的位置和方向信息。 c c n 摄像机 图2 5 视觉系统图像采集 采集到的图像数据在内存中保存为一个二维的像素阵列，阵列的尺 寸也就是图像的分辨率，一般系统中6 4 0 4 8 0 像素。每一个像素包含 9 甲僦 困 暑 了该点的颜色信息，例如r g b 值、y 叽，值、删值或者灰度值。以二 维数组的形式保存图像，便于计算机对像素的颜色信息进行快速处理， 从中获取需要的信息。 2 3 2 数字图像处理 数字图像处理部分完全通过软件来实现，一般来说，图像的处理主 要通过以下几个步骤完成： ( 1 ) 阈值化处理( t h r e s h 0 1 d i n g ) 在机器人足球系统中，所有目标物体( 机器人、球和场地边界) 都 具有确定的颜色例如f i r a 规定比赛双方必须以黄色或者蓝色作为球 队的标识。所谓阈值化处理，就是要为了区分不同颜色，通过设定一定 的上界和下界，将在此范围内的颜色保留下来，而将其它颜色清除。经 过阈值化处理之后通常得到一幅二值化图像，被保留下来的像素，颜色 被标为1 或者2 5 5 ，而被清除的像素，在数组中其颜色被标为o 。 对彩色图像进行二值化，必须对其每一种颜色分量进行二值化，即 所谓的“多重二值化”。只有颜色的每个分量都在阈值范围以内，这个 像素点才会被保留下来。 ( 2 ) 像素分组标记( l a b e l i n g ) 如果场景中存在多个相同颜色的目标，还需要对闽值化之后的图像 进行分组标记。标记算法也就是在图像空间中判断像素的相邻性，所有 相邻且颜色相同的像素被归入一组，并且赋予不同的标号加以区分，相 同的标号代表它们属于同一个目标物体。 ( 3 ) 清除噪声 采集到的图像不可避免的会存在噪声干扰，使图像中像素的颜色发 生变化，从而在查找某种颜色的时候，会出现不应有的色块。这些由噪 声造成的色块的尺寸一般都比较小，在进行阈值化和归类的过程中，可 以通过限制尺寸的方法去除由于噪声影响出现的色块。 ( 4 ) 计算几何信息 经过上面几个步骤，最后得到的像素块就代表了目标在二维图像中 的投影。在机器人足球系统中，一般需要找出这个像素块的中心位置， 这是通过“质心法”来求取的。 对于一幅尺寸为m n 的二值化图像，编号为c 的像素块的尺寸可 以通过下面的公式来计算： 一= 毗门 1 0 其中当该点像素编号为c 的时候，脚f ，以= 1 ，否则为o 。 而该像素块的中心坐标可以用下面的公式计算： nm 归 f ，】 i = 生上生一， 一 nm f m 月 可= 三二1 _ 爿 按照比赛规则，机器人的角色由球队色块和队员色块组成，这两部 分色块的形状和位置关系则可以自由选取。色块形状和位置不同，计算 机器人中心位置和方向的方法也就不同。 2 4 决策子系统 人类足球发展至今，其中蕴涵的学问可谓博大精深。除了队员本身 的技术水平和意识以外，最重要的就是教练的战术安排，包括排兵布阵、 攻防转换、定位球等等，出色的策略往往是克敌制胜的法宝，而决策系 统就是机器人足球队的教练，机器人决策子系统属于典型的智能控制系 统，在系统中广泛采用了模糊控制，神经网络和自学习专家系统，并形 成了分层递阶控制结构，具体分层策略如图2 6 所示。 决策系统根据视觉系统反馈的数据，分析当前比赛形势，确定攻防 策略，然后给机器人分配角色，决定各个机器人的动作，最后将运动指 令发送给机器人。决策系统的输入是视觉系统获取的环境信息，包括球 的位置、乙方和对方机器人的位置及方向等，输出则是直接控制机器人 两轮运动的p w m 值。 图2 6 分层策略结构 按照g n s a r i d i s 等提出的控制系统理论，这是一个典型的分层递 阶智能控制系统。其中攻防选择和角色分配属于组织级，动作分配和动 作修正属于协调级，而运动规划属于执行级。这种结构将计算机的高层 决策、系统理论中的先进的数学建模和综合方法以及处理不精确和不完 全信息的语言学方法结合起来，形成了一种适合于工程需要的统一的方 法。 在这个分层策略结构中，首先要分析场上的形势，以确定采用进攻 还是防守的比赛模式。这就需要将精确的数据模糊化，然后按照经验来 进行产生式推理，这实际上就是模糊控制与专家系统的结合。角色与动 作的分配可以采用建立评价函数的方法，然后再根据比赛规则等进行动 作的修正，最后应用已有的数学模型完成运动规划。可见，实际的决策 系统是一个相当复杂的智能控制系统，特别是当场上比赛形势比较复杂 的时候尤其如此。例如5 对5 比赛的决策就比3 对3 比赛的决策要复杂 得多。 智能控制系统的一个主要特点是参数的模糊化。人类对球场的信息 处理就是建立在模糊的概念上，例如远、近、快、慢、有利、无利 等等，而机器人足球系统从视觉得到的信息是精确的数字，需要转换成 模糊的控制量。很多决策系统对球场进行了分区，例如前场、中场、后 场、门区、边界等等，然后根据球和机器人位于哪个分区，经查表 判断比赛形势。 此外，由于机器人足球比赛的高度动态性，还要求决策系统也必须 具有很高的实时性，一些计算量巨大的算法不再适用，而大量基于实际 比赛经验的策略被广泛使用。 第三章影响视觉系统识别效果的因素分析 由于f i r a 足球机器人本身不含任何传感器，比赛过程中有关环境的 所有信息都是通过视觉系统获取的，视觉子系统对于整个系统的重要性 不言而喻。在实际比赛中，由于视觉系统存在问题，导致找不到机器人 或者球的位置，甚至整个系统无法工作的情况并不鲜见。 i f o 二= 二；= = ： ! f 摄像头采集场景ij ：= = = = = = = = 卜_ 图像采集 ! l 图像采靠卡将模拟f ：i 信号数字化 i 三蓦二：l ? l 醚释粼矩l i 与= = = ； ；i 滤波 1 2 l 壤挚特征i； ：卜目标识别 | 根据蕊色特征分制图像i 彗稃雷髹泰翁嚣黔和球，j 髓靠髂髓券蔟一l 图3 1 视觉系统处理流程图 摄像头采集到的图像的坐标为图像坐标系。首先需要进行摄像机的 定标，得到图像坐标系向世界坐标系转化的投影矩阵。然后对图像进行 分割，找出需要识别的目标颜色块，再进行目标的识别，得到各颜色块 的坐标，进一步求得决策程序所需要的机器人和球的中心坐标。对于运 动中的机器人和球，需要实时地进行跟踪搜索，视觉系统整体框架如图 3 1 示。 为了有效地对视觉系统加以研究和改进，以求达到最好的识别效 果，本章针对视觉系统处理流程中的各部分分别讨论了影响视觉识别效 果的各种因素。 3 1 图像采集部分的影响 图像信息是f i r a 小型组机器人足球比赛中非常重要的实时信息来 源，图像采集设备的选择直接影响到得到的实时图像的效果，进而对颜 色识别算法提出了不同的要求。 目前，普遍采用的是c c d 摄像头加视频采集卡完成图像信息的获取。 通过摄像头实时拍摄场地动态图像，得到模拟视频信号，然后经过采集 卡完成a d 转换，得到数字化的图像信息。 3 1 1 摄像头对采集场景的影响。1 目前普遍使用的摄像头，大多数为c c d 摄像头，被广泛地应用于监 控，远程图像传输等领域。这种摄像头的特点是体积小，便于安装，得 到标准的a v 视频信号，绝大多数采集卡都支持这种视频信号输入。同时， 可以根据需要选配不同的镜头，以满足在悬挂高度一定时，对拍摄范围 的要求。大部分摄像头都具有一定的调节功能，常见的有自动白平衡、 逆光补偿、自动增益，红色分量偏色调整和蓝色分量偏色调整等。某些 摄像头还带有自动光圈的接口，可以驱动具有自动光圈功能的镜头。在 足球机器人的比赛中，一般场地光强比较均匀，而且也需要根据实际情 况调节光圈，以达到比较好的成像效果，所以建议尽量使用全手动调节 的镜头。 在比赛规则中，对摄像头的悬挂高度作了限制，根据比赛规则，镜 头一般悬挂在场地上方2 米左右，而场地为1 3 米1 5 米。在这样的 高度要拍摄到整个比赛场地，对于镜头的视角提出了一定的要求。垂直 方向需要3 6 。的视角，水平方向需要4 1 2 。的视角，而径向方向就需 要5 2 8 。的视角。考虑到使用广角镜头以后，图像边缘会有变暗的情 况出现，并且比赛时悬挂高度不一定能达到4 米，所以实际选择时视 角还应稍微放大，一般选择径向视角为6 0 。比较合适( 镜头的参数中 的视角如果没有特殊说明，一般是径向视角) 。 1 广角镜头对图像信息的影响 选用广角镜头时，由于摄像机镜头的光学特性，加之镜头视角与摄 4 像机高度不匹配，摄取的图像会产生几何失真，使得目标像点存在着多 种类型的几何畸变。其中包括： ( 1 ) 径向畸变( r a d i a ld i s t o r t i o n ) 径向畸变主要是由镜头形状缺陷造成的，是关于摄像机镜头的主光 轴对称的。正向畸变称为枕形畸变，负向畸变称为桶形畸变。 ( 2 ) 偏心畸变( d e c e n t e r i n gd i s t o r t i o n ) 偏心畸变主要是由光学系统光心与几何中心不一致造成的，即镜头 器件的光学中心不能严格共线。这类畸变既含有径向畸变，又含有切向 畸变。 ( 3 ) 薄棱镜畸变 薄棱镜畸变是由于镜头设计缺陷和加工安装误差所造成的，如镜头 与摄像机像面有很小的倾角等。这类畸变相当于在光学系统中附加了一 个薄棱镜，不仅会引起径向偏差，而且引起切向误差。 一般情况下，几何畸变在中心部分失真较小，而在图像边缘处存在 较大的畸变误差，必须进行几何校正，才能消除上述畸变。 2 视频信号输出标准的影响 我们目前所使用的c c d 摄像头，都是以a v 信号将实时拍摄的图像输 出的。a v 信号是复合视频信号，也即从全电视信号中分离出伴音后的视 频信号，这时的色度信号还是间插在亮度信号的高端。由于复合视频的 亮度和色度是间插在一起的，在信号重放时很难恢复完全一致的色彩。 这种信号一般可通过电缆输入或输出到家用录像机上，其信号带宽较 窄。视频信号己不包含高频分量，处理起来相对简单一些，因此是各种 图像采集卡的标准输入，同时，由于信号不能完全恢复，所以对成像质 量有不利的影响。近年来，一种新的视频信号模式s v i d e o 得到越来越 广泛的应用，它从根本上改变了视频信号的传输模式。 s v i d e o 连接规格是由日本人开发的一种规格，s 指的是“s e p a r a t e ( 分离) ”，s 端子的原理是将复合视频信号中的“y ( 亮度) ”和“c ( 色度) ”隔离传输，减少影像传输过程中的“分离”、“合成”的程 序，藉以求得较理想的画质。彩色影像信号除了色度信号之外，还包括 了亮度信号( y 信号) ，亮度信号代表了影像的亮度变化，亦即相当于 黑白影像的亮度细节。在广播电视信号中，构成一幅图像至少需要3 个 信号( 一般是亮度信号与两个色差信号) 。但广播电视信号是需要远程传 输的，而且接收端不可能用3 个接收机来分别解调这3 个信号。因此，必 须将这些信号“复合”在一起，调制到一个高频载波上发送，这就是复 合视频信号。但是电脑和电视连接不需要考虑远程传播问题，因此它可 以不必将亮色( y c ) 信号混合，因此采用y c 分离输出的s 端子。由于减 少了色度副载波对亮度信号的干扰( 亮度信号是清晰度的最重要表现) ， 其清晰度必然比a v 有所提高。 对两种不同的视频信号标准进行对比，结果发现使用a v 信号得到的 图像，颜色表现能力不足，某些颜色渗色现象严重，如图3 2 所示。可 以看出，原本球上的颜色，已经偏离色标范围，渗透到旁边的圆圈范围 之中了。相比之下，使用s v i d e o 信号的效果就要好得多，颜色基本保 持在球的范围之上，而且颜色也比较饱满，如图3 3 所示。 图3 2 使用a v 信号的效果 图3 3 使用s v i d e o 信号的效果 目前市场上普遍使用输出信号为a v 信号的摄像头，带s v i d e o 输 出功能的比较少见，可以考虑使用一般的家用摄像机代替，成像效果比 摄像头的成像效果还要好一些，只要注意到需要有比较全面的手动调节 功能和长时间监视能力。 本实验所用的摄像头是韩国三星公司生产的s d c 一4 1 0 ，d i g i t a l c o l o rc a m e r a ，其性能如表3 1 所示。 表3 1s d c 一4 1 0 性能参数 扫描特性n t s cs t 8 n d a r d ：5 2 5li n e s 。3 0f r a m e s s e c 图像设备 i n t e r l i n et r a n s f e rs u p e r i a dc c d ，4 1 0 ，0 0 0p j x e l s c c d 尺寸 1 3i n c h ( 英寸) 有效的图像7 6 8 ( h ) x4 9 4 ( v ) 隔行扫描 2 ：1i n t e r l a c e 扫描频率 h o r i z o n t a l ：1 5 7 3 4 l ( 1 z 1 5 7 5 0 l ( h z v e r t i c a l ：5 9 9 4 h z 6 0 h z 图像分辨率 h o r i z o n t a l ：6 4 0t vl i n e s v e r t i c a l ：4 8 0t vl i n e s 视频输出级别 v b s1 0 v p p ( 7 5o i l n s ，c o m p o s i t e ) 图像最小明暗度 o 5 l u xf 1 2 ( 5 0 i r e ) 镜头标准 c c sc o p a t i b l e b n c ( r e a r ) ，a il e n s ：4 一p i nd l n ( s i d e ) 输入输出接口型号 p o w e r ：2 d i nt e r m ( r e a r ) 电源 a c2 4 v 6 0 h z0 rd c1 2 v ( 3 5 w ) 尺寸6 5 ( w ) x5 2 ( h ) x1 3 3 ( d ) m ( 2 6 5 x2 0 5 ”x5 ，2 4 ) 重量 p p r o x 4 5 0g ( 1l b ) 3 1 2 图像采集卡对成像效果的影响。 市场上的图像采集卡种类繁多，大部分为家用或者专业视频制作的 采集卡，使用自带的软件完成采集工作，基本上不提供二次丌发的功能。 目前使用的比较多的是大恒的图像采集卡，常用的型号有d h c g 2 0 0 ， d h c g 3 0 0 和d h c g 4 0 0 等，大恒系列的采集卡普遍支持多路复合视频输 入，最新的型号支持多路s v i d e o ( y c ) 输入和一路y c b c r 分量输入， 通过软件进行切换，图像分辨率在p a l 制式下达到7 6 8 5 7 6 2 4 位， n t s c 制式下达到6 4 0 4 8 0 2 4 位，可通过软件调节亮度、饱和度、色 度、对比度等参数，支持多种颜色模式，支持裁剪与比例压缩模式，可 以通过硬件对图像进行水平、垂直镜像，图像清晰度大于4 0 0 线，全面 支持w i n 9 x 、w i n n t 、w i n 2 0 0 0 、w i n x p 等操作系统，提供了较为完整的 开发程序，比较适合于小型组足球机器人对图像采集卡的要求。 我们球队使用的是韩国m i c r o r o b o t 公司生产的m 1 fv i s i o nb o a r d 。 它是一个p c i ( p e r i p h e r a lc o m p o n e n ti n t e r c o n n e c t ：周边元件扩展接 口) 视频采集卡，其分辨率为6 4 0 4 8 0 ，通过视频线接收来自摄像头传 过来的模拟视频图像信号。其接收终端有四个视频输入接口，可以接收 的信号有n t s c ( n a t i o n a lt e l e v i s i o ns t a n d a r d sc o 册i t t e e ：国家电 视标准委员会制定的信号格式) 和s v i d e o ( s u p e rv i d e o ：超级视频信 号) ，采集到的视频信号可以以场的格式或者是帧的格式存储( m e m o r y i ne i t h e rf r a i i l eo rf i e l df o r m a t ) 。此图像采集卡每秒可以采集3 0 帧或者是6 0 场的图像数据，使用者可以用m 、，1 i b r a r y 这个动态链接库 ( 和图像采集卡配套的) 直接在v c 下对采集到的图像进行处理操作。图 像采集卡在其内部采用视频解码芯片f u s i o n8 7 8 a 将采集得到的模拟信 号转换为数字信号，并存储在其芯片内的r a m 中，等待p c 机来提取。其 性能如表3 2 所示。 表3 2m yv i s i o nb o a r d 性能参数 信号输入格式 n t s c s v i d e o 信号输入终端接口b n c ，r c ax2 ，s v i d e o 分辨率6 4 0 幸4 8 0 ，3 2 0 木2 4 0 颜色模式 r g b 3 2 b i t s ，r g b 2 4 b i t ，r g b l 5 b i t ，y 8 ( g r a y ) ，丫u v 4 2 2 获取方法 f r a m e f i e l d 获取速度 3 0f r a i l l e s s 。6 0f i e l d s s ( r e a lt i m e ) 系统要求 w i n d o w s9 8 2 0 0 0 最小c p u 要求 p e n t i u m1 5 0 动态连结库州l i b r a r y ( f o rv i s u a lc + + 5 oo rh i g h e r ) 图像采集卡使用不同的视频信号输入，对于成像效果也有着不同的 影响。正如前面所说到的，使用复合视频信号输入，由于受信号本身特 点的影响，色度、亮度和同步信号复合在一起。在a d 转换的时候要将这 些信号分离。经过采集卡分离后成为j ，u ，方式，再转化为r g b ，相邻 的像素色度有些相关，对某些颜色尤其明显。最终的影响就是颜色渗色 现象比较严重，而且由于对不同的颜色渗色程度不同，甚至可以使不同 颜色的色标相互混叠，使颜色识别无法进行，这样的问题通过算法也是 无法解决的。使用s v i d e o ( y c ) 输入以后，色度、亮度信号是分离的， 信号质量较好，经过数字化以后也基本上不会产生渗色的情况了。 通过对不同的视频信号标准的分析，可以看出，在目前普遍使用模 拟摄像头的情况下，复合视频信号由于自身技术上的缺点，对于场地中 色标这一类的对象颜色区分能力差，图像质量不高。所以，如果条件允 许，应当尽量选择使用s v i d e o 信号进行视频传输，从根本上改善图像 质量，提高匹配算法对不同颜色的适应能力。 视觉系统根据图像采集卡功能的不同，可分为三种不同的实现方 式：软件法、硬件法和软硬综合法”。采用软件法时，摄像头将光信号 转变为模拟电信号，送给图像采集卡，由图像采集卡实现a d 转换，最后 由软件完成图像信息的处理。这种方式成本低、通用性强，但实时性不 好。采用硬件法时，对图像采集卡的要求较高，它完成图像的a d 转换 及处理，向主机传送处理的结果，实时性好，但通用性不强。目前多采 用d s p 技术来实现，利用采集卡内嵌专门的d s p 芯片来实现。采用软硬结 合法时，采集卡的功能介于两者之间。将计算量大而且算法成熟的部分 置于d s p 中，而其余部分仍用软件实现。 在最近举行的几次比赛中，国外一些球队如c o r n e l lu n i v e r s i t y ， c a r n e g i em e l i o nu n i v e r s i t y ，t h eu n i v e r s i t yo fq u e e n s l a n d 等， 已经开始采用数字摄像机和采集卡，直接得到数字图像，采集速度可以 达到6 0 帧秒到9 0 帧秒，甚至更高，高的采样速度可以降低运动模糊 的影响，图像效果也就更加清晰。这样对于颜色识别算法的速度和可靠 性就提出了更高的要求，进而使整个控制算法的实时性大大提高。使用 数字化的图像采集设备是将来小型组发展的一种趋势，相信在不久的将 来就会在国内的赛场上看到使用数字图像采集设备的球队出现。 3 2 目标识别部分的影响 3 2 1 颜色模型的影响 机器人足球系统不仅仅是在实验室里用于研究，而且要走出实验 室，在国内外的竞技场上参加比赛，系统将面临与实验室不同、甚至差 别较大的环境。视觉子系统必须要具有一定的鲁棒性，以适应不同的光 照条件、场地条件( 颜色、反光) 以及对手使用的颜色等，而其中最主 要就是要适应不同的光照条件。 尽管比赛规则要求竞赛提供的光照条件必须满足一定的范围，即 1 0 0 0 l u x 左右。但实际的光照条件往往远远超出这个范围，变化幅度大 约在4 0 0 1 5 0 0 1 u x 之间。此外，由于光源位置和场地反光性能的差别， 场地内不同位置的光亮度也不尽相同，有时甚至相差5 0 0 l