足球机器人视觉和决策系统的研究与设计

RoboCup中型组足球机器人

视觉和决议系统研究与设计指导教师：王明顺副教授答辩学生：崔金柱东北大学控制理论与导航技术研究所硕士学位论文答辩看球吧/足球机器人视觉和决策系统的研究与设计第1页演讲结构首先足球机器人比赛中型组足球机器人系统结构然后主要内容：视觉子系统和决议子系统最终本文工作进行简明总结足球机器人视觉和决策系统的研究与设计第2页足球机器人背景1992年，加拿大不列颠哥伦比亚大学AlanMackworth教授在国际上首次提出了足球机器人概念。1996年，在日本名古屋正式成立了“机器人足球世界杯”(theRobotWorldCupSoccerGames,RoboCup)。1997年6月，第二届微型机器人足球比赛在韩国举行，在此期间，国际机器人足球联盟(FederationofInternationalRobot-soccerAssociation,FIRA)宣告成立。RoboCup和FIRA两个组织每年各举行一次国际性足球机器人大赛。足球机器人视觉和决策系统的研究与设计第3页RoboCup足球机器人仿真组SimulationLeague小型组SmallSizeRobotLeague

中型组MiddleSizeRobotLeague 四腿组SonyLeggedRobotLeague

类人组HumanoidLeagueRoboCup机器人比赛足球机器人视觉和决策系统的研究与设计第4页RoboCup中型组足球机器人研究意义足球机器人视觉和决策系统的研究与设计第5页中型组足球机器人系统组成中型组足球机器人机械结构图

足球机器人视觉和决策系统的研究与设计第6页中型组足球机器人系统组成中型组足球机器人控制系统图足球机器人视觉和决策系统的研究与设计第7页主要内容足球机器人视觉和决策系统的研究与设计第8页视觉子系统任务分析RoboCup中型组足球机器人比赛场地

足球机器人视觉和决策系统的研究与设计第9页视觉子系统任务分析畸变二维图像每秒数十幅图像物体重合移动视场视觉子系统足球机器人视觉和决策系统的研究与设计第10页主要内容足球机器人视觉和决策系统的研究与设计第11页全向视觉传感器全向视觉传感器及其几何模型

足球机器人视觉和决策系统的研究与设计第12页全向视觉传感器常规曲面反射镜优缺点对照表

曲面优点缺点

球面加工轻易，散光小；有一个焦点，不需要有大焦距就能够取得聚焦图像；全向图不能转换成常规透视图像；全向图边缘有畸变；锥面加工轻易；能够多面镜子组成镜面阵列；散光大，没有焦点；全向图不能转换成常规透视图像；需要有大焦距才能取得聚焦图像；双曲面全向图能够转换成常规透视图像；曲率小时散光不是很大；是最适宜于标准摄像机光学系统；加工困难；双曲线焦点需要放置在摄像机中心位姿，所以其设计不灵活；抛物面全向图能够转换成常规透视图像、圆柱图像；抛物面镜加远光镜头是最理想光学系统；加工困难；远光透镜价格昂贵；足球机器人视觉和决策系统的研究与设计第13页全向视觉传感器垂直等比镜面设计示意图

水平等比镜面设计示意图

足球机器人视觉和决策系统的研究与设计第14页全向视觉传感器全向反射镜实物

F=.184619949720554717236095e-7*t^6-.269431886051147321750479e-5*t^5+.155724546553826165631862e-3*t^4-.444945845266700619469180e-2*t^3+.684349249083256727654856e-1*t^2+.144231514843774888401384*t-.897810363982420589490374e-1曲面函数F(t)足球机器人视觉和决策系统的研究与设计第15页主要内容足球机器人视觉和决策系统的研究与设计第16页彩色图像目标识别惯用彩色图像分割准则：（1）RGB颜色空间分割基于CLUT颜色空间分割优点：速度快，图像二值化简单缺点：对环境适应性差（2）HSL颜色空间分割基于阈值颜色分割优点：便于阈值拓展，对环境适应性好缺点：速度慢足球机器人视觉和决策系统的研究与设计第17页彩色图像目标识别RGB空间和HSL空间分割方法综合利用：（1）利用HSL颜色模型建立完备RGB空间上CLUT—建立CLUT时，先将颜色采样数据从RGB空间转换到HSL空间—然后依据经验进行阈值拓展，求出适当HSL空间上阈值—然后将该阈值区间上全部点转换到RGB空间并填充颜色查找表（2）颜色分割采取基于CLUTRGB空间分割方法足球机器人视觉和决策系统的研究与设计第18页彩色图像目标识别基于CLUT动态窗格目标搜索算法（1）搜索起点：上次目标中心位置或图象中心；（2）从起点起，上下左右各外扩s得到起始搜索窗格Ak－1；（3）搜索完成后若没有发觉目标，外扩一圈，依次搜索Atop、Aleft、Aright、Abottom；（4）依次类推，直至搜索完整幅图象。足球机器人视觉和决策系统的研究与设计第19页彩色图像目标识别基于CLUT区域生长算法（1）选取种子点；（2）以为中心，考虑4邻域像素，，，，假如该点未被处理且符合生长准则，将该点与之合并，同时将该点压入堆栈；（3）假如堆栈不为空，从堆栈中弹出一个像素，把它当做；回到步骤（2）；（4）区域生长完成。足球机器人视觉和决策系统的研究与设计第20页彩色图像目标识别基于CLUT变步长区域生长算法假如我们在区域生长时候，对每个种子点处理不是其4邻接像素，而是在垂直或水平方向上与其隔一个象素点，我们称生长步长为2。当目标面积较大，超出一定阈值时，则改用较大步长。足球机器人视觉和决策系统的研究与设计第21页彩色图像目标识别颜色面积颜色重心内径外径经度边界1经度边界2足球机器人视觉和决策系统的研究与设计第22页主要内容足球机器人视觉和决策系统的研究与设计第23页视觉子系统软件实现决议进程进程1进程0视觉进程系统初始化人系统设置坐标变换数据发送仿真显示图像采集颜色分割目标识别位置标定线程1线程0Socket人机交互消息开启足球机器人视觉和决策系统的研究与设计第24页视觉子系统软件实现xd（x）（cm）xd（x）（cm）xd（x）（cm）1030731701283001950821901363202870912101443403790100230152360461101082501603805513011627016840064150124290185500距离标定试验数据和曲线

足球机器人视觉和决策系统的研究与设计第25页视觉子系统实际运行效果原始图像

区域生长分割效果

足球机器人视觉和决策系统的研究与设计第26页视觉子系统实际运行效果变步长区域生长分割效果

物体在机器人坐标系下坐标

坐标目标实际坐标定位坐标极径厘米角度度极径厘米角度度球70906689黄门2509023991蓝门300-67285-68机器人1709016288角柱1330135310135角柱234045未识别未识别足球机器人视觉和决策系统的研究与设计第27页主要内容足球机器人视觉和决策系统的研究与设计第28页决议子系统任务分析机器人之间交流与配合，实现合作与协调2机器人对于自己任务负担，转化为详细动作1足球机器人视觉和决策系统的研究与设计第29页决议子系统任务分析形式时刻改变每个机器人是一个智能体群体反抗协作与协调目标一致多智能体模型足球机器人视觉和决策系统的研究与设计第30页主要内容足球机器人视觉和决策系统的研究与设计第31页基于规划多智能体决议模型智能体目性自治性反应性连续性多智能体协作完全协同型协同型自私型完全自私型协同与自私共存型足球机器人视觉和决策系统的研究与设计第32页基于规划多智能体决议模型足球机器人视觉和决策系统的研究与设计第33页基于规划多智能体决议模型规划规划规划方法规划过程执行过程分布计划集中规划集中计划分布规划分布计划分布规划足球机器人视觉和决策系统的研究与设计第34页基于规划多智能体决议模型足球机器人决议模型

足球机器人视觉和决策系统的研究与设计第35页主要内容足球机器人视觉和决策系统的研究与设计第36页控制协调智能体角色分配算法控制协调智能体流程图足球机器人视觉和决策系统的研究与设计第37页控制协调智能体角色分配算法机器人之间冲突

机器人与角色集合

足球机器人视觉和决策系统的研究与设计第38页控制协调智能体角色分配算法前锋估值函数足球机器人视觉和决策系统的研究与设计第39页控制协调智能体角色分配算法详细分配算法设计以下：（1）：计算角色能力值作为权值；（2）：结构机器人集合，角色集合，这两个集合元素没有交集，满足二分图结点条件；（3）：以第一步计算权值作为边权值，以第二步结构集合作为结点结构完全二分图，求解带权二分图最优匹配。足球机器人视觉和决策系统的研究与设计第40页主要内容足球机器人视觉和决策系统的研究与设计第41页计划执行智能体有限状态自动机模型足球机器人视觉和决策系统的研究与设计第42页计划执行智能体有限状态自动机模型找球靠近球避障射门正对球带球状态Q有限状态自动机M是一个五元组：前锋有限状态自动机模型ab

cdef条件足球机器人视觉和决策系统的研究与设计第43页计划执行智能体有限状态自动机模型前锋状态转移函数结构以下：足球机器人视觉和决策系统的研究与设计第44页计划执行智能体有限状态自动机模型前锋状态转移图

足球机器人视觉和决策系统的研究与设计第45页决议子系统实际运行效果机器人角色分配

决议子系统界面

足球机器人视觉和决策系统的研究与设计第46页整个系统实际运行效果实际运行情况足球机器人视觉和决策系统的研究与设计第47页总结全向视觉传感器设计系统软件实现基于规划多智能体决议模型彩色图像目标识别控制协调智能体角色分配算法计划执行智能体有限状态自动机模型视觉子系统决议子系统足球机器人视觉和决策系统的研究与设计第48页展望系统可靠性全向视觉理论分析抗干扰性深入工作球场环境重建足球机器人视觉和决策系统的研究与设计第49页硕士学位论文答辩谢谢！足球机器人视觉和决策系统的研究与设计第50页中型组足球机器人介绍足球机器人视觉和决策系统的研究与设计第51页中型组足球机器人硬件结构

足球机器人视觉和决策系统的研究与设计第52页求解参数全向镜顶点高度553mm摄像机凸透镜高度443mm焦距5.9mm全向镜半径32mm足球机器人视觉和决策系统的研究与设计第53页RGBtoHSL足球机器人视觉和决策系统的研究与设计第54页HSLtoRGB足球机器人视觉和决策系统的研究与设计第55页图像分割基本概念图像分割概念：将图像划分为与真实世界物体或区域有强相关性组成部分。图像分割基础是像素之间相同性和跳变性。所谓“相同性”是指某个区域内像素含有某种相同特征，如灰度、色彩、反射率、纹理等。所谓“跳变性”是指像素特征改变不连续性，如灰度、色彩突变等。图像分割后图像中不一样区域都对应一定实际物体。阈值化分割；基于边缘分割；基于区域分割。足球机器人视觉和决策系统的研究与设计第56页RGB空间分割基于CLUTRGB颜色空间分割：

结构一个四维CLUT，其下标是R，G，B，T，其内容是True或False。优点：1.离线设置简单，以静态数据保留颜色分类信息；2.在线调用轻易，不需要复杂运算，查找速度快；3.彩色图像二值化简单；4.不轻易受干扰；缺点：1.对32位真彩色占用内存空间大，存放麻烦；2.因为光照原因，颜色相近两个物体RGB空间有重合部分，

CLUT不能处理一对多问题；3.当某颜色物体在RGB空间分布不连续时，建立CLUT不能覆

盖封闭区域内全部点；4.CLUT不宜进行颜色空间拓展；5.对光线、颜色适应性差；足球机器人视觉和决策系统的研究与设计第57页RGB空间分割基于阈值RGB颜色空间分割：

某颜色物体在RGB空间分布是一个封闭区域，于是我们能够用RGB阈值来描述这个封闭区域。优点：1.不一样物体RGB阈值允许存在重合，处理了颜色—物体一对多问

题；2.计算简单，信息存放方便；缺点：1.这种描述把封闭不规则空间描述为封闭立方体空间，包含了不属于该物体颜色；2.当亮度、色度漂移时，R、G、B值改变猛烈，而且是非线性，阈值拓展效果不好；3.阈值区间大时候，干扰严重；足球机器人视觉和决策系统的研究与设计第58页HSL空间分割HSL颜色空间分割：

对RGB颜色空间而言，因为色度、亮度漂移时，R、G、B值波动较大，而且改变是非线性，因而颜色空间拓展难度很大；相比而言，HSL颜色模型更适宜于颜色空间拓展。HSL颜色模型三个变量是色度、饱和度和亮度，其中色度（Hue）反应目标颜色能力显著增强，对同一颜色目标往往含有较稳定和较窄数字改变范围，受光照影响比较小，因而人们往往把RGB空间模型转换成HSL颜色模型进行图像处理与识别。足球机器人视觉和决策系统的研究与设计第59页HSL空间分割基于阈值HSL颜色空间分割：优点：1.不一样物体HSL阈值允许存在重合，处理颜色—物体一对多问题；2.信息存放方便；3.当颜色、亮度漂移时，色度（Hue）和亮度（Luminosity）改变不大，阈值拓展轻易，效果很好；缺点：1.从RGB空间到HSL空间转换运算复杂，实时性差；足球机器人视觉和决策系统的研究与设计第60页颜色空间选择足球机器人视觉和决策系统的研究与设计第61页颜色空间选择足球机器人视觉和决策系统的研究与设计第62页颜色空间选择足球机器人视觉和决策系统的研究与设计第63页快速搜索方法分析当前，在足球机器人视觉系统中，广泛采取有两种搜索算法。一个是网格搜索算法，另一个是动态窗口搜索算法。这两种方法都是为了提升目标搜索效率来设计。网格搜索算法是一个全局搜索方法，但它不是对图像中每个像素进行搜索，而是在一幅数字图像中（640×480）中，等间距地抽取一部分行和列图像矩阵，这么就形成一个网状，然后在这个网节点上进行逐点搜索，从而判断出目标大致位置，然后再在这个位置附近一个范围内进行搜索。

因为图像采集时，可能存在各种噪声，这么在图像中可能形成一些噪声空洞，当网格节点恰好位于空洞时，可能造成目标图像丢失；还有可能就是噪声斑点中存在搜索目标像素，这么当网格节点位于噪声斑点上时，就可能造成误搜索。所以，假如利用这种方法，必须对上述缺点进行克服。足球机器人视觉和决策系统的研究与设计第64页快速搜索方法分析动态网格搜索法是依据图像采集相邻图像序列相关性来设计。它是给每个搜索目标分配一个动态窗口，用这个窗口来跟踪目标，每次搜索时不是在整个图像中搜索目标，而是在所设定远远小于整个图像窗口中进行搜索。动态窗口搜索方法主要是为了节约图像处理时间，满足系统实时性要求而提出。它是依据机器人比赛中机器人本体机械特征和小球在场地上运动特点来设计。由机器人本身运动特征和视觉采集系统特点，能够看出，在大约33ms时间内，机器人运动距离是有限制，依据机器人最大运动速度，那么在一个采样周期内，机器人运动距离应该满足下式：D<2m/s×0.033s=66mmD:一个采样周期内机器人移动距离。足球机器人视觉和决策系统的研究与设计第65页距离标定球门、角柱、机器人等目标母线都是垂直于球场平面，这些直线在全向视觉看来是从图像主点发出射线,因而这些目标在图像上反应均为扇形或类似扇形区域，这些区域与球场交界反应在图像上就是对应颜色区域内径(InnerR)，因而我们完全能够依据内径(InnerR)来标定这些目标位置。

足球机器人视觉和决策系统的研究与设计第66页协作类型（1）完全协同型：系统中智能体都围绕一个共同全局目标，各智能体没有自己局部目标，全部智能体全力以赴协作。（2）协同型：系统中智能体含有一个共同全局目标，同时各智能体还有与全局目标一致局部目标。（3）自私型：系统中不存在共同全局目标，各智能体都为自己局部目标工作，而且目标之间可能存在冲突。（4）完全自私型：系统中不存在共同全局目标，各智能体都为自己局部目标工作，而且不考虑任何协作行为。（5）协同与自私共存型：系统中既存在一些共同全局目标，一些智能体也可能还含有与全局目标无直接联络局部目标。足球机器人视觉和决策系统的研究与设计第67页再规划情况规划一旦被分配就将会被执行，直到出现意外情况被中止。这种意外分为以下两种情况：（1）计划执行智能体（即机器人）在执行该计划同时，还将监控该子计划是否适合自己执行，当其发觉不再适合担当由当前规划所分配角色时，将向控制协调智能体提出请求，进行再规划，重新分配角色。（2）在计划执行过程中，控制协调智能体将监控计划执行，当发觉当前执行计划同当前环境输入状态所要求计划差距比较大或者出现了某种意外情况时（如场上形势非常适合某种预先结构好配合射门程序，或者是球被双方球员顶在一起而不能进行正常规划时），它将重新进行再规划以适应该前形势。足球机器人视觉和决策系统的研究与设计第68页二分图二分图数学模型为：一个无向图称为一个二分图。假如以下条件成立：(U、V为非空结点集合)，对于边集合E中任一条边，结点，一个在U中，另一个在V中。假如将U中结点布在一行，V中结点布在下一行，则二分图只允许不同行结点间有边相联，同一行中结点间不允许有边相联。如果对于U中每一个结点，V中每一个结点，E都含有边，则记为完全二分图，边带权成为带权完全二分图。足球机器人视觉和决策系统的研究与设计第69页K-M算法Kuhn-Munkres算法：（1）初始一个可行顶标1，确定，在中找到任一个匹配M。（2）若X中顶点都被M匹配，停顿，则M即为最正确匹配。不然，取中未被M匹配顶点，。（3）若N(S)真包含T，转4。若N(S)=T，令，，，；，；，其它。（4）选中一顶点y，若y已被M匹配，且，，，转3，不然，取中一个M可增广矩，令，转2。足球机器人视觉和决策系统的研究与设计第70页有限状态自动机定义有限状态自动机定义：包含一组状态集(States)、一个起始状态(Startstate)、一组输入符号集(Alphabet)、一个映射输入符号和当前状态到下一状态转换函数(Transitionfunction)计算模型。当输入符号串，模型随即进入起始状态。足球机器人视觉和决策系统的研究与设计第71页自动机中各分量含义有限状态自动机M是一个五元组：

—状态非空有穷集合。，q称为M一个状态。—输入字母表。输入字符串都是上字符串。—状态转移函数，有时又叫作转移函数，，对，表示M在状态q读入字符a，将状态