RoboCup中型组足球机器人视觉和决策系统的研究与设计.ppt

RoboCup中型组足球机器人视觉和决策系统的研究与设计,指导教师：王明顺副教授答辩学生：崔金柱东北大学控制理论与导航技术研究所,硕士学位论文答辩,演讲的结构,足球机器人的背景,1992年，加拿大不列颠哥伦比亚大学的AlanMackworth教授在国际上首次提出了足球机器人的概念。1996年，在日本名古屋正式成立了“机器人足球世界杯”(theRobotWorldCupSoccerGames,RoboCup)。1997年6月，第二届微型机器人足球比赛在韩国举行，在此期间，国际机器人足球联盟(FederationofInternationalRobot-soccerAssociation,FIRA)宣告成立。RoboCup和FIRA两个组织每年各举办一次国际性的足球机器人大赛。,RoboCup足球机器人,RoboCup机器人比赛,RoboCup中型组足球机器人的研究意义,中型组足球机器人的系统组成,中型组足球机器人机械结构图,中型组足球机器人的系统组成,中型组足球机器人控制系统图,主要内容,视觉子系统任务分析,RoboCup中型组足球机器人比赛场地,视觉子系统任务分析,主要内容,全向视觉传感器,全向视觉传感器及其几何模型,全向视觉传感器,常规曲面反射镜优缺点对照表,全向视觉传感器,垂直等比镜面设计示意图,水平等比镜面设计示意图,全向视觉传感器,全向反射镜实物,F=.184619949720554717236095e-7*t6-.269431886051147321750479e-5*t5+.155724546553826165631862e-3*t4-.444945845266700619469180e-2*t3+.684349249083256727654856e-1*t2+.144231514843774888401384*t-.897810363982420589490374e-1,曲面函数F(t),主要内容,彩色图像目标识别,常用的彩色图像分割准则：（1）RGB颜色空间分割基于CLUT的颜色空间分割优点：速度快，图像二值化简单缺点：对环境的适应性差（2）HSL颜色空间分割基于阈值的颜色分割优点：便于阈值拓展，对环境的适应性好缺点：速度慢,彩色图像目标识别,RGB空间和HSL空间分割方法的综合利用：（1）利用HSL颜色模型建立完备的RGB空间上的CLUT建立CLUT时，先将颜色采样数据从RGB空间转换到HSL空间然后根据经验进行阈值拓展，求出合适的HSL空间上的阈值然后将该阈值区间上的所有点转换到RGB空间并填充颜色查找表（2）颜色分割采用基于CLUT的RGB空间的分割方法,彩色图像目标识别,基于CLUT的动态窗格目标搜索算法,（1）搜索起点：上次目标的中心位置或图象中心；（2）从起点起，上下左右各外扩s得到起始搜索窗格Ak1；（3）搜索完成后若没有发现目标，外扩一圈，依次搜索Atop、Aleft、Aright、Abottom；（4）依次类推，直至搜索完整幅图象。,彩色图像目标识别,基于CLUT的区域生长算法,（1）选取种子点；（2）以为中心，考虑4邻域像素，如果该点未被处理且符合生长准则，将该点与之合并，同时将该点压入堆栈；（3）如果堆栈不为空，从堆栈中弹出一个像素，把它当做；回到步骤（2）；（4）区域生长完毕。,彩色图像目标识别,基于CLUT的变步长区域生长算法,如果我们在区域生长的时候，对每个种子点处理的不是其4邻接像素，而是在垂直或水平方向上与其隔一个象素的点，我们称生长步长为2。当目标面积较大，超过一定的阈值时，则改用较大的步长。,彩色图像目标识别,颜色面积颜色重心内径外径经度边界1经度边界2,主要内容,视觉子系统的软件实现,视觉子系统的软件实现,距离标定实验数据和曲线,视觉子系统实际运行效果,原始图像,区域生长分割效果,视觉子系统实际运行效果,变步长区域生长分割效果,物体在机器人坐标系下的坐标,主要内容,决策子系统任务分析,决策子系统任务分析,主要内容,基于规划的多智能体决策模型,基于规划的多智能体决策模型,基于规划的多智能体决策模型,基于规划的多智能体决策模型,足球机器人决策模型,主要内容,控制协调智能体的角色分配算法,控制协调智能体的流程图,控制协调智能体的角色分配算法,机器人之间的冲突,机器人与角色的集合,控制协调智能体的角色分配算法,前锋的估值函数,控制协调智能体的角色分配算法,具体的分配算法设计如下：（1）：计算角色能力值作为权值；（2）：构造机器人集合，角色集合，这两个集合的元素没有交集，满足二分图结点的条件；（3）：以第一步计算的权值作为边的权值，以第二步构造的集合作为结点构造完全二分图，求解带权二分图的最优匹配。,主要内容,计划执行智能体的有限状态自动机模型,计划执行智能体的有限状态自动机模型,有限状态自动机M是一个五元组：,前锋有限状态自动机模型,计划执行智能体的有限状态自动机模型,前锋状态转移函数的构造如下：,计划执行智能体的有限状态自动机模型,前锋状态转移图,决策子系统实际运行效果,机器人的角色分配,决策子系统界面,整个系统实际运行效果,实际运行情况,总结,全向视觉传感器设计,系统的软件实现,基于规划的多智能体决策模型,彩色图像目标识别,控制协调智能体的角色分配算法,计划执行智能体的有限状态自动机模型,视觉子系统,决策子系统,展望,系统的可靠性,全向视觉的理论分析,抗干扰性,进一步工作,球场环境的重建,硕士学位论文答辩,谢谢！,中型组足球机器人简介,中型组足球机器人硬件结构,求解参数,全向镜顶点高度553mm摄像机凸透镜高度443mm焦距5.9mm全向镜半径32mm,RGBtoHSL,HSLtoRGB,图像分割的基本概念,图像分割的概念：将图像划分为与真实世界的物体或区域有强相关性的组成部分。图像分割的基础是像素之间的相似性和跳变性。所谓“相似性”是指某个区域内像素具有某种相似的特性，如灰度、色彩、反射率、纹理等。所谓“跳变性”是指像素特征变化的不连续性，如灰度、色彩的突变等。图像分割后图像中的不同区域都对应一定的实际物体。阈值化分割；基于边缘的分割；基于区域的分割。,RGB空间的分割,基于CLUT的RGB颜色空间分割：构造一个四维CLUT，其下标是R，G，B，T，其内容是True或False。优点：1.离线设置简单，以静态数据保存颜色分类信息；2.在线调用容易，不需要复杂的运算，查找速度快；3.彩色图像二值化简单；4.不容易受干扰；缺点：1.对32位真彩色占用内存空间大，存储麻烦；2.由于光照的原因，颜色相近的两个物体的RGB空间有重叠部分，CLUT不能解决一对多的问题；3.当某颜色物体在RGB空间的分布不连续时，建立的CLUT不能覆盖封闭区域内的所有点；4.CLUT不适宜进行颜色空间的拓展；5.对光线、颜色的适应性差；,RGB空间的分割,基于阈值的RGB颜色空间分割：某颜色物体在RGB空间的分布是一个封闭区域，于是我们可以用RGB阈值来描述这个封闭区域。优点：1.不同物体的RGB阈值允许存在重叠，解决了颜色物体一对多的问题；2.计算简单，信息存储方便；缺点：1.这种描述把封闭的不规则空间描述为封闭的立方体空间，包含了不属于该物体的颜色；2.当亮度、色度漂移时，R、G、B值变化剧烈，并且是非线性的，阈值拓展的效果不好；3.阈值区间大的时候，干扰严重；,HSL空间的分割,HSL颜色空间分割：对RGB颜色空间而言，由于色度、亮度漂移时，R、G、B值波动较大，而且变化是非线性的，因而颜色空间拓展的难度很大；相比而言，HSL颜色模型更适宜于颜色空间的拓展。HSL颜色模型的三个变量是色度、饱和度和亮度，其中色度（Hue）反映目标颜色的能力显著增强，对同一颜色的目标往往具有较稳定和较窄的数字变化范围，受光照的影响比较小，因而人们往往把RGB空间模型转换成HSL颜色模型进行图像处理与识别。,HSL空间的分割,基于阈值的HSL颜色空间分割：优点：1.不同物体的HSL阈值允许存在重叠，解决颜色物体一对多的问题；2.信息存储方便；3.当颜色、亮度漂移时，色度（Hue）和亮度（Luminosity）变化不大，阈值拓展容易，效果较好；缺点：1.从RGB空间到HSL空间的转换运算复杂，实时性差；,颜色空间的选择,颜色空间的选择,颜色空间的选择,快速搜索的方法分析,目前，在足球机器人视觉系统中，广泛采用的有两种搜索算法。一种是网格搜索算法，另一种是动态窗口搜索算法。这两种方法都是为了提高目标的搜索效率来设计的。网格搜索算法是一种全局搜索方法，但它不是对图像中的每个像素进行搜索，而是在一幅数字图像中（640480）中，等间距地抽取一部分行和列图像矩阵，这样就形成一个网状，然后在这个网的节点上进行逐点搜索，从而判断出目标的大致位置，然后再在这个位置附近的一个范围内进行搜索。由于图像采集时，可能存在各种噪声，这样在图像中可能形成一些噪声空洞，当网格节点正好位于空洞时，可能造成目标图像的丢失；还有可能就是噪声斑点中存在搜索目标的像素，这样当网格节点位于噪声斑点上时，就可能造成误搜索。所以，如果利用这种方法，必须对上述缺点进行克服。,快速搜索的方法分析,动态网格搜索法是根据图像采集相邻图像序列的相关性来设计的。它是给每个搜索目标分配一个动态窗口，用这个窗口来跟踪目标，每次搜索时不是在整个图像中搜索目标，而是在所设定的远远小于整个图像的窗口中进行搜索。动态窗口搜索方法主要是为了节省图像处理的时间，满足系统的实时性要求而提出的。它是根据机器人比赛中机器人本体的机械特性和小球在场地上运动的特点来设计的。由机器人自身运动的特性和视觉采集系统的特点，可以看出，在大约33ms的时间内，机器人运动的距离是有限制的，根据机器人的最大运动速度，那么在一个采样周期内，机器人运动的距离应该满足下式：D2m/s0.033s=66mmD:一个采样周期内机器人移动的距离。,距离标定,球门、角柱、机器人等目标的母线都是垂直于球场平面的，这些直线在全向视觉看来是从图像的主点发出的射线,因而这些目标在图像上的反映均为扇形或类似扇形的区域，这些区域与球场的交界反映在图像上就是对应颜色区域的内径(InnerR)，因而我们完全可以根据内径(InnerR)来标定这些目标的位置。,协作类型,（1）完全协同型：系统中的智能体都围绕一个共同的全局目标，各智能体没有自己的局部目标，所有智能体全力以赴的协作。（2）协同型：系统中的智能体具有一个共同的全局目标，同时各智能体还有与全局目标一致的局部目标。（3）自私型：系统中不存在共同的全局目标，各智能体都为自己的局部目标工作，而且目标之间可能存在冲突。（4）完全自私型：系统中不存在共同的全局目标，各智能体都为自己的局部目标工作，并且不考虑任何协作行为。（5）协同与自私共存型：系统中既存在一些共同的全局目标，某些智能体也可能还具有与全局目标无直接联系的局部目标。,再规划的情况,规划一旦被分配就将会被执行，直到出现意外情况被中断。这种意外分为以下两种情况：（1）计划执行智能体（即机器人）在执行该计划的同时，还将监控该子计划是否适合自己执行，当其发现不再适合担当由当前规划所分配的角色时，将向控制协调智能体提出请求，进行再规划，重新分配角色。（2）在计划执行的过程中，控制协调智能体将监控计划的执行，当发现当前执行的计划同目前的环境输入状态所要求的计划差距比较大或者出现了某种意外情况时（如场上的形势非常适合某种预先构造好的配合射门程序，或者是球被双方球员顶在一起而不能进行正常的规划时），它将重新进行再规划以适应当前的形势。,二分图,二分图的数学模型为：一个无向图称为一个二分图。如果下列条件成立：(U、V为非空结点集合)，对于边集合E中的任一条边，结点，一个在U中，另一个在V中。如果将U中的结点布在一行，V中的结点布在下一行，则二分图只允许不同行的结点间有边相联，同一行中的结点间不允许有边相联。如果对于U中每一个结点，V中每一个结点，E都含有边，则记为完全二分图，边带权成为带权完全二分图。,K-M算法,Kuhn-Munkres算法：（1）初始一个可行顶标1，确定，在中找到任一个匹配M。（2）若X中顶点都被M匹配，停止，则M即为最佳匹配。否则，取中未被M匹配的顶点，。（3）若N(S)真包含T，转4。若N(S)=T，令，；，；，其它。（4）选中一顶点y，若y已被M匹配，且，转3，否则，取中一个M的可增广矩，令，转2。,有限状态自动机的定义,有限状态自动机的定义：包含一组状态集(States)、一个起始状态(Startstate)、一组输入符号集(Alphabet)、一个映射输入符号和当前状态到下一状态的转换函数(Transitionfunction)的计算模型。当输入符号串，模型随即进入起始状态。,自动机中各分量的含义,有限状态自动机M是一个五元组：状态的非空有穷集合。，q称为M的一个状态。输入字母表。输入字符串都是上的字符串。状态转移函数，有时又叫作转移函数，对，表示M在状态q读入字符a，将状态变成p，并将读头向移动一个带方格而指向输入字符串的下一个字符。M的初始状态，也可叫作初始状态或者启动状态。M的终止状态集合，F包含于Q。，q称为M的终止状态。,状态转换条件,a看见球，与球之间没有障碍物，离球远b发现前进路线中有障碍物c球很近，无障碍物影响但有偏角d球很近且无障碍物无偏角，角度很正e球丢了且视觉中没有障碍物f无障碍物影响，且符合射门条件,有限状态自动机的完整描述,对状态机接受语言后运动过程形式上地完整描述如下：（1）启动足球机器