（机械电子工程专业论文）基于“davinci”的自主机器人全景视觉的移动目标检测研究.pdf

摘要机器人视觉系统是机器视觉系统在机器人上的特定应用，它是机器人系统的重要组成部分，实现类似于人眼的功能。本文的研究和实验对象是在r o b o c u p( t h er o b o tw o d dc u p 机器人杯) 比赛中被认为最具挑战性和最能代表参赛队伍的机器人研究水平的中型组全自主机器人。针对比赛中移动目标较多和对机器人实时性要求很高的问题，本文从机器人硬件配置和软件算法的设计，都进行了较深入的研究。首先，针对比赛的要求和国内外研究的现状，为机器人选配了较为先进的全景摄像系统，并对其结构和工作原理进行了介绍。全景摄像系统使得机器人有3 6 0 度的视觉范围，最大程度上避免了视觉死角，并使得机器人的灵活性也大为提高。其次，针对视觉系统需要处理和运算大量的数据而又要保证实时性的问题，将啊公司的新产品a r m + d s p 双核芯片“达芬奇”( d a v m c i ) 弓i 入了智能移动机器人领域。文中对芯片和扩展功能等进行了描述。第三，针对机器人足球比赛中存较多移动目标的问题，提出了一些较好的算法。其中，针对需要主动跟踪的移动目标有色足球，采用了融合颜色信息和形状信息的思路，在检测识别率和处理速度上都取得了令人满意的效果。同时，算法针对比赛场地中光照强度严重不均而影响目标轮廓提取的情况，通过对颜色模型理论进行了深入研究，并着重分析比较了r o b 、h s i 颜色模型的特性后，提出了基于h s i 模型和r g b 模型特点的一种消除光照对提取目标轮廓影响的方法，使得后续的目标检测准确率大为提高。此外，针对需要主动规避的移动障碍物敌对机器人，也提出了一种新颖的算法，算法由于充分注意了对全景视觉特点的利用而显得简洁而清晰，同时该算法易于其他路径规划算法进行结合，在实现规避移动障碍物的同时完成机器人对最优路径的选择。算法均以c + + 语言编程实现，在实际使用中取得了很好的效果。关键词：自主机器人，全景视觉，移动目标，颜色模型，路径规划a b s t r a c tr o b o tv i s i o ns y s t e mi st h es p e c i f i ca p p l i c a t i o no ft h em a c h i n ev i s i o ns y s t e mo nr o b o t ；i ti sa l li m p o r t a n tc o m p o n e n to ft h er o b o ts y s t e mt oa c h i e v i n gs i m i l a rf u n c t i o i l so ft h eh u m a ne y e s 1 1 1 i sp a p e rs t u d i e st h em e d i u m s i z e dg r o u pa u t o n o m o u sr o b o tw h i c hh a sb e e nc o n s i d e r e dt ob et h em o s tc h a l l e n g i n ga n dr e p r e s e n t a t i v eo fp a r t i c i p a t i n gt e a m so ft h el e v e li nt h er o b o c u pr t h er o b o tw o r l dc u pr o b o tc u p )c o m p e t i t i o n a c c o r d i n gt ot h em o b i l er o b o tg o a l sa n dm o r ed e m a n d i n gr e a l - t i m ep r o b l e mi nt h ec o m p e t i t i o n ，t h ep a p e rp u tf o r w a r dam o r ei n - d e p t hs t u d yo nt h ed e s i g no f r o b o th a r d w a r ec o n f i g u r a t i o na n da l g o r i t h mb o m f i r s t l y ，i nv i e wo f t h er e q u e s to f c o m p e t i t i o na n dt h er e s e a r c ho f t h es t a t u sq u oa th o m ea n da b r o a d ，a l la d v a n c e dp a n o r a m i cc a m e l as y s t e mh a sb e e nc h o s e nt om a t c h i n gt h er o b o t ，a n dt h i sp a p e ra l s op r o c e s s e sas i m p l ei n t r o d u c t i o nf o ri t ss t r u c t u r ea n dw o r k i n gp r i n c i p l e 1 1 1 ep a n o r a m i cc a m e r as y s t e me n a b l e sb r i n g st h er o b o tag r e a t e rv i s i o na s3 6 0 。，a v o i d sd e a da n g l e ，a n dt h er o b o tf l e x i b i l i t yh a sb e e ni m p r o v e d s e c o n d l y ，c o n s i d e r i n gt h a tl a r g ea m o u n t so fd a t as h o u l db ec a l c u l a t e da n dt i ps y s t e ma l s on e e d st om a i n t a l nt h er e a l - t i m ed a t a , t h eh a r d w a r eh a sb e e ni n f o r m e dp r o p e r l y t h et ic o m p a n y sn e wp r o d u c t - a i m + d s pd u a l - c o r ec h i p sc a l l e d”d a b e i h a sb e e nu s e do ni n t e l l i g e n tm o b i l er o b o t sf o rt h ef i r s tt i m e i nt h i sp a p e r c h i p sa n de x p a n s i o nf u n c t i o na r ea l s oo u t l i n e d t h i r d l y ，i nv i e wo fr o b o ts o c c e rc o m p e t i t i o nm o r eo fam o v i n gt a r g e t , w et r ys o m en e wa l g o r i t h m s i n f o r m a t i o ni n t e g r a t i o ni d e a sh a v eb e e nu s e dt ot r a c km o v i n gt a r g e t s - c o l o r e df o o t b a l l d e t e c t i o na n di d e n t i f i c a t i o nr a t ea n dp r o c e s s i n gs p e e dh a sb e e na c h i e v e ds a t i s f a c t o r yr e s u l t s a tt h es a m et i m e ，c o n s i d e r i n gt h el i g h ti n t e n s i t ys e r i o u si m p a c to nt h eu n e v e nc o n t o u re x t r a c t i o no ft h et a r g e t , i n d e p t hs t u d i e sa n df o c u so nc o m p a r a t i v ea n a l y s i so ft h er g b ，y u v ，t h eh s ic o l o rm o d e lc h a r a c t e r i s t i c s ，a n ds e tf o r t ho nh s ir g bm o d e la n dt h em o d e lo f t h ec h a r a c t e r i s t i c so f t h el i g h tf r o mat a r g e tt oe l i m i n a t et h ei n f l u e n c eo fc o n t o u r s ，m a k i n gf o l l o w - u pt a r g e td e t e c t i o na c c u r a c yg r e a t l yi m p r o v e d i na d d i t i o n , t h en e e dt ot a k ee v a s i v ea c t i o na g a i n s tam o v i n gt a r g e t o b s t a c l e ss u c ha sah o s f i l er o b o t b u ta l s op u t sf o r w a r dan o v e la l g o r i t h mw h i c ha sar e s u l to fh a sp a i da t t e n t i o nt on s et h ep a n o r a m av i s i o nc h a r a c t e r i s t i ct h a ta p p e a r ss u c c i n c ta n dc l e a r a n di ta l s oe a s yt oc o m b i n e 埘t l lo t h e rp a t hp l a n n i n ga l g o r i t h mt ob y p a s sm o b i l eo b s t a c l e sa n dt 0c h o o s et h eb e s tp a t hs y n c h r o n o u s l yf o rt h er o b o t a l g o r i t h n l sh a v eb e e np r o g r a m m e du s i n gc + + a n di nt h ea c t u a lm a t c h e sw eh a v eh a dg o o dr e s u l t s k e yw o r d s ：a u t o n o m o u sr o b o t ，p a n o r a m i cv i s i o n , m o v i n gt a r g e t , c o l o rm o d e l ，p a t hp l a n n i n g学位论文独创性声明：本人所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。如不实，本人负全部责任。论文作者( 签名) ：学位论文使用授权说明。九) g 年3 月z 日河海大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河海大学研究生院办理。论文作者( 签名) ：9 一 1 年3 月z 6 日第一章绪论第一章绪论1 1 引言尽管直到三四十年前，“机器人”才作为专有名词加以引用，然而机器人的概念在人类的想象中却已经存在三千多年了。早在我国西周时代( 公元前1 0 6 6年前7 7 1 年) ，就流传有关巧匠偃师献给周穆王一个歌舞机器人( 艺妓) 的故事。而我国东汉时期，张衡发明的指南车是世界上最早的机器人的雏形，当然它与我们今天看到的机器人还有很大的差距。2 0 世纪5 0 年代后，随着科学技术的飞速发展，机器人技术才真正进入民众的视野。1 9 5 0 年，美国著名科幻小说家阿西莫夫在他的小说我是机器人中，提出了著名的“机器人三守则”，表明了民众开始正视这些有了思维能力的机器，给机器人社会赋以新的伦理性。1 9 6 2 年，美国万能自动化( u n i m a t i o n a ) 公司的第一台机器人u n i m a t e 在美国通用汽车公司( g m ) 投入使用，这标志着第一代机器人的诞生。随着自动控制理论，人工智能理论、计算机技术和航天技术的发展，具有较高智能的自主机器人开始出现。这种具有自主控制和决策能力的智能机器人是机器人研究领域中的一个重要分支，它集人工智能、智能控制、信息处理、图像处理、检测与转换等专业技术为一体，跨计算机、自动控制、机械、电子等多学科，成为当前机器人研究领域的热点之一。因此，自主机器人往往还应用许多最新的智能技术，如临场感技术、虚拟现实技术、多智能体技术、人工神经网络技术、遗传算法理论、仿生技术、多传感器集成和融合技术等。美国、欧盟、日本等发达国家的政府先后推出并实施了多个与机器人技术、自动化工艺装备相关的国家研究计划，以支持相关的核心技术和关键重大装备的研发与应用。我国政府也非常重视机器人技术研究与开发，并在国家“十五”8 6 3 计划中予以重点支持1 2 j 。但是在机器人与自动化装备中核心及关键技术的原创性研究等方面，同发达国家相比我国仍存在较大的差距。为了推进人工智能和机器人技术的研究，国际人工智能协会于1 9 9 3 年提出举办机器人世界杯，即r o b o c u p ( t h er o b o tw o r l dc u p 机器人杯) ，r o b o c u p 最终目标是：在2 0 5 0 年之前，发展一支能够战胜当时人类世界冠军的全自主的类人机器人足球队。1 9 9 7 年7 月，首届机器人杯大会在日本名古屋举行，随后，法国巴黎，瑞典斯德哥尔摩，澳大利亚墨尔本和美国西亚图等都分别成功地举办了国际机器人杯赛。r o b o c u p 分为仿真组、小型组、中型组、四腿组和类人类组比赛。其中中型组是两支机器人球队在1 2 米长8 米宽的场地上进行比赛。所有机器人都是全自主的，即传感器信息的获取、任务的规划、运动的控制等任务都是由每个机器人河海大学工学硕士论文基于。d a v i n c i ”的自主机器人全景视觉的移动目标检测研究自身完成的。机器人之间用无线通讯来实现信息共享和运动协调。场上的标记均为彩色标记：球为橙色的，球门为黄色或蓝色，机器人本身带有紫色或天蓝色色标区分两方，角球区由黄蓝相间的立柱标记。本文的研究工作和实验就主要以r o b o c u p 中型组为背景展开。1 2 机器人视觉系统视觉系统是全自主移动机器人的一个重要组成部分，当今，由于数字图像处理和计算机视觉技术的迅速发展，越来越多的研究者采用摄像机作为全自主移动机器人的感知传感器。这主要是因为原有的超声或红外传感器感知信息量有限，鲁棒性差，而视觉系统则可以弥补这些缺点。人类感知外部世界的信息，其中约8 0 是通过视觉获得的，所以视觉传感器在机器人技术中的采用，使机器人真正向人的意义上靠近。美国于2 0 0 3 年7 月发射的火星探测机器人“勇气号”就装有一种全景摄像机。其全景摄像机由两台高分辨率彩色立体摄像机组成，安装在车上的摄像机梁上，它可以做3 6 0 度的水平扫描，摄像机梁可以做1 8 0 度的上下扫描，以摄取火星表面和天空的全景视图。摄像机也用于形成着陆点附近的地形图、搜索感兴趣的岩石和土壤，以寻找火星远古时期存在液态水的证据。图1 1 美国的火星探测机器人“勇气号”1 2 1 计算机视觉( c o m p u t e rv i s i o n ) 与机器视觉( m a c h i n ev i s i o n )机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当时的工作主要集中在二维图像分析和识别上，如光学字符识别，工件表面、显微图片和航空图片的分析和解释等口】。6 0 年代，r o b e r t s ( 1 9 6 5 ) 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。r o b e r t s 的研究工作开创了以理解三维场景为目的的三维机器视2第一章绪论觉的研究。到了7 0 年代，已经出现了一些视觉应用系统。7 0 年代中期，麻省理工学院( m i t ) 人工智能( a i ) 实验室正式开设“机器视觉”( m a c h i n ev i s i o n ) 课程，由国际著名学者b k p h o r n 教授讲授。2 0 世纪8 0 年代，对机器视觉的研究达到了一个全球性的研究热潮。到了8 0 年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架，主动视觉理论框架，视觉集成理论框架等。到目前为止，机器视觉仍然是一个非常活跃的研究领域。计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着重于一幅或多幅图像的计算机分析。图像可以由单个或多个传感器获取，也可以是单个传感器在不同时刻获取的图像系列。分析是对目标物体的识别，确定目标物体的位黄和姿态，对三维景物进行符号描述和解释。机器视觉则偏重于计算机视觉技术的工程化，能够自动获取和分析特定的图像，以控制相应的行为。具体地说，计算机视觉为机器视觉提供图像和景物分析的理论及算法基础，机器视觉则偏重于计算机视觉技术工程化，它为计算机视觉的实现提供传感器模型，系统构造和实现手段。因此可以认为，一个机器视觉系统技术就是一个能够自动获取一幅或多幅目标物体图像，对所获取图像的各种特征量进行处理，分析和测量，并对测量结果做出定性分析和定量解释，从而得到有关目标物体的某种认识并做出相应决策的系统。机器视觉系统的功能包括：物体定位，特征检测，缺点判断，目标识别，计数和运动跟踪等。通常来说，计算机视觉和机器视觉可作为相同的概念来使用，并不需要对两者进行区分。1 2 2 图像工程图像对我们并不陌生，它是各种观测系统以不同形式和手段观测客观世界而获得的，可以直接或间接作用于人眼并进而产生视知觉的实体【4 l 。最为常见的就是摄像机拍摄的胶片图像或数字图像。图像技术在广义上是各种与图像有关的技术的总称，包括图像采集、存储，图像的变换、增强、恢复、重建，图像的分割，目标的检测识别，特征的提取和测量，图像模型的建立和匹配等等。图像技术近年来有了长足的进展，图像界一致认为该技术工作应在一个整体的框架下进行，“图像工程”的概念由此开始建立。这一概念是由f u 和k u n i 于1 9 8 2 年首先提出的，它是包括整个图像领域的新学科，当时主要包括有关图像的理论技术，对图像数据的分析管理以及各种应用。图像工程的内容非常丰富，根据抽象程度和研究方法等的不同可分为三个层次( 图1 2 ) ：图像处理、图像分析和图像理解。河海大学工学硕士论文基于。d a v i m c i ”的自主机器人全景视觉的移动目标检测研究低图1 2 图像工程的内容框图图像处理着重强调在图像之间的变换。主要指对图像进行各种加工以改善图像的视觉效果并为自动识别打基础，或对图像进行压缩编码以减少对其所需的存储空间或传输时间、传输通路的要求。图像分析主要是对图像中感兴趣的目标进行检测和测量，以获得它们的客观信息从而建立对图像的描述。图像分析是一个从图像到数据的过程，这里数据可以是对目标特征测量的结果，或是基于测量的符号表示，它们描述了图像中目标的特点和性质。图像理解的重点是在图像分析的基础上，进一步研究图像中各目标的性质和它们之间的相互联系，并得出对图像内容含义的理解以及对原来客观场景的解释，从而指导和规划行动。图像工程是一门系统地研究各种图像理论、技术和应用的新的交叉学科。它的研究范围和机器视觉有着重合部分，机器视觉主要强调用计算机实现人的视觉功能，这中间用到图像工程三个层次的很多技术。1 3 全方位视觉视觉系统是自主机器人的一个重要组成部分，主要用于目标检测、自身导航和目标跟踪三个方面。它可以承担以下一些任务：图形的特征提取及识别，场景中的物体跟踪与定位，测量目标的方位及距离，对运动的目标进行运动分析，与环境信息进行交互和学习，与人进行多模态交互等。在机器人视觉系统的研究中，目标检测、目标跟踪和目标定位是目前研究的热门问题，从“手眼”系统到移动机器人，目标检测、跟踪和定位都是研究目标识别和轨迹规划等机器智能问题所不可缺少的基础研究，目标检测、跟踪和定位的好坏直接影响着移动机器人智能的高低。传统的视觉探测方法主要是采用常规镜头摄像机直接获取场景信息，这种方法的主要问题是视角较小，只能获取视野有限的局部信息。为获取大视野场景图像，只能通过单个镜头旋转或多个普通镜头水平组合得到全景图像，因此系统设计复杂，运行实时性较差。全景视觉技术利用光学的反射原理来扩大视觉系统的4第一章绪论视野，在全景视觉系统中，摄像器件不是直接观看外界环境，而是正对一面凸面镜( 全景取景器) ，其一般安装在摄像器件镜头的正上方，如图1 3 所示。根据镜面反射原理，远处物体所发出的光线经过镜面反射后集中通过摄像器件的镜头，形成以机器人为圆心的一定半径内物体的全景图像( 即全景视觉) 。然后便可按照颜色范围提取图像中的感兴趣区域，记录这些感兴趣区域的特性( 如位置、面积、障碍物距离等) ，以供分析使用。因此，只用一台摄像机就可观察到机器人周围3 6 0 。内的全景环境，可快速、准确探测周围环境信息，同时极大减少系统设计的复杂性【4 】【5 1 。图1 3 反射式全景摄像机目前，关于全方位视觉，世界范围内的研究者开展了广泛的研究，做的比较多的工作除了对全方位摄像机本身一些特性的研究，如全方位摄像机的设计1 6 】【7 】1 8 】【9 1 、标赳1 0 1 等外，在视觉应用上主要有三个方面的研究：( 1 ) 移动机器人的人机交互和导航1 j 【1 2 l 【1 3 】；( 2 ) 三维场景重建【1 4 】；( 3 ) 智能监控系统u ”。可以看到，全方位摄像机在需要大范围视觉的应用中表现出其特有的优势，并正逐渐取代传统的摄像机。以2 0 0 5 年r o b o c u p 的技术统计来看，2 1 支参加中型组比赛的球队已有1 9 支使用全向系统【l6 】。但就目前而言，全方位摄像机应用研究还处在初级阶段，成熟的系统不多，完善的更少。1 4 移动目标检测物体的运动包括其自转或是所处位置发生变化等行为，在图像处理中研究的运动目标一般是指那些位置发生变化的目标，而并不研究其自转等行为，因此，图像处理中的“运动目标检测”严格的说起来应该是“移动目标检测”，在后文中不再对此两种说法进行区分。随着图像处理技术的发展，对进入监控视场的移动目标( 诸如人，汽车等) 进行实时的检测、跟踪和理解，并由此做出相应的判断和处理，就成为智能监控领域的研究热点【1 7 1 。动态场景中运动的快速检测、外在因素如噪声的影响、运动目标遮挡、运动跟踪等问题也为智能视频监控的研究带来了相当大的挑战。因此，这个领域不仅河海大学工学硕士论文基于。d a v i n o ”的自主机器人全景视觉的移动目标检测研究具有应用价值，还具有很高的研究价值，吸引国内外许多研究人员投入到对它的研究中来，这方面的研究成果也是层出不穷【1 8 l 【1 9 1 。视频对象检测和跟踪也是机器人视觉技术研究的重要内容之一。可靠的目标对象是移动机器人对视频对象进行跟踪的基础1 2 0 。以机器人足球比赛为例，在机器人的周围不仅有球门等固定不动的物体，大多数的物体如足球对方机器人、己方队友等都是不断移动的目标，因此对这些移动目标的检测至关重要。运动目标检测的方法可以大致分为四种：背景相减法、时域差分法、光流法、基于特征的方法。下面分别作以简单介绍：1 ) 背景相减法背景相减法又称为背景差分法或背景抑制法，它是运动检测领域最常用的算法之一，在智能视频监控场合有着广泛的应用。背景相减法是将当前帧与场景背景模型进行差分，不符合模型的象素被认为是运动对象象素。这个方法的难点在于背景模型的初始化、背景为动态情况下背景模型的维护与更新。对于背景稳定不变的运动检测应用，背景相减法能很好的实现运动物体的检测。但对于动态场景的变化，如光照( 譬如开、关灯) 和外来无关事件的干扰等特别敏感，容易检测出错误的运动物体。该方法一般应用于摄像机固定的情况下。2 ) 时域差分法时域差分法又称为帧差法、序列差分法。这种方法利用视频序列中相邻两帧图像亮度差值的绝对值来分析序列的运动特性，确定视频序列中有无移动物体。它能够快速有效地从背景中检测出移动目标，较快地适应动态变化的场景。但这种方法对于图像噪音也比较敏感，而且一般不能完全提取完整的运动目标，在运动实体内部容易产生空洞现象，不利于进一步的对象分析与识别等后续处理。3 ) 光流法光流法的基本思想是由计算出来的光流场来模拟运动场，通过分析光流场来分析运动场。所谓光流场是指图像灰度模式的表面运动，运动场是指三维物体的实际运动在图像平面上的投影。通常情况下，光流场和运动场互相吻合，在一些特殊的情况下这二者是不一样的，例如：外部照明持续变化时或者在缺乏足够的空间图像梯度的区域。光流法的优点是对于建立稳定的图像比运用背景相减法具有更直接的几何意义；能够检测独立移动的对象，不需要预先知道场景的任何信息；对于在有背景运动的视频或由一个移动摄影机拍摄的镜头中的对象检测和跟踪具有很强的吸引力。光流法的缺点是多数光流法计算复杂耗时，存在孔径问题和遮挡问题。典型的光流法有h o r n s c h u n c k 方法、l u c a s k a n a d e 方法、区域匹配法、频域法等。4 ) 基于特征的方法基于特征的检测方法根据特征的尺寸又可以进一步细分为基于大尺寸特征6第一章绪论的运动检测和基于小尺寸特征的运动检测。基于大尺度特征的运动检测方法识别出物体的大尺度特征，并在视频序列中通过检测这个特征来检测运动目标，通常采用的特征是物体的边界轮廓。基于小尺度特征的运动检测方法识别出物体的边缘、拐角等小尺度特征，并在视频序列中通过检测这些特征来检测运动目标。1 5 “d a v i n c i ”芯片简介图像处理涉及到大量的数字运算，因此对算法的要求比较高，对运算处理器也有较高的要求。现有机器人的运算处理器通常为通用c p u ，但是序列图像分析的算法一般都比较复杂，运算量巨大，所以要占去处理时间的绝大部分，机器人的决策的实时性就比较难保证。针对这个不足，本文作者的实验室正在开发一种以“d a v m e i ”( 达芬奇) 芯片为主控运算核心的机器人。“d a n c i ”( 达芬奇) 芯片是t i 公司新近推出的一款针对视频处理的a r m +d s p 双核芯片1 2 1 1 。“d a v m e i ”的产品目前很少，主要集中在视频会议等视频传输领域，用于图像的压缩和编码解码等运算。图1 4达芬奇评估板框架结构d m 6 4 4 6 3 两款多媒体信号处理芯片是达芬奇技术的代表产品，d m 6 4 4 6 3 均采用a r m + d s p 双核结构，其中a r m 子系统采用主频为3 0 0 m h z 的a i t m 9 2 6 e 核，d s p 子系统则采用主频为6 0 0 m h z 的c 6 4 x + t m d s p 核。外围存储均支持2 5 6m h zd d r 2r a m 和各类存储卡，另外都使用了v p s s 子系统丰富的视频前后处理功能，且都配备了完善的外设接口。两款芯片的d s p 都有超强的视频处理能力。通过分析，我们认为，该芯片配合a r m 子系统和l i n u x 操作系统，可以非常好的进行实时的图像处理的运算和完成机器人的其他决策运算的需要，因此我们河海大学工学硕士论文基于“d a v i n c i ”的自主机器人全景视觉的移动目标检测研究尝试将其引入机器人领域，不仅让其承担图像处理方面的任务，还将其作为主要控制芯片使用，对机器人的行为进行统筹控制，成为机器人真正的大脑。1 6 本论文的主要研究工作本文的研究工作和实验就主要以r o b o c u p 中型组足球机器人比赛为背景展开。足球机器人属于第三代智能机器人，r o b o c u p 是近年来在国际上迅速兴起的高科技对抗运动。其中中型组机器人足球赛中要求机器人完全自主，所以最具有挑战性，一般认为中型组机器人最能代表参赛队伍的机器人研究水平，它的研制涉及精密机械、机器人学、机电一体化、计算机实时控制、实时数字信号处理、图像处理与模式识别、决策、轨迹规划、多智能体协调以及无线通讯等众多学科的前沿研究和综合集成，是人工智能创新的标准问题。纵观历次国际比赛和国内比赛，有两个明显的特点：一是国际比赛的水平明显高于国内比赛的水平，这反映了国内参赛队伍前沿科技的综合实力与国际水平还有一定差距；二是国内比赛各参赛队的水平差距很大，除了国防科技大学等个别队伍之外，其他各高校都处于起步阶段，技术水平差距比较明显。视觉系统是整个机器人足球比赛的关键，它从二维投影中恢复有用信息，将图像作为输入，根据图像建立显示环境的模型，进而产生控制输出。根据2 0 0 4年r o b o c u p 比赛的统计数字，其中有1 0 支参赛队伍使用了局部视觉，2 1 支队伍使用了全景视觉，而最近一届则几乎所有参赛队均使用了全景视觉。和其他搭载在移动机器人平台上的传感器相比，使用全方位摄像机可以在目标检测过程中取得更大的视野。同时，引入全方位图像也带来一些问题。如果按照通常的办法，将图像按3 6 0 度展为一般的矩形柱面全景图像，由于是在移动机器人平台上进行这项工作，图像展开后各部分的运动不同会造成图像畸变，使得检测区域不准确。另外，和同样大小的主动视觉图像相比，全方位图像要显示3 6 0 度的景象，因而图像的相对分辨率就会降低，较小的目标区域不容易被检测到。比赛中，运动目标很多。虽然目前运动检测方面的算法很多，但都有各自的优缺点，总的来说，速度快的检测不够精确，检测精确的速度太慢。例如，目前最好的运动检测算法就是光流法，该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。而缺点在于计算方法相当复杂，且抗噪性能差。因此必须利用图像中其他一些有效的特征信息，例如颜色、纹理、特征点区域等，并提出新的检测改进方法，才能提高移动目标检测的抗干扰能力，为后续处理提供较好的基础。此外，目前各参赛队一般均采用通用p c 处理器进行运算，使用这类处理器的好处是使得系统开发相对简单，缺点则是面对图像处理的大规模运算，往往显第一章绪论得有些吃力，反映在比赛中就是机器人反应迟钝。因此我们引入了新的处理核心“d a v m c i ”( 达芬奇) 芯片，以解决这一问题。本文共分5 章，内容安排如下：第一章绪论。对课题涉及的技术背景和平台机器人学、机器视觉、全方位视觉等做了简述，同时对论文涉及到的关键词进行了阐述。第二章自主足球机器人系统介绍。主要介绍了研究的r o b o c u p 机器人世界杯足球赛中型组的情况。论述了全方位视觉系统的重要部件反射镜面的原理和选择；介绍了基于“达芬奇”核心的机器人的硬件系统和软件系统的设计思路。第三章移动色球目标的检测与跟踪。同过对颜色模型的理论进行研究，提出了一种同时利用颜色和形状检测具有特征颜色足球的算法，在保证实时性的基础上，具有比较强的抗干扰能力。第四章移动障碍物目标的检测与规避。根据全方位视觉的特点，结合启发式路径规划的方法，提出了一种新颖的对移动障碍物的检测与规避的新思路。第五章总结本文内容并对本研究课题的研究方向进行了展望。9河海大学工学硕士论文基于“d a v i n c i ”的自主机器人全景视觉的移动目标检测研究第二章自主足球机器人系统介绍2 1r o b o c u p 中型组介绍足球机器人属于第三代智能机器人。r o b o c u p 机器人世界杯足球赛是一项近几年来在国际上迅速兴起的高科技对抗活动。训练机器人进行足球比赛的设想首先是由加拿大不列颠哥伦比亚大学的教授a l a nm a c k w o r t h 在论文( o ns e e i n gr o b o t s ) ) ( 1 9 9 2 年) 中提出来的。比赛通过提供一个标准的环境，来评价各种理论算法和智能机器人的体系结构，对研究者的成果进行检验。比赛的目标是经过五十年左右的努力，能出现一只机器人足球队能战胜人类足球冠军队。中型组足球赛是r o b o c u p 机器人足球世界杯赛的主要项目之一，自1 9 9 7 年第一届r o b o c u p l ：匕赛开始就是正式比赛项目，由于中型组机器人足球赛中要求机器人完全自主，所以最具有挑战性，也最能代表参赛队伍的机器人研究水平。根据r o b o c u p q b 型组的规则，两支各有多个机器人的球队在1 2 米长8 米宽的场地上进行比赛。图2 0 机器人足球比赛场地示意图规定每个机器人的尺寸小于5 0 ( 长) 5 0 ( 宽) 8 0 ( 高) 厘米，所有的机器人必须是全自主的，即视觉和决策以及运动控制等均由机器人本身处理。机器人之间允许使用无线通讯来传递信息和协调各自的运动。场上的标记均为彩色标记：足球为橘红色，球门为黄色或者蓝色，机器人带有紫色粉色等色标以区分双方队员。1 0第二章自主足球机器人系统介绍图2 0 中型组机器人在比赛中当然，随着比赛水平的日益提高，规则也在不断的变化，如从有场地隔离墙到取消隔离墙而使用分界线，从手动起停机器人到必须使用裁判盒实现机器人的自动起停等，要求越来越高，比赛难度越来越大，当然机器人的智能化程度越来越高。根据计划吲，2 0 0 8 年的r o b o c u p 将取消球门的颜色而使用白色球网，取消角柱而使用人类比赛一样的角旗，在开球后不再允许手动改变机器人的位置；在2 0 0 8 2 0 1 0 年实现7 人制的室内足球机器人比赛；在2 0 0 9 年球队标志和队员颜色可以由各队任意选择；2 0 1 0 年不再使用红色足球，任何一款f i f a 允许使用的人类比赛用球都可以在机器人足球比赛中使用；2 0 0 9 年后裁判使用哨音判罚比赛等。这些改变无疑对机器人的智能提出了更高的要求。2 2 基于“达芬奇”的移动机器人设计2 2 1 机器人外形设计及功能简介机器人大小按照5 0 ( 长) x s 0 ( 宽) 8 0 ( 高) 的标准设计，如图2 1 所示：图2 1 机器人外形照片河海大学工学硕士论文基于。d a v m c i ”的自主机器人全景视觉的移动目标检测研究机器人为三层结构，分为动力底盘、主控系统层、传感及运动控制层三层结构，模块间用四根定位支撑柱连接固定。但外观上分为两层，底盘和控制层被外壳包容在一起。整机三点支撑，前面两个驱动轮，后面有一个万向轮进行平衡。底盘为动力系统，装有电机、驱动器和电池、并可以安装踢球装置，高度1 5 0 r a m 。底箱内后部用于放置锂电池。两个主动轮安装在底箱前部，差速驱动，轮子采用聚胺脂轮免充气轮胎，主动轮直径中1 9 4 m m ，两轮间距4 0 1 r a m ，轮轴中心线距整机最前端1 9 0 m m ，距盘球前端面1 1 8 5 m m 。一个从动轮安装在箱底后部中间，为自制不锈钢万向脚轮，耐磨尼龙轮体，轮径由5 0 m m ，从动轮轴线距主动轮轴线最大距离2 8 2 5 m m 。安装轮子后，底盘离地高度5 4 m m 。中间层为主控系统，高1 3 6 m m 。机体的底盘和主控系统层前后左右为可拆卸的包络外壳，用螺钉固定。其中前板向内凹陷，设计时其尺寸参考 r o b o c u p 中型组比赛规则，在规则允许的前提下最大限度地具备好的盘球功能。主控系统的主板水平放置，硬盘架空放在主板后方。机箱两侧面开孔，开关、按钮及接插口等引出到机箱侧面操作面板。机箱前后板斜面上开散热孔、扬声孔，机箱整体靠四个强力风扇通风和铝壳体传导散热。上层传感及运动控制系统，形状为上下左右对称的1 2 边形。顶箱各侧面圆周开1 4 个圆孔和方孔，方孔与圆孔中心上下共线。在前面正中圆孔和左右相邻各两个圆孔共安装5 个超声传感器，5 个红外传感器，后面正中圆孔和下方方孔各安装一个超声传感器和一个红外传感器。顶箱面板上安装摄像头、无线网卡等，面板上预留m 3 、m 4 、m 5 的螺纹孔，可扩展安装全景、液晶显示器等配置。机器人主体结构为各层底板及外壳，材料使用4 m m 厚铝合金板a 5 0 5 2 h 3 2 。机器人轮毂、轮盘、支撑柱等一些承力部件采用高强度硬铝合金l y 1 2 。底盘受力较大，采用不锈铜s u s 3 0 4 。机械连接用的连接定位螺栓、连接柱及螺钉、螺母、垫圈等全采用不锈钢材料。箱体用铝合金板加工，工艺方法采用数控线切割裁剪、割孔，数控折弯钣金加工和焊接成型。承力结构零件采用数控机床加工成型。表面处理采用先喷砂处理，然后阳极氧化的工艺。机器人设计具有以下功能：采用轮式行走机构，控制性能好，速度快，最大速度为2 5 m s 。目前使用的行走机构为双轮驱动模式，机器人的转向控制等通过双轮之间的速度差来实现，这种模式的优点是实现较为简单，控制性能良好，缺点是转向不灵活；为了改进机器人的转向性能，可以使用全方位移动机构田j 。全方位移动机构在调整姿态时，回转半径为零，可以实现平面上任意轨迹的连续运动，这在许多场合比普通的移动机构有明显的优越性，缺点是实现较为复杂。视觉系统采用全景摄像头，可以实现目标的识别、跟踪和定位。视觉传感器是机器人的主要传感装置，由上文所述，本机器人选取了双曲面反射式全景摄1 2第二章自主足球机器人系统介绍像头。为了辅助机器人盘球，正面还安装有小型摄像头。装有红外传感器和超声波传感器，可以使用非视觉实现避障功能。利用超声进行避障和导航也是机器人研究中的一个热门方向【2 4 】【2 5 】，事实上与其他各种探测手段相比，超声波传感器系统具有成本低，安装方便，不易受电磁、光线、被测对象颜色、烟雾等影响，时间信息直观等特点，对于被测物处于黑暗、有灰尘、烟雾、电磁干扰、有毒等恶劣环境下有一定的适应能力；其缺点是场景中超声可能产生多次回波干扰，其它机器人发射的超声波也会对其产生干扰，此外，超声检测存在盲区，对近距离检测误差大，因此辅助以红外传感器。具有无线网络功能，可以实现机器人之间的信息交换，也可以通过计算机对机器人发送指令、读取传感器信息、实时显示图像信息。设计有简单的语音控制系统，通过语音识别来接受指令并执行相应的动作。具有盘球、射门装置，可以完成带球和射门动作。可以通过鼠标键盘和显示器进行输入和输出；留有可扩展的u s b 接口；具有l c d 触摸屏交互功能，这样便于信息的交互和确认。每个部分都按照模块化和可扩展性的设计思想进行设计。2 2 2 控制系统硬件设计移动机器人的硬件主要由微处理器板和驱动控制器组成，这样可以方便系统的扩展。具体而言，硬件部分主要包括c p u 、l c d 显示器、主板、键盘、鼠标等。其中，主板负责机器人运动的实时处理计算，包括视觉系统处理、运动规划、决策等，是整个机器人的控制核心。它主要负责从传感器系统获取环境信息，然后进行决策并将控制信息发送给电机控制系统同时还要与其它机器人进行通信以及和人进行交互等。笔者实验室设计了两种机器人，这两种机器人最大的不同就是控制系统的硬件部分。与上海某公司合作设计的机器人采用的是i n t e r 公司的“奔腾”系列芯片( p 42 8 g ) 和工业主板的形式；另一种则是使用的t i 公司的最新产品“达芬奇”。d a v m c i ( 达芬奇) 芯片是一款专门针对视频处理的a r m + d s p 双核芯片，a r m 是主控芯片，d s p 是从属芯片。d a v i n c i 很好的利用了a r m 在植入操作系统方面的优势和d s p 在数字运算方面的优势，因此d a v i n c i 一经推出就受到了业内人士的广泛关注。目前，使用达芬奇的产品主要集中在视频编码传输领域，用于电视会议、机顶盒等产品，尚没有使用在机器人上的先例。我们希望机器人能嵌入一个实时性较好的操作系统，能支持一个友好的交互界面，而又能快速地完成大量的图像处理运算，因此我们考虑选择达芬奇作为微河海大学工学硕士论文基于。d a v m c i ”的自主机器人全景视觉的移动目标检测研究处理器。系统硬件框架图如图2 2 所示。图2 2 系统硬件框架图d m 6 4 4 6 3 两款多媒体信号处理芯片是达芬奇技术的代表产品，如图2 3 所示。d m 6 4 4 6 3 均采用a r m + d s p 双核结构。其中a r a 4 子系统采用主频为3 0 0 m h z 的a r m 9 2 6 e 核，d s p 子系统则采用主频为6 0 0 m h z 的c 6 4 x + 珊d s p核。外围存储均支持2 5 6m h zd d r 2r a m 和各类存储卡，另外都使用了v p s s子系统丰富的视频前后处理功能，且都配备了完善的外设接口。两款芯片的不同之处在于d m 6 4 4 6 涵盖了达芬奇技术中所有的硬件结构，能适应编解码等场合的应用，d m 6 4 4 3 则省去了视频协处理器和视频处理子系统中的前端系统用于对终端解码设计1 2 “。两款芯片的d s p 都有超强的视频处理能力，配合a r m 子系统和l i n u x 操作系统，可以非常好的进行视觉系统的设计。1 4第二章自主足球机器人系统介绍a 圈r m | l 叵d s p于系统l子系统_ 协处理晷制墨视频接口后端屏幂粟单式调节图像缩赦工具柱状围“视频编r 一码嚣ld c费霖交互中心( $ c r ，外设商u s b 幂钉稠阿前钿宽带无线f i 定时i 看门狗：脉宽ll 董! l 垄里塑堡【l 墨】塞壁墨】塑型串行接ol 普卜旧i 吣t蚓零f图2 3 删6 4 4 6 3 处理器模块