[硕士论文精品]基于立体视觉的移动机器人路径规划与避障技术的研究

上海大学硕上学位论文摘要随着各学科技术的发展，移动机器人得到国内外广泛的关注。移动机器人的应用潜力巨大，其应用领域包括自动驾驶、未知领域的探索、工农业自动化生产、高危环境无人工作等，移动机器人控制技术的发展将对人类生产、生活产生深远影响。移动机器人是一个集环境信息采集、图像处理与物件识别、动态决策与规划、运动控制等多项功能于一体的智能系统。移动机器人通过本身传感器对外界环境信息的感知、接受和处理，制定出行走路线，并在行进过程中完成躲避障碍物等行为，最终完成指定任务。本文针对机器人路径规划与避障技术中的几个关键问题，如双目视觉测距、物件识别、路径规划以及避障策略等，进行了深入的研究和讨论。本文的主要工作集中在1提出路径规划和避障系统的系统框架，整个系统主要包括双路视频采集模块、视觉测距模块、路面分析和物件提取区分模块、路线规划和避障模块等部分。2环境采集子系统，利用双目视觉传感器和红外传感器相结合进行环境信息的采集和分析。通过架构DIRECTSHOW到OPENCV的桥梁，结合两者进行视频数据的处理；系统采用张氏平面标定法实现摄像机参数的标定，采用变焦测距技术实现测距。实验证明所提出的方法能有效提高系统效率，扩展系统测距的距离。3图像处理和物件提取子系统，利用多种经典的图像处理算法，对采集到的图像进行了路面及背景区域分离和障碍物及目标物的识别。采用改进的模板匹配算法实现双目视觉下的匹配，改进方法能有效提高系统的效率；根据障碍物和目标物的几何外形不同，系统采用图像的统计特征矩HU矩，实现对障碍物和目标物的区分。4路径规划和避障子系统是整个系统的决策环节，利用双目视觉信息采集子系统测得的物件深度信息还原物件的位置和大小信息，以移动机器人为原点构建动态的地图；根据得到的地图，采用人工势场法进行路径规划，并通过修VI上海大学硕士学位论文改斥力场函数，消除人工势场法存在局部最小值的现象；采用模糊控制原理，设计模糊控制器，制定避障策略，并提出了几种同步控制系统各个模块的方法。文章给出了立体视觉移动机器人路径规划和避障系统实验的结果和分析，得出该系统的设计和实现可以较好地完成课题所给出的要求，实现所需求的功能，完成移动机器人路径规划并成功避障。最后，总结了全文的研究内容，指出了该系统有待进一步解决的问题。关键词视觉测距，路径规划，人工势场，机器人避障，模糊控制VLI上海大学硕士学位论文ABSTRACTWITHTHEDEVELOPMENTOFVARIOUSTECHNOLOGIES，MOBILEROBOTSHAVEBEENPAIDCLOSEATTENTIONTOTHISISDUETOTHEGREATAPPLICATIONPOTENTIALOFMOBILEROBOTPOSSIBLEAPPLICATIONSINCLUDEAUTOMATICFREEWAYDRIVING,EXPLORATIONOFUNKNOWNREGIONS，AUTOMATICPRODUCTIONOFINDUSTRYANDAGRICULTURE，WORKINGUNDERHIGHRISKENVIRONMENTTHEDEVELOPMENTOFITWILLIMMENSELYINFLUENCEHUMANPRODUCTIONANDIIFEMOBILEROBOTISANINTELLIGENTSYSTEM，WHICHCOMBINESTHETECHNOLOGIESOFENVIRONMENTINFORMATIONCOLLECTION，IMAGEPROCESSINGANDOBJECTSRECOGNITION，DYNAMICDECISIONMAKING，PATHPLANNING，ANDMOTIONCONTR01MOBILEROBOTPERCEPTSTHEENVIRONMENTWITHTHEHELPOFSENSORS，DESIGNSTHEROUTESANDACCOMPLISHOBSTACLEAVOIDANCEDURINGTHETRAVELTHEPAPERRESEARCHESANDDISCUSSESSEVERALKEYISSUESOFTHEMOBILEROBOTPATHPLANNINGANDOBSTACLEAVOIDANCESYSTEMTHEKEYISSUESINCLUDETHATBINOCULARVISION，OBJECTRECOGNITION，PATHPLANNINGANDOBSTACLEAVOIDANCESTRATEGIESINTHISPAPER,OURMAINWORKSAREDESCRIBEDASFOLLOW1OURSYSTEMBUILDSAMOBILEROBOTSYSTEMOFAUTOMATICOBSTACLEAVOIDANCE，WHICHCANBEDIVIDEDINTOFIVEMODULES，VIDEOCAPTUREMODULE，BINOCULARDISTANCEMEASUREMENTMODULE，SCENEANALYZEMODULEANDOBJECTSRECOGNITIONMODULE，MAPCONSTRUCTINGANDPATHPLANNINGMODULE，PLCCONTROLMODULE2THESYSTEMACHIEVESENVIRONMENTINFORMATIONBYBINOCULARVISIONCOMBINEDWITHINFRAREDSENSORSTHESYSTEMCONSTRUESABRIDGEBETWEENDIRECTSHOWANDOPENCVWESTANDARDIZETHECAMERAPARAMETERSBYMEANSOFZHANG,ANDPROPOSEADISTANCEMEASURINGMETHODBYZOOMINGITPROVESTLLATTHEZOOMINGMETHODCANIMPROVESYSTEMEFFECTIVELYANDEXPANDTHERANGEOFMEASURINGBYEXPERIMENTS3THEIMAGEPROCESSINGANDOBJECTSEXTRACTINGSUBSYSTEMSEPARATETHESURFACE，BACKGROUNDANDOBJECTSOFIMAGESBYSEVERALCLASSICIMAGEPROCESSINGALGORITHMSANIMPROVEDTEMPLATEMATCHALGORITHMISPRESENTED，WHICHMAKETHEMATCHINGPROCESSMOREEFFICIENTWERECOGNIZETHEOBSTACLESANDTHETARGETBYIMAGESTATISTICALCHARACTERISTICSHUCHARACTERISTICS4THEPATHPLANNINGANDOBSTACLEAVOIDANCESUBSYSTEMISTHECONTROLLEROFTHESYSTEMINTHEHELPOFTHEOBJECTSDEPTHINFORMATIONWHICHPROVIDEDBYBINOCULARVISIONSUBSYSTEM，WEBUILDAMAPWITHTHEMOBILEROBOTASTHEORI垂NACCORDINGTOTHEMAP，WEADOPTTHEMEANSOFARTIFICIALPOTENTIALFIELDTOPLANTHEPATHINORDERTOELIMINATETHEDISADVANTAGESOFTHETRADITIONALMETHOD，WEMODIFYTHEPOTENTIALFIELDFUNCTIONWEDESIGNAFUZZYCONTROLLER,ANDFORMULATEASEQUENCEOFOBSTACLEAVOIDANCERULESBASEDONFUZZYLOGICWEPROPOSESEVERALSTRATEGIESOFSYNCHROVIII上海大学硕士学位论文CONTR01WEPRESENTTHEEXPERIMENTSANDANALYSISOFMOBILEROBOTPATHPLANNINGANDOBSTACLEAVOIDANCESYSTEMTHEEXPERIMENTRESULTSPROVETHATTHEDESIGNANDIMPLEMENTATIONOFTHESYSTEMCOMPLETESTHEDEMANDOFTHEPROJECTTHESYSTEMCAILSUCCEEDINPATHPLANNINGANDOBSTACLEAVOIDANCEFINALLY,THEWORKOFTHISPAPERISSUMMARIZEDANDTHEFURTHERRESEARCHISDISCUSSEDKEYWORDSBINOCULARDEPTHMEASUREMENT，PATHPLANNING,ARTIFICIALPOTENTIALFIELD，ROBOTOBSTACLEAVOIDANCE，FUZZYLOGICIX原创性声明本人声明所呈交的论文是本人在导师指导下进行的研究工作。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。签名毳萄日期雩立仝本论文使用授权说明本人完全了解上海大学有关保留、使用学位论文的规定，即学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容。保密的论文在解密后应遵守此规定签名彳沮导师签名乡2趔日期嫂夕III土瀣友堂亟堂僮途塞第一章绪论11课题研究背景与来源移动机器人通过传感器感知外界环境和自身状态，实现在有障碍物的环境中，向目标自主运动，完成一定作业功能的机器人系统。随着各学科技术的发展，移动机器人成为国内外研究的热点，在军事、民用和科学研究各个方面应用广泛，包括航天【、海洋【21、军事、农林【31、生活服纠41等。移动机器人是一个集环境信息采集、图像处理与物件识别、动态决策与规划、运动控制等多项功能于一体的智能系统。它牵涉到运动学、信息论、图像学、人工智能等多个学科，集中体现了计算机技术和人工智能的最新成梨51。移动机器人最早的研究在1966年至1972年，目的是为了在复杂环境下机器人系统的自主推理规划和控制。如何在简单或复杂、部分已知或不可预测的环境中自主移动到达目标点，并躲避障碍物是移动机器人最基本的功能之一。而这其中又牵涉到机器视觉、视觉测距、立体匹配、地图构建、路径规划、目标跟踪、控制策略和机器控制等。本课题来自国家教委“基于网络的远程机器人监控技术和上海市科委“基于INTERNET的智能控制技术的研究”科研项目。基于双目视觉的移动机器人避障与自动追踪技术的研究，也是该科研项目的一个延伸性分支。12国内外研究现状121国外研究现状国外移动机器人的研究开始于20世纪60年代，美国在1962年研制出世界上第一台工业机器人。20世纪80年代，美国国防高级研究计划局DARPA专门立项，制定了地面无人作战的战略计划。从此，室外移动机器人的研究在全世界展开欧洲尤里卡的机器人计划；日本通产省组织的极限环境下作业的机器人计划；DARPA土握鑫芏塑土星垃建童的“战略汁算机”计划中的自主地面车辆ALV计划等。美国卡内基梅隆大学机器人研究所在八十年代研制出NAVLABJ机器人，它具有完成图像处理、图像理解、传感器信息融合、路径规划和本体控制等功能。20世纪90年代，随着科技的发展进步，移动机器人朝着高适应性、高水平环境信息处理等方向发展。图1L是美国M1T人工智能宴验室开发人形机器人COG【6，该机器人使用一整套传感系统来模拟人的感官美国NASA资助研制的“丹蒂II”八足行走机器人能实现对远程机器人行走探险。1997年美国NASA研制的火星探测机器人“索杰娜”登上火星，2004年美国又相继发射“勇气号1和“机遇号”火星车。围】1机器人COG和研究人员刚12本田积足行走机器人图13目立清洁机器人二战后的日本，为了解决劳动力紧张的情况，引进机器人及其技术并于1968年研制出第一台“尤尼曼特”机器人。到了80年代中期，日本的机器A产量和安装台数在国际上跃居首位。图L2为闩奉本田公司于2000年宣布推出的世界上第一台会跑步的双脚步行机器人ASIMO”，它跑步时速可达3公里，步行时速可达25公里。它在行进时可以实现躲避障碍物。2003年，日本日立制作所和日立HL发布了清洁机器人如图13所示，它的直径为25CM为业界最小，在打扫房间时不留死角。1999年，日本SONY公司推出宠物机器人AIBO，之后又于2000年11月推出拟人机器人SDR3X，接着2003年该公司在机器人展上展出新开发的双足行走机器人SDR04X和SDR4XIISL。SDR一4X系列机器人采用了传感器系统和记忆学习能力的行动控制软件系统，实现高运动性能和丰富交互能力的取足行走娱乐机器人。2004年机器人展会上，SONY公司展示了最新开发的QRIO机器人口L，除了能正常行走还能跳舞、打太极拳在狭窄道路上自行行走并绕开障碍物，如图14所示。瀣厶堂亟士竺I立建童童。；厶_嘲I4ASDR4X行走中幽14BSDR4XII避开障礴物酬14CORIO投掷棒球图I4SONY公司双足行走机器人世界上还有许多国家进行着移动机器人的研究。意大利的PANN大学研制的ARGO自主车，可在结构化和非结构化的道路上行驶。德国有商业轮椅的基础上研制了一种轮椅机器人，进行过多次的苴；地现场表演，存公共场所拥挤的、宵大越乘客的环境中，经受超过36个小时的考验。122国内研究现状我围对移动机器人的研究虽然起步相对比较晚，但经过I几年的发展也取得了很大的进展。国内移动机器人的研究主要经历以下三个阶段算法研究和仿真，困外机器人平台的引进和自主开发。在陆地移动机器人的研究中，“八五”期问由浙江大学、南京理工大学等六所大学联台研制的ALVLABI型陆地移动机器人实现野外道路的自丰行驶、道路跟踪、避障、岔路拐弯等功能。“九五”期间研制的第二代地面自主车ALVLABII，支持临场感遥控驾驶及战场侦察等功能。日前我国正在组织研究第三代陆地自丰车。THMRV是清华大学智能技术与系统国家重点实验室研制的新一代智能移动机器人，兼有面向高速公路和一般公路的功能，如图L5所示。2003年中科院自动化所研制研发了智能移动机器人CASIAI【L”如图L6所示。该移动机器人是集多种传感器、视觉、语音识别与会话功能于一体的智能移动机器人。它无需人的干预，能自主完成运动导航、躲避障碍物等功能，同时，它可以接受人们实施的各种方式的控制，包括可通过键盘和鼠标发送控制命令、执行人发给它的语音命令、通过互联网络对其进行遥控等。上篷态堂殛堂位诠塞动追踪、自动驾驶、自动避障功能之外，在研究过程中，通过对机器视觉、机器人控制、信息表达、人工智能等领域的研究，可以进一步扩充这些领域中的理论基础，对于生产、科研、勘探领域都具有重要的学术价值、社会意义和经济价值。14论文的结构和主要工作基于机器视觉的移动机器人路径规划和避障技术是一门涵盖多个学科以及工程领域的综合性课题。本文参考了大量的国内外文献、技术资料，提出了移动机器人系统的设计思想和框架结构，并且在具体的实现过程中，就一系列理论难点和工程问题展开了研究与开发。本文各章的研究内容如下第一章综述了目前国内外移动机器人的研究现状，指出了移动机器人系统的研究目的和现实意义。第二章提出了移动机器人路径规划和避障系统的总体结构框架，并描述了各个子系统的实现方案，分别是双目视觉采集子系统，图像处理及障碍物和目标物的提取子系统，路径规划和避障子系统以及机器控制子系统。第三章介绍了本系统所设计的双目视觉信息采集框架，叙述了双目视觉原理及摄像机参数的标定，分析了系统采用的双目自适应测距技术原理和实验结果，提出了加权平均融合的算法用于视觉和红外两种传感器的信息融合。第四章阐述了本系统利用经典的图像处理算法实现视频信息的背景、路面和物件的分离；采用模板匹配算法实现图像的立体匹配，提取出障碍物和目标物；根据物件的几何形状的不同，使用区域矩区分算法来区分目标物和障碍物。第五章介绍了路径规划方法的分类，分析了几个当前常用的路径规划算法；详细分析了系统采用的人工势场法并对其存在的局限性进行了补偿；根据模糊控制原理，制定系统的避障策略；分析了系统为实现同步而制定的同步控制策略。第六章从实验的角度对移动机器人系统进行了实验，证明其可行性和稳定性，对全文所作的工作进行了全面的总结，并在此基础上，对今后进一步的工作进行展望。土漫友堂亟堂焦佥塞15本章小结本章对课题来源、研究背景、国内外研究现状等作了较为细致的说明，进而说明本文研究的学术价值和社会、经济意义所在，最后概述了本文的主要工作和后续文章内容纲要。第二章移动机器人路径规划与避障系统的框架和设计方案移动机器人系统主要包括运动控制、传感系统、控制系统等部分。为了实现移动机器人成功的进行路径的规划并躲避障碍物，本系统融合了视觉测距、图像处理、路径规划、自动控制等技术。移动机器人能够实时采集周围环境的图像信息，确定周围障碍物的位置和深度信息，并且根据预先设定的特征识别出跟踪目标，参照障碍物地图实施动态路径规划，实现追踪过程中的自动避障功能。根据这一项目目标，本文设计了一个移动机器人路径规划与避障的系统框架，下面我们将说明这一框架的具体构成与原理，并将讨论系统的框架和实施的总体方案。21移动机器人路径规划与避障系统框架移动机器人系统按照系统功能主要可以分为双路视频采集模块、视觉测距模块、路面分析和物件提取区分模块、路径规划和避障模块等这5个主要功能模块。如图21所示，视频采集模块完成环境信息采集、无线传输、采样、帧同步等功能，并将视频图像进行格式转换，增强系统的性能，同时将双目视觉采集到的信息和红外传感器采集到的数据进行数据融合；视觉测距模块是利用视差原理，采用变焦测距方法计算出景深信息；图像处理和物件提取模块主要完成图像预处理、背景、路面和物件的分离、双目视觉匹配、目标物和障碍物识别区分等功能；路线规划和避障模块是根据相似三角形原理，标定物件的位置，构建出二维地图，根据该二维地图采用人工势场法进行路径的动态规划，接着利用模糊控制原理，制定隶属度函数和避障规则，实施障碍物躲避。最后将规划好的角度、速度等参数向PLC模块发送决策信号，控制移动机器人的行进。图像预处理图像分割图像处理与物件提取模块型刮凳昆韶H黜地面IIL帧同步L二IXVID解码I舀视频IL视频采集卡OIL采集卡I王工无线信号LL无线信揍收器|L接收器己线信号LF无线信号发射器F|发射嚣透控II壤像IL摄像揍收器II头OIL买1。移动机器人荜蒺塑套L蕊壬菱擗诲H一福蓬豳路径规划II苎勰H黼控制器IL策略决策信号I餐径规划和避障模块图21移动机器人自动追踪与避障系统的框架图机器控制模块由L台OMRONSYSMACCPM2A可编程控制器和1台遥控发射器组成，它将移动机器人行进的信号进行转换并实现PC机和机器人间的信息交流。机器人模块是运动的主体，置于其身上的双目摄像机进行环境信息的采集，并通过无线信号发射器向PC机发送视频信号。PC机接受到信息进行一系列的处理，最终得到规划好的路径。将该结果发送运动控制信号给机器控制模块，机器控制模块接收来自主机模块的串口信号，循环监听不同寄存器内的数值，判断出控制信号，进而触发对应的输出端，发射相应的控制信号，控制运动机器人的正确动作。若本系统按照层次结构分，可以划分为三层，分别是运动控制层，行为控制层和行为规划层，如图22所示。视频采集模决图22基于双目立体视觉的移动机器人避障系统结构图在运动控制层，通过安置在机器人身上的双目摄像头和安置在四个轮子外侧的红外传感器探测环境信息，将信息通过无线信号收发器传送给行为控制层，进行数据的融合，环境信息的分析。行为控制层将得到的包括路面信息，障碍物和目标物深度信息，尺寸、形状等参数递交给行为规划层的路径规划模块，生成一条从初始点到目标点的路径，再根据避障策略进行障碍物的躲避行为。在行进过程中，通过行为控制层将对应的坐标值、速度大小和转动角度等参数指导运动控制层的行为。22系统的设计方案移动机器人路径规划与避障系统的主要目标是完成移动机器人从摄像机采集图像，利用双目测距技术确定物件的深度信息，通过图像分析分离出背景、路面、障碍物以及目标物，利用得到的深度信息构建出以移动机器人为原点的二维地图，根据该地图规划行进路线，实现自动避障等任务。系统的总体实现方案如下。固竭221双目视觉信息采集本文所用的视频采集系统由两个可分频无线摄像机、两个可分频无线信号接收器和两个10MOONS视频采集卡组成。两路无线信号分别使用2414GHZ以及2468GHZ的传输频率分别进行发射和接收，确保两路信号不会相互干扰影响视频质量。双目视觉要解决多通道数据的同步、摄像机标定等关键问题。系统设计时将两个摄像机以相隔适当的距离固定在移动机器人平台支架上，同时进行双目视频数据的采集，同时为了避免内存竞争，在内存中开辟两块缓存来存放视频数据。系统通过设置时间戳来实现数据采集的同步。摄像机标定的目的是确定摄像机的图像坐标系与世界坐标系之间的对应关系。在实现摄像机的精确标定后，才能够根据二维坐标推导出物件在三维空间中的位置。该坐标映射是由摄像机成像几何模型所决定的，包括摄像机内部参数和外部参数。为了获取这些参数，要预先知道物体上数个特征点在摄像机平面的二维坐标以及它们在三维坐标系中的坐标值，从而算出摄像机的参数。本系统采用张正友平面标定法对双目摄像机进行标定。在实验中我们发现传统的双目摄像机测距方法测量范围和测量精度上存在局限性，经分析得知这是由于摄像机焦距固定、相对位置固定、摄像机畸变、分辨率不足等原因造成的。根据灵敏度我们制定了一个变焦测距方法，使得系统拥有更好的延展性。为了提高系统测距的精度，在设计上我们又在四个车轮外侧加上了红外传感器，并将视觉和红外两者的信息予以融合。系统采用加权平均的融合算法，在不同的距离条件下，利用不同传感器的数据进行距离的测定，用于指导系统路径规划的决策。222图像处理与物件提取图像处理与物件提取是将得到的两路视频图像利用多种图像处理算法进行处理，实现背景、路面和物件三者的分离。其中使用到平滑降噪、均匀性图处理、图像灰度化、二值化、膨胀、腐蚀、种子填充算法、反向种子填充降噪等算法，最终得到背景、路面和物件。通过模板匹配算法实现两路图像的物件的匹配。10土瀣太堂亟堂位佥塞系统经过图像处理模块和双目测距模块的处理后，得到了路面中各个障碍物以及目标物体的位置信息。根据相似三角形原理通过平面几何计算，系统以移动机器人当前位置为原点，建立动态的二维障碍物地图。地图中包括障碍物和目标物的位置和形状等信息，并根据实时的视频采集、测距和图像处理等模块的处理，不断更新物件信息，即地图中各个物件的坐标。在目标物和障碍物的区分上，系统引入了不变矩概念。目标图像的统计特征矩HU矩给出了图像具有旋转，尺度和平移等7个不变性的统计特征表达式。利用目标物和障碍物几何形状的不同，在比较了区域矩和边界矩的实验结果后，选择区域矩来实现物件的区分算法，以区别目标物和障碍物。这一模块对系统的路径规划和避障提供准确的信息。223路径规划和避障路径规划模块是利用二维地图采用人工势场法来实现的。人工势场法是构造一个虚拟力场，在其中移动机器人同时受到目标物的引力和障碍物的斥力，在两者共同作用下向目标物前进。但由于该方法存在引力与斥力相等的位置，会产生局部最小值问题，导致路径规划的失败。对此系统对斥力函数进行改造以克服该缺陷，实现系统路径规划的准确性。系统在进行路径规划的基础上，基于模糊控制算法，利用角度作为判断因子，制定了可行的避障策略，文章对相关的理论和实现方法进行了详细的讨论。由于系统涉及的模块较多，文章提出几种策略用于实现模块的同步控制，实现系统的可靠性和实时性。此外，为了提高系统避障的精度，对移动机器人运动控制子系统进行步长和转动角度的标定。224机器控制系统的机器控制模块采用可编程控制器，简称PLCPROGRAMMABLELOGICCONTROLLER来实现。可编程控制器采用可以编制程序的存储器，可实现在其内部存储执行计数、计时、算术运算、逻辑运算和顺序运算等操作的指令，并能通过数字量或模拟量的输入、输出，控制各种类型的机械或生产过程。PLC及其有关的外围设备易于与所设计的控制系统形成一个整体，便于扩展。系统采土渔盔堂亟堂僮途塞用OMRONSYSMACCPM2A可编程控制器以及1台遥控信号发射器作为运动控制模块。PLC控制器中运行一个循环的监听程序，监控PLC的低位寄存器。当指定寄存器中的值符合触发条件，则将相应输出端连通，接通遥控信号发射器，将相应的控制信号发送给移动机器人，实现行进。如图23所示，PLC输出端OH01100“OH01103分别与遥控信号发射器的前、后、左、右信号输出端相连接。PLC地线COM端子与遥控信号发射器接地线端连接。通过发送RS232串口信号，PC机程序控制PLC的输出，从而达到控制移动机器人运动的目的。23本章小结图23PLC控制模块示意图本章介绍了移动机器人路径规划与避障系统的框架结构，包括环境信息采集子系统、图像处理和物件提取子系统、路径规划和避障策略子系统以及运动控制子系统。通过系统硬件架构说明了移动机器人的组成，通过软件划分说明了系统的设计原理和实现流程，并详细讨论了系统实现的具体方案。第三章双目视觉信息采集子系统现实世界是立体三维世界，摄像机获得的信息是二维的，通过两个摄像机拍摄同一个物体，根据成像位置的差值可以还原图像的深度信息，因此系统采用双目视觉进行环境信息的采集。系统的摄像头位于移动机器人的身上并非正前方，与地面有高度差，存在一定范围的视觉盲区，为此系统在车轮外侧安装红外传感器，在视觉传感器失效的情况下，进行环境信息的采集。系统基于MICROSOFT的DIRECTSHOW实现了对现场视频的实时捕获，基于INTEL的OPENCVOPENSOURCECOMPUTERVISIONLIBRARY开源机器视觉函数库实现图像处理。系统构建了一个从DIRECTSHOW到OPENCV的双目视觉采集框架，结合两者之长进行视频信息的处理。三维的物点与二维像点的对应关系是由视觉传感器成像几何模型决定的，这一确定过程就是摄像机标定，这将在本章的第二节进行详细的介绍。通常，双目视觉采用聚焦方式获取物件距离信息，通过实验分析，为了实现系统的测量范围具有更好的延展性，本章第三节将介绍系统所采用的变焦测距技术，并给出相关的实验结果。31双目视觉采集框架本系统采用DIRECTSHOW搭建视频采集框架，使用OPENCV进行图像处理。系统采用自定义的采样滤镜MYVIDEOGRABBER将DIRECTSHOW采样得到的位图图像转换成OPENCV中图像存储格式IPLLMAGE，搭建从DIRECTSHOW转换到OPENCV的桥梁，将两者整合在机器人路径规划和避障系统当中。311基于DIRECTSHOW的视频采集131DIRECTSHOW是一个WINDOWS平台上的流媒体框架。它是建立在组建对象模型COM基础上的，由许多模块化的组件组成。DIRECTSHOW将应用程序、复杂的数据传输、硬件设备的差异以及同步等问题隔离开，多媒体软件开发者只需要按照统一的COM接口来编写应用程序，从而简化了在WINDOWS平台上数字媒体应用程序的开发任务。滤镜FILTER是一个COM组件，由一个或多个PIN组成。它是DIRECTSHOW工作的基本单元，也是模块化工程中的一个部件。使用DIRECTSHOW做视频采集的一般流程是采集源、处理滤镜、渲染滤镜。使用DIRECTSHOW做视频采集的优点在于流程清晰、开发容易，工程人员可以将更多的精力放在软件的功能和性能改进之上，而将框架结构、数据保护、同步等细节问题交给DIRECTSHOW去处理。与此同时我们在使用DIRECTSHOW时，还能根据需要不断地扩充自定义组件，提高了代码的可重用性和易维护性，符合当今软件开发的工业标准。312OPENCV特点OPENCV是INTEL资助的开源计算机视觉库。它由一系列C函数和少量C类构成，实现了图像处理和计算机视觉方面的很多通用算法。OPENCV拥有包括300多个CC函数的跨平台的中、高层API。它不依赖与其它的外部库，尽管也可以使用某些外部库。OPENCV对非商业和商业应用都是免费的。OPENCV中定义了包括图像分析、结构分析、运动分析、模式识别【14】等绝大多数现有的图像处理算法实现。在OPENCV中图像在内存中的格式被封装成IPLLMAGE的数据类型。使用NAMEWINDOW和SHOWLMAGE方法，可以方便的将图像处理的结果显示在客户端，这又大大降低了开发的时间成本。使用OPENCV作为图像处理的开发与研究是一种比较合理高效的方案。采用DIRECTSHOW获得图像采样PSAMPLE是内存中的一段连续的符合特定格式要求的空间。OPENCV中图像的基本格式是数据结构IPLLMAGE，因此我们构建两者的转换桥梁，将DIRECTSHOW中视频图像的采样转换到OPENCV可识别的IPLLMAGE格式，详细过程我们会在313节中叙述。313从DIRECTSHOW到OPENOV的转换如图31所示，双目视频采集框架是由10MOONSSDK2000视频采集卡的SOURCEFILTER作为起点，两个RENDERFILTER作为终点的一条视频流路径。VIDEORENDER0002则是视频预览的窗口，用来显示采集内容。视频流首先经过解压模块AVIDECOMPRESSOR之后得到32位RGB格式的视频流。经过SAMPLEGRABBER自定义的TRANSLNPLACEFILTER模块，进行视频采样、内存分配和格式转换等处理。COLORSPACECONVERTER模块则是为了平衡R啪D盯模块的输入PITL与SAMPLEGTABBER模块的输出PIN不匹配的问题。国墨幽3I双路视频采集框架示意图如312节所述，DIRECTSHOW中图像帧保存在内存中的一个连续空间，以PSAMPLE中的PDATA指针作为起始位置，而OPENCV中图像则是一个被封装的IPLIMAGE数据结构。构建DIRECTSHOW到OPENCV的桥梁具体的方法是将PDATA指针所指向的图像信息依据色彩空间的转换标准，依次将像素点的数据映射到IPLLMAGO数据结构上，设置对应的参数，包括图像高、宽、位长和媒体类型等。系统通过设置同步量，防止在多线程环境下，不同线程对变量同时操作时可能出现的数据冲突问题。以下是我们在转换媒体类型为RGB32位MEDIATYPFRGB32图像的转换代码。HI擅SULTCMYVIDEOGRABB扰DATATOLMAGE伊BYTEPDAMLPLLRNAGEIPLMGETPLLMSBIPSRCMAGELPLMAGE；，声明OPENCV图像指针FORINTI0；IN。将丁叠放在S上平移，模板覆盖下的搜索子图记为S力，F，_，为这块子图左上角像点在搜索图中的坐标。对搜索图S自上而下、自左而右进行遍历搜索，计算每一个子图的相似度值。最大相似度值的子图位置即为匹配位置。JL垂L，L叼V。L坛LR1图47模板匹配的过程子图B模板图丁搜索图和模板的相似度是通过度量函数来度量的，归一化相关函数作相似性测量定义为MN一一S。7垅，1一S，7】【RM，尼一丁】RI，百专坚1焉了46善善嗲O力一G2善善口沏刀2该方法的优点是抗噪声干扰能力强，且在灰度变化及几何畸变不大的情况上海大学硕士学位论文下精度很高，但该方法受局部光照变化的影响，且匹配速度较慢。下面将讨论如何提高模板匹配的速度。422快速匹配算法粕1分析公式46，亍为模板TNXN的均值，一SIJ为搜索图像SMM在当前窗口F，J下的均值。再设，双功一R；由于T可以一次性算出，则将分子部分改写为MNS所，以R一S“MN丁。又因为丁的和为0，分子剩下第一项。利用差分求和的方法将第一项和子图进行卷积运算，利用差分数组可以减少乘法运算。将模板中所有像素点进行排序，在排序数组的基础上进行差分，因为模板当中存在大量相同灰度值，这样差分后的数组会存在大量的0或L，对0或1的乘法运算可省略。这样就节省大量的运算时间，提高模板匹配的速度。对于公式46的分母如下进行处理。第二项只与模板R有关，仅算一次即可，大致需要2次运算。第一项在每一次移动窗口下都需要计算一次方差，总共大致需要3N2M一12次运算，运算量大，可以利用累积量进行简化。设置搜索图S的累计量如下AI，SI，AI一1，AI，一1一AI一1，J一147A2F，_，S20，么2F一1，A20，JIA2F一1，J148且当F，歹1，从式57得出，斥力函数在目标点是可微的，当机器人接近目标时总的蛰场力嚣终为零。初器人驶向目标。52避障策略在这一节中，我们将阐述移动机器人避障决策模块的具体实现。在分析系统所采用的模糊控制原理之后，将给出运动控制器的设计，并制定路径决策所映射的运动规则，从而指导机器人的运动。521模糊控制器的设计模糊控制是以模糊集理论、模糊语言变量和模糊逻辑推理为基础的一种智能控制方法，它从行为上模仿人的模糊推理和决策过程。模糊控制系统是一种自动控制系统，它是以模糊数学和模糊语言形式的知识表示和模糊逻辑推理为理论基础采用计算机控制技术构成的一种有闭环结构的数字控制系统【47】。模糊控制器的结构如图57所示。上海大学硕士学位论文图57模糊控制器结构示意图建立模糊控制器的规则库之前，设置控制器的输入和输入。系统将机器人视窗区域分为三部分正前方、左前方、右前方，如图58所示。左正前方区域图58移动机器人前方障碍区域划分域系统分别检测三个区域内的障碍物与机器人的距离，将最小值即最近距离作为输入D，DE,D，】O此外，将机器人与目标物的夹角秒作为第四个输入。为简单起见，系统机器人的速度设为恒定，那么，待控制量即输出值为机器人的转动角度国。设变量D，D，和D，的范围为10100CM，语言变量为NEAR近，FAR远；变量口和彩的范围为900“900，语言变量为LB左大，LS左小，Z零，RS右小，M3右大。变量D，巧和D，的隶属度函数采用梯形函数，如图59A所示。变量护和缈的隶属度函数如图59B所示。上海大学硕士学位论文LO80402OL0804020120。90。60030。0030060。90。120。图59ADT，珥和D，的隶属度函数图59B口和缈的隶属度函数522避障规则的制定模糊控制规则是一组多重条件语句，由模糊集合理论可知，这种因果关系可以表示为从输入变量到输出变量的两个模糊关系矩阵。当障碍物较近时，移动机器人根据障碍物的分布结合目标方位做出合理的决策，在保证避障的同时向目标前进。当障碍物较远时，目标方位起主要控制作用，移动机器人不断改变航向，对准目标前进。假设障碍在移动机器人的前方，目标方位有5种可能的分布，可以设计如表51的5条规则。表51避障规则RNDL巧D，0国R1FARNEARFARNBNBR2FARNEARFARNSNSR3FARNEARFARZNSR4FARNEARFARRSRSR5FARNEARFARRBRB同理，可以构造其他情形下的模糊规则。系统将障碍物划分为3个区域，所以障碍物的分布有8种情形。每种障碍物的分布情形下，目标相对移动机器人的方位有5种可能的分布，所以总共需要构造40条模糊规则。524系统避障行为的同步控制文章进行到这里，移动机器人路径规划和避障系统的各个模块已经分析完毕。在一个时间周期内，系统需要完成下面这些工作从双目摄像头采集数据；上海大学硕士学位论文两块视频采集卡同步数据并传输给内存；将视频数据从DIRECTSHOW框架下转换为OPENCV框架下；从红外传感器采集数据；将视觉和红外传感器数据进行融合；对两幅视频同步进行背景、地面和物件的提取；对两幅图片进行模板匹配；从匹配过的图片区分提取出障碍物和目标物；构造二维地图；路径规划；避障规则应用；运动策略传输给移动机器人；运动控制模块实施运动。由于不同的功能实现需要的响应时间不同，只有做到成功的同步控制，才能使系统成功运行，并具有较好的实时性。为此，系统从以下几个方面着手，进行系统同步控制。1、双目视觉数据的同步实现。两路视频数据分别进行采集，同时在内存中开辟两块缓存来存放视频数据，并且设置了互斥量进行保护，以防止数据在多线程运行环境下的变量冲突。实验表明这样可以有效避免内存冲突，从而保证两个摄像机采集数据的同步性。2、视觉和红外传感器的数据采集采用多线程策略，同步进行。在进入数据融合之前，分别设置缓存区，当检测到两个缓存区都存满数据则进行融合，否则在PC机监控端提示传感器接受通道受阻。3、区分物件与构建地图的同步。区分障碍物和目标物阶段，需要计算7个几何特征不变矩，若物件数量增多，这将很大程度上影响系统的运行进度。因此，在构造二维地图前，设置时间戳机制，利用标志位判断是否接受到新的深度信息，如果未取得深度信息则系统空转一个时间戳的长度以保证机器人成功行进。4、创建地图与机器人行进的同步。移动机器人在起始点时，根据传感器可以分析出与目标物同侧的路面与背景交界处的距离。尽管机器人在动态行进中，而机器人的转动角度在90。“90。间，交界处总会处在视线范围内。在行进过程中，将此交界线作为“路标“，而在系统实现时设置变量SIGN_LENGTH并定期以一定的规则递减，本系统中采用SIGN_LENGTHSIGN_LENGTH20。在路径规划完成后，行为规划层向运动控制层发送运动信号，机器人实施前进时，系统获取机器人与“路标“的距离，与系统中的SIGN_LENGTH内容做比较，若LSIGN_LENGTH，此时未得到新的运动信号，则机器人停止行进，直至获取新的运动信号。L_K_图510移动机器人路径规划干I避障买验截幽上海大学硕士学位论文54本章小结路径规划是移动机器人的重要研究内容之一，它的成功与否直接关系到移动机器人是否能完成所指定的任务。而地图的构造是进行路径规划的基本需求。本章阐述了地图构造的原理，系统采用二维可视化地图表示。地图以移动机器人为圆心进行绘制。系统利用三角形相似原理，实现障碍物和目标物的信息映射到地图上，并对物件进行标记。本章对路径规划方法进行概要叙述、总结，分析了系统所采用的人工势场法的优缺点并给出改进的方法以消除局部最小点的现象。在分析了系统避障模块采用的模糊控制基本理论后，文章详细叙述如何设计模糊控制器、制定何种避障规则。本章提出了实现系统各个模块的同步控制的策略。最后给出移动机器人路径规划和避障的运行结果及并对其进行了分析说明。上海大学硕士学位论文第六章总结与展望移动机器人路径规划与避障系统涉及双目视觉采集、多传感器融合、摄像机标定、视觉测距、图像处理、立体匹配、地图构建、障碍物和目标物的区别、路线规划、避障策略和机器控制等多个技术领域。本文在参考了大量国内外文献的基础上，根据课题实际需要，针对几个关键问题，如双目视觉测距、障碍物和目标物的区别、路径规划和避障策略等，进行了深入的研究和讨论。此外，我们开发了基于双目视觉的移动机器人路径规划与避障系统，实现了机器人利用视觉和红外采集环境信息，测距，构建障碍物和目标物地图，通过路线规划和避障策略来完成了移动机器人的远端控制、成功避障的课题要求。本文主要工作及贡献如下1搭建移动机器人路径规划和避障系统的软件框架和硬件系统，在该框架及系统上实现了运动控制、环境信息采集、图像处理和物件提取、路径规划和避障等功能。2环境信息采集子系统采用了双目视觉传感器和红外传感器共同协作的方式对环境信息进行采集，构建DIRECTSHOW到OPENCV的桥梁以实现精确而高效的采集框架；提出了一种改进型变焦测距方案，使得传统双目视觉测距系统的测量范围得到更好的延展性，测量精度有了更好的自适应性；3图像处理和物件提取子系统将多种经典图像处理算法组合使用，有效分离了采集到的路面、背景、目标及障碍物；对NCC模板匹配算法进行了改进，使得算法效率有了明显提升；根据测距模块测得的目标物深度信息构建二维地图，并依据障碍物和目标物的几何形状不同，使用不变矩思想实现二者的区分；4路径规划和避障子系统采用人工势场法进行路径规划，通过对人工势场法的斥力场函数的改进消除局部最小值的影响，确保移动机器人成功避开障碍物到达目的地；避障策略模块利用了模糊控制原理，设计避障控制器，制定避障策略，为移动机器人避障提供决策；针对系统实现的模块较多，文章提出了几种用于同步控制的策略，并得到了较好的实验效果。本文在移动机器人系统的框架搭建、视觉测距、图像处理和分割、路线规上海人学硕士学位论文划和避障等方面进行了深入细致的研究，取得了良好的效果，为日后的研究打下了比较坚实的基础。但是在系统的实现过程当中也遇到了许多的困难和问题。比如系统实时性、目标特征的多样化、路面分析的稳定性等问题上还存在不足之处，也是日后研究的重点和有待解决的难点。本文还有以下的后续问题值得研究，包括1、传感器融合是移动机器人领域倍受关注的问题之一，文章采用的加权平均融合法，并没有将传感器的信息进行充分的利用。为了更为精确的得到系统环境信息，可以引入神经网络等方法进行信息融合。2、系统采用的边界HU矩方法来区分障碍物和目标物，而HU矩在处理受噪声影响较大的图像上，效果会受一定的影响。因此要对HU矩进行改进以提高系统的鲁棒性。3、系统采用的避障策略只考虑转动角度，而在实际应用中应该构建移动机器人动力学模型，并对运动时的速度制定相应规则，规划结果最好能直接得到相应的力矩和驱动力的值。移动机器人是近年来一个比较活跃的研究分支，同时也是一个多学科交叉性研究课题。它涉及到技术都是当前得到广泛应用和关注的实用型技术。因此对移动机器人的研究，有助于丰富这一课题，同时还有可以推动相关技术的进步与发展。上海大学硕士学位论文参考文献李兹基于立体视觉的月球车定位和路径规划D】哈尔滨工业大学硕士学位论文，2006，11宋振华，战兴群，张炎华基于多传感器融合的水下机器人导航系统【J】微计算机信息，2008，2412240241李竞驰果园多作业辅佐机器人系统研究与设计D】沈阳工业大学硕士学位论文，2007，1石为人，周学益室内清洁机器人避障路径规划研究【J】计算机应用，2007，276378379RANDREWRUSSELLSURVEYOFROBOTICAPPLICATIONSFORODORSENSINGTECHNOLOGYTHEINTERNATIONALJOURNALOFROBOTICSRESEARCH，2001，202144162COG智能机器人官方网站EBOLURLHTTPWWWAIMITEDUPR