[硕士论文精品]基于双目视觉的运动机器人自动追踪与避障技术的研究

上海大学硕士学位论文。一一。一。一。一。一。一一摘要运动机器人的追踪避障技术，一直是机器人技术研究中一个比较活跃的分支，也是一个多学科交叉的综合性课题。该课题涉及视频采集、图像处理、视觉测距、立体匹配、地图构建、路径规划、自动控制等多项技术领域。本文针对机器人追踪与避障技术中的几个关键问题，如双目视觉测距、路面分析、路径规划以及PLC控制等，进行了深入的研究和讨论。本文的主要工作集中在1采用DIRECTSHOW技术搭建双目视频采集框架，通过自定义MYSAMPLEGRABBER滤境实现了图像格式从DIRECTSHOW框架到OPENCV框架的转换；2本文提出了一种改进型变焦测距方案，使得传统双目视觉测距系统的测量范围得到更好的延展性，测距能力有了更好的自适应性；3通过经典图像处理算法的组合使用，对采集到的路面区域、背景区域、目标及障碍物进行了有效分离，并且根据图像空间连续性原理提出了一种基于二次扫描的改进型模板匹配算法，使得算法效率有了明显提升；4根据测距模块测得的目标物深度信息还原物体的位置信息和尺寸信息，并以运动机器人当前位置为地图原点构建动态的障碍物地图，并使用二级目标分治策略来动态规划路线，以实现追踪过程中自动避障的目的；5使用OMRONPLC可编程控制器，监听主机发送的RS232串口信号，触发相应的PLC输出端子，从而发出实际控制信号，控制运动机器人运动行进。其中，本文在以下几个问题的研究过程中有创新点1在视频采集部分自定义MYSAMPLEGRABBER滤境实现了DIRECTSHOW框架到OPENCV框架的无缝连接；2在双目视觉测距部分提出的改进型变焦测距方案，提高了双目测距系统的测量精度和测量范围；3在图像匹配部分提出的基于二次扫描的改进型模板匹配算法，提高了图像匹配效率。此外本文开发的运动机器人自动追踪与避障系统采用模块化设计思想，接口定义明确，分工得当，在自动追踪和避障实验中收到了良好的效果。关键词机器人技术、视觉测距、自动追踪、运动避障、地图构建上海大学硕上学位论文一一一一一一一一一一。一一一一一一一一一一一一一一一。一一一一一ABSTRACTRECENTLY,RESEARCHONAUTOTRACKINGTECHNOLOGYANDDODGINGOBSTACLETECHNOLOGY,INMOTORIALROBOTAREA,ISALLACTIVEFILIATIONINTHISPAPER,AUTOTRACKINGROBOTSYSTEMINVOLVEMANYTECHNOLOGYSUCHASVIDEOCAPTURE，IMAGEPROCESS，DISTANCEMEASUREMENT，MAPREBUILDING，IMAGEMATCHING，ROUTEDECISION，AUTOCONTROLANDSOONANDOURWORKISFOCUSEDONTHEFOLLOWINGQUESTIONSDISTANCEMEASUREMENT，IMAGEPROCESS，ROUTEDECISIONANDAUTOCONTR01INTHISPAPER,WEMAINWORKISBUILDINGTHEAUTOTRACKINGROBOTSYSTEMWHICHCANBEDIVIDEDINTOFIVEMAINMODULES，VIDEOCAPTUREMODULE，BINOCULARDISTANCEMEASUREMENTMODULE，SCENEANALYSEMODULE，MAPREBUILDINGANDROUTEDECISIONMODULE，PLCCONTROLMODULE1WEDEVELOPED“MYSAMPLEGRABBERFILTERFORCONVERTINGTHEIMAGEFORMATFROMDIRECTSHOWPLATFORMTOOPENCVPLATFORM2ANADVANCEDMETHODISPRESENTEDTOEXTENDTHELENGTHANDTHEADAPTIVEABILITYOFDISTANCEMEASUREMENTSYSTEM3WEUSEMANYCOMMONIMAGEPROCESSALGORITHMSTODISTILLROADAREA，BACKGROUNDAREA,OBSTACLESANDTARGETSANDANEWTEMPLATEMATCHALGRITHMISPRESENTED，BASEDONCONTINUITYPRINCIPLEOFIMAGE，WHICHCALLPERFORMMOREEFFICIENTINAPPLICATION4WEUSETHEDATA，OUTPUTFROMDISTANCEMEASUREMENTMODULE，TOREBUILDMAPANDROUTEDECISION，WITH2LEVELSTRATEGY,ISMADEINTERMSOFTHISMAP5AOMRONPLCCONTROLISUSEDTOLISTENTHERS232COMSIGNALFROMPCANDTHENTHEPLCCANTRIGGERACORRESPONDINGREMOTECONTROLSINGALTOCONTROLTHEMOVEMENTOFROBOTINTHISPAPER,WEHAVESOMEINNOVATIONWORKDURINGTHEPROCEDUREOFRESEARCHANDDEVELOPMENTASFOLLOWED1THEMYSAMPLEGRABBERFILTERISDEVELOPEDASTHEBRIDGEBETWEENDIRECTSHOWANDOPENCV2ANIMPROVEDMETHODISPRESENTEDTOEXTENDTHELENGTHANDTHEADAPTIVEABILITYOFDISTANCEMEASUREMENTSYSTEM3ANEWTEMPLATEMATCHMETHODISPRESENTEDTOIMPROVETHEEFFICIENCYOFALGRITHMFUTHERMORE，AUTOTRACKINGROBOTSYSTEMISDESIGNEDASAMODULARIZATIONFRAMEWORKEACHPARTOFTHISSYSTEMISINDEPENDENTWITHDEFINITEINTERFACETHEWORKFLOWFROMVIDEOCAPTURETOTHEPLCEONTR01ISCLEARANDEACHPARTOFTHESEMODULESCALLREPLACEDEASILYFORUPGRADETHEPERFORMANCEOFTHESYSTEMISVERYGOODINTRACKINGTARGETANDDODGINGOBSTACLEKEYWORDSROBOTTECHNOLOGY,BINOCULARDEPTHMEASUREMENT，AUTOTRACKING，DODGETECHNOLOGY,M印REBUILD6上海大学硕士学位论文_一。一。一一。一O一。第一章绪论11课题来源与研究背景运动机器人的追踪避障技术，一直是机器人技术研究中一个比较活跃的分支。同时也是一个多学科交叉的综合性课题。它牵涉到机器视觉【L】、视觉测距【21【31、地图重构41、立体图像匹配【51、路线选择61、视频跟踪【71、自动控制【8】【91等多方面的技术。对该课题的研究目的是为了让机器人在某个工作环境中具有更加强大的自适应性和自主工作的能力。其中对场景信息的分析和处理过程针对不同的需求找出任务关键信息；实施有效的工作步骤，是许多机器人研究领域中的通用过程。因此该课题的研究对于其他工作机器人的研究活动，具有很强的现实意义和理论价值。此外，国内外的专家学者也已经在这些领域有了大量的研究和一系列的成果，为运动机器人领域中开展进一步的研究，奠定了良好的基础。目前，对运动机器人技术研究较为成熟和应用比较广泛的有“高速公路上车辆自动驾驶技术【LO】【11】，、“运动机器人采集场景信息并且重建三维地图12】【4】”、“定向作业机器人的自动作业【13】【14】【15】，机器人足球【16】“等。所牵涉到的相关研究领域有场景信息的精确采集与分析技术、虚拟现实技术、基于二维视频图像构建三维虚拟地图的技术、图像立体匹配技术、视频追踪技术、路径规划研究、机器人避障研究以及机器人自动控制技术等。这些已有的技术，比较多的采用“信息采集提取、“信息分析与决策、“自动控制“这样的工作方式来整合系统。其中，信息提取环节多在采集点不变的静态环境下，进行信息采集。而对于运动机器人的追踪运动目标，同时进行实时的动态路线规划的研究相对比较少。因此，本文通过对现有信息采集、分析技术中的经典算法进行研究的基础上，整合应用于运动机器人中，使之能够在拥有一定运动速度的前提下，排除信号噪声、设备误差、设备延时等一系列外部影响，实现运动机器人的追踪动态目标，并且躲避障碍物的目的。本课题来自上海市科委“基于INTERACT的智能控制技术的研究科研项目。基于双目视觉的运动机器人避障与自动追踪技术的研究，也是该科研项目的一上海大学硕_J学位论文。一。一_。一。一一。一个延伸性分支。12国内外研究状况在运动机器人自动追踪与避障系统中，机器人的行为可以划分为以下三个步骤信息获取及分析、运动决策、运动控制。其中信息获取及分析是利用各种传感器获取运动机器人所在场景的信息，如障碍物、追踪目标、背景等等，它是运动机器人进行运动决策依据。运动决策是根据场景信息，合理规划运动路线，其方法有静态和动态之分，局部和全局之分。运动控制是机器人的运动实施模块，它的任务是将运动决策转化为实际的运动结果，并且要达到高效准确的要求。以下我们逐一介绍将这三个步骤中所涉及到的技术领域以及研究状况。在目标深度信息的测定和感知方面，目前一般采用主动法和被动法两种方式。主动测量就是包括超声波、雷达、激光这类测量装置本身发射出测量源，通过测量源遇到待测物体之后的反馈信息来获取物体的待测信息的一种方式。这类方式测量精度高、速度快，但是缺点在于对测量环境要求高，受外界影响可能大，某些特定的环境下误差明显，设备价格昂贵等。被动测量是在无测量源的情况下，利用环境本身的属性，如光照、几何形态、视觉差异等条件进行待测属性的测量。这类方法容易实现、受干扰因素少。但是缺点在于测量精度不高，且需要大量的算法运算支持，实时性受到一定的制约。目前，应用比较多的有被动测量法就是机器视觉系统。而机器视觉中又以双目摄像机系统和单目摄像机系统应用最为广泛。基于双目摄像机的机器视觉系统丰要是依靠对同一物体在同一时刻的两个不同角度的图像采集，从视差来运算获取深度信息。这种方法又叫做聚焦测距法，它的优点在于获取深度信息准确，误差较小；缺点是需要利用复杂的立体匹配算法，在两幅图像之间建立点到点的一一对应关系。而立体图像的匹配至今也还没有非常完备的解决方案，属于机器视觉中一个难点。相比之下，单目摄像机系统则是利用散焦测距方法【17】【18】，利用对同一个物体的两次或者多次散焦图像采集，通过运算来获取景物的深度信息。这种方式的有点是摄像机标定相对比较简单，不需要立体匹配的支持；缺点是测距精度不够准确，误差较大。上海大学硕十学位论文摄像机的标定是研究机器视觉的一个基本的出发点和关键点。常用的摄像机标定法分为以下几类直接线性变换法、透视变换算法、TSAI的二步法191、双平面标定法、张氏平面标定法【201。其中张氏平面标定法，是种介于传统标定法和自标定方法之间的新的、更加灵活的方法。在众多机器人研究课题中得到广泛的应用。在立体图像匹配方面，是在对空间同一个景物在两个不同视点上的投影图中，寻找相应点的一一对应关系。目前主要有三种方法灰度区域相关匹配算法、基于特征提取的匹配算法、相位匹配算法。这三种匹配算法都依赖于三个问题的解决，即选择正确的匹配基元、寻找匹配基元间的本质属性以及建立能够正确匹配所选基元的稳定算法。在机器人行进路径规划方面，目前大致分为两类一类是环境己知的全局路径规划；另一类是基于传感器的环境位置的局部路径规划。前者又称静态规划；后者又称动态规划。从全局规划上讲，目前大致有以下几个方法雎“拓扑法、可视图法或称切线图法、栅格法。拓扑法的优点是降维。它能够将高维的平面空间搜索最优路径的问题简化成低维的求连通性的问题。但是缺点是建立空间障碍物到低维拓扑图的过程相当复杂。可视图法或称切线图法。它的本质就是将机器人点、目标点、障碍物边界点或切线作为图的端点，从这些端点中寻找一条最优路径。缺点是该方法需要对障碍物各个端点进行精确标定，比较复杂。并且忽视了机器人本身的尺寸。栅格法。它是将平面地图进行等量划分成小格，在其中合并同类项最终得到障碍物的点阵布局和非障碍物的点阵布局。从而进行路线规划。不过在搜索时需要大量的存储空间。在局部动态规划方面大致有以下算法盥人工势场法、遗传算法、模糊逻辑算法。人工势场法是在环境中建立人工势场的负梯度方向系统的运动控制方向。目标点对机器人产生引力，而障碍物对机器人产牛排斥力，这样迫使机器人朝目标点避障前行。不过这类方法的缺点是1可能产生陷阱区域；2在相近的障碍物之间不能发现路进；3机器人在接近障碍物时产生振荡4在狭窄的通道中摇摆。遗传算法是一种基于自然选择和自然遗传的全局优化算法。优点是能够对空间进行多线索并行搜索。缺点是需要的存储空间大运算时间长。模糊上海大学硕士学位论文一一一一一。一。一。逻辑算法是一种参考人的驾驶经验，通过查表得到规划信息。它能够克服人工势场的一些不足并且实现简单，实时性好。13研究目的和意义机器人自动追踪和避障技术的研究的目的是为了让运动机器人在一定的路面环境下能够识别出路面、障碍物、背景三者的区别，标定出障碍物的位置，测定障碍物的距离，从而构建出有效的、准确的障碍物地图。然后依据此地图，机器人能够就某个目标进行追踪，并且在追踪过程中，对障碍物实施相应的规避策略。运动机器人在工、农业生产、科研勘探、高危环境下施工、仿真领域都有非常广泛的应用。因此对于该课题的研究，除了使得运动机器人可以完成自动追踪、自动驾驶、自动避障功能之外，在研究过程中，通过对机器视觉、机器人控制、信息表达、人工智能等领域的研究，可以进一步丰富和扩充这些领域中的理论基础和实践经验。对于生产、科研、勘探领域都具有重要的学术价值和社会、经济意义。14本文所做的工作基于机器视觉的运动机器人避障与自动追踪技术是一门涵盖多个学科以及工程领域的综合性课题。本文参考了大量的国内外文献、技术资料以及工具文档，提出了运动机器人系统的设计思想和框架结构，并且在具体的实现过程中，就一系列理论难点和工程问题展开了研究与开发。具体研究内容及相关工作主要包括两路视频数据采集的协作与同步摄像机标定与双目变焦视觉测距；路面分析与障碍物提取；障碍物位置图的构建以及行进路线的选择；PLC模块以及机器人控制1两路视频数据采集的协作与同步主要解决多通道数据的融合与同步。系统将两个摄像机相对固定在运动机器人平台上，手工调整好其相对位置；实现时，两路视频数据的采集分别进行，同时在内存中开辟两块缓存来存放视频数据，并且设置了同步保护，以防止数据在多线程运行环境下的变量冲突。实验表明这样可以有效避免内存冲突，从上海大学硕L学位论文_一一。_一一而保证两个摄像机采集数据的同步性。2摄像机标定与双目变焦视觉测距本文使用张氏平面标定法对实验所用摄像机进行了标定，得到了摄像机的内部参数，为视频测距提供了精确的参数。并且提出一种改进的变焦测距方案，使得传统双目视觉测距系统的测量范围得到更好的延展性，测量精度有了更好的自适应性。文中提出了测距系统的“灵敏度”定义，它是衡量系统有效量程和测量精度的重要指标。根据灵敏度函数的具体标定，提出了自适应的变焦测距策略，在实际的测量应用测试中收到了较好的效果。3路面分析与障碍物提取使用经典图像处理算法对视频信号分析和处理，实现了对路面、障碍物、背景三者的有效分离和提取。在通过模板匹配算法提取障碍物信息，为视频测距以及二维地图的构建提供了有效的数据信息。4障碍物位置图的构建以及行进路线的选择本文采用动态原点方法，以运动机器人当前位置点为原点，10米范围为有效距离，构建出运动机器人当前所处环境中障碍物地图。并且采用二级目标的动态路线规划算法，来制定运动机器人的运动路线，为有效控制运动机器人的行进动作，做出正确的选择。5PLC模块以及机器人控制使用OMRONSYSMACCPM2A可编程控制器PLC作为信号处理和中继节点。其RS232接口接收来自主机的串口信号；其输出端子则分别向遥控发射装置输出信号；PLC内部是一个不断循环的监听程序，负责将不同的输入信号翻译成对应的输出信号，实现了运动机器人的自动控制。此外，本文还对机器人的基本动作进行了步长标定，以及将简单动作设计成可拼接的模块，实现了复杂机器人动作的可扩展性。在技术研究和系统开发的过程中，本文的创新点主要有1在视频采集框架中自定义了MYSAMPLEGRABBER滤境，实现了图像格式从DIRECTSHOW框架到OPENCV框架的转化；2在双目测距系统中，本文提出了一种自适应变焦测距方案，使得测距系统的测量范围得到更好的延展性，测量精度有了更好的自适应性；3在图像匹配算法方面，本文提出了一种两步模板匹配算法，在保证上海大学硕士学位论文匹配质量的同时，有效提高了模板匹配算法的效率。15本章小结本章对课题来源、研究背景、国内外研究现状等作了较为细致的说明，进而说明本文研究的学术价值和社会、经济意义所在，最后概述了本文的主要工作。R1海大学硕上学位论文一。一。一一一一第二章运动机器人自动追踪与避障系统原理与实现方案运动机器人自动追踪与避障系统是将视觉测距、图像处理、路径规划、自动控制等技术融合在一起的综合系统。运动机器人能够实时采集周围环境的图像信息，确定周围障碍物的位置和深度信息，并且根据预先设定的特征识别出跟踪目标，参照障碍物地图实施动态路进规划，实现追踪过程中的自动避障功能。本章将说明运动机器人自动追踪与避障系统的结构与原理，并将讨论系统的框架和实施的总体方案。该系统通过双目摄像机进行视频信号的双路采集，利用经典图像处理算法分析路面图像，并提取出其中的障碍物。然后通过图像匹配算法，建立两路视频信号中障碍物点的一一对应关系。视觉测距技术则是以视差公式为依据，以障碍物点在相对投影位移差为参数，计算得出障碍物的深度信息和相对位置，从而构建出障碍物地图。路线选择策略则是依照障碍物地图以及跟踪目标，动态规划机器人的行进路线，并将相应的指令发送到RS232接EL。PLC模块则是一个指令接收转换中继，它监听主机串口信号，并将相应的控制信号对应于PLC的不同输出端子，触发遥控器发射控制信号，控制运动机器人的行进。该系统的各个模块相互独立，衔接有序，采用面向对象设计思路搭建框架，并使用多线程技术提高实时性，具有很好的可扩展性和可移植性。21运动机器人自动追踪与避障系统框架运动机器人系统按照硬件模块划分，可以分为三个组成部分机器人模块、主机模块、PLC模块。上海大学硕士学位论文。一。一一一。一一。一。一摄像头OH无线信号发射罄摄像头1H无线信号发射器运动机器人一一一，_，_，网机器人幢块无线信号接受器卜一视频采集卡。无线信号接受器H祝频采集卡I莲匮垂圃唑竿蚓匦巫H藩阚图21运动机器人自动追踪与避障系统框架图硬件模块划分如图21所示，机器人模块由1台运动机器人、2个无线摄像机组成，是运动、追踪、避障的实施丰体主机模块是由1台配有双路视频采集卡以及COM接口的个人计算机PC和2台可分频无线信号接收器组成，主要负责视频信号的捕捉、处理、采样、图像分析、目标确定、测距、地图构建、路线规划、决策信号输出等核心运算任务；PLC模块则是由1台OMRONSYSMACCPM2A可编程控制器和1台遥控发射器组成，它是运动机器人行进信号转换中继，也是控制信号的实际发送者。其中，机器人模块主要是运动的主体，搭载双目摄像机采集视频信号，并通过无线信号发射器向丰机发送视频信号；主机模块包含无线视频信号接收装置，配合双路LOMOONS视频采集卡进行视频捕捉，并将采样图像进行分析，分离路面、背景、障碍物以及目标物体，并利用双目视觉测距技术获取各个物体的景深信息，从而构建出二维地图，然后规划路线发送运动控制信号给PLC控制模块；PLC模块接收来自主机模块的串口信号，通过监听不同地址的寄存器内部值，判断识别不同的控制信号，从而触发不同的输出端子，发射相应的控制信号，控制运动机器人的行进。如果按照软件标准划分，主要可以分为双路视频采集模块、视觉测距模块、路面分析模块、地图构建以及路线规划模块、PLC控制模块这5个主要功能模块。上海大学硕上学位论文。一一。一型型塑H塑却橐繁一L模块摄像头1H无线信号发射器卜77口一无线信号接受器H视频采集卡L遥控接收器墨坌型II壁堑丝坚II堕堡塑堡路面分析模块I矗篓双目视觉测距L祝觉测距模块一一一屯亘歪酬蓉霉H豸誉襄翥LII及障碍物地图LLL障碍物位置以LL地囤构建和路线规划糗图22运动机器人自动追踪与避障系统框架图软件模块划分如图22所示，其中视频采集模块完成视频信号采集、无线传输、捕捉、采样、帧同步等功能，并且需要将采样图像做格式转换，使之更适应图像处理模块的需要；路面分析模块丰要完成图像分析、背景分离、路面提取、目标物和障碍物识别、图像匹配等功能；视觉测距模块是利用视差原理，根据物体在左右两幅投影图中水平方向视差计算出景深信息；地图构建和路线规划模块是根据相似三角形原理，参照各个物体的深度信息，计算得到各物体的水平方向偏移量以及尺寸信息，标定其位置，从而构建出二维地图，然后根据该二维地图动态规划运动机器人的行进路线，并实时修正行进策略，向PLC模块发送控制信号；PLC模块是一个不断循环的监听程序，通过事先约定寄存器地址和特定变量，监听从RS232串口发送来的不同信号，从而触发不同的输出端子，发射相应的控制信号，控制运动机器人的行进。22系统设计的总体方案运动机器人自动追踪与避障系统的主要目标是完成运动机器人从视频采集、图像分析找到路面中的障碍物以及追踪目标，利用双目测距技术恢复出各个目标点的景深信息并且制定出以运动机器人当前位置点为原点的地图，然后根据此地图制定行进路线实施目标追踪、自动避障等任务。系统的总体实现方J海大学硕士学位论文。一一一。一。一。一。一。一案如下221双目无线摄像机以及双路视频采集由于机器人处在远程工作环境下，要求机器人将视频信号从远端传输回主机模块。因此，本文所用的视频采集系统由2个可分频无线摄像机、2个可分频无线信号接收器、2个10MOONS视频采集卡组成。2路无线信号分别使用2414GHZ以及2468GHZ的传输频率分别进行发射和接收，确保2路信号不会相互干扰影响视频质量。2路视频捕获要解决多通道数据的融合与同步、双目摄像机的标定等关键问题。系统设计时将两个摄像机相对固定在运动机器人平台的支架上，并调整好其相对位置，再实现时两路视频数据的采集分别进行，同时在内存中开辟两块缓存来存放视频数据来避免内存竞争。系统借助时间戳保证两个摄像机采集数据的同步性。222摄像机的标定与视觉测距摄像机标定的目的是确定摄像机的图像坐标系与空间参考坐标系之间的对应关系。只有当摄像机被精确地标定以后，才能根据图像平面中的二维坐标推导出对应物体在三维空间中的实际位置。二者之间的关系是由摄像机成像几何模型所决定的，其中的参数包括摄像机内部参数和外部参数。内部参数是摄像机本身所具有的诸如焦距、光心等属性；外部参数则指摄像机的成像平面在世界坐标系中的位置和姿态信息。为了获取这些参数，需要预先知道物体表面若干控制点在摄像机成像平面中的二维坐标以及它们在三维坐标系中的坐标值。利用这些对应关系，就能计算出摄像机的参数。本文在比较了各种摄像机标定技术之后选用张氏平面标定法对2路无线摄像机进行了标定。得到摄像机的内部参数之后，利用视差公式计算出目标物体的深度信息。在实验的过程中，我们发现传统双目摄像机测距系统中，由于摄像机焦距固定、2个摄像机相对位置固定、角度固定、摄像机畸变、分辨率不足等原因，测距系统在测量范围和测量精度上存在局限性。针对这个问题，我们通过分析双目测距系统的理论基础和实验数据，给出了“灵敏度“定义，用一卜海大学硕十学位论文。_一。一。一。一来衡量测距系统的测量理论测量精度。依照“灵敏度”参数，我们制定了一个自适应的变焦测距策略，使得双目测距系统在不同测量要求下拥有更好的延展性和自适应性。223路面分析与障碍物提取路面分析和障碍物提取是将采样得到的2路视频图像信号分别通过经典图像处理算法实现背景、路面、障碍物三者的分离。其中使用到色彩空间转换、平滑降躁、均匀性图处理、二值化、膨胀处理、腐蚀处理、路面采样、种子填充算法、反向种子填充降躁等算法，最终分离背景、路面、障碍物。在通过使用模板匹配算法，来对2路图像信号中的障碍物建立一一的对应关系。从而为视觉测距提供可靠的参数。224障碍物地图的构建以及路线规划通过路面分析模块和双目测距模块，系统得到了路面中各个障碍物以及目标物体的位置信息。根据相似三角形原理通过平面几何计算，系统以运动机器人当前位置为原点，建立一个动态的，实时的障碍物地图。地图中包括障碍物位置、障碍物大小、目标位置、目标大小等信息，并且根据实时的视频图像采集、分析和测距结果，不断更新物体与运动机器人的相对位置，即地图中各个物体的坐标。路线规划模块采用网格表示方法，对障碍物地图进行进一步处理，得到地图的相应网格矩阵。矩阵由一个100X100的整型数组表示，它是点阵型障碍物地图的归并表示方法，它将复杂且数据量庞大的640X640障碍物地图图像归纳于100X100的网格型地图。这样的转换不仪提高了决策的速度，降低了图像信号中躁点对决策过程的干扰，同时也为“分级目标路线规划策略“提供了很好的数据结构和表达方式。分级目标路线规划策略是一种将行进过程中的全局目标和局部目标分开管理路线规划策略。在路线决策的整个过程中，全局目标保持不变，局部目标动态修正，这是确保运动机器人在行进过程中既能在全局追踪目标物体，又能在局部实施有效避障的关键。上海大学硕十学位论文。一。一。_一。一225PI_C控制模块可编程控制器，简称PLCPROGRAMMABLELOGICCONTROLLER，是指以计算机技术为基础的新型工业控制装置。它采用可以编制程序的存储器，用来在其内部存储执行逻辑运算、顺序运算、计时、计数和算术运算等操作的指令，并能通过数字式或模拟式的输入和输出，控制各种类型的机械或生产过程，PLC及其有关的外围设备易于与所设计的控制系统形成一个整体，易于扩展，我们采用OMRONSYSMACCPM2A可编程控制器以及1台遥控信号发射器作为PLC控制模块。PLC控制器中运行一个不断循环的监听程序，对于PLC低位寄存器进行监控，一旦当这些寄存器中的值满足信号触发条件，则将相应输出端子连通，即接通遥控信号发射器，将相应的控制信号传送到远端运动机器人，实施行进。如图23所示，PLC输出端子OH01100一CH01103分别连接到遥控信号发射器的前、后、左、右信号输出端子。PLC地线COM端子则连接遥控信号发射器接地线端子。通过发送RS232串口信号，丰机程序可以改变并且控制PLC的输出，从而达到连通遥控信号发射器相应端子，触发控制信号的目的。图23PLC控制模块示意图I海大学硕上学位论文一。一一一。一。一一。一23本章小结本章讨论了运动机器人自动追踪与避障系统的理论原理、框架结构以及设计思路，通过对系统的硬件划分说明了体系结构，软件划分说明了系统的设计原理和实现流程，并讨论了系统实现的方案。运动机器人自动追踪与避障实现了运动机器人从2路视频信号的捕捉、采样、同步，通过无线信号发射，传递给主机端。然后通过路面分析模块分离和提取障碍物。通过视觉测距模块得到各个目标物体的深度信息和相对位置信息。通过地图构建和路线规划模块构建出基于运动机器人的动态障碍物地图并且动态规划行进路线。PLC模块则是将丰机端发出的行进决策信号转换成相应的PLC输出端子，将实际的控制信号通过遥控发射器传送至运动机器人。从而实现了运动机器人自动追踪目标和追踪过程中避障的功能。上海大学硕JJ学位论文。一一。一。一。一一第三章双目视频采集框架在视频捕获时，我们基于MICROSOFT的DIRECTSHOW实现了对现场视频的实时捕获。DIRECTSHOW是WINDOWS上一种较为通用的视频捕获方法，可以通过建立滤镜图FILTERGRAPHL拘方式简单快速地实现视频捕获。它可以根据不同的采集卡，选取相应的编码或者解码滤境，并通过滤境的组合获取每帧的位图图像因而可以很方便地对每一帧图像进行处理。在图像处理时，我们基于INTEL的OPENCVOPENSOURCECOMPUTERVISIONLIBRARY开源机器视觉函数库。OPCNCV是一种得到广泛使用的通用图像、视频函数库。它对于许多经典图像处理函数都有非常规范的C语言实现，并且提供方便易用的调用接口。所以，我们设计利用DIRECTSHOW在视频捕捉、采样和渲染等方面的效率优势结合OPENCV在图像处理领域具有丰富的库函数的优势，将两者有效地结合起来。即以DIRECTSHOW搭建视频采集框架，以OPENCV作为图像处理的主要工具，使用自定义采样滤境MYVIDEOGRABBER将DIRECTSHOW采样得到的位图图像转换成OPENCV中图像存储格式IPLLMAGE，从而在DIRECTSHOW和OPENCV之间搭建起一个桥梁，将两者有效地整合在机器人自动追踪与避障系统当中。31DIRECTSHOW简介眩21DIRECTSHOW是一个WINDOWS平台上的流媒体框架，它的基本原理是多媒体数据在过滤器图表FILTERGRAPH中流动，通过过滤器图表中各过滤器FILTER实现在功能，最终实现多媒体数据在渲染过滤器VENDEFINGFILTERS中的显示和回放。它支持多种多样的媒体文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。DIRECTSHOW整合了其它的DIRECTX技术，能自动地侦测并使用可利用的音视频硬件加速，也能支持没有硬件加速的系统。DIRECTSHOW大大简化了媒体回放、格式转换和采集工作。与此同时，它也为用户自定义的解决方案提供了底层流控制框架，从而使用户可以自行创建支持新的文件格式或其它用途的上海大学硕士学位论文。一。一。一。一_。一一。一。一。一DIRECTSHOW组件。DIRECTSHOW是建立在组件对象模型COM上，对于大部分的应用，用户不需要实现自己的COM对象，DIRECTSHOW提供了大部分常用的DIRECTSHOW组件。用户也可以根据自身需要，自行开发DIRECTSHOW组件。311OIRECTSHOW中的滤镜及其连接22滤境FILTER是一个COM组件，由一个或多个PIN组成。它是DIRECTSHOW工作的基本单元，也是模块化工程中的一个部件。滤境中的连接前后滤境的是PIN，它也是一个COM组件。滤境文件的扩展名为AX，但也可以是D11。滤境根据其包含INPUTPIN或OUTPUTPIN的情况或在FILTERGRAPH的位置，大致可分为三类SOURCEFILTER仅有OUTPUTPIN、TRANSFORMFILTER同时具有INPUTPIN和OUTPUTPIN币LRENDERERFILTER仪有INPUTPIN。一般情况下，创建FILTER使用一个普通的WIN32DLL项目。而且，一般FILTER项目不使用MFC。这时，应用程序通过COCREATELNSTANCE函数FILTER实例；FILTER与应用程序在二进制级别的协作。另外一种方法，也可以在MFC的应用程序项目中创建FILTER。这种情况下，FILTER不需注册为COM组件，FILTER与应用程序之间的协作是源代码级别的。滤境是一个独立功能模块，最好不要将滤境依赖于其他第三方的DLL。因为滤境具有COM的位置透明性特点，滤境文件可以放在硬盘的任何位置，只要位置移动后重新注册。但此时，如果滤境依赖其他DLL，则滤境对该DLL的定位就会出现问题。滤镜之间使用PIN来连接，其过程是将滤镜只有加入到FILTERGRAPH中并且和其它滤镜连接成完整的链路后，才会发挥作用。滤镜之间的数据传送是通过SAMPLE来传送的。SAMPLE是一个COM组件，拥有自己的一段数据缓冲。SAMPLE由ALLOCATOR统一管理。312OIRECTSHOW视频采集22使用DIRECTSHOW做视频采集的一般框架是采集源一处理滤境一渲染滤境。其中采集源一般有两种模式PUSH模式和PULL模式。PUSH模式是SOURCEFILTER自己能够产生数据，并且一般在它的OUTPUTPIN上有独立的子线程负责将数据发送出去，常见的情况如WDM模型的采集卡的LIVESOURCEFILTER；而PULL模上海大学硕士学位论文式，则是SOURCEFILTER不具有把自己的数据送出去的能力，这种情况下，一般SOURCEFILTER后紧跟着接一个PARSERFILTER或SPLITTERFILTER，这种FILTER一般在INPUTPIN上有个独立的子线程，负责不断地从SOURCEFILTER索取数据，然后经过处理后将数据传送下去，常见的情况如FILESOTLRCE。PUSH模式下，SOURCEFILTER是主动的；PULL模式下，SOURCEFILTER是被动的。而处理滤境一般采用TRANSFORMFILTER和TRANSINPLACEFILTER这两种组件。他们同样是用来做视频处理的组件，共同点是TRANSINPLACEFILTER本身就是从TRANSFORMFILTER中继承过来的。不同之处在于TRANSINPLACEFILTER体现出“就地”处理，因此一般将处理函数放在该组件的TRANSFORM中调用或者实现。渲染部分则是使用RENDERFILTER，可以根据工程要求的不同来继承现有的RENDERFILTER或者自定义扩充的RENDER。使用DIRECTSHOW做视频采集的优点在于流程清晰、开发容易，工程人员可以将更多的精力放在软件的功能和性能改进至上，而将框架结构、数据保护、同步等细节问题交给DIRECTSHOW去处理。与此同时我们在使用DIRECTSHOW时，还能根据需要不断地扩充自定义组件，提高了代码的可重用性和易维护性，符合当今软件开发的工业标准。32OPENCV介绍1OPENCV是INTEL资助的开源计算机视觉库。它由一系列C函数和少量C类构成，实现了图像处理和计算机视觉方面的很多通用算法。OPENCV拥有包括300多个CC函数的跨平台的中、高层API。它不依赖与其它的外部库，尽管也可以使用某些外部库。OPENCV对非商业应用和商业应用都是免费的。OPENCV中定义了包括图像分析、结构分析、运动分析、模式识别【14】等绝大多数现有的图像处理算法实现。在OPENCV中图像在内存中的格式被封装成IPLIMAGE的数据类型，可以通过GETD和SETD函数来获取和设置图像中具体某个象素点的值。使用NAMEWINDOW和SHOWIMAGE方法，可以方便的将图像处理的结果显示在客户端，这又大大降低了开发的时间成本。因此，使用OPENCV作为图像处理的开发与研究是一种比较合理高效的方案。但是DIRECTSHOW中获得图像采样PSAMPLE是一段在内存中连续的符合特定I海大学1学位镕文格式要求的空间。而OPENCV中例像的基本格式是IPLLMAGE数据结构，因此我们需要一个桥梁模块将DIRECTSHOW中对视频图像的采样转换到OPENCV可接收的IPLLMAGE格式，并且搭建出整个视频采样到图像处理入口的系统框架结构，详细过程我们会在33节中叙述。33视频采集框架介绍以及DIRECTSHOW到OPENCV的转换如图31所示，双路视频采集框架是由IOMOONSSDK2000视频采集卡的SOURCEFILTER作为起点，两个RENDERFILTER作为终点的一条二叉视频流路径。其中，VIDEORENDER作为处理渲染的终点，不做实际的显示，只是为了使视频流通过这路保持流转的完整性而设置。VIDEORENDER0002则是视频预览的窗口，用来显示采集内容。视频流首先经过解压模块AVIDECOMPRESSOR之后得到32位RGB格式的视频流。经过SAMPLEGRABBER的自定义TRANSLNPLACEFILTER处理模块，进行视频采样，内存分配，格式转换等处理。C010RSPACEC。NVENER模块则是为了平衡RENDER模块的输入PIN与SAMPLEGRABBER模块的输出PIN不匹配的问题。一二一。L了，。二”一CW瓢J“L”。”|“一难兰蔓墨霉三州VGFM。一图31双路视频采集框架示意国如32节所述，DIRECTSHOW中图像帧被保存在内存中的一个连续空间，以PSAMPLE中的PDATA指针作为起始位置而OPENER中图像则是一个被封装的IPLIMAGE数据结构。因此当使用DIRECTSHOW配合OPENCV时，我们需要一个桥梁将图像数据做一个复制。具体的方法是将PDATA指针所指向的图像数据根据其色彩空间的标准，将每个象素点的图像数据导入IPLIMAGE结构，井且设置相上海大学硕士学位论文应的IPLIMAGE参数，如图像宽、高、位长、媒体类型等等。并且设置变量同步锁，以防止在多线程环境下，各个线程对变量进行同时操作时，可能出现的数据冲突问题。以下代码是我们在媒体类型为RGB32位MEDIATYPERGB32时的图像转换代码。HRESULTCMYVIDEOGRABBERDATATOLMAGEPBYTEPDATA,LPLLMAGE。IPLMAGE、申OPENCV图像指针IPLLMAGE。IPSRCLMAGELPLMAGE；逐行逐列复制象素点FORINTI0；I333步长改进8464151830OR135正确率高4步长改进68241L03。1897”5591正确率较高5步长改进32177816243943。正确率一般从以上数据我们可以看到，算法改皂之后，时间效率大大提高。但是随着步长的增加，匹配的正确率也逐渐降低。所以考虑到坚固效率与正确性的因素，最后采用了3步长改进算法。553图像匹配实验结果根据551和552叙述，我们已经明确图像匹配的具体方法和改进手段。如图57是原始图像和模板图像。圈58所示是我们利用小同的相似度比较得到的相似度结果图。闰57原始幽像与模板I煎丝堂磐垫一一图58ACCORR_NO眦D算子匹配结果_罨卜二卜图58BCCOEFF葬子匹配结果圈58CCCOEFF_NORMED算子匹配结果图58DSQDWF_NO眦D算子匹配结果其中，图58A是采用了CCORRNORMED算子。相似度定义如下RX，”SUMTX，卜LXX。，Y，7SQNSILMTYTX，户SUMX,YLXX，Y，2518图58B是采用了CCOEFF算子。相似度定义如下RX，Y2SURTAX,“YTX，IXX，Y州519图58C是采用了CCOEFFNORMED算子。相似度定义如下RX，YSUM。，TX，YIXX，YYSQRT8U，TX，Y2SUM,，IXXYY2520图58D是采用了SQDF_NORMED算子。相似度定义如下RX，Y。SUMS，【TX。，YIXX。，Y_N】2SQRTSUM。，TX，Y2ULNX_YLXX。，Y上，2521通过实验我们最终选定CCOEFFNORMED算子作为模板图像匹配的相似度定义算子，实施模板匹配。通过在寿图中提取障碍物，在右图中搜索匹配点之后，我们可以精确标记L海大学硕学位诧Z出各个障碍物在左右两幅采集图像当中的匹配位置，如图59所示，RIGHT图像当中用黑色矩形框标表示左图中相应障碍物的最大外接矩形，而黑色矩形框所在的位置则表示该障碍物图像在RIGHT图当中所匹配到的位置坐标。一酗59左右图障碍物匹配效果从实验结果我们可以发现左图当中的障碍物在右图当中部得到了很好的匹配效果。这为视觉测距系统，提供了良好的视差评判依据。56目标物提取为了简化课题在目标识别匹配和提取问题上的复杂度，我们采用特定色彩标定的方法，对目标物体做了限定。如图5IO所示，目标物体是另一辆涂有特定颜色的遥控小车。在经过了色彩增强、饱和度增强、以及相应的亮度和对比度处理之后，目标物体显示出与其他场景物体独有的色彩特征，如图511所示。翻510跟踪目标上辫大学硕I学位论文图51T经过处理2后目标色彩特征然后通过色彩提取，醉躁处理之后，我们就能完整的提取出障碍物的图像区域，再通过图像匹配模块，我们得到了目标物体的匹配信息，如图512所示，白色矩形框表示匹配结果。由于目标匹配模块是单独开辟内存空间来保存图像，因此匹配过程中对图像的处理与其他模块相互独立，既不会影响其他模块的处理也不受障碍物提取过程中图像元素的干扰，收到了良好的效果。57本章小结图512目标提取及匹配本章介绍了机器人自动追踪与避障系统中路面分析部分的处理过程。通过对图像预处理、图像形态学、边缘提取等基本图像处理算法的组合应用，很好地解决了路面、背景、障碍物分离的课题要求。并且通过对图像匹配算法的研究，提出了一种改进型模板匹配算法，改进了其运算效率，得到框好的效果。最后，通过图像匹配算法，路面分析模块得到了两幅图像中各个障碍物点在不同图像当中的坐标位置，为视觉测距模块提供了准确有效的测距参数。I海大学硕十学位论文第六章二维地图的构建与路线的动态规划通过第五章的路面图像分析，我们将路面、背景、障碍物这三者进行了有效的分离。通过第四章的双目测距系统，我们可以对路面中的障碍物进行视觉测距，从而得到各个目标点的深度信息。所以，本章我们所要详细叙述的是如何根据已有障碍物深度信息表构建出二维障碍物地图。该地图是运动机器人位置为原点，以障碍物位置为主要标定点的动态二维地图。在此基础上，我们还将对路线动态规划问题做相应的讨论。61机器人坐标系机器人坐标系采用以运动机器人为原点OO，0，正前方为Y轴正方向，右侧为X轴正方向，如图61所示。障O、O物2一1，2障碍物12，、，一小车机器人原点0，062地图表示方法小40。伽图61机器人坐标系2运动机器人建立地图的过程，实际上就是依照视频采集的相关信息，提取出其中有效障碍物信息之后，根据各个障碍物深度信息描述其与运动机器人相对位置的