看板管理_机器人自动追踪与避障技术的研究

上海大学 硕士学位论文 基于双目视觉的运动机器人自动追踪与避障技术的研究 姓名：徐杰 申请学位级别：硕士 专业：计算机应用技术 指导教师：陈一民 20080201 上海大学硕十学位论文 一- 一o - 一一。一- 。- - 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人己发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：狳岔日 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：逸导师签名：莎苎缸日期：二雌目 上海大学硕士学位论文 - - 。一一。- - 。一。一。一。一- - 。一- - 一 摘要 运动机器人的追踪避障技术，一直是机器人技术研究中一个比较活跃的分 支，也是一个多学科交叉的综合性课题。该课题涉及视频采集、图像处理、视 觉测距、立体匹配、地图构建、路径规划、自动控制等多项技术领域。本文针 对机器人追踪与避障技术中的几个关键问题，如双目视觉测距、路面分析、路 径规划以及P L C 控制等，进行了深入的研究和讨论。 本文的主要工作集中在：( 1 ) 采用D i r e c t S h o w 技术搭建双目视频采集框架， 通过自定义m y S a m p l e G r a b b e r 滤境实现了图像格式从D i r e c t S h o w 框架到 O p e n C V 框架的转换；( 2 ) 本文提出了一种改进型变焦测距方案，使得传统双目 视觉测距系统的测量范围得到更好的延展性，测距能力有了更好的自适应性； ( 3 ) 通过经典图像处理算法的组合使用，对采集到的路面区域、背景区域、目标 及障碍物进行了有效分离，并且根据图像空间连续性原理提出了一种基于二次 扫描的改进型模板匹配算法，使得算法效率有了明显提升；( 4 ) 根据测距模块测 得的目标物深度信息还原物体的位置信息和尺寸信息，并以运动机器人当前位 置为地图原点构建动态的障碍物地图，并使用二级目标分治策略来动态规划路 线，以实现追踪过程中自动避障的目的；( 5 ) 使用O M R O NP L C 可编程控制器， 监听主机发送的R S 2 3 2 串口信号，触发相应的P L C 输出端子，从而发出实际控 制信号，控制运动机器人运动行进。 其中，本文在以下几个问题的研究过程中有创新点：( 1 ) 在视频采集部分自 定义m y S a m p l e G r a b b e r 滤境实现了D i r e c t S h o w 框架到O p e n C V 框架的无缝连 接；( 2 ) 在双目视觉测距部分提出的改进型变焦测距方案，提高了双目测距系 统的测量精度和测量范围；( 3 ) 在图像匹配部分提出的基于二次扫描的改进型 模板匹配算法，提高了图像匹配效率。此外本文开发的运动机器人自动追踪与 避障系统采用模块化设计思想，接口定义明确，分工得当，在自动追踪和避障 实验中收到了良好的效果。 关键词：( 机器人技术、视觉测距、自动追踪、运动避障、地图构建) 上海大学硕上学位论文 一一一一一一一一一一。一一一- 一一一一一一一一一- - 一一一。一一一一一 A B S T R A C T R e c e n t l y , r e s e a r c ho na u t o t r a c k i n gt e c h n o l o g ya n dd o d g i n go b s t a c l et e c h n o l o g y , i nm o t o r i a lr o b o ta r e a , i sa l la c t i v ef i l i a t i o n I nt h i sp a p e r , a u t o - t r a c k i n gr o b o ts y s t e m i n v o l v em a n yt e c h n o l o g ys u c ha sv i d e oc a p t u r e ，i m a g ep r o c e s s ，d i s t a n c e m e a s u r e m e n t ，m a pr e b u i l d i n g ，i m a g em a t c h i n g ，r o u t ed e c i s i o n ，a u t o c o n t r o la n dS Oo n A n do u rw o r ki sf o c u s e do nt h ef o l l o w i n gq u e s t i o n s ：d i s t a n c em e a s u r e m e n t ，i m a g e p r o c e s s ，r o u t ed e c i s i o na n da u t o c o n t r 0 1 I nt h i sp a p e r , w em a i nw o r ki sb u i l d i n gt h ea u t o - t r a c k i n gr o b o ts y s t e mw h i c h c a nb ed i v i d e di n t o f i v em a i nm o d u l e s ，v i d e oc a p t u r em o d u l e ，b i n o c u l a rd i s t a n c e m e a s u r e m e n tm o d u l e ，S C e n ea n a l y s em o d u l e ，m a pr e b u i l d i n ga n dr o u t ed e c i s i o n m o d u l e ，P L Cc o n t r o lm o d u l e ( 1 ) W ed e v e l o p e d “m y S a m p l e G r a b b e r f i l t e r f o r c o n v e r t i n gt h ei m a g ef o r m a tf r o mD i r e c t S h o wp l a t f o r mt oO p e n C Vp l a t f o r m ( 2 ) A n a d v a n c e dm e t h o di sp r e s e n t e dt oe x t e n dt h el e n g t ha n dt h ea d a p t i v ea b i l i t yo f d i s t a n c em e a s u r e m e n ts y s t e m ( 3 ) W eu s em a n yc o m m o ni m a g ep r o c e s sa l g o r i t h m s t od i s t i l lr o a da r e a ，b a c k g r o u n da r e a , o b s t a c l e sa n dt a r g e t s A n dan e wt e m p l a t e m a t c ha l g r i t h mi sp r e s e n t e d ，b a s e do nC o n t i n u i t yP r i n c i p l eo fi m a g e ，w h i c hC a l l p e r f o r mm o r ee f f i c i e n ti na p p l i c a t i o n ( 4 ) W eu s et h ed a t a ，o u t p u tf r o md i s t a n c e m e a s u r e m e n tm o d u l e ，t or e b u i l dm a p A n dr o u t ed e c i s i o n ，w i t h2 - l e v e ls t r a t e g y , i s m a d ei nt e r m so ft h i sm a p ( 5 ) AO M R O NP L Cc o n t r o li su s e dt ol i s t e nt h eR S 2 3 2 C O Ms i g n a lf r o mP Ca n dt h e nt h eP L CC a nt r i g g e rac o r r e s p o n d i n gr e m o t ec o n t r o l s i n g a lt oc o n t r o lt h em o v e m e n to f r o b o t I nt h i sp a p e r , w eh a v es o m ei n n o v a t i o nw o r kd u r i n gt h ep r o c e d u r eo fr e s e a r c h a n dd e v e l o p m e n ta sf o l l o w e d ：( 1 ) T h em y S a m p l e G r a b b e rf i l t e ri sd e v e l o p e da st h e b r i d g eb e t w e e nD i r e c t S h o wa n dO p e n C V ( 2 ) A ni m p r o v e dm e t h o di sp r e s e n t e dt o e x t e n dt h el e n g t ha n dt h ea d a p t i v ea b i l i t yo fd i s t a n c em e a s u r e m e n ts y s t e m ( 3 ) A n e wt e m p l a t em a t c hm e t h o di sp r e s e n t e dt oi m p r o v et h ee f f i c i e n c yo fa l g r i t h m F u t h e r m o r e ，a u t o t r a c k i n gr o b o ts y s t e mi sd e s i g n e da sam o d u l a r i z a t i o nf r a m e w o r k E a c hp a r to ft h i ss y s t e mi si n d e p e n d e n tw i t hd e f i n i t ei n t e r f a c e T h ew o r kf l o wf r o m v i d e oc a p t u r et ot h eP L Ce o n t r 0 1i Sc l e a r A n de a c hp a r to ft h e s em o d u l e sc a l l r e p l a c e de a s i l yf o ru p g r a d e T h ep e r f o r m a n c eo ft h es y s t e mi sv e r yg o o di nt r a c k i n g t a r g e ta n dd o d g i n go b s t a c l e K e y w o r d s ：R o b o tT e c h n o l o g y , B i n o c u l a rd e p t hm e a s u r e m e n t ，A u t o T r a c k i n g ， D o d g eT e c h n o l o g y , M 印R e b u i l d 6 上海大学硕士学位论文 - _ - 一。一- 。- 一一。一o 一。 第一章绪论 1 1 课题来源与研究背景 运动机器人的追踪避障技术，一直是机器人技术研究中一个比较活跃的分 支。同时也是一个多学科交叉的综合性课题。它牵涉到机器视觉【l 】、视觉测距 【2 1 【3 1 、地图重构4 1 、立体图像匹配【5 1 、路线选择 6 1 、视频跟踪【7 1 、自动控制【8 】【9 1 等 多方面的技术。对该课题的研究目的是为了让机器人在某个工作环境中具有更 加强大的自适应性和自主工作的能力。其中对场景信息的分析和处理过程：针 对不同的需求找出任务关键信息；实施有效的工作步骤，是许多机器人研究领 域中的通用过程。因此该课题的研究对于其他工作机器人的研究活动，具有很 强的现实意义和理论价值。此外，国内外的专家学者也已经在这些领域有了大 量的研究和一系列的成果，为运动机器人领域中开展进一步的研究，奠定了良 好的基础。 目前，对运动机器人技术研究较为成熟和应用比较广泛的有“高速公路上 车辆自动驾驶技术【l o 】【1 1 】，、“运动机器人采集场景信息并且重建三维地图 1 2 】【4 】”、 “定向作业机器人的自动作业【1 3 】【1 4 】【1 5 】，机器人足球【1 6 】“ 等。所牵涉到的相关 研究领域有：场景信息的精确采集与分析技术、虚拟现实技术、基于二维视频 图像构建三维虚拟地图的技术、图像立体匹配技术、视频追踪技术、路径规划 研究、机器人避障研究以及机器人自动控制技术等。这些已有的技术，比较多 的采用“信息采集提取、“信息分析与决策、“自动控制“ 这样的工作方式来 整合系统。其中，信息提取环节多在采集点不变的静态环境下，进行信息采集。 而对于运动机器人的追踪运动目标，同时进行实时的动态路线规划的研究相对 比较少。因此，本文通过对现有信息采集、分析技术中的经典算法进行研究的 基础上，整合应用于运动机器人中，使之能够在拥有一定运动速度的前提下， 排除信号噪声、设备误差、设备延时等一系列外部影响，实现运动机器人的追 踪动态目标，并且躲避障碍物的目的。 本课题来自上海市科委“基于I n t e r a c t 的智能控制技术的研究科研项目。 基于双目视觉的运动机器人避障与自动追踪技术的研究，也是该科研项目的一 上海大学硕_ J 学位论文 。一- 。- - - 一- _ - 。- - 一。一一。一 个延伸性分支。 1 2国内外研究状况 在运动机器人自动追踪与避障系统中，机器人的行为可以划分为以下三个 步骤：信息获取及分析、运动决策、运动控制。其中信息获取及分析是利用各 种传感器获取运动机器人所在场景的信息，如障碍物、追踪目标、背景等等， 它是运动机器人进行运动决策依据。运动决策是根据场景信息，合理规划运动 路线，其方法有静态和动态之分，局部和全局之分。运动控制是机器人的运动 实施模块，它的任务是将运动决策转化为实际的运动结果，并且要达到高效准 确的要求。以下我们逐一介绍将这三个步骤中所涉及到的技术领域以及研究状 况。 在目标深度信息的测定和感知方面，目前一般采用主动法和被动法两种方 式。主动测量就是包括超声波、雷达、激光这类测量装置本身发射出测量源， 通过测量源遇到待测物体之后的反馈信息来获取物体的待测信息的一种方式。 这类方式测量精度高、速度快，但是缺点在于对测量环境要求高，受外界影响 可能大，某些特定的环境下误差明显，设备价格昂贵等。被动测量是在无测量 源的情况下，利用环境本身的属性，如光照、几何形态、视觉差异等条件进行 待测属性的测量。这类方法容易实现、受干扰因素少。但是缺点在于测量精度 不高，且需要大量的算法运算支持，实时性受到一定的制约。目前，应用比较 多的有被动测量法就是机器视觉系统。而机器视觉中又以双目摄像机系统和单 目摄像机系统应用最为广泛。 基于双目摄像机的机器视觉系统丰要是依靠对同一物体在同一时刻的两个 不同角度的图像采集，从视差来运算获取深度信息。这种方法又叫做聚焦测距 法，它的优点在于获取深度信息准确，误差较小；缺点是需要利用复杂的立体 匹配算法，在两幅图像之间建立点到点的一一对应关系。而立体图像的匹配至 今也还没有非常完备的解决方案，属于机器视觉中一个难点。相比之下，单目 摄像机系统则是利用散焦测距方法【1 7 】【1 8 】，利用对同一个物体的两次或者多次散 焦图像采集，通过运算来获取景物的深度信息。这种方式的有点是摄像机标定 相对比较简单，不需要立体匹配的支持；缺点是测距精度不够准确，误差较大。 上海大学硕十学位论文 摄像机的标定是研究机器视觉的一个基本的出发点和关键点。常用的摄像 机标定法分为以下几类：直接线性变换法、透视变换算法、T s a i 的二步法 1 9 1 、 双平面标定法、张氏平面标定法【2 0 1 。其中张氏平面标定法，是种介于传统标 定法和自标定方法之间的新的、更加灵活的方法。在众多机器人研究课题中得 到广泛的应用。 在立体图像匹配方面，是在对空间同一个景物在两个不同视点上的投影图 中，寻找相应点的一一对应关系。目前主要有三种方法：灰度区域相关匹配算 法、基于特征提取的匹配算法、相位匹配算法。这三种匹配算法都依赖于三个 问题的解决，即选择正确的匹配基元、寻找匹配基元间的本质属性以及建立能 够正确匹配所选基元的稳定算法。 在机器人行进路径规划方面，目前大致分为两类：一类是环境己知的全局 路径规划；另一类是基于传感器的环境位置的局部路径规划。前者又称静态规 划；后者又称动态规划。 从全局规划上讲，目前大致有以下几个方法雎“ ：拓扑法、可视图法或称切 线图法、栅格法。拓扑法的优点是降维。它能够将高维的平面空间搜索最优路 径的问题简化成低维的求连通性的问题。但是缺点是建立空间障碍物到低维拓 扑图的过程相当复杂。可视图法或称切线图法。它的本质就是将机器人点、目 标点、障碍物边界点( 或切线) 作为图的端点，从这些端点中寻找一条最优路 径。缺点是该方法需要对障碍物各个端点进行精确标定，比较复杂。并且忽视 了机器人本身的尺寸。栅格法。它是将平面地图进行等量划分成小格，在其中 合并同类项最终得到障碍物的点阵布局和非障碍物的点阵布局。从而进行路线 规划。不过在搜索时需要大量的存储空间。 在局部动态规划方面大致有以下算法盥：人工势场法、遗传算法、模糊逻 辑算法。人工势场法是在环境中建立人工势场的负梯度方向系统的运动控制方 向。目标点对机器人产生引力，而障碍物对机器人产牛排斥力，这样迫使机器 人朝目标点避障前行。不过这类方法的缺点是：1 可能产生陷阱区域；2 在相近 的障碍物之间不能发现路进；3 机器人在接近障碍物时产生振荡：4 在狭窄的通 道中摇摆。遗传算法是一种基于自然选择和自然遗传的全局优化算法。优点是 能够对空间进行多线索并行搜索。缺点是需要的存储空间大运算时间长。模糊 上海大学硕士学位论文 一一一- 一一。一。- 一。 逻辑算法是一种参考人的驾驶经验，通过查表得到规划信息。它能够克服人工 势场的一些不足并且实现简单，实时性好。 1 3 研究目的和意义 机器人自动追踪和避障技术的研究的目的是为了让运动机器人在一定的路 面环境下能够识别出路面、障碍物、背景三者的区别，标定出障碍物的位置， 测定障碍物的距离，从而构建出有效的、准确的障碍物地图。然后依据此地图， 机器人能够就某个目标进行追踪，并且在追踪过程中，对障碍物实施相应的规 避策略。 运动机器人在工、农业生产、科研勘探、高危环境下施工、仿真领域都有 非常广泛的应用。因此对于该课题的研究，除了使得运动机器人可以完成自动 追踪、自动驾驶、自动避障功能之外，在研究过程中，通过对机器视觉、机器 人控制、信息表达、人工智能等领域的研究，可以进一步丰富和扩充这些领域 中的理论基础和实践经验。对于生产、科研、勘探领域都具有重要的学术价值 和社会、经济意义。 1 4 本文所做的工作 基于机器视觉的运动机器人避障与自动追踪技术是一门涵盖多个学科以及 工程领域的综合性课题。本文参考了大量的国内外文献、技术资料以及工具文 档，提出了运动机器人系统的设计思想和框架结构，并且在具体的实现过程中， 就一系列理论难点和工程问题展开了研究与开发。具体研究内容及相关工作主 要包括：两路视频数据采集的协作与同步：摄像机标定与双目变焦视觉测距； 路面分析与障碍物提取；障碍物位置图的构建以及行进路线的选择；P L C 模块 以及机器人控制 1 两路视频数据采集的协作与同步 主要解决多通道数据的融合与同步。系统将两个摄像机相对固定在运动机 器人平台上，手工调整好其相对位置；实现时，两路视频数据的采集分别进行， 同时在内存中开辟两块缓存来存放视频数据，并且设置了同步保护，以防止数 据在多线程运行环境下的变量冲突。实验表明这样可以有效避免内存冲突，从 上海大学硕L 学位论文 _ - - 一- - 一。_ 一- 一 而保证两个摄像机采集数据的同步性。 2 摄像机标定与双目变焦视觉测距 本文使用张氏平面标定法对实验所用摄像机进行了标定，得到了摄像机的 内部参数，为视频测距提供了精确的参数。并且提出一种改进的变焦测距方案， 使得传统双目视觉测距系统的测量范围得到更好的延展性，测量精度有了更好 的自适应性。文中提出了测距系统的“灵敏度”定义，它是衡量系统有效量程 和测量精度的重要指标。根据灵敏度函数的具体标定，提出了自适应的变焦测 距策略，在实际的测量应用测试中收到了较好的效果。 3 路面分析与障碍物提取 使用经典图像处理算法对视频信号分析和处理，实现了对路面、障碍物、 背景三者的有效分离和提取。在通过模板匹配算法提取障碍物信息，为视频测 距以及二维地图的构建提供了有效的数据信息。 4 障碍物位置图的构建以及行进路线的选择 本文采用动态原点方法，以运动机器人当前位置点为原点，1 0 米范围为有 效距离，构建出运动机器人当前所处环境中障碍物地图。并且采用二级目标的 动态路线规划算法，来制定运动机器人的运动路线，为有效控制运动机器人的 行进动作，做出正确的选择。 5 P L C 模块以及机器人控制 使用O M R O NS Y S M A CC P M 2 A 可编程控制器( P L C ) 作为信号处理和中 继节点。其R S 2 3 2 接口接收来自主机的串口信号；其输出端子则分别向遥控发 射装置输出信号；P L C 内部是一个不断循环的监听程序，负责将不同的输入信 号翻译成对应的输出信号，实现了运动机器人的自动控制。此外，本文还对机 器人的基本动作进行了步长标定，以及将简单动作设计成可拼接的模块，实现 了复杂机器人动作的可扩展性。 在技术研究和系统开发的过程中，本文的创新点主要有：( 1 ) 在视频采集 框架中自定义了m y S a m p l e G r a b b e r 滤境，实现了图像格式从D i r e c t S h o w 框架到 O p e n C V 框架的转化；( 2 ) 在双目测距系统中，本文提出了一种自适应变焦测距 方案，使得测距系统的测量范围得到更好的延展性，测量精度有了更好的自适 应性；( 3 ) 在图像匹配算法方面，本文提出了一种两步模板匹配算法，在保证 上海大学硕士学位论文 匹配质量的同时，有效提高了模板匹配算法的效率。 1 5 本章小结 本章对课题来源、研究背景、国内外研究现状等作了较为细致的说明，进 而说明本文研究的学术价值和社会、经济意义所在，最后概述了本文的主要工 作。 r 1 海大学硕上学位论文 一。一。一- 一一- 一- - 第二章运动机器人自动追踪与避障系统原理与实 现方案 运动机器人自动追踪与避障系统是将视觉测距、图像处理、路径规划、自 动控制等技术融合在一起的综合系统。运动机器人能够实时采集周围环境的图 像信息，确定周围障碍物的位置和深度信息，并且根据预先设定的特征识别出 跟踪目标，参照障碍物地图实施动态路进规划，实现追踪过程中的自动避障功 能。本章将说明运动机器人自动追踪与避障系统的结构与原理，并将讨论系统 的框架和实施的总体方案。 该系统通过双目摄像机进行视频信号的双路采集，利用经典图像处理算法 分析路面图像，并提取出其中的障碍物。然后通过图像匹配算法，建立两路视 频信号中障碍物点的一一对应关系。视觉测距技术则是以视差公式为依据，以 障碍物点在相对投影位移差为参数，计算得出障碍物的深度信息和相对位置， 从而构建出障碍物地图。路线选择策略则是依照障碍物地图以及跟踪目标，动 态规划机器人的行进路线，并将相应的指令发送到R S 2 3 2 接E l 。P L C 模块则是 一个指令接收转换中继，它监听主机串口信号，并将相应的控制信号对应于P L C 的不同输出端子，触发遥控器发射控制信号，控制运动机器人的行进。该系统 的各个模块相互独立，衔接有序，采用面向对象设计思路搭建框架，并使用多 线程技术提高实时性，具有很好的可扩展性和可移植性。 2 1 运动机器人自动追踪与避障系统框架 运动机器人系统按照硬件模块划分，可以分为三个组成部分：机器人模块、 主机模块、P L C 模块。 上海大学硕士学位论文 - 。一- - 。一一一。一一。一。- 一 摄像头oH 无线信号发射罄 摄像头1H 无线信号发射器 运动机器人一一一) ，_ _ _ - - _ ，_ - ， 网 机器人幢块 无线信号接受器卜- 一视频采集卡。 无线信号接受器H 祝频采集卡I 莲 匮垂圃 唑竿蚓 匦巫H 藩阚 图2 1 运动机器人自动追踪与避障系统框架图( 硬件模块划分) 如图2 1 所示，机器人模块由1 台运动机器人、2 个无线摄像机组成，是运 动、追踪、避障的实施丰体：主机模块是由1 台配有双路视频采集卡以及C O M 接口的个人计算机( P C ) 和2 台可分频无线信号接收器组成，主要负责视频信 号的捕捉、处理、采样、图像分析、目标确定、测距、地图构建、路线规划、 决策信号输出等核心运算任务；P L C 模块则是由1 台O M R O NS Y S M A CC P M 2 A 可编程控制器和1 台遥控发射器组成，它是运动机器人行进信号转换中继，也 是控制信号的实际发送者。其中，机器人模块主要是运动的主体，搭载双目摄 像机采集视频信号，并通过无线信号发射器向丰机发送视频信号；主机模块包 含无线视频信号接收装置，配合双路l O m o o n s 视频采集卡进行视频捕捉，并将 采样图像进行分析，分离路面、背景、障碍物以及目标物体，并利用双目视觉 测距技术获取各个物体的景深信息，从而构建出二维地图，然后规划路线发送 运动控制信号给P L C 控制模块；P L C 模块接收来自主机模块的串口信号，通过 监听不同地址的寄存器内部值，判断识别不同的控制信号，从而触发不同的输 出端子，发射相应的控制信号，控制运动机器人的行进。 如果按照软件标准划分，主要可以分为：双路视频采集模块、视觉测距模 块、路面分析模块、地图构建以及路线规划模块、P L C 控制模块这5 个主要功 能模块。 上海大学硕上学位论文 。- - 。一- - - - 一- 。一 型型塑H 塑却橐繁 一 l模块 摄像头1 H 无线信号发射器卜7 7 口一无线信号接受器H 视频采集卡l 遥控 接收器 ! 墨坌型II 壁堑丝坚II 堕堡塑堡 路面分析模块 I 矗篓 双目视觉测距l 祝觉测距模块 - - 一一一屯亘歪酬蓉霉H 豸誉襄翥l II 及障碍物地图l ll 障碍物位置以l l 地囤构建和路线规划糗 图2 2 运动机器人自动追踪与避障系统框架图( 软件模块划分) 如图2 2 所示，其中视频采集模块完成视频信号采集、无线传输、捕捉、采 样、帧同步等功能，并且需要将采样图像做格式转换，使之更适应图像处理模 块的需要；路面分析模块丰要完成图像分析、背景分离、路面提取、目标物和 障碍物识别、图像匹配等功能；视觉测距模块是利用视差原理，根据物体在左 右两幅投影图中水平方向视差计算出景深信息；地图构建和路线规划模块是根 据相似三角形原理，参照各个物体的深度信息，计算得到各物体的水平方向偏 移量以及尺寸信息，标定其位置，从而构建出二维地图，然后根据该二维地图 动态规划运动机器人的行进路线，并实时修正行进策略，向P L C 模块发送控制 信号；P L C 模块是一个不断循环的监听程序，通过事先约定寄存器地址和特定 变量，监听从R S 2 3 2 串口发送来的不同信号，从而触发不同的输出端子，发射 相应的控制信号，控制运动机器人的行进。 2 2 系统设计的总体方案 运动机器人自动追踪与避障系统的主要目标是完成运动机器人从视频采 集、图像分析找到路面中的障碍物以及追踪目标，利用双目测距技术恢复出各 个目标点的景深信息并且制定出以运动机器人当前位置点为原点的地图，然后 根据此地图制定行进路线实施目标追踪、自动避障等任务。系统的总体实现方 - J ：海大学硕士学位论文 。一一- 一- 。一。一。- 一。一。一 案如下： 2 2 1 双目无线摄像机以及双路视频采集 由于机器人处在远程工作环境下，要求机器人将视频信号从远端传输回主 机模块。因此，本文所用的视频采集系统由2 个可分频无线摄像机、2 个可分 频无线信号接收器、2 个1 0 M o o n s 视频采集卡组成。2 路无线信号分别使用 2 4 1 4 G H z 以及2 4 6 8 G H z 的传输频率分别进行发射和接收，确保2 路信号不会 相互干扰影响视频质量。 2 路视频捕获要解决多通道数据的融合与同步、双目摄像机的标定等关键 问题。系统设计时将两个摄像机相对固定在运动机器人平台的支架上，并调整 好其相对位置，再实现时两路视频数据的采集分别进行，同时在内存中开辟两 块缓存来存放视频数据来避免内存竞争。系统借助时间戳保证两个摄像机采集 数据的同步性。 2 2 2 摄像机的标定与视觉测距 摄像机标定的目的是确定摄像机的图像坐标系与空间参考坐标系之间的对 应关系。只有当摄像机被精确地标定以后，才能根据图像平面中的二维坐标推 导出对应物体在三维空间中的实际位置。二者之间的关系是由摄像机成像几何 模型所决定的，其中的参数包括摄像机内部参数和外部参数。内部参数是摄像 机本身所具有的诸如焦距、光心等属性；外部参数则指摄像机的成像平面在世 界坐标系中的位置和姿态信息。为了获取这些参数，需要预先知道物体表面若 干控制点在摄像机成像平面中的二维坐标以及它们在三维坐标系中的坐标值。 利用这些对应关系，就能计算出摄像机的参数。 本文在比较了各种摄像机标定技术之后选用张氏平面标定法对2 路无线摄 像机进行了标定。得到摄像机的内部参数之后，利用视差公式计算出目标物体 的深度信息。在实验的过程中，我们发现传统双目摄像机测距系统中，由于摄 像机焦距固定、2 个摄像机相对位置固定、角度固定、摄像机畸变、分辨率不 足等原因，测距系统在测量范围和测量精度上存在局限性。针对这个问题，我 们通过分析双目测距系统的理论基础和实验数据，给出了“灵敏度“ 定义，用 一卜海大学硕：十：学位论文 。_ 一- - 。- - - 一。一。一 来衡量测距系统的测量理论测量精度。依照“灵敏度”参数，我们制定了一个 自适应的变焦测距策略，使得双目测距系统在不同测量要求下拥有更好的延展 性和自适应性。 2 2 3 路面分析与障碍物提取 路面分析和障碍物提取是将采样得到的2 路视频图像信号分别通过经典图 像处理算法实现背景、路面、障碍物三者的分离。其中使用到色彩空间转换、 平滑降躁、均匀性图处理、二值化、膨胀处理、腐蚀处理、路面采样、种子填 充算法、反向种子填充降躁等算法，最终分离背景、路面、障碍物。在通过使 用模板匹配算法，来对2 路图像信号中的障碍物建立一一的对应关系。从而为 视觉测距提供可靠的参数。 2 2 4 障碍物地图的构建以及路线规划 通过路面分析模块和双目测距模块，系统得到了路面中各个障碍物以及目 标物体的位置信息。根据相似三角形原理通过平面几何计算，系统以运动机器 人当前位置为原点，建立一个动态的，实时的障碍物地图。地图中包括障碍物 位置、障碍物大小、目标位置、目标大小等信息，并且根据实时的视频图像采 集、分析和测距结果，不断更新物体与运动机器人的相对位置，即地图中各个 物体的坐标。 路线规划模块采用网格表示方法，对障碍物地图进行进一步处理，得到地 图的相应网格矩阵。矩阵由一个1 0 0 x 1 0 0 的整型数组表示，它是点阵型障碍 物地图的归并表示方法，它将复杂且数据量庞大的6 4 0 x 6 4 0 障碍物地图图像 归纳于1 0 0 x 1 0 0 的网格型地图。这样的转换不仪提高了决策的速度，降低了 图像信号中躁点对决策过程的干扰，同时也为“分级目标路线规划策略“ 提供 了很好的数据结构和表达方式。 分级目标路线规划策略是一种将行进过程中的全局目标和局部目标分开管 理路线规划策略。在路线决策的整个过程中，全局目标保持不变，局部目标动 态修正，这是确保运动机器人在行进过程中既能在全局追踪目标物体，又能在 局部实施有效避障的关键。 上海大学硕十学位论文 。一。- - - 一。- - _ - - 一。- - 一 2 2 5P i _ C 控制模块 可编程控制器，简称P L C ( P r o g r a m m a b l el o g i cC o n t r o l l e r ) ，是指以计算机 技术为基础的新型工业控制装置。它采用可以编制程序的存储器，用来在其内 部存储执行逻辑运算、顺序运算、计时、计数和算术运算等操作的指令，并能 通过数字式或模拟式的输入和输出，控制各种类型的机械或生产过程，P L C 及 其有关的外围设备易于与所设计的控制系统形成一个整体，易于扩展，我们采 用O M R O NS Y S M A CC P M 2 A 可编程控制器以及1 台遥控信号发射器作为P L C 控制模块。P L C 控制器中运行一个不断循环的监听程序，对于P L C 低位寄存器 进行监控，一旦当这些寄存器中的值满足信号触发条件，则将相应输出端子连 通，即接通遥控信号发射器，将相应的控制信号传送到远端运动机器人，实施 行进。如图2 3 所示，P L C 输出端子o h 0 1 1 0 0 - - 一c h 0 1 1 0 3 分别连接到遥控信号发 射器的前、后、左、右信号输出端子。P L C 地线C O M 端子则连接遥控信号发 射器接地线端子。通过发送R S 2 3 2 串口信号，丰机程序可以改变并且控制P L C 的输出，从而达到连通遥控信号发射器相应端子，触发控制信号的目的。 图2 3P L C 控制模块示意图 I ：海大学硕上学位论文 一。一- - 一一。一。一- 一- - - 。一 2 3 本章小结 本章讨论了运动机器人自动追踪与避障系统的理论原理、框架结构以及设 计思路，通过对系统的硬件划分说明了体系结构，软件划分说明了系统的设计 原理和实现流程，并讨论了系统实现的方案。 运动机器人自动追踪与避障实现了运动机器人从2 路视频信号的捕捉、采 样、同步，通过无线信号发射，传递给主机端。然后通过路面分析模块分离和 提取障碍物。通过视觉测距模块得到各个目标物体的深度信息和相对位置信息。 通过地图构建和路线规划模块构建出基于运动机器人的动态障碍物地图并且动 态规划行进路线。P L C 模块则是将丰机端发出的行进决策信号转换成相应的 P L C 输出端子，将实际的控制信号通过遥控发射器传送至运动机器人。从而实 现了运动机器人自动追踪目标和追踪过程中避障的功能。 上海大学硕J j 学位论文 。一一- 。一。- 一- - 。- - 一- 一 第三章双目视频采集框架 在视频捕获时，我们基于M i c r o s o f t 的D i r e c t S h o w 实现了对现场视频的实 时捕获。D i r e c t S h o w 是W i n d o w s 上一种较为通用的视频捕获方法，可以通过建 立滤镜图( F i l t e rG r a p h ) l 拘方式简单快速地实现视频捕获。它可以根据不同的采集 卡，选取相应的编码或者解码滤境，并通过滤境的组合获取每帧的位图图像因 而可以很方便地对每一帧图像进行处理。 在图像处理时，我们基于I n t e l 的O p e n C V ( O p e nS o u r c eC o m p u t e rV i s i o n L i b r a r y ) 开源机器视觉函数库。O p c n C V 是一种得到广泛使用的通用图像、视 频函数库。它对于许多经典图像处理函数都有非常规范的c 语言实现，并且提 供方便易用的调用接口。 所以，我们设计利用D i r e c t S h o w 在视频捕捉、采样和渲染等方面的效率优 势结合O p e n C V 在图像处理领域具有丰富的库函数的优势，将两者有效地结合 起来。即以D i r e c t S h o w 搭建视频采集框架，以O p e n C V 作为图像处理的主要工 具，使用自定义采样滤境( m y V i d e o G r a b b e r ) 将D i r e c t S h o w 采样得到的位图图 像转换成O p e n C V 中图像存储格式I p l l m a g e ，从而在D i r e c t S h o w 和O p e n C V 之 间搭建起一个桥梁，将两者有效地整合在机器人自动追踪与避障系统当中。 3 1D i r e c t S h o w 简介眩2 1 D i r e c t S h o w 是一个w i n d o w s 平台上的流媒体框架，它的基本原理是多媒体 数据在过滤器图表( F i l t e rG r a p h ) 中流动，通过过滤器图表中各过滤器( F i l t e r ) 实现在功能，最终实现多媒体数据在渲染过滤器( V e n d e f i n gF i l t e r s ) 中的显示 和回放。它支持多种多样的媒体文件格式，包括A S F 、M P E G 、A V I 、M P 3 和 W A V 文件，同时支持使用W D M 驱动或早期的v F w 驱动来进行多媒体流的采 集。D i r e c t S h o w 整合了其它的D i r e c t X 技术，能自动地侦测并使用可利用的音 视频硬件加速，也能支持没有硬件加速的系统。D i r e c t S h o w 大大简化了媒体回 放、格式转换和采集工作。与此同时，它也为用户自定义的解决方案提供了底 层流控制框架，从而使用户可以自行创建支持新的文件格式或其它用途的 上海大学硕士学位论文 。一。一- - - 。- 一。- 。一_ 。- 一- 一。一。一。一 D i r e c t S h o w 组件。D i r e c t S h o w 是建立在组件对象模型( C O M ) 上，对于大部分 的应用，用户不需要实现自己的C O M 对象，D i r e c t S h o w 提供了大部分常用的 D i r e c t S h o w 组件。用户也可以根据自身需要，自行开发D i r e c t S h o w 组件。 3 1 1 Oir e c t S h o w 中的滤镜及其连接 2 2 滤境( F i l t e r ) 是一个C O M 组件，由一个或多个P i n 组成。它是D i r e c t S h o w 工作的基本单元，也是模块化工程中的一个部件。滤境中的连接前后滤境的是 P i n ，它也是一个C O M 组件。滤境文件的扩展名为a x ，但也可以是d 1 1 。滤境根 据其包含I n p u tp i n 或O u t p u tp i n 的情况( 或在F i l t e rG r a p h 的位置) ，大致可分为 三类：S o u r c eF i l t e r ( 仅有O u t p u tp i n ) 、T r a n s f o r mF i l t e r ( 同时具有I n p u tp i n 和O u t p u t p i n ) 币lR e n d e r e rF i l t e r ( 仪有I n p u tp i n ) 。 一般情况下，创建F i l t e r 使用一个普通的W i n 3 2D L L 项目。而且，一般F i l t e r 项目不使用M F C 。这时，应用程序通过C o C r e a t e l n s t a n c e 函数F i l t e r 实例；F i l t e r 与应用程序在二进制级别的协作。另外一种方法，也可以在M F C 的应用程序项 目中创建F i l t e r 。这种情况下，F i l t e r 不需注册为C O M 组件，F i l t e r 与应用程序 之间的协作是源代码级别的。滤境是一个独立功能模块，最好不要将滤境依赖 于其他第三方的D L L 。因为滤境具有C O M 的位置透明性特点，滤境文件可以 放在硬盘的任何位置，只要位置移动后重新注册。但此时，如果滤境依赖其他 D L L ，则滤境对该D L L 的定位就会出现问题。 滤镜之间使用P i n 来连接，其过程是将滤镜只有加入到F i l t e rG r a p h 中并且 和其它滤镜连接成完整的链路后，才会发挥作用。滤镜之间的数据传送是通过 S a m p l e 来传送的。S a m p l e 是