（系统工程专业论文）未知环境中基于视觉的移动机器人障碍物检测研究.pdf

摘要 根据周围环境信息，检测障碍物是移动机器人导航技术研究的一 个重要内容。本文研究的是未知环境中移动机器人基于视觉的障碍物 检测。主要的研究内容包括：图像自适应分割、立体视觉标定、立体 视觉障碍物检测三个部分。 图像自适应分割部分分析了颜色的色彩系统，研究了各类图像分 割的方法，然后提出了当机器人行进路面颜色基本一致时，采用自适 应分割的方法可初步划分出可疑障碍物区域。 立体视觉标定部分是立体视觉障碍物检测研究的前提。该部分简 单介绍了摄像机模型、各坐标系之间的关系：同时由于实验过程中， 我们采用的立体视觉系统是通过控制摄像头和云台的旋转，构成类似 于双摄像机平行放置的系统，因此我们提出了一种直接利用投影直线 相交的原理对立体视觉摄像机系统进行标定的方法。该方法简单，计 算量较传统标定方法明显减少。 立体视觉障碍物检测部分提出直接选取待判断区域的对角线作 为研究对象，通过空间点三维重建获得图像中点的三维信息，然后根 据其高度值判断是否为障碍物区域。 通过对以上内容的研究可知：如果对图像中的每个像素都应用立 体视觉的方法来检测障碍物，则计算非常复杂，而单独应用自适应分 割的方法又无法识别一些伪障碍物区域，因此，本文提出了一种基于 自适应图像分割和立体视觉方法相结合的障碍物检测算法。首先实时 提取机器入行进参考路面的平均色度值，对图像进行自适应分割，初 步划分出可疑障碍区域；然后选取可疑障碍区域对角线上的点，运用 立体视觉的方法进一步提取出可靠的障碍区域。同时，本文找到并且 理论证明了两摄像机平行放置时，左右图像中区域对角线的对应关 系。在此基础上进行图像的匹配搜索，减少了搜索区域。 最后，通过实验验证了上述方法的正确性和可行性。本文摄像机 标定部分采用m a tl a b 编程，移动机器人障碍物检测系统是在v c + + 环 境下开发的，实验结果表明该系统能适应光照条件变化，快速可靠地 检测出移动机器人行进前方的障碍物。 关键词自适应分割，标定，立体视觉，障碍物检测 a b s t r a c t o b s t a c l ed e t e c t i o n ，a c c o r d i n gt ot h er o b o t se n v i r o n m e n ti n f o r m a t i o n , p l a y sa ni m p o r t a n tr o l e i nt h er e s e a r c ho fn a v i g a t i o nt e c h n o l o g yf o r m o b i l er o b o t i nt h i sp a p e r , m o b i l er o b o t so b s t a c l ed e t e c t i o nb a s e do n v i s i o ni nn n k n o w ne n v i r o n m e n ti sr e s e a r c h e d i ti n c l u d e st h r e ep a r t s ： a d a p t i v ei m a g es e g m e n t a t i o n ，s t e r e oc a l i b r a t i o na n do b s t a c l ed e t e c t i o n b a s e d0 1 1s t e r e o v i s i o n d u r i n gt h ep a r to fa d a p t i v ei m a g es e g m e n t a t i o n , t h ec o l o rs y s t e mi s a n a l y z e d ，a n dt h e n s o m ek i n d so fm e t h o d sf o ri m a g es e g m e n t a t i o na t e s t u d i e d u s i n gt h em e t h o do fa d a p t i v ei m a g es e g m e n t a t i o n , i tc a nd e t e c t t h es u s p i c i o u so b s t a c l ea r e ap r i m a r i l y , w h e nt h ec o l o ro ft h er o a db e f o r e r o b o ti se s s e n t i a l l yc o n s i s t e n t b e f o r ew eu s et h es t e r e o v i s i o nm e t h o dt od e t e c to b s t a c l e s w e s h o u l dc a l i b r a t et h ec a m e r as y s t e m t h ec a m e r am o d e la n dt h er e l a t i o n b e t w e e ne a c hc o o r d i n a t i o ns y s t e ma r es i m p l yi n t r o d u c e di nt h ep a r to f c r m e r ac a l i b r a t i o n i nt h ep r o c e s so fe x p e f i m e n lw eu t h ec a m e r a s y s t e ms i m i l a rt ot h es y s t e mo ft w oc a m e r a sa r ep a r a l l e l ，w h i c hi sg e tb y c o n t r o l l i n gt h em o v e m e n t o ft h ec a m e r aa n dp l a t f o r m a c c o r d i n gt ot h i s ， 8c a m e r as y s t e mc a l i b r a t i o nm e t h o di sp r e s e n t e d u s i n gt h et h e o r yo f i n t e r s e c t i o nb e t w e e nt h et w o - p r o j e c t i o nl i n e s t h i sm e t h o di ss i m p l ea n d t h ec a l c u l a t i o ni ss h a r p l yr e d u c e d i nt h ep a r to fs t e r e o v i s i o n , w eu s es t e r e o v i s i o nm e t h o do nt h e d i a g o n a l so ft h es u s p i c i o u so b s t a c l ea r e a s ，w h i c hi sg a i n e db ya d a p t i v e i m a g es e g m e n t a t i o n a n dt h e3 di n f o r m a t i o nc a r l b eg a i n e db y3 d r e c o n s t r u c t i o n , t h e nt h er e a lo b s t a c l ea r e ac a l lb ee x t r a c t e df r o mt h e s u s p i c i o u sa r e aa c c o r d i n gt ot h ea r e a sh e i g h t t h r o u g ht h er e s e a r c h o fa b o v et h r e e p a r t s ，w ek n o wt h a ti f s t e r e o v i s i o nm e t h o di su s e df o re v e r yp o i n to ft h ei m a g e ，t h ec a l c u l a t i o n w o u l db ec o m p l e x , b u ti ft h ea d a p t i v ei m a g es e g m e n t a t i o ni su s e da l o n e ， s o m ef a l s eo b s t a c l e sc a n tb ed e t e c t e d s oaf a s tf e a s i b l eo b s t a c l e d e t e c t i o nm e t h o di sp r e s e n t e di nt h i sp a p e r i t ，c o m b i n e st h ea d a p t i v e i m a g es e g m e n t a t i o na n ds t e r e o v i s i o nm e t h o d t h ea l g o r i t h mf m s f l y e x t sa v e r a g ec h r o m ao fr e f e r e n c er o a di nr e a lt i m ea n ds e g m e n t st h e i m a g e sa d a p t i v e l yt od e t e c tt h es u s p i c i o u sa r e ap r i m a r i l y s e c o n d l y ，i t d e t e c t st h eo b s t a c l ea r e a sc l e a r l yu s i n gs t e r e ov i s i o no nt h ed i a g o n a l so f t h es u s p i c i o u so b s t a c l ea r e a s t h ec o r r e s p o n d i n gr e l a t i o n s h i pb e t w e e n a r e a sd i a g o n a l so ff i g h t - a n d l e f ti m a g e si sp r o v e dw h e nt w oc a m e r a sa r e p a r a l l e l b a s e do nt h i s ，t h em a t c ht i m e c a i lb ed e c r e a s e dg r e a t l y e x p e d m e n t sh a v es h o w nt h a ta l lt h e s em e t h o d sa l ec o r r e c ta n d f e a s i b l e i nt h i sp a p e r t h ec a l c u l a t i o no fc a m e r ac a l i b r a t i o nu s i n gm a t l a b p r o g r a m m i n g ，a n dam o b i l er o b o to b s t a c l ed e t e c t i o ns y s t e mi se s t a b l i s h e d u n d e rv c + + e n v i r o n m e n t t h er e s u l t ss h o wt h a tt h i ss y s t e mc a na d a p tt o t h ec h a n g e so fi l l u m i n a t i o n sa u t o m a t i c a l l ya n dq u i c k l yd e t e c to b s t a c l e s r i g h tb e f o r et h em o b i l er o b o t k e yw o r d s a d a p t i v es e g m e n t a t i o n ，c a m e r ac a l i b r a t i o n , s t e r e o v i s i o n ， o b s t a c l ed e t e c t i o n 1 1 i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特另吐加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在在论文中作了明确的说 明。 作者签名：盘堡! 鱼日期：兰卫让月翌日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：塑导师签名：二趣丕碰日期：皿年互月望日 硕士学位论文 第一章绪论 1 1 课题的研究意义 第一章绪论 自主移动的机器人在未知环境中导航的一项基本功能是对周围环境信息进 行理解，快速识别和检测出障碍物，确定移动机器人的可行区域，然后做出相应 的避障决策，控制执行机构完成各种运动操作，实现导航功能，并保证移动机器 人处于最佳的运动状态。 随着机器人技术的发展，它们的工作环境也从单纯的室内环境变成了今天的 各种环境，包括天空、地下、地面等。其中地面作为人类大部分活动的场所，地 面移动机器人的研究是最广泛的。由于机器人所处环境是多变的、不可预测的， 且机器人所要完成的任务也越来越复杂，因此如何在未知环境下检测出障碍物并 对障碍物实现实时避障是移动机器人技术关键中的关键。 根据统计，人类接受的信息8 0 9 6 以上是来自视觉“，人类视觉为人类提供了 关于周围环境最详细可靠的信息。近年来，视觉传感器在移动机器人导航，障碍 物识别中豹应用越来越受人们重视，一方面由于计算机图像处理能力和计算机相 应技术的发展，加之视觉系统具有信号探测范围宽、目标信息完整、获得环境信 息的速度快等优势“；另一方面由于激光雷达和超声的原理都是通过主动发射脉 冲和接受反射脉冲来测距的，多个机器人一起工作时相互之间可能产生干扰，同 讨它们对一些吸收性或者透明性强的障碍物无法很好的识别啪。在移动机器人导 航避障的实际应用过程中，为了达到一定的实时性我们不需要像人类视觉一样来 区分不同的外界事物，简单的避障功能只需要能分辨可行区域和障碍物区域，能 得到障碍物的一些深度及位置信息，以及根据得到的障碍物信息采取相应的避障 措施即可。因此，视觉导航技术成为移动机器人的关键技术之一。它的主要功能 包括对各种道路场景进行识别和理解、障碍物的快速识别和检测，从而确定移动 机器人的可行区域。 本论文的研究目的就是设计一种基于移动机器人视觉信息的障碍物检测系 统，能利用摄像机所拍摄的图像信息划分出机器人行进道路上的可行区域和障碍 物区域，并得到障碍物的位置信息，提供给机器人导航的避障控制系统。课题研 究与开发的内容来源于国家自然科学基金重点项目“未知环境下移动机器人自主 导航控制的理论与方法的研究”( 批准号：6 0 2 3 4 0 3 0 ) 和中南大学科学研究资 金项目“基于选择性关注机制的环境认知理论与技术研究”( 批准号： 1 8 1 l 一7 6 1 7 6 ) 。 硕+ 学位论文 第一章绪论 1 2 国内外研究现状 未知环境下的移动机器人的障碍物很难给定一个确切的概念。可以说障碍物 是随机出现在机器人的行进过程中，形状不可预测的三维物体。目前一般对障碍 物的定义主要分两种情况：一种是对比较平坦的地面上而言，如室内地板或菏速 道路上，障碍物被定义为高出或低于地面的且大于一定尺寸的物体；另一种是在 非结构化道路或越野等情况下，大于一个极限坡度，移动机器人无法逾越的区域。 总的来说，障碍物是机器人在行进过程中随机出现的，形状不可预测的物体，我 们很难对其下一个万能的定义。从直觉上讲，任何在机器人行进方向上形成一定 阻碍作用的物体都可以称为障碍物“1 。 在移动机器人导航过程中，要实现能够在道路和野外连续地实时自主运动， 避障是不可缺少的一部分，而且其对实时性要求也比较强。近年来，利用视觉传 感器实现移动机器人导航，障碍物识别的应用也越束越受人们重视。视觉避障的 主要功能包括利用视觉信息对各种场景进行识别，从而确定移动机器人的可行区 域。其关键技术是障碍物的检测与识别“1 国内外学者在这方面做了不少的研究 工作。 目前，基于视觉信息的障碍物识别研究得较深的主要方向有四个： i 根据颜色信息进行图像分割检测障碍物。 这种方法主要是利用道路与障碍物的颜色差异来区分可行区域与可疑障碍 区，采集的图像必须是彩色。颜色的表色系统主要有r g b 、h i s 、y u v 三种， 一般地，移动机器人视觉避障系统主要采用h i s 表色系统。由于不同物体很少 具有相同的色度和饱和度，同时强度分量受环境光照影响大，但对颜色分割的影 响不大。因此，在区分可行区域与障碍物时，采用h i s 表色系统的色调h 和饱 和度s 作为判别依据1 。对亮度图像进行直方图阈值分割，可分离出可行区域 与可疑障碍区。如美国u s c 大学s o c i a l l ym o b i l e 和t h en e r dh e r d 9 1 实验系统 研究的多机器人系统，c m u 研究的室外机器人“，割草机“”，中国科学院研究的 仿生机器鱼“”等研究应用中都涉及用到基于颜色信息来检测障碍物。 但是在实际过程中，由于阴影、水迹、树叶等颜色与路面颜色不一致的缘故， 可能被误划分为障碍物区域，所以我们只能把通过颜色信息划分出来的区域称为 可疑障碍物区域。 2 利用边缘检测技术检测出障碍物及其边缘信息。 图像最基本的特征是边缘，边缘是图像区域和另一个属性区域的交接处，是 区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中 的地方，图像的边缘包含着丰富的信息“”。提取出边缘能将障碍物和背景区分开 2 硕士学位论文第一章绪论 来。因此，图像的边缘提取在机器人视觉系统的避障中起着非常重要的作用。近 年来，国内外对边缘检测技术做了不少新的研究“。现有的图像边缘提取方法可 以分为三大类：一类是基于某种固定的局部运算方法，如：微分法，拟合法等， 它们是属于经典的边缘提取方法其中微分算子包括常用的罗伯特交叉算子 ( r o b e r t sc r o s s ) 、索贝尔算子( s o b e l ) 、拉普拉斯高斯算子( l o g ) 和c a n n y 算子。 相比而言，c a n n y 算子提取的边缘最为完整，但处理时间要长。几种算子共同的 优点是计算简单、速度较快，缺点是对噪音的干扰都比较敏感：第二类则是以能 量最小化为准则的全局提取方法，从全局最优的观点提取边缘。如松弛法，神经 网络分析法等“”。k i n g i 6 l 等提出的模糊边缘检测方法能有效地将物体从背景中分 离出来，是一种值得重视的方法，但该方法有运行速度缓慢和造成细节信息丢失 韵特点。国内一些学者提出了一种改进的新的模糊边缘检测，在质量和速度上都 得到了改善“”第三类是以小波变换“”、数学形态学、分形理论“”等近年来发展 起来的高新技术为代表的图像边缘提取方法。小波变换有良好的时一频局部特性， 非常适合于图像处理。另外在高速公路上由于背景多为天空、山、和树木等。所 以使用图像分形维法提取边缘是较好的工具。一般说来，天空、山和树木等背景 分形维较小，而人造物如汽车等障碍物的边缘分形维较大。分形维的最大优点是 对噪音极不敏感，鲁棒性很高。 边缘检测的缺点是提取出边缘不仅仅是障碍物的边缘，也可能是路面的裂缝， 阴影，及周围环境等等且在越野环境下不适合。 _ 3 利用光流场的计算实现障碍物动态检测。 物体带光学特征部位的移动投影到图像平面上就形成光流。光流表达了图像 韵变化，它包含了运动物体豹信息，可用来确定观测者对目标的运动情况。这种 方法只适应检测较近的动态障碍物，但机器人能产生迅速连续的反映。光流场的 计算最初是由h o r n 和s c l m n c k 于1 9 8 1 年提出的乜1 1 ，它是一种以灰度梯度基本不 变或亮度恒定的约束假设为基础的。到目前为止，各式各样的光流场计算的新的、 改进算法不断涌现。其中许多是基于一阶时空梯度技术的。”。利用它实现障碍物 豹检测有两条途径8 “。一种途径是基于光流的分析，模仿昆虫的视觉行为。这 种方法分成两步，首先通过分析图像序列的光流场而得到机器人的自运动，然后 将二维光流场的发散性作为障碍物的定性度量。d l a m b r i n o s 等就模仿蜜蜂的 视觉机制研制了基于光流场的能在走廊行走的机器人。另一种途径是建立起一种 基于光流的视觉与行为模型啪删，当机器人处于工作环境时，若机器入的前方存 在障碍物，那么在运动过程中视觉所产生的光流则与标准环境下的光流场有所不 同。 光流场法虽然能够把光流计算得到的运动量作为一个重要的识别特征来判 3 硕十学位论文第一章绪论 断运动障碍物，缺点是当障碍物与背景图像的对比度太小，或图像由于噪音、阴 影、透明性、遮挡性等原因时汹1 ，会使得计算出的光流分布不是十分可靠、精确， 同时光流场的计算也很耗时。优点是在机器人执行任务时，不需要进行摄像机校 准和三维环境重建，利用这样的视觉与行为模型驱动，通过光流场的计算获取障 碍物的信息能够加速机器人与环境之间的信息交互，减少机器学习的复杂度，实 时的对环境变化做出较快反应。 4 利用立体视觉的方法，根据图像中像点的高度，用它判别图像中的像点是 否位于地面上”“，或者应用单应用矩阵的方法判断像素点是否在地面上“。这 其中美国火星探测车勇气号( s p i r i t ) 和机遇号( o p p o r t u n i t y ) 的障碍物检测就 是基于此方法，先对摄像机拍摄的图像做一定处理后得出其层次图( e l e v a t i o n m a p ) ，根据此信息识别出障碍物( 大于车的体积或大于车轮) ，且通过立体匹配 的方法抛掉那些不属于行进道路的像素点，建立一个障碍物的远近层次图，当前 时刻只考虑较近的层次的障碍物。 美国的c a r n e g i e - m e l l o n 大学的机器人研究所对视觉环境识别与定位的开发 方面也做了大量研究工作“1 。该研究所在1 9 9 5 年7 月进行的无人驾驶车辆横穿美 国的实验，全程2 8 4 9 英里，其中大部分的路程( 9 8 2 ) 都是自主驾驶。这辆车被 称为n a v l a b 5 ，包括一个g p s 接受器，一前视摄像机用来检测前方道路及障碍物。 目前正在进行多目立体视觉障碍物快速检测技术的研究，如研究的三目立体视觉 算法，可以检测高速公路上1 0 0 米处1 4 厘米高的物体。意大利的p a r m a 大学研制的 a r g o 自主车的视觉环境感知与定位系统，只采用两个摄像机进行立体视觉检测道 路前方障碍物。 目静，用立体视觉实现障碍物检测所面临的难点一是对应点的匹配精度以及 匹配算法的问题，二是计算复杂度实时的问题。 另外还有很多学者着眼于用对称点，基于三维重建的重投影变换哪的立体视 差分析，神经网络等方法来解决障碍物酊检测。如s t a n l e y ”1 提出了基于神经网 络的机器人视觉导航技术，将图像特征的变化与机器人的位置变化对应起来，通 过神经网络训练来近似特征雅可比矩阵的逆阵。 通过对以上几种障碍物检测方法优缺点的研究，本文提出了一种基于图像自 适应分割和立体视觉相结合的障碍物检测方法，在满足了机器人实时性要求的同 时，可有效地检测出机器人前方的障碍物。 1 3 论文安排 本文研究的是未知环境中基于视觉的移动机器人障碍物检测，主要涉及到的 内容包括：图像分割，立体视觉标定，立体视觉障碍物检测，以及利用自适应分 硕十学位论文第一章绪论 割和立体视觉相结合的障碍物检测方法。 其内容安排如下： 1 第二章中介绍了本论文研究的移动机器人硬件平台、机器人的视觉系统以 及障碍物检测系统最终要达到的目标，障碍物检测的算法原理，系统的基 本框架。并对各部分的理论和实现方法进行了简单描述。 2 第三章则研究了基于自适应分割的初步障碍物检测。首先介绍了图像分割 的一些基本理论，图像分割的一般方法，然后根据机器人行进过程中的特 殊要求，提出了一种基于自适应分割的障碍物检测方法。实验表明了该方 法能适应关照等环境条件的变化，初步检测出机器人行进前方的障碍物。 3 第四章主要描述了摄像机模型和立体视觉标定方法。介绍了摄像机的投影 模型，建立了摄像机坐标系、图像坐标系、世界坐标系之间的关系；详细 描述了经典的摄像机标定方法，最后根据我们实验过程中摄像机系统的特 点，提出了一种直接利用投影直线相交的原理对摄像机系统标定的方法。 最后对该方法进行实验，并和经典方法比较，同时通过立体视觉重建的结 果证明该方法的快速和有效性。 4 第五章介绍了基于自适应分割和立体视觉相结合的障碍物检测系统。包括 立体视觉检测障碍物的原理、立体视觉计算的研究，已及两种方法相结合 后的实验结果和分析。 5 。第六章结论和展望，对论文的完成情况作了总结，提出了今后所要研究的 主要方向。 5 硕士学能论文第二章机器人视觉障碍物检测系统的总体框架 第二章基于视觉的障碍物检测系统总体框架 未知环境中移动机器人基于视觉的障碍物检测，是机器人通过自身的视觉系 统平台采集行进前方的图像，然后对图像进行一系列的处理后，把图像划分为障 碍物区域和可行区域，同时返回障碍物的位置深度信息给机器人控制系统。本章 主要介绍基于视觉的障碍物检测系统总体框架，并对系统的各部分做简单的介 绍。在介绍总体框架前，我们先了解机器人视觉的硬件平台。 2 1 机器人视觉系统硬件平台 移动机器人作为一个自主的智能体，感知外界的环境是移动机器人实现自主 导航的一项基本能力，它的主要作用在于外界对象识别、避障和自身定位。移动 机器入的传感器部分包括视觉传感器部分、激光雷达部分、光纤陀螺仪、倾斜仪 等【3 6 1 。 整个系统分为基站部分和车体移动部分。移动机器人通过无线网卡可以与基 站进行通讯，基站试验人员可以通过移动机器入传输过来的i 蛩像等信息对它进行 检测和遥控。 机器人的视觉系统由一台摄像机、旋转台、图像采集卡、图像处理机以及基 站部分组成，如图2 - 1 所示。 图2 - i 机器人视觉系统 视觉系统的各部分中最主要的显然是摄像机、图像采集卡，下面是对我们实 验用的摄像机和采集卡的介绍。 6 硕士学位论文 第- 二章机器人视觉障碍物检测系统的总体框架 2 1 i 摄像机及采集卡 严格来说，摄像机是摄像头和镜头的总称，镜头或称摄像头的c c d ( c h a r g e c o u p l e d d e v i c e ) 即电荷耦合器件。而实际上，摄像头与镜头大部分是分开购买 韵，用户根据目标物体的大小和摄像头与物体的距离，通过计算得到镜头的焦距， 所以每个用户需要的镜头都是依据实际情况而定的。镜头相当于人眼的晶状体， 如果没有晶状体，人眼看不到任何物体；如果没有镜头，那么摄像头所输出的图 像就是自茫茫的一片，没有清晰的图像输出。当人眼的肌肉无法将晶状体拉伸至 正常位置时，也就是人们常说的近视眼，眼前的景物就变得模糊不清；摄像头与 镜头韵配合也有类似现象，当图像变得不清楚时，可以调整摄像头的后焦点，改 变c c d 芯片与镜头基准面的距离( 相当于调整人眼晶状体的位置) ，可以将模糊 ，的图像变得清晰。镜头的选取以及与摄像头的配合是很关键的。不过，随着市场 韵发展，人们的需求，厂商们已经将一些适应大部分应用的镜头和摄像头集成的 摄像机直接向用户提供，方便很多且价格适宜。因而，在构建我们的硬件平台时， 采取直接贿买适应理论计算参数的摄像机。 我们选用了如图2 - - 2 左图所示的s o n ye v i d i o o p 型号的摄像机。该摄像 机封装简易、紧密，可在远程控制旋转倾斜变焦的运作下获得高质量的彩色图 像。具有高速、在宽视场范围内旋转倾斜运作安静，同时具有4 0 倍变焦。可 快速稳定地自动聚焦及自动曝光来控制背光补偿，词时适于用光线不好的条件 下。摄像机通过r s 2 3 2 串口进行通信和控制，可以实现旋转、俯仰、调焦，视觉 云台水平旋转可以为士1 0 0 瘦，俯仰角可以为2 5 度。 图2 - 2s o n ye v i l o o p 该摄像机的主要技术指标如下： 视频信号n t s cp a l 图像传感器1 4t y p es u p e rh a dc c i ) t m 7 硕+ 学位论文第一二章机器人视觉障碍物检测系统的总体框架 像素7 6 8 ( h ) 4 9 4 ( v ) 水平解像度4 7 0 t v1i n e s ( w i d ee n d ) 镜头1 0 倍光学变焦，4 0 倍数字变焦，f = 3 1 3 1 ，f 1 8 2 9 水平视场角6 p 喝5 度 最低照度0 5 1 x ( f i 4 ) 信噪比大于5 0 d b 旋转倾斜水平l o o d e g r e e s ( m a x 速度3 0 0 d e g r e e s s ) 垂直2 5 d e g r e e s ( m a x 速度1 2 5 d e g r e e s s ) ( o 0 7 d e g r e e s 误差) 该摄像机通过r s 一2 3 2 c 串口控制计算机可对所有的摄像机远程设置及对旋 转倾斜变焦的远程控制，具有很大的灵活性。e v i l o o p 的c c d 尺寸为1 4 寸。 综合考虑了系统要求和性价比，视频采集卡选用了i v c 一4 2 0 0 视频卡。该卡 支持m p e g 一4 图像压缩标准，数据量更低，l 卡4 路。能提供所有m p e g 格式采集的 编码卡，支持“m p e g1 ”，“m p e g2 ”，“m p e g4 ”，“d i v x ”，“m i c r o s o f tw m v ”， “s i g m ad e s i g nm p e g 4 ”。“h 2 6 3 ”等，采用纯硬件压缩技术，几乎不占用系统 资源。每路帧率为3 0 帧秒。这是第一个完全支持m p e g 4d v r 软件的解决方案， 预览记录程序，带详细文档s d k ( 软件开发包) 。支持高品质和低位速度图像。 可以在5 0 k b 至0 3 m k b 之间调节位速度，从而能够在图像大小和成像质量之问找到 最优平衡点。该采集卡将可以满足使用多个摄像头构成立体成像方式的需要。同 时，移动机器人在运动的过程，需将信息传输回主控计算机( 或计算机网络) 来 进行进一步的处理。因此数据的压缩将是传输的必要，i v c 一4 2 0 0 提供的多种格 式采集尤其是最新的m p e g 4 格式和纯硬件压缩技术，将带了开发的极大便利，以 及大大减少计算机软件处理的时间。 2 1 2 图像采集及其结果 视觉系统要做的第一步就是采集机器人行进前方的图像，如何采集得到适合 于移动机器人处理的图像信息，是实现机器人视觉的前提条件。 当前，在w i n d o w s 平台下开发视频应用程序一般采用两种方式：一种是基 于视频采集卡所附带的二次软件开发包s d k ( s o f t w a r ed e v e l o p m e n tk i t ) 进行a 这种方式的优点是应用方便，容易上手，缺点是对硬件的依赖性较强，灵活性差， 且功能参差不齐，不能充分满足各种视频应用程序的开发需要：另一种方式是基 于v f w ( v i d e of o rw i n d o w s ) 进行的。v f w 技术为m i c r o s o f t 公司于1 9 9 2 年提出 的图像采集技术，具有设备无关性。为开发w i n d o w s 平台下的视频应用程序提供 的软件工具包，提供了一系列应用程序编程接口( a p i ) ，用户可以通过它们很方 便地实现视频捕获”“、视频编辑及视频播放等通用功能，还可利用回调函数开 8 硕士学位论文 第二章机器人视觉障碍物检测系统的总体框架 发更复杂的视频应用程序。它的特点是播放视频时不需要专用的硬件设备，而且 应用灵活，可以满足视频应用程序开发的需要。w i n d o w s 操作系统自身就携带了 v f w ，系统安装时，会自动安装v f w 的相关组件。v c + + 自4 0 以来就支持v f w ， 大大简化了视频应用程序的开发。目前，p c 机上多媒体应用程序的视频部分， 很多利用v f wa p i 开发的。v f w 以消息驱动方式对视频设备进行存取，可以很方 便地控制设备数据流的工作过程。 v f v v 的一个关键思想是播放时不需要专用硬件，为了解决数字视频数据量 大的问题，需要对数据进行压缩。它引进了一种叫a v i 的文件标准，该标准未规 定如何对视频进行捕获、压缩及播放，仅规定视频和音频该如何存储在硬盘上， 在a v l 文件中交替存储视频帧和与之相匹配的音频数据。v f w 给程序员提供v b x 和a v i c a p 窗口类的高级编程工具，使程序员能通过发送消息或设置属性来捕获、 播放和编辑视频剪辑。现在用户不必专门安装v f w 了，w i n d o w s 9 5 本身包括了 f o r 1 i f i n d o w s l 1 ，当用户在安装w i n d o w s 时，安装程序会自动地安 装配置视频所需的组件，如设备驱动程序、视频压缩程序等。 v f w 主要由以下六个模块组成： ( 1 ) a c a r d l l ：包含了执行视频捕获的函数，它给a 文件i o 和视频、 音频设备驱动程序提供一个高级接口； ( _ 2 ) 相s v i d e o d l l ：用一套特殊的d r a wd i b 函数来处理屏幕上的视频操 作； ( 3 ) h c i a d r v , 此驱动程序包括对v f w 的m a 命令的解释器； ( 4 ) a v i f i l e d l l i 支持由标准多媒体i o ( m m i o ) 函数提供的更高的命 令来访问a v i 文件； ( 5 ) 压缩管理器( i c h ) ：管理用于视频压缩一解压缩的编解码器( d e c ) ； ( 6 ) 音频压缩管理器a c m ：提供与i c m 相似的服务，不同的是它适于波形 音频。 v i s u a lc + + 在支持v f w 方面提供有v m 3 2 胁、m s a c m 3 2 i b 、w i n m m i i b 等类似的库。特别是它提供了功能强大、简单易行、类似于m c i w n d 的窗口类 a c a p 。 c a p 为应用程序提供了一个简单的、基于消息的接口，使之能访问 视频和波形音频硬件，并能在将视频流捕获到硬盘上的过程中进行控制。 本文在w i n d o w s 2 0 0 0 环境下，利用v i s u a lc + + 6 0 ，基于w f 技术进行了图 像采集的实验，视频数据的实时采集，主要通过a v i c a p 模块中的消息、宏函数、 结构以及回调函数来完成。视频捕获的一般过程如下图示： 9 硕士学位论文 第_ 二章机器人视觉障碍物检测系统的总体框架 建立捕获窗口 l 登记回调函数 获取捕获窗口的缺省设黄 i 设置捕获窗口的相关参数 1 l 连接捕获窗口与视频捕获卡 工 获取采集设备的功能和状态 工 设置捕获窗口显示模式 上 l 捕获图像到缓存或文件并作 工 终止捕获和断丌连接口 图2 - 3 视频捕获的一般过程 。 图2 4 为摄像机采集的一幅图像。分辨率为3 2 0 * 2 4 0 的2 4 b i t 彩色图像。 2 2 障碍物检测系统 2 2 1 障碍物检测系统的目标 图2 - 4 图像采集结果 本文所提出的移动机器人障碍物检测系统主要完成的任务有： 1 0 硕士学位论文第二章机器人视觉障碍物检测系统的总体框架 1 利用图像分割初步划分出可行区域和可疑障碍物区域； 2 标定摄像机的参数，根据摄像机模型及其参数获取图像的深度信息等； 3 结合立体视觉方法从可疑障碍物区域中进一步提取出可靠的障碍物区 域。 这里所说的可疑障碍物区域是指可能存在障碍物的区域，这是因为在自适应 图像分割后，系统总是不可避免地将图像中一些非障碍物划分为可疑障碍区域， 如地面上的阴影，树叶，反光等。这是由于这些“伪障碍? 的颜色和地面有明显 的区别。在立体视觉的进一步障碍物检测过程中可以完全消除这些“伪障碍” 的影响。 通过上面三个步骤的完成来实现整个系统的目标：利用摄像机所拍摄的图像 信息，划分出机器人行进道路上的可行区域和障碍物区域，并得到障碍物的位置 信息，提供给机器入导航的避障控制系统。 2 2 2 障碍物检测系统算法原理 在自主式移动机器人导航的研究过程中，实时快速的障碍物检测是其中不可 缺少的一部分。由于视觉系统相对于激光雷达、声纳等传感器系统具有信号探测 范围宽，目标信息完整等优势，应用视觉信息进行障碍物检测成为研究的热点闯 题。 利用视觉信息实现障碍检测的方法主要有四个方面：颜色和灰度、边缘、光 流、立体视觉的三维信息“。这其中采用立体视觉的方法检测障碍物的实质是 通过判断物体上的点是否在地面上来划分障碍区域的。立体视觉的方法可得出物 体的高度、距离等三维信息。受环境约束小。且可返回障碍物的环境信息和三维 信息给机器人控制系统。因此，实用系统中更多的是采用立体视觉的方法。 基于立体视觉的实时障碍物检测所面临的最大挑战是图像之间匹配点寻找 韵复杂度和精确度问题。美国c m u 大学的w i l l i a m s o n 等采用多目立体视觉的 方法提高了匹配的精度，g o l d b e r g 侧等人则通过增加图像匹配之前的预处理及图 像之间的约束条件的方法，在匹配精度上取得了较好的实验结果。这两种方法由 于增加了图像处理的数量及次数导致了处理时间增加，虽然可应用在某些特定 的、对快速性要求不高的机器入上，但在其它应用系统中的实时实现较难。为提 高匹配的速度b a t a v i a 等人嘲采用了基于颜色分割和立体视觉单应矩阵相结合 的方法，王辉等人m 则结合了立体匹配和逆投影变换的方法，这两种方法在机器 人行进的过程中，如果表示地面参数的h 矩阵发生较小的变化时，都使得障碍物 检测结果变得不可靠川。 为了解决上述算法存在的问题，本文提出了一种基于自适应图像分割和立体 硕= f ：学位论文 第一二章机器人视觉障碍物检测系统的总体框架 视觉相结合的方法。 由于当机器人行进路面的颜色相对一致时，颜色特征是可行区域和障碍区域 最有效的特征之一“。因此，本文中先利用颜色特征自适应地分割出可疑障碍区 域，然后再进行立体视觉计算时只需在可疑障碍区域搜索即可，这样减少了立体 视觉计算量，提高了算法的速度。 在图像不饱和的前提下，路面和障碍物之间的颜色差异总是存在的。利用这 个特性，我们可初步划分出机器人行进前方的可行区域和可疑障碍区域。本文中 采用实时提取机器人正前方脚下路面平均参考色调和饱和度值、设置自适应的分 割阈值来达到自动适应光照条件变化的图像分割，划分出可行区域和可疑障碍区 域。但在自适应图像分割的过程中，系统总是不可避免地将一些非障碍物划分为 可疑障碍区域，如地面上的树叶，阴影，反光等。这是由于这些“伪障碍”的颜 色和地面有明显的区别。但在后面的立体视觉检测中完全可以消除这些“伪障碍” 的影响。 在对可疑障碍区域进行立体视觉方法进一步可靠检测出障碍区域时，文中采 用简单的摄像机模型两摄像机平行，选取区域对角线进行计算，在保证了方 法可靠性的同时减少了匹配的计算量。 选取区域对角线的原因有两个： 1 区域对角线上的点既可代表不同高度层次上的点，又可反映在某些点上由 于遮挡等原因引起的高度、距离等的突变，可代表区域的整体情况，这样 没必要对区域中的每个像素点进行计算，减少了匹配所需的时间： 2 由两摄像机平行拍摄的图像，当摄像机的畸变较小时，左图像对角线上点 的匹配点仍在右图像相应对角线上，这样匹配运算时只需在相应的右对角 线上搜索即可，迸一步提高了立体视觉的速度。 对图像先进行文中所述的自适应分割，可适应光照条件变化，初步划分出可 疑障碍物，减少了立体视觉搜索范围；同时在应用立体视觉检测障碍时，只选取 区域中具有代表性的对角线上点进行计算，提高了算法的实时性和快速性。 2 2 3 系统框架 通过上一节对机器人障碍物检测系统的算法原理分析，可知提取可靠障碍物 区域主要有两个步骤：图像分割、立体视觉的计算。立体视觉计算需要对摄像机 的标定建模、对角线的提取、对角点的匹配、三维数据的计算等。 本论文研究的范围涉及图像自适应分割、摄像机的标定和建模、对角线的提 取及三维数据的计算。图2 5 是整个障碍物检测系统的框架图。 在图像自适应分割过程中，我们采用h i s 表色系统的色调h 和饱和度s 作为判 硕士学位论文 第二章机器人视觉障碍物检测系统的总体框架 别依据，对采集图像的左图像进行彩色图像分割。每次进行分割前需把图像从r g b 空间转换到h i s 空间。根据当前参考路面区域的色度值调整分割阈值。自动适应 环境场景、光照等因素的变化。可初步划分出机器人行进路面的可疑障碍物区域 和可行区域。 根据立体视觉的方法进一步可靠地检测图像中的障碍物。由于我们采用的方 法是根据图像中的点在世界坐标系中其距离地面的高度值来判断的，所以我们必 须先求解空间点的高度值。计算空间点的三维坐标值必须对双摄像机系统进行立 体视觉的标定，获得摄像机系统的各个参数。 图2 - 5 障碍物检测系统结构框图 摄像机标定的工作是为以后的立体视觉的计算做准备，为了从二维图像中获 硕+ 学位论文第一二章机器人视觉