一种多特征融合的水体障碍检测方法

一种多特征融合的水体障碍检测方法

自智能移动恶意软件的研究以来，检测障碍物一直是研究的热点之一。迄今为止，主要研究的对象是结构或半结构道路上的各种物体，如起伏、行人、道路、树木和建筑物。在不久的将来，在非结构道路上测试不同的复杂地形，而复杂地表环境的地形并不符合平面道路的假设，因此之前的许多结构复杂和半结构环境中的检测技术很难应用。许多军事和民用研究应用，如军事调查、秘密攻击、实地探索和救援，要求机器人在这些复杂的外部环境中能够可靠地检测和避免这种复杂的外部环境。考虑到巨大的应用需求和技术的复杂性，本文强调了这项研究的重要性。在复杂野外环境下工作的智能机器人可能遇到的障碍物是多种多样的,水坑、池塘一类的水体类障碍物就是其中较难检测的类型之一.对于如何有效检测这种类型的障碍物,国内尚无相关研究的公开文献,而国外在此方面的研究成果也不多.Rankin等人通过融合水体的色彩和纹理多种特征来提取水体的区域;Matthies等人则使用短波红外摄像机,通过过滤某些波长的光而在图像中获得所要提取的水体区域,同时尝试在夜间使用了红外热像仪来获得水体信息,并评估了使用激光雷达和彩色摄像机来检测水面的可能性;Sarwal等人则尝试了通过调节相机偏正镜片的角度的方法来提取小水面区域;而Hong等人利用激光在水面多数被镜面反射而不会被反射接收的原理采用融合激光雷达和彩色图像检测了水洼区域.从总体来说,相关的研究还处于起步阶段,上述这些方法对于水体的无倒影区域检测还算比较成功,但是对于水体的倒影区域检测效果则很不稳定,甚至无法检测.因此对于与岸上景物非常相似的倒影区域,需要有更鲁棒的检测手段以确保智能机器人对于这类障碍区域能够进行有效规避.为快速、准确地检测野外复杂环境中的水体类障碍物,特别是对包含倒影的水体区域进行识别,本文提出了一种基于多特征融合的野外水体障碍物检测方法.分别提取水体的亮度和纹理特征信息来检测水体的非倒影区域,并采用了基于立体视觉的方法,利用立体匹配获得的高度和距离信息来检测水体的倒影区域,最终将所有特征有机融合,可以获得较为完整和准确的水体障碍物区域.1非反射区域的提取1.1黑色区域的检测相比周围景物,水体区域具有高亮度的特征.提取图像中高亮度区域的方法比较简单:将采集到的灰度图像进行自适应的灰度阈值分割后便可得到图像中的高亮度区域.如图1所示,黑色区域即为检测得到的高亮度区域.图像中有时存在着位于图像上方的天空区域,它也具有高亮度的特征,因此有必要将其去除.当去除天空区域时,依次扫描自适应灰度阈值分割后图像最上方的一行像素,如果存在高亮度的像素点,则对其进行四连通的区域生长并检测周围是否也存在高亮度的像素点,如果存在,则以其为中心再进行四连通的区域生长,如果不存在,则停止,直到所有点的生长都停止了.最后通过区域生长得到的这片区域即为要删除的天空区域.在去除天空区域后,剩下的高亮度区域基本上就是水面区域了.1.2基于纹理特征的水面检测算法设计一般来说,平稳状态的水体其纹理比较弱,相比之下周围景物的纹理则往往比较强.本文采用基于K均值聚类的方法来提取图像中的弱纹理区域.大致算法如下:首先设置大小为N×N(N=9)的滑动窗口,从左向右、从上往下依次滑动.每滑动一个像素距离,并计算窗口内的纹理相似度式中:Xi为每个窗口内的各个像素值,为窗口内像素和的均值.然后对每个窗口计算得到的Ti值进行K均值聚类,聚为4类,最终提取类中心最小的那一类作为输出结果.基于纹理特征的水面检测结果如图2所示,黑色区域为检测得到的弱纹理区域.2局部立体匹配算法在图像中,水体类障碍物的倒影区域往往具有和岸上景物非常相似的颜色和纹理特征,因此使用普通的图像分割难以进行有效检测.本文创新性地采用了基于双目立体视觉的方法从图像中对倒影区域进行提取.借助双目立体视觉系统对采集的图像对进行立体匹配后,倒影区域可以得到视差,在三维重建后得到的高度图中倒影区域将呈现负的高度,而距离图中倒影区域与其周围区域相比则呈现距离突变的特征,这些是提取倒影区域的重要依据.大致算法流程如图3所示.在匹配之前,首先采用基于针孔模型的方法进行摄像机标定.标定结束后,需要进行外极线配准以方便之后的立体匹配过程.接着,采用归一化交叉相关(normalizedcross-correlation,NCC)作为相似度衡量函数的局部立体匹配算法来得到视差.其衡量像素间灰度相似性的相似性度量公式如下:CNCC(p,d)=∑(x,y)∈WIl(x+d,y)×Ir(x,y)∑(x,y)∈WI2l(x+d,y)×∑(x,y)∈WI2r(x,y)√.(2)CΝCC(p,d)=∑(x,y)∈WΙl(x+d,y)×Ιr(x,y)∑(x,y)∈WΙl2(x+d,y)×∑(x,y)∈WΙr2(x,y).(2)式中:Il和Ir分别为左图像和右图像的亮度值,d为视差搜索范围,W为搜索窗口的大小.根据基线长度,这里设置的视差搜索范围和搜索窗口分别为51和6.匹配后的视差图如图4(b)所示.通过标定参数和匹配后得到的视差便可以获得相机坐标系下的三维坐标,转换公式如下:式中:XC、YC和ZC为相机坐标系下的三维坐标,b为两相机间的基线宽度,U0和V0为相机的光心坐标,f为相机的焦距,D为立体匹配后得到的视差.然后进行坐标系转换,将相机坐标系转换到世界坐标系,以获得世界坐标系下的三维坐标,转换公式如下:式中:X′、Y′和Z′为世界坐标系下的三维坐标;α为相机的俯仰角;T为平移量,T=[B/2,H,0]T,其中B为两相机间的基线宽度,H为两相机光心连线的中心点到地面的垂直距离.由此可知,Y′为图像的高度信息,而Z′则为距离信息.最终得到的距离图和高度图如图4(c)、(d)所示.距离信息已经按大小被归一化至0到255之间,灰度值越小,说明距离越远,越大则距离越近;而高度信息则按是否低于水平面而被二值化,黑色区域即为低于水平面区域,白色则相反.通过距离图可以发现,灰度偏暗的区域多数为倒影区域和岸上的远景区域,倒影区域和周围区域相比呈现出较为明显的距离突变特征.在高度图中,可以看到黑色区域边缘大致体现了水面区域的轮廓.通过灰度自适应分割算法可以得到需要提取的距离和高度区域;而基于形态学的填充以及膨胀腐蚀处理则可以使区域更加完整,边缘更加平滑并去除很多错误的小块区域.最终得到的距离突变的区域和低于水平面高度的区域如图5中白色区域所示.将上述两块区域相叠加,可以得到最终的水体倒影区域,如图6所示.3水体区域的划分在提取水体的亮度、纹理和倒影等多种特征之后,需要将这些特征有机地融合起来以获得最佳的检测效果.融合规则如下:同时具有高亮度和弱纹理特征的区域或者满足倒影区域都将被认为是水体区域,即先前检测得到的水面反光区域加上倒影区域则为完整的水体区域.最后的检测结果如图7所示,白色区域代表基于多特征融合规则得到的水体障碍物区域.可以看出,由倒影区域和非倒影区域组成的水面能够被较完整地勾勒出来,且误判区域较少.4水体标志物检测在实验中,采用的平台是美国RWI公司生产的全地形移动机器人(如图8),并利用其上面的双目立体视觉系统来采集灰度图像对(如图9),图像分辨率为320×240像素,仿真平台为Matlab7.3.图10为部分实验库中的测试图像,图11则为水体障碍物检测的结果.从图11可以看到,由于立体匹配存在对于远距离的区域无法得到较为准确视差的问题,对于较远处的水体倒影区域检测效果也会相对差一些.同时,由于部分近景倒影区域和其周围的岸上景物区域的距离值差别不大,基于灰度自适应分割的算法精度难以提取这部分的区域,因此也往往无法被最终检测出来.实验中通过对350对图像进行检测分析,检测正确率为92.7%,而误检率为5.6%.其中,检测正确率为通过本文算法正确检测到的水体区域占实际水体区域的百分比;误检率则为本文算法误检的区域与实际非水区域的百分比.从中可以看到,本文算法对水体障碍物能够获得比较理想的检测效果.5水体藻类误判的实验本文采用基于图像多特征融合的方法对水体类障碍物进行检测.提出了使用基于立体视觉的方法来提取水体的倒影区域,较好地解决了水面倒影和实际景物难以区分的困难.从实验效果看,水体障碍物区域基本上能