【基于双目视觉立体车库超限检测技术8900字（论文）】

引言双目视觉是计算机视觉中相当关键的一部分，其原理是：利用相机等成像设备在相同时刻但不同方向上，获取被测物体的两幅图像，之后计算左图像和右图像的同名点之间的位置偏差，再结合相机参数来得到该被测物体的三维几何信息。双目视觉作为一种非接触性的测量，直接模拟人眼处理场景的方式，在实现三维图像建模上具有设备简单、成本低、精度高、性能优异、使用可靠方便等优点，在无人驾驶、三维重建、虚拟现实、视觉导航和安防监控等领域都有广泛应用。一个完整的立体视觉系统主要有：图像收集、图像预处理、相机标定、特征提取、立体匹配、三维重建和后期处理等七个步骤。立体匹配作为双目视觉的重要部分，其目标是找出一幅图像上的每一个像素点在另外一个视角下拍摄的图像上的对应像素点，算出视差图像，故而视差图的优劣直接取决于立体匹配算法的精度。2车辆轮廓检测技术的研究立体车库在车辆尺寸的超限检测的过程中，需要利用两个双目摄像头获取车辆正面和侧面图像信息，通过图像处理技术对图像信息进行处理，以便获得质量更高、清晰度更好的图像。由上述操作得到的图像计算机可以更好地进行下一步处理，得到更为精确的效果。图像处理技术主要有图像滤波、图像增强、边缘检测和特征提取等一些内容。由于立体车库工作环境并不如实验条件下单一，会存在各种噪声对车辆轮廓的提取造成干扰，比如光照、空气、温湿度都会产生一定的噪声。本章也通过算法优化对噪声有所改善，为后续的立体匹配提供更为优质的图像信息。2.1数字图像处理技术介绍图像预处理是图像信息处理中不可或缺的一环。由于测量过程中不可避免的会受到外界的干扰噪声。所以为了提高测量的精度，在图像预处理方面也做了大量工作，通过预处理工作提高图像质量，为下文的车辆轮廓检测和识别奠定基础。2.1.1图像灰度化由于摄像头采集的图像均保留了丰富细节信息的彩色图像，在处理图像时带来了许多困难，也会极大降低图像处理的速度。所以在保留关键信息的基础上提高处理速度，灰度化便是解决方案，灰度化后的图像保留的信息足以支撑系统的需要。灰度化常用的有三种：最大值法、平均值法、加权平均值法(权值分别为0.3，0.59，0.11)。三种方法得到的结果如下图，经对比最优为加权平均值法，本文也将采取此法进行灰度化。图2.1三种方式灰度化2.1.2图像去噪图像获取的过程中不可避免的会在场景内出现各种噪声，极大的影响了所获取的图像质量，从而使提取完整的图像信息变得更为艰难。噪声的出现对视觉测距系统都是一个挑战，会很大的影响测距的精度，所以系统中必然要加入滤波器进行滤波操作。常见的去噪算法有均值滤波、高斯滤波、中值滤波以及自适应中值滤波。为选择更为优质的去噪算法，选取3X3均值滤波模板、3X3的高斯滤波模板、3X3和5X5的中值滤波以及自适应中值滤波进行比较。首先对图像加入0.1%的椒盐噪声，然后对图像进行处理得到图2.2。实验发现均值滤波和高斯滤波效果较差，中值滤波表现较好，自适应中值滤波最佳。图3.2椒盐噪声处理对图像加入0.03%的高斯噪声，然后分别用上述算法对图像进行处理得到图2.3。实验发现均值滤波表现仍很差，3X3中值滤波和5X5中值滤波都出现了一定程度的模糊现象，高斯滤波和自适应中值滤波表现较为出色。图2.3高斯噪声处理为进一步准确的对比各个滤波器的性能，可以通过对比它们处理后的图像与原图像的PSNR和SSIM值，其中PSNR为峰值信噪比，其值越大表示失真越小；SSIM表示结构相似性，其值越接近为1，说明与原图最为接近。从而得到表3.1和表3.2。表3.1各滤波器PSNR值表3.2各滤波器SSIM值由实验数据可知，中值滤波在处理椒盐噪声更具有优势，但是处理高斯噪声时相对较一般；其他滤波器均没有突出表现。综合考虑实验场景的噪声问题，选择性能均衡的由自适应中值滤波。2.2背景差分法提取目标物在图像中提取确定的物体的位置并将其提取出来是本节的首要任务。对车辆尺寸的检测或多或少都会有大量环境因素进行干扰接下来的检测与计算，所以将待测车辆进行目标提取可以很大的提高测量的准确率。本节利用背景差分法对车辆进行提取，以方便接下来的处理。2.2.1背景差分算法原理背景差分法的目的是去除背景的干扰，以便提取前景，简化图像处理的操作复杂度，简言之就是图像的前景与背景之间的差分算法，得到的图像通过图像处理方式进行修补，以达到最优状态，背景差分算法可以计算两幅图像的差异信息，广泛的用于运动物体的检测、目标物的提取等场景。在实际场景中，立体车库的超限检测场景一般是不会发生改变的，摄像头也是固定不变的位置，所以摄像头与背景之间可以保持确定的位置，所获取的背景大小和位置可以默认为静止不变，图像中的车辆可以看作图像中变化的部分，这样便可以利用同一位置的像素点的颜色和灰度值的差异进行提取目标车辆。在实际场景内，车库的背景虽然一般不会改变，但是车库的背景相对繁杂，可能会岀现各种各样的边缘及角点，这对下文的操作，尤其是立体匹配操作极为不利，很容易产生误检点，从而出现很大的误差。基于上面的考虑，本文釆用背景差分法来实现目标车辆的提取。首先对待检车辆进行图像获取，摄像机分别捕捉两张不同时间的图像，其中一张图像为背景图，另一张图像是车辆停在待检区域的前景图片；然后对所得的背景与前景图像进行差分处理，得到目标车辆的图像，由于背景与前景的获取时间不完全相同，存在光照等一些偏差，无法完美提取目标车辆；所以接着需要对所得到得图像进行二值化操作和连通性分析；最终实现目标车辆的提取操作，背景差分提取算法流程图如图2.4所示：图2.4背景差分算法流程图2.2.2灰度二值化处理经过图像差分计算所得到粗略的车辆前景记为D(x.y)，需要对其进行二值化操作，通过设定二值化阈值<5进行判断处理。当像素点灰度值小于该阈值，则将该点的灰度值置为0(黑)，反之为1(白)。经过二值化操作，对应图像背景/(x，切的像素点去除，车体部分由于灰度值较大保存下来，提取的目标图像为如公式（2.1）所示。（2.1）由上述可知，阈值的选取对二值化十分重要，经过査阅文献选取最优阈值法㈣。该方法就是统计图像的中各灰度分布特性，设定相关判据来确定最优阈值δ，选取类别方差作为判据方法。具体算法如下：设图像的灰度级共有m级，则灰度值为k的像素个数有佻那么像素总数N为：（2.2）可知，公式（2.2）中各像素出现的概率为：（2.3）假设以图像灰度阈值z•将灰度图像分为Z和H两个部分，则：（2.4）对应各自的概率为：（2.5）则灰度均值分别为：（2.6）其中，为图像灰度统计的均值。可知L区域和H区域的类间距离为：（2.7）最后可以构造统计量：（2.8）由此可知从灰度级(l，2，3...m)中选取i值，当p2(i)得到最大值时，此时i值便是最优阈值δ.经过如此选取的阈值可以一定程度减轻天气等噪声的影响。2.2.3噪点和连通性处理实验发现，经过二值化处理后的图像并不能满足预想的结果，保存的目标前景区域仍存在各种噪点，在所需的区域内仍然存在或多或少的空隙和不连贯区域，都会对之后的操作带来不可预知的影响。所以采用形态学运算去填充孔洞，连接间隙，最终达到消减噪声的目的。图2.5为最终进行背景差分算法处理后的实验图：图2.5背景差分算法车体目标检测2.2.4背景估计方法在实际测量实验中发现，背景图像容易受场景的环境影响，当时间改变时光照、气候均会发生或大或小的变化，同时部分场景也可能发生抖动也会造成背景图像的改变。当场景中没有车辆时，可能仍能检测到目标，造成误检测。因此通过在不同时间釆集多张背景图像进行平均计算，在一定程度上可以自适应修正背景图。修正方法如公式（2.9）所示。（2.9）由上式可知，如果选取合适的参数M并用多幅图进行平均计算，可以得到一个较为真实、具有一定普遍意义的背景图像。3双目视觉系统硏究与实现SLAM系统需要外部的传感器来获得姿态位置的信息。与其他的传感器相比，立体视觉图像摄影机主要的特点是制造成本低、信息的采集数据容量大。与单目立体的视觉检测技术相比，双目立体的视觉在获得深度数据的过程中，具备了算法单一、实时性好等优势。本文的研究实验系统的软件和平台主要选用了两台双目立体的视觉软件作为研究的传感器，本章以两台常用网络摄像机和一台电脑作为软件和实际研究的平台，详细地介绍了这两台网络图像的基本原理及主要发展阶段：图像标定、图像校正和立体对准、SIFT提取和匹配。3.1相机模型在电脑中，一幅图包含许多个像素，每一个像素有着属于自己的信息。从三维世界中所释放出来的光通过相机的一个光学中心，投射到相机的一个二维成像平面上。摄影头和相机传感器在接受到光后，测量到的数据就是像素。如图3.1所示。图3.1针孔相机在从一个空间点进行投影到另一个平面上的过程中，让投影的中心设定为O，也就是相机的光学中心。其中，以欧几里德坐标系为基础的光学核心位于该坐标系。平面z=称之为图像平面或者是物体归一化成像平面，位于投影的中心前面，是归一化的成像平面。图像独立坐标系的定义就是将一个图建立在带有视觉图像的垂直水平平面上，坐标系中原点和的定义分别为a和c。在一个不同类型的激光照相机中或有别于其他针孔式和像素式激光照相机的三维成像模型中，将三个坐标分别固定为(X，Y，Z)T，根据相似的三角形原理，投影得到像面上每一个点的位置坐标，我们可以被计算成(fx/z，fy/z，f)T。删除最后一个图像的坐标后，将显示从世界坐标到图像坐标的中心映射关系如下：（X，Y，Z)T（fX/Z，fY/Z，f）T（3.1）公式（3.1）描述了三维点与现实世界的三维空间关系，但由照相机获取的三维点是在三维图像表面上进行采样并被精确地量化后的三维点。假设在一个图像的平面上应该有一个像素平面，如图3.2所示。图3.2像素平面图像左上角的点是它的坐标原点，横向像素坐标线和轴u与整个图像立体平面像素坐标系在图中的一个x或y轴和线相等，纵向像素坐标线和轴v与整个图像立体平面像素坐标系在图中的x或y轴和轴大致相等。给出了三维空间点P与其像素坐标(u，v)T的对应关系为：（3.2）其中，f的单位是m，α、β是缩放倍数，α是u轴相对于X轴的倍数，β是v轴相对于Y轴的倍数，同时两个原点也发生了平移，平移是[Cx，C将αf合并为fx，将βf合并为fy，单位为像素，则得：（3.3）3.2双目相机模型包括两个独立的单目摄像机的相机就是双目相机，其成像模型结构如图3.3左图所示。在这两种双目相机中，两种摄像头都是可以被认为是一种单目针孔摄像头。假定左摄像机的投影中心位置为OL，右摄像机的投影中心为OR。请注意，二者之间的距离就是基线。图3.3双目相机的成像模型将一个点P分别从左右两个摄像机进行摄像，P的投影点分别为PL和PR。两个点的位置并不相同摄像机标定的目的是消除图像失真，如图2-4的右图所示。左右两个点的高度相同，只有X轴不同。横坐标uL是PL的横坐标，同样的，PR的横坐标是uR，z是深度值，b是基线的长度，关系是：z−fz=b−uL+u整理得：z=fbd，d=uL−uR（3-5其中d是uL与uR之间的差，而这个视差和被测深度成一个正比，参考线和被测的深度成反比，视差越小，参考线时间越长，双目照相机在其中所可以检测到的深度数值范围就越广。3.3摄像机标定计算机视觉学科研究的主要目的之一就是通过对二维世界图像进行计算，获取三维世界中的环境资料，其中包括地理、形貌、运动、姿势等。所获得的影像位置和时间均与空中物体于其表面的各种几何位移有着紧密联系。这些位置之间的关系是由于摄像机在进行成像时所需要的各种几何模拟测量方法来进行确定的，其中几何参数也统称为相对于摄像机的各种参数。所以，参数的准确性和精度直接影响到我们是否能够从二维画面中准确获得三维的信息。这一个参数采集的过程叫做计算机标准化。必须在指定的三维视图上确定一个点以及它们在各个视图上相对应的二维投射。在平面标定方法中，这些参数可以通过棋盘标定板获得。传统的标定算法主要目的就是选择一个在结构上尚未知、准确性较高的标定相位摄像机对象，并以其作为真实的空间参考摄像机的对象，通过将真实的参考摄像机对象的真实环境特征点和真实的参考摄像机对象的图像特征点之间的相互对应性进行匹配，建立相位摄像机的参数模型约束，然后再通过这个算法进行计算。传统标定法在获得标定参数的过程中具有精度高的优势，但其缺点是需要一个高精度的基准来作为标定的参数。与其他传统的标定技术相比，自标定技术可以在任何时间进行多次标定。主动控制视觉标准化方法就是基于主动控制的摄像机来获取影像数据。这个方法的优点是它的标定时间内摄像机的运行轨迹被认为已经知道两次，因此，对摄像机的参数模型能够进行线性化的求解。它的缺点是它们需要一个高粘度的移动平台，标定费用高。实验中采用普通网络摄像机作为观测传感器，参数固定，无需频繁进行标定。本实验采用了传统标定。以边长28mm、8行6列的方格棋盘为参考对象，如图3.4所示，对摄像机进行标定。图3.4相机图片直接从MATLAB的一个CommandWindow里面进行选择它并输入一个cameraCalibrator即时就可以对其中标定的一个应用程式进行程序调用，如图3.5所示。图3.5matlab标定首先先把之前我们拍摄好的棋盘格图像重新加载到进去，输入每个棋盘格的误差最大和错切的误差最小，之后再次重新选择这个参数，在matlab中再次重新选择如何正确使用这两个参数，并且重新选择了误差最大和误差错切的误差错切和桶型畸变。然后再次点击按钮，在开始的时候再次等待了很长一段时间后，就已经能够实现完成这个目标的设置。并且matlab可以直接实现对图像的比较校正前后，如图3.6所示。点击showundistorted按钮即可直观的在屏幕上看到一个完整的没有任何畸变的图像，如图3.7所示。图3.6matlab矫正图像图3.7matlab无畸变图像随后查看结果，如图3.8所示。图3.8matlab输出结果3.4立体匹配根据三角测距原理，两图对齐，立体视差的计算精度最高，误差最小。立体匹配方法的研究目标之一就是投影两个相同摄像机的影像，使它们能够到同一水平面上，保持光线能够对齐，如图3.9所示。图3.9相机数学对准基于对极几何的基础，左右两侧的图像能够进行完美的匹配。如图3.10所示：图3.10对极几何在三维图3.10中，由于三维空间中两点的角p和两个的点相对于光学摄像机的两个光学图像中心的点来说所决定的光学平面的点c为一个极大的光学平面。基本连线与两个相等于一的摄像机数码图片的一个基线交点结合称为极端，与两个相等于一的摄像机数码图片在一个基线平面上的另一个基线交点结合称做基线极端。同一个图片平面上的所有极点在这个交点处都是相交。其中一条直线PleftEleft是与左图中的一个点Pright相对应的另外一条极线，直线PrightEright是与另外一条右图中的点Pleft相对应的另外一条极线。如果左边的平面Pleft的位置都已知，则右边的平面Pright的外部相应点必须固定在右边的像素所对应的外部极线上，即右边固定在一条直线上；双目视觉检测的一个主要特点便是极线性约束。但另一方面，从极线与约束之间的关系来看，只是因为我们能够让我们清楚地知道它所相互对应的点在右平面上的大小和位置，然而，极线约束给我们提供了从另一幅画中搜索到匹配的对应点的时间和约束条件，从而缩短了由另外一幅绘画中搜索到匹配的相关点至从一条直线上搜索到匹配相关点的时间和搜索速度。因此，极线约束法主要需求摄影机具备以下几个主要优势：在我们进一步认识到双目摄影机之间的极线关系后，两幅摄影机中的所有与该特性相匹配的二维搜索方式便会被转化成为一维搜索。本文通过Bouguet算法，对图像信号进行了校正以此获取深层图像信息。给定的立体投影图像之间的Bouguet投影算法在径向旋转矩阵和径向平移矩阵(R，t)的运动计算基础上，使得每幅立体投影图像再次开始时需要进行一次投影的运动次数最少，观察者看到的图像面积最大。为了减少失真，左右两个摄像头都分别在拍照时完成了矩阵r1、r2，使得摄像头的主光能够指向相反的方向。这样相机的图像与象形物体共面，但无法完成对齐。设置一个极点可以被变换的矩阵Rrect，左视图中的极点变成了无限大，极线也就转变为了水平，摄像机在这个过程中投影到一个正中心左右的一个平移矢量的方向也就是左极点的方向。e1=T//T//，T=[Tx，Ty，Tz]T（e2必须和e1正交。其中，一种简单的计算方法也就是通过选择与激光照相机的相机主轴与光线方向角度正交的距离，可以通过利用下式中的计算得出相机主轴与光线方向之间的叉积。经归一，e2=Tx,Ty,0T2Tx第三个向量e3与e1，e2正交，e3=e1×e2（3所以，将左极点映射为矩阵至无限远的一个行对准变换矩阵定义为：（3.9）通过矩阵r1、r2和Rrect，我们就可以得到Rleft和Rright。（3.10）Bouguet算法使图像的光轴平行于左右，得到一个理想的平行排列的双目系统。切割出正确的非相干场角图像，同时在场角处观看左右极点图像并达到最大化，如图3.11所示。A图像作为校正前的影像，B的影像作为校正后的影像，正确的图像达到直线的对齐。图3.11图像校正结果对比3.5特征点的提取SLAM系统需要采集现实中的信息。标点符号在地图上位置信息，在地图作为一个输入，选择一个现实中的点是很重要的一个步骤。视觉SLAM中的特征点提取算法可以先得到现实中的一个点，将它当作输入点来看待。现在已经有很多检测方法可以实现检测网状特征点，主要目的就是根据网状结构来进行识别，SLAM系统必须通过检测得出稳定的网状图像特征点，如不同的角度和地表光照条件下的位置。特征点的提取需要具有良好的环境适应力，因此必须对特征点的位置进行一次旋转。对于模拟投影，最好用的方法有两种，，一是基于SIFT尺度提取特征二是原点变换式，而SIFT拥有模拟射击不变，并且还有非常高的一致性。因此，SIFT特征点的取得是一种可以有效地与稳定的特征点相吻合并且有效地保持其一致性的最佳方法。其步骤如下：3.5.1建立一个尺度空间复制多个图像进行缩放，建立尺度空间，模拟出一个图像具有多尺度特点。SIFT算法定义图像的尺度空间如下：L(x，y，σ)=G(x，y，σ)*I(x，y)（3-11）I(x，y)是一个二维图像，G(x，y，σ)是一个在大小和长度上具有不同非线性的高斯函数，I(x，y)为二维图像。高斯金字塔从图像中建立，构建log(width)/log(2)-2层次的金字塔，width是其宽度，每个层级的默认四个层次如图3.12所示，显示了高斯核的卷积处理的过程。图3.12高斯金字塔的搭建过程3.5.2建立高斯差分金字塔相同层的图像分别进行差分，则我们可以直接获得高斯差分金字塔(DifferenceofGaussian，DOG)，如图3.13所示。图3.13极值检测为了更好地检测该区域的尺度非常不变的两个特征点，需要更好地检测该区域在图像上的两个相关极值，为了更好地检测DOG的空间极大值和最低极小值，SIFT算法将该区域的邻接层和其所在层3层附近的26个相邻像素的值进行比较。如图3.13所示。如果"叉号"的位置和像素值是大于或等于它们相邻26个像素的值，那么该点就是这个图像上的极大值或最低的值。并将其所处的地理区域进行记录。本文通过实验可以从每个层次金字塔空间中从图像中得到四个不同尺度后可以得到三个不同极值。3.5.3确定特征点特征描述符将坐标轴在某一点上旋转，直到坐标轴与另一点的方向可以重合，并且要确保这个点在某一时刻的旋转不改变。图3.14左中心表示了各个特征点的大小和位置，每个蓝色格子表示与其他特征点相同尺度。计算并进行积累后看到右边的部分窗口每个4*4子块上8个朝向相反梯度方向的不同梯度种子数目，就认为可以直接形成一个新的种子点。4*4=16个种子点同样可以用来构造一个各具8个种子特征的种子点，每个种子具有8个种子特征的都是种子点，每个具有128个特征的种子描述物具有128个维度，邻域的信息和种子方向的信息相互结合的设计思想，既提高了该算法的抵御噪声和稳定性，又为定位误差所对应的功能量提供了较好的适应性。图3.14特征点描述符3.5.4特征点匹配在比较左右图像的特征点及其维度描述符128之后，两个图像的功能节点可以容易地组合。当我们使用一幅图上点去对应另一幅图上的点时，我们对