【《立体匹配算法介绍概述》2500字】

立体匹配算法介绍概述立体匹配技术在双目视觉中占有举足轻重的地位，其大致可以分为以下四个部分，代价计算(CostComputation)、代价聚合(CostAggregation)、视差优化(DisparityOptimization)以及视差填充(ProperInterpolation)REF_Ref60598710\r\h[13]。代价计算，计算左目图像像素点与右目图像像素点之间的匹配程度，并构建三维代价矩阵DSI(DisparitySpaceImage)；代价聚合，由单一像素点的代价值大小来决定当前像素点的视差会容易受到图像噪声的影响，所以需要考虑多个邻域像素点并添加相关的约束条件重新构建并生成新的代价矩阵；视差优化，经过代价聚合后根据WTA(WinnerTakeAll)原则选择最佳候选视差，还需要经过子像素拟合、左右一致性检查、剔除小联通区域等方法对视差图中无效像素点进行标记同时对视差图进行拟合；视差填充，对于视差空洞区域需要选取其周围的有效像素视差值进行空洞填充REF_Ref60758157\r\h[27]。1.1立体匹配算法步骤实现1）代价计算立体匹配的源问题就是为了获得由相机拍摄的左右两目图像中同名像素点的距离，但这个距离无法直接获得。若以左目图像为基准，则需要计算左目图像像素点特征描述基元与右目图像候选像素点特征描述基元的匹配代价，也称为左目图像像素点特征描述基元与右目图像像素点特征描述基元的相似度，即所有可能视差值下对应的匹配代价。特征描述基元的选择主要有点状特征，如图像角点；线状特征，如梯度较大的局部图像边缘；局部区域特征，如局部区域图像信息等。衡量相似度的函数主要分为像素差值衡量、相关性衡量、距离衡量函数。灰度差平方和（SumofSquaredDifferences,SSDREF_Ref65506962\r\h[28]）(2-11)（2）归一化交叉相关（ZeroNormalizedCrossCorrelation,ZNCCREF_Ref65507053\r\h[29]）(2-12)（3）Census变换(2-13)式(2-11)至式(2-13)列出了每种函数中最具代表性的方法。其中，代表视差，代表待匹配的图像区域，，分别代表左目视图与右目视图像素值，，分别代表左右两图灰度图下像素平均值，代表代价值，，代表经过Census变换后的左目图像像素点特征描述基元与右目图像像素点特征描述基元。Census变换REF_Ref65506682\r\h[30]是一种编码变换，与为经过Census编码变换后的图像。该算法按顺时针遍历特征描述基元中某一像素点的邻域模板，若该像素相邻区域像素点值比该像素点大则设为1，反之设为0，通过异或求取左右特征描述基元的汉明距离之和。2）代价聚合代价聚合是为了让聚合后的代价能够将像素之间的联系更好的表达出来，最初的代价计算没有考虑图像的全局信息，易受到局部图像噪声的影响，如高亮区域、纹理较少区域以及纹理存在重复的区域等。局部区域内的匹配代价值无法准确的表达左右目图像对应像素点之间的联系，最直接表现就是左右目图像对应像素之间的匹配代价值并不是最小。代价聚合则是要建立像素之间的联系，每个像素在某个视差值下的新代价会根据相邻像素在同一视差值下或邻域视差值下的代价值来重新计算，生成一个新的代价矩阵。3）视差优化视差优化的目的是为了对通过1），2）步骤后得到的视差图进行进一步的优化，将计算错误的视差去除，提高视差精度。在代价聚合当中获得的视差图精度为整数像素级精度，可以通过像素拟合去获取子像素位置。利用左右一致性检查，唯一性约束以及剔除小连通区域等方法来剔除连通在一起的小块错误匹配像素以及连通成块的错误视差区，最后通过中值滤波对图像噪点拟合，填补无效区域。4）视差填充由视差优化获得的视差图存在视差空洞的情况，视差空洞中的区域可分为遮挡区和误匹配区。遮挡区像素大部分被包含在背景区域像素中，所以应尽量选择周围背景像素视差值作为候选视差值；误匹配区像素不位于遮挡区，其周围像素均是可见的，选择其周围像素视差值的中值即可。图1.4左图红色方框线标出黑色部分为视差空洞部分，右图为填充视差空洞后的图片1.2立体匹配算法选择策略1）局部立体匹配算法局部立体匹配算法指的是基于左、右目图像选取像素点特征描述基元，建立衡量两者相似性的度量函数，在有效的视差搜索范围内，寻找相似性最高的两个位置，获取视差值。基于局部立体匹配算法时间复杂度较低，实时性较好，对于复杂纹理、图像信息丰富区域匹配效果较好，对于简单纹理区域、单一像素值较多区域，如高光、重复纹理区域等部分匹配效果较差。1）可分为三个过程：（1）选取相似性度量函数，以及左、右目像素点特征描述基元，生成视差代价空间DSI；（2）基于局部窗口进行代价聚合；（3）根据WTA即赢家通吃原则求取视差。图1.5局部立体匹配步骤具体过程可由图1.5所示，，分别代表特征描述基元的高度和宽度，代表左目特征描述基元的中心像素点，右目图像中待匹配特征描述基元中心像素点，为视差搜索范围内可能的视差值，即在视差搜索范围内选取具有最小匹配基元代价值作为的视差值.2）全局立体匹配算法全局立体匹配算法的思想是将确定全局最小匹配代价转化为求取某一设定函数的最小值，该函数定义为全局能量函数。与局部立体匹配算法相同，全局立体匹配算法也需要选取特征描述基元，并对视差代价进行计算，构建全局能量函数E(d)，在所有视差可能的取值下，求取E(d)的最优解。(2-14)其中，为数据项，用来代表当前视差下的代价总和，为平滑项，用来表示某个具体场景下的约束。在该算法场景下寻求最优解，被证明为N-PH(Non-deterministicPolynomialHard)问题REF_Ref66901637\r\h[31]，解决此类问题需要较高的时间复杂度，OpenCV在3.0版本以后便取消掉了复杂度最高的GC(GraphCut)REF_Ref66901651\r\h[32]算法的实现。3）半全局立体匹配算法其主要步骤是：（1）依托特征描述基元，计算单点像素的匹配代价。（2）通过多个扫描线，借助代价函数以及平滑约束重新计算代价并进行代价聚合，重新构建视差代价三维矩阵DSI。（3）遍历新的DSI，根据WTA原则，选取代价数组中最小值作为当前视差值。半全局立体匹配方法中的能量函数定义如下所示，(2-15)上式当中，等号右边第一项为代价值求和项，代表在视差为的情况下所有像素点的代价值之和。第二、三项为约束项，，为惩罚系数，代表点的邻域像素集，代表点像素选取视差值，代表点像素选取的视差值。(b)图1.6代价聚合过程以及聚合后的视差代价空间DSI图1.6(a)表示左右、上下路径聚合的过程，图1.6(b)代表代价计算后的DSI，，表示DSI底面的高和宽，像素