立体匹配十大概念综述

1、立体匹配十大概念综述一.概念立体匹配算法主要通过建立能量代价函数并最小化该能量代价函数来估计像素差异。立体匹配算法的本质是一个优化问题。通过建立合理的能量函数，加入一些约束条件，利用最优化理论求解方程，这也是解决所有病态问题的方法。二、主要立体匹配算法的分类1)根据图像表示的不同图元，立体匹配算法分为：一、区域立体匹配算法(可获得密集视差图。缺点：受图像仿射失真和辐射失真的影响很大；像素约束窗口的大小和形状难以选择。如果选择太大，视差图将在深度不连续处过于平滑；如果选择过小，对像素的约束较少，图像信息没有得到充分利用，容易造成不匹配。)基于特征的立体匹配算法(稀疏视差图可以得到，密集视差图可以

2、通过差异估计得到。可以提取局部特征，如点、线和面，也可以提取全局特征，如多边形和图像结构。缺点：特征提取容易受到遮挡、光照和重复纹理的影响；差异估计的计算量大)基于相位的立体匹配算法(假设局部相位在图像对应点的频率范围内相等，在频率范围内进行视差估计)2)根据不同的优化理论和方法，立体匹配算法可分为：一、局部立体匹配算法B.全局立体匹配算法三。匹配原语目前，匹配算法中使用的匹配基元可分为两类：1)从所有图像像素中提取测量描述符像素灰度值(最简单、直接，但必须在相同的光照条件下获得)局部区域灰度函数(主要利用不同大小的各种窗口中灰度分布的导数信息来描述像素周围的结构向量。)c、图像符号的卷积(用

3、各种尺寸算子对图像进行卷积，使用灰度梯度的局部最大值或最小值作为特征信息，描述整个图像)2)图像特征零交叉B.边缘(边缘是图像特征位置的标志，对灰度值的变化不敏感，是图像匹配的重要特征和描述符)c、角点(虽然没有明确的数学定义，但一般认为角点是二维图像亮度急剧变化的点或边缘曲线上的极端曲率点)4.区域匹配算法其基本原理是给定图像上的某一点，在该像素的邻域内选择一个子窗口，并根据一定的相似性判断基础，在另一幅图像的区域内找到与该子窗口图像最相似的子图像，匹配子图像中的对应像素即为该像素的匹配点。通常，简单的区域匹配会遇到以下限制：1)对于弱纹理或重复纹理的区域，匹配结果不好2)该算法不适用于深度

4、变化剧烈的场景3)对光照、对比度和噪声敏感4)很难选择子窗体的大小V.特征匹配算法特征匹配算法主要基于几何特征信息(边缘、直线、轮廓、兴趣点、角点和几何图元等)。)，并对几何特征点进行视差估计，因此首先要提取图像的特征点，并利用这些特征点的视差信息重建三维空间场景。匹配的主要步骤是图像预处理、特征提取和特征点匹配，得到稀疏视差图。如果你想得到密集的视差图，你需要使用插值方法。六.全局匹配算法全局立体匹配算法主要利用全局优化理论来估计视差，建立全局能量函数，通过最小化全局能量函数来获得最优的视差值。全局匹配算法结果准确，但运行时间长，不适合实时运行。主要算法有图割、信念传播、动态规划等。局部匹配

5、算法(个人感觉类似于区域匹配，但角度不同)主要采用局部优化方法来估计视差值。局部立体匹配算法包括SAD、SSD等。与全局立体匹配算法一样，视差估计也是通过能量最小化方法实现的。然而，在能量函数中，只有数据项，没有平滑项。它可以分为三类：自适应形式立体匹配算法、自适应权重立体匹配算法和多形式立体匹配算法。八、立体匹配约束1)极坐标约束2)唯一性约束3)视差连续性约束4)序列一致性约束5)相似性约束九.判断相似性的标准1)像素灰度差的平方和，即固态硬盘2)像素灰度差的绝对值之和，即SAD3)归一化互相关，简称NCC4)零均值互相关，即ZNCC5)莫拉维克非归一化互相关，即MNCC6)科尔莫格罗夫-斯尔诺夫距离，即KSD7)杰弗里发散8)等级变换(用窗口中灰度值小于中心像素灰度值的像素数替换中心像素灰度值)9)普查变换(根据窗口中心像素的灰度与其他像素的灰度值之间的关系得到一系列的位码，位码的长度等于窗口中的