简论置信基于彩色图像分割的置信传播快速立体匹配算法学术论文下载

1、简论置信基于彩色图像分割的置信传播快速立体匹配算法学术论文下载    摘要：本文采用了一种基于彩色图像分割和置信传播相结合的快速立体匹配算法。对于已经校准好的两幅图像，首先采用均值漂移算法对彩色图像进行图像分割，然后采用区域匹配算法进行快速初始立体匹配，再采用左右一致性校验法滤除误匹配点，得到初始视差图以及各个区域的视差平面模板。最后采用置信传播算法对获得的视差平面模板进行全局优化，得到各个区域最优视差平面模板，从而得到最终视差图。实验结果表明，采用区域匹配与全局优化算法相结合，不仅提高了立体匹配速度，同时也保证了匹配质量。关键词：图像分割 均值漂移算法

2、 置信传播 立体匹配1007-9416（2013）01-0115-031 引言立体匹配是双目立体视觉系统中最重要也是最困难的一部分，是三维重建的核心技术。立体匹配实际上是对左右两台摄像机从不同视点看同一景物，在左右两幅图像重叠区域寻找对应点的过程。它利用空间物体点在左右摄像机中的成像模型来获取成像偏差的过程。按照约束方式的不同，立体匹配算法可分为区域匹配算法和全局匹配算法。按照匹配基元的不同，立体匹配算法分为基于区域的匹配算法、基于特征的匹配算法和基于相位的匹配算法。然而，基于区域的匹配算法对光照强度和对比度的变化非常敏感，同时匹配窗口的选取也是一个难点，当图像存在纹理特征重复和遮挡现象比较严

3、重的情况下，会引起匹配混淆，错误匹配概率较高。基于全局的匹配算法，如图割算法、置信度扩展34和动态规划5等算法能够对整个图像进行有效的约束，匹配结果也较局部匹配算法精确，但是实时性不好，匹配时间过长。本文主要是针对局部匹配算法和全局匹配算法的缺点和不足，采用了一种基于区域匹配与全局匹配算法相结合的算法，来提高双目立体匹配的效率，增强立体匹配算法的实时性。首先，利用均值漂移算法6对左右两幅图像进行彩色图像分割，再使用NCC相似度测量计算相关度，得到初始匹配视差图；其次，引入置信度的概念，针对大的遮挡区域和低纹理区域中置信度低的区域，取邻域相关系数最大的视差值；最后，对边缘像素进行修正，并对整个视

4、差图进行滤波从而得到效果精确的视差图，用来检验匹配算法的精确性。2 基于均值漂移算法的彩色图像分割在双目立体匹配中，图像分割对获取视差平面方程有着重要作用。图像分割主要是根据图像中的颜色信息，将颜色相同或者相似的相邻像素点划分为同一个区域，从而将整幅图像分割成颜色相同或者近似的区域，并将同一个区域内所有像素点的视差分布用某个视差平面方程来表示，以此得到图像的视差图。Fukunaga7首先提出了均值漂移算法，Cheng8改进了均值漂移算法中的核函数和权重函数，并将其应用于聚类和全局优化，从而扩大了该算法的应用范围。近年来，均值漂移算法也被广泛应用于图像分割和追踪等计算机视觉领域，并取得了较好的效

5、果。均值漂移算法是结合图像像素点的颜色信息和周围空间的分布特性之间的关系，沿着平均梯度方向找出每个像素点的相似颜色收敛点，根据收敛点的不同而划分不同的区域，从而实现图像分割。改进的均值漂移定义如下：（1）其中，为不同样本点到中心样本点的不同距离对偏移向量的不同贡献而引入的核函数权值，（2）H为一个对角矩阵，（3）即 （4）从而，（1）式可以变为（5）为体现样本点重要性的权重系数，；为核函数，它决定了采样点与核中心x之间的相似性度量；本文采用单位高斯核函数，令（6）前面（5）式可以变为如下，（7）其中 （8）Mh（x）表示加权平均偏移向量，指向概率密度梯度方向，则mh（x）可以看成是样本点沿着概

6、率密度梯度方向偏移后的样本点。在已知G（x）和w（xi）的情况下，根据式（8）进行迭代会收敛到待漂移样本点附近的概率分布密度峰值处。迭代步骤如下：（1）首先，在特征空间中任意选择初始搜索区域圆，设置其搜索半径和误差阈值；（2）根据式（8）计算圆中采样点的均值mh（x），判断是否满足| mh（x）-x|<，则停止循环，否则进入步骤3）；（3）令x=mh（x），继续返回第一步开始循环。采用均值漂移算法对图像进行分割之后的效果图如图1所示。3 区域匹配区域匹配算法主要是以一幅图像中某一个待匹配点的灰度邻域作为匹配模板，然后在另外一幅待匹。    当于通过

7、置信传播算法求取图像的精确稠密视差图。采用置信传播算法就是采用消息传输机制实现置信度最大化，即实现马尔科夫随机场最大概率分布，即是实现全局能量函数的最小化。定义全局能量函数为：（13）其中d表示整幅图像的视差分配，N表示图像中所有像素的四邻域点集，dp表示点p所分配的视差值，平滑项V（dp，dq）表示两配的图像中搜索具有相似灰度值分布的对应点邻域，从而完成两幅图像的匹配。区域匹配效率高，而且实现也比较简单。但在匹配的过程中也需要考虑匹配窗口的大小，而且搜索过程也需要满足一定的阈值条件。区域匹配中代价函数是用来计算图像间像素的相似性的源于：毕业设计论文网测量函数。常用的代价函数主要有绝对灰度差和

8、SAD（sum of absolute difference），归一化互相关NCC（normalized cross correlation），灰度平方差和SSD（sum of square difference）等。对于立体图像对，假设I1和I2分别表示左右图像对的灰度函数，I1（x，y）和I2（x，y） 分别表示左右图像坐标为（x，y）的像素点的灰度值，（x，y）为左图像中心像素点，d表示该点的视差值，那么，上述相似性度量函数公式为：绝对灰度差和SAD（9）归一化互相关NCC（10）灰度平方差和SSD（11）经过实验结果对比，决定选用NCC作为区域匹配的测度函数。各代价函数求得的视察效果图

9、如图2所示。     区域匹配中，匹配窗口的大小难以选择，所以本文采用自适应窗算法，该算法详细步骤如下：（1）设定初始匹配窗口的大小为3*3；（2）将窗口的沿上、下、左、右四个方向分别向外扩展一个像素点的大小，判断此时窗口内包含的像素点是否超过规定阈值，若超过，则停止，否则继续执行下一步；（3）记录此时窗口的大小，以左图像的该像素区域窗口作为模板，在右图像中进行匹配，记录此时得到的视差值为d1，之后再以右图像的该像素区域窗口作为模板，在左图像中进行匹配，记录此时得到的视差值为d2；（4）比较d1和d2的大小，若d1=-d2，则记录此像素点视差值为d=d1

10、，否则令d=0。4 置信播算法进行模板视差最优分配通过区域匹配得到的视差平面模板不够精确，只考虑了模板内像素点之间的影响，而没有考虑到区域块间的相互影响。本文采用全局匹配算法置信传播算法对初始视差平面模板进行全局优化，从而得到更加精确稠密的视差图。置信传播算法主要是利用消息传输和置信度传输机制来实现全局能量函数的最小化的。4.1 置信传播算法原理将马尔科夫随机场应用于立体图像对中，将立体图像对中的参考图看成是一个无向图V，每个像素点看成一个节点X，每个像素点的视差值看成是该像素点的状态，即无向图的势函数，建立图像的马尔科夫随机场模型。此时，求取立体图像的最优视差分布即可看成是求马尔科夫随机场的

11、最大概率分布。通过对立体匹配过程中不同区域视差规律的分析，利用贝叶斯定理得到的马尔科夫随机场后验概率分布可简写为：（12）其中D为图像的视差分布，I为立体图像对，E为全局能量函数。由（12）可知，求取马尔科夫随机场的最大概率分布的过程即是求立体匹配全局能量函数最小化的过程。即求马尔科夫随机场分布最大后验概率就相当于通过置信传播算法求取图像的精确稠密视差图。采用置信传播算法就是采用消息传输机制实现置信度最大化，即实现马尔科夫随机场最大概率分布，即是实现全局能量函数的最小化。定义全局能量函数为：（13）其中d表示整幅图像的视差分配，N表示图像中所有像素的四邻域点集，dp表示点p所分配的视差值，平滑

12、项V（dp，dq）表示两相邻像素点p和点q分配视差dp和dq时的视差不连续惩罚量，P表示图像中像素点的集合，数据项Dp（dp）表示p点视差为dp时非相似性测度。若某个视差分配使该全局能量函数最小，则该视差分配即为图像的最终视差图。置信传播算法的消息迭代传输：（14）mtpq（dq）表示第t次迭代时点p传输给视差值为dp的邻域点q的消息，表示视差搜索空间范围，N（p）表示点p的四邻域集， N（p）q表示点p的三邻域集，它不包括接收消息的点q。经过T次迭代后，消息传输趋于稳定，此时可通过置信度传输计算图像中各个像素点的置信度，计算点p置信度的公式为：（15）图中各个像素点的最佳视差可以通过最小化置

13、信度获得，计算点p的最佳视差d*p的公式为：（16）4.2 置信传播算法的改进多，数量庞大，也大大增加了算法计算量。而且图像中可能存在单个像素点畸变，如果使用这些畸变像素点进行消息传输，会大大降低算法的精度。本文引入图像分割的思想，采用基于分割区域之间的置信度传播，用每个分割区域代替单个像素点，显著提高了立体匹配的速度。5 实验结果本文实验所采用的立体图像对来自于美国Middlebury大学计算机视觉研究中心提供的立体图像数据库。其中主要对384x288的Tsukuba测试图像进行求取视差图的仿真实验。计算机硬件条件为：双核CPU，主频为1.99GHz，内存为2G。软件编译环境为VC2008和

14、Matalb2008。本文采用BM（Block Matching）、SGBM（Semi-global BM）以及GC（Graph Cut）算法求得的视差图分别与本文算法所求得的视差图效果以及时间上进行比较，视差效果图对比如图3所示，匹配耗费时间对比列于表1。BM、SGBM速度快，但视差图效果不好，GC视差效果好，但熬时多，本文匹配算法结合各种匹配算法的优缺点，在精度和速度之间进行权衡，得出的视差图更加精确，且速度与单独使用全局匹配算法GC图割算法相比，有了很大的提高。6 结语本文采用的是区域匹配与全局匹配相结合的立体匹配算法，解决了区域匹配算法存在的一些问题，如匹配窗口的大小难以选择、若左右两

15、幅图像存在重复结构的纹理特征或者存在遮挡现象引起的匹配混淆等。采用改进的置信传播算法，用分割的区域块代替原始的像素点之间的匹配计算，减少了匹配所用的时间，同时也可以得到精确稠密的视差图。参考文献 Pedro F. Felzenszwalb ， Ramin Zabih， Dynamic Programming and Graph Cut Algorithms in Computer VisionJ. In IEEE Transactions on Pattern Analysis and Machine.Intelligence， 2011：721-740.3 Q. Yang， L. Wang，

16、 R. Yang， H. Stewenius， and D. Nister，“Stereo matching with color-weighted correlation， hierarchical belief propagation， and occlusion handling，”J.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008（31）： 492-504.4 Klaus，A. Sormann，M. Karner，K. Segment-Based Stereo Matching Using Bel

17、ief Propagation and a Self-Adapting Dissimilarity Measure. Pattern Recognition，2006. ICPR2006.18th International Conference， 2006：15-18.6 Comaniciu D， Meer P. Mean shift analysis and applicationsC. International Conference on Computer Vision， 1999： 1197-1203.    （1）： 32-408 Cheng Y Z. M