基于全局对比度的图像显著性区域检测算法研究

1、Global Contrast based Global Contrast based Salient Region DetectionSalient Region DetectionM Ming-Ming Chenging-Ming Cheng, , TsinghuaTsinghua UniversUniversityityititCVPR 2011CVPR 2011Global Contrast based Global Contrast based Salient Region DetectionSalient Region Detection自动化学院自动化学院汇报人：付忠敏汇报人：付

2、忠敏Main Contents1 234基于直方图对比度的检测方法基于直方图对比度的检测方法基于区域对比度的检测方法基于区域对比度的检测方法总结与展望总结与展望显著区域检测及分析方法显著区域检测及分析方法Salient Region of imagev显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，并且是由颜色、梯度、边缘、边界等图像所致。人们普遍认为，大脑更容易响应图像中的高对比度区域的刺激。文章作者主要依据图像的对比度来进行显著性区域检测。v什么是图像的显著性区域什么是图像的显著性区域? Salient Region DThree Principles1全局对比全局对比倾向于倾向于将

3、大范围的目标将大范围的目标和周围环境分离和周围环境分离，这种，这种对比对比优于优于只在轮廓附近产只在轮廓附近产生较高显著性的生较高显著性的局部对比度局部对比度。3一个区域的对比一个区域的对比度，主要由度，主要由它和它和周围区域的对比周围区域的对比度决定度决定，相距很，相距很远的区域起的作远的区域起的作用较小用较小。2全局的考虑可以全局的考虑可以为图像中为图像中相似的相似的区域分配一个相区域分配一个相近的显著性值近的显著性值，并且均匀的突出并且均匀的突出目标。目标。Two methods of salient region detection1 HC（Histogram Contrast）算法算

4、法视觉系统对图像中像素的色彩差异很敏感。据此，根据源图像的颜色统计特征提出了基于直方图对比的图像像素显著性值检测方法。2 RC（Region Contrast）算法算法人们会更加注意图像中与周围物体对比度大的区域，除对比度外，相邻区域的高对比度比很远区域的高对比度更容易导致一个区域引起人类的注意。 Saliency value of pixel 12( )( , )( , )( , )kkkkNS ID I ID I ID I I=+ IIikkiIIDIS),()(一个像素的显著性值用它和图像中其他像素的一个像素的显著性值用它和图像中其他像素的颜色的对比度颜色的对比度来定义来定义；欧式颜色距

5、离。颜色空间的在和表示像素，式中LabIIIIDikik)(上式展开得：上式展开得：什么是什么是Lab颜色空间？颜色空间？ 在这种定义下，相同颜色的像素点具有相同的显著性值，对式子进行重排，将相同颜色的像素归到一起，得到每种颜色的显著性值。njjljlkccDfcSIS1,)()()(Cl表示像素Ik的颜色；n为图像所含颜色总数目；fj为Cj在图像的所有颜色中出现的概率；D(cl,cj)表示Lab颜色空间中的颜色距离。Saliency value of Saliency value of color0)()(yellowredyellowccDfredS，njjljlkccDfcSIS1,)(

6、)()(国旗中像素国旗中像素Ik的颜色是的颜色是黄色或者黄色或者红色，图像红色，图像所含颜色所含颜色总数目总数目2；)()()(yellowredyellowredredccDccDfyellowS，根据公式计算：根据公式计算：黄色出现的概率接近于0红色出现的概率接近于Zhai和和Shah仅仅使仅仅使用了用了亮度亮度来减少颜来减少颜色的数量，在这个色的数量，在这个基础上他们提出了基础上他们提出了用于图像显著区域用于图像显著区域检测的检测的LC检测。检测。先先将每个将每个颜色通道量颜色通道量化化成成12个个份，份，将颜色将颜色减少到减少到12*12*12，再再将出现频率较小的颜将出现频率较小的颜

7、色丢掉色丢掉，保留，保留高频出高频出现现的颜色的颜色。然而，真彩色空间包含然而，真彩色空间包含256*256*256种可能的颜色种可能的颜色（16万色）万色），比图像的，比图像的像素总数像素总数还还多，计算多，计算代价太高代价太高。方法方法1 1方法方法2 2Saliency value of LC算法缺陷在于忽略了颜色信息的算法缺陷在于忽略了颜色信息的可区别性可区别性。自然图。自然图像中的颜色只占据整个色彩空间很小的像中的颜色只占据整个色彩空间很小的一部分一部分，将出现，将出现频率很低频率很低的颜色丢掉，保留的颜色丢掉，保留高频出现高频出现的颜色。量化后的的颜色。量化后的图像颜色更少，但仍能

8、保证显著性检测所需的视觉质量。图像颜色更少，但仍能保证显著性检测所需的视觉质量。Color histogram quantize颜色量化样例颜色量化样例 HC方法方法速度快速度快，并且产生细节精确的结果，均匀地突，并且产生细节精确的结果，均匀地突出了整个显著性区域。出了整个显著性区域。Salient region detection based on histogram contrastHCHC算法检测显著区域样例算法检测显著区域样例 空间关系空间关系在引起人类注意力方面也起到非常大的在引起人类注意力方面也起到非常大的作用。作用。相邻区域的高对比度相邻区域的高对比度比很远区域的高对比比很远区域

9、的高对比度更容易导致一个区域引起人类的注意。度更容易导致一个区域引起人类的注意。基于此，基于此，提出基于提出基于区域对比度区域对比度的显著性区域检测算法。的显著性区域检测算法。（1 1）先先将将图像分割图像分割为若干区域为若干区域( (参考文献参考文献：Efficient Efficient graph-based image segmentationgraph-based image segmentation. 2004. 2004，IJCV),IJCV),再为每再为每个区域建立个区域建立颜色直方图颜色直方图；（2 2）计算）计算各个各个区域之间的区域之间的颜色对比度颜色对比度，用每个区域和

10、其他，用每个区域和其他区域区域的的对比度对比度加权和加权和来定义来定义其其显著性显著性值值（权值由权值由两个两个区域区域的空间的空间距离距离决定）决定）。Region C 图像分割得到左图，图像分割得到左图，不考虑不考虑距离权值得到中距离权值得到中-左图，左图，考虑距离权值考虑距离权值得到中得到中-右图，二值化得到右图。右图，二值化得到右图。Region contrast based salient region Saliency value of region 。为两个区域的颜色距离，域的颜色对比度以此来突出大区的像素总数表示区域式中Drrwii)()(两个区域两个区域r1和和r2的的颜色距

11、离颜色距离：对每个区域对每个区域r rk k定义定义显著性值显著性值：( )( )( , )kikirkirrS rw r D r r1212121211( ,)( , ) (, ) ( , , )nnrijD r rf c i f cj D c i Saliency value of region 引入引入空间权值空间权值，将空间信息加进来，增加，将空间信息加进来，增加区域区域的的空间影响效果空间影响效果。对于任意区域对于任意区域r rk k, ,基于基于空间加权区域对比度空间加权区域对比度的显著性的显著性值值：)()()(exp()(2ikrirrsikskrrDrwrrDrSik，4 .

12、 0)(sssikiksrrrrD越小，实验中取越大，空间权值的影响度，控制空间权值强的空间距离；和为区域，怎样计算两个区域的距离怎样计算两个区域的距离Ds？Distance of two region 引入引入区域形心区域形心，将，将形心的形心的距离的平方距离的平方代表两个代表两个区域的空间距离。区域的空间距离。AydAyAxdAxAA形心公式形心公式应用到图像处理中应用到图像处理中，将一个像素看成将一个像素看成dA，且为，且为1个单位，则图像的个单位，则图像的面积即为像素点面积即为像素点数目数目，分子上的积分则，分子上的积分则变为所有像素变为所有像素横或纵坐标的和横或纵坐标的和。 The

13、examples of image 基于基于图论图论的图像分割技术的基本思想是将的图像分割技术的基本思想是将图像映射为带权图像映射为带权无向图无向图，把，把像素像素视作视作节点节点，节点之间的，节点之间的边的权重边的权重对应于两对应于两个像素点的个像素点的不相似性度量不相似性度量，该方法具有快速、鲁棒、全局，该方法具有快速、鲁棒、全局最优、抗噪性强、可扩展性好等优点。最优、抗噪性强、可扩展性好等优点。Graph-based image segmentation改变视角，把图像看作一张带权无向图，对于两个像改变视角，把图像看作一张带权无向图，对于两个像素点，所素点，所不同的是颜色不同的是颜色，两

14、个像素点的，两个像素点的不相似度不相似度=边的边的权重权重w(vi，vj)=两个像素点的两个像素点的颜色距离颜色距离D(ci,cj)。 区域区域之间的之间的差别差别定义为定义为连接两连接两区域区域的的所有所有边的边的权重的权重的最小最小值值：一个区域的一个区域的内部差别内部差别定义为本区域定义为本区域所有所有边的边的权重的权重的最大最大值值：Graph-based image segmentation)()(jiCvvvvwMaxCIntji，)()(2121jiCvCvvvwMinCCDiffji，代表代表vi,vj两像素点两像素点的的RGB颜色距离颜色距离同一个区域同一个区域中的元素相似中

15、的元素相似，即，即同一区域中的边应该有同一区域中的边应该有低的权低的权重，内部差别最小。重，内部差别最小。不不同区域同区域中的元素相中的元素相异异，不，不同区域的顶点间的边应该有同区域的顶点间的边应该有高的权重，使区域差别最大。高的权重，使区域差别最大。构造一个构造一个判判定函数定函数来判来判定两区域之定两区域之间是否有间是否有边边界界The priciples of region Graph-based image segmentation Click to add Text Click to add Text Click to add Text分割算法的最终目标是使得区域的分割算法的最终目

16、标是使得区域的内部差别最小内部差别最小，区域之间的差别最大区域之间的差别最大。该分割算法实现简单，计算高效，全局性好，但局部该分割算法实现简单，计算高效，全局性好，但局部细细节容易丢失，判定函数节容易丢失，判定函数和和边权重函数边权重函数是算法关键。是算法关键。Summary and Comparsion HC方法方法速度快速度快，并且产生，并且产生细节精确细节精确的结果，的结果，RC方法同时考虑了方法同时考虑了全局对比全局对比度和度和空间相干性，空间相干性，可以可以产生产生空间增强空间增强的高质量显著性图像，但与此同时的高质量显著性图像，但与此同时具有具有相对较低的计算效率相对较低的计算效率

17、，两种算法均性能优异。，两种算法均性能优异。选择以下现有的显著性检测算法作为对比对象：选择以下现有的显著性检测算法作为对比对象：（1）FT算法（算法（参考文献参考文献：Frequency-tuned Salient Frequency-tuned Salient Region DetectionRegion Detection.2009,CVPR.2009,CVPR）（2）LC算法（算法（参考文献参考文献：Visual attention detection Visual attention detection in video sequences using spatiotemporal c

18、uesin video sequences using spatiotemporal cues.2006.2006, ACM Multimedia, ACM Multimedia）（3）SR算法算法（参考文献参考文献：Saliency detection: A Saliency detection: A spectral residual approach.2007,CVPRspectral residual approach.2007,CVPR）LOGOLab color space Lab是一种不常用的色彩空间是一种基于生理特是一种不常用的色彩空间是一种基于生理特征的颜色系统。带有维度征的颜色系统。带有维度L表示亮度表示亮度，a和和b表示表示颜色颜色对立维度对立维度。Lab颜色空间比