图像处理新技术

1、摘 要：图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤，也是一种基本的计算机视觉技术。对图像分割的研究一直是图像工程中的重点和热点。本文对近年来图像分割方法的研究现状与新进展进行了归纳总结。首先，简单介绍了图像分割的传统方法，包括基于区域的、基于边缘的和两者结合的图像分割方法。然后，对现在较新的三种图像分割方法进行了详细的论述。最后，对图像分割方法的发展趋势进行了展望。关键词：图像分割 模糊聚类 Gabor小波 图割方法1. 引言在计算机视觉理论中，图像分割、特征提取与目标识别构成了由低层到高层的三大任务。目标识别与特征提

2、取都以图像分割作为基础，图像分割结果的好坏将直接影响到后续的特征提取与目标识别1。图像分割是将图像中有意义的特征或区域提取出来的过程。这些特征可以是图像的原始特征，如像素的灰度值、物体轮廓、颜色、反射特征和纹理等，也可以是空间频谱等，如直方图特征。图像分割的目的是把图像划分成若干互不相交的区域，使各区域具有一致性，而相邻区域间的属性特征有明显的差别。图像分割的应用非常广泛，几乎出现在有关图像处理的所有领域并涉及各种类型。图像分割作为前沿学科充满了挑战，吸引了众多学者从事这一领域研究。2.传统的图像分割方法传统的图像分割方法包括基于区域的，基于边缘的和两者结合的图像分割方法。基于区域的分割方法是

3、以直接寻找区域为基础的分割技术，具体算法有区域生长和区域分离与合并算法。基于区域提取方法有两种基本形式：一种是区域生长，从单个像素出发，逐步合并以形成所需要的分割区域；另一种是从全局出发，逐步切割至所需的分割区域。在实际中使用的通常是这两种基本形式的结合。该类算法对某些复杂物体定义的复杂场景的分割或者对某些自然景物的分割等类似先验知识不足的图像分割，效果较理想。基于边缘检测的分割方法试图通过检测不同区域的边缘来解决问题，通常不同的区域之间的边缘上灰度值的变化往往比较大，这是边缘检测方法得以实现的主要假设之一。它的基本思想是先检测图像中的边缘点，再按一定策略连接成轮廓，从而构成分割区域。其难点在

4、于边缘检测时抗噪性和检测精度的矛盾，若提高检测精度则噪声产生的伪边缘会导致不合理的轮廓；若提高抗噪性则会产生轮廓漏检和位置偏差。边缘检测能够获得灰度值的局部变化强度，而区域分割能够检测特征的相似性与均匀性。边缘与区域相结合分割的主要思想是结合二者的优点，通过边缘点的限制，避免区域的过分割；同时，通过区域分割补充漏检的边缘，使轮廓更加完整2。3.基于粗糙集与差分免疫模糊聚类的图像分割算法马文萍等提出基于粗糙集与差分免疫模糊聚类算法的图像分割算法3。该算法在差分免疫克隆聚类算法的基础上，通过引入粗糙集模糊聚类，将差分免疫克隆聚类算法中的硬聚类变成模糊聚类，从而获得更丰富的聚类信息。具体来说，由于粗

5、糙集的优势是处理不确定的数据，因此，加入粗糙集模糊聚类后更有利于算法解决不确定性问题。通过对比实验，验证了该算法在聚类性能稳定性方面的优越性，结果还同时证明了该算法具有更高的分割正确率和更好的分割结果。3.1粗糙集模糊聚类算法思想粗糙集理论能够处理不精确数据，因此，将模糊聚类方法与粗糙集理论相结合的聚类分析方法逐渐成为一个重要的研究方向，并且获得了广泛的应用。1982年，Lingras等人提出了一个粗糙C均值(rough C-means,简称RCM)聚类算法4，通过一个类中心、一个上近似(upper approximation)和下近似(lower approximation)对来描述一个类。

6、其中，上近似和下近似用两个不同加权参数来计算新的聚类中心。在文献4中，模糊集和粗糙集理论的结合，为处理不确定性问题提供了一个重要的方向。模糊集和粗糙集在某些方面的互补性为解决与数据相关的不确定性问题提供了数学框架。近年来，Mitra等人5将粗糙集和模糊集结合，并提出了一种新的C均值聚类算法，其中，一个类由一个模糊的下近似区域和边缘区域构成。下近似区域中的每一个对象都有一个与之对应的模糊隶属值，即权重。对于相应的聚类中心和类，其下近似区域内的每一个对象应该具有相似的影响作用，并且其权重应该与其他聚类中心和类无关。这样，根据下近似区域的模糊概念得出，该区域内对象的权重会减小。事实上，这会使得聚类中

7、心与期望的位置有一定偏差。此外，该算法对噪声和异常值敏感。之后，Maji等人6提出了一个一般化的模糊C均值算法(rough-fuzzy PCM,简称RFPCM),在C均值算法中增加了模糊集中的模糊隶属度和粗糙集中的上下近似两个概念。其中，模糊隶属度包括概率性隶属度和可能性隶属度，其应用能够有效地处理相互重合的类；粗糙集能够处理类中知识的不确定性和不完整性。因此，RFPCM可以有效地避免FCM对噪声敏感的弊端，同时弥补PCM对重合类无法确定的不足。这里，我们详细阐述RFPCM的算法框架。首先，令表示n个目标的集，表示c个聚类中心的集合，表示第i个聚类区域；其次，令和表示的上下近似，表示的边界区域

8、。通过优化下面的函数，该算法将X分为c类：，。这里，和是模糊度，通常取2。为下近似的相对重要性，常量和分别定义了概率性隶属度和可能性隶属度的相对重要性。对于比列参数，可通过以下公式来计算：采用梯度流方法求解上述方程，从而得到概率性隶属度、可能性隶属度以及聚类中心的更新公式。通过不断地迭代，最终得到目标函数的最优解。需要指出的是：对于一个像素，其总的隶属度函数。我们在其隶属度中选取最大的值和第二大的值，取二者之差，如果该差值大于预设的阈值，则该素既属于也属于。然而，梯度流方法在迭代寻找最优解的同时，极容易陷入局部最优，使得聚类结果不稳定。故采用了一种典型的进化算法差分免疫克隆算法,通过全局搜索来

9、优化上述问题。3.2差分免疫克隆算法与粗糙集模糊聚类现实世界中的诸多问题都可以归结为一个优化问题。要解决一个优化问题，首先要明确其目标函数，然后对问题进行建模，再采用某种优化算法来优化该目标函数。例如，聚类问题就可以归结为一个优化问题，设计一个聚类评价准则作为目标函数，采用优化算法的目的就是通过不断优化该目标函数，使聚类结果达到最优。为了有效地解决这些优化问题，人们已经提出了各种有效的优化算法，免疫克隆选择算法及差分进化算法就是其中两种比较优秀的算法。图像分割是计算机视觉和模式识别中关键技术之一。图像分割的结果就是将图像分成若干个部分，每部分代表图像中不一样的特征，并把同一部分像素标记为同一个

10、值。因为图像中的每一个点都对应着一个像素点，一个像素点就是一个数据，数据的划分即图像的分割，因此，图像分割在本质上就是一个对数据的聚类问题。免疫克隆选择算法与差分进化算法在解决优化问题时具有不同的特性：免疫克隆选择算法本质上固有并行性和搜索变化的随机性，不易陷入局部极值；差分进化算法则具有较好的全局收敛性和鲁棒性，非常适合求解各种数值最优化问题。基于这两种不同的算法，马文萍等人提出了一种差分免疫克隆选择算法(differential immune clone clustering algorithm，简称DICCA)7。差分免疫克隆算法主要是基于差分进化及免疫克隆，通过克隆繁殖、差分变异、交叉

11、及克隆选择操作来进化种群，在进化过程中加入局部搜索机制来提高算法的收敛性。具体过程是：首先，通过基于类中心的编码方式随机生成初始种群1，评价种群(即计算每个抗体的适应度)，选择最优的5个抗体作为种群2；其次，对种群1执行差分变异、差分交叉操作生成变异交叉后的抗体，对种群2执行克隆繁殖、均匀变异、克隆选择操作后形成抗体子种群；最后，用子种群取代种群1中最差的5个个体，作为下一代进化的新抗体种群。模糊聚类和硬聚类相比较，能够获得更丰富的聚类信息，而粗糙集聚类算法善于处理不精确的数据，因此，我们将前面已讨论过的进化算法与粗糙集模糊聚类理论相结合，在DICCA聚类算法中引入粗糙集模糊聚类的思想，并将其

12、应用于图形分割领域中，以达到目标识别和分析的目的。3.3粗糙集与差分免疫模糊聚类算法描述将粗糙集与差分免疫模糊聚类算法(RDIFC)运用到图像分割时，首先读入图像，再对图像进行特征提取和分水岭初分割操作，接下来对数据归一化，判断是否满足终止条件，如果不满足则更新隶属度函数，进而更新聚类中心，获得新的种群，新的种群通过差分免疫克隆算法进化。该算法的流程如图1(a)所示，差分免疫克隆算法的流程如图1(b)所示。首先，对初始种群1评价，在种群1的个体中选出最优的5个个体作为种群2，对种群1进行差分变异操作、交叉操作与差分选择操作更新种群1，对种群2进行克隆繁殖操作、均匀变异操作和克隆选择操作更新种群

13、2，用种群2中的个体取代种群1中的最差的d个个体，最终用替代后的种群作为下一代进化的种群。如此迭代，直到满足终止条件时，输出最终的聚类结果。下面将详述具体步骤。图1 差分免疫克隆进化算法流程图4.基于Gabor变换的GrabCut纹理图像分割杨章静等提出基于Gabor变换的GrabCut纹理图像分割8。多数自然图像都包含纹理信息，它相对颜色特征而言具有描述方向性与尺度差异的特性。因此，可以利用半交互式的Grab Cut的图像分割方式对图像前景区域与背景区域进行有效的分割，通过建立前景和背景所对应的高斯混合模型(GMM)，结合最大流最小割的图像分割方式实现全局优化，并利用前景和背景的KL测度，自

14、适应地终止分割过程。实验对比分析表明，所提出的方法对于合成纹理图像与自然纹理图像具有较好的整体分割效果及较高的分割准确率。4.1Gabor 小波理论为了计算得到一幅离散二维图像的多尺度多方向的纹理特征，需要将图像I变换到频域空间表示。假设是一个二维可微的平滑函数，对于Gabor函数，其定义如下式所示：，其中：、分别是沿x方向和y方向对应Gabor函数的缩放系数，它们用来控制滤波器脉冲响应的宽度。将作为Gabor小波变换的母波函数，通过适当旋转与缩放，得到一组自相似、方向与尺度差异的滤波器组，并通过对图像空间进行缩放与旋转变化得到多尺度多方向的Gabor滤波器组。为了获得一个包含多方向多尺度的滤

15、波器组，可以对Gabor函数进行变换，将其转换到频谱空间。由于各个尺度各个方向的滤波器组之间并非正交关系，造成滤波后的图像存在大量的冗余信息，为了克服该缺陷，在频率空间对相关参数进行转化计算。对上式中的二维Gabor小波进行如下变换：其中：，。通过多尺度多方向的频率滤波器对二维离散图像进行处理后，可以得到多尺度多方向的纹理特征。假设用表示点的Gabor纹理特征，。其中：M是方向数，S是尺度数。对于二维离散图像的每个像素点，进行上述的多尺度多方向特征提取，可以对纹理图像进行多尺度描述。由于交互式的最优纹理图像分割问题一直是个科研难题，需要将其转化为带先验信息的能量泛函最小化问题，通过对初始的前景

16、和背景纹理图像进行矩形框标注，分别进行前景和背景的GMM概率分布建模，并进一步利用最大流最小割GraphCut实现前景和背景的纹理图像分割。4.2 GrabCut 的纹理图像分割对于以上能量泛函的最小化问题，可将能量函数转化为最大流最小割的图割模型实现，即将纹理图像的最优分割问题转化为图的最大流最小割问题，并通过GrabCut的迭代过程更新GMM模型的参数，同时利用前景和背景的概率分布的KL度量决定迭代的终止。对于能量泛函，如下式：的最小化问题，可以映射为对应的加权图，如图2所示。这里首先给定一幅3×3的图像，用于图切分优化模型的简单说明。对于原始的纹理图像可以转化为一个具有两个端点

17、的加权图。其中V是图像像素点与端点的集合；E是边的集合，它包括像素点属于前景和背景的加权相似边，以及与邻域边之间的惩罚权重。对于图2(a)中的原始纹理图像，其为前景的标记点，为背景的标记点，通过K-means聚类得到纹理特征各自的类别，经计算得到前景和背景的GMM的统计参数，并通过GMM建立如图2(b)所示的加权图模型。其中纹理图像中的点与端点之间的边表明与前景或背景的相似度大小，上半部分的边代表纹理图像中的像素点与前景的相似度，下半部分的边代表与背景的相似度，边越粗说明相似度越大。在建立加权图后，通过Boykov提出的经典最大流最小割进行全局最优的图割得到图2(c)；再经过全局S-T最小割运

18、算实现能量泛函的最小化，最终得到图2(d)所示的纹理分割结果。图2 最大流最小割的实现过程基于上述最大流最小割的思想，为了得到最优的纹理图像分割结果，可以通过GrabCut迭代分割逐步求解实现，其算法描述如下。1)初始化。假设前景矩形框为，背景为，且满足。利用K-means对前景和背景分别进行特征聚类，并建立初始的图割模型，得到前景和背景各自对应的标签集和，其中和是初次分割后的标签区域。同时，建立前景和背景所对应的GMM概率密度分布和 。再次建立上述图割模型，并进行GrphCut最大流最小割切分，得到新的标签集和。2)计算标签集和所对应的GMM相关统计参数：方差、均值以及高斯分量的权重(其中混

19、合权重系数为当前属于该高斯分量的像素总数占图像总像素数的百分比)。3) 更新计算每个像素 到前景和背景所对应的概率和。将下式：中的区域项和下式：中的惩罚项映射到加权图中，通过Boykov的最大流最小割算法，得到新的分割标签集。4) 计算前景与背景的概率密度分布KL9距离并度量KL，如果即前相邻两次分割的前景与背景的概率密度KL距离比值小于0.01，则终止GrabCut纹理图像分割，转步骤5)，否则转步骤2)。5) 得到稳定的纹理图像分割结果，退出。经过上面GrabCut的迭代更新过程，保证前景和背景的纹理图像分割达到一个稳定的状态，这个状态是GrabCut迭代分割的结果，它等价于前面描述的最小

20、能量值。5.基于图割的图像分割在图像分割的众多方法中，能量最小化方法在过去30年引起学者们的广泛关注，形成一大流派。能量最小化方法的基本步骤为10：1)设计一个目标函数(能量函数)，其最小值对应最优解。常用的两个约束是数据和先验知识。数据约束限制了理想解应该和真实数据尽量接近；先验约束要求理想解的形式应该和先验知识保持一致；2)最小化目标函数。大多数感兴趣的能量函数是非凸的，有多个极小值,导致多数方法只能找到逼近解，因此，最小化过程通常比较困难。在用于图像分割的能量最小化方法中，模拟退火方法的优点是适用能量函数类型广，不足是计算效率偏低。动态规划方法仅适用于一维能量函数，不能有效地求解二维能量

21、函数，而且耗时较长。图割只能应用到某类能量函数，需要扩展应用到更多的能量函数，但可以得到全局最优解或逼近最优解，计算效率高。对任意能量函数，可使用基于消息传递的方法，但是这些方法计算速度很慢、不一定收敛、在图割能应用时比图割找到的能量高。不管是变分方法，还是ICM方法，都对初始化敏感、易得到局部最小解。显然，基于图割的图像分割方法优势更加明显，从而使其成为近年来的研究热点。5.1 基于图割的图像分割步骤从图割可以精确求解的能量函数入手，可概括出基于图割的图像分割步骤，主要包括三步：1)能量函数的设计；2)图的构造；3)最小割/最大流方法。1. 能量函数的设计。在满足一定前提条件下，能量函数最小

22、化可用最小割来精确求解。这个前提条件是：1) 二值标记；2) 所有权重是非负的。这反映到能量函数中，对数据项函数，可以是任意的，因为如果权重是负的，加一个常数即可。对平滑项函数要满足子模函数的条件，比如：二值Potts能。如果是其他能量函数，通常只能得到逼近最优解，比如：多标记Potts能，可用扩展算法或交换算法来逼近求解。2. 图的构造。1)构建图。图的顶点和图像的像素或区域对应。每个顶点有两个边，连接源(s)和汇(t)，称为t-links，反映了每个标记的偏好程度。邻域连接n-links反映了平滑项，指示顶点之间的不连续性。图定义后，由所有顶点和所有边组成，即：其中，。2) 对图的各个边缘

23、权重进行赋值。3. 最小割/最大流方法。最小割/最大流方法主要包括两大类：推进重标记 (Push relabel)方法和增广路径(Augmenting paths)方法。推进重标记方法沿着非饱和边缘给一个到汇的距离的低界估计，然后，面向具有到汇最小估计距离的顶点来推进剩余的流。随着推进操作，边缘逐渐饱和，距离逐渐增加。该方法易于并行实现，通常采用GPU加速实现来提高效率。Ford和Fulkerson的标号方法(简称FF方法)是基于增广路径的方法，通过标号不断生长一棵树，直到找不到关于可行流的增广路径为止。FF方法的计算复杂性和网络的节点数或者边数无关，而与边上的权值有关。为了避免求最大流时计算

24、复杂度依赖于边的权值大小的缺点，Dinic设计了一种分层算法。为了进一步提高最小割/最大流方法的效率，Boykov等提出了基于增广路径的新方法，该方法在当前计算机视觉领域的应用最为广泛。其核心是建立两棵搜索树S和T，S以源点s为根，T以汇点t为根。树S中所有父结点到孩子结点的边都是不饱和的。树S中的结点分为“主动(Active)结点”和“被动(Passive)结点”，主动结点可以通过从树T获得新的后代来使得搜索树“生长(Grow)”，被动结点不能生长。算法重复以下三个阶段：1) 生长阶段(Growth stage)：搜索树S、T生长，直到找到汇点；2) 扩展阶段(Augmentation st

25、age)：扩展路径，搜索树变成森林；3) 收养阶段(Adoption stage)：收养孤立结点，恢复搜索树。6.总结当前，图像分割已成为图像理解领域关注的一个热点。未来的发展需要研究者借鉴数学、统计学、神经学、认知心理学、计算机科学等领域的成果及其综合运用，不断引入新的理论和方法。过去几年，研究人员不断将相关领域出现的新理论和新方法应用到图像分割中，虽然取得了一定的效果，但仍未出现一种令人满意的高效的通用的方法。其主要原因是人类对视觉系统还没有充分的认识，已有的模型只是从功能上来模拟，而不是从结构上来实现。图像分割的下一步研究方向是进一步研究视觉认知的原理，结合智能科学的最新理论，对图像分割作更深一步的研究。参考文献1 许新征，丁世飞，史忠植等.图像分割的新理论和新方法J.电子学报，2010，38（2A）：76-822 王爱民，沈兰荪.图像分割研究综述J.测控技术，2000，19（5）：1-53 马文萍，黄媛媛，李豪等.基于粗糙集与差分免疫模糊聚类算法的图像分割J.软件学报，2014，25（11）：2675-26894 Lingras P，West C. Interval set clust