图像分割和提取方法的研究报告

1、服装图像分割和提取方法服装图像分割和提取方法的研究报告2013-7-8研究报告的主要内容本文首先对当前常见的图像分割和提取方法进行概要的介绍和分析，然后研究利用服装图像独有的特征进行图像分割和提取的方法，此外还对服装图像分割和提取的技术可行性进行了一定的分析。报告的主要内容有以下几个方面：(1) 常用图像分割的方法和性能；(2) 基于服装图像特征的服装提取方法；(3) 实现服装图像提取的可行性分析；(4) 常用的图像处理应用开发环境简介；1常用图像分割的方法和性能图像分割是把图像空间划分成若干个具有某些一致性属性的不重叠区域，并提取出感兴趣目标的技术。它是根据图像的某些特征或特征集合的相似性准

2、则，对图像像素进行分组聚类，把图像平面划分为一系列“有意义”的区域的过程。对图像空间的划分通常建立在区域的相似性和非连续性这两个概念上。相似性就是同一区域中的类似像素特征；非连续性则表明不同区域间像素特征存在突变。图像分割可选择的性质有很多，如亮度、色彩、反射率、纹理等。传统的分割方法根据图像的主要特征可以划分为三大类：1、基于阈值的分割；2、基于边缘的分割；3、基于区域的分割。随着现代算法和智能技术的不断提高，新的图像分割方法层出不穷，如基于聚类的分割；基于进化算法的分割；基于神经网络的分割；基于模糊理论的分割等等。现具体介绍如下：1.1阈值分割技术基于阈值的分割方法是利用图像的灰度直方图信

3、息得到用于分割的阈值，把图像分为具有不同灰度级的目标区域和背景区域的组合。该方法计算简单，对物体和背景对比强烈的图像效果较好。是图像分割中最有效和实用的技术之一。其缺点在于很难找到适合所有图像进行有效分割的阈值，一种阈值方法通常只适用于某一类或几类图像。对于图像中目标和背景区域差异明显的情况，可以直接利用灰度门限法进行图像的分割。而某些图像经过预处理后会明显提高图像的质量和灰度直方图信息，这类图像可以在预处理之后再运用门限法进行分割，能够获得较好的分割效果。此外，对于一副图像上含有多个不同类型区域和分割目标的图像，可以使用多个门限将这些区域分开。阈值分割技术的灰度门限选择，直接影响了分割的精度

4、和图像分析的正确性，门限选择的太高，容易把大量目标归为背景，门限太低，则很难分离准确的目标。因此，基于阈值选择的图像分割方法实际就是按照某个准则函数求最优阈值的过程。通常对有一定先验信息的图像，可以利用试探的方法确定门限。然而大多数情况下，图像的先验知识较少，此时只能从图像本身的特征来确定门限，常利用图像的统计特性进行门限求解。此外，还可以利用动态门限，模糊门限等方法提高阈值分割的准确性。图1显示了基于固定门限值的图像分割效果和图像的直方图。图1 基于固定门限的图像分割和图像直方图1.2边缘分割技术边缘是指其周围像素灰度有变化的那些像素的集合。物体的边缘是由灰度不连续所反映出来的。边缘分割技术

5、依赖于由边缘检测算子找到的图像边缘，这些边缘标示出图像中灰度、色彩、纹理等方面不连续的位置。这种基于边缘检测的图像分割方法不依赖于已经处理像素的结果，更适合并行化处理。但是该方法对噪声比较敏感，而且当边缘像素值变化不明显时，容易产生虚假边界或者不连续的边界，从而导致分割失败。因此，边缘检测包括两个基本内容：1、抽取反映灰度变化的边缘点。2、剔除某些边界点或填补边界间断点，并将边缘连接成完整的曲线。图像中边界上的像素点的邻域应该是一个灰度级变化的带，衡量这种变化最有效的特征值就是灰度的变化率和变化方向，它们分别以梯度向量的幅值和方向来表示。对于连续图像，其方向导数在法线方向上有局部最大值。因此，

6、边缘检测就是求图像梯度的局部最大值和方向。实际应用中，一般将边缘检测算子以微分算子的形式表示，然后采用快速卷积函数来实现。目前可采用的微分算子有很多种。下图展示了几种不同微分算子的边缘检测结果。图2 各种微分算子的边缘检测结果此外，还有很多不同的边缘检测方法，如基于图像滤波的方法、基于边界曲线拟合的方法、状态空间搜索法、动态规划法、边界跟踪法、Hough变化法等，均可以对图像边缘进行检测，为图像分割提供依据。这里要着重强调的是边界跟踪的方法，通过启发式的图搜索方法对图像边界进行跟踪，可以通过启发式的信息，自主寻找图像中的边界点，有效提高边界检测的效率。1.3 区域分割技术不同于前两种分割技术依

7、赖于像素值的差别进行分割，区域分割算法依赖于图像的空间局部特征，如灰度、纹理及其他像素统计特性的均匀性等。它是依据图像的灰度、颜色或者几何特性将图像中具有特殊含义的不同区域分开，这些区域互不相交，每个区域都满足特定区域的一致性。典型的区域分割算法有：区域生长法，分裂合并法，分水岭法等。它们的优点是对噪声不敏感；缺点是常常会造成图像的过分分割，分割的结果很大程度上依赖于种子点的旋转。区域生长就是将具有相似性质的像素集合起来构成区域。具体实现是对每个分割的区域找个种子像素作为生长的起点，根据事先确定的生长准则，在种子像素周围的邻域内寻找与其有相同或相似性质的像素，然后将这些像素合并到种子像素所在的

8、区域中。循环迭代这一过程，直到没有满足条件的像素出现，这样即生成了一个区域。区域生长即为图像合并的过程，区域分裂则恰恰相反，它从图像的整体开始，逐渐向着不同的区域分裂，如果将这两个过程相结合，即成为分裂合并法。它兼有前两种方法的优点，可以有效提高区域分割的效率。分水岭算法是一种以形态学为基础的区域分割算法，来源于地形学理论，算法通过求出梯度图像分水线的位置，把图像划分为若干区域。该方法过程简单，便于计算，但是受噪声影响大，常常会产生严重的过分割现象。图3显示了分水岭算法分割的过程和效果。图3 分水岭分割算法的过程和效果1.4 其他分割技术基于聚类的分割法，聚类分析是常用的数据分类方法，因此可以

9、有效应用在图像分割上。该方法将像素灰度等性质映射到按一定规则划分的几个区域特征空间，然后根据样本点的性质判定其所属的区域。其关键在于如何评定样本之间的类似程度，以及如何根据样本之间的类似程度将给定的样本集划分为不同的群。图像特征的提取、相似度计算和正确的聚类方法是聚类分割成功的关键。利用聚类进行图像分割可以较大程度提高分割图像的通用性，因此具有较好的前景，目前研究的热点是基于模糊集理论的聚类分割方法，该方法对聚类空间模糊化处理，减小了硬聚类的误差，使分割结果更为准确。基于模糊理论的分割法，模糊理论是为了描述实际问题中很多对象本身的不确定性问题而提出的。它用一系列中间过渡状态表示对象某一模糊性质

10、的隶属程度，并依据隶属的程度描述对象状态。模糊分割技术是以模糊数学为基础，利用隶属度来解决图像中由于信息不完整、不准确、含糊和矛盾等造成的不确定性问题。利用模糊分割可以削弱其他硬性划分造成的误差，使分割的结果更接近实际情况。通常模糊分割不是一种独立的方法，而是一个独立的概念。这种模糊的概念与其他方法，如阈值法、聚类法、智能方法相结合，才能够真正提高图像分割的准确性。基于进化算法的分割法，进化算法是借鉴生物自然选择和遗传的机制的随机化搜索算法，其思想是模拟一系列生物群体的生存进化过程，利用该进化过程提高搜索的速度和质量。算法通常是利用随机备选解组成进化种群，在种群中不断迭代寻优，经过合理的演化逐

11、渐逼近最优解。该方法具有较强的全局寻优能力，易于并行化操作，搜索过程采用概率的变迁规则来指导搜索方向，而不采用确定性的搜索规则，所以对搜索空间没有任何特殊要求，因此适用范围较广。其中常用的进化方法有：遗传算法（GA）、差分进化、粒子群（PSO）算法、蚁群算法等。基于人工神经网络的分割法，人工神经网络算法模拟人类大脑神经元的组织结构和通信方式，通过强大的神经元网络互操作训练网络的认知特性，取得了较好的应用效果。目前利用神经网络进行图像分割的应用也得到了很大的发展。按照处理数据的类型，可以分为基于像素的神经网络和基于特征数据的神经网络两大类。其中，基于特征的神经网络算法主要是对特征空间的聚类分割方

12、法进行改造，它打破了传统聚类方法的限制，通过网络训练和学习，有效提高了图像分割的性能。但是该方法的设计还缺乏比较系统的理论指导，且训练比较费时，对样本的要求也较高。以上介绍了目前常用的一些图像分割方法，从上述内容可知，目前图像分割没有一个通用的算法。只有根据实际问题的需求选择合适的算法，设计合理的分割提取策略，才能够有针对性的解决要处理的问题。2基于服装图像特征的提取方法服装图像是指以服装为主体，用来表现服装样式、风格、颜色、纹理的各种数字图像。对服装图像中的服装进行分割和提取，不仅要考虑基本的图像分割方法，还要着重考虑服装图像的视觉特征、形状特征以及着装人物的特征等因素。只有综合考虑以上特征

13、，才能够较完整的将服装从服装图像中独立分离出来。在图像分割的基础上，对服装内容特征进行识别和提取，并对提取的结果进行有效的矫正，才能够从复杂的图片中获得有意义的独立的服装图形，并可根据此图形信息完成进一步的服饰更换、纹理颜色替换、部件更换、以及与用户互动等实际的应用。下面，在对图像特征提取的方法概要介绍的基础上，分析服装图像中的服装特征和其他相关特征，研究适合于服装图像特征的提取方法。2.1图像视觉特征提取方法图像的底层视觉特征一般可以分为颜色特征、纹理特征、形状特征和图像的空间位置信息等。其中，颜色特征一般用直方图法、中心矩法、颜色对法、主色调法和参考颜色表等方法处理；纹理特征通常用灰度共生

14、矩阵、纹理谱、Tamura纹理和小波纹理等纹理描述子进行处理；形状特征则常用傅立叶描述子和不变矩进行处理。1） 颜色特征提取：颜色直方图能够有效表征图像的全局信息，无需对图像中的物体加以识别。对给定的数字图像，先将其转化到已经选定的颜色空间，然后计算落在直方图对应的空间区域中的像素个数，由此获得原始的直方图。然后再利用直方图的统计特征进行提取。此外还可以考虑图像的色调和亮度等信息。对颜色特征的提取还可以用中心矩法，此方法是通过对比像素到颜色的中心矩来提取颜色信息。利用像素点到标准颜色空间的n阶中心矩，来度量其相似程度。图4显示了基于颜色特征提取图像中信息的情况。图4基于颜色特征提取图像中的信息

15、。2） 纹理特征提取：纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，它是图像的重要底层物理表示。在服装图像中，几乎所有的服装都会具有不同细节程度上的同质纹理特征。该特征包含了物体表面结构组织排列的重要信息，反映了服装本身的属性。目前纹理的描述和分析方法很多。通常可以从图像中具有结构规律的特性加以分析得到纹理特征，也可以对图像中颜色强度的空间分布信息进行统计得到纹理信息。纹理特征的描述方法主要有：统计分析法、频谱分析法和结构分析法。下图显示了基于图像纹理特征检测图像纹理边缘的效果。图5基于图像纹理特征检测图像纹理边缘利用纹理特征对服装图像中的服装进行提取，可以充分考虑服装布料独

16、有的纹理特征，如粗糙度、对比度、方向度、纹理重复等。此外还可以考虑灰度共生矩阵纹理特征如反差、能量、熵与灰度等。随着小波变换在图像纹理分析中的广泛应用，采用小波变换的系数特征进行提取，也有较好效果。3） 形状特征提取：形状是图像表达的一个非常重要的特征内容，在二维图像空间，形状是一个非常直观的特征，具备良好的可区分性。不同于颜色和纹理特征，形状特征的提取必须建立在对图像中物体或区域的边缘提取和分割的基础上。形状一般是一条封闭的轮廓曲线包围的区域。对形状特征的描述，既可以描述其边界特征，也可以描述其所包围的区域特征。在服装图像中，服装的形状特征虽然会受到外观、角度、旋转等因素的影响，但是服装的基

17、本结构大体是保持不变的，因此利用形状特征提取，是一个十分有效的方法。目前常用的形状特征描述方法主要有基于边界的形状描述和基于区域的形状描述。基于边界的形状特征提取建立在边缘检测的基础上，比较适合于图像边缘较清晰的图像。傅立叶描述子建立在傅立叶变换基础上，具有旋转、比例不变性，因此可以用来比较分析图像的轮廓相似性。基于区域的形状特征提取主要有区域面积、圆形度、形状的纵横比、不变矩等方法。它是通过图像分割技术提取出图像中感兴趣的物体，依靠区域内像素的颜色分布提取图像特征，适用于区域能够较为准确分割出来的图像。当前基于主动轮廓技术的特征提取方法受到了普遍的关注。它的主要思想是对图像中某个位置的一个初

18、始轮廓，根据一定条件，对初始形状的位置进行演化或变形，同时考虑图像的分层因素，最终得到分割结果。以上介绍了常用的基于图像特征的提取方法，由此可见，图像分割和提取是密不可分的两个过程，分割是提取的前提和基础，有效的分割决定着提取的成败，而基于特征的提取技术也是分割过程中必不可少的方面，针对服装图像中固有的一些特征进行分析，利用这些特征来完成图像的分割和提取，是解决该问题的关键。2.2服装图像中服装的特征分析从日常服装的特点入手，对服装图像中可能出现的一些服装特征进行分析，可以有针对性的辅助服装图像分割和提取技术的完善，弥补因计算机无法理解、认知服装概念带来的提取缺陷。1）服装的颜色特征：通常服装

19、的颜色复杂多变、很难把握有价值的规律，但是大部分的服装，其颜色是与肤色不同的，利用这一特性，可以通过首先对图像中人物肤色的检测，来定位服装大体的位置和分离人物与服装的边界。2）服装的纹理特征：通常服装是一定材料编织的织物，因此服装纹理特征体现在布料重复的图案、花纹和布料细节的编织结构上。通过对服装纹理特征的检测，可以摒除服装颜色变化带来的错误区域定位，因此服装纹理是检测图像中服装的一个重要依据。但是，因为不同服装的纹理特性各不相同，对图像中服装纹理的识别具有一定的难度，比如对布料的图案或花纹形成的纹理，要通过不同大小区域的相似性来比较，对于没有任何先验知识的图像，纹理区域的定义是复杂困难的。在

20、细节编织结构上，不同分辨率造成的图像细节模糊和平滑会严重降低图像纹理特征的识别，此时要有效利用服装细节纹理特征，必须保证所处理的图片的精度。此外，服装纹理特征的识别还受到服饰搭配的影响，重叠搭配的不同材质和纹理的衣服，会严重扰乱纹理的识别。3）服装的结构特征：服装是人类外观的基本体现，大多数的服装具有与人体相吻合的结构特征；同时服装的结构受季节、性别、体形、款式的影响是较为容易归纳的。因此基本的服装结构可以定义为标准模版，用来在分割提取时进行一定程度的匹配。此外，从服装结构的细节上，服装可以拆分成不同的组成部分，如袖子、裤腿等，这些组成部分的变化也是有一定规律可循的，可以作为图像提取的依据。因

21、此利用服装的结构特征，可以大大提高服装提取的性能。服装的特征是实现服装图像分割和提取的关键所在，只有合理利用服装图像中可用的特征信息，才能够保证服装图像分割和提取技术的实现。2.3服装图像中其他相关的特征在服装图像中，除了服装本身的特征外，服装以外的信息也是可以加以利用的，这些相关信息的特征与图像的来源和构成关系密切。针对不同图像的来源，可分为一致的图像来源和随机的图像来源；针对不同的图像构成，可分为无人物的服装图像，有人物的服装图像，多人并存的服装图像。图像来源一致的图像，是按一定的组织、设计、计划获取的一系列图像，这类图像具有统一鲜明的背景、环境、光照、分辨率等信息，因此是较容易进行分割提

22、取的。在处理这类图像时，可事先设定图像组织的形式规约。分割提取算法严格按照统一规约的图像进行处理。处理过程中可以快速剔除背景信息来定位服装的位置和结构，而不用具体分析服装本身的特征。例如在视频特技处理中，规定拍摄的背景为绿色，就可以在后期的合成时快速的分离替换其他的动态背景。随机来源的图像，则是复杂多变，难以统一的，图像的背景、环境、分辨率等信息没有相同或相似的规律可循，因此很难靠对服装以外的特征进行分析来提高分割提取的效率。但是对部分具有先验信息的图像，或者是可以进行简单人机交互的情况，仍然可以靠剔除大部分无用的外部信息来提高分割提取的性能。例如，通过简单的人机交互，使用者可以用有颜色的线条

23、或者区域大体描绘出待分割提取的服装区域，然后再由计算机自动进行详细的提取，这也是服装分割提取中常用的技术手段。对有人物存在的服装图像，服装形状特征额提取直接受到人物结构特征的影响，如人体的年龄特征、体形特征、骨骼结构、以及头部位置、四肢位置都可以成为服装图像分析的特征依据。一种直观的想法，就是可以利用图像中人物的头部和四肢来定位人体的躯干位置，通过躯干位置快速定位服装的位置和形状。这种定位方法可以在单人复杂背景的图片上提高服装分割和提取的性能。最后，对于多人存在的服装图像，人物之间有远近、先后、重叠等关系，因此服装的分割和提取具有更高的难度。必须应用更多的技术如遮挡剔除、边缘跟踪等，才能实现有

24、效的提取。2.4提取图像的矫正和编辑通过分割和提取后的服装图像会存在各种各样的缺陷和问题，如图像不连续、背景剔除的不够干净、轮廓中内容丢失等等，因此还要对提取后的图像进行一定的矫正和编辑，通过分析去除多余的部分，填充丢失的部分，并平滑图像的边缘，才能够获得需要的提取结果。对图像矫正常见的方法有边界跟踪、膨胀腐蚀、主动轮廓、插值和平滑等方法，可以综合利用这些方法对提取的图像进行矫正修复，此外还可以利用提取后图像中的边缘信息（服装里的边缘）建立结构化的网格，根据网格调整服饰形状，保证提取后的服装区域和形状的合理性。3实现服装图像提取的可行性分析随着图像检索、网络购物、服装个性化定制等业务需求的不断

25、提高，服装图像提取技术也越来越受到人们的重视。越来越多的研究开始关注寻找解决这一课题的有效方法。然而，图像分割和提取并没有一个统一通用的方法，图像中服装和环境特征的理解和认知还较为困难，因此，实现高效的服装图像提取技术还有很多问题亟待解决。3.1服装图像提取技术的研究现状图像分割和提取技术是图像分析和模式识别的首要问题，也是图像处理的经典难题之一。而从包含服装的图像中将服装信息分割和提取出来，是图像分割问题的一个典型应用。其目的是在复杂的图像中获取服装信息，为个性化定制、服装检索、以及购物试穿提供有效的支持。当前国内外已经有很多研究针对这一问题展开，并取得了一定的成果。目前我国国内在服装图像处

26、理领域的研究主要面向图像检索技术。如哈工大的基于内容的服装图像检索技术研究；北方工业大学基于形状特征的服装图像检索技术应用研究等，此类研究主要针对网络上的大量服装图像进行检索归类，方便数据系统的查询和分析，而服装图像的分割和提取是实现检索的关键。但是服装图像检索更多是依靠简单的颜色、形状和纹理特征对服装进行分类的过程，对图像分割的精度要求较低。因此在分割效果不太好的情况下，也可完成图像的检索。面向网络个性化定制是服装图像处理的另一个主要研究领域，如河北工业大学服装图像结构分析技术的研究和应用；东华大学图像特征提取技术在个性化服装款式系统中的应用研究等。此类研究是通过对服装图像的分割和提取，完成

27、网络试衣、纹理替换、个性化定制等实际的应用。这些应用属于专业的服装设计领域，因此对分割提取的服装图像要求具有较高的精度，对图像边缘的完整性和平滑性也有所规定，且必须保证提取的正确性。因为此类研究难度较大，因此有人引入一定的人机交互来控制分割提取的合理性，虽然具有一定的效果，但是增添了人为参与的因素，降低了分割的效率和能力。当前虽然针对服装图像分割和提取的研究很多，但是这些研究大多存在一些难以解决的问题，所以，只有通过更多新方法的研究才能不断提高服装图像分割和提取的性能。3.2服装图像分割提取的流程服装图像分割提取的主要流程是，首先获取服装图像，对其进行去噪和图像增强等处理，使服装图像不会受到干

28、扰的影响，且具备更高的可分性。然后针对不同的图像特征进行分类，分类的目的是用不同的分割方法处理不同情况的服装图像，以保证图像分割的合理性。之后要对初步分割的图像进行特征提取，通过特征提取度量分割的相似性，识别出要提取的目标区域。最后在提取之前还要对已经提取的图像进行边缘和图像的矫正，保证图像的正确性。其流程如下图所示：图6服装图像分割提取流程图3.3可能存在的技术难点基于以上章节的分析，服装图像分割和提取可能存在的技术难点有以下几点：1）图像来源难易程度服装图像是否具有复杂多变的背景是分割难易的关键。背景特征与要提取的目标特征越接近，分割提取的效果就越差，如服装与背景具有同样的颜色、纹理特征、

29、以及比较小的背景目标，都可能对分割造成影响。此外，图像不同的分辨率、模糊程度、成像角度，曝光水平也都会造成分割提取的困难。因此，如果能够提前有效定制图像来源规约，保证处理图像的基本样式和质量，可以较大程度化简图像分割和提取的难度。2）图像中人物姿态是否固定在处理复杂情况的图像时，可以利用人物位形和结构特征来定位服装的基本区域。但是，如果人物的姿态不固定，或者人物位形存在比较难以分析的方向和角度，那么就较难利用人体特征来降低分割的难度。比如当人物的头部特征没有体现在图片中时，就无法利用这一特征进行基本的定位，而当人物呈抱臂、抱膝、坐姿等模糊分割区域的姿态时，也很难利用基本的人体结构来定位服装可能

30、存在的区域。3）图像中是否有多人重叠问题如果要处理的图像中包括多个人物，而且人物之间因不同的位置关系相互遮挡，相互重叠，此时就很难对要提取的目标进行检测。此时可能提取出不完整的服装信息。4） 特征提取存在的误差和错误在服装图像分割提取时，服装所体现出的特征仍然十分有限。目前可利用的服装特征与环境中其他物体的特征在很大程度上仍然是难以区分的。因此基于特征的提取技术必然存在一定的误差和错误。而解决这些错误和误差的方法还比较少，因此成为服装图像分割和提取的主要瓶颈。为减少这些误差需要更多对新方法的应用和研究。针对以上难点，预期解决的办法就是利用定位技术规划服装出现的区域，然后根据服装模版匹配提高服装形状特征的提取，并在此基础上，运用多种图像分割的方法对服装图像进行分割和提取。此外，还要提取不同的服装特征，并利用这些特征进行相似性的度量和加权，以综合提高图像提取的