（计算机应用技术专业论文）基于交互提取与纹理变换的图像编辑.pdf

大连理工大学硕士学位论文 摘要 图像编辑是图像研究领域的重要方向，它将输入的图像根据用户的要求进行编辑， 输出用户需要的处理结果。随着各种图像编辑需求的增加，研究新颖的可以实现不同编 辑效果的图像编辑技术成为图像研究领域的新兴课题。本文的工作来源于与游戏图像设 计公司的合作，发现项目中有这样的实际需求：希望通过图像中景物纹理外观的变化来 生成新图片，从而简化重新创作图片的繁琐过程。目前所使用的图像编辑软件，功能大 都局限在对图像进行剪裁修补、缩放旋转、校色调色等功能。这些功能并不能满足纹理 编辑的需要，因此，本文设计并实现了一种交互式纹理变换编辑方法，并且重点对所涉 及的交互式提取技术和纹理变换技术作了深入地研究。 在交互式提取技术方面，总结和比较了目前存在的多种提取方法，重点分析研究了 基于简单交互的提取算法。为了更好的提取前景映射图，论文对提取方程进行扩展和改 进，将用户所提供的约束信息加入到解析方程并加以控制，使扩展后的方程可以在用户 的引导下提取更加精确的前景映射图。该方法在保证提取精度的前提下，仅需要简单的 用户交互，就可以提取高质量的前景映射图，方便快速。 在纹理变换技术方面，分析比较了两种纹理变换方法，根据具体需求选用基于纹理 替换的纹理变换方法进行交互式纹理变换编辑的设计和实现。结合了交互式提取技术的 纹理变换编辑，仅需要用户给出较少的前背景信息，就可以快速准确的提取前景映射图， 从而精确方便地对指定物体进行纹理编辑。对于纹理编辑后的图片，有时会出现颜色不 调和的编辑效果，针对这种情况，给出以原图像为样本的着色处理方案，修饰整体颜色 效果，使最后的图片效果更加真实，自然。 根据各种实验测试结果，本文所实现的交互式纹理变换图像编辑，很好的满足了对 于图像纹理编辑的项目需求。文中对于相应技术的改进，也使编辑效果更加满足人们对 于视觉效果以及重新创作的需要。因此，这一方法可以广泛的应用到图像编辑、艺术设 计、视觉效果等相关领域。 关键词：图像编辑；交互提取；纹理变换 大连理工大学硕士学位论文 i m a g ee d i tb a s e d o nr e - t e x t u r i n gw i t hi n t e r a c t i v ee x t r a c t i n g a b s t r a c t i m a g ee d i ti sav e r yi m p o r t a n tr e s e a r c hd i r e c t i o ni ni m a g er e l a t e df i e l da n di ti sap r o c e s s t h a to u t p u t st h es a t i s f i e dp r o c e s s i n gr e s u l ta c c o r d i n gt ot h ee d i t i n gr e q u i r eo ft h eu s e r w i t h t h ei n c r e a s eo fi m a g ee d i t i n gr e q u i r e s ，r e s e a r c ho fd i f f e r e n ta n dn o v e li m a g ee d i t i n gm e t h o d s b e c o m et h ek e yp o i n ti nt h ei m a g ea n dg r a p h i cf i e l d 1 1 1 ew o r kd o n ei nt h i sp a p e rd e r i v ef r o m t h ep r a c t i c a lr e q u i r eo f c e r t a i nc o o p e r a t e di m a g ea n dg a m ed e s i g n i n gc o m p a n yw h i c hh o p et o c r e a t en e w p i c t u r eo rp h o t ov i ac h a n g i n gt h et e x t u r ea p p e a r a n c eo f t h eo b j e c ta n dt os i m p l i f y t h ep r o c e s so f m a k en e w p i c t u r e s a tp r e s e n t ，e d i t i n gs o f t w a r eg e n e r a l l ya l l o w si m a g e st ob e c u t i n p a i n t i n g , z o o m r o t a t e c o l o r - c h e c k b u tt h e s ef u n c t i o n sc a nn o ts a t i s f yr e q u i r eo ft h e t e x t u r ee d i t i n g t h e r e f o r e , a l li n t e r a c t i v er e - t e x t u r i n ge d i t i n gi sd e s i g n e da n di m p l e m e n ta n d t h i sp a p e rp a ym o r ea t t e n t i o nt oi n t e r a c t i v ee x t r a c t i n ga n dr e - t e x t u r i n gr e s e a r c h i nt h ef i e l do f e x t r a c t i n gt e c h n i q u e s ，l o t so f r e s e a r c h e sa n dc o m p a r i s o n sa r ed o n ea m o n g v a r i o u sr e l a t i v et e c h n i q u e so fe x t r a c t i n ga n dw ef o c u so nt h ei n t e r a c t i v ee x t r a c t i n gm e t h o d f o rg e t t i n gag o o da l p h am a r e ，t h ee x t r a c t i n gf u n c t i o ni se x t e n d e da n dc o n s t r a i n sa r e i m p o r t e di n t ot h ec o s tf u n c t i o nf o rg e tag o o da l p h am a r eu n d e r u s e r sg u i d i n g ma l g o r i t h m o n l yn e e d ss i m p l eu s e ri n t e r a c t i o nw h i l er e m a i n st h ee x t r a c t i n ga c c u r a c y , a n di ti sc o n v e n i e n t a n dq u i c kt og e ta g o o de x t r a c t i n gr e s u l t i nt h ef i e l do fe x t r a c t i n gt e c h n i q u e s ，t w or e - t e x t u r i n gm e t h o d sa r ea n a l y s e da n d c o m p a r e d r e t e x t u r i n gb a s e do nt e x t u r er e p l a c ei s c h o s e nt od e s i g na n di m p l e m e n tt h e i n t e r a c t i v er e - t e x t u r i n ge d i t i n g t h er e - t e x t u r i n go d i t i n gm e t h o dc o m b i n i n ge x t r a c t i n go b j e c t i n t e r a c t i v e l yo n l yn l 擞l ss e v e r a ls c r i b b l e sw h i c hi n d i c a t et h ef o r e g r o u n do b j e c ta n dt h e b a c k g r o u n d t h e na l le x a c ta l p h am a r ec a nb eo b t a i n e da n dt h eo b j e c tc a nb er e - t e x t u r e dw e l l i nr e - t e x t u r e di m a g e so rp h o t o s ，s o m e t i m e st h ew h o l ei m a g eh a ss o m ec o l o rh a r m o n i z a t i o n p r o b l e md u e t ot h ec h a n g eo f t h et e x t u r e f o rs o l v i n gt h i sp r o b l e m ，c o l o r i z a t i o nm e t h o db a s e d 0 1 1o n , h a li m a g ei sp r e s e n t e da n di tc a nm a k er e a la n dn a t u r a lr e - t e x t u r i n gr e s u l t s a c c o r d i n gt ot h er e s u l t so fe x p e r i m e n t s ，i n t e r a c t i v er e t e x t u r i n ge d i t i n gp r e s e n t e di nt h i s p a p e rm e e t st h ep r o j e c tr e q u i r e sw e l l a d d i t i o n a l l y , t h ei m p r o v e m e n t so fr e l a t e dt e c h n o l o g y m a k et h ew h o l ee d i t i n gp r o c e s sf l e x i b l ea n dm e e tu s e r sn e e do fe d i ta n dc r e a t i o n h e n c et h e m e t h o dp r e s e n t e di nt h i sp a p e rc a nh a v ew i d ea p p l i c a t i o nt h r o u g h o u tp h o t o g r a p he d i t i n g , a r t d e s i g na n dv i s u a le f f e c t s k e yw o r d s ：i m a g ee d i t ；i n t e r a c t i v ee x t r a c t i n g ；r e - t e x t u r i n g 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：监遂日期：迎壁： 大连理工人学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：坐堕塑作者签名： 蚯! 鳖型 导师签名：郝毛 丝星年l 月e t 大连理工大学硕士学位论文 1 绪论 1 1 问题的提出 计算机图形图像技术是计算机应用的一个重要领域，特别是在近十几年，迅速的发 展成为- - f - j 独立的有强大生命力的学科i “。随着计算机与信息技术高速的发展，图形图 像处理技术也得到快速的发展，目前已成为计算机科学、医学、生物学、工程学、信息 科学等领域各学科之间学习和研究的对象。在实际生产生活中，人们很频繁地接触图像， 电视画面、照片、广告媒介、图画等等。人类所获的外界信息有7 0 以上是通过视觉系 统，也就是图像获取的。图像传递了丰富的信息，有灰度、彩色还有平面、立体等。图 像可以分为两大类。模拟图像和数字图像。一般的图像都是模拟图像，即图像上的信息 是连续变化的模拟量，如照片上的物体是通过反射光强度变化体现的，它是一个连续变 化的量。对于模拟图像只能采用模拟方式处理，如按光学原理用透镜将照片放大。计算 机不能接受和处理模拟信号，只有将模拟图像通过抽样、量化后转化为数字图像才能接 受。因此常把计算机图像处理称为数字图像处理。总的来说，图像处理一般包括以下几 顶内容：点运算、几何变换、图像增强、复原、编辑、重建、颜色处理、边缘提取等。 这些方法在工业、生物医学、军事、通信等各种领域都有着广泛的应用。因此，图像处 理领域成为当今研究的热点，而图像编辑技术正是这个领域的一个重要的分支。 图像编辑技术是指用计算机及相关图像技术，对图像施加某种处理或操作，从而达 到某种预期的编辑效果。凡是与文字、图形图像打交道的人，都希望自己能对文字、图 形、图像编辑自如，并通过计算机的外围设备输出符合自己创作预想的效果。特别是设 计艺术专业的人士，更是希望通过计算机，将自己的设计构思通过图像编辑完全的表达 出来。因此，各种图像编辑技术通过相应的应用软件为人们所熟悉和利用。 图像编辑技术有很多的分支和研究方向，并且是一个富有想象空间的研究领域。本 文的工作来源于与游戏图像设计公司的合作，发现项目中有这样的实际需求：希望通过 图像中景物纹理外观的变化来生成新图片，从而简化重新创作图片的繁琐过程。目前所 使用的图像编辑软件，功能大都局限在对图像进行剪裁修补、缩放旋转、校色调色等功 能。这些功能并不能满足纹理编辑的需要，因此，本文的目标是设计并实现一种交互式 纹理变换编辑方法，并对相应的技术进行研究，以满足对图像纹理进行编辑的项目需求。 1 2 研究现状 1 2 1 纹理变换技术研究现状 基于交互提取与纹理变换的图像编辑 纹理变换技术( r e - t e x t u r i n g ) 是一种图像编辑方法，它将图像中指定物体进行纹理变 换，即用一种全新的纹理替换原来的纹理，使物体外观发生变化。在基于图像的纹理变 换技术方面，f a n g ：f l l h a r t l 2 1 ，z e l i n k a 等人【3 】所提出的基于纹理合成的纹理变换技术首先 估计图像中物体表面每个像素点的法向量，再根据法向量的相似程度进行表面分割，最 后在这些分割出的小区域内应用纹理合成技术，达到改变目标物体纹理的目的。它的局 限性是纹理改变过程中，对图像中物体细节的保持不佳。而k h a n 等人【4 】在其论文中所提 到的纹理变换技术，可以很好地完成物体表面的纹理变换。这种纹理变换技术将一幅待 编辑图像和一幅标志物体轮廓的前景映射图作为输入，首先求出物体表面深度信息和梯 度场，之后应用纹理变换方程，来改变物体表面纹理。实验证明这种方法可以灵活地改 变纹理，很好地保持细节信息。由此可知，纹理变换技术需要物体前景映射图的提取， 因此需要对前景映射图提取技术进行深入地研究。 1 2 2 提取技术研究现状 在前景映射图的提取技术方面，最初的方法是图像分割。图像分割中用边缘检测、 区域分割等技术可以提取物体边缘，将物体轮廓分割出来，但是图像分割的方法在图像 复杂的情况下，往往不能很好的提取出目标物体，容易受图像背景中其它因素的影响。 因此，近年来诸多学者提出了各种各样的技术来实现精确的提取。常用的提取技术一般 是从一张图片中，根据优化函数，求解方程来解析出前景映射层口、前景层f 和背景层 曰。另外还有通过多张图像或者视频片断进行提取，以及通过主动光源或闪光灯图像进 行提取的方法。在这些提取算法中，w a n g 和c o i l 饥等人【5 疑出基于用户输入的前背景层 提示信息来提取前景层，但是它的运算引入了耗时的非线性迭代计算方法。j i a ns u n 等 人【6 】提出使用三分图的边界信息来解泊松方程，从而从图像梯度中解析出口层。为了得 到准确结果，它还引入了交互式局部泊松提取技术，这使得这项技术需要大量的人机交 互。c h u m l g 等x 7 】所提出的提取算法，把提取技术转化成一个贝叶斯定理框架，再解析 出口。r u z o n 和t o m a s i 引，b e r m a n 等人【9 l 对于前景映射层的提取也得到了不错的效果。 但是这些算法都需要使用三分图作为输入，用户手动构造三分图本身就是一项繁琐的工 作。近年出现了一些方便的图像前景背景分离算法h o - i i 】，可以帮助用户构造三分图，它 们都是通过解决最小切割问题来实现前景层与背景层得硬分离，并不提取口信息，然后 再对结果进行处理可得到粗略的三分图，但算法的稳定性不高，对于结构复杂的图像， 很容易产生错误的结果。a n a tl m ，i i l 等人【1 2 】给出了一种基于简单交互的前景映射图求解 方法，可以很好地完成前景映射图的提取，它相比于以前的诸多提取技术的优势在于， 无需用户手动的构造三分图，用户给出少量的前背景提示信息，就可以解析出前景映射 图。 大连理工大学硕士学位论文 1 3 研究内容及相关工作 通过对交互式提取技术和纹理变换技术的深入研究，本文设计并实现了一种交互式 纹理变换编辑方法，很好的满足了对于图像纹理编辑的项目需求。 论文首先对关键技术之一的交互式提取技术进行了介绍，总结和比较了日前存在的 多种提取方法，重点分析研究了基于简单交互的提取算法。为了更好的提取前景映射图， 论文对提取方程进行扩展和改进，将用户所提供的约束信息加入到解析方程并加以控 制，使扩展后的方程可以在用户的引导下提取更加精确的前景映射图。该方法在保证提 取精度的前提下，仅需要简单的用户交互，就可以提取高质量的前景映射图，方便快速。 另一关键技术就是纹理变换技术，文章对两种纹理变换方法进行了细致地分析和比 较，根据具体需求选用基于纹理替换的纹理变换方法进行交互式纹理变换编辑的设计和 实现。结合了交互式提取技术的纹理变换编辑，仅需要用户给出较少的前背景信息，就 可以快速准确的提取前景映射图，从而精确方便地对指定物体进行纹理编辑。对于纹理 编辑后的图片，有时会出现颜色不调和的编辑效果，针对这种情况，给出以原图像为样 本的着色处理方案，修饰整体颜色效果，使最后的图片效果更加真实，自然。 设计了大量的实验，测试结果充分说明了本文所实现的交互式纹理变换编辑方法， 很好的满足了对于图像纹理编辑的项目需求。文中对于相应技术的改进，也使编辑效果 更加满足人们对于视觉效果以及重新创作的需要。 1 4 本文组织结构 第一章为绪论，说明研究的背景和动机，主要的研究内容和相关工作，并对以后各 章的后续工作做了简要的说明。 第二章简要介绍了几种前景映射图提取技术。由最基本的图像分割技术入手，逐步 阐述近年来应用于前景物体提取的热点技术，包括了基于三分图的提取技术以及基于简 单交互的提取技术，并深入分析了这两种方法的优缺点。 第三章主要介绍了纹理变换技术，包括什么是纹理变换，纹理变换的主要方法：基 于纹理合成的纹理变换和基于纹理替换的纹理变换。在介绍基于纹理合成的纹理变换 时，对各种纹理合成方法作了详细的分类和说明，并通过具体分析指出基于纹理合成的 纹理变换技术的优缺点。之后详细的阐述了基于纹理替换的纹理变换技术的原理以及相 关变量的求解方法，由于此种方法的纹理变换效果优于其它方法，论文第四章的交互式 纹理变换图像编辑的实现也是以这种技术为基础。 第四章主要介绍基于交互提取与纹理变换的图像编辑。首先，为了更好的提取前景 映射图，论文对提取方程进行扩展和改进，将用户所提供的约束信息加入到解析方程并 基于交互提取与纹理变换的图像编辑 加以控制，使扩展后的方程可以在用户的引导下提取更加精确的前景映射图。该方法在 保证提取精度的前提下，仅需要简单的用户交互，就可以提取高质量的前景映射图，方 便快速。然后，将改进的提取技术与纹理变换技术相结合，设计并实现交互式纹理变换 编辑方法。另外，对于纹理编辑后的图片，有时会出现颜色不调和的编辑效果，针对这 种情况，给出以原图像为样本的着色处理解决方案，修饰整体颜色效果，使最后的图片 效果更加真实，自然。最后，通过大量的实验证明论文中所实现的交互式纹理变换编辑 方法的方便与高效，并且相关技术的改进对编辑效果也有着明显的改善。 最后，总结。对全文工作做总结，并给出了对未来工作的设想。 大连理工大学硕士学位论文 2 前景映射图提取技术 对于一幅图像，人们往往希望将图像中的指定物体轮廓提取出来，之后方便对其进 行编辑。但是传统的提取方法通常需要大量的手动操作来勾出轮廓，这样的工作既费时 又不准确。因此，图像编辑领域的研究人员开始不断的研究能准确方便的提取图像中物 体的方法，也就是所说的物体前景映射图的提取技术。 对于图像中物体轮廓的提取，最基础和普通的技术是图像分割。图像分割中用边缘 检测、区域分割等技术可以提取物体边缘，将物体轮廓分割出来，它是提取领域的基础。 近年来出现了很多新的提取算法来解决物体轮廓提取问题。其中包括基于三分图的提取 技术和基于简单交互的提取技术。因此，下面先介绍相关的图像分割理论，然后深入到 几种主要的前景映射图提取算法。 2 1 图像分割 在计算机图像理解中，将广义图像的一些部分聚集成单元，这些单元对某一种或某 几种特性是均一的，这就形成了分割图像。分割图像是广义图像在一个重要方面的扩展， 它包含了初步的域相关解释。在这个描述级，物体的内在域相关模型开始影响广义图像 结构的聚集，使得划分的单元相对于该应用领域是有意义的。图像分割的要点是：把图 像划分为若干互不交叠区域的集合，这些区域要么对当前的任务有意义，要么有助于说 明他们与实际物体或物体的某些部分之间的对应关系。因此，图像分割也是将图像中的 像素按照特征的不同而进行分类的过程。图像分割是数字图像处理中的重要前期过程， 是图像处理中最基本的技术之一。特征提取、目标识别都依赖于图像分割的质量好坏， 所以图像分割决定了图像分析的最终成败。有效合理的图像分割能够为基于内容的图像 检索、对象分析等抽象出十分有用的信息，从而使得更高层的图像理解成为可能。 早在5 0 年代，计算机图像理解的研究中就出现了图像分割的概念，从那时开始，图 像分割一直是计算机图像理解中一个十分活跃的研究领域。一种好的图像分割要求分割 区域相对于某些特征，如灰度值或纹理等，是均一的；区域内部简单且不存在许多小孔； 邻接的区域相对于在其上的均一特征有明显可区分的值；区域间的边界简单，平滑无毛 刺，且空问位置精确等。要想获得所有这些特性是十分困难的，因为严格均一的区域通 常有许多小孔，并且其边界带有毛刺。坚持邻接区域有较大的特征值差会引起区域合并， 从而丢失边界。由于没有聚类理论，因此，也不存在图像分割理论。图像分割技术基本 上是专用的，并且在各自所强调要获得的特性方面存在着不同。根据图像分割过程中所 使用知识的多少。可将图像分割按技术分成：信号层技术、物理层技术和语义层技术。 基于交互提取与纹理变换的图像编辑 信号层技术在图像分割过程中纯粹基于数字图像中的数值；物理层技术在图像分割过程 中使用了有关图像生成的知识；而语义层技术则在图像分割过程中还使用了有关景物类 型的领域专用知识。为了阐述简单明了，目前的研究通常将图像分割总体上分为两大类， 一类是基于边缘的图像分割，即边缘检测；另一类是基于区域的图像分割，即区域分割。 论文在下面的部分会对这两种方法作具体的阐述。 图像分割在实际中已经得到广泛的应用，例如在工业自动化，在线产品检验，生产 程控，文件图像处理，遥感和生物医学图像分析，保安监视，以及军事、体育、农业工 程等诸多方面。概括来说，在各种图像应用中，只要需对图像目标进行提取、测量等都 离不开图像分割，分割的准确性直接影响后续任务的有效性，因此图像分割具有十分重 要的意义。 2 1 1 区域分割 所谓区域分割【1 3 】是指从全图出发，根据特征一致或相似的准则要求，决定每个像素 点的区域归属，形成区域图。概括地说，区域分割是按规定地一致性准则将图像划分为 互不交叠的区域集，相邻区域之间的特征有明显的区别。区域分割的目标是利用图像特 征，将图像中的单个像素映射成一个称为区域的像素集。通常，区域被认为是相连的二 维表面。区域也可以是不相连的，非简单相连的( 有孔) ，或应当有平滑的边界等等。所 有这些都随区域分割方法的研究目的而定。最终，将整个图像划分成准分离的区域通常 是区域分割的目的，即：区域之间没有二维的重叠，没有任何像素属于两个或更多个区 域的内部元素。 基于区域的分割技术能够直接将图像分割，使得它成为目前最流行的分割技术之 一。基于区域的技术主要依赖于图像中区域的连续性，一般包括区域生长、区域分裂和 分裂合并等方法，通过计算欧几里得空间距离来比较两个像素颜之间的差别。区域生长 是将具有相似性质的像素结合起来构成区域。具体的是先对每个需要分割的区域找一个 种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似颜色特 征的像素合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上述 过程，直到再没有满足条件的像素可被包括进来，这样就生成了一个区域。区域分裂方 法是根据图像特征循环将图像分裂成越来越小的区域，直到区域特征一致为止。分裂合 并方法的思想是将整图像分成若干个互不交叠的图像块，对每块进行分割，然后根据块 与块分割特征进行合并。基于区域的技术既考虑到颜色空间中颜色的贡献，又考虑到与 邻近像素之间的联系。彩色图像分割中区域生长法是最具代表性的方法之一。由于区域 生长法直接作用于颜色空间，在分割过程中同时考虑了颜色分布以及其空域上的重新划 分，因此，它较其它方法更适合于彩色图像分割。 大连理工大学硕士学位论文 图2 1 简单图像的区域分割 f i g 2 1 r e g i o ns e g m e n t a t i o no f s i m p l ei m a g e 区域分割算法的有效性很大程度上取决于应用领域和输入图像。如果图像非常简 单，比如说在一个亮的背景上有一个黑团，用简单的局部方法就可以得到非常满意的效 果。如图2 1 所示就是对于简单图像进行分割的例子，可见对于结构简单的图像，区域分 割可以取得较好的提取效果。反之，在非常复杂的景物上，如室外景物，即使最高级的 方法也无法得到满意的分割。如图2 2 所示，对于一幅室外农田的图片进行区域分割，得 到许多零散的小区域，这样对于某一具体物体的提取则不适用。在这种情况下，往往谨 慎地采用区域分割作为一种图像预处理，以供下一步采用更有知识能力的处理。 图2 2 复杂图像的区域分割 f i g 2 2r e g i o ns e g m e n t a t i o no f c o m p l e xi m a g e 目前，关于区域分割已经开发出各种不同的处理方法，它们可分为如下几类： ( 1 ) 单连接区域生长 ( 2 ) 混合连接区域生长 ( 3 ) 质心连接区域生长 ( 4 ) 分裂与合并 基于交互提取与纹理变换的图像编辑 ( 5 ) 测量空间引导的空域聚类 ( 6 ) 空域聚类 ( 7 ) 基于知识的图像分割方法 单连接区域生长是最简单的方法，但往往产生不希望的区域合并错误。混合和质心 连接区域生长方法在这一方面效果好一些。分裂合并方法虽然不会出现上述问题，但它 消耗大量的存储空间，并产生过多的块状区域边界。测量空间引导的空域聚类方法可以 避免区域合并错误和块状边界问题，但它对点噪声比较敏感，不容易使区域边界平滑， 且区域内部多孔。空域聚类在这方面效果可能会好一些，但还没有得到足够的实验。将 各种区域生长方法加以综合使用，似乎能够提供具有平滑边界和较少不希望的区域合并 之间的最佳折衷。基于知识的图像分割方法能够对范围很广的各类图像产生较好的结 果，但其复杂性和计算时间大大增加，从而降低了效率。 上面列出的七种方法中，前三种方法都是基于区域生长的，下面对区域生长的方法 作一下详细地说明。正如它的名字所暗示的，区域生长算法 i m 4 】是一种根据事前定义的 准则将像素或子区域聚合成更大区域的过程，基本方法是以一组“种子”点开始将与种 子性质相似( 诸如灰度级或颜色的特定范围) 的相邻像素点附加到生长区域的每个种子 上。 通常根据所解决问题的性质而选择一个或多个起点。当一个先验信息有效时，这一 过程将对每个像素计算相同的特性集，最终，这个特性集在生长过程中将像素归属某个 区域。如果这些计算的结果呈现了不同簇的值，则那些由于自身的性质而处在这些簇中 心附近的像素可以作为种子。 相似性准则的选择不仅取决于面对的问题，还取决于有效图像数据的类型。例如， 对地观测卫星成像非常依赖颜色的使用。如果没有彩色图像本身固有的可用信息，这个 问题会变的非常棘手，甚至无法解决。如果图像是单色的，必须用一组基于灰度级和空 间性质的描绘( 如矩或纹理) 对区域进行分析。 如果有关连通性和相邻性的信息没有用于区域生长过程，则单个的描绘会产生错误 的结果。例如，仅用3 个不同的灰度级值将任意一个范围内的像素可视化。具有相同灰 度级的像素组成一个“区域”，而不考虑它们的连通性，则会生成一个对于我们讨论的 内容来讲毫无意义的分割结果。 区域生长的另一个问题是用公式描述一个终止规则。基本上，在没有像素满足加入 某个区域的条件时，区域生长会停止。但常用的灰度级，纹理和颜色等准则都是局部性 质，没有考虑到区域增长的“历史”。为增强区域生长算法的处理能力，其准则需利用 待选像素和己加入生长区的像素闻的大小，籀似性等概念( 比如待选像素的灰度级和生 大连理工大学硕士学位论文 长区域的平均灰度级之间的比较) ，以及生长区域的形状等全局性质。在这种情况下， 常需对分割结果建立一定的模型或辅以一定的先验知识。 2 1 2 边缘检测 众所周知，边缘是图像的一个基本特征，携带了图像的大量信息。边缘广泛存在于 物体与背景之问、物体与物体之闻，它是图像分割所依赖的重要特征。边缘检测【”l 不仅 能得到关于边界的有用的结构信息，而且还能极大地减少要处理的数据，因此很多图像 处理和识别算法都以边缘检测为重要基础。 边缘是图像中局部灰度级以简单( 即单调) 方式发生极快变化的小区域。边缘算子是 具有小的空间范围的一种数学算子( 或计算上的等效形式) ，专门用于检测图像函数中边 缘的存在。要事先规定哪些局部边缘对应于图像中有关的边界是困难的。根据特定的任 务领域，不同的局部变化都可能被认为有边缘存在。不同种类的边缘算子分别在不同的 任务领域中表现出其最好的性能，这一事实已促使研究各种各样的算子。然而，大多数 有用的边缘算子有一个共同的特点，就是都计算与最大灰度级变化方向相一致的方向， 并计算描述这种变化程度的大小。 目前，边缘算子大致可分为如下三类： ( 1 ) 与数学的梯度算子相近的算子 ( 2 ) 利用多个不同方向模板的模板匹配算子 ( 3 ) 用参数式边缘模型模拟局部亮度的算子 如果边缘是图像强度变化很快的位置，则寻找边缘的最明显的方法是计算空间微 分。这可以通过梯度的离散模拟来完成。而许多研究人员都是通过计算邻接像素之间的 差来估算梯度的。模板匹配是另一种很普遍的边缘检测方法。其基本思想是首先假定待 检测边缘的理想模型，再求出与给定图像局部区域内的灰度变化最吻合的边缘模板参 数，则根据最佳边缘模板进行计算，可以检测出边缘。理想的边缘可以认为是一维或二 维斜坡函数，因而实际图像函数可以与这一理想的边缘模型匹配或拟合。如果在给定图 像位置上拟合得足够准确，便认为存在一个参数与理想边缘模型相同的边缘。对于大多 数图像来说，梯度等于零的地方是有的，但是很少。况且，即使图像中没有任何内容， 随机波动也很可能引起小的梯度量值。因而在实际情况下，为了减少噪声的影响，一般 认为只有当边缘强度大于某个阈值时，才有边缘元素存在。不论对于采用梯度算子，还 是模板匹配算子来检测边缘，阈值的选取都是很关键的。阈值取得过高，便不能检测出 低强度的边缘元素；反之，阙值取得过低，会将噪声误检为图像边缘。 下面介绍几种常用的边缘检测算予： 一9 基于交互提取与纹理变换的图像编辑 r o b e r t s 边缘检测算子是一种利用局部差分算子寻找边缘的算子。它可以由公式( 2 1 ) 给出： g ( y ) = 4 f ( x ，y ) 一f ( x + l ，y + 1 ) 】2 + l 厂( 工+ l ，y ) 一，( 五j ，+ 1 ) 】2 ( 2 1 ) 其中，y ) 是具有整数像素坐标的输入图像，平方根运算使该处理类似于在人类 视觉系统中发生的过程。 s o b e l 边缘算子由图2 3 所示的两个卷积核构成，图像中的每个店都用这两个核做卷 积，一个核对垂直边缘响应最大，而另一个对水平边缘响应最大。两个卷积的最大值作 为该点的输出。 ( 导三丢 ( - i 三：1 拉普拉斯算子是对二维函数进行运算的二阶导数算子。由于拉普拉斯算子是一个二 阶导数，它将在边缘出产生一个陡峭的零交叉。由于噪声点对边沿检测有一定的影响， 所以拉普拉斯算子是效果较好的边缘检测器。通常使用的拉普拉斯算子如图2 4 所示： ( 虽三虽 - i 三：1 边缘检测得到的结果是一些基本的边缘元素，但只是一些不相连的边缘元素构成的 图像是没有什么意义的，必须用附加处理将边缘元素聚集成更适于解释过程的结构形 式，即由许多单独的局部边缘元素形成连贯的边界。一般地说，边界检测可使用如下几 种方法： ( 1 ) 近似位置附近搜索 ( 2 ) h o u g h 变换 ( 3 ) 图搜索 ( 4 ) 动态规划 大连理工大学硕士学位论文 ( 5 ) 轮廓跟踪 近似位置附近搜索的基本思想是根据由较低分辨率图像，或利用高级知识确定的一 条边界的近似位置或先验可能位置，对该边界进行精化工作。h o u g h 变换是通过将像素 点变换到参数空间中的直线来检测边界。而图搜索则是将边缘像素看成为一个图中的节 点，因此，搜索一个物体的边界，即是搜索图中两个节点间具有最低耗费值的路径。动 态规划通过定义一个体现“最优边界”概念的估价函数，将边界追踪方法表示成动态规 划的公式。轮廓跟踪是一种比较简单的方法，其主要思想是由确信为边界上的某一点出 发，通过在轮廓方向添加边界点而使边界延伸。 图2 5 是结合了s o b d 边缘算子的基于预测的边缘检测提取效果，可以看出边缘检 测的方法对于物体轮廓进行跟踪，能较准确地提取边缘，但对物体的前景层则无法准确 给出。 图2 5 边缘检测效果图 f i g 2 5r e s u l to f e d g ed e t e c t i o n 2 1 3 基于归一化割的图像分割 基于图论的图像分割方法也是人们感兴趣的领域之一。s h i 和m a l i k 1 6 】将图像分割转 换为最优化图的划分问题，提出了归一化割准则( n o r m a l i z e dc u tc r i t e r i o n ) 作为全局最优 准则，其中加权图由任意空间一系列点构成，图中顶点代表图像的像素或区域，边界的 权代表相邻的像素或者区域的相似度。图的划分技术是将图划分成许多非连接性点集， 其中同一点集内的点相似程度高，不同点集之间的相似程度低。衡量相似程度的标准可 以是位置、灰度、颜色和纹理等。此外，归一化割的优化问题可以近似为一个广义特征 值问题。 归一化割准则是由s h i 和m a l i k 提出的一种无监督图像分割技术，它不需要初始化， 并具有三个主要的特点【1 7 1 ： 基于交互提取与纹理变换的图像编辑 一幅加权无向图g = ( 矿，司可以通过删去某些边，将其分为两个非连接性点集a ， 而现在被删去的所有边的权的总和，由公式( 2 2 ) 给出，在图论中称之为割( c u t ) ： c u t ( a ，b ) = t o ( i , j ) ( 2 2 ) 其中，国( f ，j ) 即连接点f 和点j 的边的权，它表示两点之间的相似程度。 一幅图的最优二分法即是使c u t 的值最小，但由于割直接与割中边的数日成比例， 的不同组之间的不相似性度量，即归一化割，如公式( 2 3 ) ： k 船d c ( 一，曰) = a s s o e ( a , a ) + a s a o c ( b , b ) ( 2 3 ) 其中，a s s o c ( a ，a ) 和a s s o c ( b ，b ) 分别表示a 和b 中所有边的权的总和。 由此可知，在图的划分算法中，寻找不同分组之间总体最小不相似性与同一个组内 n = l r i 维的指示向量，如果点f 属于彳，则五= 1 ；否则为一1 。t = ，m ( f ，d 表示点f 与 其他点之间的联系程度。n c u t 可以重写成公式( 2 5 ) ： 耻产+ 鼍茅眨s ， 设d = d i a g ( d 。，畋，“) ，w 是的对称矩阵，且矿( f ，j ) = 。这样寻找全局 n l i n ，n c u 戤) = l n i n ，粤茅 ( 2 6 ) 叫努h 大连理工大学硕士学位论文 如果y 只取实值，则可以通过解决广义特征值问题来求解公式( 2 6 ) ： ( d - w ) y = 五z 砂 ( 2 7 ) y 的约束来自于相应的指示向量x 的条件。公式( 2 7 ) 可以写成规范特征值问题： 一!一! d2 ( d 一形) d2 z = 2 z ( 2 8 ) l 公式( 2 8 ) 中，：= d2 y 。该特征值问题的对应具有第二个最小特征值的特征向量满 足规范约束，即可以利用该特征向量对图进行划分。但由于特征向量的每个元素一般都 是连续值，因此就需要定义一个分离点。通常选择0 或这些元素的中值作为分离点，也 可以采用试探法寻找最优分离点，从而得到图的最优划分【墙】。同时可以证明，利用具有 第三个最小特征值的特征向量可将第一次分割得到的结果再次进行最优划分。若进一步 地利用具有次最小特征值的特征向量，就可以对现有的图进行细分。但是，由于特征向 量的元素实际值与离散值之问存在近似误差，且所有特征向量必须满足互相正交的约 束，使得此法不妥。最好的办法还是将每个子图单独划分，此时可用递归的方法【1 9 1 进行 处理。 通过研究以上原理，可以按照以下步骤实现该算法： ( 1 ) 给定一幅图像或图像序列，建立一个加权图g = ( v ，司，设定边的权值函数， 用来度量两点间的相似程度。 ( 2 ) 利用最小特征值求出对应的特征向量。 ( 3 ) 利用具有第二个最小特征值的特征向量来将图一分为二。 ( 4 ) 判断是否需要细分，如有必要则采用递归方法将已分割的图再细分。 将图像分割转换为图的划分问题，首先要构造一个加权图g = ( l e ) ，图的每个顶 点代表图像的每一个像素，连接点i 和，点的边的权c o ( i ，_ ，) ，表示两点之间相似程度( 根 据图像的特点，可以选择位置、灰度、颜色和纹理等特征来衡量相似程度) ： f 墨墨二生二盟韭 c o ( i ，) = p 卟e 吒 d ( f ，_ ，) 0 ，并且： p ( z ( 玉) i z ( 薯) ，h ，五) = p 乜( 薯) i z ( x ，) ，x ，也，) ( 3 1 ) 公式( 3 1 ) 中，离散值的随机变量场的局部条件概率密度函数( p d 0 是用狄拉克万函 数定义的。 马可夫随机场有两个特点：一是所有可能的状态概率非零；二是一个特定点的局部 条件概率密度函数仅仅依赖于该点的邻域内随机场的值。通常假定纹理图像有两个统计 大连理工大学硕士学位论文 特点：第一，局部统计，即某一点的值仅依赖于其局部的邻近点。第二，平稳统计，即 这种依赖性对于每个点都是相同的。也就是说，m r f 模型认为纹理具有局部统计特征， 纹理中的任一部分都可以由其周围部分( 即邻域) 完全决定，因此m r f 模型适于描述纹理 图像，许多算法都是基于m r f 模型进行纹理合成。 基于特征集是在特征空间和采样图像中直接计算整个的统计，并通过在样本图中匹 配特征生成新的纹理图像。h e e g e r 提出的随机噪声分层的方法，能够对随机性的纹理合 成较好的效果，但是对结构性纹理合成效果并不理想。b o n e t 的方法适用于结构性的纹 理，但是对结构性不强的纹理合成效果不好。 基于样本的纹理合成需要搜索匹配点，计算量很大。目前多采用工形邻域搜索的方 法，用多分辨率合成方法减小搜索范围，并用树状结构的矢量量化技术进行加速。把搜 索范围限制在当前的邻域，从而提高了搜索速度。基于三形邻域搜索方法合成速度慢， 但是容易控制合成的过程，能够根据采样图合成新的、意想不到的纹理图像。 曲面纹理合成直接在曲面上生成纹理，使变形最小。在曲面上进行纹理合成需要解 决三个问题【2 9 】：第一，如何从目标纹理挑选采样的匹配点；第二，如何比较目标和采样 纹理中的匹配点；第三，如何在采样中寻找最相似的匹配点。 比起二维纹理合成，三维曲面纹理合成所需要解决的额外问题有以下两点： ( 1 ) 确定模型表面上的方向，