特定目标消隐及图像修复技术研究

1、分类号军事学硕士学位论文学号§螳！型密级垒五特定目标消隐及图像修复技术研究硕士生姓名熊校仕学科专业军事通信学研究方向通信网信息安全与对抗指导教师唐朝京教授国防科学技术大学研究生院二八年十一月国防科学技术大学研究生院硕十学位论文摘要随着计算机技术的发展和应用，储存技术与互联网技术发展越来越完善。数字图像被海量地储存在各类储存介质中、传播于网络上。数字图像处理技术由于应用领域广泛而得到迅速的发展。图像目标消隐技术作为数字图像处理的一个分支，目的是为了对图像中的特定对象进行移除，然后对图像的缺损部份进行修复，使移除对象后的图像看起来真实可信，没有视觉冲突。可以预见，图像目标消隐技术的潜在应

2、用前景十分广阔。本文将对图像的修复方法分为两类：像素点级别的修复和图像块级别的修复。剖析了两类方法的不同修复机理，对一些典型的算法进行了深入分析比较。对点级别方法的介绍例举了模型、整体变分模型和快速行进图像修复方法，图像块级别的方法例举了纹理合成方法、局部优化的纹理块采样方法及全局优化的块采样方法等。从以上方法中取几种不同的模型晟模型、快速行进算法、局部优化的纹理块采样方法建立离散化数据模型，并进行仿真实验，通过分别对各类情况下的图像目标进行消隐，分析了几种方法的优点和缺点，对实验中出现的结果，结合理论分析其原因，并指出每种方法较合适的实际应用场合。针对纹理块采样方法在搜索策略上的不足，提出一

3、种跳跃式定位搜索策略，该搜索策略避免了在寻找匹配块时对整个图像区域进行完全搜索。通过首先定位与待修复块结构相似的区域，然后在这些区域内进行搜索，避免了盲目搜索，提高了搜索效率。另外，基于纹理块采样方法提出一种基于该方法交互式应用模式，来实现目标消隐。通过设置“复合掩模”，将纹理块采样方法纳入一种交互式的处理过程中。实验结果证明，该模式能很好地对消隐过程进行指导，得到令人满意的消隐结果。主题词：目标移除，图像修复，纹理合成，交互式修复第页国防科学技术大学研究生院硕十学位论文，：?，、析，?：，第页国防科学技术大学研究生院硕十学位论文图目录图“目标消隐”示意图图模型修复思想的示意图图一维信号的缺损

4、示意图图选择图像信息沿边界内法向方向传递。图错误的信息传递方向导致错误修复。图整体变分（）修复模型示意图图模型对断裂结构的修复图水平集方法将平面划分为内外部两个区域：图变化的二维轮廓对应为三维锥体各个相同值的水平集图快速行进算法种子点生长过程图“窄带”的进化示意图。图三类不同类型纹理的比较。图四种纹理合成结果图用纹理合成方修复缺损的纹理区域。图通过纹理合成方法扩展图片图提出的纹理块采样方法模型图：图算法对匹配纹理块的搜索及复制示意图图全局优化块采样方法模型：图交互式的结构延伸消隐图片中植物藤蔓图单引导曲线模型图对各能量项的定义示意图。图模型对细长物体的消隐图模型对图片中大面积文字的消除图模型对

5、图片中划痕进行消隐图由于修复区域过大导致修复失败图快速行进算法对文字的处理。图快速行进算法对文字的消隐图纹理块采样方法对图片中细长对象的处理图纹理采样方法对文字的消隐图纹理采样方法对较大对象的消隐图三种方法对文字的消隐结果比较图。三种方法对尖锐纹理的修复结果比较第页国防科学技术大学研究生院硕士学位论文图图图图图图图图图图图图对图片中细长对象消隐结果对比。新搜索策略搜索过程示意图新搜索策略的精搜流程图用原算法搜索策略与新搜索策略处理图片结果对比图纹理采样方法的修复过程新的修复模式的修复过程多掩模交互式修复模式示例图用仿真多掩模修复方法时的各中间修复步骤。掩模对修复过程的指导作用示例图多掩模交互式

6、修复模式示例图不加指导的纹理块采样方法的修复结果用进行仿真时的修复过程图第页独创性声明本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所儆的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文题目：缝塾旦签叠迤垒固！塾亟塾煎茎墨翌盏学位论文作者签名：日；：扮另年月佶学位论文版权使用授权书本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国防科学技术大学可以保留并向

7、国家有关部门或机构送交论文的复印件和电文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密学位论文在解密后适用本授权书）学位论文题目：只，月日国防科学技术大学研究生院硕士学位论文第一章绪论引言随着计算机技术的高速发展，对该技术在各个领域的应用也不断提出新的要求。尤其是随着储存技术以及互联网功能的不断增加，数字图像被海量地储存在各种储存介质中，并通过网络进行广泛地传输以实现信息资源共享。数字图像处理技术因此得以蓬勃发展。比起实物图片来，数字图片的优越性体现在以下几个方面：）数字图片储存不占地方。现在的硬盘一

8、般储存量都很大，一个硬盘就能储存海量的图片，专业管理机构可以把他们的数字图片资料放在存储介质中，避免图像资料室狭小空间内堆满图片档案的情况；）数字图像更利于维护保管。实物图片的保管对环境要求很高，对房间温度湿度等环境参数都有要求，并需要定期除尘，采取各种保养措施，这个工作对海量的图片来说显然太在。数字图片不存在这种问题，管理员只需花时间对少量硬盘进行维护，对图片数据库进行维护和更新，少量人力资源便可对海量图片进行管理，大大提高了工作效率。）数字图片更方便传输与共享。数字图像可以通过网络直接进行传输和共享，其传播速度远非实物图片能比，非常方便快捷。因为如此数字图片优点很多，越来越多的图片资料都被

9、转化为图片数据，存放在储存介质里进行保管。二图像目标消隐技术作为数字图像处理技术的一个分支，有着广泛的应用前景。目标消隐的定义是：针对图像中特定的对象，设计自动或者交互式的方法，使计算机在算法的指导下，按照设计者的思路和意图对目标区域进行重建。处理后该对象在图像中消隐，而重建的部分应尽量与图像原来的部分保持一致，没有明显的视觉冲突。该技术有几个显而易?挠昧煊颍海保糜谌敉计心掣霾幌鱿值亩韵蟆热缒掣鋈耍涣境担蚴悄掣鎏厥獾谋曛尽庋淼哪康挠惺笔俏嗣阑计惺笔俏似燮鄄煺撸唬玻跃傻氖滞计蟹拢鄣愫突郏唬常终掌械母吖狻陨鲜歉眉际醯募父龅湫偷挠美印艘酝猓淝痹谟昧煊蚝芏啵诖瞬灰灰蛔甘觥幽勘晗际醯亩蹇芍勘晗旧系韧谕枷

10、修复，两者要处理的主体问题都是应采取何种方法对图像缺损区域进行重建。或者也可以说，目标消隐过程包含了对图像修复的步骤，因为在消隐目标后，需要对图像信息缺损区域进行修复。另外，两者在语义上存在差别，目标消隐的消隐对象往往是图像中某个有明确语义的物体，而流通图像第页里堑垒兰些奎查兰竺至兰量竺圭兰竺：篁兰修复则可以针对随机的划痕和污点，图像噪声等，圈一“目标消隐”示意图图像修复问题实质上是一个“病态”的问题。病态是指图片中某一部份信息缺失后，没有足够的信息用来修复缺损区域。由于数字图像是三维空间在二维平面上的投影，移去目标后，缺损区域本应该出现的是三维空间中被消隐对象遮挡住的场景，但二维图片并不包含

11、三维空间的信息，从信息论来看修复所用信息量不足。这种情况下，只能对缺损图像部份进行推测，首先由人脑对缺损的信息进行估计，然后通过设计算法告诉计算机应当如何修复，计算机执行程序。由于图像修复从最根本的出发点就以推测为前提，故称该问题是病态的。国内外研究情况目标消隐大致等同于图像修复，两者都是依据已知信息，对局部图像信息进行重建只是在处理对象的语义上有区别。国际上比较通用的图像修复这个词是由提出，逐渐被大家所接受，也有人将它叫做图像完成即。近几年来。图像修复成为各国学者研究的热门，很多人对从不同的角度出发，提出了不同的修复方法。归结起来，按对原图片中已知信息的利用方式可分为两类，一类是象素点级别的

12、图像修复，另一类是图像块级别上的图像修复。两类修复方式的根本区域在于，是否利用了原图中的局部统计信息如纹元信息等。基于偏微分方程提出了修复模型。该模型将图像视为等照度场，通过沿等照度线方向传递图像信息，并不断迭代来完成修复，在修复过程中可大概保持图像边缘。选代时每隔几步加入一次各向异性的扩散，以避免信息传递方向发生相互混叠。提出一种基于变分原理的图像修复模型一整体变分模型（）。该模型将图像修复等同为最小化正则方程问题，并通过变分原理，将正则方程转化为无约束的全变国防科学技术大学研究生院硕士学位论文分问题，得出一个迭代公式。最后，通过迭代该公式完成修复。模型在修复小区域时有很好的效果，去噪声能力

13、也不错。但是它的缺陷是不满足连续性原则。当缺损区域的尺度大于物体自身的尺寸时，模型无法侈复出理想结果。为了克服这一缺陷，提出了基于偏微分方程的曲率驱动模型（）。模型的提出扩展了模型，它在定义扩散的力度方面，加入了表征象素点周围几何信息的因子。对各个点的扩散力度不相同。和模型修复速度比较快，在修复时，迭代次数需要合适地进行选择，以防止扩散不足或者扩散过度。等把图像修复和纹理修复结合起来【。首先把图片分解为两幅子图，分别包含原图像的结构信息和纹理信息。对两幅图片分开进行修复，再把两个结果合成一幅完整的图像。受和在提出的界面演化水平集方法的启发，提出一种快速行进算法用来对图像进行修复。通过模拟缺损区

14、域边缘的演化过程，来确定各点的插值顺序。该方法的特点是修复速度快，是一种实时的处理算法。上面介绍的修复方法属于象素点级别的修复，这类修复方法没有利用图像中局部图像统计信息，而是通过处理图像的梯度场或高阶导数场来传递图像信息，或者直接通过邻近点插值来修复。这种处理方式会给修复后的图像区域带来模糊。图像块级别的修复则对原图片中已知信息利用更加充分，既能宏观地利用，又能微观地利用。下面的几种方法是图像块级别的修复方法。在的方法【】中，通过设置优先系数对图像块进行有顺序的采样修复。优先系数的设置既考虑到充分利用原图信息，又考虑对断裂的图像线条的重新连接，设计很巧妙，是算法获得成功的关键。不过该方法每一

15、步在块采样时只能依据那步的情况来确定，只能算做局部最优化的方法。等人提出“结构演化”的交互修复方法【。在该方法中，先由用户指定目标区域中线条结构的走向，然后分两步进行修复，第一步是沿指定线条“进化”图像结构，将显著线结构补全，使重建后的图像具有结构上的整体完整性；第二步是对剩下的缺损区域，分块进行基于纹理块采样的修复。在第一步对图像结构的进化中，以马尔可夫链建模并用动态编程解最小能量方程，对样本标签分配做了全局优化，是一种全局优化的图像块采样方法。等提出一种利用马尔可夫场建模的全局优化图像修复方法【】。该方法将缺损区建模为马尔可夫图，通过在其节点和边上定义的能量，解最小能量以实现全局最佳化修复

16、，能量方程用算法近似求解。由于在块采样中考虑了全局优化，该方法取得不错的效果。况且，它是一种自动的修复方法。，等也提出一种以马尔可夫场建模，并且算法求解的图像修复方法。他们建立的能量函数形式上与正的相似，不同的是他们在能量方程中加入了优先级系数作为各能量项的权，用以区分离源区域远近不同的点的重要程度。对两块间梯度的一致性限制用来引导图像的结构延伸，从而自动地将纹理与结构同时演进到目标区第页同防科学技术大学研究牛院硕士学位论文域。与等的方法相比，该算法加入了对目标区域象素点优先级的区别考虑，以及结构性的修复，使得它能更好地对付具有显著结构的情况。主要研究内容及论文安排图像修复及目标消隐问题，作为

17、一种用途广泛的技术，近年来引起学者们的广泛关注。前人围绕着这个领域，做了大量优秀而细致的工作，取得了丰硕成果。其中，一些方法在具体应用中已比较成熟，相应的软件都己开发，可供直接使用。本文总结了前人的各种修复方法。并从对原图中已知信息的利用角度从宏观上将图像修复技术分为：）象素点级别修复方法）图像块级别修复方法深入分析了两大类方法中其中较有影响力的修复模型，剖析了其潜在的方法论和原理，以及各自的优缺点。选择其中三种重要方法进行了实验仿真，通过对实验结果的观察，分析其产生的原因，并得出不同方法在实际修复时适合的应用场合。针对局部优化纹理块采样方法的不足之处提出了改进，并从对其应用角度出发，提出了一

18、种新的修复模式。本文主要研究内容为静态图像的目标消隐。本文第一章为绪论，概述了研究的背景及在该研究领域内的相关工作进展。第二章对目前的修复方法进行分类概述，象素点级别的修复方法包括模型，整体变分模型以及快速行进修复方法。图像块级别的图像修复算法包括局部优化的纹理块采样方法以及全局优化的块采样方法，交互式块采样修复方法，深刻研究并阐述算法的细节部分第三章对三类不同修复方法进行了仿真实现，通过实验对几种方法存在的优缺点进行比较，分析了其合适的应用背景。第四章对纹理块采样方法做了改进，提出一种搜索匹配块时的搜索新策略以及该方法的一种的新的应用模式，并通过实验证实了新方法的可行性和对现有方法性能的改善

19、。第五章总结了全文工作并对今后的研究方向进行展望。第页垦坚些兰些奎奎茎堑耋圭坠至圭兰堡耋圣第二章图像修复模型的分类概述象素点级别的图像修复模型象素点级别的图像修复模型，即修复中没用到已知图像的局部统计信息，而从更加微观层面进行修复。由于出发点较微观适用于处理小范围缺损区域，可以用于修复缺损对象的细小结构。该类方法通过计算图像的梯度场或高阶导数场，以场的方式向缺损区域内传递已知图像信息，或者直接对每个象素点进行有顺序地插值。修复模型算法思想简介在年提出了基于偏微分的图像修复模型模型。该方法通过向缺损区域外的一个窄带获取信息，不断沿图像等照度线的方向将信息向区域内部传递，以保证图像等照度线向目标区

20、域延伸。在这个迭代的过程中，每隔几步做一次各方向异性的扩散，主要是为了防止延伸方向发生交叉混淆。设表示待修复的区域，表示区域的边界（边界的拓扑形状不受限制），如图所示。那么，可以直觉地认为，修复要做的工作是自动地延长到达区域边界处的等照度线，同时保持到达的角度。这样不断将边界向区域内拉进，并且逐渐地弯曲传递方向，以防止它们间相互交叉。）二二罩（、？、；“小；蜘。一图模型修复思想的示意图第国防科学技术大学研究生院硕士学位论文采取这种信息传递方式是为了模拟博物馆中图画修复工作者们对破损图画的手工修复过程。算法的内在方法论，归结起来有下面几点：）图像全局结构决定了应如何填补缺损区域，修复的目的在于恢

21、复图像的整体性；）包围该区域的结构应继续延伸进区域，区域内轮廓线应该基于到达孢的线条向内延伸而得到；）区域内不同的区域，由延伸入区域的轮廓线定义，其色彩应与边界碱相一致；一维情况的延伸在一维情况下，假设一维离散的信号（）和一个窗口掩模信号（）如图：图一维信号的缺损示意图不为的部份将挡住信号厶，这时信号厶（）成为缺损信号，需要根据已知部份对其缺损部份进行修复。按和的定义，待修复的区域由满足（）的点集构成，即信号（）被（）遮住的部分，）边界讹由点尸表示，表示增加的方向。定义一簇一维信号（，），其中，刀代表离散时问参数。用（，）（）表示初始输入函数，。?帷蓿妫啵剑肱穑妫硎臼涑鼋峁敲炊孕藕袍蹋妫修复过

22、程实质是一个迭代过程，每个迭代步骤中，根据（，刀一）来计算，（，即）。因此，为了在修复时包含方向丙信息，按照以下步骤进行：第页国防科学技术大学研究牛院硕士学位论文其中表示空间坐标，上标表示进化时间，下标表示水平轴方向空间微分，控制进化速率。方程（，刀）随时间改变，故每个点倾向于跟随其前一个点（，刀一）变化。随时间进化，点的左边的信息逐渐进化到窗口中。各量的二维扩展上述一维情况可立即推广到二维，这正对应于数字图像的情况，一张缺损的图片可看成由三个缺损的矩阵构成。信号缺损部分是一个带边界的图像区域，缺损区域以外的区域为图像已知区域。二维隋况下对各个量作了扩展：首先定义厶（，）：【，】×【

23、，】，为一幅二维的离散图像（灰度图）。与一维情况相似，修复过程中定义一簇图（，阼）：【，】×【，】。其中，（，）厶“，）为图像的初始状态，（，）厶（，）为最终修复结果。同样，定义图像的光滑度以力为图像在，方向的离散化拉普拉斯算子为：，如：，；、）在一维情况下可直接选取轴作为信息传递方向，但二维情况下的传递方向可以是指向缺损区域内的任何方向，因此需要选择一个合适的方向。一种很容易想到的情况是选择缺损区域边界的内法向方向作为丙。并且，随着算法进行，讹逐渐向内缩小，以后每步的传递方向也同样选择“缩减版”的弛内法向方向，如图：第页里坚坠兰些尘奎兰些垒兰量些圭茎些竺兰图选择图像信息措边界内法向方向传递但这样定义晟终将会导致等照度线方向倾向于与施的内法线方向致，随着迭代的进行，等照度线变为沿着的内法线延伸，证明选择这个方向不合理。如图：圈错误的信息传递方向导致错误修复）等照度线方向与缺损边界成一定角度。（）错误的扩散方向将导致等照度方