（信号与信息处理专业论文）数字图像修补技术研究.pdf

摘要 数字图像修补技术是图像处理领域的一个重要分支，在污损图像修补、广告和视频 图像传输等方面得到广泛应用。本文围绕基于偏微分方程( p d e ) 的图像修补的原理、数 值应用实现以及对修补图像的质量评价等内容展开比较深入地研究。分别研究并讨论了 基于结构的图像修补，基于纹理的图像修补。 本文重点研究了基于纹理的图像修补方法。针对c r i m i n i s i 算法沿等照度线方向修补 图像和c i e i 算法强调梯度方向修补图像所存在的缺陷，提出一种既考虑等照度线方向 像素信息又考虑梯度方向像素信息的新的纹理图像修补方法：p m 方程约束的基于样例 的图像修补方法。该方法将p m 方程引入计算优先权数据项，使匹配顺序兼顾等照度线 和梯度两个方面的信息。实验证明，本文方法是一种行之有效的纹理图像修补方法。更 进一步，还讨论了离散化数值方案和参数对修补结果的影响。 本文围绕图像修补的偏微分方程方法，结合修补图像的质量评价，拓宽了p d e 在 图像修补领域的方法研究和应用范围。 关键词 数字图像修补，结构图像修补，纹理图像修补，匹配，p - m 方程 a b s t r a c t i m a g ei n p a i n t i n gp l a y sa ni m p o r t a n t r o l ei nt h er e g i o n so fi m a g ep r o c e s s i n g ，i tw a s w i d e l yu s e di np a t c h i n gs t a i n e dp i c t u r e s 、a d v e r t i s e m e n ta n dt r a n s m i t t i n gv e d i op i c t u r e s ，e t c t h ep a p e rm a d ead e e p l ys t u d yo fm a t h e m a t i c a lm o d e l ，v a l u er e a l i z a t i o na n dq u a l i t ya p p r a i s a l o fi m a g ei n p a i n t i n gb a s e do np d e i n p a i n t i n gb a s e do ns t r u c t u r ei m a g ea n dt e x t u r ei m a g e w e r ed i s c u s s e ds e p a r a t e l y t h er e s e a r c ho f p a p e re s p e c i a l l yp a y sa t t e n t i o nt om e t h o d so f t e x t u r ei m a g ei n p a i n t i n g a i m i n g a tt h ed r a w b a c ko fc r i m i n i s i sm e t h o dw h i c hm o r ep r e f e r r e df i l l i n gp i x e l sa l o n g i s o p h o t e s ，a n dc i e im e t h o dw h i c hf i r s ti n p a i n t i n gp i x e l sa l o n gg r a d i e n td i r e c t i o n ，a ni m p r o v e d m e t h o dw a sp r o p o s e di nw h i c ht h ep i x e l sb o t ho nt h ed i r e c t i o no fi s o p h o t e sa n dg r a d i e n tw e r e c o n s i d e r e d ，t h a ti sp me q u a t i o nc o n s t r a i n e di m a g ei n p a i n t i n gb a s e do ne x e m p l a r i nt h i s p a p e r ，t h ep me q u a t i o nw a sa p p l i e d t ot h ec o m p u t a t i o no fp r i o r i t i e s ( f i l l i n go r d e r sa b o u t b l o c k so fp i x e l s ) ，s o ，t h ep r i o r i t i e sw e r em o r er e l i a b l e e x a m p l e so nr e a li m a g e si n p a i n t i n g d e m o s t r a t et h ee f f e c t i v e n e s so fi n p r o v e dm e t h o d f u r t h e r , d i s c r e t i z a t i o no fn u m e r i c a ls c h e m e a n dp a r a m e t e rw e r es t u d i e db a s e do ni n f l u e n c et or e s u l t so fi n p a i n t i n g b a s e do nt h ep d ea n dt h eq u a l i t ye v a l u a t i o ns y s t e mo f i n p a i n t i n g ，t h ep a p e rw i d e nt h e p d e sr a n g eo fa p p l yi ni n p a i n t i n g k e y w o r d s i n p a i n t i n g ，s t r u c t u r ei m a g ei n p a i n t i n g ，t e x t u r ei m a g ei n p a i n t i n g ，m a c t h i n g ，p - me q u a t i o n 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许 论文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论 文收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：秫审辂 指导教师签名： vf彬砑 l 沙卜年f 月乃日 弘卜年月口日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本 论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：瓠印节 加f o 年石月f 。日 西北大学硕十学位论文 第一章绪论 1 1 图像处理概述 数字图像处理( d i g i t a li m a g ep r o c e s s i n g ) 又称为计算机图像处理，它是指先将图像信 号转换成数字信号，再利用计算机作为工具进行处理的过程【l 】。对数字图像处理的研究 已有很长的历史，2 0 世纪2 0 年代图像处理技术首次应用于改善伦敦和纽约间电缆发送 的图片质量；5 0 年代由于计算机技术的发展，数字图像处理技术被人们所重视，并于 6 0 年代末形成一门新兴学科；7 0 年代至今，借助数学学科、计算机技术等领域的研究 成果，数字图像处理技术发展迅速并向着更高级的方向发展。 数学作为数字图像处理的研究工具，其发展极大地推动并促进了数字图像处理技术 的发展：2 0 世纪7 0 年代以前，科学研究与工程应用中大多是对语音等声音信号进行处 理，因此以傅里叶分析为代表的处理方法是当时图像处理领域最重要的处理技术。由于 傅里叶分析的局限性，它只能对线性图像信息进行处理，而针对图像局部特征的处理( 比 如边缘) ，傅里叶技术则显得无能为力【2 】。 8 0 年代后非线性科学被引入图像处理领域，法国数学家m e y e r 首先构造出一个有 时域和频域双重定域性，并且具有正交性的基函数阳3 ，开创出小波分析( w t ) 理论并 蓬勃发展。此后，分形和多尺度分析等非线性处理方法被广泛运用于图像处理的各个领 域，并取得了优异的成果。但由于小波中尺度因子二迸制离散化和构成二维小波时所采 用的分离变量方法，使w t 分析方法的自适应能力受到极大的限制。如采用二进制小波 进行图像放大时，只能进行2 “倍的放大。 上世纪9 0 年代以来，偏微分方程方法引入数字图像处理领域并极大地推动了图像 处理的发展。1 9 9 2 年r u d i n 等人从考虑图像的光滑型角度出发，提出了基于偏微分方程 ( p a r t i a ld i f f e r e n t i a le q u a t i o n ，p d e ) 的图像处理方法，该方法为图像处理研究提供 了一种新的框架结构。近年来，基于p d e 的几何曲率驱动扩散处理方法，已被越来越广 泛地运用于数字图像处理和计算机视觉的各个领域h 1 。偏微分方程方法的优点是具有很 强的局部自适应性、形式规范性且高度灵活性啼3 。 1 2 数字图像修补 我们处在信息飞速发展的时代，数字图像和数字化技术已经深入到我们生活的方方 面面，并直接影响我们的生活，如网络图像、手机上网、数字电视等。由于图像具有形 象直观、一目了然等声音和文字所无法比拟的优越性，使得越来越多的人喜欢用图像存 第一章绪论 储和记录信息。然而由于使用、保存、获取不当或其它原因造成的图像信息缺失，则将 直接影响人们对整幅图像或图像被遮挡部分的认知，比如照片存在污损、折痕或某一部 分被遮挡物所掩盖等等。为了恢复图像的原始面貌，对图像缺失的信息或是被遮挡的信 息进行数字化恢复的技术，就称为数字图像修补技术。 数字图像修补技术作为图像处理领域的一个重要分支，近年来已成为相关领域研究 人员的研究热点。目前数字图像修补技术在数字化文物保护、计算机视觉和电影制作业 等领域均有重要的理论和现实研究意义。 目前，众多的图像修补研究工作的进行过程均是围绕利用待修补图像中的完好( 已 知) 图像信息对缺损信息( 遮挡区域) 进行信息填充，目的是达到修补后的图像在整体 上能够被人的视觉心理所接受。文献【6 】认为修补后的图像要被人的视觉心理所接受需要 达到两个条件：一是修补区域的边界与已知区域之间的过渡要平滑，二是修补后整幅图 像能达到形态上的连通性。 1 2 1 目的和意义 图像修卒t ( i m a g ei m p a i n t i n g ) 技术起源于对古代珍贵的艺术品进行修补，修补工作是 由具有高超技艺的手工工匠手工修补。但由于直接对真品进行修补，且修补过程不可逆 性，因此对待修补的艺术品和修补工匠的技艺要求都非常高。如图1 1 是北京市世家文 物修复中心的一个修补案例。现实中对于一些珍贵的壁画( 如图1 2 ) 、馆藏品、电影胶 片等，由于保存环境如温度、湿度等客观条件的影响，难免受到一些破坏。此外，一些 包含敏感信息的遥感图片需要消除敏感部分；影视特技中移除物体( 如图1 3 ) 等等都 需要修补技术对其进行处理。 随着科技的发展，图像的存储方式变得丰富起来。由于数字化存储的巨大优势，越 来越多的信息( 包括图像) 保存，都可以以数字化的方式完成，因此修补工作就可以借助 计算机来完成，使修补的成本大大降低，同时不需要人工修补的经验，并且相对于人工 修补在效率上有很大的提高。此外，数字修补还有一个很大的优点在于修补过程是可逆 的，不会对真品造成破坏，能够让更多的研究人员参与。p h o t o s h o p 是目前比较成熟且 应用广泛的一款图像处理软件，其可以简单地实现对数字图片的修饰。 2 目| 匕 l 学论女 图1 - 2 有“划痕”的敦煌壁画圈t - 3 待穆除人物图片 总之，数字图像修补与人工修补相比，具有以下优点： ( 1 ) 可以极大地提高修补工作效率，节约人工修补的时间和精力； ( 2 ) 不需要对原始图像直接进行处理，没有损毁原始作品的风险： ( 3 ) 可以根据需求反复调整晶终修补结果，具有很高的现实研究价值； ( 4 ) 修补过程通过算法程序自动进行，对研究者没有相关专业经验的要求，这使修 补技术有更强地生命力。 数字图像修补技术有藿广泛的应用领域，例如图像超分辨率分析，影视特技制作， 多余物体移除“，图像放大，图像有损压缩睁”，文物修补等等。因此数字图 像修补技术已成为当前研究的一个热点，有着广泛地应用前景，对其进行研究具有重要 的理论和现实意义。 l2 2 研究现状 虽然早在9 0 年代就有一些学者研究图像修补问题，但直到本世纪初，图像修补问 题才受到广泛关注，各种新的修补方法陆续被提出。文献 1 4 【1 5 指出对于任何幅图 像可以理解为由结构和纹理两部分信息构成。所谓结构信息代表图像的整体变化，属于 叠渺譬 第。章绪论 图像中的低频分量，它勾画了图像的基本轮廓，是对图像在较大尺寸下的描述。而纹理 信息是指局部灰度变化有一定的规律性，形成一定的模式，而这种局部模式在更大区域 中规律或不规律地出现i l 引，也就是说纹理反映图像的局部细节，属于图像中的高频分量。 邵肖伟【1 7 】在其博士论文中指出目前的图像修补方法主要有五类，如图1 4 所示。目前的 研究丰要集中在基于结构的方法和基于纹理的方法这两个方面。本文着重研究基于结构 和基于纹理的图像修补方法。 图1 - 4 图像修补方法分类 基于结构的图像修补方法 基于结构的图像修补方法研究，目前主要集中在基于变分偏微分方程( p d e ) 模型的 图像修补，主要包含基于信息传输机制的偏微分方程( p d e ) 方法和变分模型的修补方法。 基于信息传输机制的偏微分方程( p d e ) 图像修补方法，其修补思想是利用物理学中 的热扩散原理，认为待修补区域周围的信息是热源，将待修补区域周围的信息传播到修 补区域内。b e n a l m i o 【1 8 j 最早提出了一个基于扩散理论的高阶偏微分方程：b s c b 方程， 并用b s c b 方程修补照片中的裂缝和去除照片中的文字。b s c b 方程是沿等照度线切向 方向扩散，实现污损区域的修补。2 0 0 6 年b e r t a l m i o 又提出了一种三阶最优p d e 方法i l 圳， 该方法只依赖于待修补图像的几何信息实现图像修补。c h a r t 等人提出的c d d ( c u r v a t u r e d d v e nd i f f u s i o n s ) 模型 2 0 j 也是一种基于偏微分方程( p d e ) 的图像修补方法，c d d 方法将 4 两北大学硕 二学位论文 图像的几何特征曲率引入扩散方程，使扩散由曲率驱动，修补图像的实质仍然是沿等照 度线方向将已知信息向污损区域扩散。文献【6 】【2 在c d d 模型的基础上将曲率和边缘停 止函数相结合，提出了一种三阶非线性扩散c & e 模型，该模型不仅具有好地平滑滤波 性能，而且能够光顺地连接等照度线强化边缘，较好地实现了基于结构的灰度和彩色图 像修补。电子科技大学的张红英【2 2 】在其博士论文中提出将l a p l a c e 算子和小波引进图 像修补算法，也获得了较好的图像修补效果。 基于变分模型的方法，其主要思想是借鉴修补师手工修补图像的过程，认为修补图 像丰要依赖两个因素：怎样建立图像的数据模型( d a t am o d e l ) ，即如何利用图像的未污 损部分；怎样获得图像的先验模型( i m a g ep r i o rm o d e l ) ，也就是原始图像属于哪类图像。 通过这两步，将图像修补问题转化为求泛函极值的变分问题。经典的变分修补方法有整 体变分模型( t o t a lv a r i a t i o n ，t v ) 【2 3 1 、欧拉弹性( e u l e r ，se l a s t i c a ) 模型【2 4 】、m u m f o r d s h a h 模型【2 5 1 和m u m f o r d s h a h e u l e r 模型2 6 1 等。这类方法计算复杂度高，计算的稳定性往往 得不到保证。文献 2 7 1 0 7 提出一种改进的t v 模型，解决了t v 模型修复图像存在对参 数选择敏感和运算量大的缺陷。 文献 2 8 】指出，借助变分原理，偏微分方程与变分法可以相互等价推出，即可将基 于扩散机制的p d e 方法与基于变分模型的方法相结合，称为基于变分p d e 的图像修补 方法。 二、基于纹理的图像修补方法 鉴于纹理信息具有局部模式在更大区域中规律或不规律出现的性质，因此基于纹理 的图像修补方法往往借鉴纹理合成的原理( 主要包括基于图像块的纹理合成修补方法) ， 搜索待修补区域邻域最相似的图像块匹配填充待修补区域，修补过程应该优先修补待修 补区域的边界纹理信息，以保证修补边界与已知区域之间过渡自然，图像整体结构完整。 基于纹理的图像修补方法可用于修补较大面积纹理信息的丢失和去除纹理图像中的障 碍物。 纹理合成方法主要有纹理映射、基于样图的纹理合成和基于过程的纹理合成【2 9 】等 ( 文献d o 】将纹理合成分为基于样图的纹理合成和过程的纹理合成) 。基于样图的纹理图 像修补方法侧重对模块的分析，追求像素块之间的匹配【3 1 1 ，主要应用于纹理或较大面积 障碍物去除的图像修补。 1 9 9 6 年h i r n a i 等人【3 2 】提出了一种半自动的基于样例的纹理图像修补方法，其首先 手工选取和待修补区结构完全一致的样例区，然后通过凸集投影的方法反复迭代，实现 5 第一章绪论 空间位置上的匹配以及保持背景色的一致。 2 0 0 1 年h a r r i s o n 8 】首先提出一种基于模板的算法，用于实现物体的移除。 2 0 0 3 年c r i m i n i s i 等人【9 】【1 0 】提出了一种基于纹理合成的算法。c r i m i n i s i 方法通过对 待修补区域边界点优先权的计算，选择优先级最高的图像块，然后在已知区域穷尽搜索 最佳匹配块，完成一次匹配复制，依此类推，直到全部待修补区域全部匹配复制完成为 止。c r i m i n i s i 方法主要包含两个重要步骤：一是优先权值的计算，二是图像块信息的匹 配填充。c r i m i n i s i 方法一经提出，便成为纹理信息修补方法研究的热点，各种在其修补 思路上的改进方法不断提出【1 7 】 3 3 - 3 7 】。本文深入研究了c r i m i n i s i 方法，并对其进行改进， 详细内容在第四章中做进一步的阐述。 d r o r i 1 1 】提出的纹理图像修补方法与c r i m i n i s i 方法大体相同，只是在块匹配方式等 方面略有所不同。d r o r i 方法采用的是透视模型，而不是c r i m i n i s i 方法的平移模型，该 模型在提高算法适应能力的同时也增大了计算量。 微软研究院s u nj i a n 3 3 】等人的做法是首先人工指定待修补区域丢失的结构信息，然 后根据置信度传播算法( b e l i e f p r o p a g a t i o na l g o r i t h m ) 搜寻最佳匹配块，最后用基于块的 纹理合成方法填充待修补区域。 浙江大学唐峰等人【3 4 】对c r i m i n i s i 方法进行了改进，缩小了匹配搜索区域，并对模 块的匹配准则进行了研究。中国科技大学的邵肖伟【1 7 】在博士论文中分析了c r i m i n i s i 方 法，认为修补是沿着等照度线的方向进行，并提出了分解修补的改进方法。文献 3 5 1 也 是在c r i m i n i s i 方法的基础上，提出一种垂直于等照度线方向修补的方法。s h e n 等人【3 6 】 提出了在频域中基于纹理合成的修补方法，其先计算图像梯度，再通过纹理合成修补方 法得到完整的梯度图像，最后通过求解泊松方程，得到空域上的修补结果。王忠庆等人 【37 j 提出了一种沿纹理方向搜寻匹配块的方法，其适用于修补纹理方向性很强的图像。 本文将图像分为三大类：一类是主要含有结构信息的结构图像；一类是主要含有纹 理信息的纹理图像；一类是图像中既含有大量的结构信息又含有大量的纹理信息的图 像。文献【6 】中指出基于结构的图像修补算法虽然对结构信息有较好地修补效果，却不能 较好地修复纹理信息；而基于纹理的图像修补算法虽然能较好地处理纹理信息，但修补 结构信息时往往遗留有修补痕迹。因此对结构图像和纹理图像来说应该采用不同的修 补策略，才能获得好的修补效果。而对于既含有大量结构信息又含有大量纹理信息的图 像来说，有研究者提出了基于分解的图像修补方法【3 8 】，该类方法的修补思想是首先将待 修补图像进行结构和纹理的信息分离，获得结构和纹理两幅图像，然后分别用针对结构 6 两北大学硕上学位论文 和纹理的修补方法分别修补结构图像和纹理图像，最后将修补好的结构图像和纹理图像 合成得到最终的修补结果。 对于第三类图像，b e r t a m i o 等人【3 8 。4 1 1 对结构部分使用基于偏微分方程的修补方法， 对纹理部分使用纹理合成的修补方法。k e d a rs h r e s t h a 等人【4 2 1 提出采用d c t ( d i s c r e t e c o s i n et r a n s f o r m ) 方法分离初始图像，然后对结构部分采用自适应偏心窗口平滑滤波修 补，对纹理部分采用纹理合成的修补方法。李宏等人h 3 1 则通过改进的m e y e r 分解模型】， 将污损图像分离出噪声后，再分解出结构和纹理两个部分，对结构部分采用t v 修补模 型，对噪声和纹理部分采用基于样例的纹理合成，最后再将两部分修补结果融合。 总之，基于模块的纹理合成修补方法相对于基于像素点的处理方法，能够加快图像 填充的时间效率，也可以较好的保持待修补区域内的纹理和结构特征，但会在相邻的填 充图像块之间出现人工修补的痕迹。 1 3 本文所做的工作 本文重点研究了二维静态数字图像的修补问题，特别是对基于纹理的图像修补方法 做了重点研究。本文的工作丰要包含以下几个方面： 1 研究并算法实现了b s c b 、c d d 和t v 三种结构图像修补方法，并对修补结果加 以比分析。 2 研究并算法实现了c r i m i n i s i 和c i e i 等基于块的纹理合成修补方法。 3 、在c r i m i n i s i 算法的基础上，对优先权值的计算问题进行改进，提出了p m 方程 约束的基于样例的纹理图像修补方法，并获得了好的纹理图像修补效果。进一步探讨了 数值实现方法不同对修补结果的影响。 4 从主观和客观两个方面讨论了图像修补质量的评价体系问题，指出梯度模值的均 值可作为客观评价基于结构的图像修补质量的标准之一。 1 4 本文内容安排 本文内容安排如下： 第一章简单介绍了图像处理技术和数字图像修补的概念，阐述了数字图像修补的 目的和意义以及国内外研究现状。 第二章研究了三种基于结构的图像修补方法并算法实现，对各种模型的修补结果 进行分析。 第三章研究了基于纹理的图像修补方法并算法实现，分析c r i m i n i s i 方法修补纹理 7 第一章绪论 信息时存在的不足。 第四章提出一种改进的纹理图像修补方法：p m 方程约束的基于样例的纹理图像 修补方法，实验证明，改进方法切实可行，能够较好地修补纹理图像。 第五章结合实验从主观和客观两个方面探讨图像修补的质量评价问题。 第六章简单地总结已取得的研究成绩并展望未来的研究方向。 8 西北大学硕士学位论文 第二章结构图像修补方法 目前，以结构为丰的图像修补方法丰要有变分偏微分方程( p d e ) 的方法，如b s c b 模型18 1 、c d d l 2 0 】模型和t v 模型【2 3 1 等。该类方法考虑污损边界信息，将其扩散延伸至修 补区域内部，比较适合于修补污损尺度较小的图像。 偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n ) 产生于许多物理和工程技术问题当中，在数 字图像处理中，偏微分方程( p d e ) 的形式一般为 瓤小，h 协) 氧n 瓤x ) - o f ( 叮) 血q 詈( 船) = 。，( 咿) 血弛 ( 2 1 ) u ( o ，x ) = ( x ) x q 式( 2 1 ) 中qcr 2 是一个平面有界开区域，施是q 的边界，刀是边界上的单位外法 向量，( x ) 是原始图像，f 是图像初始位置x ，图像“( ，x ) 及其偏导数罢( r ，x ) 、窘( ，x ) 的泛函。方程( 2 1 ) 的解就是使方程自身成立，且在指定的空间q 内连续可微的所有函数 u = “( f ，x ) 的集合。 所谓基于偏微分方程( p d e ) 的图像修补方法，就是建立图像修补的偏微分方程并求 其系列解，进一步找到系列解中适合修补污损信息的最佳解，即实现了基于偏微分方程 的图像修补。 文献【6 1 和【4 5 】中将偏微分方程扩散模型分为线性扩散模型和非线性扩散模型，指出基 于偏微分方程方法修补图像，利用的是扩散原理( 偏微分方程的解就是扩散值) ，即利 用待修补图像中的已知像素信息向待修补区域内部扩散，实现污损区域的修补。文献【4 5 】 还指出使用偏微分方程( p d e ) 方法进行图像处理的优点是处理和分析的速度、算法的准 确性及稳定性都比较高。 图像处理中的二维线性热扩散偏微分方程( p d e ) 可表示为 掣= d i v ( v u ，= 窘+ 窘a t 。 瓠1执z u ( x ，y ，0 ) = 1 2 0 ( x ，y ) ( 2 2 ) 式中u ( x ，y ，f ) 表示随时间演化的图像。u o ( x ，y ) 是，= 0 时刻给定的图像，即原始图像。 对于非线性偏微分扩散模型，由于其应用的场合和考虑的扩散因素不同，则形式各 9 第= $ 镕目目像恬* 不相同，如本文中涉及的p - m 方程、c d d 模型和t v 模型等都是非线性扩散模型。 本章讨论j 种基于偏微分方程( p d e ) 的结构图像修补方法：b s c b 模型、c d d 模型 和t v 模型的修补原珲，井数值实现。 2 1 b s c b 修补模型 艺术家用画笔修补油画时，一般是先肌污损区域最外部开始着手，观察其邻近区域 的信息，使修补信息与其周围领域信息之间有自然的过渡关系，形态七连续。受此肩发， m b c r t a l m i o 等人8 锰2 0 0 0 年发表的研究成果中提出一个新的基于偏微分方程的图像修 补方法简称为b s c b 方法。b s c b 方法沿污损区域边界将己知像素信息延伸至待修补 区域内部，取得r 比较好的修补效果。b s c b 修补方法显示出的实际使用价值极大地推 动了更多的关于数字图像修补工作，奠定了基于偏微分方程的图像修复的基础。 图2 - l 表示出丁邻域像素的概念，如( a ) 中的灰色部分是点p 的形邻域，( b ) 中的灰 色部分是点p 的八邻域。 铲阵 0 ) 彤邻域 ( b ) p 点的八邻域 圈2 - 1像素点的邻城关系 2 1 1 修朴原理 b s c b 模型修补图像的基本思想是：将修补过程看成是物理热扩散过程，将达到修 补区域边缘的等照度线以切向方向，连续地扩散到待修补区域内部。如图2 - 2 所示，q 代表待修补区域，m 表示边界( 属于未知像素区域) ，表示己知像素信息向未知区域 扩散的方向。 图2 - 2 修扑过程中信息扩散( 摘自 1 8 1 ) 两北大学硕一 ：学位论文 假设( f ，) 是大小为m xn 的待修补图像，修补过程就是反复对污损图像进行迭 代，将迭代过程产生的一系列中间结果看作一组图像序列甜”( f ，j ，f ) ( n 是自然数) ，最终 的修补结果选取图像序列中的最佳值。 b s c b 方法修复污损图像基于如下两个步骤： ( 1 ) 迭代数值求解如下p d e 譬：v 上z ，v l ( 甜) ( 2 3 ) 式中v 上“表示梯度矢量旋转9 0 。的矢量方向，即等照度线切向方向，可称其为等照 度线的方向。v l ( u ) 表示平滑性度量，文献 1 8 】中取l ( u ) 为材的l a p l a c e 算子： 材”( f ，) = “三( f ，) + u w ( i ，j ) 。 由于垂直于梯度矢量的v 上甜是等照度线的切线方向，所以让图像按( 2 3 ) 式演化，就 是让图像以v l ( u ) 为强度沿着等照度线的切线方向“传播”，从而使到达待修补区域边界 上的等照度线向待修补区域内部扩散。按( 2 3 ) 式迭代若干次后转步骤( 2 ) 。 ( 2 ) 按( 2 4 ) 式进行方向扩散 詈( w ，f ) = ( 训) 出，) 陬训力l ，v ( w ) q 8 ( 2 4 ) 1 0 ，( x ，y ) q 。q 式中，( x ，少) = 1 ，( x ，y ) q，q 和q 。分别表示对待修补区域q 以占为 i 中间值，( x ，y ) q q 。 半径做形态学膨胀和腐蚀，r ( x ，y ，f ) 表示等照度线的曲率。进行第( 2 ) 步扩散的目的是光 顺待修补区内的等照度线，使其不存在交叉的等照度线。 重复交替进行步骤( 1 ) 和( 2 ) ，直至输出序列图像基本不变，即达到稳定状态，图像 修补过程完成。 2 1 2 数值实现 欲将b s c b 模型( 2 3 ) 和( 2 4 ) 式应用于图像修补，可以采用如下数值迭代方案 甜”+ 1 ( ，) = u n ( f ，) + a t 甜? ( ，) ，v ( i ，) q( 2 5 ) 其中，址表示时间步长，材l ：，( f ，j ) 表示信息传播的强度。 等照度线切向方向的信息传播强度为 第二章结构图像修补方法 等照度线方向矢量为 矿( f ，) = 8 l ( i ，) n ”( f ，) f ， 一。 、 2 p 抄粥p 瓴力i 2 p 抄尚a r ( i , j , 垆g 。li眇，刀) i j l 。 万r ( f ，) = ( f ( f + 1 ，) 一r o 一1 ，) ，f ( f ，j + 1 ) 一f ( f ，j 1 ) ) r ( f ，) = u x ”x ( f ，) + 甜0 ( f ，_ ，) n “( ，j ) ( 一甜；( ，n 甜：( f ，) ) 网车丽丽雨丽 ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) 在计算梯度模值时，b e r t a l m i o 等人使用了坡度限制( s l o p e 1 i m i t e d ) 法，其定义如下： 朋“) _ 面“) 黼 ( 2 1 0 ) 则 l v “”c z ，i 2喜差兰兰；三三三塞三一：羔二；三兰c21， 为便于书写，式中省略了坐标信息( f ，) ，其中下标h 表示后向差分，g 表示前向差分。 下标聊和m 表示相应的偏导数值和零相比的最小值( m i n i m u m ) 和最大值( m a x i m u m ) ， 以甜二。( f ，) ( 后向差分对x 求偏导的最小值) 和甜( f ，) ( 前向差分对x 求偏导的最大值) 的 计算为例 甜( 7 ，胪m i n ( “”( 7 ，护甜”( 7 1 ，舢) 2 ) 甜( f ，) = m a x ( u ”( f ，j + 1 ) 一u n ( ，n o ) 、7 其余各项计算以此类推。 按( 2 5 ) 式反复迭代直到相邻输出的图像间均方误差( r m s e ) d , 于某一阀值时，1 1 1 1 可 认为输出图像达到稳定，获得修补结果。 2 1 3 实验结果 在m a t l a b 7 0 实验环境下，分别从等照度线的连通性能和结构的修复性能两个方 面，用如下两个实验验证b s c b 模型的有效性。 1 2 日北学硕i 学淹文 图2 - 3 ( a ) 是幅结构简单，含有若1 边缘光顺连通的白色圆圈的黑白图像：( b ) 罔是 对( a ) 陶中的白色圆圈边缘信息污损得到的图像：( c ) 图是对( b ) 图中的污损区域用相关随 机初始化i 删方法初始化得到的图像：( d ) 图是用b s c b 方法每选代运行( 2 3 ) 式l o 次，穿 插运行( 2 4 1 式6 次的修补结果( 时间步长：出= ois r m s e = 00 0 0 1 ) 。 ( c ) 相黄随机初始化( d ) 修补结果 图2 - 3 等照度线修补 观察图2 - 3 ( d ) 修补结果可以看出，( b ) 圈中受损的白色圆圈的边界部分，得到了较好 的修补，表明b s c b 模型具有较好的连接等照度线的能力。 图2 - 4 是用b s c b 方法修补结构比较复杂的自然图像的结果，( b ) 目的实验参数为： 每进行1 0 次选代演化，穿插6 次方向扩散，时间步长a t = 0 i ，r m s e = o0 0 0 1 。 第一# 目构目镕”片法 ( 曲待修补幽片( b ) 修补结果 图2 - 4 自然图像修补 观察图2 - 4 ( b ) 可以看出，b s c b 方法可以较好地保持图像的结构，具有良好地结构 修复性能。 虽然b s c b 方法对结构图像有报诱人的修补结果，倜文献【l7 】指出，b s c b 力法计 算复杂，且对修补初值的选取敏感，若取值不当则会陷入异常状态即算法有可能不稳 定，造成错误的修补结果，这在一定程度上影响了b s c b 方法在实际中的应用。 2 2t v 修补模型 1 9 9 2 年l r u d i n 和s o s h e r 等人提出了t v 模型【，t v 模型的初衷足用于对图像进 行平滑去噪，后来被推广应用于图像修补。随着对t 、，模型研究的深入，各种改进方案 陆续被提出，如自适应t v 修补模型田1 1 4 7 1 4 ”，综台各向同性和各向异性扩散的改进t v 方法h ”，以及引进曲率函数的改进丁v 方法【5 0 】等。 2 2 i 修补原理 如图2 5 所示，记n 为待修补区域，e 是与n 区域紧邻的环状区域，中为己知区域。 西北大学硕上学位论文 图2 - 5 待修图像区域划分 t v 模型修补图像的思路是在环状区域e 的噪声约束条件下，通过对区域e t a n 的 整体变分，求最小化代价函数，实现对污损区域q 的扩散修补。在三uq 上，定义代价 函数 尉甜】- i e u nr ( v 甜i ) d x d y ， ( 2 13 ) 代价函数应该满足如下约束条件 志肚飞1 2 螂= 仃2 ( 2 1 4 ) ( 2 1 4 ) 式中，u 代表修补后的图像，代表原始图像，仃代表白噪声的标准方差。 t v 修补模型2 3 1 ( 2 1 3 ) 式中的函数可取，( 1 v “i ) = i v u l 。通过变分原理，采用l a g r a n g e 数乘法，可推出新的代价函数： 以( z f ) = u 。m 螂+ 等肛飞1 2 d x d y( 2 1 5 ) 式中见为l a g r a n g e 乘子 由变分方法的原理可知，求解能量泛函极值的问题可以转化为求解相应的e u l e r 方 程捌。 二维最简能量泛函可表示为 e 2 i a f ( x , y ，甜，u , , u y ) d x d y ( 2 1 6 ) 式( 2 1 6 ) 中，f 为二维函数，e 为所要求解的能量泛函，其e u l e r 方程为 瓦o f 一磊d 瓦o f ) 一万d 瓦o f ) = 。 将( 2 1 5 ) 式等号右边的第一项记为 e ( 甜( x ，j ，) ) = i v z ，id x d y 1 5 ( 2 1 7 ) ( 2 1 8 ) 第二章结构图像修补方法 对照( 2 1 6 ) 式，即相当于取f = l v u l ，则( 2 1 8 ) 式的e u l e r 方程为 _ d ( _ o f ) + 旱譬) ：o o _ x u h j a y a u y y = v u l 4 弋a ( 2 1 9 ) 式，最终使得e 达到最小的甜应该满足条件 可c 净枷飞七舱嚣 ( 2 2 1 ) 式就是图像修补的t v 模型。 ( 2 1 9 ) ( 2 2 0 ) 值得指出的是，对未受到噪声污染的图像，通常e 取为待修补区域的边界。此时( 2 2 0 ) 式简化为 v = 。 ( 2 2 1 ) 2 2 2 数值买现 对( 2 1 6 ) 式，可采用半点离散化方案数值实现。如图2 - 6 ，o k 待修补像素点， 人d = ，s ，形，e ) 表示d 的四个相邻像素点，a 1 = 刀，s ，w ，p 表示d 的四个相邻半像素点。 记v = ( v i ，v 2 ) = 尚，用中心差分，其散度口v 的计算可表示为 v 一型+ 笙：丛+ 生蔓 ( 2 2 2 ) 0 x o y h h 对于半点的梯度值计算，以点e 为例 吃2 南吼南半 亿2 3 ， j v i 去( 一) 2 + 【( 甜腮+ 一甜距一材s ) 4 】2 ( 2 2 4 ) 式( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) 中h 取值为1 ，其它半点梯度的算法与此类似。同理，计算 点刀，s ，w 的半点的梯度值，将它们全部代入( 2 2 0 ) 式。可得( 2 2 0 ) 式的离散化方案 丕南叫一心( d ) 。叫- o ( 2 2 5 ) 式( 2 2 5 ) 中p 代表四个相邻像素点人，p 代表四个相邻半像素a 1 。 1 6 西北大学硕上学位论文 r 一一一一 i ； 刀 !o： 静 i ： - 垂 图2 - 6 待修补点及其邻域像素 令= 丽。 人l = 赤 2 蒜 式( 2 2 6 ) q b 口为一常数因子，其作用在于防止出现梯度值为零的情况。 化为 ( 2 2 6 ) ( 2 2 7 ) ( 2 2 8 ) 则( 2 2 5 ) 式可以转 u o = 十圮 ( 2 2 9 ) p e a o 采用g a u s s j a c o b i 数值迭代算法对该式迭代求解，则0 点的值可由下式达代计算 谚) - 螺 材? 。1 嵫”谚1 p e a o 当e 区取为待修补区域边界时，丸取值为0 ，相应地，此时地迭代公式可改写为 ( 2 3 0 ) 谚) 蝣1 甜p ( 2 3 1 ) p e a o 2 2 3 实验结果 在m a t l a b 7 0 实验环境中，对图2 - 7 ( b ) 污损图像用t v 模型修补。实验认为图片 没有受到噪声污染，采用( 2 3 1 ) 式数值迭代方案，可得( d ) 图所示修补结果( 口= 0 2 5 ， 迭代次数= 5 0 0 0 ) 。 1 7 b a s e do nt h i s , a sw i l l a )原始图像 昀n ( 由相关随机初始化图( d )修补结果 图2 7t v 方法去除文本 观察并分析图2 7 中的文本移除，可以看出t v 方法取得了较好的修补结果，能够 较好地保持图像的边缘结构。 文献 2 8 1 指出t v 模型的主要不足是破坏了视觉理论中的连通性( c o n n e c t i v i t y p r i n e i p l e ) ，它比较适合于修补小区域污损，对于大区域污损其修补效果不理想，人为修 补痕迹明显。 文献【2 7 】对( 22 2 ) 式中的参数。的取值进行了改进。2 3 节中的c d d 模型，也可以看 作是t v 模型的改进方法。 23 c d d 修补模型 2 0 0 1 年c h a n 等人提出了基于曲率驱动的修补模型m i ( c u r v e t u t e d r i v e n d i f f u s i o r l , 西北大学硕 = 学位论文 c d d ) ，其适用于修补结构图像。 由于t v 模型在修补图像的过程中，总是以最短的直线来连接破坏的图像条状结构， 因此往往难以满足图像的连续性。针对这一缺陷，c d d 模型引入曲率因子即等照度线 的曲率k ，通过曲率项来调节图像信息的延伸方向，使扩散沿曲率最小的方向进行，达 到修补目的。 c d d 扩散h - 程( p d e ) 为 扣腊v 甜卜小q u ( x ，y ，f ) = u o ( x ，y ) ，( x ，y ) a q ( 2 3 2 ) 其中u o ( x ，y ) 是原始图像，q 为待修补区域，加为待修补区域边界。曲率r 定义为 一c 静v 捌 亿3 3 ， 如此一来，c d d 模型的扩散系数可记为 6 = 臀 亿3 4 ， 其中g ( ) 为满足下式的单调增函数 f 0 ， h = 0 g ( 1 k 1 ) = o o ，h = o o 【0 的中间值，o i r i o o g ( ) 的作用是使扩散在大曲率等照度线处局部增大，而在小曲率等照度线的平直 部分( i 小o ) 扩散减写马。这时扩散系数西= 臀可以保证扩散强度由梯度信息和曲率共 同决定，光顺的曲线