（控制科学与工程专业论文）基于纹理合成的数字图像修补技术研究.pdf

独创性声明 川i i ii i ii i iii i i ii i iiiil iy 17 9 6 0 4 9 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的 研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教 育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：基王纹堡佥盛鳗熬室图倦堡主e 盐盔盈塞 学位论文作者签名：叁塑日期：z 。p 年o 月to 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保瓯并向国家有关部门或机构送交论文的复印件和电子文 档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：基王纹堡佥唐鲍邀主圈倦堡主l 拉苤珏窀 学位论文作者签名： 苤塑日期：矽。罗年10 月f p 日 作者指导蝴签名： 日期：) 口研年f d 月f ) 日 1 4 1 5 第二章 2 1 2 2 2 3 2 4 第三章 3 1 3 2 3 3 3 4 i j j 1 l 1 ：； ：； 4 1 3 - 3 基于样图的纹理合成。6 1 3 4 基于结构辅助的纹理合成一8 1 3 5 图像修补质量评价方法9 论文主要研究内容及其贡献9 论文结构安排1 l 图像纹理信息修补方法研究13 基于块的纹理合成算法分析1 3 2 1 1c r i m i n i s i 算法流程1 3 2 1 2c r i m i n i s i 算法块效应问题分析1 6 基于结构相似度的自适应块匹配算法1 8 2 2 1 图像块纹理类型判断1 9 2 2 2 基于结构相似度的块匹配算法2 2 2 2 3 基于灰度融合的块效应后处理2 4 实验与分析2 5 本章小结4 6 图像结构信息修补方法研究4 7 图像结构信息修补问题分析4 7 基于人眼结构辨识的自动结构补全图像修补方法5 0 3 2 1图像显著结构的提取5 0 3 2 2自动结构补全方法5 4 3 2 3 基于结构辅助线的修补6 4 实验与分析6 9 本章小结7 7 第1 页 囝防科学技术大学研究生院博士学位论文 第四章图像修补质量客观评价方法研究一7 9 4 1图像修补质量评价概述7 9 4 2 图像修补质量客观评价指标i c q m 8 0 4 2 1图像修补质量结构评价8 0 4 2 2 图像修补质量纹理评价8 3 4 2 3综合评价指标i c q m 9 0 4 3 实验与分析9 l 4 4 本章小结9 7 第五章结论与展望9 9 致谢1 0 0 参考文献1 0 1 作者在学期间取得的学术成果111 附录a 缩略词表11 2 附录b曲率定义113 第u 页 2 6 4 5 4 5 一8 3 。9 1 9 4 表4 4c r i m i n i s i 算法和本文方法修补结果主观评价平均得分9 5 表4 5c r i m i n i s i 算法和本文方法修补结果i c q m 分值9 6 第1 i i 页 国防科学技术大学研究生院博士学位论文 图1 1 图1 2 图1 3 图1 4 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图2 1 0 图2 1 l 图2 1 2 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图3 1 0 图3 1 l 图3 1 2 图3 1 3 图3 1 4 图3 1 5 图3 1 6 图目录 图像修补示意图2 被遮挡图像的猜测2 论文研究内容10 论文的组织结构1 2 c r i m i n i s i 算法修补过程。1 4 修补目标块分区示意图1 4 d p ) 计算示意图15 图像块匹配复制过程。1 6 不规则纹理图像块效应示意图j 1 7 大尺寸修补块块效应示意图j 1 8 m b e 比较示意图2 2 块效应后处理示意图2 5 实验所用的纹理图像2 6 采用像素误差匹配方法修补结果图2 8 采用结构相似度匹配方法修补结果对比图3 l 块效应频谱图像对比4 4 误匹配过程示意图4 8 自动结构补全示意图5 0 区域分割提取图像显著结构5 2 曲线段分割示意图5 3 图像结构分割示意图。5 4 二阶贝塞尔曲线连接示意图5 7 三阶贝塞尔曲线连接示意图5 8 特殊形状结构补全示意图5 9 根据形状自身结构信息补全的两种情况6 2 根据形状自身结构信息补全示意图6 2 结构信息修补顺序示意图6 5 结构辅助线匹配示意图6 6 结构辅助线旋转匹配示意图6 7 交叉结构修补示意图6 8 分割子区域纹理合成修补6 9 实验图像及c r i m i n i s i 算法、区域分割方法的修补结果7 2 第1 v 页 国防科学技术大学研究生院博士学位论文 图3 1 7 图3 1 8 图3 1 9 图3 2 0 图4 1 图4 2 图4 3 图4 4 图4 5 图b l 本文基于直线与曲线连接的结构补全修补办法过程示意图7 4 实验图像及c r i m i n i s i 算法修补结果7 5 ( 1 ) 号图修补过程7 6 ( 2 ) 号图修补过程7 7 几种结构补全方法示例8 3 图像修补结果的孤立纹理区域8 6 熊图像修补结果纹理重复性评价8 9 实验图像9 3 主客观得分对比9 7 曲率定义示意图11 3 第v 页 国防科学技术大学研究生院博士学位论文 摘要 备的普及，产生了大量的数字图像，而数字图像很容易造成 的图像是一个广泛存在的问题。本文主要研究数字图像修补 已知信息对图像上信息缺损区域进行信息填补的过程，其目 觉出图像曾经缺损过或己被修补好。该项技术有着广泛的应 领域的一个研究热点。 在图像纹理信息修补方法研究中，针对基于块的纹理合成技术存在的块效应 问题提出了基于结构相似度的自适应块匹配算法。首先根据纹理特征选择块匹配 方法和匹配块的大小，并在块匹配过程中综合考虑像素误差、纹理结构误差以及 边界误差以提高匹配块的结构相似度，减少块效应影响。实验结果表明，本文提 出的方法对于具有显著结构的不规则纹理图像能有效提高纹理合成的修补质量。 在图像结构信息修补方法研究中，针对贪婪模式图像修补方法容易造成的结 构混淆问题，提出了基于人眼结构辨识的自动结构补全图像修补方法。在图像区 域分割的基础之上提取图像的显著结构信息，然后通过曲率、对称性等特征对图 像结构进行分析，进而采用直线或贝塞尔曲线对非封闭结构进行补全，采用形状 匹配方法对封闭结构进行补全。最后根据结构辅助线辅助纹理合成实现对整幅图 像的修补。实验结果表明，本文提出的修补方法较好地解决了复杂结构自然图像 的修补问题。 在总结以往各种图像修补技术的基础之上，提出一种针对图像修补质量的客 观评价指标i c q m ( i m a g ec o m p l e t i o nq u a l i t ym e a s u r e ) 。通过比较补全的结构与 图像原有结构的曲率相似度对结构修补质量进行评价：通过纹理的分布合理性、 复制纹理的重复性和纹理的块效应对纹理修补质量进行评价。综合结构和纹理评 价结果提出客观评价指标i c q m 。实验结果表明本文提出的客观评价指标i c q m 与 人的主观评价结果相关性较高，是一种有效的客观评价指标。 关键词：图像修补：纹理合成；结构相似度；自动结构补全：形状匹配；图 像质量客观评价 第i 页 国防科学技术大学研究牛院博十学位论文 a b s t r a c t w i t ht h ep o p u l a r i z a t i o no fd i g i t a lr e c o r d e r s ，al a r g en u m b e ro fd i g i t a li m a g e sa r e p r o d u c e d , b u td i g i t a li m a g e sa r ee a s yt ob ed a m a g e d h o wt of i l l i n gi nd a m a g e di m a g e s i saw i d e s p r e a dp r o b l e m t h i st h e s i s m a i n l yr e s e a r c ho nd i g i t a li m a g ec o m p l e t i o n ， w h i c hi saw o r ko ff i l l i n gi nm i s s i n go rd a m a g e dp o r t i o n so ft h ei m a g ea c c o r d i n gt o k n o w n i m a g ei n f o r m a t i o n i t so b j e c t i v ei st om a k et h ec o m p l e t i o nn o n d e t e c t a b l ef o ra n o b s e r v e rw h od o e sn o tk n o wt h eo r i g i n a li m a g e i m a g ec o m p l e t i o ni s w i d e l yu s e di n m a n ya p p l i c a t i o n s ，a n di san e wh o t s p o ti ni m a g ep r o c e s s i n g i nt h er e s e a r c ho fi m a g et e x t u r ec o m p l e t i o n ，t h et h e s i sp r o p o s e sa na d a p t i v ep a t c h m a t c h i n ga l g o r i t h mb a s e do ns t r u c t u r a ls i m i l a r i t yf o r t h eb l o c ke f f e c tp r o b l e mo f p a t c h b a s e dt e x t u r es y n t h e s i s f i r s t l y ，t h ea l g o r i t h mc h o o s e sp a t c hm a t c h i n gm e t h o da n d t h es i z eo f p a t c ha c c o r d i n gt ot e x t u r ef e a t u r e s t h e nt h ea l g o r i t h mc o n s i d e r sp i x e le r r o r ， t e x t u r es t r u c t u r a le r r o ra n db o u n d a r ye r r o rt oi m p r o v et h es t r u c t u r a ls i m i l a r i t yb e t w e e n m a t c h i n gp a t c ha n dt e m p l a t ep a t c h ，t h u sr e d u c e sb l o c ke f f e c t e x p e r i m e n t a lr e s u l t s d e m o n s t r a t et h a tt h e p r o p o s e da l g o r i t h m c a ni m p r o v et e x t u r e s y n t h e s i sq u a l i t y e f f e c t i v e l yf o ri r r e g u l a rt e x t u r ei m a g e i nt h er e s e a r c ho fi m a g es t r u c t u r ec o m p l e t i o n ，t or e s o l v et h es t r u c t u r ec o n f u s i o n b r o u g h tb yg r e e dm o d ei m a g ec o m p l e t i o n ，t h et h e s i sp r o p o s e san o v e li m a g ec o m p l e t i o n a p p r o a c hb a s e do ns t r u c t u r ei d e n t i f i c a t i o na n da u t o m a t i cs t r u c t u r ec o m p l e t i o n t h e a p p r o a c hf i r s tg e t ss a l i e n ts t r u c t u r ei n f o r m a t i o no nt h eb a s i so fi m a g es e g m e n t a t i o n ，a n d a n a l y s e ss t r u c t u r ef e a t u r e sa c c o r d i n gt oc u r v a t u r ea n ds y m m e t r y t h e nt h ea p p r o a c h u s e sl i n e sa n db e z i e rc u r v e st oc o m p l e t en o n c l o s e dm i s s i n gs t r u c t u r ea n du s e ss h a p e m a t c h i n gt oc o m p l e t ec l o s e ds t r u c t u r e f i n a l l yc o m p l e t e st h ei m a g eb yp a t c h b a s e d t e x t u r e s y n t h e s i sa c c o r d i n gt oc o m p l e t e ds t r u c t u r ec u r v e s e x p e r i m e n t a lr e s u l t s d e m o n s t r a t et h a tt h ep r o p o s e da p p r o a c hc a nw e l ls o l v ec o m p l e xs t r u c t u r en a t u r a li m a g e c o m p l e t i o n o nt h eb a s i so fp r e v i o u ss t u d y ，a no b j e c t i v ei m a g ec o m p l e t i o nq u a l i t ym e a s u r e ( i c q m ) i sp r o p o s e d f i r s t l y ，c u r v a t u r es i m i l a r i t yb e t w e e nc o m p l e t e ds t r u c t u r ea n d k n o w ns t r u c t u r ei su s e dt oa s s e s ss t r u c t u r a l c o m p l e t i o nq u a l i t y t h e nt e x t u r e d i s t r i b u t i o n ，t e x t u r er e p e t i t i v e n e s sa n dt e x t u r eb l o c ke f f e c ta r eu s e dt oa s s e s st e x t u r e c o m p l e t i o nq u a l i t y f i n a l l y ，i c q mi sp r o p o s e da c c o r d i n gt oa s s e s s m e n tr e s u l to f s t r u c t u r ea n dt e x t u r e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a t i c q mi sa ne f f e c t i v e a s s e s s m e n ti n d e xw h i c hh a sh i g hc o r r e l a t i o nw i t hh u m a ns u b j e c t i v ea s s e s s m e n tr e s u l t k e yw o r d s ：i m a g ec o m p l e t i o n ，t e x t u r es y n t h e s i s ，s t r u c t u r a ls i m i l a r i t y ， a u t o m a t i cs t r u c t u r ec o m p l e t i o n ，s h a p em a t c h i n g ，i m a g eq u a l i t y o b j e c t i v e a s s e s s m e n t 第i i 页 扫描仪、智能手机等 的数字图像，数字图 由于多种原因造成图 补就是根据图像中已 复破损的图像信息， 并且使观察者无法察觉出图像曾经破损过或已被修补好。 图像修补是当前图像处理领域的一个新的研究热点，在人们的工作生活中应 用越来越广泛1 4 。例如将破损的古代美术作品进行数字化然后在计算机中对破损 图像进行修补，这为保护古老艺术品开辟了更安全的途径；人们家中的老照片由 于年代久远出现残破和污点，可以利用数字图像修补技术把老照片补全；某些特 效处理去除了图像中的文字和对象，需要填补留下的空白；旧电影和电视的录像 带由于存在划痕和污点，电视台将其数字化的过程中需要对受损的视频图像进行 修补。 虽然目前有一些强大的图像处理软件，例如p h o t o s h o p ，也可以对残缺的数字 图像进行修补，但是需要有经验的专业技术人员进行复杂的手工处理，无法达到 计算机自动处理的目的，而且处理效率低下，需要较长时间才能完成一幅图像的 处理。另外对于视频图像修补这样的大数据量操作，人工处理更是不现实。因此， 现在图像修补技术的研究旨在寻找更智能化、修补效果更好的算法，只需要用户 简单地选择需要修补的区域，计算机就能根据图像的特征信息自动地完成修补图 像的工作，显著减少处理时间，提高工作效率，完成一些人力难于完成的任务。 综上可见，研究自动图像修补技术具有十分重要的实践和理论意义。该技术 的研究不仅可以直接作用于人们的日常生活和工作，提高工作效率，还可以推动 智能图像处理技术的发展，使数字图像处理技术得到更广泛的推广应用。 1 2 图像修补问题的描述 首先给出图像修补问题的一般性描述，如图1 1 所示，定义图像为，q 表示 图像中信息丢失的待修补区域，6 q 为待修补区域的边界，表示图像中没有丢失 信息的已知部分，则，= u q 。图像修补就是根据待修补区域周同的已知信息， 将图像信息填充到待修补区域q 中。 第l 页 困防科学技术大学研究生院博士学位论文 图1 1图像修补不意图 由于待修补区域q 无任何可用数据，如何填补图像受损的区域方法多种多样， 修补结果也不唯一，这实际上是一个典型的病态问题。病态问题表现为它的解不 是连续地依赖于观测数据的，观测数据微小变动可能导致解的剧烈变化。图像的 破损是一个粗鲁的物理过程，它没法用一个数学过程来描述，图像修补也无法表 示成其逆过程，实际上由于受损区域数据完全丢失，凶此是不可逆的，当然得到 的解也不可能是唯一的。所以图像修补的最终目的不是完全恢复图像原有的信息， 而是用适当信息填充受损区域，并且使观察者无法看出图像曾经缺损过或者已被 修补好。如图1 2 所示的例子【2 j ，图1 2 ( b ) 是一个类似“ ”的字母符号，其中 一部分被障碍物遮挡。图像修补就是要将被遮挡的部分补全，使得这个符号看起 来是完整的。根据人的视觉经验，参考符号的形状和周闱图像的信息，做出一个 猜测判断，认为在去除遮挡物后，可能会出现如图1 2 ( a ) 所示的字符，也可能 会出现如图1 2 ( c ) 所示的字符，这两种结果都保持了图像的连续性和光滑性， 可能都是正确的。 图1 2 被遮挡图像的猜测 对图像修补这一病态问题，先验模型是解决问题的关键。图像的先验模型就 是指图像被理解成什么样的数据模型，对图像的理解不同，就会导致修补方法的 不同，最终也会导致完全不同的解。对图像修补的研究一般是从图像视觉感知的 角度出发，根据格式塔( g e s t a l t ) 心理学原理1 5 j ，将自然图像的连续性和光滑性作 为图像修补先验模型的基础。 在图像修补技术研究的早期研究者们主要是根据格式塔原理对图像的低层次 理解即图像的光滑性建立先验模型，将图像的先验模型定义为连续光滑的二元函 数，对图像修补的方法主要是利用偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n ，p d e ) 第2 页 国防科学技术大学研究生院博士学位论文 似的信息扩散办法将修补区域周l 二纠的像素信息光滑地扩散到修补区域中从而 图像的修补。不过这类修补方法只适合于尺度较小破损区域的修补，包括图 的污点和裂纹、图像中需要去除的多余文字等点状或窄带状破损。对于较大 的图像破损这类方法不太适用，因为大范围破损图像损失信息很多，丢失的 “可能发生任何事 ，问题的病态性更强，利用光滑性模型修补会导致修补 的模糊。 后来研究者们逐步认识到图像结构信息对于图像表现的重要性，根据格式塔 对图像的高层次理解即图像的结构以及图像中对象之间的关系建立图像先验 ，来解决大范同破损图像的修补问题。图像的结构信息从尺度上可以分为两 类：一种是尺度较小的结构信息，主要表现在图像的纹理，这种纹理结构一般具 有特定的单元模式，在图像中重复出现率较高；另一类是尺度较大的结构信息， 主要表现为图像中不同对象或不同区域之间的边界，在图像中一般表现为明显的 线条，人眼对于这种结构十分敏感。为了便于描述，后文中对小尺度结构信息就 称为纹理，对大尺度结构信息称为结构。研究者们采用更高级的纹理结构先验模 型来理解图像，把图像看作是由纹理区域和结构所组成的分块平滑函数。对于图 像纹理区域的修补，可以将纹理区域看作是由纹理单元“光滑”拼接而成，利用 纹理合成的方法进行修补。对于图像结构的修补则需要分析图像结构特点，以结 构的连续性和光滑性为准则进行修补。 1 3 1 格式塔原理 1 3 国内外相关研究工作 在研究利用计算机处理的图像修补技术之前，图像修补本来是利用人的主观 操作去实现的，由人根据待修补区域周围的已知信息推测修补区域内部的信息， 然后手动进行图像信息的填充。人的这种主观推测实际上是有理论依据的，那就 是视觉心理学中的格式塔原理【5 儿们，即人可以根据物体的局部产生关于这些物体全 貌的映像，以实现对被遮挡物体的“变形完成 ，从而可以实现缺损图像的修补。 这种现象反映了人类从视觉上去感知一个物体时所具有的心理学效应。人们首先 能观察到物体的边缘出现不连续，被遮挡物截断，于是判断这个物体不完整，知 道它被挡住了。然后根据这个物体的边缘被截断的点，即“t ”形接点的排列情况， 产生合理的边缘连接，连接的原则是使这些边缘尽可能直、尽可能光滑，于是就 重构了这个物体。 根据格式塔学派的观点，变形完成过程中，有三个重要冈素，一是“t ”形接 点，二是这些接点的排列，三是人们对自然界中物体边缘连续性和光滑性的默认 第3 页 国防科学技术大学研究牛院博士学位论文 假设。n i t z b e r g 7 1 等人就依据格式塔原理的观点研究丫一种图像去遮挡算法，其主 要思想是首先用滤波的方法检测“t ”形接点，其次是根据“t 形接点的排列情 况和它们两侧的灰度值，判断哪些“t 形接点应该连接起来，再用e u l e r 弹性的 样条逼近来连接它们，最后把各个对象重构并都分列开来。这是图像去遮挡方面 最早的工作，这几乎就是对格式塔原理的计算机模拟。 格式塔原理提出的这种自下而上的视觉认知过程能够解释很多问题，大多数 情况都很合理，而且自下而上的过程也更容易使用计算机来模拟实现，为图像修 补提供了基础理论依据。 1 3 2 基于变分p d e 的图像修补 早期研究的一些图像修补方法主要是基于变分p d e 的图像修补方法。p d e 方 法属于数学分析中很重要的一部分，它与物理世界紧密联系在一起，热传导方程 和流体力学中的n a v i e r s t o k e s 方程( 简称n s 方程) 都属于p d e 方法。将p d e 方法应用于图像修补就是模仿物理传导过程实现图像信息的扩散和传导，将修补 区域周围的信息传导到修补区域中从而实现破损图像的修补。b e r t a l m i 0 1 4 1 1 8 等最早 开始研究数字图像修补，在2 0 0 0 年的s i g g r a p h 国际学术会议上首次提出图像 修补技术的术语。他们模仿流体动力学中的n s 方程，建立了一个等照度线光滑 延伸的修补算法模型，并以四个作者的姓名首字母组合b s c b 为其命名。b s c b 模 型是各向异性扩散的，图像信息延着等照度线方向扩散时保持了它与边界的夹角， 冈此修补效果更接近人的视觉效果。b e r t a l m i o 2 q 还在原图像梯度场中实现基于 p d e 的扩散，从而保持了图像梯度在破损区域的连续，对于窄带状结构的断裂也 可以实现较好的修补。o l i v e i r a t 9 】等利用一种简单的扩散核在修补区域边界由外向 内进行卷积计算来填充受损区域，该方法代替了b s c b 模型算法中大量的迭代操 作，计算速度得到了很大的提高。并且为了限制扩散在边缘处造成的失真，由用 户在图像中边缘与修补区域交汇处标记一道界线用来限制扩散的范围，使得扩散 算法只在这条界线两边分别进行。由于加入了人的干涉，得到的修补结果很好地 保持了图像的边缘信息。t s c h u m p e r l e t 2 5 j 等提出一种改进的受限p d e 模型，在图像 修补、图像去噪和图像超分辨率增强应用中都取得了较好的效果，与传统p d e 方 法相比更好地保持了图像中边缘的锐利度和光滑度。还有一些研究者 3 7 1 - 1 3 9 1 提出的 方法利用丢失像素周同的像素信息，通过加权平均算法得出丢失像素的值，类似 于p d e 的各向同性扩散，也只是适合于小尺度受损区域的修补。 除了p d e 方法，还有一类图像修补方法是基于几何图像模型的变分修补技术， 该类算法主要思路是通过建立图像先验模型和数据模型，将修补问题转化为一个 泛函求极值的变分问题。由于p d e 和变分法是可以通过变分原理相互等价推出的， 第4 页 国防科学技术大学研究生院博士学位论文 因此町把p d e 和变分这一类方法统称为基于变分p d e 的图像修补算法。基于变分 的方法常用“能量”泛函表示图像的先验模型。比如s o b o l e v 范数： e 1 0 】- 1 w o i d r ；r u d i n 等的全变分( t o t a lv a r i a t i o n ，以下简称t v ) 模型【1 0 】【】： 副i e i o 】- il w o 陬。其中v 表示梯度，d 为整个图像区域。而这类“能量泛函一 u i 般是图像梯度的函数，梯度变化越小能量越小，因此基于变分的图像修补方法使 图像受损区域尽量平滑，这样修补的结果没有包含纹理信息，只适合于小尺度的 破损区域。c h a n 1 2 1 5 1 等人最早将t v 模型推广到图像修补，利用该模型可以在修 补图像的同时达到去噪的目的，实际上等同于图像信息的平滑扩散。除了t v 模型， c h a n 1 2 】和t s a i 1 3 】等人还提出了基于m u m f o r d s h a h 1 4 】模型的修补算法，将图像的边 缘长度引入能量泛函，但由于m u m f o r d s h a h 模型是使边缘长度最小，因此修补的 边缘直接连接现存的边缘，这很可能导致两个可见的人为角度，而不是一条平滑 的曲线。另外，t v 模型和m u m f o r d s h a h 模型还有一个共同的缺陷，就是破坏了 视觉心理学中的连通原理【1 6 1 【1 7 1 1 2 3 1 。当图像中常见的窄带状结构出现较宽的破损之 后，t v 模型和m u m f o r d s h a h 模型都很难将断开的结构连通。为了使修补模型满 足连通性原理并且有较光滑的边缘，可利用曲率和弹性曲线模型进行改进。 c h a n 1 7 】【1 8 】【2 2 1 等将t v 模型中的传导系数修改为曲率的函数，使得在大曲率处扩散 变强，小曲率处扩散逐渐消失，进而实现结构的连通。e s e d o g l u 1 9 】等在基于 m u m f o r d s h a h 的修补模型中引入欧拉弹性曲线模型【2 0 】代替曲线长度进而提出了基 于m u m f o r d s h a h e u l e r 模型的图像修补算法。b a r c e l o s 2 4 】等提出一种 m e a n c u r v a t u r e f l o w 模型，也是在修补过程中考虑了曲率的影响。此外，f a d i l i 2 引 提出的基于e m 算法的图像修补也是将图像修补问题看作一个对图像受损区域的 最优估计问题，采用e m 算法与t v 算法具有异曲同工的效果。c h a n 2 9 】等将基于 t v 模型的图像修补应用在图像小波变换域上，通过修补小波系数达到修补图像的 目的。 在图像修补领域国内的相关研究相对比较落后，直到2 0 0 2 年才在国内学术杂 志上出现关于p d e 3 0 1 以及t v 【3 l 】模型的学术论文。浙江大学c a d & c g 国家重 点实验室另辟蹊径，开展了基于径向基函数的图像修补技术【3 4 】【3 5 】，主要思路是将 图像颜色值看作采样点上的高度场，则图像中破损的区域就成为三维曲面上的空 洞，把二维图像修补问题转化为三维曲面重建问题，利用径向基函数曲面重建的 优势来修补受损图像。这种方法根本上还是将图像破损区域当作平滑区域进行填 补，因此也只适合于小尺度缺损的情况，修补结果与基于变分p d e 的方法相比鲁 棒性更强，但修补效果类似。此外，仵冀颖【3 6 】等提出一种基于亥姆霍兹涡量方程 的图像修复模型。亥姆霍兹涡量方程也是流体力学中反映流体运动的方程之一， 第5 页 国防科学技术大学研究生院博十学位论文 通过分析b e n a l m i o 【8 i 提出的基于n s 方程的图像修补模型，使f j 曲率驱动亥姆霍 兹修复模型中的等照度线作为修补传输方向，该模型也是一种基于图像平滑扩散 的方法，不能修补图像的纹理信息。国内一些大学也发表了与变分p d e 图像修补 相关的硕博士论文，其中一部分【4 0 】- 【4 3 】对基于变分p d e 的图像修补技术进行了跟踪 研究。顾建平m 】提出了基于水平线插值的图像修复技术以及基于蒙特卡罗方法的 快速算法，其核心思想还是基于p d e 的方法。张红英【4 5 j 提出了基于p - h a r m o n i c 模 型的变分图像修补算法以及基于p - l a p l a c e 算子的小波域图像修补算法，则是以变 分为基础的图像修补方法。 总的来说，基于变分p d e 的图像修补方法其核心思想是利用受损区域周闱的 信息向受损区域中扩散，但是这种扩散不能恢复图像的纹理信息，对于尺度较大 的图像破损，其修补效果实际上相当于平滑填充受损区域，如果图像纹理比较丰 富，则修补区域与周围纹理区域就会形成鲜明的反差，所以基于变分p d e 的方法 更多地用于修补小尺度的图像破损。 1 3 3 基于样图的纹理合成 为了解决基于变分p d e 的方法在修补大范围破损图像时无法解决的图像纹理 填充问题，人们进一步研究了基于纹理合成的图像修补技术。自从1 9 7 4 年 c a t m u l l l 4 6 】发明纹理映射技术以来，纹理合成即成为一个重要的研究方向。纹理合 成是以人工合成的方式生成具有真实感的纹理资源，以满足虚拟现实相关应用中 对纹理资源的需求。纹理合成的思路有两种，一是过程纹理【47 j 【5 0 j ，二是基于样图 的纹理合成【5 i 】。【5 7 1 。过程纹理的思路是通过物理方程的计算直接模拟某类纹理的特 性，以函数的方式生成纹理数据，如木材、火焰、波涛等。这种方式对有规律的 特定纹理可以达到逼真的效果，但需要复杂的计算和对不同的纹理设计不同的函 数，通用性受到很大限制。取而代之的是基于样图的纹理合成，它是近年来发展 起来的一种新的解决方案，它以小规模纹理图像为样本，可以合成规模任意大的 纹理图像，而且保证合成的纹理图像与样图在视觉上“相似”。基于样图的纹理 合成具有强大的通用性，因此有的研究者将该技术应用于图像修补，从图像自身 取样将合成的纹理图像填补在图像受损区域达到修补图像的目的。 根据纹理合成时选用的合成单元的不同，基于样图的纹理合成可以分为基于 像素的合成与基于块的合成两类，相应地图像修补算法也可分成这两类。这两类 算法各有所长，基于像素的方法擅长于匹配比较规则的小纹理细节，但难于再现 纹理大范围的特性，并且计算时间代价较高；相对的，基于块的方法能更好地捕 捉纹理的全局特征，对普通图像适应性更好，计算时间花费也较少，但块匹配不 好时容易出现比较明显的块效应。 第6 页 国防科学技术大学研究生院博士学位论文 从图像修补应用来看，早期的许多方法主要采j j 基于像素的纹理合成米进行 修补。一部分学者直接利用基于像素的纹理合成进行修补【5 9 】。【6 3 】，其中b o m a r d 5 9 】 提出的算法比较典型，可以修补图像中的边缘，不容易出现边缘模糊或断裂的情 况，但是由于对纹理全局特征把握能力不足，在稍复杂的区域容易出现误匹配。 另一部分学者结合以往基于变分p d e 的图像修补方法提出了基于图像分解的混合 方法畔j 【6 9 j ，首先利用各种图像分解方法将图像分解为结构部分和纹理部分，然后 对结构部分用变分p d e 方法进行修补，对纹理部分用基于像素的纹理合成进行修 补。c a n t l 6 5 1 提出的算法对图像进行下采样方式得到图像的低分辨率概要图，然后 在基于像素的纹理合成搜索过程中首先在概要图中进行近似的搜索，得到近似的 匹配区域后再在原图像中相应位置进行更精细的搜索，这种方法可以显著减少算 法计算量。b e r t a l m i 0 1 6 7 1 等提出的算法则是典型的基于图像分解的混合方法，先用 全变分1 5 0 j 将图像分解为结构部分和纹理部分，再用他们提出的b s c b 模型修补结 构部分，用纹理合成1 5 l j 修补纹理部分。总的来说，基于像素的纹理合成图像修补 方法相对于变分p d e 的方法能够更好地反映图像的纹理特征，不再只局限于修补 小尺度的图像损失，应用面更广。但是对修补区域每个像素都要进行搜索匹配造 成的计算量是十分巨大的，难于再现纹理的全局性也限制了该方法的进一步发展。 针对基于像素的纹理合成的缺陷，人们进一步研究了基于块的纹理合成方法。 o r o r i l 7 0 等提出一种基于碎片( f r a g m e n tb a s e d ) 的图像修补算法，该算法利用图像 碎片( 可以理解为不规则图像块) 自相似原理，采用一种由粗到精的方法迭代逼 近丢失信息的区域，虽然取得了较好的修补效果，但是该算法需要在图像的多个 尺度上分别进行全图像搜索，速度相当慢。b o d k a d 7 l 】等在d r o r i 算法基础上结合图 像纹理方向特征给出了种快速算法，但图像修补效果相应地下降。 c r i m i n i s i l 7 2 1 等提出一种基于规则图像块的纹理合成修补算法用来去除图像中 的大物体，得到了很好的效果。这种纹理合成主要由优先级计算、搜索和复制3 步组成。c r i m i n i s i 给出的实验结果表明该算法在视觉效果上优于其它的算法，在 时间花销上也不是很大，因此就有大量的研究者开始研究c r i m i n i s i 算法1 7 4 】- 【引l 。浙 江大学的t a n 9 1 7 4 等针对c r i m i n i s i 算法的一些不足提出一些改进方法，首先缩小了 搜索最优匹配块的范围，并给出了一种新的选择最优匹配块的准则以避免误差传 播。h u a n g t m 和n i e l 7 s l 都对优先级函数提出了改进方法，保证图像结构和纹理的正 确填充。n i e l 7 8 1 还在原有像素误差匹配的基础上引入了使用频率映射图，遏制对原 图像中某一部分的重复使用以保证原图像信息被较平均地使用。s h e n i 】提出的方 法则是先修补原图像的梯度图像，将已知区域的梯度填充丢失区域，然后根据修 补后的梯度图像以及泊松方程恢复图像。z h a n g ! 引】贝0 在c r i m i n i s i 算法基础上根据 图像大小采用自适应图像块大小并且加入去块效应步骤改善修补图像质量。 第7 页 国防科学技术大学研究生院博士学位论文 p e r e z t 8 3j 在研究报告巾探讨厂修补块大小对纹理合成效果的影响。z h a n g t 8 4 1 则 改进了最优匹配块的复制过程，使修补图像视觉上更连续。x u e 8 5 j 在搜索过程中使 用颜色梯度匹配代替