（计算机应用技术专业论文）数字图像修复技术研究(1).pdf

摘要 数字图像修复技术研究 作者简介：张燕，女，1 9 8 3 年0 1 月生，师从成都理工大学洪志全教授，2 0 0 8 年0 6 月毕业于成都理工大学计算机应用技术专业，获得工学硕士学位 摘要 图像修复是一项古老的艺术。早在欧洲文艺复兴时期，为了恢复中世纪美术 作品中丢失或被损坏的部分，同时保持作品整体效果，人们便开始通过填补美术 作品中一些裂痕或划痕来达到恢复作品原貌的目的。随着计算机技术的出现和发 展，数字图像修复被b e n a l m i o 引入到图像修复领域。数字图像修复是图像处理 领域中一个重要的部分，是利用图像中的有效信息填充指定区域缺损数据的一种 技术。该技术已经被广泛的用于各个领域，包括修复医学图像和文物、修补有划 痕和裂痕的照片，移除图像中的遮挡物、还原犯罪现场等等。 目前，国内外晟具代表性的图像修复技术主要有两类：基于偏微分方程的修 复模型和基于纹理合成的修复模型。基于偏微分方程的修复模型是较先提出的修 复模型，m b e n a l m i o 等的基于偏微分方程的修复方法是一种模拟专业修复人员 的修复方法，它开创了基于偏微分方程图像修复方法的先河。此后，由c h a n 和 s h e l l 提出整体变分模型以及基于曲率驱动扩散的修复模型等也成为了人们研究 数字图像修复算法的参考对象。基于纹理合成的数字图像修复模型也是一种有效 的修复方法，特别是对于破损区域较大的纹理图像，其修复效果比较让人满意。 这类模型所用到的纹理合成技术主要涉及到了合成采样、特征匹配和约束合成这 三大方面的问题。由于m 诎o v 随机场模型较好的体现了纹理固有的局部相关特 性和稳定特性，所以近些年来成为纹理合成的主流被广泛采用，同时块拼接技术 依靠其在合成速度和合成质量上的优势也不断的在发展和改进。在当前被图像修 复技术研究人员广泛应用的几个典型的纹理合成算法包括：w l 算法，a s h i l 【i l m i n 算法，块拼贴的纹理合成算法。 除了以上所提到的两类修复模型之外，由周廷方等人提出的基于径向基函数 的图像修复算法，也受到了广泛的关注。该算法首次将图像修复的问题转化为了 三维曲面重建问题，并利用径向基函数在曲面重建中的优势，使整个图像的修复 过程能够更准确的，鲁棒的处理相对较大的破损区域。 本文首先就以上几类修复模型，对图像修复技术的研究现状及其应用做出了 比较全面的综述：然后在修复方法的理论与技术基础之上，深入研究了几种具有 代表性的图像修复模型；最后详细阐述了本文的重点研究内容：一种新的基于纹 成都理工大学硕士学位论文 理合成的数字图像修复算法。 本算法建立在m a r k o v 随机场模型的基础之上，通过对待修复区域边界点的 优先权处理，以及对邻域像素点的权值处理，较好的保持了图像的边缘特征，同 时也顾及到了图像的纹理细节和结构信息，避免了传统修复算法所带来的模糊效 应，即使是在修复图像中较大破损区域时，也能够达到了较好的修复效果。 关键词：图像修复；纹理合成；m a r k o v 随机场模型；优先权；权值 a b s n a c t r e s e a r c ho fd i 季t a ii m a g ei n p a i n t i n gt e c h n i q u e i i l 仃o d u 鲥0 no f t h e 卸t l l o r ：z h 锄gy a n ，硫l a l e ，w a sb o m i nj a 肌a r ) r19 8 3w h 0 t u t o rw a sp r o f e s s o rh o n gz 1 1 i q u a l l s h e 伊a d u a t e d 丘o mc h e i l g d uu i l i v e r s 时o f t e c h n o l o g yi nt e c l l n 0 1 0 9 yo fc o m p u t e ra p p l i c a t i o nm 旬o ra n dw 弱黟a n t e d 1 e m a s t e rd e g r e ei nj u n e2 0 0 8 a b s t r a c t i m a g ei n p a i n t i n gi sa na n c i e n ta n i nr e n a i s s 锄c eo fe u r o p e ，p e o p l eh a v er e p a i r e d t h ec r a c k so ft h ew o r ko ff i n ea r t t h e yc a l lr e s u m em ed 锄a g e dp o n i o n so faw o r ko f f i n ea r ta n dk e 印i tw h o l eb ym i sw a y a st h ea d v e n ta n dd e v e l o p m e n to fc o m p u t e r t e c h n 0 1 0 9 y ，d i 百t a li m a g ei n p a i n t i n gw a si n 仃o d u c e di n t ot h ef i l e do fi m a g ei 印a i n t i n g b yb e 九a l m i o d i 酉t a li m a g ei 印a i n t i n gi sa ni m p o n a n tp a no fi m a g ep r o c e s s i n g i ti sa t e c l l n i q u e ，w h i c hf i l l si n 印p o i n t e dd a m a g e dp o n i o n so fa 薹1i m a g eb a s e du p o nt h e a v a i l a b l ei m a g ei n f o m a t i o n t h i st e c h i q u ei su s e dw i d e l yi nm a n y 矗e l d ss u c h 弱 r 印a i r i n gd 锄a g e dm e d i c a li m a g eo ra l l c i e n ta r t i f a c t ，i n p a i m i n gi n j u 】广e dp h o t o ， r e i n o v i n g e x t r ao b j e c ti ni m a g e ，r e s t o r i n gs c e n eo ft h ec r i m ea n ds oo n n o w ，t h em o s tr e p r e s 朗t a t i v ei m a g ei n p a i n t i n ga th o m ea 1 1 da b r o a dc a l lb e d i v i d e di n t o 细ok i n d s ：t h ei m a g ei n p a i n t i n gb a s e do np a n i a ld i 酋陆e n t i a le q u a t i o n s ( p d e ) a n dt h ei m a g ei n p a i n t i n gb a s e do nt e x t l l r es y l l m e s i s t h ei m a g ei n p a i n t i n g b a s e do np d ew a sp r e s e n t e de a l l i 既m b 酣a l m i o sa l g o 硼硼c a i li m i t a t et h ew a yo f p r o f e s s i o n a l s m e t h o do fr 印a i r i tc a nb es a i da su n p r e c e d e n t e di nt h eh i s t o 叫o fm e i m a g ei n p a i n t i n g b a s e do n p d e t h e n ， t h et o t a lv a d a t i o nm o d e l锄dt h e c u r v a t u r e - d r i v e nd i a h s i o nm o d e lp r e s e n t e db yc h a l la 1 1 ds h e n h a v eo r 锄b e c o n s u l t e db yp e o p l ew h on e e d e dt os t u d ym ed i 西t a l i m a g ei 印a i n t i n g t h ei m a g e i n p a i n t i n gb a s e do nt e x t l l r es y n t h e s i si sa l s oa ne f r e c t i v em e t h o d w ec a ng e tv e 巧 g o o dr e s u l tw h e i lw eu s et h i sw a yt od om eb i gd 锄a g e db l o c k si n p a i n t i n g t h e t e x t u r es y n t h e s i su s e di nt h i sm o d e li n v o l v e st h r e ep r o b l 咖sw h i c ha r es y n t h e s i s s a m p l e 、 f e a t u r em a t c h i n ga n dc o n s t r a i n ts y n t h e s i s i nr e c e n ty e a r s ，m r fm o d e l b e c a m et h em a i n s t r e a mo ft h et e x t u r es y n t h e s i s i ti sb e c a u s et h a tm r fm o d e lc 锄 s h o wt h el o c a li n t e n r e l a t e dc h a r a c t e r i s t i ca n dt h es t a b l ec h a r a c t e n s t i co ft h et e x t l l r e a n dt h et e c h n i q u eo fp a t c hj o i n i n gh a sb e e nc o n t i n u o u s l yd e v e l o p i n ga n di m p r o v i n g b e c a u s eo fi t ss p e e da n dq u a l i t yo fs y l l t h e s i s i nt h ep r e s e n t ，t h et y p i c a lt e x t l l r e l i l 成都理_ i 大学硕士学位论文 s y n m e s i sa l g o r i 幽n ss u c ha u sw la 1 9 0 r i 咖a s h i l d 】i i l l i na l g 硎t h l na n dp a t c h b a s e d t 麟t l l r es y l l t h e s i sa l g o 删ha r cu s e dw i d e l yb y p r o f e s s i o n 越s b e s i d e s ，m ei m a g ei n p a 主n 池gb 勰e do n 鳓d i a lb a s 主s 觚以o n s ( r b f ) ，w h i c hw a s p r e s e n t e db yz h o ut i n gf 趾ga l s oc a u s e dw i d ep u b l i cc o n c e m i tc o n v st 1 1 0i m a g e i n p a i 确n gp r o b l 铋 t o 妞e d i m 鼹s i o n 啦 i 撒p l i c i ts 嚣勉c e 羚n s t 翔e i o 芏lp b l 鼬 f i r s t l y w i t ht h | ea d v 枷a g e so fr b f t h ea l g o r i t c a nr 印a i rt l l er c l a t i v e l yl 鹕e d 黼垮dp o 霞i 鼬sm o 辩a c c 隧a t e 弩黼dm o 辩约如s 1 f i r s t l y ，i nt h i sp 印i nal i 曲to ft h e s e 玉【i n d so fi m a g ei n p a i n t i n gm e n t i o n e di n s c c o n dp a r a g r a p h ， w e蝴撕z 酣m er e c e n tw o r ka n d a p p l i c a t i o no fi m a g e i n p a i n t i n g a n dt h e i lw es t l l d i e ds e v e r a lt y p i c a li m a g ei n p 撕l t i n gm o d e l s b a s e do nt h e b a s i ck n o w l e d g eo ft h i st e c l m i q u e ；a tl a s t ，w ei n 呐d u c et h ek e y n t e n to ft h i sp 印e r ： an 愀i 礅a g ei 印a 主n t i n g 露g o 曩t h mb a s e do nt e x 缸es y n 氇e s i s t h i sa l g o r i t h mi sb a s e do nm r fm o d e l i tk e 印sm ee d g ef e a t u r eo fi n j u r e d i 攮a g eb yd e a l i 藏gw i 专h 氇e 研撕够联壤eb 黼蠡g 牟x e l sa n d 壤ew 袅曲lo f 搬e 枷x e l s i nn e i g h b o r h o o d b e s i d e st h i s ，t h et c x t i l r ed e t a i l sa n ds t m c n j r ei n f o m a t i o na r e 旬1 1 v n s i d e d a n dt h es a 氆et i m e b l u 蕊n ge 糯c ti sa v o i d 稚爵l 主sa l g o 秭t h le 鞭蠢鼬 a c h i e v ef a i r l yg o o dr e s u l t sw h e nd ot h eb 适d 锄a g e d b l o c k s i n p a i n t i n g k r e yw o r d s ：i m a 鲈i n p a i n t i n g ；t e x t t l s y n t h e s i s ；m r f ；埘o f i t y ；w e i 曲t l v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得盛都理王太堂或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：苏盏 夕卵髫年月知日 学位论文版权使用授权书 本学位论文作者完全了解盛都理王太堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权盛都理王态堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：多次逝 学位论文作者导师签名： 隋戈乞 d 1 年g月如日 第1 章绪论 1 1 引言 第1 章绪论 据统计，人类获取的信息，大约6 0 来自于视觉，2 0 来自于听觉，另外 2 0 来自于触觉等其他途径，由此可见视觉信息的重要地位。而图像作为视觉 信息获得和传播的主要载体，随着计算机技术的飞速发展，越来越受到人们的 重视。可以毫不夸张的说，2 l 世纪是信息获取、及其处理应用的世纪，更是图 像处理和应用的世纪。 数字图像修复技术( i n p a i n t i n g ) 属于图像复原的研究领域，是图像处理的 一个核心技术，也是当前计算机视觉方面的一个研究热点。该技术就是用一定 的算法来方便快捷的实现对图片、照片或影片的处理。这种技术在文物保护、 影视特技制作、虚拟现实、去除遮盖物等方面有很高的应用价值。但由于数字 图像修复所处理的问题是一个病态问题，人们无法从退化影像中获得原始影像， 因此，这就使得该领域的研究具有一定的难度。 1 2 数字图像修复技术概述 一般图像处理的基本模型可以表述为输入输出系统1 1 ，如图1 1 所示。 u 。一叵圃一u 图卜1 图像处理基本模型 其中输入u o 是一幅图像或者是一系列的图像，t 为线性或非线性的图像处 理器，如恢复、去噪声、编码压缩、分割等。u 为输出的特征图像。 起初图像修复是艺术领域的名词，而图像处理的研究员称之为图像插值 ( i m a g ei n t e 印o l a t i o n ) 。设风表示完整的矩形图像域，q 为缺失或者要去除的 信息域，如图1 2 所示。图像修复是基于图像有效的信息ri _ ，填充图像内指 定区域的缺损数据q 而得到完整图像尺的处理过程1 2 j 。对于图像修复而言， 砜= ( r ，q ) ，u = 尺，修复算法为图像处理器t 。这样图像修复就可以被看作一 种特殊的图像处理过程。 数字图像修复技术是从人的视觉心理角度出发，根据被遮物体的边缘信息， 按照一定的方向进行延伸扩展、边界连接，填充被遮蔽的部分，达到视觉上的 成都理工大学硕士学位论文 连通，模拟出人工修复的效果。由于因为大多数物体都是不透明的，一般情况 人们靠经验来猜测被遮挡了的物体。同时，世界通常也被认为是由种有序的、 完整的方式组成，而不是乱糟糟的、独立分散的个体。因此，图像修复的建模 过程一般依赖h e l n l l l 0 1 t z 最佳猜测原理。h e l m h 0 1 t z 基本原理指出：在给定传感 数据的情况下，我们所感觉到的一切是基于现实世界的状态而做出的最佳猜测。 另外，一个实用的图像修复模型应该能够从含有噪声的图像中提取出干净的图 像，并且从剩余的图像信息中猜测出最佳的丢失信息，因而依据最佳猜测原理 建立的图像修复模型是自然的。 图卜2 图像修复概念示意图 最佳猜测原理是用统计的方法研究问题，它和b a v e s i a l l 理论对现实世界的 分析类似。在确定性方法论中，最佳猜测原理通过最优化能量泛函实现。因此 它的困难点在于提出感觉上有意义的能量泛函。 由之前的定义可知，图像修复就是利用受到污染的图像“恢复干净的图像 u 。根据最佳猜测原理，就是求b a y e s i a i l 最大后验概率，即求使胛6 缈lu o ) 最 大的u 【3 】。 根据b a y e s i 舳公式： 巾) = 器盹 ( h ) 若图像给定，则j p ( ) 是固定的常数，设为c 此时有： 印= c 巾) 。iu ) ( 1 2 ) 从上式我们看到，对图像u 的估计依赖于两个条件，即观测到的图像和 u 的联系以及基于最佳猜测而建立的图像先验概率。这两个条件分别对应于修 2 第l 章绪论 复中的两个物理模型： 以i u ) ：数据模型，即观测到的图像是怎样从理想图像u 获得的。 p ( u ) ：先验模型，即真实的图像应该是什么样子。 另一方面，在大多数的图像修复问题中，修复区域经常丢失图像的几何信 息，如边缘。为了能够重构这些这类信息，修复模型就应该利用起图像的几何 信息，然而大多数传统的概率模型都无法做到这一点。不过，由于在图像处理 中的一些能量模型是由几何信息驱动的，因此，根据g i b b s 规则可以建立概率 公式与能量之间的联系。 g i b b s 规则：即施6 f 矗纱p ) = 三e x p 【_ 胆p ) 】。 z 其中层妙) 是u 的能量，表示绝对温度的倒数，z 是分布函数，因此 b a y 鲥a n 公式以能量或变分形式表示为： e 眇l 】= e 眇】+ e 眇。lu 】+ 淞f ( 1 3 ) 求能量的最小值时，常数项可以舍弃不要。e 妙】和e 眇| 砜】分别等价于概 率公式中的先验模型和数据模型。 在图像修复问题中，数据模型的建立一般比较简单，可以根据引入的不同 噪声建立不同的模型。而图像一般引入的都是加性噪声，其中又以高斯白噪声 最为常见。 因此一个有效的贝叶斯变分修复模型，主要依赖于一个好的先验图像模型 e i 【，i 。一般有下面几种方法可以建立先验概率模型，如m a r k o “g i b b s 随机场 理论、基于学习的滤波和熵理论、m 啪f o r d g i d a s 建立的处理随机化模型的公 理化方法、几何模型方法等。 2 0 0 2 年， t o n yc h 锄【2 】等人又提出了低层次图像修复应当遵循下面三个重 要原则： ( 1 ) 局部性：修复的图像完全由修复区域附近的信息确定。 ( 2 ) 能够连接断裂的边缘：人眼对边缘是十分敏感的，因此边缘是物体识别 和图像分割的重要信息。 ( 3 ) 对噪声具有鲁棒性：在噪声低于一定程度时，人类视觉能够从含有噪声 的图像中提取出干净的图像，并将它们的结构延伸到修复区域里面。 1 3 数字图像修复技术的发展与现状 图像修复是一项古老的艺术。早在欧洲文艺复兴时期，为了恢复中世纪美 成都理工大学硕士学位论文 术作品中丢失或被损坏的部分，同时保持作品整体效果，人们便开始通过填补 美术作品中一些裂痕或划痕来达到恢复作品原貌的目的。数字图像修复( d i 西t a l i n p a i n t i n 曲一词最初是由b e n a l m i o 引入到图像修复领域的，自从b e n a h n i o 最早 期的工作以后，数字图像修复技术就得到了广泛的应用。 近些年，国内外发表的图像修复方面的论文提出了很多卓有成效的修复模 型和方法。其中具有代表性的是基于偏微分方程的模型和方法，以及基于纹理 合成的模型和方法。 基于偏微分方程( p 矾i a ld i 舵r e n t i a le q u a t i o n s ，p d e ) 的数字图像修复模型 有很多，也是较先提出的一类修复模型。m b e n a l m i o 等的基于偏微分方程的 修复方法是一种模拟专业人员手工修复图像的修复方法，它开创了基于偏微分 方程图像修复方法的先河【4 】。该算法主要是通过将修补区域周围的有效信息沿 着等照度线的方向迭代到修复区域内从而产生修补信息的方式来完成对图像的 修复。它能够处理不同结构和背景的区域，并且自动化程度比较高。接着，在 偏微分方程的基础上，c h a n 和s h e n 【5 】提出了一种整体变分( t o t a lv 撕a t i o n ，t v ) 模型，他们采用欧拉一拉格朗同方程和各向异性扩散的方式来保持等照度线的 方向。但是，由于t v 模型不能达到能够连接断裂边缘的要求，因此，c h a l l 和 s h e n 又提出了一种基于曲率驱动扩散( c u r v a t u r e 蹦v e i ld i 伺融s i o n ，c d d ) 的修复 模型【6 】。c d d 模型是t v 模型的扩展，在定义扩散的力度方面，考虑到了等照 度线方向的几何曲率信息，这使得该模型能够很好的处理较大的破损区域。另 外，还有很多变分的方法求解引入的能量方程和e u l 昏l a g r a i l g e 方程的图像修复 模型。 基于纹理合成的图像修复方法是另一种有效的修复方法，特别是对于修复区 域较大的纹理图像具有很好的效果。e 舶s 和l e u n g 在1 9 9 9 年i e e eh n e m a t i o n a l c o n 衔e n c e 上提出了基于单个像素点合成的非参数采样的方法【。丌。该方法首次在 纹理合成中采用m a r k o v 随机场( m a r k o vr a n d o m 矗e l d ，m r f ) 模型，其概率模型 基于纹理的空间局域性：对于一个给定的像素点p ，它的灰度值分布概率只与它 的空间邻域有关而与图像的其它部分无关。w l 算法【8 】是对e 舶s 算法的改进，同 样基于m r f 模型，但它摒弃了e 舶s 算法中的概率函数而直接采样，邻域采用l 形 状。但是w l 算法不适合处理具有较多细节的自然纹理。通过改进w l 算法，又产 生了a s h i k h m i n 算法【9 1 ，该算法利用相关性原理，把搜索范围限制在当前点的邻 域内。根据l 邻域邻域点在输入图像中的对应位置，偏移相应量后获得待选点。 a s h i l ( 1 l m i n 算法非常直观、简单，对绝大多数的自然纹理合成都能取得很好的效 果。另外，j s u n 等提出的图像修复方法能够修复结构纹理和其他纹理重叠的图 像【l 川，该方法引入了结构纹理扩散概念，先用交互的方式标出结构纹理的一些重 要的点信息，再使用最小能量方程把点拟合成曲线，顺着曲线方向扩散结构纹理， 并把修复区域分割开来，最后各个区域里剩下的纹理用基于块的纹理合成方法来 4 第l 章绪论 填充。李厚强等人提出了一种基于分形和金字塔算法的纹理合成方法【l lj ，该方法 适用于生成各向同性( 即无方向性) 的随机纹理，却不能生成各向异性纹理。应 勉亭采用基于约束和纹理合成的方法进行图像修补，该方法利用给定图像的约束 条件，提取出有用的纹理，对图像进行综合扩散。 此外，0 1 i v 嘶r a 的基于高斯卷积核的图像滤波算法以及由周廷方，汤锋，王 进等提出了基于径向基函数( r a d i a lb a s i s 劬以o n s ，r b f ) 的图像修复算法l 坦j ， 也是当前国内外应用较多的图像修复技术。o l i v 甜r a 算法是一种简单快速的修复 算法【3 2 】，这种算法基于一个重复扩展模型，用给定的信息来扩散缺陷。在许多情 况下，通过简单模型产生的结果与现有的修复模型相比，速度提高了2 3 个数量 级，因而多用于交互式应用中。基于径向基函数的图像修复算法将图像处理的问 题转化为三维曲面重建问题，利用径向基函数在曲面重建中的优势进行图像修 复。但是，由于基于径向基函数的修复方法需要求解高维的线性方程组，所以速 度尚不够快，仍有待改进。 由于图像修复是根据已知信息推断缺失的信息，因此修复算法和图像的特征 息息相关，再加上自然图像非常复杂，既包含结构信息，也包含纹理细节，所以 目前还没有“包治百病”的算法模型。 1 4 数字图像修复技术的应用 目前，图像修复技术在图像处理、视觉分析和电影工业中已经得到了非常 广泛的应用，它可以用于以下几个方面。 ( 1 ) 修复古代字画。由于保管条件或人为等种种因素，一些具有极高收藏 价值的历史作品有时会出现裂痕和划痕，因此对这些文物进行修复具有十分重 要的意义。通过数字图像修复技术，只需要确定待修复的区域，计算机就可以 按照指定的算法进行修复，而且修复效果较好，同时也避免了像手工修复一样 耗费大量的时间，如图1 3 。 修复后 二今 图卜3 文物修复 5 成都理下大学硕+ 学位论文 ( 2 ) 修复照片丢失的信息。在生活中，经常不小心将照片折叠或划伤，或 者照片、胶片被污染，这时就需要数字修复技术，如图1 4 。 图卜4 照片修复 ( 3 ) 文字，遮挡物以及特定目标的去除。由于一些图片或者某一帧电影画 面中加入了字幕，为了要去除这些字幕，可以利用数字图像修复技术。另外， 由于一些特殊原因，需要隐藏图中的某个目标，这时使用图像修复技术同样能 达到预期的效果，如图1 5 和图1 6 。 图卜5 去除文字 修复斤 二今 图1 6 去除遮挡物 第1 章绪论 ( 4 ) 修复图像压缩和无线传输中造成的失真图像。在图像传输中，由于网 络或其他原因，传输过来的图像可能有残缺的部分，数字图像修复技术可以修 正这些问题。 ( 5 ) 高分辨率研究。一般情况下，当图像从低分辨率放大到高分辨率时， 会出现严重的马赛克现象，图像修复技术不仅仅应用在修复这方面，人们发现 它们还能提高图像的分辨率。 1 5 本文的主要工作和章节安排 本文首先引出图像修复的概念和理论基础，阐述了图像修复技术的发展和 现状，并例举了其主要的应用领域。然后，对现有的模型和方法进行研究和分 析，最后在此基础之上通过改进的方式提出了一种基于纹理合成的数字图像修 复算法。 论文共分五章，内容安排如下： 第l 章介绍图像修复技术的概念，理论基础，发展与现状以及它的主要应 用，最后据此介绍了本文的主要工作。 第2 章介绍了基于偏微分方程的数字图像修复技术，并研究了b s c b 模型、 整体变分( t v ) 模型、曲率驱动扩散( c d d ) 模型等基于偏微分方程方法的图像修 复模型。这类修复模型是从微观角度出发，以传递、扩散等机制，期望沿等照 度线方向将信息扩散至受损区域内。 第3 章研究了由周廷方、汤锋、王进等提出的基于径向基函数的图像修复 算法，该算法将图像处理的问题转化为三维曲面重建问题，利用径向基函数在 曲面重建中的优势进行图像修复。 第4 章研究了纹理合成技术，并对当前得到广泛应用的几个纹理合成算法 进行了分析和比较。 第5 章详细研究了m r f 模型，并在此基础之上通过改进的方式提出一种 基于纹理合成的数字图像修复算法。 最后对全文的工作重点进行了总结，并且对本课题将来可以继续发展的方 向进行了展望。 7 成都理工大学硕士学位论文 第2 章基于偏微分方程的图像修复技术 使用偏微分方程( p d e ) 解决图像处理领域的问题在近几年已经成为一个 热门的研究领域，被越来越多的人所关注。其基本思想就是利用偏微分方程对 图像建模，然后求解该方程，方程的解就是所期望的结果。由于它可以准确的 对图像建模，从而很好的解决了图像处理中许多复杂的问题。如今，偏微分方 程已广泛的应用于图像处理的各个方面。 2 1 偏微分方程与图像处理 基于偏微分方程的图像处理【1 3 ，1 4 】可以追溯到j j 1 e n d 甜n k 和a p w i t k i n 的 各自独立的研究。他们严格的介绍了尺度空间理论，并指出：图像与具有递增 方差的高斯函数做卷积实现低通滤波，等价于求解以原图像为初值的热传导方 程： 罢：血g ，r ) a 一7 ( 2 一1 ) 定义多尺度图像“g ，f ) ：q 【o ，) 专冠qcr 2 ， 。g ) 为原图像。求解方 程，得到： “g ，f ) = 甜o g ) 木g ，g ) ( 2 2 ) 其中，gg ) = c f 2 e x p i 一i 是方差盯2 = 2 f 的高斯函数。j j k o e n d “1 1 1 ( 和 lf f a p w i t k i n 的贡献在很大程度上构成了偏微分方程进行图像处理的基础。在8 0 年代末，h u m m e l 提出热传导方程并不是唯一可以构成尺度空间的方程，并提 出构成尺度空间的准则。 关于图像模型，一种确定性观点认为图像可理解为s o b 0 1 “空间的光滑函 数，因此可利用s o b o l e v 空间t i l ( h o n o v 正则化变分模型来求解。p p e r o n a 和 j m a l i k 提出的各向异性扩散在这个领域最具有影响力。他们提出用一个可以保 持边缘的有选择性的扩散方程来替换g a u s s i a l l 扩散，模型为： 詈= 痰v g 叫m “( o ) 砘 8 ( 2 3 ) 第2 章基于偏微分方程的图像修复技术 其中，g g ) 为非增光滑函数，模型根据图像梯度模型实现有选择的扩散平滑。 由此，p p e n a 和j m a l i k 的工作引发了许多人开始把偏微分方程应用于图像处 理的领域。 2 2 偏微分方程在图像修复中的应用 对于一幅带有噪声的待修复数字图像来说，可以将其理解为一个连续变量 函数的离散化，其函数值是图像在像素点位置上的取值。在一幅数字图像中， 往往包含着丰富的信息，按照图像边缘特征来划分，我们可以将这些信息分为 边缘和非边缘信息两部分，其中非边缘信息又包含噪声点和图像本身变化比较 平稳的平坦点。 对边缘信息和非边缘信息有如下性质： ( 1 ) 所对应的梯度不同 对边缘信息来说，在这些位置的图像的像素值变化剧烈，其灰度函数在边 缘处所对应的梯度较大，在图像的非边缘处，灰度变化不大的地方，所对应的 梯度较小。 ( 2 ) 所包含的频谱信息不同 边缘信息是图像中的一类非常重要的信息。一般而言，边缘所对应的为高 频信息，而平坦点所对应的是低频信息，另外噪声对应的也是高频信息。如何 把高频段处的噪声信息区分开，是保持边缘信息去除噪声的关键。 由此可见，数字图像恢复过程主要是要在图像恢复的同时尽量地保持边缘 信息，在图像的光滑过程中尽量保持图像边缘在梯度方向上的变化率，在非边 缘点上尽量使各个方向上都有较大的光滑度，这样就可以达到很好的修复破损 图像的目的。 基于偏微分方程的图像修复模型就是将图像修复过程转化为一系列的偏微 分方程或能量泛函模型，从而通过数值迭代和智能优化的方法来处理图像。该 处理过程对图像的边缘信息和非边缘信息都有较好的处理。其优点表现在： ( 1 ) 能够在连续域中分析图像，从而简化问题。 ( 2 ) 可以直接处理图像中视觉上的几何特征，如梯度、切线、曲率和水平 集。 ( 3 ) 可以有效的模拟具有视觉意义的动态过程，如各向同性扩散，各向异 性扩散以及信息的传输机制。 ( 4 ) 以采取成熟的数值计算方法，也可以采取智能优化算法，如模拟退火、 遗传算法等。 基于偏微分方程的修复模型一般可以分为两类，一类是依赖图像微观修复 9 成都理工大学硕士学位论文 机制的微观仿真系统( 扩散过程) ，如b s c b 模型和曲率驱动扩散( c d d ) 模 型等。这是一类模仿专业修复人员手工修复破损图像的模型，主要是利用图像 微观部分的几何信息，比如曲率、梯度等，并使用一些规则来控制图像的等照 度线的扩散方向，使它们按照一定的要求扩散入破损区域，从而完成修复。该 扩散过程可以利用扩散方程来描述。扩散方程作用于图像时具有一定的物理意 义，我们可以将图像看作是特殊小球的密度函数，扩散方程作用于图像时会产 生一个流场( n u x6 e l d ) ，修复区域外的图像可以看作是一个小球的固定源泉。 偏微分方程修复图像的物理过程可以解释为：在流场作用下的小球通过边缘切 线流到区域里面，最终达到平衡。因此，可以使用许多偏微分方程修复图像， 其形式可以表达为： f _ 处理图像的偏微分方程( 工，y ) q _ 一一 i 去噪方程 ( 工，y ) q 其中，q 为待修复区域，q 为完好的区域。 另一类是变分模型，如整体变分( t v ) 模型，弹性( e l a s t i c ) 修复模型等。 这类修复模型主要把修复问题归纳成一个求解能量泛函最小值的问题，一般公 式为： a 玛砌仁l g ，y 姆 ( 2 4 ) 其中，甜g ，j ，) 表示一个图像函数，e l 】定义了一幅图像的能量。 令，0 ) 代表e l 】的e 1 l l e r 微分，使式( 2 4 ) 能够得到极小值的必要条件 是： ，0 ) = o 一般可以用如下的梯度下降方法来求解： 罢= 一f l g ，y ，f ) 】 a 。、“” ( 2 5 ) ( 2 6 ) 其中，f 是人为引入的一个时间纬度，表示了图像的演化过程。用这种方法获 得偏微分方程在计算机视觉和图像处理中已经使用了很久。 但是求解类似于式( 2 6 ) 的方程是一个相当复杂的过程。对于离散化的 图像，先要把微分方程离散化，在进行数值求解时，还要考虑算法的收敛性， 复杂度等。例如式( 2 5 ) 是个非线性的方程，很难直接求解，一般可以用 梯度下降法或共轭梯度法，变成式( 2 6 ) 的形式，然后进行迭代求解。用数 1 0 第2 章基于偏微分方程的图像修复技术 值方法求解偏微分方程的许多问题现在仍然很不完善，一些解法的收敛性仍然 还没有得到证明，只能在实践中来检验其正确性。 2 3 基于偏微分方程的图像修复模型 图像修复技术始于艺复兴时期对中世纪艺术作品的修复，一直以来这个工 作都是由艺术家们手工完成的，也正因为如此，图像的修复成为了一个很主观 的过程，这同其他的艺术工作和职业都不相同。由于图像修复的这个特性，使 得根本没有一个确定的方法来解决这个问题，但是潜在着下面的方法论： ( 1 ) 图像的整体决定了如何填充图像中的缝隙，修复的目的就是恢复图像 的完整性。 ( 2 ) 修复区域周围完好区域的结构必须延伸到修复区域中，以实现修复区 域与完好区域边缘处的连续。 ( 3 ) 修复区域内不同的区域是通过边界线来划分的，各个修复区域的颜色 是根据相对应修复区域边界的颜色来填充的。 ( 4 ) 细节部分也就是纹理，必须添加。 因此在建模的过程中，期望能够模仿手工修复的机制建立更加可靠的修复 模型。 2 3 1 b s c b 模型 b s c b 模型是由b e n a l m i o ，s a p i m ，c a s e l l e s 和b a l l e s t d 4 l 4 起于2 0 01 年提 出的基于偏微分方程的图像修复模型。该模型就是模拟手工修复的步骤，同时 反复的进行上述的第( 2 ) 步和第( 3 ) 步。以一种平滑的方式，通过延伸边界 区域的等照度线进入修复区域内，从而完成破损图像的修复。 算法的具体描述如下。 如图1 2 所示，q 表示需要被修复的区域，孢表示修复区域的边界。直观 的，b s c b 模型将按照等照度线的方向延长到达修复区域边界硷的等照度线， 同时保持其与边界的交角，并继续以这种方式逐渐从边界讹向待修复区域q 的内部延伸，如图2 1 所示。所谓等照度线就是灰度值在同一等级上的一系列 点所组成的线，在同一等照度线上所有的点均满足“( f ，) = c ，c 为一个常量， 即某一确定的狄度值。如果v “( f ，) 表示图像的离散梯度，即图像灰度变化最大 的方向，也就是等照度线的法线方向，那么垂直于该梯度方向的方向v “上( f ，) 就 可以表示为等照度线的方向”g ，) ，即”o ，歹) = v “上o ，) 。同时，由于v “上o ，_ ，) 成都理工大学硕士学位论文 的模和v ( f ，) 一样，因此将等照度线的方向归一化为矛o ) l 矛( f ) l 以及模 i v “o ，) l 。 图2 1 沿修复区域边界有向曲线的切线方向 现设待修复图像为“。o ，) ，它满足以下条件： ”。o ，) ：【o ，m 】【0 ，m 卜争r r ，且【o ，m 】 0 ，m 】c 是一个离散的二 维灰度图像。 根据手工修复技术的描述，选择迭代算法，数字图像修复过程就是建立一 个图像函数甜( f ，z ) ，该函数的描述如下： ”o ，z ) ：【o ，m 】f o ，m 】专r 使“g ，歹，o ) = “。o ，歹) ， 并且l i m 。寸。“o ，甩) = ”月g ，) “。o ，) 是指算法的输出结果，也就是被修复后的图像。则这种形式的任何 通用算法都可以写成如下的形式： “”卅( f ，) = “”o ，_ ，) + f “? g ，歹) ，v ( f ，) q ( 2 7 ) 指数刀表示修复的次数，g ，) 是像素坐标，垃表示迭代的步长，掰，( f ，) 表 示图像“”g ，) 的修正，方程只作用于修复区域q 内。随着，z 的增大，可以获得 效果更好的图像，当然也增加了算法的时间。当，l 增大到一定程度，随着以的 增大，”( f ，) 不再有明显的变化，即“1 0 ，歹) 甜“g ，) ，此时算法停止。一般 可以设定一个门限g ，当迭代后的“肘1 ( f ，歹) 与“”( f ，歹) 的差值小于这个门限的时 候，迭代停止。 根据手工修复技术，延续到达修复区域q 边界触的等照度线( 也就是修 1 2 第2 章基于偏微分方程的图像修复技术 复方法论的第二点) ，就是需要平滑的将区域q 外的信息延伸到q 内( 对应修 复方法论的第二点和第三点) 。因此设f o ，) 表示延伸的信息，已知”o ，) 为 延伸的方向，则有： “j ：i ( f ，_ ，) = 卤r o ，) ”g ，歹) ( 2 8 ) 其中影( f ，j f ) 是r o ，j ) 变化的度量。这一方程表示图像信息口g ，) 沿着 ”o ，) 方向的变化。当迭代稳定时，由“蒯g ，歹) “4 ( f ，j ) 以及式( 2 7 ) 和式 ( 2 8 ) 可以得到： 础( f ，) ”o ，) = o ( 2 9 ) 这就是说信息三已经沿着方向”( f ，) 延伸。 为了能使图像的有效信息平滑的延伸，b s c b 模型将r o ，) 作为图像的平 滑算子，一般将其取为拉普拉斯算子，即： r ( f ，_ ，) = “三( f ，歹) + “刍( f ，) ( 2 1 0 ) 虽然也可以使用其它的平滑评估因子，但是试验证明这一简单的选择已经可以 获得令人满意的效果。 根据以上的详细描述，可以得到具体的b