（信号与信息处理专业论文）数字图像修复技术研究.pdf

摘要 图像修复是图像处理领域中的一个重要分支，它涉及到模式识别、数理统计 学、信息论、计算机图形学以及机器视觉等多个学科，能够广泛应用于军事、医 学、工业、摄影、考古、游戏和电影特效制作等领域，已经逐渐成为人们关注的 焦点。图像修复就是根据破损区域周围的像素信息以及图像的整体特征，按照一 定的原理、算法对未知区域进行修补，恢复图像中丢失的信息，使图像更加清晰 与自然，从而保持图像的整体视觉效果。 本文首先介绍了图像修复技术的研究背景以及研究意义，给出了图像修复的 数学描述，并分阶段总结了图像修复技术的国内外研究现状；然后研究了基于 p d e 的图像修复技术，详细讨论了几种经典模型，包括b s c b 模型、t v 模型和 c d d 模型，并提出了一种基于t v 模型的改进算法，算法给出了两个阈值参数， 同时修正了迭代公式中的权值系数。仿真实验表明，本文算法在一定程度上提高 了图像的修复质量，而且有效地减少了不必要的重复迭代运算，进一步提高算法 的修复效率。 本文探讨了基于纹理合成的图像修复技术，并针对基于样本块的纹理合成算 法的缺点，提出了一种渐变式纹理合成算法，算法在分析图像结构信息和纹理特 征的基础上，利用置信度函数和结构性函数设定修复的优先权函数，然后计算破 损区边缘上每一点的优先权系数，通过比较优先权系数的大小确定修复的先后顺 序，优先权越高的块越先修复，最后在已知区域内按照一定的准则和算法选取最 佳匹配块，并且将该最佳匹配块的信息直接填充到待匹配块中，直至完成整幅图 像的修复。 本文最后将图像分割理论应用于图像修复领域中，提出了一种基于分区的图 像修复算法。按照图像分割、边缘检测、结构重建以及纹理合成的步骤详细阐述 了算法的原理，并给出了算法的实验流程：最后通过实验仿真总结了该算法的优 缺点。 关键词：图像修复；p d e 模型； 纹理方向性；纹理合成；图像分区 a bs t r a c t a sa l li m p o r t a n tb r a n c hi nt h ef i e l do fi m a g ep r o c e s s i n g ，i m a g er e s t o r a t i o n i n v o l v e sp a t t e r nr e c o g n i t i o n , m a t h e m a t i c a ls t a t i s t i c s ，i n f o r m a t i o nt h e o r y , c o m p u t e r g r a p h i c s ，m a c h i n ev i s i o na n dm a n yo t h e rf i e l d s a st h ef o c u st o p i c ，i th a sb e e nw i d e l y u s e di nm i l i t a r y , m e d i c i n e ，i n d u s t r y , p h o t o g r a p h y , a r c h e o l o g y , g a m e s ，a n ds p e c i a l e f f e c t sp r o d u c t i o ni nf i l m sa n do t h e rf i e l d s t h ep u r p o s eo fi m a g ei n p a i n t i n gi st o r e p a i ra n dr e s t o r et h em i s s i n gi n f o r m a t i o ni n t h ei m a g ea c c o r d i n gt ot h ei m a g e c h a r a c t e r i s t i c sa n dt h ei n f o r m a t i o na r o u n dt h ed a m a g e da r e a ，r e c o v e rt h el o s t i n f o r m a t i o n , 叫( et h ei m a g em o r ec l e a ra n dn a t u r a l ，a n dm a i n t a i nt h eo v e r a l lv i s u a l e f f e c to fi m a g e i nt h i sp a p e r , w ei n t r o d u c e dt h er e s e a r c hb a c k g r o u n da n dv a l u eo fi m a g e i n p a i n t i n gt e c h n o l o g y , g a v et h em a t h e m a t i c a ld e s c r i p t i o na n ds u m m a r i z e dt h e r e s e a r c hs t a t u si nd i f f e r e n ts t a g e s t h e nw es t u d i e dt h ep d e - b a s e di m a g ei n p a i n t i n g t e c h n i q u e s , d i s c u s s e ds e v e r n lc l a s s i cm o d e l si nd e t a i l ，s u c ha sbs c bm o d e l ，t v m o d e la n dc d dm o d e l b e s i d e st h a t , b yg i v i n gt w ot h r e s h o l dp a r a m e t e r st oj u d g m e n t t h ew e i g h t e dv a l u ei nt h ei t e r a t i v ef o r m u l a ，w ep r e s e n t e da ni m p r o v e da l g o r i t h m b a s e do nt h et vm o d e l s i m u l a t i o nr e s u l t ss h o w nt h a tt h i sa l g o r i t h mc a nn o to n l y i m p r o v et h eq u a l i t yo fi m a g er e s t o r a t i o n ，b u ta l s oe f f e c t i v e l yr e d u c et h eu n n e c e s s a r y d u p l i c a t i o no fi t e r a t i o n ，a n dc o n s e q u e n t l yi m p r o v e dt h ee f f i c i e n c yo ft h er e p a i r i n g a l g o r i t h m i nt h i sp a p e r , w ed i s c u s s e di m a g er e s t o r a t i o nb a s e do nt e x t u r es y n t h e s i s t e c h n i q u e s , a n dp r o p o s e dag r a d u a lt e x t u r es y n t h e s i sa l g o r i t h mb a s e do nt h e t r a d i t i o n a le x e m p l a r - b a s e dm e t h o d b ya n a l y z i n gt h ei m a g e ss t r u c t u r ea n dt e x t u r e c h a r a c t e r i s t i c s ，w ef i r s t l y s e tt h ep r i o r i t yf o rr e p a i r i n gb a s e do nt h ec o n f i d e n c e f u n c t i o na n dt h es u u c t u r a lf u n c t i o n s e c o n d l y , w ec a l c u l a t et h ep r i o r i t yo f e a c hp o i n t s o nt h ee d g e ，t h i r d l yd e t e r m i n et h er e p a i r i n gp r i o r i t yo r d e ra c c o r d i n gt ot h ep r i o r i t y n u m b e ro fe a c hp o i n t s ，t h ep o i n tw i mh i g hp r i o r i t yn e e dt or e p a i r e di na d v a n c e f i n a l l ys e l e c tt h eb e s tm a t c ha c c o r d i n gt ot h ec e r t a i nr u l e so ra l g o r i t h m ，a n da d dt h e i n f o r m a t i o ni nb e s tm a t c h i n gb l o c kt ot h em a t c h e db l o c kd i r e c t l y , u n t i lc o m p l e t et h e r e s t o r a t i o no fe n t i r ei m a g e b ya p p l y i n gt h ei m a g es e g m e n t a t i o nt h e o r yi nt h ei m a g er e s t o r a t i o nf i e l d , w e 即p o s e dap a r t i t i o n - b a s e d i m a g er e s t o r a t i o na l g o r i t h m a c c o r d i n gt o i m a g e s e g m e n t a t i o n , e d g ed e t e c t i o n , s t r u c t u r a lr e c o n s t r u c t i o na n dt e x t u r e s y n t h e s i s a l g o r i t h ms t e p s ，w ed e s c r i b e da l g o r i t h m sp r i n c i p l e si nd e t a i l ，a n dg a v et h es i m u l a t i o n e x p e r i m e n t f i n a l l y , a c c o r d i n gt ot h es i m u l a t i o ne x p e r i m e n tr e s u l t s , w es u m 加且r i z e d t h et a l e n ta n ds h o r t c o m i n go ft h ea l g o r i t h m k e y w o r d s ：i m a g ei n p a i n t i n g ；p d em o d e l ；t e x t u r ed i r e c t i o n ；t e x t u r cs y n t h e s i s ； i m a g ep a r t i t i o n 第一章绪论 1 1 研究背景及意义 第一章绪论 图像修复是图像处理领域中的一个重要分支，它涉及到模式识别、数理统计 学、信息论、计算机图形学以及机器视觉等多个学科，广泛应用于军事、医学、 工业、摄影、考古、游戏和电影特效制作等领域，已经逐渐成为人们关注的焦点。 “图像修复”( i m a g ei n p a i n t i n g ) 的概念最早由m b e r t a l m i o 等人【i 】提出。从 数学角度而言，图像修复就是根据破损区域周围的像素信息以及图像的整体特 征，按照一定的原理、算法对未知区域进行修补，恢复图像中丢失的信息，使图 像更加清晰与自然，从而保持图像的整体视觉效果。但是，图像修复技术存在一 个较大的缺点，即修复后的图像并不完全等同于真实的图像，而仅仅是根据原图 像的颜色信息及结构特征做出的一个假设，该假设可以最大程度地接近真实图 像，这为图像修复技术的研究增加了一定的难度。 图像修复技术的发展可以追溯到欧洲文艺复兴时期，当时的美术作品大多由 于年代久远和存放不善而导致模糊和破损，人们通过填充裂缝、划痕来近似地恢 复图像的原样，这些原始的修补工作为图像修复技术的发展奠定了基础。近代以 来，随着科学技术的进步以及计算机的问世，数码相机等数字传输设备已经得到 了广泛应用，图像处理领域快速发展，数字图像修复技术应运而生。 卫星在拍摄遥感图像时常常会受到拍摄时间、天气、温度、环境等诸多因素 的影响，造成图像不同程度的损坏，为进一步地科学研究带来不便。由于摄像技 术地不断提高，医学摄影的应用也越来越普遍，但是拍摄的医疗图像常常存在质 量问题，同时丢失了很多有用信息，为医疗诊断工作造成了较大的麻烦。在影视 制作过程中，很多情况下需要对胶片进行处理，比如一些文字的去除、遮挡物的 去除、背景的还原，以及制作某些特定的动作特技等等。在日常生活中，许多老 旧照片由于各种原因而损坏，而简单的修补技术已经不能满足人们的实际需求。 数字图像修复技术可以直接应用于这些领域，而且具有较大的发展空间，因此吸 引了国内外众多专家学者对其进行广泛而深入的研究。 第一章绪论 1 2 图像修复的描述 图像修复技术是一个病态问题，它仅仅是根据数学原理作出的合理假设，并 从计算机视觉和信息论的角度进行分析，通过对比各种假设的合理性最终解决图 像的修复问题。 数字图像修复技术的原理如图1 1 所示，其数学描述为：假设d 表示图像， 中的破损区域，i d 表示图像i 中的已知区域，图像修复技术即利用，d 中的 有效信息来修复区域d ，从而使得图像更加自然、清晰。 图1 1 图像修复原理示意图 通常情况下，数字图像修复技术主要包括以下三个基本步骤： 1 ) 确定破损区，即根据图像中的颜色信息和结构特征人为地确定破损区域， 并标定不同的颜色，以区别已知区域和待修复区域： 2 ) 寻找最优块( 计算最优点) ，即按照一定的数学原理分析图像特征，然后 选取合适的算法从已知区域中寻找待修复区域的最优匹配块( 计算最优像素值) ： 3 ) 填充破损区，即将最优匹配块中的信息完全复制到待匹配块中( 将计算 得到的像素值赋值给待修复像素点) 。 1 3 国内外研究现状 2 0 0 0 年，b e r t a l m i o ，s a p i r o ， c a s e l l e s 和b a l l e s t e r 共同提出了著名的b s c b 模型1 1 ，该模型主要基于高阶偏微分方程( p d e ) 。其基本思想是，首先利用破损 区域的边缘信息确定图像的扩散信息及扩散方向，然后通过迭代公式将图像的边 缘信息沿等照度线向待修复区域内部扩散。该算法不需要预先估计未知区域的像 素值，同时可以保持较好的扩散方向，在一定程度上取得了不错的实际效果，但 是它也存在算法实现复杂以及执行速度慢等缺点。在此基础上，c h a n 等人于2 0 0 2 2 第一章绪论 年提出了整体变分( t v ，t o t a lv a r i a t i o n ) 数学模型【2 】和曲率驱动扩散( c d d ， c u r v a m r e - d d v o nd i f f u s i o n ) 模型【3 1 。整体变分模型是在欧拉拉格朗日 ( e u l e r - l a g r a n g e ) 方程的约束条件下，通过最小化能量泛函完成破损区的修复工 作。算法的优点是可以在去除图像噪声的同时锐化图像边缘，保留边缘信息，目 前被广泛应用于小目标图像的修复。曲率驱动扩散模型则考虑了图像的几何信息 ( 曲率) ，进一步改善了修复效果。随后，邵肖伟等人【4 】提出了一种基于t v 模型 的自适应图像修复方法，算法分析了t v 模型的基本原理，并提出了一种自适应 的参数取值方法，同时优化了迭代过程，在一定程度上提高了原有算法的修复效 率。o l i v c i r a 和b o w e n 等人【5 】将高斯卷积核应用于数字图像修复技术，取得了较 好的修复效果。b a l l e s t e r 6 】提出了基于图像灰度和梯度方向插值的修复算法，该 算法可以同时修复图像中的拓扑结构和纹理信息。2 0 0 3 年，等人【7 】提出了一 种具有鲁棒性的修复算法。算法分两步实现图像的修复过程，第一步是依据纹理 信息进行图像分割，第二步是利用n 维张量表决修复破损区域。随后，周廷方 等人【8 】提出了一种基于径向基函数( r b f , r a d i a lb a s i sf u n t i o n ) 的图像修复技术， 算法可以由用户交互地指定待修复区域，然后通过选取合适的径向基函数重构区 域，从而将二维图像的修复问题转化为三维散乱点的重建问题。2 0 0 5 年，s h i h 和c h a n g 9 】提出了数字图像的多层修复原理，算法将图像划分为若干层，每一层 单独修复，并利用层融合机制找到层间的最佳修复关系。实验结果表明，算法在 获得较大的p s n r 值的同时，也赢得了较高的用户满意度。随后，x u e 等人i j 提出一种新的迭代正则化算法。算法将模糊像素和噪声图像分为两个类型的区 域：平坦区域和边缘区域( 边缘及其邻域的噪声部分) ，并采用非局部的自适应 正则化函数取代全局正则化参数和局部正则化运算符。该算法在修复过程中能够 较好地保持边缘信息，取得了不错的效果。由于现有的数字图像修复技术不足以 解决色调量化的修复问题，2 0 0 6 年，f u n g 和c h a n 1 l 】提出了基于凸集投影的图像 恢复算法。该算法利用有效的调色板和半色调处理机制获得先验信息，然后根据 这些信息完成图像的修复过程。实验结果表明算法可以显著地提高图像的修复质 量。2 0 0 9 年，c h a n 等人对经典全变分模型进行了改进，提出了一种快速优化转 移的图像小波域修复原理( f o t a ，f a s to p t i m i z a t i o n t r a n s f e r a l g o r i t h m ) 1 2 ，算法通过 增加辅助变量将单变量函数变为双变量函数，实验数据表明，该方法在一定程度 上提高了原t v 模型的修复效率。 对于修复带有划痕、裂缝以及文字等小区域的破损图像，上述的修复算法通 常能够取得较好的处理结果，但在修复大区域的纹理图像时则会常常不能够取得 令人满意的效果。这是因为上述算法仅仅利用了待修复像素与其周围像素之间的 关系，并没有考虑图像整体的结构特征及纹理信息，所以算法并不适合于纹理图 第一章绪论 像的修复。目前，小区域图像修复技术的研究已经比较成熟，近年来已鲜有文献 出现，图像修复的研究热点和难点开始主要集中在大区域的纹理合成和图像补全 算法，这也代表了数字图像修复技术未来的发展方向。 由于基于纹理合成的图像修复技术能够从全局角度分析图像的修复问题，对 于大区域图像的修复可能会获得较为理想的处理效果，因此为各国学者所广泛采 用和探讨。1 9 9 9 年，e f o r s 和l e u n g 1 3 】首次提出了基于像素的纹理合成算法，该 算法从马尔可夫( m a r k o v ) 随机场的性质出发，将纹理的局部性和稳定性两种特性 结合起来，在一定程度上提高了结构性纹理图像的合成效果。在此基础上，w 硕 和l e v o y 1 4 】对算法进行了改进，算法将邻域最优匹配点的像素值直接赋值于待合 成像素点，取得了不错的实验效果。随后，z e l i n k a 等人【l5 】又提出了基于跳转映 射d u m pm a p ) 的实时纹理合成算法，从而提高了逐像素合成算法的实时性。基于 像素点的纹理合成算法虽然可以改善图像的修复质量，但算法仍然存在匹配速度 较慢、纹理传播有误差等缺点。针对这些问题，x u 等人【m 】提出了基于像素块的 c h a o sm o s a i c 纹理合成算法。实验结果表明，该算法虽然具有较高的修复速度， 但其修复质量却不是十分理想。为了提高纹理合成的效果，e 舶s 等人【o 刀于2 0 0 1 年提出了基于纹理块的图像拼合技术( i m a g e q u i l t i n g ) ，算法选取和待修复样本块 同样大小的纹理块，并利用纹理块之间的相似度寻找最优匹配块，然后利用动态 规划法按照一定的顺序合成图像，仿真实验取得了较好的合成效果。在此基础上， l i a n g 等人【l8 】又提出了类似的算法，其不同之处在于算法利用羽化融合( f e a t h e r b l e n d i n g ) 的方法来减少纹理块之间重叠区域的裂痕，即去除所谓的块效应，如此 反复直至完成整幅图像的合成。2 0 0 3 年，c f i m i m s i 和t o y a m a 等人f i9 】提出了一种 新的基于样本块的纹理合成算法，算法在分析图像结构信息和纹理特征的基础 上，利用置信度函数和结构性函数设定修复的优先权函数，然后通过比较破损区 边缘上各点的优先权系数的大小确定纹理块的修复顺序，最后在已知区域内按照 一定的准则和算法选取最佳匹配块填充破损区域，直至完成整幅图像的修复。算 法保证了结构信息的正确传播和纹理方向的正确扩散，取得了不错的合成效果， 成为当前纹理合成的经典算法。同年，l e v i n 等人【2 0 】将统计学原理引入到数字图 像修复技术中，算法首先根据图像的特征建立基于局部特征直方图的指数族分 布，然后利用多层置信传播的方法进行最优化计算，寻找最合适的像素填充破损 区，算法的优点在于充分考虑了图像的整体特征。随后，n e a l e n 等人 2 h 提出了 一种混合纹理的合成算法，算法综合了基于像素点和基于纹理块两种方法的优 点，从而取得了较为理想的实际效果。l i u 等人【2 2 】又于2 0 0 4 年提出了非规则纹 理合成技术，算法分析了光照、角度、颜色等多个因素的影响，仿真实验合成效 果能够反应出图像的局部纹理特征。同年。t a n g 等人【2 3 将纹理合成技术应用于 4 第一章绪论 去除数码照片的特定目标中，在实际生活中具有很强的应用性。随后，王树根等 人【2 4 】提出了基于纹理匹配的影像缺损信息填充方法。2 0 0 7 年，f e n g 等人【2 5 】在探 讨医学图像修复问题的基础上提出了一种新的算法，该算法建立了一种新型的非 参数m u m f o r d s h a h 医疗图像修复模型，并通过规定边缘形成的连接限制提高了 修复算法的鲁棒性和有效性，然后采用自适应迭代算法求解修复模型，最后通过 计算模型的能量梯度实现了最小化，医学图像的仿真实验结果证明了该算法的有 效性。随后，x u e 等人【2 6 】改进了基于样本的纹理合成算法，提出了基于颜色比梯 度的修复原理。该算法改进了最优纹理块的匹配准则，提高了图像的整体修复质 量。基于样本的纹理合成算法可以取得不错的修复效果，但是算法需要反复计算 匹配优先权，从而降低了算法的合成效率。2 0 0 8 年，k u o 等人【2 7 】对基于样本的 图像合成算法进行了研究，针对算法中存在的运算量大等问题提出了一种基于梯 度分析的自适应修复算法。实验结果表明，该算法一方面可以避免图像的模糊化 效应，另一方面可以保证结构的正确传播，具有较高的修复效率。同年，w o n g 和o r c h a r d 2 8 】将非局部均值的概念引入到图像修复技术中，和传统算法相比，该 算法利用多样本的非局部图像信息修复破损区域，并通过设置权重系数来确定每 个样本所占目标像素的权重，在一定程度上改善了图像的修复质量。此外，该算 法也可以融合到现有的基于样本的纹理合成技术中，从而使图像具有更好的视觉 效果。2 0 0 9 年，l i u 等人【2 9 】将数字图像修复技术应用到文物保护中，取得了不错 的实际应用效果。算法采用局部搜索法加快了基于样本的修复过程，完成了图像 修复质量和修复效率之间的平衡。在不影响修复质量的前提下，大大提高了算法 的修复效率。 上述算法使得图像大区域的纹理合成变为可能，对于单一的纹理图像或者具 有简单结构信息的图像通常能够获得较为理想的修复效果，但是当结构信息比较 复杂时，利用纹理合成的方法经常会产生结构断裂、纹理信息不连贯等现象，严 重地影响图像的整体视觉效果。同时，对于多纹理信息的混合图像合成，这些算 法普遍存在误匹配等缺点。 为了克服纹理合成方法的局限性，近年来国内外涌现出了一批结构传播和纹 理合成相结合的算法，这类算法的共同特点是首先修复图像的结构信息，然后利 用结构信息来指导纹理的填充过程。2 0 0 5 年，s u n 等人【3 0 l 在s i g g r a p h 上提出 了一种基于结构传播的图像修复算法，算法采用结构优化和一致性约束实现结构 信息的传播，可以较好地解决部分结构图像的修复问题。随后，y c d i d i a 等人【3 i 】 利用动态规划( d ed y n a m i cp r o g r a m m i n g ) 和置信传播法( b 只b e l i e f p r o p a g a t i o n ) 修 复图像中的结构信息。a n d r e i 等人【3 2 】提出了基于边缘的图像修复算法，在二维 空间对各种复杂的结构信息进行了分析和总结，并且利用最小代价法来实现多边 5 第一章绪论 缘的匹配和自动连接。2 0 0 7 年，s h e n 和l i 【3 3 】共同提出了一种联合修复方法，算 法基于边缘的区域分割理论，可以在完成结构信息的同时引导纹理信息的合成， 一方面避免了数字图像修复中边缘的模糊化效应，另一方面提高了纹理部分的合 成速度，实验结果表明了算法的有效性。同年，k o m o d a k i s 等人【3 4 】将结构传播、 纹理合成和小目标修复看作一个整体，利用马尔可夫( m a r k o v ) 随机场定义相关的 能量函数，同时实现了上述几个问题的合理解决。2 0 0 8 年，h a o 等人【3 5 】提出了 一种新的图像修复算法，该算法基于结构特征和纹理信息的匹配原理，通过结构 特征传播和纹理信息扩散两个过程修复图像，保持了破损区域边缘等照度线的连 续性，从而使得修复后的图像更加自然、清晰、连贯。算法的优点在于利用实现 形态腐蚀的区域填充破损区，相比传统的纹理合成算法具有更高的修复效率。在 s h e n 和l i 提出的图像修复算法的基础上，2 0 0 8 年8 月w a n g 等人【3 6 】又提出了一 种新的算法，可以同时兼顾图像的结构信息和纹理信息。算法首先利用p c n n 分割图像，并按照纹理特征和边缘信息将图像分为若干个相对独立的子区域，然 后重建图像的边缘信息，最后利用纹理合成的方法寻找最优匹配块，填充破损区 域。该算法可以较好地恢复图像的边缘信息，同时大大缩短了修复时间，取得了 不错的实际效果。由于实际采集的遥感图像常常会出现条纹噪声和随机坏点，不 利于后期的进一步研究。武汉大学的s h e n 和z h a n g 针对这个问题，于2 0 0 9 年提 出了一种基于最大后验概率( m a p , m a ) 【i m u map o g e d o d ) 的图像修复原理唧。该 算法的主要优点是可以根据修复过程的先验知识限制修复范围，从而在一定程度 上提高了修复效率。 随着修复技术地进一步发展，视频序列的修复问题逐渐成为研究的重点。与 图像修复相比，视频修复不仅需要强大的跟踪算法，而且需要考虑视频帧之间的 时间连续性，另外还要考虑视频的缩放、旋转、倾斜和畸变等问题，这为研究增 加了很大的难度。 2 0 0 7 年，w e x l e r 等人【3 8 】提出了一种基于局部结构的缺损图像修复模型。算 法给出了一个带有明确目标函数的全局优化任务，同时选择合适的算法优化该任 务，并依据参考范例约束缺损值形成一致的结构。w e x l e r 对复杂动态场景视频序 列中的大时空“漏洞”进行了实验仿真，实验结果表明算法可以同时保持动态行 为和静态场景的一致性，取得了较为逼真的视觉效果。2 0 0 8 年，k a m d 等人【3 9 】 提出一种新的视频序列修复算法，该算法通过结合卡曼滤波器和背景差将运动物 体从背景中提取出来，然后利用基于样本的纹理合成方法修复图像，在部分实时 采集的视频序列的目标去除和背景复原中可以取得较好的效果。随后，s h i h 等人 【加】于2 0 0 9 年扩展了基于样本的图像修复原理。算法改进了块匹配法则并应用到 视频修复技术中，对于不同的动态区域寻找相应的待匹配块，从而大大减少了视 6 第一章绪论 频中的黑影，此外该算法还具有另外一个优点，即可以解决许多不同类型的视频 修复问题。 1 4 论文内容及框架 本文各章节内容安排如下： 第一章为绪论部分，首先介绍了图像修复技术的研究背景以及研究意义，给 出了图像修复的数学描述，然后分阶段总结了图像修复技术的国内外研究现状， 最后阐明了本文的研究内容及框架。 第二章介绍了基于p d e 的图像修复技术，首先详细讨论了几种经典模型， 包括b s c b 模型、t v 模型和c d d 模型，然后在分析t v 模型及其自适应算法的 基础上提出了一种t v 改进算法，最后对t v 模型算法、自适应算法以及本文算 法进行了实验仿真，并通过分析实验结果总结三种算法的优缺点。 第三章主要探讨了基于纹理合成的图像修复技术，分析了c r i m i n i s i 等人提 出的基于样本块的纹理合成算法，在此基础上提出了一种渐变式纹理合成算法， 并通过实验仿真对比两种算法的优缺点。 第四章将图像分割理论应用于图像修复领域中，提出了一种基于分区的图像 修复算法。按照图像分割、边缘检测、结构重建以及纹理合成的步骤详细阐述了 算法的原理，并给出了算法的实验流程。最后进行了实验仿真，并总结了该算法 的特点。 第五章为总结与展望部分，概括论文的主要工作，指出目前存在的问题和缺 点，并对图像修复技术未来的发展进行展望。 7 第二章基于p d e 的罔像修复技术 第二章基于p d e 的图像修复技术 2 1 几种经典模型 日常生活中的图像常常呈现出不同的特征，这使得图像修复技术必须要充分 考虑图像的像素信息、结构信息以及纹理的传播方向等要素。如果利用数学方程 来描述图像修复的算法，那么方程的函数值取决于多个变量的值，于是2 0 0 0 年 偏微分方程( p d e ，p a r t i a ld i f f e r e n t i a le q u a t i o n ) 被b m a l m i o 等人【l 】引入到图像修复 领域中。 所谓偏微分方程，是指在一个微分方程中出现了多元函数的偏导数。该方程 是一个多元函数，并且具有对某一个或者某几个变量的偏导数。基于p d e 的图 像修复算法即利用偏微分方程对输入图像进行建模，然后通过求解方程得到所需 的像素值，从而完成图像的修复过程。偏微分方程的引入使得图像修复技术和数 学理论紧密结合，对图像修复的发展起到了很大的作用。 目前，对于小范围破损图像的修复多采用基于高阶偏微分方程的修复算法。 其主要思想可以概括为，首先利用破损区周围的像素信息确定图像的扩散方向和 扩散信息，然后将图像信息从破损区的边界各向异性地向区域内部扩散。算法的 优点是不需要预先估计未知区域的像素值，而且可以同时修复包含多个不同结构 和背景的区域。 基于p d e 的图像修复技术的发展已经比较成熟，其中比较著名的几个修复 模型包括b s c b 模型、t v 模型和c d d 模型等。另外还有e l a s t i c a 模型、 m u m f o r d s h a h 模型和m u m f o r d s h a h e u l e r 模型等等，它们均是在t v 模型基础 上衍生出的改进模型，由于充分考虑了图像的几何结构信息，能够在修复破损区 的同时去除图像噪声，因此可以取得较为理想的修复效果，但是这些模型同时还 存在运算量过大的缺点。 下面介绍几种经典的基于p d e 的修复模型： 2 1 1b s c b 模型 b s c b 模型由b e r t a l m i o 等人提出，它基于高阶偏微分方程，通过迭代法将 图像的边界信息沿等照度线向待修复区域内部扩散，取得了不错的修复效果。算 法能够保持较好的扩散方向，但是也存在实现复杂及执行速度慢等缺点。 8 第二章基于p d e 的图像修复技术 b s c b 模型包括迭代过程和扩散过程，它们是相辅相成的两个过程。其中迭 代过程保证了图像信息的连续性和准确性，而扩散过程则确保了信息传播方向的 正确性以及图像边界信息的清晰性。 其基本原理描述如下： 在二维的灰度图像，中，假设待修复图像的初始值为厶( i ，_ ，) ，且满足条件 【o ，m x 0 ，】- - + r 和【o ，m 】【o ，n 】cn x n ，( f ，刀) 为修复过程的中间值，且 满足：【0 彤】【0 n x o ) 一 ，i r ( i ，j ) 为图像修复的最终值，则有 i ( i ，o ) ( f ，) 并且熙砸，刀) = 厶( f ，_ ，) 。 首先确定其数学模型的迭代方程为： ，舯1 ( f ，) = ，“( f ，歹) + 卅( f ，) ，v ( i ，j ) en ( 2 - 1 ) 其中， ( ，) 表示像素点的坐标，刀表示迭代次数，表示迭代步长，r ( f ，) 表 示每次修复对图像，”( f ，_ ，) 的修正，q 表示图像中的破损区域。由式( 2 1 ) 可知， 当门趋向于无穷大时，图像i “( i ，j ) 逐渐趋于稳定，即i 舯1 ( i ，力与，”( f ，) 无限接 近。可以预先设定一个门限值g ，当，肘1 ( f ，j ) 满足条件l ，斛1 ( f ，j ) - i “( f ，) l 占时， 算法停止迭代，此时得到的，胂1 ( f ，_ ，) 即为图像修复的最终值。 为了使边界信息能够沿着等照度线向待修复区域内部扩散，必须要综合考虑 图像的扩散信息和扩散方向。其扩散方向示意图如图2 1 所示，其中q 表示待修 复区域，施表示区域q 的边界，表示图像中的已知区域，霄表示边界硷的 等照度线方向。 图2 - 1b s c b 模型扩散方向示意图 假设r ( f ，) 表示扩散信息，n ”( f ，) 表示扩散方向，则有 9 第二章基于p d e 的图像修复技术 f ( f ，) = 万f ( f ，_ ，) ”( i , j ) ( 2 - 2 ) 其中万r ( f ，) 表示f ( f ，j f ) 变化的量度，可由以下公式计算： 万( f ，) = ( f ( f + 1 ，) 一v ( i 一1 ，歹) ，v ( i ，+ 1 ) 一v ( i ，一1 ) ) ( 2 - 3 ) 由于图像的信息扩散过程要求平滑且连续，因此r ( f ，歹) 一般用拉普拉斯 ( l a p l a c i a n ) 算子实现，即： f ( f ，) = 咒( f ，_ ，) + 易( f ，j ) ( 2 - 4 ) 式( 2 - 2 ) 表示图像信息r ( f ，) 沿着n ”( f ，) 方向变化，逐个像素迭代，当迭代 达到稳定时，有，肘1 ( f ，_ ，) = j r “( f ，) ，根据式( 2 一1 ) 得f ( f ，j ) = 0 ，所以 a c ( i ，_ ，) ”( fi j ) = i ，该式表明图像信息f ( f ，j ) 已经沿着n “( f ，_ ，) 方向扩散了。 b s c b 模型要求图像的边界信息沿着等照度线方向扩散，而等照度线是指图 像中灰度相同的像素构成的一条曲线，用数学公式表述为，( 力= c 。假设 w 4 ( 力表示图像的离散梯度，即空间变化的最大方向，那么其垂直方向 v 上j “( f ，) 即为等照度线方向，所以有 r ”( f ，j ) = v 上i ”( f ，j ) 。又因为 i v i i ”( f ，j ) l = l v i “( f ，州，所以等照度线方向可以归一化为万( f ，_ ，) l 而( f ，州，其 模为1 w “( f ，州，代入式( 2 - 2 ) 中可得： 惭，= p i v r o , ：) l 陆5 ， 其中归一化后的等照度线向量可由当前点的像素值求得： 矧2 嵩擀黯 ， 此外，为了控制由中心差分引起的不稳定性，模型引入1 w ”( f ，州量度，记 1 0 第二章基于p d e 的图像修复技术 则有 m 廊g 小黼 ( 2 - 7 ) ( 2 - 8 ) 为了保持光滑的边界信息，同时避免修复过程降低图像的清晰度，b s c b 模 型采用各向异性扩散，设其扩散方程为： 等( 训，) = ( w ) 七( w ，r ) 阳训，r ) | ，v ( 训) q ( 2 - 9 ) 其中，饼表示破损区域q 以占为半径所作的圆域扩展区域，七则表示等照度线 的欧几里得( e u c l i d 啪) 曲率，( x ，) ，) 表示圆域q 上的平滑函数，并且满足以下 条件： ，、f 0 【x ，y ) = 一 t l ( 工，y ) q q ( x , y ) q 迭代过程使图像信息可以准确传播，而扩散过程则可以确保方向场的正确演 进，保证破损区域边缘的清晰性。因此，在b s c b 模型中扩散过程和迭代过程需 要交替循环进行，直至图像完全修复。 2 1 2t v 模型 在b e r t a l m i o 等人研究的基础上，c h a n 等人于2 0 0 2 年指出，由于图像不平滑以 及受噪声影响等原因，一些模型的实际修复效果往往不太理想。他们利用视觉上 的局部推断、数学中的香农定理以及模式识别等多种学科理论阐述了图像的局部 性是降低修复问题复杂性和开展低层视觉修复研究的一条有效途径，并且提出了 建立非纹理图像局部修复模型的三大原则【2 1 ： 1 ) 模型应该是局部的，且待修复区域完全由其邻域中的己知信息决定，而 与图像的整体特征无关； 2 ) 模型必须能够修复狭窄的、断裂的、光滑的边缘： 第二章基于p d e 的图像修复技术 3 ) 模型必须对噪声具有鲁棒性。 针对上述三个原则， c h a n 等人2 1 在b s c b 模型的基础上提出了基于整体变 分( t vt o t a lv a r i a t i o n )数学模型。算法在欧拉- 拉格朗 j ( e u l c r - l a g r a n g e ) 方程的 约束条件下，通过最小化能量泛函完成破损区的修复工作，其基本原理如图2 - 2 所示： 图2 - 2t v 模型示意图 在待1 终复图像i 中，圆域d 为其破损区域，曲线f 为d 的边界，环域e 为d 的 外邻域。假设区域e 中一点扩被高斯白噪声所污染，并设修复后的图像函数为“。 首先依照修复原则( 1 ) 定义代价函数为： 尺( “) = l ，( i 乳i ) 妫( 2 - 1 0 ) 同时式( 2 1 0 ) 应满足修复原则( 3 ) ，故有如下的噪声约束条件： 蕊1 面肌一”。1 2 蛐= 仃2 ( 2 1 1 ) 其中a r e a ( e ) 为区域e 的面积，仃为高斯白噪声的标准偏差。 由修复原则( 2 ) 可知，函数，应该满足以下两个条件： ( a ) ，是一个实函数，并且当输入为非负时输出也为非负； c o ) 盯r ( 8 ) d x d y o o ，其中万为冲击函数。 q 按照上述分析，将函数r ( s ) 展开为： ，( s ) - 8 口+ ( 1 0 w e ro r d e rt e r m s )( 2 12 ) 在图像修复过程中，通常选取口= l 。 则问题转化为，找到合适的函数甜使得代价函数( 2 1 0 ) 最小。根据拉格朗日 1 2 第二章基于p d e 的图像修复技术 ( l a g r a n g e ) 乘数法，可以将式( 2 - l o ) 转化为： 以 ) = i v 材i , 奴d y + 鲁l 甜一扩1 2 , x d y ( 2 1 3 ) e v d-e 又由欧拉拉格朗日方程可知，函数, 应满足方程： - v ( 尚) 堋* 蜞中咖般嚣 p 下面利用半点中心差分法求解方程( 2 1 4 ) ，其原理如图2 3 所示。 w n n e n l w oe s - e s w s s e 图2 - 3目标像素及邻域点示意图 其中点o 为目标像素，( n ，s ，w ，9 为点o 的4 个邻域节点，记作人， ( 刀，j ，w , e ) 为点0 的4 个半像素邻域点。 记，= v i ，v 2 ) 2 尚， 其散度可以近似表示为： v 型+ 翌丛+ 平220 x o y h ( 2 1 5 ) j l l 、7 其中h 表示步长，在图像处理中通常取l 。对上式中半像素点的梯度值做进一步 计算，以e 点为例： 也= 南 鼠南半 弘旧 第二章基于p d e 的图像修复技术 其中l v u ，i 采用下式计算： 刚弓厄i 百瓦瓦丽 2 - 1 7 ) 将式( 2 - 1 5 ) 、( 2 - 1 6 、( 2 - 1 7 ) 代入式( 2 - 1 4 ) 中，得： 而u