（计算数学专业论文）基于偏微分方程的图像结构纹理修复方法.pdf

大连理工大学硕士学位论文 摘要 图像修复问题主要关心图像中与视觉效果密切相关的结构和纹理两类信息。对应于 这两类信息，基于偏微分方程的修复方法和基于纹理合成的方法各自取得了一定的发 展。但是，由于两类待修复信息在本质上的不同，因此相对应的两类修复方法也具有不 兼容性。具体地讲，基于偏微分方程的方法由于不适用于刻画纹理信息无法修复纹理， 而基于纹理合成的修复方法在结构信息方面具有弱势，容易造成人工边界。为了获得更 好的修复效果，基于图像分解的修复方法将两类修复方法加以结合，先将待修复图像分 为结构部分和纹理部分，然后分别采用结构修复方法和纹理修复方法修复之后，将修复 结果合并，这样的修复结果比单纯采用结构修复方法或纹理修复方法效果要好。 与很多基于偏微分方程的修复方法相同，经典的t v 修复方法无法修复纹理；o a b e 方法将图像修复偏微分方程加以拓展，使得所提出的o a b e 方程对于简单的结构性纹理 缺失也可以修复，但该方法只处理待修复区域是方形马赛克的情况。 针对t v 模型和o a b e 方法的不足，本文提出一种无需图像分解预处理的、可修复 图像局部结构纹理的新方法，同时新方法在修复纹理的同时还可以完成结构的修复。基 本思想是先利用待修复区域周围信息，获取待修复区域的近似局部纹理方向，并由此引 入局部纹理坐标系，然后在新坐标系下建立方向t v 修复方程。 标准图像的实验过程和实验结果表明，本文提出的修复方法可有效地修复任意形状 的局部简单纹理缺失并保持原t v 模型对边界具有较好修复效果的特征，因此在修复前 无需进行结构和纹理分解。同时该方法在计算速度方面也较经典t v 方程具有优势。对 比实验表明，本文方法的修复效果较经典的，模型有大幅改进。在通用性方面，本文 的修复方法适用于任意形状的、局部的、简单的结构型纹理缺失，而不适用于随机纹理 或复杂纹理的修复。 关键词：图像修复；t v 模型；结构纹理；局部纹理坐标；纹理修复 基于偏微分方程的图像结构纹理修复方法 i m a g es t r u c t u r a lt e x t u r ei n p a i n t i n gm e t h o db a s e do np d e a b s t r a c t i m a g ei n p a i n t i n gm a i n l yc o n c e r n s 谢ms t r u c t u r a la n dt e x t u r a li n f o r m a t i o n ，w h i c hi s c l o s e l yc o n n e c t e dw i t h 也ev i s u a le f f e c to f 也ei m a g e c o r r e s p o n d e dw i t ht h et w os o r t so f i n f o r m a t i o n , 也ei n p a i n t i n gm e t h o d sb a s e do np d ea n do nt e x t u r es y n t h e s i sd e v e l o p e dt oa c e r t a i ne x t e n tr e s p e c t i v e l y h o w e v e r ，b e c a u s eo ft h ee s s e n t i a ld i f f e r e n c eo ft h et w ok i n d so f i n f o r m a t i o n ，t h et w oc l a s s e so fi n p a i n t i n gm e t h o df i r ea l s oi n c o m p a t i b l e c o n c r e t e l y ，t h e m e t h o db a s e do np d ec a nn o ti n p a i n tt e x t u r eb e c a u s ep d ei sn o ts u i t e dt od e s c r i b et e x t u r e w h i l e 也em e t h o db a s eo nt e x t u r es y n t h e s i si sw e e ki ns t r u c t u r a li n f o r m a t i o ni n p a i n t i n ga n d l i a b l et of o r ma r t i f i c i a lb o u n d a r i e s i no r d e rt oo b t a i nb e t t e rr e s u l t t h em e t h o db a s e do ni m a g e d e c o m p o s i t i o nc o m b i n e sw i t ht h et w ok i n d so fm e t h o d i td e c o m p o s e st h ei m a g ei n t ot h e s t r u c t u r a lp a r ta n dt e x t u r a lp a r tf i r s t ，s o l v e st h et w op a r t sw i t hs t r u c t u r a la n dt e x t u r a l i n p a i n t i n gm e t h o dr e s p e c t i v e l y ，t h e na d d st h et w or e s u l t st o g e t h e ra st h ef m a lr e s u l t ，w h i c hi s b e t t e rt h a nt h er e s u l to fp u r es t r u c t u r a lo rt e x t u r a li n p a i n t i n g j u s tl i k em a n ym e t h o d sb a s e do np d e ，t h ec l a s s i c ivm e t h o dc a n n o ti n p a i n tt e x t u r e t h eo a b em e t h o de x p e n d st h ei n p a i n t i n gp d et oo a b ee q u a t i o n , w h i c hc a l lh a n d l ei nt h e s i m p l es t r u c t u r a lt e x t u r el o s si n p a i n t i n gp r o b l e m h o w e v e r ，i to n l ys o l v e st h es i t u a t i o nt h a t t h ed o m a i nt ob ei n p a i n t e di sm o s a i c f o c u so nt h ew e a k n e s so ft vm o d e la n do a b em e t h o d t h i sa r t i c l ep r o v i d e san e w i n p a i n t i n gm e t h o d ，w h i c hc a nr e p a i n tl o c a ls i m p l es t r u c t u r a lt e x t u r ea n dn e e d n ti m a g e d e c o m p o s i t i o np r e p r o c e s s i n g m e a n w h i l e ，t h en e wm e t h o dc a l la l s oc o m p l e t et h ei n p a i m i n g o ft h es t r u c t u r ew h e ni n p a i n t i n gt h et e x t u r e 1 1 1 eb a s i ci d e ai sg e t t i n ga p p r o x i m a t el o c a l t e x t u r a lo r i e n t a t i o no ft h ed o m a i nt ob ei n p a i n t e df r o mt h e s u r r o u n d i n gi n f o r m a t i o n , i n t r o d u c i n gt h el o c a lt e x t u r a lc o o r d i n a t e ，a n dt h e nc o n s t r u c t i n gt h eo r i e n t e dt vi n p a i n t i n g e q u a t i o ni nt h en e w c o o r d i n a t e t h ee x p e r i m e n tp r o c e s s e sa n dr e s u l t si n d i c a t et h a to u rm e t h o dc a r li n p a i n tr a n d o ms h a p e o f1 0 c a ls i m p l et e x t u r a ll o s s a sw h i l ea sm a i n t a i n i n gt h ef e a t u r et h a tt h eo r i g i n a lt vm o d e li s w e l li nb o u n d a r i e s i n p a i n t i n g t h e r e f o r e ，t h ei m a g ed e c o m p o s i t i o np r e p r o c e s s i n gd o e s n t n e e d t h en e wm e t h o da l s oh a sa d v a n t a g ei nt h ec o m p u t a t i o n a le x p e n s ea n ds p e e d f r o mt h e c o n t r a s te x p e r i m e n t ，t h em e t h o do ft h i sa r t i c l eg r e a t l yi m p r o v e sa st ot h ec l a s s i ct vm o d e l a sf o rt h ec o m m o n a l i t y ，t h em e t h o da p p l i e st ot h er a n d o ms h a p el o c a ls i m p l es t r u c t u r a l t e x t u r el o s s n o tt o 也er a n d o mt e x t u r eo rc o m p l e xt e x t u r ei n p a i n t i n g 大连理工大学硕士学位论文 k e yw o r d s ：i m a g ei n p a i n t i n g ： s t r u c t u r a lt e x t u r e ： i m a g ei n p a i n t i n g ：l o c a lt e x t u r a l c o o r d i n a t e ：t e x t u r ei n p a i n t i n g 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：邋日期：丝壁：堡鱼 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名： 讨，匍 新躲兰鳓 型钲上月生日 大连理工大学硕士学位论文 1 绪论 1 1数字图像修复技术的发展与应用 数字图像修复是图像处理和计算机视觉研究的重要领域之一，它是针对整幅图像q 中遗失或破损的区域d ，利用周围未破损区域q d 中的信息，按照预先设定的规则填 补，使修复后的图像尽可能达到原图像的视觉效果。 图像修复技术是- 1 7 古老的技术。欧洲文艺复兴时期，为了恢复美术作品中丢失或 损坏的部分，同时保持作品的整体效果，工匠们开始对中世纪美术品的缺损部分手工修 补，当时的工作被称为润饰( r e t o u c h i n g ) 【2 j 。随着美术博物馆的数字化，作品经扫描 以数字形式存储于电脑中，并通过计算机软件进行处理。这样的处理方式通常只需要简 单的人机交互工作，即可保证处理的效果。另外，手工修复要直接在原作上修改，具有 极高的风险，而数字图像修复技术可在保证修复效果的前提下，半自动或者全自动的完 成修复工作，为修补古艺术品提供了安全快捷的途径。 近几十年来随着现代多媒体技术的发展，图像的存储方式也变得多样化。但这些存 储介质同样会在长期保存过程中受到污染或破坏。比如，照片的划痕、电影胶片的划痕、 指纹和因潮湿引起的霉斑等。这些损坏降低了图像的质量，影响了观看效果，严重的甚 至无法继续使用。这些存储介质经过数字化，可利用数字图像修复技术可修复静态图像 和动态视频图像序列的优势来进行修复，使其在最低程度上减小因污染或破坏对观看效 果的影响。 与此同时，随着数字技术的飞速发展，数字图像及其相关处理技术在扫描仪、数码 相机、数字摄像机、数字电视以及可收发图像的移动电话等一系列数字产品中得到非常 广泛的应用。可以说，图像无处不在，我们生活的每一天都离不开数字图像。数字图像 在生成、存储和传输等过程中，难免因受到外界干扰丢掉部分信息( 如数字照片中的意 外人物、网络视频中因带宽限制造成的丢包现象等) ，这些问题也可以通过数字图像修 复技术来解决。 总体来讲，目前数字图像修复技术已广泛应用于很多领域： ( 1 ) 静态图像的修复1 0 1 2 9 】【3 0 】【3 4 】 具有典藏价值的古艺术品、破旧照片、透射底片等经扫描后可通过数字图像修复技 术修复裂痕和破损。数字照片中的文字( 如出版日期，拍摄日期) 、物体( 如拍摄时的麦 克风，不想要的人物等) 及光影效果也可以通过图像修复技术去除。静态图像的修复技 术工作在印刷行业中的印前处理过程也发挥着重要作用。 基于偏微分方程的图像结构纹理修复方法 ( 2 ) 动态影像的修复【5 j 【6 j 1 7 j 在影视拷贝过程中，如果连续帧中的某一帧有划痕、污点等，可通过将影片的连续 帧转化为数字图像序列，然后根据前后帧的信息比较，从相邻帧中提取有用信息进行拷 贝修复。另外，影视特效的制作过程中常会引入多余目标，如绳索等，这些多余目标的 剔除工作可由数字图像修复技术来完成。同时，影片中不同语言的字幕等也可以通过修 复技术去除。 ( 3 ) 图像放大及超分辨率分析【2 5 】【3 4 】【3 8 】 图像放大( z o o m i n g ) 以后为获得较高的分辨率需要通过分辨率较低的图像来重建 分辨率较高的图像，这也是图像超分辨率分析领域关心的问题之一。重建方法在本质上 实际上是插值问题。常见的方法有线性插值、三次插值等。数字图像修复技术可用于图 像放大。通过该技术，可以把低分辨率下点的像素值作为高分辨率下的初值，据此来修 复余下的区域。图像放大问题中的锯齿效应会影响放大效果，图像修复技术中基于等照 度线( l e v e ll i n e ) 【1 7 】和总体变分( t o t a lv a r i a t i o n ) 【3 4 】模型等方法均有较好的抗锯齿效果。 ( 4 ) 图像无线传输和视频通信中的误差隐匿【8 】【9 】【5 7 】 视频节目在网络( 有线或无线) 传输过程中常因带宽等因素，造成图像中部分编码块 丢失，即所谓的丢包现象。由于网络视频对实时性要求较高，因此常规的超时重发等手 段往往难以采用。通过快速的数字图像修复技术，可以对传输过程中发生错误的图像块 进行实时修复，从而在不增加网络带宽、不改变原有通信协议的基础上改善观看效果。 图像修复技术并非遥不可及，在日常生活中，经常会遇到照片中意外人物或物体的 去除问题。某些图像处理软件，如p h o t o s h o p 等，已经具有数字图像专业特效处理和受 损图像修复处理的功能，但用户必须区分待修补区域，并要自习考虑要填充的颜色、格 式和纹理等，需要有经验的专业技术人员进行复杂的手工处理，处理和修复的效果难以 控制，且未达到计算机自动处理的水平。 1 2 数字图像修复技术的研究现状 图像恢复和修复问题可统称为图像复原问题。图像恢复问题通常研究图像的去噪 ( d e n o i s i n g ) 、反模糊( d e b l u r r i n g ) 和盲恢复( b l i n dd e c o n v o l u t i o n ) 等。图像修复问题虽然 和恢复问题具有一定的相似性，但在本质上有很大差别。图像在获取过程中，由于噪声、 抖动、运动模糊、和对焦等原因，图像质量被降低。图像恢复问题一般通过先建立退化 模型然后逆退化的方法来处理类似问题。这些退化图像都在一定程度上包含图像的真值 信息，可以为恢复过程提供重要的依据，否则，逆过程根本无法实现。在某些情况下， 大连理工大学硕士学位论文 甚至可以完全恢复出原图像。但在图像修复问题中，待修补区域内信息完全丢失，只能 根据邻域信息对待修补区域的内容进行估计填充，使之达到修复结果在视觉上的完整。 可以说，图像修复问题一般难以获得图像的真值，至多从满足人类视觉心里学规律等角 度给以相对合理的解释，修复的结果也不具有唯一性。因此，尽管图像恢复中的某些思 想和方法值得借鉴( 详见2 3 4 ) ，但对图像修复问题而言仍是力不从心。 图像修复 非纹理图像li 偏微分方 修复广_ 1 程梗型 鬯翌竺h ：竺兰竺h ! 修复广_ 1 戮理哥职广 图1 4 数字图像修复方法 f 嘻1 4d i g i t a li m a g ei n p a i n t i n gm e t h o d s 人们认识和研究问题总是从简单到复杂。在图像修复问题研究的初期，对于图像单 一的结构和纹理信息的缺失，基于偏微分方程( p d e ) 的方法和基于纹理合成与匹配的方 法取得了长足的进步。在此基础上，随着所考虑的待修复区域的扩大，同时为满足对修 复效果的更高要求，结构和纹理信息的分别处理成为常用的途径。粗略地讲，数字图像 修复技术主要可分为如下几类： ( 1 ) 基于偏微分方程的图像结构信息修复 图像结构信息指图像中的的几何信息，如条纹、边缘等。按照修复方式的差别，p d e 修复方法又可以分为基于扩散和信息传输机制的微观修复方法和基于变分模型的宏观 修复方法。微观修复是一种面向过程的机制，它是从待修复区域外部完好区域开始，逐 渐向待修复区域内部行进，传递并更新信息，直到整个待修复区域修复完毕。b e r t a l m i o i o 】 最早提出用基于扩散的高阶偏微分方程b s c b 方法修复照片中的裂缝，该方法模拟专业 人员的修复过程，利用待修复区域的边缘信息，确定扩散信息和扩散方向，从区域边界 各向异性的向边界内扩散，属于微观修复方法。其他以扩散【l l 】f 1 2 】，等照度线 2 2 1 1 2 1 1 1 2 3 1 ， 插值【2 5 2 8 2 6 】【2 7 1 2 8 1 为基础的方法，如c d d e 2 1 ( 曲率驱动扩散) ，水平线插值2 8 】等方法都属 于微观修复机制。延续文献的工作，b e r t a l m i o 在0 6 年又提出了一种可保持水平线连续 的最优三阶p d e l 2 州【j ，和前述方法不同，该修复方法完全依赖于图像内部的几何信息， 而不依赖于任何灰度信息，即该方法具有对比度不变性，这对于几何修复具有重要意义。 一一一一一一翮 基于偏微分方程的图像结构纹理修复方法 c h a r t 等人的t v 方法【3 4 】属于宏观修复机制，该方法不断对待修复区域进行“最佳猜测 ， 直至经过一轮修复前后两图像差别很小即预先定义的1 v 能量达到极小时，结束修复过 程。其他基于变分的模型如弹性修复模型【3 5 】，m u m f o r d s h a h 模型【3 ，以及m u m f o r d s h a h e u l c r 模型【3 6 】都属于宏观修复的方法。邵肖伟等对t v 修复算法进行了改进【4 1 1 ，解决了 t v 模型对参数选择敏感、运算量大的缺点，改进算法能有效提高t v 算法的稳健性， 改善其修复效果，并能显著提高运算速度。周密等1 4 2 j 提出了另外一种改进的整体变分法， 该方法在修复的过程中考虑图像破损区域外部参考像素和待修补的相关度，再利用图像 破损区外部参考像素信息从破损区域的边缘逐步地向破损区域内部进行扩散，从而达到 图像修复的目的，改进后的算法与原方法相比图像边缘过渡更加自然，修复效果得到改 善。 ( 2 ) 基于纹理合成和匹配的图像纹理信息修复 纹理是图像中重要而又很难描述的特征，习惯上把图像中在某些局部呈现不规则性 而在整体上表现出某种规律性的特征称之为纹理，以纹理特性为主导的图像称为纹理图 像。由于构成纹理的规律可能是规则的，也可是随机的，规则纹理有可识别的单元且有 一定的排列规则，所以纹理通常分为结构纹理和随机纹理。纹理信息的修复主要借助纹 理合成技术，基本思想就是在满足视觉连续的前提下将己知区域信息采样复制到待修复 区域中去。采样复制的单位可以是点或纹理块，其中，基于点的匹配方法效果好，通用 性强，但是合成速度非常慢，实际应用已经很少。基于块的处理在速度上具有一定优势， 但块与块之间的拼接处连续性不好保持很容易导致失真。总之，基于纹理合成的纹理修 复技术并不具有修复图像中物体边界等几何信息的特点，因此在纹理的边界处过渡不够 自然常常导致所谓的人工边界( a r t i f i c i a lb o u n d a r i e s ) 。关于纹理合成与纹理信息修复技 术及研究进展，详见3 1 。 ( 3 ) 纹理和结构信息的同时修复 在小范围区域的修复技术取得一定发展之后，人们开始考虑较大的待修复区域的修 复问题。有的文献称这样的图像修复技术为图像补全( c o m p l e t i o n ) 技术。对于较大待修 复区域的图像，缺失部分一般会同时含有结构和纹理信息，此时，单纯采用结构修复或 者纹理修复往往效果不好。结构修复方法由于容易陷入局部能量井，无力修复纹理缺失 区域。而用修复纹理方法修复结构通常需要引入人工边界，边缘处不能获得光滑的效果。 g a n e ，s a p i r o 和b e r t a l m i o 等1 57 j 首先分析待修复区域周围信息以确定待修复区域属于纹理 信息还是结构信息的缺失，对于纹理部分，采用纹理修复方法；结构信息缺失采用结构 修复方法，但这种简单的分类使得修复效果一般。b e r t a l m i o 和v e s e 等【删首先提出基于图 一4 一 大连理工大学硕士学位论文 像分解的修复方法。该方法首先经图像分解【5 8 】酬将待修复图像分解为结构和纹理部分， 结构部分采用b s c b 方法修复，纹理部分采用e f r o s 的纹理合成方法【5 3 】修复，再将分别修 复后的结果合并。秉承这个思路，文献【6 1 】【6 2 】 6 3 】【6 4 】等都是先将待修复图像利用类似 的图像分解技术进行分解，之后的结构修复和纹理修复分别采用了各自的方法，然后同 样将分别修复后的结果合并。由于人脑的修复机制和人工修复手段在思想上达到了统 一，这类方法比单一进行结构修复或纹理修复效果好很多。纹理和结构信息分别处理的 方法在修复效果上是目前其他方法难以媲美的。 除以上几类主要修复方法外，研究人员还提出了许多其他修复方法。y a n n 和t i m p o s t o n 提出了一种可用于修复解码后马赛克纹理缺失的方法【6 5 1 ，其思想是先由待修复区 域周围信息确定局部纹理方向，然后在纹理方向上探求已知信息，直接构造用于修复的 椭圆方程，但此方法对“y 形纹理缺失无效。周廷方【硎、王卫红彻等把二维图像修复问 题转化为三位散乱数据点的重建问题，利用径向基函数曲面重建的优势来修复破损图 像，能够稳定地修复破损区域，但对纹理的修复能力有限。 更好的修复效果是图像修复问题人们追求的永恒。在此基础上，自动化程度和计算 时间等也是需要考虑的因素。比如，有些算法为了追求更好的效果，可以加入人工辅助。 有时，图像修复问题作为图像处理软件的插件或其他需要实时处理的场合，对修复时间 有较高的要求，可能需要在修复效果方面做出牺牲。总之，由于修复问题是由已知信息 推断完全未知的信息，同时，图像的种类林林总总，实际图像的待修复区域可能极为复 杂，所以目前为止，每类方法往往只对某特定类的图像具有较好的修复效果。相信随着 数字图像修复技术的发展，将会出现更多待解决的图像修复问题，并涌现出更多可解决 相应问题的图像修复技术。 1 3 图像修复的基本准则 视觉心理学的分析得出的结论表明，人类视觉在认知图像的受损区域时，会对图像 受损区域有自动填充的功能，且随着区域的增大而减弱。同时，人类视觉感知的修复过 程还具有如下三个特点【3 j ： ( 1 ) 亮度填充要比纹理填充迅速； ( 2 ) 填充取决于邻域复杂性以及密度，越规则越易受辨识； ( 3 ) 填充结果尽量与邻域保持一致。 接下来，我们先讨论一下手工修复的过程。经验丰富的艺术馆人员在修复艺术品时， 首先判断原图的主体线条走向，连接待修复区域内的主要线条，然后在此基础上填充相 应的背景色，完成结构信息的恢复，最后在根据邻域信息添加必要的细节，也就是纹理， 基于偏微分方程的图像结构纹理修复方法 使得修复结果更符合原图的风貌，得到最终的修复结果。可见，手工修复的过程符合上 述人类视觉感知的过程。文献【4 总结了基于视觉感知的图像修复规律： ( 1 ) 结构连续性：结构型轮廓在感知中的作用最为明显。当图像中的轮廓线条出现 断裂时，大脑会试图将其连接成一个整体。 ( 2 ) 区域相似性：对于未知区域的信息，大脑会根据相似性的原理，使用其邻域的 信息进行推断，把类似的物体组合在一起，以便得到最直观的解释。这也就是认知规律 中的相似性和简洁原理。 ( 3 ) 结构优先性：结构线条在视觉感知过程中的起着重要作用，它代表着图像整体 上的趋势和走向，所以，修复时首先修复结构信息以保证图像整体一致性是很自然的基 本原则。则如果先进行纹理填充，则有可能会出现虽然细节相似，但边缘连续性不好， 从而使图像整体有一定偏差。 ( 4 ) 纹理一致性：纹理其实并不被大脑所重视，如果不仔细观察，则只是被看成是 相似的物体，而不会主动分辨其中的细节。因此，对于纹理修复，只要没有出现不同于 当前纹理的新信息，大脑就不容易察觉。 由上述四点可以得出，图像修复问题首先是结构信息的修复，在结构信息达到较好 修复效果的基础上，再尽可能地保持纹理的相似性。这同时解释了为什么图像补全河题， 即大规模的图像破损填充问题，要采用结构和纹理分步或分开处理的手段才能取得更好 的视觉效果。在随后的讨论中我们将会看到，研究者们所提出的方法，大部分都是基于 以上几条规律中的某些规律来增加相应的约束条件，得到某些特定意义下的最优解。然 而，由于实际处理的图像复杂程度高，类型广泛，目前为止，还没有方法可以充分满足 上述所有规律并对任何破损都具有较好的修复效果。 1 4 本文的主要工作及内容安排 本文对图像修复问题进行了系统分析和研究并对某些主要方法进行了实践并总结 了其优缺点。针对传统t v 模型无法修复纹理和o a b e 方法受限于待修复区域的不足， 本文提出了一种基于方向t v 方程纹理修复方法。该方法可有效地修复局部简单结构型 纹理缺失，同时由于可同时处理结构和纹理修复，无需对待修复图像进行结构和纹理的 分解。 本文一共分为四章，各章的内容安排如下： 第一章简要介绍了数字图像修复技术的研究背景、应用情况及发展现状。其中，对 已有的方法做了总结并对从视觉心理学的角度介绍了图像修复的基本准则。 一6 一 大连理工大学硕士学位论文 第二章主要讨论基于偏微分方程的几何修复方法。首先对后续讨论将涉及到的基本 知识做简单的介绍，然后重点讨论了宏观和微观两类修复机制以及两者之间的联系。 第三章主要讨论了目前图像修复问题的主要方法几何和纹理信息的同时修复 方法。在这里首先以较小篇幅总结基于纹理合成的纹理信息修复方法。在此基础上，重 点讨论基于图像分解的纹理和结构信息同时修复方法。 第四章主要针对传统t v 修复模型和o a b e 方法的不足，提出了一种可修复局部结 构纹理信息的新方法。实验结果及算法评价表明新方法的有效性。同时探讨了新方法的 优缺点。 最后的部分是结束语，总结了本文的工作并对未来的研究进行了展望。 大连理工大学硕士学位论文 2 基于偏微分方程的结构信息修复方法 2 1基础知识 2 1 1 图像的数学表示 数字图像在计算机中是以离散的形式存储，但在图像离散化过程( 采样和量化) 足够 精细的情况下，在数学上，一幅数字图像可以由一个连续的数学函数来描述。二维灰度 图像和彩色图像可分别表示为：i ：f 2 一r 和i ：q 专r 3 ，x 专( r ( x ) ，g ( x ) ，召o ) ) v x q 。 其中qcr 2 为图像的定义域。 将图像表示为二元连续函数之后，很自然地引入图像梯度、方向导数、曲率等。下 面给出基于偏微分方程的图像处理中的一些常用量。 ( 1 ) 图像的梯度：v i = ( l ，) 。梯度方向即表示图像灰度值变化最快的方向。 ( 2 ) 图像的方向导数：对给定的方向向量百= ( “1 ，甜2 ) 。，图像沿此方向的方向导数厶 可表示为厶= v 历。进一步地，沿历的二阶方向导数可表示为 岛= v ( w 露) 露= 历r 臃= t r a c e ( t - i f f 历7 ) = “2 l + 勉v 岛+ v 2 岛， 其中日= ( 笔乏 为h e s s ；a n 阵。 ( 3 ) 图像的l 印l a c e 算子：= 抛卯( 日) = l + 勺，其中日= ( 乞乞) 为h e s s i a n 阵。 帅轧= 挑= 气器产。 ( 5 ) 图像的等照度线：记v i ( i ，j ) 为图像的离散梯度，也就是图像灰度变化最大的方 向，即等照度线的法线方向，则和该梯度方向垂直的方向v 上i ( i ，j ) 就表示等照度线方向。 ( 6 ) 图像的水平线：水平集r a = 甜q l u ( x ) = a 的边界。 2 1 3 变分法与泛函极值 变分法通常用于解决泛函极值问题。 ( 1 ) 泛函 基于偏微分方程的图像结构纹理修复方法 设m = y ( x ) 为某一类函数集合，对于其中的每一个函数y ( x ) ，都有一实数，与 之对应，那么变量，称为定义于集合m 上的泛函，记为，= y ( z ) ，可理解为泛函是 以函数为自变量的函数。 ( 2 ) 函数的变分 函数y ( x ) em 的变分定义为艿y = y ( x + 6 x ) - y ( x ) ，其中6 x 是关于x 的微小变元。 ( 3 ) 泛函的变分 设由函数变分6 y 引起的泛函的增量= j ( y + s y ) - j ( y ) ，若可表示为： = 三( y ，6 y ) + r ( y ，6 y ) ，其中三为艿y 的线性项，为6 y 的高阶项，则称三为泛函在y 的变分，记作6 j 。 ( 4 ) 泛函极值问题的变分表示 若虹y ( x ) 在( x ) 达到极值( 极大或极小) ，则6 ( x ) = o 。 ( 5 ) 泛函取极值的必要条件 对于泛函， y ( x ) = e f ( x ，y ( z ) ，y ( z ) ) 出取极值且满足固定边界条件少( 薯) = 乃，i = l ，2 的欧拉方程为：e 一b = 0 。 a 3 f 对于含多个函数的泛函陟( x ) ，z ( x ) = e f ( x ，y ，y ，z ，z ) 出取极值且满足固定 边界条件：y ( 毛) = 乃，z ( 薯) = 弓，i = l ，2 的欧拉方程组为： 对于含高阶导数的泛函， y ( x ) = ef ( x ，少，y ”) 施取极值且满足固定边界条 件y ( 五) = 乃，少( 薯) = 咒，f = 1 ，2 的欧拉方程为：6 一丢e + 两d 2c = 。 对于含多元函数的泛函厂p ( 工，y ) = e f ( x ，少, z , z x , z y ) d z ，( x ，y ) d 在区域d 的边界上取极值的欧拉方程为：e 一丢+ 导o y = o 。戗4 7 o 0 = = 乃 乃 d一出d一出 一 一 0 e 大连理工大学硕士学位论文 2 。2 基于仿真机制的微观修复的方法 手工修复的过程最基本的方法就是延伸图像中的线条到待修复区域中去。基于仿真 机制的微观修复方法是对手工修复的最佳模拟。其基本思想是通过扩散将待修复区域周 围的信息传输到待修复区域内部中去。该类方法对于保持图像的连通性方面具有优势， 但有时会依赖于图像中线条的拓扑结构。 在微观修复方面，b e a a l m i o 等在2 0 0 1 年提出了经典的基于信息传输和扩散机制的 b s c b 图像修复模型，该方法也是最早提出的基于高阶偏微分方程的修复模型，被认为 是图像修复问题具有奠基性的工作。更早的基于二阶偏微分方程和变分技术的相关工作 可追溯到9 8 年c a s e l l e s 等提出的图像插值公理化方法【2 4 】以及m a s n o u 等提出的基于水平 线的反遮蔽( d i s o c c l u s i o n ) 方法【1 7 】【18 1 。 2 2 1b s c b 图像修复模型 b s c b 方法认为图像修复需满足以下几种潜在的规则： ( 1 ) 保持修复后图像的完整性，图像的整体性决定了如何修复破损区域，而修复的 目的就是要恢复图像的完整性。 ( 2 ) 通过延伸边界处的等照度线进入修复区域，以实现修复后区域与完好区域边界 处的连续条件。 ( 3 ) 修复后区域中不同的区域是由等照度线来划分的，各区域的颜色要和边缘外部 的颜色保持一致。 ( 4 ) 细节部分即纹理必须添加。 综合上述几条观点，b s c b 方法模拟手工修复的过程，反复进行( 2 ) ，( 3 ) 步，通过延 伸边界区域的等照度线进入待修复区域以实现图像修复。可见，b s c b 方法在结构信息 方面和1 3 中提到的图像修复基本准则是一致的。 设q 表示整幅图像区域，d 表示待修复区域，扣表示待修复区域边界，q d 为完 好区域。b s c b 模型的原理是由修复区域外的等照度线向内扩散，同时光滑地推进信息 以完成修复，这在数学上可表示为如下的信息传输过程： ，r，r 竺：罢：乳需 佐1 ) aa n 、。 其中，a l l o t 表示图像在单位时间内的变化，a s 1 a 霄：观贾表示所传输信息量三在 方向上的变化量。当a i a t o 时，脚面o 意味着信息量上已经沿霄方向正确地推 进。接下来需要定义三并选择合适的。 一一一 基丁二偏微分方程n gn 像结构纹理修复方法 二一 ( 1 ) 三的定义：考虑到要保证推进过程的光滑，r ( f ，) 应为图像的光滑性估计算子， b s c b 方法中取为l a p l a c e 算子r ( j ，j ) ：= 咒( f 。，) + ，：，( f ，j ) ，也可选取其他的估计算子( 见 2 3 3 部分弹性修复方法的详细分析) 。 ( 2 ) n 的确定：自然地，可选择”( i ，j ) 定义为8 d 的法向，如图2 1 ，则可以保证 等照度线的连续性，但是由于d 可以是任意的，扣只依赖于区域d ，与图像内在的几 何信息无关，所以如图2 2 ，可能会导致等照度线到扣附近趋向于和霄相同的方向，形 成错误的修复结果。为了保证正确地演化等照度线，b s c b 方法取”f f ，j ) ：v 一- ，”f i ，1 为 等照度线方向。 图2 1 信息行进方向选择为边界的法线方向 f i g 2 1 i n f o r m a t i o np r o p a g a t i o nd i r e c t i o na st h en o r m a lt o t h eb o u n d a r yo f t h er e g i o nt ob ei n p a i n t e d ( a )f b ) 图2 2 行进方向选择边界法向导致错误结果 ( a ) 白色待修复区域图像( b ) 修复后图像 f i g 2 2p r o p a g a t i o nd i r e c t i o na st h en o r m a ll e a d st oi n c o r r e c tr e s u i t ( a ) i m a g eo fw h i t er e g i o nt ob ei n p a i n t e d ( b ) i n p a i n t e di m a g e 由于扩散可避免曲线交叉，为了保证方向场的正确演化，还需要将修复过程和扩散 过程交叉进行。即每隔若干步修复，进行几步扩散。为使修复过程不损失清晰度，并保 持边界的光滑性和噪声鲁棒，使用各向异性扩散。此处应用的各向异性扩散方程为： 瓦8 i = g 。( ) k ( 戈，少，r ) f w ( ，r ) ，v ( x ，y ) 。 ( 2 2 ) 大连理工大学硕士学位论文 其忖是待修复区域。眦为半径的眺咖，榴嚣是光滑戤，c 是 等照度线的欧氏曲率。综上，b s c b 图像修复模型可表示为： 詈= v ( ) 矿， ( 2 3 ) 其中，v ( ) v 上，表示信息量关于方向v 上，的偏导数，即在v 上，方向上的变化量。假 设初始待修复图像为二维灰度图像厶( f ，) ： o ，m 】【o ，n - - r x r ，且 【o ，m 】【o ，n it ：n x n ，( 2 3 ) 离散格式如下： ，肿1 ( z ，) = ，”( z ，歹) + ( j ，) ，v ( f ，歹) d ( 2 4 ) 其中， 惭瑚惭i 中( f ，办端肥“) j 传递信息的变化量子p ( f ，) 可离散为： 6 雪( f ，歹) = ( f ( f + 1 ，j ) - i ( i - 1 ，) ，f ( f ，j + 1 ) - l ( i , j - 1 ) ) r ( f ，歹) = 乓( f ，) + 易( f ，) 霄”( f ，玎)( 一彤( f ，) ，e ( f ，) ) i 霄”( f ，歹，捍) j 板e ( f ，) ) 2 + ( 彤( f ，) ) 2 1 w ”( ，州可由下式计算： 陋i - 笛一= k = m ( l ，0 ) ，= 麟( 厶，0 ) ，= r a i n ( 0 ，0 ) ，= m a ) 【( 岛，0 ) 如。= i i l i n 【厶，0 ) ，= m a ) ( 【，0 ) ，= i l l i n 【乃，0 ) ，= m a x ( y ，0 ) 下标加、矿、咖和分别表示，对x 和y 的向后和向前差分。( 2 5 ) 中没有使用 i v 上，l = i v i i 以及( 2 9 ) 中采用迎风格式进行斜率限制而没有采用中心差分格式都是为了保 持迭代的稳定性。在实际计算中，一般先采用( 2 4 ) 进行a 步迭代，再采用( 2 2 ) 进行b 步 扩散，扩散与迭代交替进行，直至收敛。图2 3 列举了b s c b 方法修复示例： $ 乃 黔 缈 q q q q g 基于偏微分方程的图像结构纹理修复方法 ( a ) ( c )( d ) 图2 3b s c b 方法修复示例( a ) ( c ) 待修复图像( b ) ( d ) 修复后图像 f i g 2 3e x a m p l e so fb s c bm e t h o d ( a ) ( c ) i m a g et ob ei n p a i n t e d ( b ) ( d ) i n p a i n t e di m a g e 2 2 2 曲率驱动扩散模型 ：l |；|l i 、。 ( a ) ( b )( c ) 图2 4t v 模型修复结果无法满足视觉连通性( a ) 待修复图像 ( b ) l w 时修复后图像 f i g 2 4 t h ei n p a i n t i n gr e s u l to ft vm o d e li sl a c ko f c o n n e c t i v i t yf e a t u r e ( a ) i m a