（信号与信息处理专业论文）基于等照度线扩散的图像修复算法研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 小尺度受损的图像修复算法中，基于变分偏微分方程的传统方法效果善 佳，但却太过耗时。近年来，在图像局部特性分析的基础上，直接基于等照度 线扩散原理的修复算法得到了一定发展，较好的解决了修复效率的问题，但仍 存在一些缺点。面对纹理信息丰富的小尺度受损图像时，可采用分层模型将图 像分解为结构层和纹理层，并将基于等照度线扩散的修复方法与其他纹理层修 复方法相结合，以取得较好的修复效果。 本文首先综述了图像修复的研究现状及意义，并从数学角度和视觉心理学 角度展示了图像修复的原理、原则和特征。 其次，本文研究了基于等照度线扩散的f m m 修复算法，并结合f m m 的 实现特点给出了一种适用于网络传输中数据包丢失造成的受损图像的矩形修 复模板，通过仿真实验说明了该算法对小区域矩形破损的图像具有一定的修复 效果。 再次，本文研究了将受损点的等照度线估计算法与通过卷积平滑修复的算 法相结合的算法( c o n v o l u t i o ni n p a i n t i n gb a s e do ni s o p h o t ec o m p u t a t i o n ，c i i c ) 。 为了更好的表达图像的多方向性和确定相应的卷积平滑模板，本文给出了一种 采用改进s o b e l 算子估计受损点等照度线的方法，及判定所得等照度线方向时 的允许误差，并通过仿真实验验证了该算法的可行性，对小区域破损图像取得 了较快较好的修复效果。 最后，本文研究了d c t 和v o 这两种图像分层模型，并仿真比较得出v o 模型分层效果更好。在v o 分层的基础上，将基于d c t 变换的纹理层修复和 基于等照度线扩散的结构层修复相结合，针对纹理信息丰富且破损区域稍大的 图像，通过仿真比较了该算法和c i i c 算法的修复效果，验证了该算法的可行 性，并取得了较c i i c 算法好的修复效果。 关键词：图像修复；等照度线；快速匹配；卷积；分层 a bs t r a c t t h et r a d i t i o n a li n p a i n t i n gm e t h o d sf o rs m a l ls c a l ed a m a g e di m a g e sb a s e d o n v a r i a t i o na n dp d e ( p a r t i a ld i f f e r e n t i a le q u a t i o n s ) i se f f e c t i v eb u tt i m e c o n s u m i n g r e c e n t l y , w i t ht h ed e v e l o p m e n to fa l g o r i t h m sb a s e do ni s o p h o t e sc o m p u t a t i o ni n a n a l y s i so fl o c a lc h a r a c r i s t i c s ，t h ee f f i c i e n c yo fi n p a i n t i n gi si n c r e a s e dt os o m e e x t e n t b u tt h e r ea r es t i l ls o m es h o r t c o m i n g s i no r d e rt oi n p a i n tt h ei m a g e sw i t h c o m p l e xt e x t u r e ，t h ei m a g e sc a nb el a y e r e dt os t r u c t u r ea n dt e x t u r eb ym e a n so f d e c o m p o s i t i o nm o d e l s ，s oa st oc o m b i n et h ei s o p h o t e sc o m p u t a t i o nf o rs t r u c t u r e i n p a i n t i n ga n do t h e ra l g o r i t h m sf o rt e x t u r ei n p a i n t i n gt og e tb e t t e rv i s u a le f f e c t s f i r s t l y ，t h er e s e a r c h sc u r r e n ts i t u a t i o na n ds i g n i f i c a n c eo fd i g i t a li m a g e i n p a i n t i n gt e c h n o l o g ya r es u m m a r i z e di nt h i sp a p e r ，a n dt h et h e o r y ，p r i n c i p l ea n d c h a r a c t e r i s t i ca r ee x p l a i n e di nm a t h e m a t i c a lt e r m sa n dv i s u a lp s y c h o l o g i c a lt e r m s s e c o n d l y , f m m ( f a s tm a t c h i n gm e t h o d ) b a s e d0 ni s o p h o t e sc o m p u t a t i o ni s s t u d i e d a n df o u rr e c t a n g u l a ri n p a i n t i n gt e m p l a t e sf o rt h ed a m a g e d i m a g e sc a u s e d b yp a c k e tl o s si nn e t w o r kt r a n s m i s s i o ni sg i v e ni na n a l y s i so ft h ef m m sr e a l i z e d c h a r a c t e r i s t i c s i nt h em e a n t i m eac e r t a i ni n p a i n t i n ge f f e c tf o ri m a g e sw i t hs m a l l r e c t a n g u l a rd a m a g e da r e a si sp r o v e db ys i m u l a t i o ne x p e r i m e n t s t h i r d l y ，c i i c ( c o n v o l u t i o ni n p a i n t i n gb a s e do ni s o p h o t e c o m p u t a t i o n ) i s s t u d i e d h e r e ，w h i c hc o m b i n e st h e i s o p h o t e se s t i m a t e da l g o r i t h ma n dt h e c o n v o l u t i o ni n p a i n t i n gm e t h o d t oe x p r e s st h em u l t i d i r e c t i o n a li m a g e sb e t t e ra n d s e l e c tt h ec o n v o l u t i o ns m o o t ht e m p l a t e sc o r r e c t l y , a ni s o p h o t e se s t i m a t i o nu s i n g m o d i f i e ds o b l ei sp r o p o s e d ，a n da na l l o w e dt o l e r a n c eo ft h ei s o p h o t e s ，d i r e c t i o ni s g i v e n t h ec i i cu s i n gm o d i f i e ds o b e li n p a i n t st h es m a l ls c a l e d a m a g e di m a g e s b e t t e ra n df a s t e r ，a l o n gw i t he x p e r i m e n t st op r o v ei tw o r k s l a s t l y ，v od e c o m p o s i t i o nm o d e li sc h o s e nb yc o m p a r i n gt h ep e r f o r m a n c e so f d c ta n dv o o nt h eb a s i so f l a y e r e di m a g e su s i n gv o ，t h ei s o p h o t e sc o m p u t a t i o n f o rs t r u c t u r ei n p a i n t i n ga n dd c tf o rt e x t u r ei n p a i n t i n gi su s e di nc o m b i n a t i o nf o r i m a g e sw i t hw i d e ra n dm o r ec o m p l e xa r e a sl o s t t h r o u g hs i m u l a t i o ne x p e r i m e n t s t h ef e a s i b i l i t yi sp r o v e da n db e t t e rr e s u l t sa r eo b t a i n e dt h a nc i i c k e yw o r d s ：i m a g ei n p a i n t i n g ；i s o p h o t e sc o m p u t a t i o n ；f a s tm a t c h i n gm e t h o d ； c o n v o l u t i o n ；d e c o m p o s i t i o n 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 图像修复的目的和意义 数字图像修复就是将图像中信息丢失的部分，根据其周围已知信息，对该 部分进行重建，使图像的完整性和原有视觉效果得到恢复。数字图像修复可以 实现无风险、省物力、低人力、少财力、可重复的图像重建，直至达到满意的 效果。它不仅提高了图像修复技术的可信度和准确性，还降低了修复效果的人 为因素，已然成为当前计算机图形学中的一个研究热点。无论是古文物壁画的 原始风貌的保存】，还是动态影像技术的制作【7 。9 】，无论是非目标物体的剔除 ( 如视频或图像中覆盖背景的文字或不需要的物体等) 9 - 1 6 】，还是图像编码压缩 和超分辨率分析【1 7 艺0 1 ，数字图像修复技术都存在着重大的应用功能和研究价 值。 ( 1 ) 古文物字画的保存 数字图像修复，最初的起源来自于人们对珍贵艺术作品的珍惜与缺乏保护 技术和存储技巧的矛盾。针对由于年代久远，因空气、湿度而出现的作品破损， 以及由于人为的破坏，造成的作品残缺，如永乐宫的壁画，西藏的唐卡等，这 些具有高度艺术价值和历史意义的珍品古文物正是图像修复的原始目标。在数 字图像修复技术出现以前，这些出现破损的珍贵文物只能依靠手工操作，需要 大量的人力物力和财力，且直接操作于作品之上，没有挽回余地。现在的图像 修复技术则是将作品扫描入计算机，操作过程中只需确定待修复的区域，运行 计算机中某一指定算法的代码就可以对破损的珍贵古文物作品进行修复，如图 1 1 所示。 a ) 破损原图b ) 破损区域掩膜模板c ) 修复效果 图1 1 文物字画裂痕修复效果 西南交通大学硕士研究生学位论文第2 页 ( 2 ) 受损照片的恢复 照片是记录生活美好时刻的良好工具。现今随着计算机技术的发展和数码 相机的普及，照片、胶片已随着时代的进步不再那么独一无二，但具有历史意 义和艺术价值的照片却是弥足珍贵。旧照片的破损是屡见不鲜的，例如被不小 心折叠或划伤，或者因为放置不当而受潮产生脱落，或者被污渍污染等，这时 数字修复技术就显得尤为重要了，如图1 2 所示。 a ) 破损原图b ) 破损区域掩膜模板c ) 修复效果 图1 2 照片划痕修复效果 ( 3 ) 图像扫描或者网络传输造成的残缺图像的复原 如果在网络上传输图像，而传输层采用的是用户数据报协议，且不幸发生 了数据包丢失，那么接收端必然会接收到一副残缺的图像，显然，这样的数据 丢失已经直接影响了接收端的图像质量。数据包的丢失可以通过重新传输的方 式找回，但在保持网络带宽，且维持原有通信协议的前提下，通过数字图像修 复技术，可以直接在接收端，针对丢失数据包的图像进行破损块的处理和修复， 使破损图像丢失信息的区域得以复原，如图1 3 所示。 a ) 破损原图 m m _ i l _ 一1 m - _ 二m 。 lm_ b ) 破损区域掩膜模板 c ) 修复效果 ( 4 ) 图像和视频中的文字或划痕的去除 广告图像常出现覆盖背景的文字或者划痕，虽然此时的背景图像往往因为 西南交通大学硕士研究生学位论文第3 页 不被重视而被覆盖，但喜爱该背景的观看者必然觉得可惜而意兴阑珊。在这样 的情况下，数字图像技术可满足喜爱背景的观看者的艺术欣赏要求，通过适当 的修复方法就可以消除覆盖在背景上的文字或划痕障碍，按照人眼获取视觉信 息的习惯，给予背景原本的视觉效果，如图1 4 所示。 a ) 破损原图 b ) 破损区域掩膜模板c ) 修复效果 图l 一4 覆盖文字去除效果 ( 5 ) 特定目标的去除 在某些特殊情况下，出于某种需要或者某种目的，需要对图像中的个别人 或者物进行隐藏，去除掉特定的目标，还要使图像保持完好的一致性和美观性， 如隐藏军事目标或者去掉遮挡背景的人或物。这时需要利用图像修复技术将被 移除目标后的破损区域进行复原，达到不留痕迹的效果，如图l 一5 所示。 a ) 破损原图b ) 破损区域掩膜模板c ) 修复效果 图1 5 特定目标移除效果 ( 6 ) 图像超分辨率分析 随着计算机技术的发展，图像的分辨率已然成为图像质量的一项标准。如 何通过低分辨率图像重建高分辨率图像是超分辨率分析领域研究的问题之一。 一般通过图像插值，如零阶保持、双线性法插值、样条插值等来解决这个问题。 然而，面对纹理信息较多的复杂图像，仅仅通过插值的方法是无法创造新的信 息的，例如重建原始图像的高频信息等。但是通过数字修复技术，将低分辨率 图像中的各点作为高分辨率图像下的已知信息，待插入各点作为破损区域，结 西南交通大学硕士研究生学位论文第4 页 合相应的数学模型，以视觉效果为依据，进行修复，能够获得较好的效果【2 0 1 。 ( 7 ) 图像编码与压缩 图像的压缩技术是通过一定的编码方法，将信息重新整合，去除掉一部分 冗余信息，保留下来的主要是图像边缘，高频信息块等。对于丢失掉的这部分 信息，相当于图像的破损区域，可以通过数字图像修复技术进行填充，进而复 原整幅图像，这样可以提高编码的效率和图像的质量【22 1 。 总而言之，图像修复技术随着计算机技术的发展而发展，在许多领域都有 着不可忽视的作用和广阔的应用前景。以上只列举出了一些经典和普遍的应 用，可能出现信息缺失，图像修复的应用范围不仅于此，这里就不再一一列举 出来了。 1 2 国内外研究现状 欧洲文艺复兴时期，人们为了将艺术品翻新，利用想象力和感知力通过手 工操作修复图像破损的地方，在当时这项工作被称作润泽。专业手工匠利用破 损区域周围的已知内容逐步填充缩小破损区域，直到破损区域全部填满，得到 一副自然协调的图像。基于这样的修复理念，m b e r t a l m i o 等人2 0 0 0 年首次 提出了数字图像修复技术这个概念，将图像数字化后，采用计算机编程模仿手 工修复过程。s c i e n c e 杂志，d i s c o v e r y 杂志，美国数学学会等多家媒体杂志对 其工作进行了报道，美国太空总署( n a s a ) 也采用这个算法来修复太空探测过 程中接收到的图像。 随着计算机技术和图像处理技术的发展，市面上已出现了许多图像处理软 件可进行图像后期加工，如p h o t o s h o p 、p a i n t 和光影魔术手等。但是，这些软 件要求用户对数字图像知识有一定的了解，且具备一定的操作娴熟度，同时操 作过程中的交互工作细致繁琐，很容易造成边界尖锐和纹理模糊的人工处理痕 迹。 自数字图像修复的概念提出以来，为了实现图像自动修复的功能并提高修 复速度和质量，国内外涌现了很多图像修复方面的论文，其中不乏卓有成效的 修复模型和方法。这里做了一个简单的回顾。 ( 1 ) 基于变分和偏微分方程的图像修复方法 m b e r t a l m i o 等【lj 于2 0 0 0 年提出了基于偏微分方程( p a r t i a ld i f f e r e n t i a l e q u a t i o n s ，p d e ) 的数字图像修复模型，简称为b s c b 模型。b s c b 模型通过求 解基于扩散的高阶偏微分方程，将破损区域周边的已知有效信息沿着边缘区域 的等照度线方向，各向异性的向破损区域内部延伸，并通过迭代逐步产生填充 信息，从而完成整幅图像的重建。 西南交通大学硕士研究生学位论文第5 页 在此基础上，c h a n 和s h e n l 2 】于2 0 0 2 年提出了一个整体变分( t o t a l v a r i a t i o n ，t v ) 模型，该方法采用欧拉一拉格朗日方程以及各向异性扩散的方 式使等照度线的方向得以保持。但t v 模型中是采用最短的直线来连接发生断 裂的条状结构，因此无法很好的连接断裂边缘。 针对t v 模型的缺点，c h a n 和s h e n 1 0 】提出了基于曲率驱动扩散 ( c u r v a t u r e d r i v e nd i f f u s i o n ，c d d ) 的修复模型。c d d 模型在等照度线扩散过程 中加入了轮廓的几何曲率，使得重建过程中不会出现曲率无穷大的情况，一定 程度上加强了视觉连通性。但c d d 模型对破损区域依然采用直线逼近的方法， 因此受损边界仍然会存在模糊甚至不光滑的现象。 在这三个经典方法基础上，许多研究者提出了改进算法【28 。3 们，如p e i y i n g c h e n 等【28 】于2 0 0 8 年提出了四阶偏微分方程的修复算法。也有学者通过引入能 量方程以及欧拉一拉格朗日方程进行图像建模，实现图像的重建1 2 4 - 2 7 】，如 j o o y o u n gh a h n 等【2 4 1 于2 0 12 年提出了基于增广拉格朗日算子的p 弹性曲线修 复法。 从总体来看，这些年来，基于p d e 的数字图像修复技术发展迅速、突破 也很多。然而由于p d e 方法本身并没有考虑到修复的先后顺序，并且没有针 对图像中的高频部分做出充分的考虑，因此在传播的过程中会引入模糊，这个 缺点这在修复较大破损区域时效果会比较明显。同时因为基于p d e 的修复方 法只考虑到了图像的结构层，却没有考虑到纹理层，因此基于p d e 的修复方 法无法在纹理区域的修复中取得好效果。 ( 2 ) 直接基于等照度线扩散的图像修复方法 由于基于偏微分方程的修复算法实现过程十分耗时，为了寻求快速的修复 算法，o l i v e i r a 4 5 】于2 0 0 1 年提出了一种快速修复算法。该方法通过高斯卷积核， 对破损区域进行重复卷积，将破损区域的边缘信息扩散到破损区域内部。 o l i v e i r a 的方法速度很快，但由于在修复过程中没有采用合适的算法以保持等 照度线的方向，因此在边缘细节方面几乎相当于没有恢复能力。 在此基础上，t e l e a 4 6 】于2 0 0 4 年提出了首先利用快进算法( f a s tm a t c h i n g m e t h o d ，f m m ) 进行修复路径选择，并给出了方向、距离和水平集这3 个权重 值，取邻域像素进行加权平均后，再采用平滑估计器将己知信息沿等照度线方 向进行推进。但是因为该算法中的邻域像素权重值和梯度比较分散，反而使得 加权平均后边缘信息的保持效果不理想。 2 0 0 6 年，k i h o n gk o 和s e o n g w h a nk i m 4 7 4 8 】提出了一种针对旧照片的划 痕，采用s o b e l 算子去估计等照度线的修复算法，并通过搜索邻近像素获取有 效信息，向指定的八方向扩散进行破损区域填充。 西南交通大学硕士研究生学位论文第6 页 快速修复近年来在国内的发展也十分可观。候正信等【5 8 】于2 0 0 7 年提出了 一种结合扩散率函数的选择性自适应插值修复算法。屈磊等1 49 j 于2 0 0 8 年提出 了快速自适应模板图像修复算法，通过对待修复点邻域内像素点的梯度值排 序，估计该点的等照度线方向，并结合快进法确定修复路径完成整个修复过程。 ( 3 ) 基于纹理合成的图像修复方法 1 9 9 9 年，e f r o s 和l e u n g 在i e e ei n t e r n a t i o n a lc o n f e r e n c e 上提出了根据单 个像素点的合成，进行非参数采样的纹理合成算法【3 1 1 。该算法采用了马尔可夫 随机场( m a r k o vr a n d o mf i e l d ，m r f ) 模型【5 4 1 ，对结构性纹理图像的合成效果较 好，但因为每次操作只能修复一个受损点，且需要逐点的搜索一遍样本图，因 此所花费的时间代价较大。 在上述方法的基础上，2 0 0 0 年y iw e i 和m a r cl e v o y 提出了快速纹理合成 算法，简称为w l 算法【3 2 】。该算法的思想是采用l 形邻域规则，指定某个大小 的区域进行直接采样，设置一个初始的种子点，由该点开始，逐点的向外合成 纹理。该算法既简单又直观，在一些随机性纹理图像的实验中，合成效果还算 理想，但这种基于单个像素点的合成方法却不能够反映出纹理图像所包含的结 构层信息，因此点合成的这类算法在结构性纹理的合成中效果不佳。 2 0 0 1 年，m i c h a e la s h i k h m i n 改进了w l 算法，提出a s h i k h m i n 算法p 引。 这个算法采用了相关性原理，将搜索范围控制在当前点的邻域内。确定l 一邻域 的像素点在原始图像中对应的位置后，偏移某相应量后取得待选点。a s h i k h m i n 算法f ”】总能在大多自然纹理的合成中获取良好的效果，而且因为搜索策略的改 变，a s h i k h m i n 算法与w l 算法相比，时间代价有所降低，效率则相应提高。 由于自然图像具有多方向性，s b o r i k a r 等【3 4 】提出了一种基于纹理合成原 理但却快速的填充算法。j s u n 等【3 5 】于2 0 0 5 年引入了结构纹理扩散这个概念， 提出了一种在修复结构纹理的同时，还能处理其它重叠纹理的算法。 综合上述方法，基于单个像素点的合成算法，非常耗时。针对这个问题， 有人将m r f 模型【5 4 】由点推及到面，即由一像素点推广到一像素块，提出基于 块拼接的纹理合成方法 5 5 , 5 6 】，令合成速度得以加快。 基于样本块的数字图像修复方法 3 7 。9 1 ，也是纹理合成的一大分支。该算法 结合了p d e 模型以及纹理合成这两种方法的优点，修复过程中既复制了纹理 信息，也复制了结构信息，能够将结构和纹理信息同时传播。 针对存在较大的破损区域且纹理信息丰富的图像，基于纹理合成的修复方 法是一种效果显著的修复方法，能得到较好的修复效果。 ( 4 ) 混合修复方法 对于结构信息和纹理信息均很丰富的图像，单使用偏微分方法或单使用纹 西南交通大学硕士研究生学位论文第7 页 理合成方法，都不可能取得良好的修复效果，因此出现了将两种方法相结合的 算法研究，发挥这两种方法各自的长处，其中比较典型的有以下几种： h y a m a u c h i 等1 4 0 】于2 0 0 3 年提出了通过结合多分辨率而进行纹理合成的 修复方法。该算法对原始图像进行离散余弦变换( d i s c r e t ec o s i n e t r a n s f o r m a t i o n ，d c t ) ，分解为高频及低频这两个图像成分，低频成分用快速 修复方法修复，高频成分则通过构造一个高斯( g a u s s i a n ) 金字塔，对每一层采 用多分辨率纹理合成法进行填充，输出的结果为这两个成分结果的叠加。 m b e r t a l m i o 等【4 1 】将整体变分至最小化，提取整幅图像的结构层，接下来 采用了一个震动函数模拟纹理部分或噪声的，将图像分离为结构成分和纹理成 分，然后针对不同的成分采用不同的修复方法，最后将两个成分的处理结果相 成分叠加，就得到了最终的修复结果，也有其他文献【4 2 】在进行类似方法的研究。 除了d c t 变换将图像分离为高频成分和低频成分外，也有研究采用了离 散小波变换，在不同的小波分辨率上根据图像的不同频率成份进行重建【1 5 , 4 3 。 将高频成分采用样本块方法，低频成分采用p d e 或t v 方法，完成小波系数的 修复后，通过反变换后得到修复图像。 ( 5 ) 变换域方法 近年来，变换域( 如傅里叶变换和小波变换【6 1 2 1 ) 的方法在数字图像修复领 域发展十分迅速。这类方法也利用图像的稀疏表示l i 副( s p a r s er e p r e s e n t a t i o n ) ， 结合曲波变换t 5 4 j ( c u r v e l e tt r a n s f o r m a t i o n ) 和离散余弦变换 4 4 , 6 0 等对破损图像 进行修复。 1 3 本文组织结构 论文共分为五章，内容安排如下： 第1 章综述了图像修复的研究背景、研究目的及意义，并分析了目前国内 外的研究现状，最后给出了整个论文的结构安排。 第2 章给出了图像修复技术的相关理论。从数学角度和视觉心理学角度两 方面展示了图像修复的原理、原则和特征，并给出了评价图像修复算法优劣的 方法。 第3 章研究了基于等照度线扩散的f m m 修复算法，并结合f m m 的实现 特点给出了一种矩形修复模板，通过理论分析说明了该算法的适应范围，并通 过仿真实验说明了该算法的可行性及优缺点。 第4 章研究了将八方向的等照度线扩散与卷积平滑模板修复相结合的 c i i c 算法。并且，给出了采用改进s o b e l 算子，并允许一定的等照度线方向估 计误差的有向卷积模板平滑修复的算法。在实验仿真的基础上，讨论了该算法 西南交通大学硕士研究生学位论文第8 页 的优点以及缺陷。 第5 章研究了d c t 和v o 这两种图像分层模型，并仿真比较得出v o 模 型分层效果更好。在v o 分层的基础上，将基于d c t 变换的纹理层修复和基 于等照度线扩散的结构层修复相结合，并通过仿真比较了该算法和c i i c 算法 的修复效果，验证了该算法的可行性，并取得了一定的修复效果。 最后，对全文的工作作出了总结，并给出了进一步的研究方向。 西南交通大学硕士研究生学位论文第9 页 第2 章图像修复理论基础 2 1 图像修复的数学描述 2 1 1 图像修复的数学原理 数字图像修复技术，是根据破损区域的周边已知信息，通过一定的方式将 其向破损区域内传播，最后将整个破损区域填充完整，重建信息时要令整幅图 像具有完整性及美观性，尽量达到观察者察觉不到破损痕迹的效果。这里给出 了图像修复的数学模型，有助于从数学的角度理解和分析修复过程。 假设图像v o 为一副受到污染或破坏的图像，修复的过程就是通过v o 的信 息重建原始图像v 的操作。如图2 1 所示，设整幅图像为q ，其中的破损区域 为d ，那么v of i d 就表示了图像中的己知信息。 图2 1 图像修复示意图【圳 根据贝叶斯模型中的最大后验概率概念，图像修复这个课题就是要计算出 p ( q v o ) 取得最大值时所对应的v 。由贝叶斯公式可得 2 1 】： p ( y v o ) = p ( v _ v o ) _ p ( v )( 2 1 ) p l v o ) 对于一给定的v o ，公式( 2 1 ) 中的p ( v o ) 就是一常量，上面的问题就简化为 公式( 2 1 ) 中分子的最大化求解。分子中的数据模型p ( q v o ) 所代表的是如何对原 始图像v 进行操作得到图像v 0 的方法。分子中的另一分量先验模型p ( v ) ，代表 的是原始图像v 具备的特征和满足的性质。在上述模型的基础上分析可知，图 像修复与以下两个因素密切相关：一是对图像中己知信息1 ，oi m d 的如何操作利 用，二是原始图像本身的特性。 针对含有边缘区域等几何信息的图像，采用贝叶斯公式的能量形式能够更 加简洁的解决图像的修复问题。图像v 出现的概率表示为f 2 1 】： 西南交通大学硕士研究生学位论文第1 0 页 p = 扣( 一等) 仁2 ， 式( 2 2 ) 中，m 是波尔兹曼常数，z 是分割函数，f 是绝对温度，e v 是v 的 能量。因此贝叶斯公式的能量最小化可以表示为 2 1 】： 幽e v o v + e v ( 2 - 3 ) 其中，研v 0y 】与e l y 】分别对应公式( 2 - 1 ) 中的p ( v v o ) 与p ( v ) 。 假设原始图像p ( 1 ，) 受到了高斯白噪声刀的污染，则有2 1 1 ： v 0i q 、。2 v + 咒 n 、d ( 2 4 ) 从而可以得到p ( q v o ) 的能量表示为2 1 1 ： 砜v 】= 上等等心 ( 2 - 5 ) 式( 2 5 ) 中，2 ( x ) 是图像的噪声方差。当处于均匀噪声中时，仃2 ( x ) 是一 个常量。 2 1 2 图像的定义及其导数表示 设qcr “是一维数为，2 的闭合空l 司。其中q 是图像或图像中的曲线以及它 们的定义域，刀n + 。二维图像中，刀= 2 。因此，二维图像的灰度定义为【3 6 】： “：l ix 莴( 篱刍( 2 - 6 ) 讹 工，y ) 一“( x ) 因此，图像“对变量工的导数可表示为【3 6 】： 略= 妾 ( 2 7 ) 二维灰度图像对x 和y 分别求导后所得的导数叫做梯度， v “= 陆讣( 由上式可知梯度的模值可表示为3 6 】： i v 圳= 蚝2 + “，2 图像“在指定方向v r ”上的一阶方向导数可表示为【3 6 】： = 警= v “， 用v “表示为【3 6 】： ( 2 8 ) ( 2 - 9 ) ( 2 1 0 ) 西南爻通大学硕士研究生掌位论文第1 1 页 当图像u 是二维的灰度图像时，其一阶方向导数可表示为3 6 】： j y = ( m ，v 2 ) r ( 2 - 11 ) 【“v = u “j 十屹“， 二维灰度图像“的二阶偏导数可表示为3 6 】： = 芸o x e v ( 2 - 1 2 ) ， 二维灰度图像“指定方向，r ”上的二阶偏导数可表示为 3 6 1 ： “。= 豢= v ( v v ) v ( 2 - 1 3 ) “w = 矿= v ( v 叫v ) 2 2 图像修复的指导理论与思想 2 2 1 图像修复的视觉心理学特点 人类通过视觉观察感知外界的图像，因此图像修复技术基于人眼视觉心理 学，修复效果更与视觉感官密不可分的。因此，视觉心理学在图像修复领域具 有十分重要的指导意义。 在很多与视觉相关的研究中都涉及到了“h e l m h o l t z 假设“，该假设的立 论点是：人类通过视觉系统得到的对外界信息的感知，就是其最佳猜测 2 1 】。格 式塔心理学( g e s t a l t ) 与h e l m h o l t z 有着类似的观点，该理论也支持图像修复是 一个视觉认知的过程，同时给出了视觉感知上的四个定律【22 1 ，如图2 2 所示： a )接近性b ) 相似性c ) 连续性d ) 封闭性 图2 - 2 视觉感知定律示意图【2 2 】 ( 1 ) 接近性定律。人类的视觉系统易将距离相近，又与其他相似物体存在一 定距离的物体当做一个整体。如图2 2a ) ，一般情况下，人眼会将图像中的圆 点视作一条条的水平线。 ( 2 ) 相似性定律。人类的视觉系统易将特征有所相近( 如颜色、方向等) 的物 体当做一个整体。如图2 2b ) ，人眼一般情况下会将颜色相同的那些点当作一 西南交通大学硕士研究生学位论文第12 页 条条的水平线。 ( 3 ) 连续性定律。当一条直线上有所中断时，人类的视觉系统易将该现象当 作直线被其他物体遮挡住，被截成了几段。如图2 2c ) ，人眼一般情况下会识 别为一条直线和一条曲线相交。 ( 4 ) 封闭性定律。当图像中的线条形成类似封闭的图形或者确实封闭时，人 类的视觉系统易将它当作以一条线为边界，包围形成的图形，而不容易发现该 边界是否连续。如图2 2d ) ，图形中是由三条折线围成的三角形的形状，而各 边并不闭合，但人眼一般情况下会识别为一个三角形。 无论是早期的特殊技工手工修复，还是现在扫描到计算机内通过修复算法 进行重建，都是在满足视觉观赏心理的基础上，根据修复效果来调整修复过程。 然而，人类视觉心理理论并不仅仅像上面描述的这样简单，模拟视觉过程，追 求视觉效果的过程中仍存在许多问题有待解决。 2 2 2 图像修复的基本原则 一副待修复的图像，采用不同的技术人员或者不同的修复算法对其进行操 作，可能不会得到一致的修复结果。虽然图像修复这一课题的主观性很强，但 还是存在一定的基本原则可以遵循的。t o n yc h a n 等于2 0 0 2 提出了适用于低层 次的图像修复，需要遵循的三大原则 2 1 23 】： ( 1 ) 局部性。即破损区域的信息完全依赖于破损区域附近的已知信息。 ( 2 ) 能够连通断裂的边缘。人眼总是容易对边缘区域的平滑度敏感，同时， 图像边缘处理在图像的识别和分割中占有重要的地位，因此图像修复过程中， 如何修复断裂的边缘是很重要的。 ( 3 )对噪声具有鲁棒性。即如果噪声低于一定程度，我们的视觉依然能够 从噪声图像中提取出有效正确的已知信息，并将这些信息传播到破损区域。 2 2 3 图像修复的特殊性 图像修复的对象是存在缺损信息的图像，虽然方法上与图像插值、去除遮 挡、图像恢复密切相关，但也存在一定的差异。 广义而言，图像修复问题理应划分于图像恢复领域。但是，修复算法中往 往将破损区域的信息量视为零，而恢复算法中却采用了破损区域存在的可用信 息，这种差异使得二者在实际应用中的处理方法差异很大1 2 引。就细节上的处理 而言，图像修复从数学角度也可看作插值问题，但是图像插值算法对插值函数 西南交通大学硕士研究生学位论文第1 3 页 的要求是尽可能光滑。然而实际应用中，图像的特征是多元化的，结构和纹理 信息均不简单，往往包含很多非光滑的边缘，试图用一个简单的光滑函数来表 示复杂的结构纹理变化是不可行的，这也令图像修复更有难度 2 2 1 。再者，图像 修复和去除遮挡相比之下，图像修复是偏低层次的处理，为了填补缺失的信息， 通过连接断裂地带的轮廓和保持等照度线扩散方向，以获取自然合理的图像。 而去除遮挡是在服从人类视觉原理，同时依据物体成像顺序的基础上，利用获 取的高层先验信息，如遮挡物的形态等，建立一个被遮挡区域的数学模型，近 似的填充出原本的图像1 4 3 1 。 2 2 4 图像修复的病态性 图像修复是一个病态的课题。该课题处理的对象是存在破损区域的残缺图 像，而图像的缺损却无法用简单的数学过程来表述，这种不可逆的数学过程， 采用不同的数学模型处理，可能会出现不一致的结果。 但是从另一个角度来说，当图像修复的对象只存在小区域的缺损，或是该 区域结构较简单时，受损区域周边的己知信息可能足够推断该区域需要填充怎 样的信息。在这样的情况下，即使采用不同的修复方法也应该能够得到类似的 修复效果。但始终该课题的解并不唯一，所以图像修复仍是病态的问题。当图 像修复的对象存在较大区域的破损，或是该区域有负责的纹理信息时，采用不 同的修复方法而得到的最终结果差别可能会比较大。但是，只要修复后的图像 自然平滑，破损的边界部分能较好的连接，也算是比较理想的结果。因此可以 说，在这样的情况下，修复过程的主观性较前面的情况更强，修复课题的病态 性表现的也愈加明显。 2 3 图像修复的评价标准 目前图像修复的评价标准主要有两方面可进行考量：一是修复效率，即运 行修复算法代码的时间多少；二是修复效果。修复效率可直接用时间来度量， 较修复效果的评价标准而言清晰明了。由于图像修复的病态性，无法用数学模 型进行准确描述，目前也不存在统一的标准衡量修复效果的优劣。在图像破损 严重或图像本身较为复杂的情况下，不同的修复算法处理后可能得到不尽相同 的修复结果。为了解决修复后的图像评估，研究者们采用了主观和客观两个方 面来进行评价。 主观评价来自于观看修复结果的个人对修复效果的感受，以个人的视觉感 西南交通大学硕士研究生学位论文第1 4 页 知评判该副图像是否完整、美观、自然、无痕。这种通过人眼进行判断的方法， 在修复效果差异较大的情况下感知的比较明显和直接，但细微末节上的差异却 无法轻易区分。而且，主观评价完全依赖于评价者个人的审美观和视觉感官， 不同的评价者就可能产生不同的评价。 图像质量的客观方法中最常用的是峰值信噪比( p e a ks i g n a lt on o i s er a t i o ， p s n r ) ，单位为分贝( d b ) ，可表示为： ，：2 删- 1 讲o g ( 蠢) ( 2 - 1 4 ) 其中， ( 1 0 ( i ，) 一讹朋2 m s e = 旦生面两一( 2 - 1 5 ) 公式( 2 14 ) 中，g ，是图像灰度值的最大可能值，m s e 是两幅图像所有对应 点像素值的均方误差( m e a ns q u a r ee r r o r ，m s e ) 。具体到图像修复中，1 0 ( i ，j ) 表 示的是原始图像在点( f ，) 处对应的像素值，( f ，j ) 则是修复后的图像在点( l ) 处的像素值，m x n 表示的是图像的大小，即图像中像素点的个数。 p s n r 的值越大，就表明修复后得到的图像与原始图像相比之下的误差越 小，失真越少，修复的效果就越好。g ，一般取常数2 5 5 ( 默认所有图像为8 位 量化) 。 一般判断修复效果时，都采取主客观相结合的方法进行评估。 2 4 本章小结 本章主要介绍了图像修复技术的相关理论。首先，通过贝叶斯概率模型展 示了图像修复问题的数学建模过程，并给出了图像的定义和导数表示。然后， 在人眼视觉心理学和格式塔心理学的基础上，阐述了视觉感知的四大定律，同 时列出了修复过程中需要遵循的三大基本原则，并说明了图像修复的特殊性和 病态性。最后，给出了评价图像修复算法优劣的方法。 西南交通大学硕士研究生学位论文第15 页 第3 章基于等照度线扩散的f m m 修复算法 等照度线原本是指在光照下亮度相同的那条线，将其定义引申到图像中， 就是具有同一等级的灰度值的那些像素点连成的线。因此可以说同一等照度线 上，所有像素点的灰度值相等或差异不大。 对于小区域破损图像的重建，基本上所有的修复方法都是基于同一个原 理，即在受损区域内尽量平滑的沿着等照度线扩散已知信息。 b s c b 模型采用离散拉普拉斯算子估计图像的平滑信息，t v 模型采用欧 拉拉格朗日方程和各向异性扩散来获得等照度线方向，c d d 模型在等照度线 扩散过程中加入了轮廓的几何曲率，加强了视觉连通性。但是，这三个经典模 型都是通过求解一个描述信息扩散的p d e 方程进行修复的，不仅没有考虑到 修复的先后顺序，还因大量的迭代运算而十分耗时。 为了进行修复路径的选择，文献 4 6 采用f m m 算法对图像破损区域中的 各点进行逐点修复，并在修复过程中给出了方向、距离和水平集这三个权重值， 对破损点邻域中各像素点进行加权平均。但是，由于该算法中的权重值依赖的 信息比较分散，反而导致边缘的保持效果不理想。 为了克服受损点的邻域信息分散的问题，文献 4 9 提出了一种简单的非迭 代自适应模板快速图像修复算法。该算法在对图像局部特性分析的基础上，通 过对破损点邻域内各像素点的梯度值进行排序，估计出该点的等照度线方向， 从而自适应的确定其修复模板。 本章根据快进法的实现特点，将文献 4 9 提出的7 7 的修复模板简化为基 本上具有同等信息量的4 个4 x 7 的矩形修复模板，并通过实验仿真证明了该修 复模板可行。 3 1f m m 修复算法的数学模型 如图3 1 所示，点p 是待修复区域q 的边界a q 上的一待修复点。取点p 的 一个半径为的已知邻域统( p ) ，由图像修复的基本思想可知，点p 的灰度值 将由已知邻域色( p ) 里的各点q 来确定。在足够小的前提下，图像中p 点灰度 值的第一顺序近似值( p ) ，由q 点灰度值i ( q ) 和梯度v ，( g ) 来获得，表示为4 6 1 ： ( p ) = i ( q ) + v l ( q ) ( p - q ) ( 3 - 1 ) 西南交通大学硕士研究生学位论文第16 页 图3 1 图像修复数学模型示意图1 4 6 j 为了修复