（计算数学专业论文）基于曲率驱动的图像修补方法.pdf

摘要 图像修补是数字图像处理的重要内容，可用于被损坏的图像和视频修复、视频文字 去除以及视频错误隐藏等，最近出现的图像修补方法主要是基于偏微分方程的图像处理 方法。本文首先给出了基于偏微分方程的图像修补原理，然后用该方法建立了一个图像修 补方程，通过这个修补方程的修补效果可以看到，它仅使图像得到了光滑，但不能使得图 像的边缘跳跃，因而使得修补痕迹明显于是本文针对这些不足提出了另一个修补模型， 并且根据这个修补模型的修补效果可以看到，连接到达修补区域的水平线修补图像所提 出的曲率驱动的修补模型与其它修补模型相比，它使修补的图像具有光滑的水平线和陡 峭的边缘，能够有效的提高修补效果 关键词：图像修补，偏微分方程，变分法，梯度递减流，曲率 a b s t r a c t i m a g ei n p a i n t i n gi sa l li m p o r t a n tr e s e a r c hf i e l di ni m a g ep r o c e s s i n g ，w h i c hc a nb eu s e d t or e t o u c hd a m a g e di m a g e s $ 1 i i dv i d e o s r l n i o v et e x ta n d e a m e a le r r o r si nv i d e o sa i ms o0 1 1 r e c e n t l y ，t h ei m a g ei n p a i n t i n ga l g o r i t h mi sa l m o s tb a s e do nt h em e t h o do fi m a g ep r o c e s s i n g a b o u tp d e t h i sp a p e rf i r s tp r o p o s e st h et h e o r yo fi m a g ei n p a i n t i n gb a s e do np d e t h e n w ee s t a b l i s ho n ei n p a i n t i n ge q u a t i o n su s i n gt h i sm e t h o d t h r o u g ht h ei n p a i n t i n ge f f e c t s o ft h i sd i f f e r e n ti n p a i n t i n ge q u a t i o n s ，w ec a ns e et h a ti t o n l ym a k et h ei m a g es m o o t hb u t i tc a n tm a k ee d g e ss h a r p ，w h i c hm a k et h ei n p a i n t i n gt r a c eo b v i o u s i no r d e rt or e s o l v et h e d e f i c i e n c y , a n o t h e ri n p a i n t i n gm o d e li sp r o p o s e d a n db a s e do nt h ei n p a i n t i n gm o d e lw ec a l l f i n dt h a tt h ec u r v a t u r ed r i v e ni n i ) a i i l t i n gm o d e lh a v es m o o t h e rl e v e ll i n e sm i d s h a r p e re d g e s c o m p a r e dw i t ho t h e ra l g o r i t h m s ，a n dt h em o d e lr e c o n s t r u c t sm i s s i n gi m a g ei n i b r m a t i o nh y c o n n e c t i n gt i l eb r o k e nl e v e ll i n e sr e a c h i n gt h ed a m a g e dr e g i o i l sf o r c e st h ec o n s t r u c t e di m a g e s oi tc a ui m p r o v et h ei n p a i n t i n ge f f e c t sd e e p l y , k e yw o r d s ：i m a g ei n p a i n t i n g ，p a r t i a ld i f f e r e n t i a le q u a t i o n ，v a r i a t i o n a lm e t h o d ，g r a _ c l i e n td e s c e n t c u r v a t u r e 第一章绪论 视觉是人类最重要的感知手段，图像又是视觉的基础，因此，数字图像就成为心理学、 生理学，计算机科学等诸多领域内人们研究视觉感知的有效工具随着图像处理技术在现 代军事、医疗、遥感、气象等现代信息处理领域中变得越来越重要，尽管数字图像处理的 发展历史不长，但却已经引起各方面人士的广泛重视 1 1数字图像修补的基本知识 图像是对客观现象的一种相似性的、生动性的描述或写真或者说图像是客观对象的 一种表示，它包含了被描述对象的有关信息 一副图像可以定义为一个二维函数f ( x ，y ) ，这里茹和y 是空间坐标，而在任何一对 空间坐标( 茹，y ) 上的幅值，称为该点图像的强度或灰度当( z ，y ) 和幅值，为有限的、 离散的函数值时，称该图像为数字图像 按图像空间坐标和亮度( 或色彩) 的连续性可分为模拟图像和数字图像 模拟图像指空间坐标和亮度( 或色彩) 都是连续变化的图像 数字图像是由有限的元素组成的，每一个元素都有一个特定的位置和幅值，这些元素 称为图像元素，画面元素或像素 从2 0 世纪6 0 年代起，随着电子计算机技术的进步，数字图像处理获得了飞跃发展 所谓数字图像处理是指借用数字计算机对图像进行一系列的操作，以达到预期目的的技 术数字图像处理离不开计算机，因此又称计算机图像处理 数字图像处理是研究“图像信息的获取、传输、存储，变换、显示、理解与综合利用 的”一门崭新学科根据抽象程度不同，数字图像处理可分为三个层次：狭义图像处理， 图像分析和图像理解 狭义图像处理是对输入图像进行某种变换得到输出图像，是一种图像到图像的过程 图像分析主要是对图像中感兴趣的目标进行检测和测量，从而建立对图像的描述是 一个从图像到数值或符号的过程 图像理解则是在图像分析的基础上，基于人工智能和认知理论，研究图像中各目标的 性质和他们之间的相互联系，对图像内容的含义加以理解以及对原来客观场景加以解译， 从而知道和规划行动 】 从历史上看，数字图像处理研究有很大部分是致力于修补的，包括对算法的研究和针 对特定问题的图像处理程序的编制 图像修补技术是指针对图像中遗失或者损坏的部分利用未被损坏的图像信息，按照 一定的规则填补，使修补后的图像接近或达到原图的视觉效果 图像修补技术可以安全有效地数字化恢复损坏的艺术作品，并可去除图像中的文字或 者其它不期望的物体，也可以应用于视频点播，对网络中丢弃或者损坏的视频信息进行修 复已改善观看质量 图像修补的建模过程一般依赖h e l m h o l t z 最佳猜测原理【4 】另外，一个实用的图像 修补模型应该能够从含有噪声的图像中提取干净的图像，并且从剩余的图像信息中猜测最 佳的丢失信息因而依据最佳猜测原理建立图像修补模型是自然的最佳猜测原理常常要 通过最优化能量泛函实现 1 2本文产生的背景 随着数字视频产品和服务的发展，数字视频对计算机、电信及图像行业产生了重大的 经济影响但在获取数字图像过程中常会发生图像质量下降( 退化) 的现象，这些退化包 括由光学系统、运动等造成图像模糊，以及源自电路和光度学因素的噪声而这种退化有 时能使我们的工作功亏一篑例如，获取的太空研究中月球和行星的退化图像因此去除 或减轻这些退化，也就是将损失掉的图像质量部分修补过来将是一项非常重要的工作 从数字角度来看，图像修补是一个病态问题，因为没有精确的模型来描述图像，没有 足够的信息可以保证能唯一正确地恢复损坏区域，因此图像修补绝不是简单的图像插值问 题人们从视觉心理学的角度进行分析，提出了各种假设限定来解决这个问题目前，已 出现了许多图像修补方法，主要有非线性滤波方法，贝叶斯方法，小波和谱分析方法以及 主要用于纹理突袭的学习生长方法和统计方法 b e r t a l m i o ，s a p i r o ，c a s e l l e s 和b a l l e s t e r 在【1 5 】中首先将数字图像修补作为一个研究课 题正式提出来最近出现的图像修补算法主要基于偏微分方程方法和变分法根据着手点 的不同可以分为两类：一类是基于偏微分方程的图像修补方法，这类方法通过分析像素点 间的关系，将损坏区域周围的信息延伸到区域里面此类模型主要有c a s e l l e s ，m o r e la n d s o b e r t 的公理化方法【1 】，连续延伸方法【2 】，扩散方法 3 】等 第二类包括所有基于最佳猜测原理的变分模型从统计的观点来看，最佳猜测与贝叶 2 斯框架理论比较相似基于贝叶斯原理的图像修补是简单和直观的：艺术家进行图像修补 时主要考虑两方面的因素，即怎样利用图像剩余部分的信息( 数据模型) 和原先好的图像 模型属于什么类型的图像( 图像模型) 在变分法中，最佳猜测通过优化能基泛函实现 这类模型主要有t 总体变分模型( t o t a lv a r i a t i o n ) 5 1 ，函数化的弹性模型 7 】，值和方向 ( v a l u ea n dd i r e c t i o n ) 的联合模型【8 】8 ，基于m u m f o r d - s h a h 的主动轮廓模型等 b e r t a l m i o 等人提出了一种基于高阶偏微分方程的算法【9 】9 ，利用待修复区域的边缘 信息，确定扩散信息和扩散方向，从区域边界各向异性的向边界内扩散 c r i m i n i s i 等人提出了一种易于纹理生成的修复方法【lo 】，在待修复区域的边界通过 块匹配的方式选择合理的纹理填充，对纹理修复有较好的效果，但对结构信息的能力有 限 m a s n o u 等人使用等照度线的方法【1 1 1 2 】，在待修补区域边界采用动态规划确定等 照度线的方式，然后直线连接对应的等照度线并对区域内进行填充，对简单结构信息有较 好的修补效果，但抗噪声能力比较弱 l e v i s 等人提出了一种基于概率的修补方法【1 3 】，通过对梯度和夹角的统计得到其概 率分布，然后以待修补区域内总体概率最大为准则求最优解，对物体的边角有很好的效 果，但这种方法在使用前需要先选择训练区域，而且对训练区域有较高的要求，因此在实 际应用中受到一定的限制 c h a n 等人通过扩展基于t y 模型的去噪方法，提出了基于t v 模型的修补方法【1 4 】 其优点是允许跳跃边缘的存在，且求导后得到的欧拉一拉格朗日方程的数值算法简单但 它不满足连续性原则f 4 】，并且修补的图像中存在拐角 1 3本文的主要工作 在本文的第二章中，介绍了利用偏微分方程修补图像的原理以及如何利用偏微分方程 来修补图像在第三章中，我们基于水平线演化的思想提出一个曲率驱动的图像修补方程 及其修补算法，该种修补方法使修补的图像具有光滑的水平线和陡峭的边缘，比已存在的 许多修补算法的修补效果都有较大的提高 3 第二章基于偏微分方程的图像修补 目前我们主要有三类图像处理工具：随机模型理论、小波理论和偏微分方程理论随 机模型理论主要基于马尔可夫随机场理论，可以直接处理数字图像；小波理论来源于信号 处理，并且依赖分解技术；而自9 0 年代以来，用偏微分方程处理图像的方法得到了较大 的发展 用变分和偏微分方程方法处理图像，使得我们能够在连续域中分析图像，从而简化问 题，否则只能依赖点阵和各向同性算子分析图像在连续域中，可以将偏微分方程看作是 在无限小邻域内迭代的局部滤波器，利用对偏微分方程的这种解释，可以将许多已知的迭 代滤波器联合并分类，从而推出新的基于偏微分方程的图像修补模型变分和偏微分方程 方法的另一个优点是能够利用数值偏微分方程获得快速，准确、稳定的解 2 1基于偏微分方程的图像修补原理 扩散方程作用于图像时有一定的物理意义可以将图像看作是特殊小球的密度函数， 扩散方程作用于图像时会产生一个流场( f l u xf i e l d ) ，修补区域d 外的图像可以看作是一 个小球的固定源泉偏微分方程修补图像的物理过程解释为：在流场的作用下小球通过 边缘切线流到区域d 里面，最终达到平衡因此我们可以利用许多偏微分方程来修补图 像，在利用偏微分方程修补图像时，其形式可以表达为： i 处理图像的偏微分方程比d i去噪方程v x d 。 下面我们讨论一些重要的偏微分方程在图像处理中的作用及效果： l 对信号低通滤波时，可以将不同尺度的信号与高斯函数做卷积，这等价于解一个 热方程，且将原信号作为初始值【1 9 】即； 酉o u = 钍( 茹，帅( z ，o ) = 。( z ) 的解为u ( x ，t ) = g t 乱o ，其中g t = c t - 1 2 e x p ( - x 2 4 t ) 是高斯函数 但是这个方程和高斯滤波器一样，在平滑图像的同时把边缘也模糊了，修补后得到的 图像是光滑函数 4 在一些不变性要求下，热方程是一个较好的线性光滑算子，为了克服模糊边缘的问 题，出现了许多好的非线性的方法 2 在1 9 8 7 年p e r o n n a 和m a l i k 2 0 】首先提出了一个非线性的光滑模型，其散度形式 为： 瓦o u = d i 移( g ( i v 乱i ) v u ) ，札( z ，o ) = 咖( z ) ( 2 1 1 ) 其中g 是一个光滑非递增的函数，g ( o ) = 1 ，g ( z ) 0 ，当8 一o o 时，g ( 8 ) 一0 该方 程光滑图像的平坦部分，而增强边缘部分但这个方程不能消除噪声的影响，反而会放大 噪声且若对g 的限制条件不够强，会导致方程病态 将方程( 2 1 1 ) 添加一项，强迫u ( t ，z ) 和u o 接近，方程变为； 筹一击”o ( i v 训) v “) = u 一“。 但是解的正则性及唯一性一般不存在 取g ( 8 ) = 1 8 时，实际上就是r u d i n ，o s h e r 和f a t e m i 提出的t v 处理模型 3 将方程( 2 1 1 ) 中的梯度算子用v g 0 u 代替，可以得到一个改进的具有选择性的 光滑模型 2 1 】 鬻= 踟( g ( i v v 。+ 1 ) v “) ，钍( 删) = u o ( z ) 该方程有效的克服了上面两个问题，c a t t e ，l i o n s 和c o i l 证明了这个方程解的存在性、唯 一性和正则性 4 a l v a r e z ，l i o n s 和m o r e 2 1 】建立了一个曲率驱动的图像恢复模型： 瓦o u = g ( i g + v i ) l v “i d i 口( v 仳i v 1 ) ( 2 1 2 ) 其中g tv u 是v u 的局部估计，g ( 8 ) 与( 2 1 1 ) 式中的g ( 8 ) 取法相同这个模型有选择 性地光滑图像，增强并尽量保存边缘i v u l d i v ( v u i v u l 是一个退化的扩散项，它仅仅扩 散与梯度垂直的方向，即光滑边缘的两侧g ( 1 a + w , i ) 用来增强边缘，控制扩散的速度 还有其它很多处理图像的偏微分方程，大多也和热方程及扩散强度相联系通过上面 的分析，可以利用各种算子建立自己的偏微分方程 目前，通过几种方法我们可以得到修补图像的偏微分方程，例如可以从演化方程( 如 经典s n a k e 模型【6 】) 的导数中得到，也可以从求解变分问题中获得，此时的基本思想是 最小能量化泛函 5 近几年来，总体变分的极小化方法已成为图像处理领域的重要工具由c o a r e a 公式 f 1 6 】可以建立图像函数“的总体变分与图像中水平线之间的联系用总体变分来处理图像 时，一般是求在满足特定条件下总体变分最小的图像，实际上就是求水平线的长度积分最 小的图像，这里，我们主要介绍目前运用较多的最小化能量泛函的基本思想来得到处理图 像的偏微分方程 2 2变分法 大量用于图像处理的偏微分方程都是根据最小能量泛函得到的，在这一节里，我们先 来推导一个关于变分法的经典结果 欧拉方程： 给定一个一维函数u ( x ) ：【0 ，1 】一r ，并且有边界条件tu ( o ) = a ，u ( 1 ) = b ，这 里又给定另一个函数f ：j r 2 一r 定义能量模e ； e ( “) ：= f o f ( u ，u t ) 如 我们的问题是：求使该能量模最小的札的取值 根据微积分知识，我们知道对于一维可微的函数f ( x ) ：r r f ( x ) 的极值会在驻 点( ，( z ) = 0 ) 处取得那么，类似地，对于能量函数e ( u ) ：当e ，( “) = 0 时e ( u ) 才有 可能取得极值这里 = 箦 下面我们先来求， 设函数v ( x ) ：【0 ，1 】一r ，且v ( o ) = 口( 1 ) = 0 当口和 7 都很小时，则由t a y l o r 展 式； f ( “+ 口，“+ 钉) = f ( “，钍) + 秒否o f i + 口, 石o 了f + 从而； 所以： f of ( u “) = f 0 1 f ( “，) + z 1 钉瓦o f + 1t 丽o f + e + ”) = e ( “) + 0 1 扣瓦o f + ”, 丽o f ) d z + 6 由极值( 弱) 的必要条件； ( 钍) = 0 1 p 瓦o f + 钉, 丽o f ) 如= 。 通过分部积分我们可以得到： 矾“) = z 1 p 瓦o f 一”_ 【d 丽o f ) 】如+ ”筹1 5 = 。 由条件 ( o ) = v ( 1 ) = 0 ，且对任意的 都有上式成立，所以； 瓦o f 一五d 伽o f ) = o抛n z 伽7 。 该式是能量函数e ( u ) 取得极值的必要条件，此即为一维变分问题的欧拉方程 类似地，对于能量形式： e ( “) ：= f ( “，“7 ，”) d x 我们也可以得到其欧拉方程t o f d(of1+一d2【而ofoud x o ud x 2o u ) = 0 。 、， ” 二维问题的欧拉方程推导过程完全类似：给定二维函数札( z ，y ) ：q r 2 一r ，以及其 能量函数e ，这里： e ：= f ( “，瓦o u ，舅，面0 2 u ，0 鲫2 u 。) d x 句 则其欧拉方程为： 瓦o f 一瓦d ( 瓦o f ) 一面d o f ) + 去( 篷) + 岳( 器) = 。 例如：设 f = p ( i v u l ) 这里p ( r ) ：r r 是给定的函数，v u 是u 的梯度即 f 刊 ( 塞) 2 + ( 笔) 2 】 ) 则其欧拉方程为： 乏( 差) + 石d ( o f ， 即： _ 【d i v u i ) 南】+ 南枷v u d 南】= 威瞅l v u l ) 尚】_ 。 ( 2 2 1 ) 对于特殊情形： p ( r 1 = r 2 因为： p ，( r ) = 2 r 则此时( 2 2 1 ) 式即为： d i v ( v u ) = 0 即： a u = 0 这里表示拉普拉斯算子 2 3梯度递减流 从变分法一节中我们已看到，根据最小化能量泛函的思想我们可以得到其e u l e r 方 程，而此e u l e r 方程即为能量泛函取得最小值的必要条件现在我们的问题是如何求出 该e u l e r 方程的解，也就是如何去求解方程： e 7 ( “) = 0 从而来求得使能量泛函e ( i t ) 取得最小值时的u 的取值 对于如何求解该方程，一般情况下直接求解是很困难的，甚至说是不可能的。现在我 们给出一个比较可行的求解e u l e r 方程的技巧；首先给定一个初值u o ，再引进一个辅助 的时间参数t ( t i m em a r c h i n gp a r a m e t e r ) ，然后来求偏微分方程； 祟：( u ) 瓦2 e 州 的数值解随着t 的增长，当该方程达到稳定状态，即； i o u ：0 砒 时，此时的解u 就是我们要找的方程( 札) = 0 的解 8 这个技巧就称为梯度递减( g r a d i e n td e s c e n t ) 不过在利用这种技巧前，我们常常需要解决一些问题；例如，这个偏微分方程的解是 否唯一? 它的解是否依赖于初值条件? 当然，在能量非凸的情况下，这个解将会很大程度 地地依赖于初值u o 例如：对于上节例子中的p ( r ) = r 2 ，因其e u l e r 方程是乱= 0 ，则其对应的梯度 下降流为； o u ( x 石, y 一, t ) ：u ( z ，剪，t ) 况 一、。 这是一个抛物型方程 总而言之，基于偏微分方程的图像修补可以看作是这样一个过程；根据图像修补模型 ( 建立的能量泛函) ，我们可以得到其e u l e r 方程，再利用该e u l e r 方程所对应的梯度下 降流作用于需要修补的图像( 我们把它称为初始图像“o ) ，此时的梯度下降流即为图像修 补方程，随着时间参数t 的增长( t i m e m a r c h i n g ) ，图像会一步步地被修补，当偏微分 方程的解稳定时，那么此时的解就是修补后的图像 2 4用光滑修补模型建立偏微分方程的图像修补 记d 为待修补区域，e 为待修补区域的外邻域，一般为环状，如下图所示t 记修补前e u d 区域内的图像值为u o ，修补后e u d 区域内的图像值为u 光滑的图像修补模型为； 哪n 矗l v “1 2 d x d y 。 该图像修补模型的几何意义是；在修补的图像中，使沿各水平线的梯度积分最小，因 此趋向于得到光滑图像即该修补模型是为了使待修补区域及其边界尽可能的光滑 由第二节知识知道，该模型的e u l e r 方程为； ：= 0 9 其对应的梯度下降流( 即图像修补方程) 为： 掣：牡：心+ u 疣“一” 该方程是一个各向异性的扩散方程，扩散强度的大小依赖于各点的梯度，即等水平线 的强度变化，而不依赖其它几何信息 设( i ，j ) 为目标像素，时间层n = 0 ，1 ，2 ，则“( i ，j ) 表示像素( i ，j ) 在时间层n 处 的灰度值，u z 。( i ，j ) 表示( i ，j ) 处对z 的二阶偏导数那么，该图像修补方程离散化后为： 瞄1 - “喝j + 略t j + 啄l + - 一蜮) v o ) d ( 2 4 1 ) 【“孑1 = “ v ( t ，j ) e 最终的算法步骤如下： 先将待修补图像各像素点的灰度值读取出来，判断哪些是待修补区域，哪些是非修补 区域将待修补区域内的像素点记为0 ，非修补区域内的像素点记为1 ，再对待修补图像 中的像素点逐一进行判断，如果当前像素点的标记为0 ，就将该点的灰度值按( 2 4 1 ) 中 的第一式进行迭代；如果当前像素点的标记为1 ，就将该点的灰度值按( 2 4 1 ) 中的第二 式进行迭代，这样就更新了待修补图像各像素点的灰度值设定及6 0 ，当迭代 次后，计算前后两次迭代的图像距离差，设新旧两幅图像分别为u 和口，将新旧两幅图像 的距离差定义为： i 乱一”i = 【( 就( i ，j ) 一钉( 1 ，钟p ( 1 ，j ) e e u d 若距离差小于6 ，则停止迭代；若距离差大于6 ，则增大迭代次数n ，继续进行迭代 当前的迭代结果即为修补图像 下面是用光滑模型对图像的修补结果； 1 0 图l 原图 图2 修补区域在平坦部分 图3 修补区域在边缘部分或带状物的断裂尺度较大 图4 修补区域是带状物且带状物的断裂尺度较小 1 1 实验结果分析： 把上面的修补图像与原图进行比较，我们可以看到，在用光滑修补模型修补图像时， 若修补区域是平坦区域或带状物的断裂部分较小时，那么该修补方案的修补效果还是较好 的，但若修补区域在边缘处，或者修补区域是带状物且带状物断裂尺度较大时，这种模型 的修补结果就模糊了边缘，从头发及嘴唇的修补结果能够看到这一点这是由于该方案主 要用于平滑图像，因而就模糊了边缘，使得修补的痕迹较为明显，不能得到满意的效果 1 2 第三章曲率驱动的图像修补方程分析及算法实现 在大多数的图像修补问题中，修补区域经常失去了图像的几何信息( 如边缘) ，为了 能够重构这类信息，模型中应该利用图像的几何信息例如梯度v u ，曲率k 都代表图像 中的几何信息，它们对图像处理都是很重要的，从而我们可以要求图像中水平线的几何信 息分别满足不同的性质来建立修补模型 设u ( x ) 是图像“在点z 的灰度值，对每个灰度值a ，水平集z u 定义为： z u ：= z i 札( z ) a ) 水平线定义为z - 就的边界图像中的所有水平线构成了一幅图像的完整表示，即一幅图 像可以完全通过它的所有水平线构造 在图像处理和计算机视觉中，许多偏微分方程都可以表示曲率驱动的曲线或曲面演 化在这个领域中，o s h e r 和s e t h i a n 1 7 1 建立发展起来了水平集方法，其基本思想是将 曲线或曲面表示为高维曲面的零水平集我们知道，图像实际上是由灰度值不同的水平线 组成，因此可以通过对图像中水平线的处理达到处理图像的目的基于曲率在图像修补领 域中处理关键问题的重要作用，在本章中，我们提出一个基于曲率驱动的图像修补方程， 它使修补后的图像具有光滑的水平线和陡峭的边缘 3 1 由e u l e r se l a s t i c ai n p a i n t i n g 模型建立的曲率驱动图像修补模型 水平集方法的原始思想是比较简单的，给定舻空间中的曲面r ，讨论它在速度场 ( 流场) 旷控制下的变化情况，速度场y 的大小依赖于空间点的位置、演化时间、曲面 的几何信息( 如法向量或平均曲率) 和对曲面的外部作用力结合图像处理来说，就是通 过将图像中的各水平线在速度场y 的作用下以某种规律演化，从而可以得到相应图像在 速度场矿作用下的变化情况来达到处理图像的目的 我们可以假定一幅真实图像应该满足的性质，以此建立不同形式的原始模型在这里 将对图像的处理转移到图像的水平线上，使图像中的各条水平线满足某种性质，从而使整 幅图像作相应的调整，这就要建立相应的图像处理模型 在目前的文献中，我们主要研究了从二阶平面曲线模型一e u l e r 8e l a s t i c a 产生的一个 变分修补模型关于曲线的先验模型和图像的先验模型之间的间距就是通过水平集的概念 1 3 联系起来的一般来说，图像的水平集一旦确定，那么就会把曲线先验模型提升给图像的 先验模型( 和t h e o r yo fb vf u n c t i o n s 2 3 】中的c o a r e a 公式是类似的) 这就是m a s n o ua n d m o r e r 在图像修补【2 2 】中如何首先提出这种模型的我们当前的文献主要致力于( a ) 研究 以e l a s t i c a s 和曲率为基础的修补模型的数学基础和特性( b ) 探索所做工作和前期建立的 以p d e 为基础的修补模型的实验工作间的关系( c ) 建立解决相关的非线性p d e 的数值 p d e 格式，相比于m a s n o ua n dm o r e l 的线性程序算法 2 2 】本文提出的在边缘检测方面 或沿着边界方向的像素耦合数值p d e 方法更加灵活，并且这也提升了在修补区域k 2 2 上的拓扑限制 定理：设c 1 ( r ，( 0 ，0 0 ) ) ，且代价函数。 r ( u ) = 妒( k ) j v u l d x 其中k 表示图像中水平线的曲率，v u 表示图像中水平线的梯度 则其所对应的梯度递减流( t h eg r a d i e n td e s c e n tt i m em a r c h i n g ) 为； 窑：v ( 碱z e u 0 且沿着o ( e u k ) 有边界条件： 嘉- 0 ，掣= 。 ( 3 - ) 口d ( 其中矿表示边界的外法向量) ，流矿为； 矿刊蛳一三i v u l 华 ( 3 2 ) 这里元表示上升的法向量尚，f 表示切向量 如图： 1 4 证明；为了以后方便，我们记： ( f ) =l f d x j e u k 边界积分 l n 8 = l d s j o ( e o k ) 其中d s 表示欧几里德弧长元素 则从r 一兄+ 6 r 的变分为： 6 r = p ( 烈纠l v u l ) ) = ( 妒( 七) 6 l v u i ) + ( n u l s 砂( k ) ) = ( 妒( 七) 尚6 i v 训) + ( 7 ( 忌) j v “m 七) ) = 一v ( ( 七) 商) 6 u ) + ( 西 ( k ) w u i s k ) 这里对于上式最后一行，为了利用散度定理( 或分部积分法) 来去掉边界积分 ( 豁v u 嘉a 。il a 矿。 我 f i n d 第一个边界条件：沿着o ( euk ) 有 笔：o ( 3 3 ) a 。 r 吖 接下来我们计算曲率变分 6 ( v 尚) v 南v ( 6 ) + v 街( 南) v 丽1 ( 6 “) 一尚( v 仳v ( 6 u ) ) v 南 ，一再。田v ( 乩) 这里，i 表示识别变换( i d e n t i t yt r a n s f o r m ) ，且p = 元。再是法向量方向上的正交投影 注意到；，= 元圆元+ 两f 我们有： ( ( 七) i v “l e i k ) = ( 7 ( k ) r v “f v 南 f 。磅v ( 6 u ) ) = ( 一v ( 妒( k ) l v u 叫南 f 习v ( 6 u ) ) 1 5 利用分部积分，我们可以去掉边界积分 ( ( 七) 扩 i vt b v ( 6 乱) ) 。 由边界条件( 3 3 ) ，秽v u = 0 或等价地；沿着o ( e t j k ) ，有1 7 = 士f ( ( ) 矿 f o 玎v ( d 仳) ) 6 =( ( 南) o 乃v ( 6 ) ) 6 ( ( 七) 矿v ( 如) ) j ( 掣) 。 ( ( 七) 6 ( 器) ) 。 ( ( 七) 6 ( o ) ) 6 =0 现在回到变分运算，注意到；f 圆f 是对称的，于是有 ( ( 后) l v u 嘲= ( 一 f 圆磅1 v l 妒t ( 七) 酬) v ( 6 u ) ) = ( v o 3 2基于曲率驱动的修补方程分析及其算法 为了使修补区域内的图像和其外部一样具有光滑的水平线，我们根据水平线演化的性 质和同一水平线上曲率间的关系，根据待修补区域d 外水平线的性质( 光滑睦线或直线) 来连接断裂的水平线，通过计算并最小化修补区域内每点的曲率来重构图像的水平线，使 修补区域内水平线的性质类似于修补区域外水平线的性质，但不改变边缘的梯度信息这 里我们令上节定理中的庐( 后) = a + b k 2 提出； t h ee l a s t i c ai n p a i n t i n gm o d e l ： r ( 让) = ( o + b k 2 ) l v u l 则其梯度下降流( t h eg r a d i e n t d e s c e n tt i m em a r c h i n g ) 为： 赛= v 矿( 碱z e u k t o 其中 眠) = ( 卅掘2 ) 元一同2 b o ( k 疣l w l ) r 这里元和f 如上节图所示宄是水平线上沿梯度方向的单位向量，f 是切向量 1 修补方程中各量的数值实现： 沿梯度方向的单位向量： 元= ( 蚴= ( 丽d x u ，丽d y u ) 切向量： f 部“。) = ( 一丽d y u ，丽d x u ) 水平线的曲率： k=v ( 尚) = v ( 简，高) 仍( 简) + 岛( 篇) 1 7 流场 同理 访= ( a + b k 2 ) 一( a + b k 2 ) 矿= ( ，k ) 元一2 b 可( t l d = ( kj v u d + t 2 d ”( k l v u l ) ) - t l 筒+ 丽2 b 。( d x u d u ( k l v u ) 一d v u d , ( k i v u l ) ) d y u 玩一( a + b k 2 ) 高一尚( 取u d v ( k l v u d d y u 眈( 七l v f ) ) 见 2 修补方程的离散化： 如图； 设( i ，j ) 为目标像素，时间层n = 0 ，1 ，2 ，则u n ( i ，j ) 表示像素( i ，j ) 在时间层n 处 的灰度值，d 。u ( i ，j ) 表示( i ，j ) 处对z 的偏导数，d p “( t ，j ) 表示( i ，j ) 处对y 的偏导数， k ( i ，j ) 表示( ，j ) 处水平线的曲率 于是，( i ，j ) 处的梯度值： v “( ，j ) = ( 眈仳( t ，j ) ，巩“( i ，j ) ) = f 从而； i v u 删= ；抓而可f 万i 开可石万矿丽了= 研 ( i ，j ) 处的曲率： 坤= 等蒜瓮产一半群 ( i ，j + 2 ) 一“( i ，j + 1 )u ( i ，j + 1 ) 一“( f ，j ) i v u ( i ，j + 1 )i v “j ) 1 8 后o + ：，j ) ：侧礼m o d ( k ( i + l ，j ) ，k ( i ，j ) ) m i n m o d ( n ，卢) ：s i g n ( a ) _ + f s i g n 一( p ) ；i 扎( i 口i ，i 卢i ) 见o + ：，j ) ：牡o + 1 ，j ) 一仳( i ，j ) d 。( k l v “f 0 + i 1 ，歹) ) ：k ( i + 1 ，j ) f v “f 0 + 1 ，j ) 一k ( i ，j ) l v 札i ( i ，j ) 111 d u u ( i + 百1 ，j ) = m i n m o d 【；扣0 + 1 ，j + 1 ) 一u ( i + 1 ，j 一1 ) ) ，；( “( t ，j + 1 ) 一u ( i ，j 一1 ) ) 】 11 d ”( kj v u ) ( i + 去，j ) = m i n m o d ；( ( k w u l ) ( i + 1 ，j + 1 ) 一( k w u ) ( i + 1 ，j 一1 ) ) ， ；( ( k l v 札) ( i ，j + 1 ) 一( k l v 札) ( ，j 一1 ) ) 】 i v u l 2 ( 互1 ，j ) = ( 仇乱( 互1 ，掰十( 巩仳( 蚪互1 ，硝 ：二二_ 羔2 2 ：| i 譬：至；聂：一；i 兽；淫兰 c 。2 - ， 像中的像素点逐一进行判断，如果当前像素点的标记为0 ，就将该点的灰度值按( 2 4 1 ) 中的第一式进行迭代；如果当前像素点的标记为1 ，就将该点的灰度值按( 2 4 1 ) 中的第 二式进行迭代，这样就更新了待修补图像各像素点的灰度值，也就是对待修补图像做了初 步的修补然后再把这个修补结果各像素点的灰度值读取出来作为新的待修补图像继续进 行修补仍按前面的过程，将待修补图像各像素点的灰度值读取出来，判断哪些是待修补 区域，哪些是非修补区域将待修补区域内的像素点记为0 ，非修补区域内的像素点记为 1 ，再对待修补图像中的像素点逐一进行判断，如果当前像素点的标记为0 ，就将该点的 灰度值按( 3 2 1 ) 中的第一式进行迭代；如果当前像素点的标记为1 ，就将该点的灰度值 按( 3 2 1 ) 中的第二式进行迭代设定及6 0 ，每迭代次后，计算前后两次迭代 的图像距离差，设新旧两幅图像分别为u 和v ，将新旧两幅图像的距离差定义为； i 札一口i = 【( u ( i ，j ) 一钞( i ，j ) ) 2 】 ( i , j ) e e u d 若距离小于6 ，则停止迭代，若距离大于6 ，则重复初步修补后的过程那么当前的迭代 结果即为修补后的图像 下面是我们用基于曲率驱动的修补方程( 3 2 1 ) 所做的图像修补结果； 图5 原图 图6 修补区域是带状物且带状物的断裂尺度较小 图7 修补区域在平坦部分时 图8 修补区域在边缘部分或带状物的断裂尺度较大 2 1 实验结果分析； 把上面的修补图像与原图进行比较，我们可以看到，无论其修补区域是在平坦区域还 是在边缘部分，无论带状物的断裂尺度是稍大还是较小，在用此算法修补后所得到的效果 都是较好的该修补方案使得修补区域内外的水平线性质非常类似，也就是说，在修补时 该算法是根据修补区域外水平线的性质来连接修补区域内断裂的水平线，并且不改变边 缘的梯度信息因此这就使得所修补的图像不但光滑，而且具有陡峭的边缘，修补效果是 比较令人满意的 结束语：图像修补实际上就是怎样有效的利用图像的灰度信息和几何信息来恢复图像数 据本文基于曲率驱动的图像修补算法主要是考虑了其它很多修补方案不能同时兼顾光滑 图像和边缘陡峭而提出来的，这个算法弥补了不足，从而使得修补效果比较令人满意，更 有实用性 参考文献 f l jv e a s e l l e s ，j ，m m o r e l ，a n dc s b e r t a na x i o m a t i ca p p r o u c ht oi m a g ei n t e r p o l a t i o n i e e e t r a n s i m a g ep r o c e s s i n g ，7 ( 3 0 ) ：3 7 6 - 3 8 6 ，1 9 9 8 【2 】m b e r t a l m i o m ，g s a p i r o ，v e a ：s e l l e s ，a n dc ，b a l l e s t e r i m a g ei n p a i n t i n g c o m p u t e rg r a p h i e s ( s i - g g r a p h 2 0 0 0 ) ，p p 4 1 4 2 4 j u l y2 0 0 0 【3 】t f c h a r t ，s h k a n g ，a n d ，j s h e n e u l e r se l a s t i c aa n dc u r v a t u r eb a s e di n p a i n t i n g s u c l a c a m0 1 1 2 2 0 0 1 【4 ls g e m a na n dd g e r m a n s t o c h a s t i cr e l a x a t i o n ，g i b b sd i s t r i b u t i o na n dt h eb a y e s i a nr e s t o r a - t i o ni m a g e s i e e et r a np a m i - 6 1 6 n o v e r b e r ，1 9 8 4 【5 1 r u d i nl ，o s h e rs ，f a t e m i e n o n l i n e a rt o t a lv a r i a t i o nb a s e dn o i s er e m o v a la l g o r i t h m s p h y 8 - i c a ld ，6 0 ：2 5 9 2 6 8 1 9 9 2 【6 】g o l d e n b e r gr ，k i m m e lr ，r u d z s k ym f a s tg e o d e s t i ca c t i v ec o n t o u r i e e et r a n s a c t i o n so n i m a g ep r o c e s s i n g ，2 0 0 1 ，1 0 ( 1 0 ) ：1 4 6 7 - 1 4 7 5 【7 】s m a s n o u ，j m m o r e l l e v e ll i n e sb s e dd i o c d u s i o n p r o c e e d i n g so f5 t hi e ei n t 1c o n f o ni m a g e 【8 】c b a l l e s t e r ，m b e r t a l m i o mv c a s e l l e s ，g s a p i r oa n dj v e r g e r a f i l l i n g - i nb yj o i n ti n t e r