（模式识别与智能系统专业论文）图像修复技术的研究及其在视频图像斑点去除中的应用.pdf

东南大学学位论文独创性声厶t11ii115li4ii。ll14ill。lll 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：蛆导师签 期： 摘要 摘要 数字修复技术通过适当的算法估计并填充图像指定区域内的缺损数据，被广泛应用于图像传输、 图像压缩、修复有划痕和裂痕的照片、修复旧电影胶片等方面。随着计算机技术的发展，如何实现半 自动或自动地完成图像或视频的修复工作，成为数字图像处理领域研究的重要课题。本文主要围绕静 态图像以及动态视频图像序列内指定区域的修复问题展开研究。 1 在静态图像修复方面，本文概括了现有的图像修复理论与算法，对其中几种经典算法进行了详细 的分析与比较，对已有的基于快速步进法与水平集法相结合的曲线进化算法进行改进，提出了一种新 的基于分组步进法( g m m ) 的图像修复算法。其中： ( 1 ) 针对已有的快速步进算法对原始图像边缘信息保持能力不够的问题，提出了改进方案。利用 梯度排序来估计等照度线方向，然后沿着等照度线对待修复区域进行图像信息传递，这样便可以保证 等照度线尽可能平滑，图像的边缘也能得到较好的保持。 ( 2 ) 提出了一种新的基于分组步进法( g m m ) 的图像修复算法。通过对原算法的曲线进化方式进 行改进，避免了对待修复区域边缘像素集合中所有点到进化曲线的距离进行排序，从而节省了曲线进 化时间。实验结果表明，本文方法能够有效降低经典快速步进算法的时间复杂度。 2 在动态视频序列图像修复方面，本文介绍了视频的各种损伤特征及其模型，对斑点检测和修复的 现有方法进行了总结综述并通过了实验仿真，提出了一种新的基于时空结合的斑点检测算法。该算法 模型简单，计算量小，检测效果较好。 ( 1 ) 采用基于m r f 模型的检测方法，并采用模拟退火算法寻求最优解。由于m r f 模犁的特点，该 检测器能充分利用斑点局部空间上的一致性特征，使得其检测效果得到进步的改进。 ( 2 ) 由于m r f 模型检测器模型比较复杂，在寻求最优解阶段采用的算法计算复杂，计算量大，算 法运行时间长。针对此问题，本文提出了一种新的基于时空结合的斑点检测方法，该方法充分利用了 斑点模型的时空特性，且方法简单易懂。实验表明，该方法的检测效果较之前的方法有较大的改进。 关键词：图像修复，视频修复，快速步进，时空结合，斑点去除 东南人学硕士论文 a b s t r a c t t h em a i ng o a lo fd i g i t a li n p a i n t i n gi st oe s t i m a t ea n df i l lt h ep i x e l si ns o m ea p p o i n t e di m a g er e g i o n sb y p r o p e rm e t h o d i th a sb e e nw i d e l yu s e di ni m a g et r a n s f e r r i n g ，i m a g ec o m p r e s s i n g ，i n p a i n t i n gd e g r a d e d i m a g e s ，r e s t o r i n go l df i l m sa n ds oo n w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y ，h o wt oi n p a i n ti m a g e s a n dv i d e o sh a l f - a u t o m a t i c a l l yo re v e na u t o m a t i c a l l yb e c o m e sa ni m p o r t a n tt a s ki ni m a g ep r o c e s s i n g r e s e a r c h e s t h i sp a p e rm a i n l ys t u d i e so nt h ei n p a i n t i n gp r o b l e m so fa p p o i n t e dr e g i o n si ns t a t i ci m a g e so r v i d e oi m a g es e q u e n c e s 1 i nt h er e s e a r c ho nt h es t a t i ci m a g ei n p a i n t i n g ，t h ee x i s t i n gt h e o r i e sa n da l g o r i t h m so fi m a g ei n p a i n t i n ga r e i n t r o d u c e di ng e n e r a l i t i e s ，a n ds o m er e p r e s e n t a t i v ei n p a i n t i n gm e t h o d sa r ea n a l y z e da n dc o m p a r e di nd e t a i l s an e wi m a g ei n p a i n t i n ga l g o r i t h mi sp r o p o s e db a s e do ng m m ( g r o u pm a r c h i n gm e t h o d ) b ya d v a n c i n gt h e e x i s t i n gc u r v ee v o l u t i o na l g o r i t h m s ( e g ，f a s tm a r c h i n gm e t h o d ) t h ew o r ki n c l u d e ss o m ei m p o r t a n t a s p e c t sa sf o l l o w s ： ( 1 ) a 肿ws t r a t e g y t o p r e s e r v et h ee d g ei n f o r m a t i o nm o r ee f f i c i e n t l yi sp r o p o s e d b yu s i n gt h e g r a d i e n t - s o r t i n ge s t i m a t i o n ，w ec a nc o n t i n u et h ei s o p h o t e sa ss m o o t h l ya sp o s s i b l ei n s i d et h er e c o n s t r u c t e d r e g i o ns ot h a te d g ei n f o r m a t i o nc a nb eb e t t e rp r e s e r v e d ( 2 ) a n o v e lt e c h n i q u ef o ri m a g ei n p a i n t i n gb a s e do ng m mi sp r o p o s e d w ei n t r o d u c eg m mf o rn a r r o w b a n de v o l u t i o n s i n c ei tt a k e sm u c hl e s st i m eo nn a r r o wb a n de v o l u t i o n ，o u rt e c h n i q u ei sm o r ee f f i c i e n t t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc a n s a v e + _ 4 0 0 ：ot i m ec o m p a r e dw i t hf m m 2 i nt h er e s e a r c ho fv i d e oi m a g es e q u e n c ei n p a i n t i n g ，b ya n a l y z i n ga n dc o m p a r i n gt h ee x i s t i n gm e t h o df o r b l o t c hd e t e c t i n ga n dr e s t o r i n g ，an e wm e t h o db a s e do nt h eb l o t c h ss p a t i a la n dt e m p o r a lc h a r a c t e r i s t i ci s p r o p o s e d ，w h i c hi ss i m p l e ，a v a i l a b l ea n dl i g h tc o m p u t el o a d ( 1 ) an e wb l o t c hd e t e c t i n gm e t h o db a s e do nm r f i sp r o p o s e db ym a k i n gf u l lu s eo ft h es p a t i a l c o n s i s t e n c yo fb l o t c h i nt h i sa l g o r i t h m ，s i m u l a t e da n n e a l i n ga l g o r i t h mi sa d o p t e dt or e a c ht h eo p t i m a l s o l u t i o ns ot h a tw ec a ni m p r o v et h ep r e c i s i o no ft h eb l o t c hd e t e c t i n gm e t h o d ( 2 ) i no r d e rt or e d u c ec o m p u t a t i o n a lc o m p l e x i t yo fm r fm o d e ld e t e c t o r ，an e ws p a t i o - t e m p o r a l c o m b i n a t i o nd e t e c t i n gm e t h o di sp r o p o s e d t h ee x p e r i m e n t a lr e s u l t sp r o v et h a tt h i sb l o t c hd e t e c t i n gm e t h o d i sl o w e rf a u l t r a t i ot h a ns d la n dm r f k e y w o r d s ：i m a g ei n p a i n t i n g ，v i d e oi n p a i n t i n g ，f a s tm a r c h i n g ，s p a t i o t e m p o r a lc o m b i n a t i o n ，b l o t c h r e m o v a l l i 目录 目录 摘要i 目录l l i 第一章绪论。1 1 1 研究背景l 1 ，1 1i 鲴像修复1 1 1 2 视频修复2 1 2 研究现状。5 1 3 本文主要的工作与创新7 1 4 本文组织结构7 第二章数字图像和视频修复典型算法9 2 1 数字图像修复算法9 2 1 1 b e r t a l m i o 图像修复算法1 2 2 1 2 整体变分( t v ) 模型1 4 2 1 3 基于纹理合成的数字图像修复算法1 6 2 2 数字视频修复算法1 7 2 2 1 斑点的自动检测算法1 8 2 2 2 斑点的修复算法2 2 2 2 3 斑点检测效果衡量方法2 4 2 3 本章小结2 6 第三章基于分组步进算法的图像修复方法2 7 3 1 数学模型2 8 3 2 用f m m 进行数字图像修复2 9 3 3 分组进行算法3 0 3 4 基于g m m 的图像修复算法一3 1 3 5 修复一个像素。3 3 3 6 实验结果与分析3 4 3 7 本章小结。3 6 第四章基于时空结合的序列图像斑点去除3 7 4 1 m a r k o v 随机场3 7 4 1 1 m a r k o v 随机场基本概念3 8 4 1 2 图像的概率模型与m a r k o v 随机场3 9 i i l 东南人学硕士论文 4 1 3 m a r k o v 场与g i b b s 场的等价性4 0 4 1 4 基于m a p m r f 的分析框架4 1 4 2 基于m r f 模型的序列图像斑点检测4 2 4 2 1 位置、标记、邻域系和基团的确定4 2 4 2 2 能量函数的确定4 3 4 3 利用模拟退火算法估计m a p 4 4 4 3 1 模拟退火算法4 4 4 3 2 估计斑点二值图像4 6 4 3 3 实验结果4 8 4 4 基于时空结合的斑点检测方法5 0 4 4 1 算法描述5 0 4 4 2 实验结果5 1 4 5 本章小结5 2 第五章结论与展望。5 3 致谢。5 5 参考文献。5 6 攻读硕士学位期间发表的学术论文6 1 i v 第一章绪论 1 1 研究背景 第一章绪论 数字修复理论最早由m b e n a l m i o 提出【1 1 ，经过逐渐发展，由早期对单幅图像进行修复，扩展到 结合时间域信息对视频进行修复【2 4 j 。此外，数字修复技术还从图像领域向图形领域延伸，衍生出了 对3 d 网格进行缺孔填补的技术 5 1 1 6 1 。数字图像和视频修复是估计并填充图像或视频内指定区域的缺 损信息的处理过程。从视觉心理学的角度出发，图像修复是根据指定区域的边缘信息，向内按一定方 向进行扩展延伸，连接边界、合成纹理，以达到视觉上的连通性和一致性。图像和视频修复是近年来 数字媒体中倍受关注的热点。它涉及到的技术很多，包括图像去噪【7 】f 引、非线性插值 9 1 1 1 0 1 、扩散方程 【l l l 【1 2 1 、边缘结构连接【1 3 l 、贝叶斯理论【1 4 1 、小波理论【1 5 l 【1 6 1 7 1 、马尔科夫随机场【1 8 l 【1 9 j 、纹理合成、图像 配准、视频运动分析例、特征提取及匹配等。 1 1 1 图像修复 传统的图像修复技术最早出现于欧洲文艺复兴时期。当时人们为了修复美术作品中因为时间侵 蚀、颜料龟裂而造成裂隙，就请一些专业的画家来恢复作品的原貌，这类工作被为“i n p a i n t m g ”。专 业画家手工修复时，一般是先从破损区域的最外部开始修复，尽量将离破损区域最近的内容延伸到内 部，使整幅画显得自然协调。从这里得到启发，研究人员开始利用计算机模仿手工修复图画的过程， 开发了数字图像修复技术。无疑，数字图像修复技术为那些具有珍贵艺术价值的经典画作提供了一种 比较安全、客观的修复方法。它降低了可能产生的人： 修复对原始画作所带来的破坏风险，而且也可 以客观地旱现修复完成后的预期效果。数字图像修复在图像处理、图形分析、电影工业、图像传输等 中也有广泛的应用，例如在数字图像、照片和老电影中的划痕去除( s c r a t c hr e m o v a l ) ，图像中的文字 擦除( t e x te r a s i n g ) ，遮挡去除( d i s o c c l u s i o n ) ，图像的“变焦”( z o o m i n ga n ds u p e r - r e s o l u t i o n ) ，图像中 特定目标的消除( o b j e c td i s a p p e a r a n c e ) ，图像中眩目部分的消除( r e m o v a lo ft h el a s e rd a z z l i n ge f f e c o 以及多种图像特效等都与图像修复相关。用户需要简单地选择修复范围，计算机就会自动完成对划痕、 空白区域的填充，或是去掉障碍物后填充背景图案，可以很人程度减少印前图像处理的时间和手：【： 作量。 从广义上讲，图像修复( i m a g ei n p a i n t i n g ) 属于图像恢复( i m a g er e s t o r a t i o n ) 领域的问题。但 是两者的研究目标和算法方面存在较大差别： 图像恢复的主要任务是从已退化的图像中，利用先验知识对退化图像进行最佳估计，而图像修复 的主要任务是填充图像的受损区域，该区域内的图像信息是完全未知的。 目前图像修复中的某些基于偏微分方程的算法思想和图像恢复的算法比较接近。但更多的，比如 基丁：纹理合成的图像修复算法，其算法思想和图像恢复的算法完全不同。 1 1 2 视频修复 视频修复是对视频损坏区域进行自动填充的技术，经过视频修复，原来损坏、缺失的区域得到了 很好的填充，得到了人类视觉可以接受的一致性结果。视频修复对老旧电影的复原有着十分重要的应 用意义。电影是以一定速率转动胶片投影剑银屏上给人以生动形象感觉的图像序列，然而，由丁胶片 上化学物质随时间在空气中的退化反应以及以前胶片保存技术的落后，使得影片无法良好的保存，或 损坏或丢失或老化。根据美国国会图 s 馆的一个调查，美国8 0 的无声电影已经丢失或者无法修复： 另一个报告指出9 0 1 9 3 0 年以前拍摄的无声电影和5 0 1 9 5 0 年以前拍摄的无声电影已经丢火1 2 2 1 。国 内这方面的统计不得而知，但是我国电影胶片的保存手段以及意识相比国外更加落后。因此可以想象 的是，我国已经有1 e 常多的旧影片已经丢火或者止在丢失。如何保存电影资料已经成了迫在眉睫的任 2 第一章绪论 务。另一方面，由于以前电影制作设备本身的一些欠缺以及电影胶片在拷贝、播放和存放过程中不可 避免地会受到一些损伤，现保存下来的影片出现了诸如闪烁、斑点、划痕、抖动、退色、帧丢失等问 题，视觉效果上人打折扣。图1 2 给出了闪烁、斑点、划痕、退色等例子。与此同时，如不及时对这 些影片进行翻新修复工作，这些保存下来的影片也将随之丢失。因此，将这些保存下来的影片及时进 行翻新修复也是一项紧急的任务。 ( a ) 闪烁的例了 ( b ) 斑点的例子 r r ) 划痕的例子 ( d ) 褪色的例子 图1 2 各种视频损伤永例 3 东南人学硕上论文 一直以来并没有什么好的方法来解决有效保存和修复电影这个问题。然而近3 0 年来，我们正在 经历一场数字化革命。随着计算机技术的迅猛发展，各种数字信号处理技术特别是图像处理技术的完 善，使得将数字技术应用到旧电影的保存和修复中成为了可能。数字技术相对以前的保存和修复方 法有着非常大的优势，体现如下：一、数字化存储电影资料受环境影响小，不需要特别的暗房存储； 二、数字化存储可以实现非常方便准确的拷贝；三、数字化修复可以大大减少人力物力的投入，修复 好的电影不再需要重新翻新修复。 由于数字技术具有这些优点，人们开始尝试j j 数字技术来修复影片。一个典型的例子就是1 9 9 3 年美国迪斯尼公司耗资9 0 0 万美元使用柯达公司的数字图像中心的数字修复系统c i n e o n 修复经典迪 斯尼动画电影白雪公主，不仅将遍体鳞伤的“白雪公主”修复一新，而且修复后的自雪公主 获得了意想不到的商业成功t 2 1 j 。这一成功大大加速了数字技术在旧电影的修复中的应用。在国内，旧 电影的修复一直没有得到相应的重视和发展，直到最近几年才见相应报道。2 0 0 5 年中国电影将启动 一项百年电影资料影片的数字化修复工程，保护中国电影遗产，同时扩大数字电影放映节目源，可以 说中国电影的修复工作才刚刚起步。 一方面，利用数字技术对2 0 世纪经典旧电影的修复，不仅让这些封存在历史一记忆里的故事和 人物又重新生动形象地出现在人们面前，而且让我们清晰地欣赏老一辈优秀电影艺术家们的精心杰 作；另一方面，电影也是外国了解中国文化的一个重要窗口，修复后的旧电影非常具有收藏价值和文 化艺术价值。 ( a ) 受损区域的检测 ( b ) 受损区域的修复 图1 3 视频修复示例 4 第一章绪论 1 2 研究现状 图像修复是当前计算机图形学和计算机视觉中的一个研究热点，被，“泛应用丁恢复缺损图像受损 区域的灰度、颜色、纹理等信息，添加或删除图像中特定的某些元素等情形。其本质是一个根据图像 受损区域外的信息对受损区域进行插值的过程。根据待修复区域的人小和形状的不同，图像修复的方 法可以分成两个大的方向：一类是基于几何图像模型的图像修复( i n p a i n t i n g ) 技术，该技术特别适用 于修复图像中的小尺度缺损；另一类是基于纹理合成的图像补全( c o m p l e t i o n ) 技术，该技术对于填 充图像中大的丢失块有较好的效果。基于p d e 的方法可以修复图像当中细小的破损区域，比如划痕， 当破损区域较大时修复结果往往不够理想；纹理合成的方法适用于破损区域较大的图像的修复，但是 这类方法往往不能修复图像的结构信息。 2 0 0 0 年s i g g r a g h 大会上，b e r t a l m i o q 首先提出了基于偏微分方程的数字图像修复算法( i m a g e l n p a i n t i n g ) ，算法沿等照度线的方向将待复区域周闱的信息迭代到修复区域内，产生修复信息。等照 度线的方向可以通过计算修补的轮廓线上的每一个点的离散梯度向量( 表示空间最大变化的方向) ， 并将其旋转9 0 度得到，这样可以在迭代的过程中，有效的保持边界，通过二维的拉普拉斯算子局部 估计色彩平滑的变化，也是沿等照度线方向迭代的；每若干步迭代之后，算法进行一个反复扩散的过 程，以保持被修复区域的平滑。各向异性的扩散( a n i s o t r o p i cd i f f u s i o n ) 有利于保持穿过修复区域的 边界。c h a r t 等随后提出了整体变分( t o t a lv a r i a t i o n ，t v ) 模型1 4 z 5 2 】和基于曲率驱动扩散的模型 ( c u r v a t u r ed r i v e nd i f f u s i o n s ，c d d ) 【铝】。t v 模型使用欧拉拉格朗日方程并且在修复区域内沿等照度 线方向采用各向异性的扩散。这个模型在修复小区域以及去噪方面有很好的效果，但是对于破损边界 常常不能很好的修复。c d d 模型扩展了t v 模型，在定义扩散的力度方面，考虑到了等照度线方向的 几何信息，这使该模型能够很好的处理较大的区域。c h a r t 和s h e n 等将用于图像分割的m u m f o r d s h a h 能量模型应用于图像修复上，使用了活动轮廓和水平集的概念，提出了一种基于分割的图像修复方法。 国内方面，浙江大学c a d & c g 国家重点实验室的周廷方【5 3 】等提出了基于径向基函数的图像修复 方法，图像的颜色值看作规则采样点上的高度场，把二维图像修复问题转化为三维离散点的重建问题。 冯志林 5 4 1 等将m u m f o r d s h a h 能量模型应用到提花织物图像的修复问题上。张红英【5 5 j 等证明了 p - l a p l a c e 算子的扩散性能优于传统1 v 模型，并利用f - l a p l a c e 算子的非线性各向异性扩散的性能来 填充受损区域。虽然这类基于偏微分方程的方法可以很好地修复破损区域较小的图像，但是仍存在较 大的缺点：对于人面积缺损图像特别是纹理图像的修复则会产生模糊现象，不能修复破损区域的纹理 信息，因此很难与周围的图像信息保持一致。 与基于p d e 的方法只适用于较小破损的修复不同，纹理合成的方法适合于缺损面积较人的图像 的修复，其思想是利用抽样和复制破损区域外的纹理信息来构造新的纹理填充到破损区域。j a i n 5 6 l 认 为：纹理一般指基本纹理元素纹元的重复。纹元由几个像素组成，其位置是周期性的、类似周期 性的或随机性的。自然纹理一般是随机的，而人造的纹理通常是确定的或周期性的。纹理可以是粗糙 的、细致的、平滑的、颗粒状的、有波纹的、规则的、不规则的或线性的。纹理合成的方法按照其使 用的原理可分为两人类：基了统计特征的纹理合成和基于块拼接的纹理合成。 5 东南人学硕 论文 1 9 9 5 年，h e e g e l 7 6 j 等最先提出了基于金字塔模型的纹理合成算法，他们利用拉普拉斯和可控的金 字塔进行纹理合成。z h u l 7 7 1 等引进了一个称为f r a m e 的数学模型，通过特征提取和特征熔合两个过 程来获得该模型，这个模型把滤波器和直方图结合到马尔科夫随机场( m a r k o vr a n d o mf i e l d ，m r f ) 模型上，并使用最人最小平均信息量原则来选择特征统计量，对一些纹理都取得了较好的合成效果， 但是时间花费上却是惊入的。以上这些方法虽然对具有统计特征的纹理取得了较理想的结果，但其最 大缺点是不能处理具有较强结构性的纹理。x u l 7 8 l 等人最早提出基于块拼接的纹理合成方法，采用随 机块拼接的方法来快速合成纹理，首先将样本纹理进行重复映射，然后通过混沌变换得到合成纹理， 使样本纹理中局部特征具有本质规律但视觉随机分布。纹理合成的合成速度与合成质量都有了很人的 提高。c r i m i n i s i 7 9 1 提出了基于i n p a i n t i n g 思想的样本块纹理合成的修复技术，其算法核心是基于样本 的纹理合成。由于纹理合成采用匹配的方法，可能产生视觉的不连续性。特别当受损区域跨越纹理区 域和非纹理区域时，纹理合成的方法很难保证两种区域之间的边界信息。当图像包含较多噪卢时，纹 理合成方法往往不能找到合适的匹配纹理块。 运动图像的修复是数字图像修复的另一个应用领域，主要是针对破损旧电影的视频修复。面对大 量处于失去边缘的珍贵电影胶片资料，国外在上世纪9 0 年代就展开了面向旧电影修复的算法研究。 如维也纳大学v c p c 实验室的f r a m e 工程【舳】、澳大利亚奠那什大学通信与信息工程系p 2 1 以及欧洲 委员会支持的b r a v a 工程1 8 l j 等等。通过这些研究来达到最大限度地还原甚至是增强现有旧电影的视 觉听觉效果的目的。相对于国外来说，国内这方面的研究工作还非常欠缺，尚未见有任何的相关研究 报道。虽然市场上也有一些经过数码修复的中国影片，但是其主要修复工作都是依靠国外的设备和技 术完成的。例如第6 2 届威尼斯国际电影节上展出的中国1 0 部在1 9 3 9 到1 9 9 9 年间拍摄的旧电影，其 修复工作全部是在国外完成。国内在具有完全知识自主产权的数字视频修复和新技术上来说还是一片 空白，在各类研究期刊杂志上也未见相应的研究文章出现。如果直接利用国外的技术和设备，修复旧 影片的成本是相当高的。因此，在国内开展数字视频修复方面的研究是相当有意义的。 根据破损区域的特点，国外先后提出了一些破损区域自动监测算法。s t o r e y 等【3 3 1 1 9 8 5 年最先提 出了直观法：设定一个阈值，通过比较前后帧的帧间差异是否大于该阈值来判断某像素是不是破损区 域。k o k a r a m 等【驯【3 5 1 于1 9 9 5 年提出了s d i ( s p i k ed e t e c t i o nl n d e x ) 方法，引入了运动补偿，通过计 算像素的s d i 值代替帧间差异来进行判断。但是以上两种方法只考虑了破损区域的时间不一致性。 n a d e n a u t 了7 】于1 9 9 6 年提出基于3 帧图像的r o d ( r a n ko r d e r e dd i f f e r e n c e ) 方法，在时间复杂度上优 于m r f 方法，在判断的正确率上要好于直接法和s d i 法，但是r o d 算法需要设定3 个阈值米判断 一个像素是不是属丁破损区域，闽值的选取比较麻烦，而且r o d 算法对噪声的影响十分的敏感。 使用破损区域自动检测算法将图像的斑点和划痕等破损部分检测出来后，修复的过程实质上就是 对这些区域进行插值计算。在进行修复的过程中，对视频图像来说像素之间的空间相关性和时间相关 性都是可以利用的信息。在很多算法中仅仅只考虑了时间上的信息，而空间上的信息也是1 f 常有用的， 这也是修复算法一直在研究的内容。根据时空信息，人们采j l j 了各种各样的方法对破损进行修复，如 m m f ( m u l t i l e v e lm e d i a nf i l t e r ) 1 4 0 1 1 4 3 1 、a r ( a u t o r e g r e s s i v e ) i 3 9 l 【4 3 删模型、基丁图像修复技术等等。 6 第一章绪论 1 3 本文主要的工作与创新 本文主要围绕静态图像以及动态视频图像序列的修复问题展开研究。 1 在静态图像修复方面，本文概括了现有的图像修复理论与算法，对其中几种经典算法进行了详细 的分析与比较，对已有的基于快速步进法与水平集法相结合的曲线进化算法进行改进，提出了一种新 的基于分组步进法( g m m ) 的图像修复算法。其中主要包括以下研究工作与创新： ( 1 ) 针对已有的快速步进算法对原始图像边缘信息保持能力不够的问题，提出了改进方案。原算 法首先利用快进算法选择修复路径，并使用方向、距离和水平集三个权值对邻域像素进行加权平均， 然后沿着等照度线进行平滑估计。由于其邻域像素权值和梯度分散，加权平均后对于边缘保持效果不 理想。改进方案利用梯度排序来估计等照度线方向，然后沿着等照度线对待修复区域进行图像信息传 递，这样便可以保证等照度线尽可能平滑，图像的边缘也能得到较好的保持。 ( 2 ) 为了更快地进行图像修复，本文提出了一种新的基于分组步进法( g m m ) 的图像修复算法。 通过对原算法的曲线进化方式进行改进，在每一次的进化过程中选择一组到进化曲线的距离小于某一 规定值的点来进行步进，避免了对待修复区域边缘像素集合中所有点到进化曲线的距离进行排序，从 而节省了曲线进化时间。实验结果表明，本文方法能够有效降低经典快速步进算法的时间复杂度。 2 在动态视频序列图像修复方面，本文介绍了视频的各种损伤特征及其模型，对斑点检测和修复的 现有方法进行了总结综述并通过了实验仿真，采用r o c 衡量方法对各种斑点检测方法进行了比较、分 析和总结。针对现存技术大多只利用了斑点时间上不连续性的特点，而没有考虑斑点空间上一致性的 特点，本文采用了基于m r f 模型的检测方法，并采用模拟退火算法寻求最优解。由于m r f 模型的特点， 该检测器能充分利用斑点局部空间上的一致性特征，使得其检测效果得到进一步的改进。由于m r f 模 型检测器模型比较复杂，在寻求最优解阶段采用的算法计算复杂，计算量大，算法运行时间长。针对 此问题，本文提出了一种新的基于时空结合的斑点检测方法，该方法充分利用了斑点模型的时空特性， 且方法简单易懂。实验表明，该方法的检测效果较之前的方法有较人的改进。 1 4 本文组织结构 本文分为五章，具体结构安排如下： 第一章绪论，简要描述了数字修复技术的历史由来、应h j 场合，概括了目前的研究现状，并总结 了本文的主要研究工作与创新，最后介绍了论文的组织结构。 第二章介绍了当前主流图像修复和视频修复算法的特性及其特点。在图像修复领域根据待修复区 域的不同特点，重点讨论了基tp d e 的修复算法和纹理合成两犬类方法的优点及不足；在视频修复 领域根据修复的步骤，首先分析了经典的视频破损区域臼动检测算法，然后对破损区域的修复算法进 行了探讨。 第三章提出了一种新的基丁分组步进法的图像修复算法，详细介绍了新算法的思路和具体实现细 节，并通过大量的实验对新算法和现有的算法的图像修复结果进行比较，最后还总结了新算法的特点 7 东南人学硕f ：论文 和进一步的研究方向。 第四章主要研究斑点的时空结合算法。首先介绍了基于m r f 模型的斑点检测算法。并采用模拟 退火算法进行m r f 能量函数的最优化求解。m r f 模型充分利用了斑点的时空特性，检测效果得到了 较好的改进。针对斑点的时空特性，本文进一步提出了一种新的基于时空结合的斑点检测算法，该算 法模型简单，计算量小，检测效果较好。最后进行了实验仿真和分析比较。 第五章结论，归纳了本文研究工作的主要内容和创新之处，并针对研究课题中不尽完善的地方以 及今后研究的发展方向，提出了一些意见和建议。 8 第二章数，图像和视频修复典型算法 第二章数字图像和视频修复典型算法 数字图像和视频的修复实际上是一个根据朱破损区域的信息对破损区域进行插值的过程。两者的 不同之处在于：图像的修复往往只存在一幅破损图像，因此可用信息完全集中在该幅图像的未破损部 分，即图像修复只能利用图像的空域信息，而且破损区域也需要修复人员通过人工标记出来，图像的 破损部分的自动识别完全无法实现。而在视频序列的修复中，由于视频是由一系列图片帧的时序序列 构成，相邻帧之间往往具有较大的相似性，因此可用信息不仅存在于待修复帧的朱破损部分，还存在 于待修复帧的相邻帧中，即视频序列的修复不仅可以利用空域信息，还可以利用时域信息。由于斑点 和划痕通常是随机的分布于各帧上，在整个序列中不存在重复性，因此完全可以利用序列的时域性来 取定破损区域的位置。 由于图像修复过程中破损区域是人工指定的，因此不需要做破损区域的检测，只需要根据破损区 域的掩码对破损图像直接进行修复。根据图像破损区域的大小和形状不同，图像修复算法可分为基于 p d e 的修复算法和纹理合成( t e x t u r es y n t h e s i s ) 算法两大类。基于p d e 的修复算法适合于破损区域 较小或者细长的情况，比如划痕；纹理合成算法则适合于破损区域较大，或者破损区域内部有丰富的 纹理信息的情况，比如图像中物体的移除。 在视频修复过程中，一段视频序列往往包含较多的帧，人工指定每一帧的破损区域是非常低效的。 由于视频序列的时域相关性，以及破损区域往往是时域部重复的，通常可以根据相邻帧的信息确定某 一帧的破损区域位置。由于视频的破损往往是由于斑点所造成的，因此视频修复需要经历两个步骤： 斑点的自动检测和斑点的修复。根据所用到的信息，检测算法和修复算法可以是基于时域信息、基于 空域信息或者时空信息融合的。由于视频的背景往往是运动的，因此在使用自动检测算法和修复算法 之前，往往需要对视频帧进行运动估计和运动估计修正处理。 2 1 数字图像修复算法 从数学角度来看，图像修复就是要根据待修复区域周围的信息将图像填充剑待修复区域中( 如图 2 1 所示) 。然而，图像修复通常是一个病态问题，因为目前仍没有足够的信息可以保证能唯一正确 地恢复被损坏部分，所以，人们从视觉心理学的角度进行分析，提出各种假设限定用来解决这个问题。 可见图像修复属于图像复原的研究领域。 9 由于图像函数的复杂性，图像修复并不是简单的函数插值问题，也不仅仅是一个边界值问题。对 于自然图像，m u m f o r d 【2 8 1 提出通过图像分布或者是“可为传感器检测出来的因素来建立模型。对于多 数图像来说，虽然其函数常常包含了非常丰富的统计信息，要远比一些普通的随机域的简单采样复杂 得多。在经典的傅立叶变换方法以及广泛应用的线性小波分析中，图像被认为是在r 空间中的。在 基于各向异性扩散的尺度空间理论中，图像是被认为在有界变差函数空间中。对于许多人为的图片来 说，分段平滑函数是极好的近似函数，并且较容易实现。由于图像的非平稳性，图像修复技术面临极 大的挑战。 在经典的近似原理中，平滑修复允许我们严格的研究修复的精确性。在许多应用中，这些模型并 不实际，因为： ( 1 ) 许多图像包括了边缘及纹理等非光滑的成分，这就决定了图像的函数模型应该是非平滑的。 ( 2 ) 图像中常常含有噪声。 显然在手工修复过程中，人类的认知能够很轻松地解决上述的问题，因此在建模的过程中，期望 能够模仿手工修复的机制，建立更加可靠的低层的修复模型。因此这些特性使建模还原为h e l m h o l t z 冽 最佳猜测原理。在被遮断的区域中，物体连通的方式只能基于我们所能看到的部分进行猜测。类似的， 修复古画时，修复者只能根据己有特征从而对丢失部分作出最佳猜测米填充以色彩和物体。 所以基于最佳猜侧原理建立修复模型是很自然的。在确定性逼近中，最佳猜测是通过最优化一些 能量函数建立的。可靠的建立最佳猜测也并不简单，因为必须处理诸如模式识别利统计信息之类的复 杂图像i ：作。本文中，不讨论复杂图像处理，仅研究简单的图像建模。根据上述讨论，简单图像修复 模型必须遵从的二人原则： 1 0 第二二章数字图像和视频修复典型算法 ( 1 ) 模型必须是局部的。限制模型并不需要全局信息，修复区域的信息完全由修复区域周围己 有的信息产生。对于需要先验知识、模式识别等才能修复的图像，下面讨论的算法都不能正确的修复， 比如对于人脸的图像，假设受损的区域完全覆盖了一只眼睛或是全部的嘴唇，这就需要我们从对称的 角度或是靠先验知识，才能从人类视觉上修复，但是下面的算法所产生的都会是没有眼睛或是嘴唇的 可怕的脸： ( 2 ) 模型必须能够修复破损的狭窄的光滑边缘。我们必须关心边缘修复，因为人眼对边缘是十 分敏感的，因此边缘对于物体的识别以及图像分割来说是至关紧要的。并且在实际例子中，图像中边 缘的断开或连通是由很大的动态变化的范围决定的。尽管如此，通常，并不期望去完全恢复大片受损 的边缘，原因就是我们在前面说明的比例的因素； ( 3 ) 模型对噪声的鲁棒性。这是由于对于人的视觉来说，当噪声低于一个合理的层次时，从存 有噪声的图像中提取有用的特征信息并将其扩展到修复区域，这是很容易的一件事。但是当噪声情况 比较严重时，算法的抗干扰能力就比较重要了。 在图像修复中