（地图学与地理信息系统专业论文）图像缺损信息的修复方法研究.pdf

摘要 图像作为一种信息符号，有着语言文字不可比拟的优点，成为越来越重要的 信息表达方式，其应用的领域和范围越来越广。影像更是地理信息科学中最重要 的数据源，图像信息处理成为遥感应用中的一个重要环节。但在日常生活和科学 研究中，我们经常会碰到图像信息缺损现象，如图像破损、目标前后遮挡等等。 如何对这些缺损或遮挡信息进行恢复和补偿，成为人们日益关注的问题。目前与 该问题密切相关的两个研究方向就是图像修复和纹理合成，本文围绕自然图像中 缺损信息的修复和遥感影像中遮挡信息的补偿问题为中心，对图像修复、纹理合 成的原理、方法和应用展开了研究和探讨。 图像的灰度值可以看作是一区域化变量，不仅具有随机性，而且具有空间结 构性。我们把地统计学的思想和观点引入到图像缺损信息恢复问题中来，根据图 像局部区域具有各向异性分布的特点，提出了一种新颖的各向异性插值模型。该 修复方法克服了传统方法的一些缺陷，取得了比较成功的修复结果。 本文对纹理合成的基本理论和方法进行了阐述和总结，并针对目前纹理合成 算法中存在的不足，提出了一些新的算法和解决方案。将纹理合成的马尔可夫随 机场理论和模型应用到数字图像修复中，并进一步研究了基于小波分解的低、高 频分离的图像修复方法。 另外，本文专门对遥感影像中的遮蔽现象进行了系统分析，阐明了遮蔽现象 的利弊关系以及消除措施。详细介绍了“真”正射影像的制作原理、方法以及信 息空缺现象，总结了缺损信息补偿的常规方法。我们还分析了图像缺损信息恢复 的难点，并结合遥感影像信息遮蔽的特点，提出了自己的一些认识和观点。 由于遥感影像上遮蔽成像机制的特殊性，在目前的研究水平下，单靠图像本 身对缺损信息进行自动补偿还具有一定的难度。我们结合数据融合的思想，首次 将g i s 数据作为引导知识应用到缺损信息的补偿中，解决了建筑物自动识别定 位、地物边界不确定性、遮挡关系二义性等一系列难题，完成了自动化补偿算法， 收到了满意的效果。 关键词：图像修复，纹理合成，去遮挡，信息补偿，影像遮蔽，地统计学 a b s t r a c t a sat y p eo fi n f o r m a t i o ns y m b o l ，i m a g e sh a v eg r e a ts u p e r i o r i t yo v e rt e x t sa n d b e c o m em o r ea n dm o r ei m p o r t a n tm o d eo fi n f o r m a t i o ne x p r e s s i o n i m a g e sa r ea l s o t h em o s ti m p o r t a n td a t as o u r c ei n g e o g r a p h i ci n f o r m a t i o ns c i e n c ea n di m a g e p r o c e s s i n gi sav e r yc r u c i a ls t e pi nr e m o t es e n s i n ga p p l i c a t i o n h o w e v e r ，d a t am i s s i n g p h e n o m e n aa r ev e r yc o n l m o ni no a rd a i l yl i v e sa n ds c i e n c er e s e a r c h ，s u c ha sd a m a g e d i m a g e sa n do c c l u s i o n h o wt or e p a i rt h ed a m a g e dp a r ta n df i l ls o m ei n f o r m a t i o ni n t o t h eo c c l u d e dr e g i o n sb e c o m e sa na t t e n t i o no fs o r n ep e o p l e a tp r e s e n t ，t h e r ea r et w o t h e m e sc l o s e l yr e l a t e dt ot h i st o p i c ，o n ei si m a g ei n p a i n t i n g ，a n dt h eo t h e ri st e x t u r e s ) ，n t h e s i s h o wt or e s t o r et h em i s s i n gi n f o r m a t i o no nn a t u r a li m a g e sa n dt h er e m o t e s e n s i n gi m a g e si st h ef o c u so ft h i sd i s s e r t a t i o n i no r d e rt oo b t a i nt h i sp u r p o s e ，w e c a r r yo u ts o m er e s e a r c ho nt h ep r i n c i p l e ，m e t h o d sa n da p p l i c a t i o n sa b o u ti m a g e i n p a i n t i n ga n dt e x t u r es y n t h e s i s t h eg r e yv a l u eo fi m a g ec a nb et r e a t e da sr e g i o n a l i z e dv a r i a b l e ，w h i c hh a st h e p r o p e r t yo fb o t hr a n d o ma n ds p a t i a ls t r u c t u r ed i s t r i b u t i o n w ei n t r o d u c et h ei d e o l o g y a n dv i e w p o i n t so fg e o s t a t i s t i c si n t oi m a g ei n p a i n t i n g c o n s i d e r i n gt h e p r o p e r t yo f a n i s o t r o p i cd i s t r i b u t i o no fl o c a la r e ao nt h ei m a g e ，w ep r e s e n t e dan o v e la n i s o t r o p i c i n t e r p o l a t i o nm o d e l t h i si m a g ei n p a i n t i n gm e t h o do v e r c o m e st h et r a d i t i o n a lm e t h o d s a n do b t a i n sf a i r l yg o o dr e s u l t w ed i s c u s st h ep r i n c i p l ea n dm e t h o d so ft e x t u r es y n t h e s i s a i m i n ga ts o m e d i s a d v a n t a g e so ft h e a c t u a la l g o r i t h m si n t e x t u r es y n t h e s i s ，w ep r e s e n ts o m en e w a l g o r i t h m sa n dn e ws o l u t i o n s w ei n t r o d u c et h em a r k o vr a n d o mf i e l dm o d e l ，w h i c hi s u s e di nt e x t u r es y n t h e s i s ，i n t oi m a g ei n p a i n t i n ga n dc a r r yo u ts o m er e s e a r c ho nn e w a l g o r i t h m sb a s e do nw a v e l e td e c o m p o s i t i o n i n f o r m a t i o nm i s s i n gi sn o to n l yac o m m o np h e n o m e n o ni no u rd a i l yl i v e s ，b u t a l s oo c c u r si ns c i e n c er e s e a r c h w ec a r r yo u ts p e c i a la n a l y s i sa b o u tt h em e c h a n i s mo f o c c l u s i o no nt h er e m o t es e n s i n gi m a g e ，a n dd i s c u s st h ea d v a n t a g e sa n dd i s a d v a n t a g e s o fo c c l u s i o na sw e l la ss u m m a r i z es o m ec o u n t e r m e a s u r e sa t p r e s e n t n e x t ，w e i n t r o d u c et h en o t i o no ft r u e o r t h o p h o t o ，t h ep r i n c i p l ea n dm e t h o do f t r u e - o r t h o p h o t o g e n e r a t i o n a n dd i s c u s st h ec a u s a t i o no fi n f o r m a t i o n m i s s i n g t h e d i f f i c u l t i e s c o n c e r n i n gi n f o r m a t i o nm i s s i n ga r ea n a l y z e d c o m b i n i n gw i t ht h ep a r t i c u l a r i t yo f o c c l u s i o nc o m p e n s a t i o no nt h er e m o t es e n s i n gi m a g e ，w ep r e s e n ts o m ec o g n i t i o n sa n d 1 i o p i n i o n so f o u r s b e c a u s eo ft h ep a r t i c u l a r i t yo ft h ei m a g i n gm e c h a n i s mo fo c c l u s i o no nt h er e m o t e s e n s i n gi m a g e ，a u t o - c o m p e n s a t i o nf o rm i s s i n gd a t ab yi m a g e i t s e l fh a sg r e a to f d i f f i c u l t i e sa tp r e s e n t i n s p i r e db yt h ei d e ao fd a t af u s i o n ，w ei m p o rt h eg i sd a t aa s t h ea s s i s t a n tk n o w l e d g ei n t ot h em i s s i n gd a t ac o m p e n s a t i o nf o rt h ef i r s tt i m e i ts o l v e s e v e r a ld i f f i c u l tp r o b l e m s ，s u c ha s ，t h ep r o b l e mo ft h ea u t o r e c o g n i t i o no ft h e p o s i t i o no fb u i l d i n go ni m a g e s ，t h ea m b i g u i t yo fb o u n d a r yo fd i f f e r e n to b j e c t s ，t h e a m b i g u i t yo fo c c l u s i o nd e p t h w i t ht h eh e l po fg i sd a t a ，t h ea u t o - c o m p e n s a t i o n a l g o r i t h mi sr e a l i z e da n ds a r i s f y i n gr e s u l ti so b t m n e d k e yw o r d ：i m a g ei n p a i n t i n g ，t e x t u r es y n t h e s i s ，d i s o c c l u s i o n ，i n f o r m a t i o n c o m p e n s a t i o n ，o c c l u s i o n ，g e o s t a t i s t i c s 1 1 中国科学院遥感应用研究所 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不含任何其他个人或集体已经发表或撰写过的作品或成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 声明的法律结果由本人承担。 论文作者签名： 日期：加厉钐月p 日 第一章前言 1 。1 研究背景 第一章前言 当前是信息时代，对信息的获得、加工、处理和应用等都有了飞跃的发展。 信息学理论认为，信息需要以某种质料( 纸张、胶片、磁带、光盘等) 为载体， 以符号( 语言、文字、数字、公式、图像等) 方式来表达。对于同一信息，人们 可以采用多种符号来传播。例如关于“中华人民共和国成立了”这样一条信息， 我们可以以语言符号方式通过广播来传播，也可以以文字符号的方式通过印刷媒 介来传播，当然也可以通过提供开国大典的摄影照片，以图像符号的方式来传播 和表达。 人类自身生存和活动在一个多维的宇宙空间当中，人类认识世界最为直接的 方式就是通过视觉获得图像，如果说视觉为我们提供了7 0 的信息来源，那么 必需承认在这当中有一大部分本身就是图像信息。在大脑处理的信息中，图像信 息占有相当大的比重。 图像作为一种信息符号，有着语言文字不可比拟的优点。正如一句话所说， 一幅图像胜过千言万语。在传达信息时，图像与语言文字相比有一个很大的优点 就是一目了然、直观形象。用文字描写一个形象或事物，即使花费大量的笔墨， 读者还是感到模模糊糊，然而用一幅图像来展示，则变得简单明了。例如，用文 字去准确地描述一个人的外貌几乎是不可能的，如果用一张照片就变得轻而易 举，见照片如见其人。当代社会文化已经一致认同了“图像时代”的来临，人类 已经步入了一个崭新的“图像时代”，人们获取信息和交流思想的主要媒体方式 已从“语言文字的”转型为“图像的”f 付爱民2 0 0 6 1 。随着计算机科学技术的 发展，计算机图像处理学科也迅速成长，深入到各个领域，如航空航天、卫星遥 感、军事侦察、生物医学工程、工业生产以及人们的日常生活。 二十一世纪将是地球时代。作为地球科学一个重要分支的地球信息科学，在 近1 0 多年来己得到人们的广泛关注与高度重视 周成虎1 9 9 8 。作为一门新兴的 交叉学科，人们对地球信息科学的认识又有多重含义，并出现了许多相类似但又 不相同的科学名词，如地球信息技术( g e o m a t i c s ) 、地球信息机理 ( g e o 1 n f o r m a t i c s ) 、图像测量学( i c o n i c m e t r y ) 、图像信，息( 1 c o n i c l n f o r m a t i c s ) 、地理 信息科学( g e o g r a p h i ci n f o r m a t i o ns c i e n c e ) 、地球信息科学( g e o i n f 、o r m a t i o n s c i e n c e ) 等。这些新的科学名词的出现，都与现代信息技术，如遥感、数字通讯 网络、地理信息系统等的发展密切相关。王之卓教授从学科发展的高度提出使用 图像缺损信息的修复方法研究 图像信息学( i c o n i cl n f o r m a t i c s ) 来概括目前所有与测绘有关的一些学科，如摄影测 量、地图制图、遥感技术等，并认为地球信息机理( g e o l n f o r m a t i c s ) 所概括的内 容比图像信息学更广 王之卓1 9 9 1 。地球信息科学应当是一门交叉学科，是地 球系统科学、信息科学和信息技术等的交叉和融合( 图1 - 1 ) ，是地球科学的一门 新兴的重要分支科学。 图1 1 地球信息科学与相邻科学技术的关系 地球信息科学作为交叉学科，表现出了其特点和趋势：强调对认知机理的研 究，如地表信息传输、成像枫理、地球空闯信息认知祝理、计算祝视觉认知机理 等：强调智能化信息处理技术；强调与人类视觉系统研究相结合；认识到哲学、 思维科学、认知科学、心理学、美学对地球信息科学的指导。 遥感是地球信息科学中获取地球信息的重要方式，其中遥感影像是最主要的 信息载体。自从遥感技术出现以来，计算机图像处理技术就应用到遥感信息处理 中，产生了具有专业特色的遥感图像处理。在这个超大科技时代，不论是在地球 信息科学领域还是在其它科学领域，数字图像将成为最重要的信息获取方式、最 重要的信息来源，数字图像处理也不再仅仅是单纯的图像处理问题，而是要和多 学科交叉、融合，共同发展。 1 2 问题提出 图像不仅是我们在日常生活中获取外界信息的主要方式，也是地理信息科学 中最重要的数据来源。然而在口常生活和科学研究应用中，我们经常会碰到一些 图像信息缺损现象，它们可能以多种方式展现，如图像破损、图像划痕、污渍斑 点、目标前后遮挡等等。这些现象都导致了图像信息的不完整性，破坏了整幅图 像的可读性和美观性，需要我们对缺损的信息进行恢复和弥补，以便恢复全图的 完整性，达到较好的视觉效果。下面我们具体从几种情况进行讨论： 1 ，正射影像上的遮蔽现象 第一章前言 随着传感器技术的不断发展，遥感影像的空间分辨率越来越高，如i k o n o s 和q u i c k b i r d 卫星的分辨率分别达到1 0 m 和0 6 1 m ，可以与航空摄影相片相媲 美。数字正射影像( d i g i t a lo r t h o p h o t om a p ，d o m ) 是摄影测量和遥感的主要产品 之一，它是一种同时具有地图的几何精度和影像特征的图像，具有精度高、信息 丰富、直观真实、良好的可判读性和可测量性等优点，既可直接应用于国民经济 各行业、又可以作为背景从中提取自然地理和社会经济信息，并可以用于评价其 他测绘数据的精度、现势性和完整性f 王树根2 0 0 3 。数字正射影像还可以结合 数字地形数据库中的部分信息或其它相关信息制作各种形式的数字或模拟的正 射图，也可以作为有关数字或模拟测绘产品的背景图像。 目前制作数字正射影像的理论和方法基本成熟，生产规范也较为全面。但目 前人们更关注的是正射影像的几何精度，而对影像的视觉质量没有引起足够的重 视。从总体上来说，正射影像还存在一些不尽人意的地方，如影像上的阴影和遮 挡，是影响图像视觉效果的两个主要原因。本文主要讨论缺损信息补偿，所以只 对遥感影像上的遮蔽现象进行分析。 遥感影像上的遮蔽是一个普遍现象，也是一个无法避免的现象。由于某些传 感器采用中心投影成像方式，地面上具有一定高度的目标物体或者地形的高低起 伏，可能导致前后遮挡，使得周围被遮挡的地面目标无法成像，成为影像上的一 个盲区，这不利于地面信息的解译。遮蔽现象无法通过传统正射影像生产中的多 项式纠正和数字微分纠正来加以消除。虽然在获取图像和生产过程中可以采取一 些措施来减少遮蔽现象，但毕竟效果有限，不能完全加以消除。 图1 - 2 “真”正射影像上的缺损区域( 白色区域) 随着遥感影像分辨率的提高以及数字地球概念的提出，影像逐渐成为主要的 数据获取方式。由于正射影像具有地图的几何精度和图像的直观特性，它常常被 用来作为g 1 s 的图层或作为专题图的底图，与g i s 矢量数据进行叠加显示。在 图像缺损信息的修复方法研究 这种要求下，传统的正射影像已经不能满足需要，人们开始提出制作“真”正射 影像的要求，然而在制作“真”正射影像的过程中，出现了新的问题：遮蔽区域 图像信息缺损。正射影像作为一种图像，在要求它具有地图功能的同时，也要求 具有美学效果，然而，信息缺损区域将严重地影响正射影像的视觉效果，有必要 对缺损区域进行信息补偿( 图1 2 1 。 2 图像中多余目标去除 在三维数字城市中，为了构建具有真实感的建筑物模型，常常用到大量的建 筑物墙面纹理贴图。这些纹理图像的获取一般是通过地面拍摄或者从车载序列影 像中提取。然而在实际拍摄环境中，不可避免地会受到树木或者其它物体的遮挡， 这将带来两方面的问题：一方面是影响纹理的完整性，造成不美观的视觉效果； 另一方面是在对建筑物提取直线时由于树木等噪声的影响，从而产生错误的提取 结果，所以，需要将这些多余目标从图像中移除掉以恢复完整的侧面纹理康志 忠2 0 0 5 】。 在其它一些领域，有时也为了特种目的的需要，要对图像中的某些多余目标 进行处理，如移除一些无关联的物体，去除置于图像上面的文本，转移一定背景 下的观众，消除给定场景下的特定人物，隐藏图像上的重要军事目标。这些都需 要我们对移除目标后的空缺区域进行填补，达到不留痕迹的视觉效果。 3 图像破损 图像遭受破坏也是一种屡见不鲜的现象，如有些照片、影片或者文档资料， 由于年代久远或者保存不当，出现部分腐烂、划痕、破坏等等( 图1 3 1 ，也需要 对它们进行恢复，以便达到较好的美观效果。 另外，在无线通讯技术发达的今天，无线传输中图像数据局部丢失也是一个 图像遭受破坏的例子。在图像传输中，块编码技术使用得非常广泛，常常由于一 个图像块中1 个比特的数据丢失造成整个图像块的数据丢失，因而在图像接收端 将导致解码图像出现块状空缺( 图1 4 ) ，为了得到完整的图像，也需要对这些丢 失信息进行恢复。 上面我们列举了一些可能出现信息缺损的情况，当然还有其它的情况，这里 不再一一列举。从上面这些情况来看，可以归结为一个相同的实质问题，就是对 图像中的缺损信息进行填补，使之达到视觉上的完整性。对于这个问题，不同的 研究领域可能有不同的说法，在计算机视觉中称为去遮挡( d i s o c c l u s i o n ) ；在数字 图像处理领域称为图像修复( i n p a i n t i n g ) ，也有称为润饰( r e t o u c h i n g ) ；对于一般的 数字图像修补，国外已有一些研究，但国内研究得很少。 第一章前言 对于遥感影像上的图像缺损信息现象，目前国内除了王树根博士做过一些研 究和讨论外，还没有其他人做过类似的工作，国外也没有见到相关的报导。随着 “真”正射影像概念的提出和制作方法的研究，影像信息缺损现象也将成为一个 新的值得研究的问题。 图1 3 老照片划痕 1 3 本文的研究目的、内容与组织 1 3 1 研究目的 图1 4 无线传输数据丢失 图像信息缺损是一种常见的现象，在某些具体应用中，有必要对图像缺损信 息进行修补，人们已经开始认识到其重要意义和运用价值，纷纷开始研究图像修 复方法，然而这不是一个简单的问题。 本文主要围绕如何对图像( 包括一般自然图像和遥感影像) 上的缺损信息进行 修补展开研究，试图寻求一种自动化修复算法，能够对图像缺损区域给出合理的 信息补偿，以便达到较好的视觉效果。并结合遥感图像上信息缺损的成像特点和 难点，结合g i s 辅助数据，将图像修复方法应用到正射影像上遮挡信息的恢复， 提高影像的视觉质量。 1 3 2 研究内容 本文以国家8 6 3 课题“国产遥感图像处理软件”为依托，对图像上缺损信息 的修复方法和应用展开研究，主要内容如下： ( 1 ) 研究了基于偏微分方程、扩散方程的图像修复原理及其方法。基于信息扩散 的思想，通过模拟人工修复图像的过程，连接图像中的断裂边缘，对缺损信 息进行恢复，并通过实验来评价该方法在图像缺损信息修补中的实用价值。 图像缺损信息的修复方法研究 ( 2 ) 研究了基于空间插值的图像缺损信息修复方法。充分顾及图像边缘结构和纹 理走向，通过径向基函数插值法来连接边缘结构和纹理走向，并将地统计学 的理论和思想运用到图像修复中，建立了各向异性灰度插值模型，并对该方 法进行了试验和分析。 ( 3 ) 对纹理合成的基本理论和方法进行阐述和总结，并针对目前纹理合成算法中 存在的不足，提出了一些新的算法和解决方案。将纹理合成的马尔可夫随机 场模型应用到数字图像修复中，并进一步研究了基于小波分解的低、高频分 离的图像修复方法。 ( 4 ) 从航空摄影和遥感影像成像机理出发，研究了遮蔽现象的形成原因。阐明“真” 正射影像的概念以及与传统正射影像的区别，详细阐述了制作“真”正射影 像的基本原理和导致信息缺损的原因，并分析了缺损信息补偿的实质和难点， 提出了一些认识和观点。 ( 5 ) 根据目前图像修复存在的难点问题和遥感影像特有的地理定位特征，将g i s 矢量数据作为辅助知识引入其中，通过多源数据融合的方法，解决影像上缺 损信息修补中存在的模糊性问题和二义性问题，实现了自动化修复方法，提 高了修复结果的可靠性和质量。 1 3 3 论文结构 本文共分为七个章节，各个章节的内容和内在联系简述如下： 第一章：简述了研究背景，提出了问题：图像信息缺损是一种常见的现象， 在某些具体的应用下，需要我们对缺损信息进行修补，以恢复图像的完整性。如 何对图像缺损信息进行修补是一个值得研究的问题。 第二章：阐述图像修复的概念及其相关研究领域，让读者对图像修复有个初 步认识；并阐述了图像修复的指导思想和基本原则，为后面各个章节中图像修复 方法的研究提供指导思想。 第三、四、五章：这三章是并行的三种不同类型的图像修复方法的研究，分 别采用偏微分方程，空间插值，纹理模型对图像修复进行了研究和试验。 第六章：对遥感影像上的信息缺损现象进行了分析，延续第五章的研究工作， 针对影像上缺损信息修补的特点和难点，提出了特殊的解决方法。 第七章：对全文的研究内容进行总结，并提出进一步的工作设想。 本文结构可用下图来描述： 第一章前言 图1 - 5 论文结构组织图 7 第二章 指导思想图像修 复基本 知识 图像缺损信息的修复方法研究 2 1 图像修复 第二章图像修复的基础知识 2 1 1 图像修复的概念 早在欧洲文艺复兴时期，为了恢复遭受破坏的美术作品，人们开始对这些艺 术品进行修复工作，即对作品上的裂痕和缝隙进行填补，以达到翻新的目的，这 样的工作叫做图像修复。当时主要是采用人工修复手段，完全依赖于人的经验和 熟练技术，是一种艺术性的工作，同时难度和工作量都很巨大，并且存在很大风 险，一点很小的失误有可能导致整个艺术品的报废。 图像修复的工作虽然早在文艺复兴时期就已经开始了，只是到现在人们才正 式地提出“图像修复”这个概念，英文称之为i n p a i n t i n g 。图像修复的目的旨在 于填补图像中的缺损信息，试图恢复图像的原本面貌，使得观察者不会觉得图像 曾经有过损坏。 在现今的数字时代，人们开始研究数字图像修复技术，已成为图像工程领域 的一个新的研究方向 王毅2 0 0 5 】。数字图像修复就是研究如何更好地检测图像 上的受损部分，并根据受损图像周围的有效信息，进行自动恢复。相比于人工修 复，采用计算机进行数字图像修复具有一些优点： ( 1 ) 采用计算机处理，大大减少了人工修复的劳动强度。 ( 2 ) 避免了原件被损坏的风险。由于数字图像的可复制性以及处理过程的可 逆转性特点，不会损坏原来的图像。 ( 3 1 可以反复试验，直到满意为止。 基于数字图像修复的优点，人们纷纷开始研究计算机自动修复方法。例如 m b e n a l m i o 和g s a p i r o 等人首次提出了数字图像修复的概念并研究了相关的算 法，他们的思想就是用计算机算法去模拟中世纪一些画家修复图像的过程，达到 弥补图像中缺损区域的目的。 2 1 2 图像修复的价值 在数字图像修复领域，人们已经研究了一些模型和算法，取得了较好的试验 效果。图像修复的理论和方法也不断发展，并逐渐深入到相关各个领域，具有广 泛的应用价值，例如： 数字恢复一些具有收藏价值的古画； 第二章图像修复的基础知识 ( 2 ) 恢复一些旧的以及一些被刮擦的图像、文档； ( 3 ) 用于纹理填充： ( 4 ) 去除图像中的特定目标，获得一些特殊效果； ( 5 ) 用于解决计算机视觉中的去遮挡问题； ( 6 ) 数字图像的放大以及超分辨问题； ( 7 ) 系列受损影片的修补； f 8 ) 图像传输中丢失数据块的重建。 在国外，数字图像修复已经成为一个研究的热点；但目前国内还研究的比较 少，没有引起人们的足够重视。图像修复的宗旨就是完成对缺损区域信息的弥补， 达到图像的完整性和连续性，所以，图像修复技术的研究对于遥感影像中缺损信 息的修补也具有很大的实用价值。 2 1 3 相关研究工作 数字图像修复技术逐渐成为研究的热点，其目的就是要自动检测并去除图 像、影片中的划痕、污渍，或者去除图像中的多余目标。不同领域的学者从不同 的角度、用不同的方法对相关问题进行了研究，它们本质的相同点就是对缺损信 息进行修补，一般来说，主要存在三类相关的工作 m b e r t a l m i o2 0 0 0 ： 1 受损系列影片修复 这类方法主要针对系列影像提出，如电影胶片、动态系列图像。在这里面用 到的主要思想就是用过去的或者将来的连续帧的信息来修复受损的视频帧。 有一些学者对这类问题进行了研究，提出了一些算法a c k o k a r a m 1 9 9 5 ，1 9 9 8 1 ，他们多采用多级中值滤波器、自回归模型或者马尔可夫随机场模型， 并结合运动估计对缺损区域进行补偿。由于系列影像在获取时，摄影机或者物体 处于运动状态，因而物体成像于图像中不同的位置上，并且可能还存在比例尺变 化和某些变形，所以算法的关键在于准确而有效地计算物体的运动矢量，否则会 严重地影响修补效果。 采用该方法的优点在于修补数据的真实性。这类方法专门针对动态系列图像 而设计，一般不能用于处理静态的图像或静止的场景。其能够使用的基本前提是 当前帧的受损区域在前、后帧上相同区域没有出现信息缺损，否则不能采用该类 方法进行恢复。 对于具有重叠度的航空影像，一张影像上被遮蔽的信息可能在其相邻影像上 可见，也可以采取这种思想进行遮蔽信息的互相补偿。 2 去遮挡物( d i s o c c l u s i o n ) 9 图像缺损信息的修复方法研究 这类工作也有一些报导，但都是一些基础性的工作，研究得还不够深入。 【m n i t z b e r g ，d m u n f o r d 和t s h i o t a1 9 9 3 1 率先进行了这方面的研究，提出了相关 的算法，主要是采用图像分割的方法来去除遮蔽物( o c c l u s i o n ) ，其基本思想就是 在同灰度级别处用有弹性的按最小值估计的曲线连接t 型接点。但该方法只能 处理简单的图像，不适合复杂的自然图像。【s m a s n o u 和j m m o r e l1 9 9 8 1 延伸了 前述思想，提出了一个用于去除遮蔽物的通用变分( v a r i a t i o n a l ) 公式，以及一个用 这个公式来实现的一些非常有价值的算法，这种算法通过用短程的曲线f 测地曲 线，g e o d e s i cc u r v e s ) 来连接到达待填充的边界区域的等照度线的接点来实现修 复，但存在着要求待修补区邻域的拓扑关系简单和直线连接的缺点。 3 纹理合成( t e x t u r es y n t h e s i s ) 纹理合成( t e x t u r es y n t h e s i s ) 技术是为了解决虚拟仿真中纹理映射的问题而产 生的，它通过计算机算法模拟人工或自然界纹理，避免了简单纹理映射带来的种 种不良现象，成为一个非常有价值的研究方向。 纹理合成技术不仅可以用来生成纹理图像，其基本思想对于图像修复和填充 也具有很大的指导意义。这种技术的基本思想就是首先选择一个纹理，然后将它 合成到需要填充的区域里面去( 比如孔洞) 。这是一项非常简单的技术，而却能产 生难以置信的效果【李颖媛2 0 0 3 】。尽管在大量的文献里面都报道了一些相当出 色的纹理合成技术，但是这些算法都必须让用户选择要填充纹理的区域或孔洞。 对于那些要进行修复的图像来说，他们可能有多种不同的结构，那么用户就需要 从事大量的分割图像的工作，然后从中找出相应的区域。尽管部分的查找工作可 以自动完成，但是需要花费大量的时间，而且还要不厌其烦地选择大量的参数。 本文第五章将详细讨论有关纹理合成和图像修复的问题，这里不再做更多的阐 述。 2 2 图像修复的指导理论与思想 2 2 1 图像修复的特殊性 图像修复的目的旨在于填补图像中的缺损信息，恢复图像的原本面貌。图像 修复经常与另外一些名词之间有着各种各样的联系，如图像恢复，图像插值，去 遮挡等等，但是它们之问又有很大的区别，有必要对其进行阐明。 ( 1 ) 从广义概念上来讲，图像修复属于图像恢复( i m a g er e s t o r a t i o n ) 领域的问题， 但我们应该注意到它与传统的图像恢复又有所区别。图像恢复的主要任务是 从已退化变质的图像中，根据先验信息对退化图像做出最佳估计。它们之间 o 第二章图像修复的基础知识 最大的区别在于：对于图像恢复而言，待处理区域仍然具有可用信息；而对 于图像修复，待处理区域没有任何信息，一片空白。由于两者的处理对象具 有很大不同，处理方法也具有很大不同，当然，图像恢复中的一些理论和方 法对于数字图像修复也具有很好的指导作用，但又不能直接照搬，需要进行 变形或者融入图像几何模型和先验知识。 ( 2 ) 图像修复在本质上可视为数学上的插值问题，但也不完全是。数学插值往往 强调插值函数的光滑性，但是图像往往很难用一个光滑的数学函数去描述， 它包含大量的边缘和断裂点，另外，又经常受到随机噪声的污染，所以，图 像本身的高度复杂性，导致图像修复不是一个简单的数学问题。 ( 3 ) 去遮挡和图像修复的相同点都在于恢复丢失信息，但是去遮挡旨在建立人类 视觉理解被遮挡物的数学模型，理解物体成像次序，近似于重建原来的三维 世界，需要得到完整的物体以及物体之间的拓扑关系和深度信息：而图像修 复旨在填充和补全一个丢失信息的二维图像，属于低层次的视觉处理。去遮 挡往往需要分割2 维图像的不同区域，然后连接属于同一个实体投影的区域 ( 主要是轮廓连接) ，最终生成所有完整目标的深度和拓扑顺序。去遮挡经常 借助于有关物体的高层先验知识，如物体的形状特征等。而图像修补不仅要 连接断裂的轮廓，而且要连接所有断裂的等照度线，使得修补图像看上去更 加自然，更加符合图像本来的视觉特点f 肖亮2 0 0 3 。 2 2 2 图像修复的视觉心理学 图像修复实际上与人类视觉系统和认知机制具有很大的关系，视觉心理学和 认知科学的一些研究结论对于数字图像修补具有很大的指导意义。 在视觉研究中，”h e l m h o l t z 假设”认为人类视觉系统所感觉到的就是对世界 信息形态的最佳猜测。“最佳猜测”则表明图像修补是一个贝叶斯( b a y e s i a n ) 推断 过程，根据贝叶斯结构体系，我们由不完全和变形的数据中得出完整理想的图像 是基于模拟人眼恢复图像所做出的“最佳假设”或者叫“最优猜测”，这个“最 佳假设”基于两个重要因素f 王毅2 0 0 5 ： f 1 ) 图像数据模型：我们怎样在原始图像中获取更多已有的图像数据信息。 ( 2 1 图像预先模型：完好的原始图像应该是哪种图像模型。 所以，“最优猜测”就是在贝叶斯概率模型中最大化后者的概率，按照一定 的算法规则填补图像中遗失或者损坏的部分，使修复后的图像接近或达到原图的 视觉效果。 从格式塔( g e s t a l t ) 心理学理论来看，图像修补也是一个视觉认知过程。格式 图像缺损信息的修复方法研究 塔心理学由马克思沃特海默( m a xw e r t h e i m e r ) 、沃尔夫冈科勒尔( w o l f g a n g k o h l e r ) 和库尔特科福卡( k u r tk o f f k a ) 一= 人创立。他们认为“知觉是按照一定规 律形式组织起来的。图形知觉不是图形各部分简单的相加，而是由各部分有机组 成的。一个图形作为一个整体被知觉，其中各部分之间又具有一定的关系”。“一 个各部分之问相互影响的有机整体，整体大于各部分之和”。人的大脑必须根据 以往的经验和远古祖先的经验，通过发现各个部分的最优组合，主动地构造这些 “整体”。这种组合最有可能对应于真实世界中某个物体的有关方面。很明显， 重要的是各部分之间的相互作用。 格式塔学派试图对视觉系统共同的相互作用类型进行分类，并把它们称为知 觉定律，其中包括接近性定律、相似性定律、良好的连续性定律和封闭性定律。 ( 1 ) 接近性定律：视觉系统倾向于将那些相互靠得很近且离其它相似物体较 远的东西组合在一起。接近律通常指“空间上接近”。如图2 1 一a 中的圆点更容易 看成是水平线而不是竖线，因为一个点到其最近点的距离，在水平方向要比竖直 方向短。 ( 2 ) 相似性定律：视觉系统倾向于将那些明显具有共同特性f 如颜色、运动、 方向等) 的事物组合在一起。如图2 一l b 中的圆点之间的距离其实都相同，但我们 更容易将它们组合成水平线，因为水平方向的圆点具有相同的颜色。 ( 3 ) 连续性定律：视觉系统倾向于把中断的线段看成是被某个物体遮挡一部 分的连续直线。如图2 1 c 中的图形，我们一般将其看成是一条直线和曲线，虽 然它们多处相交，但还是很容易分开而不混淆。 ( 4 ) 封闭性定律：如果一条线形成了封闭的或几乎封闭的图形，那么视觉系 统就倾向于把它看成是被一条线包围起来的图形表面，而不仅仅是一条线。该定 律在用线框表示的图形中表现最为明显。如图2 1 一d 中，其实是三条分开的折线， 但我们仍然认为它是一个完整的三焦形，而不是毫无联系的折线。 ( a ) 接近性 第二章图像修复的基础知识 图2 - 1 视觉定律不意图 格式塔学派还有一个被称为“简洁”( p r a g n a n z ) 的普遍原理，也称为“优良 性”。它的基本思想就是视觉系统对输入的视觉信息作出最简单、最规则和具有 对称性的解释。换句话说，大脑需要一个合理的解释而不是奇特的解释，这种解 释不因观察点的微小变化而发生根本改变。 另外，需要说明的一点是：图像修复不是制造新的信息，而是力图恢复原有 的信息。信息是客观存在的，是不能够被制造出来的。 对于图像上的缺损信息，由于人具有很多的先验知识和经验，同时在视觉心 理的支配下，能够合理地内插出这些缺损的信息，这是一个非常复杂的视觉认知 过程。采用计算机进行图像修复，最理想的方式也是要模拟这种过程，符合人类 视觉心理，但是目前我们对人类视觉机理的理解还相当落后，在模拟人类视觉的 理论和实践中，还存在许多有待解决的问题，所以，目前还只能是处于低层次的 方法和算法研究。 2 2 3 图像修复的基本原则 图像修复是一件非常主观性的工作，即使是图像修复专家，不同的人也会得 出不同的修复结果。虽然如此，还是有可遵循的基本原则和步骤。数字图像修复 的开创者m b e r t a l m i o 和g s a p i r o 等人在进行研究工作时，曾经向明尼阿波利斯 艺术研究所的工作人员进行咨询，以便掌握图像修复的基本原则和方法。他们认 为图像修复是一个主观过程，依赖于人眼对图像的感知理解，但也必须遵循一定 的方法论。他们概括出如下几条： ( 1 ) 图像的整体决定如何填补图像上的裂痕，图像修复的目的是恢复艺术品 的完整性，需要保持全图的一致性； ( 2 ) 修复区域d 周围的结构信息必须延伸至缺损区域内部，断裂的轮廓线通 过修复区域d 周围的轮廓线延长得到； f 3 1 修复区域d 中像素的灰度或者颜色信息，必须与周围的颜色相协调： r 4 ) 细节信息的描绘，即加入必要的纹理。 图像缺损信息的修复力法研究 根据上面的基本原则，m b e r t a l m i o 借助于偏微分方程( p d e ) ，设计了图像修 复算法，但在实际过程中发现，原则( 1 ) 很难操作，因为它涉及到视觉心理学和 认知学等很多问题，目前的计算机还没有把握全图的能力；另外p d e 方法不能 产生图像纹理细节，所以，原则f 4 ) 也很难实现。 f t c h a n2 0 0 0 等人在m 。b e r l a i m i o 的研究基础上，提出了菲纹理图像局部修 复的概念，他们从数学上的仙农定理和视觉上的局部推断、模式识别与尺度影响 等方面阐述了局部性是降低修复问题复杂性和开展低层视觉修复研究的一条有 效途径，并且提出了非纹理图像局部修复的三大原则： 原则1 ：模型是局部的( l o c a l ) 。模型不必要借助于整体理解和统计学习，修 复区域的信息完全可由修复区域周围已有的信息来决定， 原则2 ：模型必须能够修复断裂的光滑狭窄边缘。因为边缘对于目标识别和 图像分割是至关重要的，是图像中晟重要的视觉特征，因而，断裂边缘的连接是 图像修复中首要的考虑