（计算机应用技术专业论文）新颖的图像修复算法研究.pdf

摘要 摘要 图像修复是图像复原研究中的一个重要内容，也是当前图像处理和计算机视觉领域 中的一个研究热点。图像修复是对图像上信息缺损区域进行信息填充的过程，其目的是 恢复有信息缺损的图像，并使观察者无法察觉图像曾经缺损或己被修复。该项技术在文 物保护、影视特技制作、老照片的修复、图像中文本的去除、障碍物的去除以及视频错 误隐藏等方面，有着很高的应用价值。 本文旨在研究图像修复的新方法。简单说明了图像修复算法的研究背景和发展状 况，并且根据本文算法详细描述了几种目前比较有代表性的图像修复算法和模型，讨论 了算法的缺陷。通过这几种方法的进一步研究，本文提出了两种比较实用的修复算法： 基于方差和法向量的图像修复算法和基于空间连续性插值的图像修复算法。 目前，图像修复的基本方法主要有两大类：基于纹理合成的方法和基于偏微分方程 的方法，但是，这些修复算法大多在实现上比较复杂，有些修复算法还涉及到解高阶的 偏微分方程。针对目前偏微分方程算法的复杂性，在基于邻近像素点的修复算法的基础 上，提出了基于方差和法向量的图像修复算法。算法不仅可以提高算法效率，并且将待 修复区域的边缘进行特殊处理，使边缘的修复效果更加平滑。并且改进现有的图像平滑 技术，融合到图像修复算法中，进一步完善图像的修复工作，使图像在填充空白区域的 同时能够还原图像一个清晰的画面。在讨论纹理合成算法的基础上，分析了基于水平线 插值的图像修复算法。并且进一步对两种算法进行改进结合，将图像润饰技术中的顺序 填充，边缘处理思想应用到水平线插值算法中来，将其中水平线模型进一步延伸，用空 间连续性方向的延伸代替水平线的延伸，简化了操作。算法代替了纹理合成算法中用取 样方法挑选匹配块的做法，减少了误填充的概率。其中的顺序填充和边缘处理也巧妙地 应用了线性插值技术，是本文的又一个创新点。 通过大量的试验验证了这两种算法的可行性。 关键词：图像修复；计算机视觉；空间连续性；纹理合成：图像平滑；图像润饰；匹配 块；线性插值 a b s t r a c t i m a g ei n p a i n t i n gi sa l li m p o r t a n tr e s e a r c ht o p i ci nt h ea r e ao fi m a g er e s t o r a t i o n , a n da l s oa r e s e a r c hh o t s p o ti ni m a g ep r o c e s s i n ga n d c o m p u t e rv i s i o n i t so b j e c t i v ei st or e s t o r et h e m i s s i n go rd a m a g e dp o r t i o n so ft h ei m a g ei no r d e rt om a k e i tm o r el e g i b l ea n dt or e s t o r ei t s u n i t yi naw a y t h a ti sn o n - d e t e c t a b l ef o ra no b s e r v e rw h od o e sn o tk n o wt h eo r i g i n a li m a g e c u r r e n t l y , d i g i t a li n p a i n t i n gt e c h n i q u e sh a v ef o u n db r o a da p p l i c a t i o n si ni m a g ep r o c e s s i n g , v i s i o na n a l y s i s ，d i g i t a lr e s t o r a t i o no fa n c i e n tp a i n t i n g sf o rc o n s e r v a t i o np u r p o s e s ，t e x tr e m o v a l a n do b j e c t sr e m o v a li ni m a g e sf o rs p e c i a le f f e c t s ，r e s t o r a t i o no fo l dp h o t o g r a p h so rf i l m sw i t h s c r a t c h e so rm i s s i n gp a t c h e s ，d i s o c c l u s i o ni nc o m p m e rv i s i o n ，e l t o r sc o n c e a li nv i d e o s ，a n ds o 0 n t h i sd i s s e r t a t i o ni sm a i n l yf o c u s e do nt h em e t h o d so fi m a g ei n p a i n t i n g a tf i r s t ，w eb r i e f l y i n t r o d u c et h eb a c k g r o u n da n dt h ed e v e l o p m e n tc o n d i t i o n so ft h ei m a g ei n p a i n t i n gt e c h n o l o g y n o w a d a y s ，t h e nd e p i c ts e v e r a lt y p i c a li m a g ei n p a i n t i n gm o d e l sb a s e do nt h ea d v a n c e d a r i t h m e t i c si nt h i sd i s s e r t a t i o nd e t a i l e d l y , a n dd i s c u s st h e i ro b j e c t i o n s a tl a s t ，w ei n t r o d u c e t w on e wm e t h o d s t h ef i r s ti s “a d j a c e n tp i x e l si m a g ei n p a i n t i n gb a s e do nd e v i a t i o na n d e d g e i n t e r p o l a t i o n ，t h es e c o n di s i m a g ei n p a i n t i n gb a s e do ns p a c es u c c e s s i o nd i r e c t i o n c u r r e n t l y , t h em a i nm e t h o d sf o ri m a g ei n p a i n t i n gi n c l u d e t e x t u r es y n t h e s i s a l g o r i t h m s a n dt h ea l g o r i t h m sb a s e do np a r t i a ld i f f e r e n t i a le q u a t i o n s ( p d e s ) ，w h i c ha r ee i t h e rd i f f i c u l tt o u n d e r s t a n d ，o rc o m p l i c a t e dt oi m p l e m e n t o na c c o u n to ft h em a t t e r s ，t h em e t h o do f a d j a c e n t p i x e l si m a g ei n p a i n t i n gb a s e do nd e v i a t i o na n de d g ei n t e r p o l a t i o n i sp r e s e n t e db a s e do n “i m a g ei n p a i n t i n ga l g o r i t h mb a s e do nn e i g h b o rp i x e l so ft h ep o i n t s t h i sa r i t h m e t i cn o to n l y i m p r o v e se f f i c i e n c y , b u ta l s om a k e st h ei m a g ee d g e sm o r es m o o t h n e s sb yd i s p o s i n gt h ee d g e o fb l a n ka r e a sd i s t i n g u i s h i n g l y i n t e g r a t i n gt h ea m e l i o r a t e di m a g es m o o t h i n gm e t h o d si n t o i m a g ei n p a i n t i n gt op e r f e c ti m a g ei n p a i n t i n gt e c h n o l o g y , w h i c hc a nf i l li nt h eb l a n ka r e a sa n d m a k et h ei m a g ec l e a rs y n c h r o n o u s l y t h e nd i s c u s st h et e x t u r es y n t h e s i sm e t h o d ，a n a l y z et h e a r i t h m e t i co fu s i n gl e v e ll i n ei n t e r p o l a t i o n ，a n da m e l i o r a t et h et w om e t h o d s i nt h ea r i t h m e t i c o fu s i n gl e v e ll i n ei n t e r p o l a t i o nw i t ht h eo p e r a t i o no ff i l l i n go r d e r l ya n dp r e s e r v i n ge d g e w h i c hi si ni m a g er e t o u c h i n g ，s p a c es u c c e s s i o nd i r e c t i o nr e p l a c et h el e v e ll i n et om a k et h e w o r ks i m p l e r t h em e t h o da v o i d sc h o o s em a t c h i n gb l o c k sf r o mt h ek n o w na r e a s ，s or e d u c e s t h ep r o b a b i l i t yo fe lr o rf i l l i n g t h ef i l l i n go r d e r l ya n dp r e s e r v i n ge d g e su s et h et e c h n o l o g yo f l i n e ri n t e r p o l a t i o n , w h i c hi san e wm e t h o d a v a r i e t yo fe x p e r i m e n t a t i o n sa r eg i v e nt od e m o n s t r a t et h ee f f e c t i v e n e s so fo u rm e t h o d k e yw o r d s ：i m a g ei n p a i n t i n g ；c o m p u t e rv i s i o n ；s p a c es u c c e s s i o n ；t e x t u r es y n t h e s i s ；i m a g e s m o o t h i n g ；i m a g er e t o u c h i n g ；m a t c h i n gb l o c k ；l i n e ri n t e r p o l a t i o n u 独创性声明 本人声明所呈交的学位论文是苯人在导师指导下进行的研究工 作及取得的研究成果尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得江南大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意 签名： f 鱼盎钕：日 期： 盈：压! 呈： 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存， 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致 保密的学位论文在解密后也遵守此规定 签名：f 监经。 导师签名： 益盗芝 日 期：互望里：笪：! 已： 第一章绪论 1 1 概述 第一章绪论 图像受到损坏是一种屡见不鲜的现象。有很多因素都会引起数字图像的损坏，如： 对原本就有划痕或有破损的图片进行数字扫描后得到的图像；为了某种特殊目的而移走 数字图像上的目标物体或文字后留下的信息空白区；在数字图像的获取、处理、压缩、 传输和解压缩过程中因外界干扰引起的噪点或信息丢失所留下的信息缺损区等。 从上面这些情况来看，可以归结为一个相同的实质问题，就是对图像中的缺损信息 进行填补，使之达到视觉上的完整性。对于这个问题，不同的研究领域可能有不同的说 法，在计算机视觉中称为去遮挡( d i s o c c l u s i o n ) ：在数字图像处理领域称为图像修复 ( i n p a i n t i n g ) ，也有称为润饰( r e t o u c h i n g ) 。 从数学角度来看，图像修复就是对已退化图像进行平滑修补的过程，包括去除噪点 和填充缺损区域，其目的就是为恢复图像信息的完整性，并且要使观察者无法察觉到图 像曾经损坏或已被修复( 如图1 1 所示) 。然而，图像修补通常是一个病态问题，因为目前 仍没有足够的信息可以保证能唯一正确地恢复被损坏部分，所以，人们从视觉心理学的 角度进行分析，提出了各种假设限定用来解决这个问题。自b e r t a l m i o ，s a p i r o ，c a s e l e s ， 和b a l l e s t e r 首次提出图像修复概念并且提出基于传输理论的平衡模型n 1 以来，已经有 多种算法被认可，但是无论何种算法，原则上，它们都要依据获取的相关信息( 包括关 于退化系统、原图像、噪声等的确定性信息和统计性信息) 才能有效地实施。算法利用 的信息越多，信息的准确性越高，则修复图像的质量就越高。 图l 一1 图像修补示意图j 为图像，2 为图像已知区域，d 为待修补区域 f i g1 - 1i m a g ei n p a i n t i n g ，ii si m a g e ，2i st h ek n o w nr e g i o n ，di st h eu n k n o w nr e g i o n 计算机图像处理技术是随着计算机技术的日益成熟和个人计算机的普及而迅速发 展起来的一个重要技术领域。图像修复技术作为图像处理中的一个重要学科也取得了极 大发展，并且在近二十年获得极大的重视。它的领域非常广泛，就应用的技术领域而言， 有机器视觉、动画、数字电影、机械设计和制造、光学系统、生物芯片技术、地质探测 技术、探地雷达技术等。涉及的学科有医学、工业、军事、资源、环境、气象、交通、 公安及文化教育等众多领域，并取得了广泛的应用成果和巨大的国民经济价值。随着人 l 江南大学硕士学位论文 们研究的进一步深入，图像修复技术的应用必将扩展到更加广阔的领域。 1 2 研究背景和意义 图像修复技术有着悠久的历史，从中世纪开始，艺术家们就利用人的感知和想象能 力对那些已经损坏的图片进行修补，使其恢复图像的完整性，让观察者看不出有任何异 样。因此图像修复技术也被称为是一门艺术。数字图像修复的术语首次由b e r t a l m i o ， s a p i r o 。c a s e l e s 和b a l l e s t e r 提出，并且提出了一个尤其不同的基于传输理论的平衡 模型。 当前是信息时代，对信息的获得、加工、处理和应用等都有了飞跃的发展。信息学 理论认为，信息需要以某种质料( 纸张、胶片、磁带、光盘等) 为载体，以符号( 语言、 文字、数字、公式、图像等) 方式来表达。对于同一信息，人们可以采用多种符号来传 播。例如关于“2 0 0 8 年北京申奥成功了这样一条信息，我们可以以语言符号方式通过 广播来传播，也可以以文字符号的方式通过印刷媒介来传播，当然也可以通过提供申奥 成功的摄影照片，以图像符号的方式来传播和表达。 人类自身生存和活动在一个多维的宇宙空间当中，人类认识世界最为直接的方式就 是通过视觉获得图像，如果说视觉为我们提供了7 0 的信息来源，那么必须承认在这当 中有一大部分本身就是图像信息。在大脑处理的信息中，图像信息占有相当大的比重。 不仅是现代丰富的图像信息使得图像修复技术迅猛发展，人们对文物以及古代艺术作品 的再现使图像修复显的尤为重要。图像修复算法在实际应用中发挥了很大的作用，在文 物保护、艺术作品、影视特技制作、虚拟现实、多余对象剔除( 如视频图像中删除部分 人物、文字、小标题等) 等方面有着重大的应用价值。举个例子来说，2 0 0 6 年由西北民 族大学一个科研小组承担的唐卡图像数据库检索与特定破损区域修复项目已通过专 家鉴定，是中国首次将数字技术引入唐卡图像的修复研究，为藏民族艺术瑰宝唐卡的数 字化修复奠定了技术基础。 在计算机视觉和数字图像处理中，噪声的消除一直是人们关注的重点。在一些应用 领域，例如基于计算图像导数的算子中，图像中的任何一点噪声都会导致严重的错误。 噪声与要研究的对象不相关，它以无用的信息形式出现，扰乱图像的可观测信息。噪声 可被译成或多或少的极值，这些极值通过加减作用于一些像素的真实灰度级上，在图像 上造成黑白亮暗点干扰，极大降低了图像质量，影响图像复原，分割，特征提取，图像 识别等后继工作的进行。因而对其抑制处理是图像处理中非常重要的一项工作。 因此，选择此课题的目的和意义就是想在图像修复包括图像平滑上有所收获。一方 面通过对图像平滑和图像修复的研究学习，找出它的优缺点，并针对它的缺陷提出改进 的方案；另一方面通过对两者的学习，找出一种可靠的方法将两者结合起来研究，力图 使用同一种理论基础将两方面的问题同时解决，扩大图像修复的应用范围。 2 第一章绪论 1 3 图像修复的发展 早在文艺复兴时期，人们就开始修复一些中世纪的艺术品，其目的在于通过填补一 些裂缝来使画面恢复原貌。但是真正的利用计算机将图像数字化，用数字化的方法来修 复图像是近几十年才提出来的一个具有挑战性的课题。目前国外的研究正处于初步阶 段，国内对此项课题的研究也已兴起，提出了多种修复方法，具有很大的理论价值，也 有一定的实用性。 1 3 1 图像平滑的发展 在数字信号处理和数字图像处理的早期研究中，线性滤波器是噪声抑制处理的主要 手段。线性滤波器简单的数学表达形式以及某些理想特性使其很容易设计和实现。然而， 当信号频谱与噪声频谱混叠时或者当信号中含有非叠加性噪声时( 例如由系统非线性引 起的噪声或存在非高斯噪声等) ，线性滤波器的处理结果就很难令人满意。在处理图像 时，传统的线性滤波器在滤除噪声的同时，往往会严重模糊图像细节( 如边缘等) ，而 且不能有效滤除椒盐噪声。就是说，线性滤波器在信号与噪声彼此相关情况下不能很好 工作。虽然人类视觉的确切特性目前还未完全揭示出来，但许多实验表明，人类视觉系 统的第一处理级是非线性的。基于上述原因，早在1 9 5 8 年维纳( w i e n e r ) 就提出了非 线性滤波理论。非线性滤波器在一定程度上克服了线性滤波器的这一缺点。由于它能够 在滤除噪声的同时，最大限度地保持图像信号的高频细节，使图像清晰、逼真，从而得 到广泛应用和研究。目前已有很多比较经典的非线性滤波算法，如：中值滤波、形态滤 波、层叠滤波以及基于中值滤波的一些改进滤波算法等。研究较多的小波理论乜1 是近年 来迅速发展起来的一种时频信号分析理论，尽管离散小波变换功能强大，但有以下缺点： ( 1 ) 对数据敏感，即输入数据的变化会对离散小波变换系数产生不可预测的结果；( 2 ) 方 向性差，即离散小波变换系数只表示3 个空间方向( 水平、垂直和对角线) 的信息；( 3 ) 没有相空间信息，而相空间信息对描述非平稳信号很重要。连续小波变换虽具有平移不 变性，但它的冗余数据多，计算代价太大，m a l l a t 用二进小波变换和零交叉二进小波变 换减小了一定的冗余量口1 ；s i m o n c e l l 提出了一种易操作的滤波器用于完成可移动变换 h 1 ，以实现位置、尺度和方向的平移不变性；1 9 9 9 年k i n g s b u r y 提出了双树复数小波变 换( d u a l m t r e ec o m p l e xw a v e l e t t r a n s f o r m ，d t c w t ) 睁钉。双树复数小波变换是一对滤 波器组( h i l b e r t 对) 同时作用在输入信号上，它产生的两组小波分解，能提供6 个方向 的信息，具有平移不变性。而其较好的方向性和精确的相空间信息，在图像处理和计算 机视觉等应用领域中取得了很好的效果随1 ；2 0 0 4 年s e l e s n i c k 提出了双密度双树小波变 换呻1 ( d o u b l ed e n s i t yd u a l - t r e ew a v e l e tt r a n s f o i t i i ，d d d t w t ) ，它同时具有双密度 小波变换和双树小波变换的优点，在图像去噪、图像加强、图像分割和运动目标的估计 中，具有较大优势。 目前有关图像平滑的方法还存在的主要问题有： 3 江南大学硕士学位论文 1 图像去噪的第一步是找到噪声点，目前的算法对噪点的判断把握不准，在处理 中容易将非噪声点判断为噪声点，或者将噪声点认为是非噪声点，这就导致在以后的去 噪处理中的错误。 2 图像细节不能很好的保持，造成图像模糊，不能再现清晰图像。 1 3 2 图像修复的发展 最早的图像修复都是专业人员通过手工来完成的，目前已经发展成为通过计算机操 作的数字图像修复技术( d i g i t a li m a g ei n p a i n t i n g ) 。传统的修复方法是用滤波进行， 主要包括维纳滤波、约束最d x - - 乘( 正则) 滤波、l u c y r i c h a r d s o n 迭代非线性复原算法 和盲解卷积算法等。近来，国内外发表的图像修复方面的论文提出了一些有成效的模 型和方法，总结起来主要有两大类：基于偏微分的方法和纹理合成的方法。下面对其中 有代表性的方法作一简单介绍。 较先提出的修复模型是以偏微分方程为基础的模型n 卜矧，用于较小区域的修复。 b e r t a l m i o 等的基于偏微分方程的方法是一种模拟专业修复人员的修复方法，开创了偏 微分方程图像修复方法的先河。他们的方法通过将修补区域外部的信息沿着等光照线方 向( i s o p h o t e s ) 向修补区域内扩散来完成图像修复。文献n 2 1 提出的方法将图像看作二维 不可压缩流体，使用经典的动态流量n a v i e r s t o k e s 方程沿等值线方向由外向内去扩散， 以获得修复结果。文献 1 1 提出了基于灰度等级和等值线联合插值的方法，并引入了变 分方法来求解二阶偏微分方程，以填充缺失信息区域。c h a n 等人提出了整体变分方法 ( t v ，t o t a lv a r i a t i o n a l ) 朝和基于曲率的扩散模型( c d d ，c u r v a t u r e - d r i v e n d i f f u s i o n ) h 劓。整体变分方法采用了欧拉一拉格朗日方程和各向异性的扩散方程，而曲 率扩散方法是整体变分方法的一种改进，在扩散中考虑了轮廓的几何曲率信息，可以处 理较大的修复区域。另外，还有很多用变分的方法求解引入的能量方程和 e u l e r 一1 a g r a n g e 方程的图像修复模型n 州3 1 。 基于纹理结构的图像修复技术，主要用于填充图像中大块丢失的信息。目前，这一 类技术也包含两种方法：一种是基于图像分解的修复技术，其主要思想是将图像分解为 结构部分和纹理部分，结构部分用修补算法修补，纹理部分用纹理合成方法填充。近来， 对于图像分解已提出了几种先进的技术瞳 矧。b e r t a l m i om 等嘲利用v e s el 和o s h e rs 建立的模型心钔来进行分解，首先用整体变分最小化将图像的结构部分提取出来，然后用 一个震动函数束建模纹理或噪声部分。把图像分解成这两个部分以后，用b s c b 模型来修 补结构部分，用非参数采样纹理合成技术啪1 来填充纹理部分，最后把这两部分修补的结 果叠加起来，就是最终的修补图像。类似的算法还包括文献 2 9 - 3 2 ；另一种是用基于 样本的纹理合成技术，填充丢失的信息，此类算法也称为图像补全( i m a g ec o m p l e t i o n ) 。 该种算法的主要思想是，从待修补区域的边界上选取一个像素点，以该点为中心，根据 图像的纹理特征，选取大小合适的纹理块，然后在待修补区域的周围寻找与之最相近的 纹理匹配块，来替代该纹理块。近几年，利用纹理合成来修复大块丢失信息的图像修复 4 第一章绪论 技术得到了相当的研究，也取得了一些成果，典型的算法包括文献 3 3 。 除了以上主要算法外，还有一些方法很有效的方法，例如文献 3 4 ，3 5 。文献 3 4 通过统计最近邻近点的像素特征，经过加权方法计算像素值，已经成为其它方法的最基 本的模型：文献 3 5 是水平线插值的方法，将s m a s n o u 的水平线方法啪1 加以改进，用光 滑的曲线代替直线的延伸，并且考虑到了水平线到达修复区域的边界方向，重构更合理。 由于图像修复是根据已知信息推断缺失的信息，因此修复算法和图像的特征息息相 关，目前还没有“万能 的算法模型，将来随着研究的逐步深入，希望会有可以解决多 数图像修复问题的较全面的算法。图像是呈现多姿多彩的世界，相信随着图像处理技术 的发展，将有更多的图像修复技术出现，图像修复技术也将日益成熟。 1 4 主要工作与论文结构 1 4 1 本文的主要工作 现有图像修复的主要方法，就是把图像修复表述为一个边值问题，通过偏微分方程 的方法来求解。这种方法理论上很严紧，但普遍速度较慢，修复一个一般大小的区域就 需要好几十秒甚至几分钟，而且不一定能恢复强边缘。这使得这些算法跟实际应用的需 要还有一定的距离。除此之外，还有基于m u j n f o r d - - s h a h 模型的分块重构方法，和用 e u l e r 弹性模型连接水平线的修复方法汹3 。现有的分块重构方法中，一般模型比较复杂， 过于抽象，难以实现，而连接水平线的方法算法又比较繁琐，鲁棒性较差。本文的主要 目的就是研究简单快速的图像修复算法，并在提高修复速度的同时，确保能够产生强边 缘。水平线插值的算法汹1 虽然在水平线的方法上作了定改进，但仍是机械地将待修复 区域进行统一处理，没有考虑到修复区域的边缘情况，致使填充的效果边缘融合度不高。 为了克服这些缺点，本文借用方差法向量和空间连续性的思想，提出了两种图像修复的 新方法，对缺损区域进行填充时能考虑到边缘的特性，对边缘进行特殊处理，得到更好 的融合效果。 然而，长久以来，传统理论将数字图像的图像去噪和修复分成两个不同的方面来研 究。除了由于这两个方面独立成篇难以研究外，很大一方面还由于两者的难以结合。因 此针对这一问题，本文的另一个主要工作是将图像去噪的改进方法结合到图像的修复工 作中，保证图像在完整填充的同时也能够得到一幅较清晰的图像。 1 4 2 本文结构 第一章绪论。主要对数字图像修复技术作了简单的回顾和对目前的发展状态作了 综述。并简单描述了图像修复问题，最后简单介绍了本文的主要工作。 第二章图像修复基础理论分析。主要介绍了图像修复的原因及退化模型，图像修复 和平滑的基础知识以及最常用的几种方法。 江南大学硕十学位论文 第三章基于方差和边缘插值的邻近点图像修复算法。引入基于邻近点图像修复算 法，将其算法思想深入展开。分析算法的缺陷，延用优先填充的方法，改进权值的计算， 并接结合边缘的特性，使优先权问题得到进一步完善。算法还将图像平滑算法引入到图 像修复当中，经过检测图像中的噪声点，根据腐蚀程度选择方法进行去噪的方法也取得 了较为理想的效果，突出了图像恢复的清晰性。经过大量的试验数据比较说明该方法具 有良好的性能。本章是本文的第一个重点内容。 第四章基于空间连续性方向插值的图像修复算法。首先介绍了基于水平线插值的算 法，以水平线模型为依据建立局部水平线插值核，用对星型插值方法的改进，把局部插 值算法组织起来，对破损区域进行逐步填充。对纹理合成的思想进行简单描述，并且分 析两种算法的缺陷。通过基于e u l e r 弹性的水平线模型的思想，将水平线加以变形，得 到了一种新的空间连续性的图像修复算法。用空间连续性的概念代替直线的延伸，并且 对图像润饰的顺序填充进行改进，代替纹理合成算法中的样本匹配，经过试验说明该方 法具有良好的性能。本章是本文的另一个重要内容。 第五章总结和未来工作展望。总结本文所做的主要工作，客观评价本文提出的新思 想新方法，并提出了进一步的研究内容和设想。 6 第二章图像修复基础理论分析 第二章图像修复基础理论分析 图像修复在本质上可视为数学上的插值问题，但也不完全是。数学插值往往强调插 值函数的光滑性，但是图像往往很难用一个光滑的数学函数去描述，它包含大量的边缘 和断裂点，另外，又经常受到随机噪声的污染，所以，图像本身的高度复杂性，导致图 像修复不是一个简单的数学问题，它还涉及到信息获取、处理、表达等信息科学的内容。 就图像修复的技术而言，在算法执行的过程中，可能包括图像的边缘检测、图像插值、 曲线拟合等内容。下面就本文用到的图像修复和图像平滑的一些基本知识以及图像退化 的数学模型作一介绍。 2 1 图像退化的数学模型 2 1 1 图像退化原因 图像，是物经过光学系统的映射。如果一个成像系统是理想的，那么映射的结果将 得到一幅理想的图像一不失真的映射物上的全部信息。然而，成像系统的缺陷总是或 多或少存在，如光学系统的球差、彗差、畸变等使像质下降，造成失真，这一物理事实 就称为图像的退化( r e g r a d a t i o n ) 。当然，研究退化的原因发现，图像的退化不仅仅是 由光学系统的缺陷造成的，因素是多方面的。如摄影胶片的非线性，光电转换器件的非 线性，造成灰度变化的差异；摄像机与被摄目标的相对运动造成图像的模糊一一运动模 糊。用摄像头采集图像或用数码相机拍照时，由于物理器件的特性和电子系统的原因， 在图像上形成高斯噪声；因外界环境的干扰，造成信号在某一点的剧烈突变而形成的脉 冲噪声。又如遥感图像中大气扰动效应，以及扫描仪的运动非线性和地球自转因素造成 的图像几何畸变( 不失光学系统的畸变) 等。除了这些还有时间过久造成的磨损以及人 为等因素，都将使图像退化。因而，目前还不可能存在一种通用的、统一的恢复方法。 在恢复处理中，仍然遵循具体问题具体分析、具体解决的原则。在本章中，我们将成像 系统看成是一个线性系统，从这一观点出发，导出物、像的通用数学表达式从而建立成 像系统得退化数学模型，然后介绍几种常用的滤波恢复方法。总之，图像恢复是图像处 理中较为普遍的一类问题。 2 1 2 图像函数退化的数学模型 图像，是物经过光学系统的映射。如果一个成像系统是理想的，那么映射的结果将 得到一幅理想的图像一一不失真的映射物上的全部信息。然而，成像系统的缺陷总是或 多或少存在，如光学系统的球差、彗差、畸变等使像质下降，造成失真，这一物理事实 7 江南大学硕十学位论文 就称为图像的退化( r e g r a d a t i o n ) 。当然，研究退化的原因发现，图像的退化不仅仅是 由光学系统的缺陷造成的，因素是多方面的。如摄影胶片的非线性，光电转换器件的非 线性，造成灰度变化的差异；摄像机与被摄目标的相对运动造成图像的模糊一运动模 糊。用摄像头采集图像或用数码相机拍照时，由于物理器件的特性和电子系统的原因， 在图像上形成高斯噪声；因外界环境的干扰，造成信号在某一点的剧烈突变而形成的脉 冲噪声。又如遥感图像中大气扰动效应，以及扫描仪的运动非线性和地球自转因素造成 的图像几何畸变( 不失光学系统的畸变) 等。除了这些还有时间过久造成的磨损以及人 为等因素，都将使图像退化。因而，目前还不可能存在一种通用的、统一的恢复方法。 在恢复处理中，仍然遵循具体问题具体分析、具体解决的原则。在本章中，我们将成像 系统看成是一个线性系统，从这一观点出发，导出物、像的通用数学表达式从而建立成 像系统得退化数学模型，然后介绍几种常用的滤波恢复方法。总之，图像恢复是图像处 理中较为普遍的一类问题。 图像恢复处理一定是建立在图像退化的数学模型基础上。这个退化数学模型应该反 映图像退化的因素，只有这样，我们才能着手用数学方法作“去退化 处理，还图像的 真实面目。由于退化原因多而复杂，不便于针对逐个原因去逐个建立数学模型。目前， 在图像处理技术中，较好的方法是把图像退化原因作为线性系统退化的一个因素来看 待，从而建立系统退化的模型来近似描述。 如果g ( x ，y ) 代表一幅已退化的图像，( 口，) 代表原图像，退化模型可用图2 一l 来 表示。 g 石，y 图2 一l 图像的退化模型 f i g2 - 1i m a g ed e g e n e r a t i o nm o d e l 图中h ( x ，y ，口，) 是系统的脉冲相应，即点扩展函数，对于空间不变的光学成像系统来说， 有 h ( x ，y ，口，) = h ( x 一盯，y - p ) n ( x ，y ) 表示系统中的假发噪声干扰。 由图2 - 1 建立的退化模型的普遍表达式为 g ( x ，y ) = j ，厂( 口，) ( x 一口，y - f 1 ) d a d f l + 力( 毛y ) ( 2 1 ) 或写成 g ( x ，y ) = f ( x ，j ，) 奉j | l ( 石，少) + n ( x ，y ) ( 2 2 ) r 第二蕈图像修复基础理论分析 从这里刊出，所谓图像的退化，是指成像系统的退化，或者说它的点扩展函数的退 化加上系统的噪声而形成的。因此，恢复问题可以说成是，在得到一幅已退化的图像 g ( 毛y ) 基础上，如果已知h 和刀，然后反演运算，得到一个最接近于厂亿y ) 的最佳估计 f ( x ，y ) 。 何以说恢复问题只能得到一个最佳估计的夕y ) ，而不是f ( x , y ) 呢? 原因是这样： 从数学观点看，原函数和它的映射可用符号表示成： g = h ( 2 3 ) 符号h ) 在这里可看成是一个变换。变换的大体表达形式就是式( 2 - 1 ) 或式( 2 - 2 ) 。恢复 问题就是指方程式( 2 3 ) 的逆变换。即 f = 日叫国) ( 2 4 ) 对求解方程式( 2 4 ) 来说，除非它既存字又惟一。但事实上由于图像特征以及恢复方法 差异，可以存在以下两种情况： ( 1 ) 方程式( 2 4 ) 的解可能不存在。这似乎是说明不可能恢复图像。可物理事实是退 化图总是存在的。这可以从数学上给某些条件，使它有解，并且让结果最大可能地接近 于原图像。 ( 2 ) 方程式( 2 4 ) 有多个解( 不惟一) 。这似乎表明有多个可能的恢复图像。其任务 是从中选择一个最近似于f ( x ，y ) 的最佳解夕( x ，y ) 。 由于上述两种可能性的存在，我们说恢复问题是，在已得到退化图像g 的基础上， 得到一个最佳解的过程。 2 2 图像修复的理论基础 上一节介绍了图像退化的数学模型。由于有图像退化的出现，所以要对图像进行修 复，目的是在预定义的意义上改善给定的图像。尽管图像增强和图像修复之间有重叠的 部分，但前者主要是主观的处理，而图像修复大部分是客观的处理。修复通过使用退化 现象的先验知识试图重建或恢复一幅退化的图像。因此，修复技术趋向于将退化模型化 并用相反的处理来恢复图像。 这种方法通常包含把优势准则公式化，它将产生一个希望结果的最优估计。相比而 言，为了利用人类视觉系统的心理物力特性，增强技术基本上是以启发式过程来处理一 幅图像的。例如，对比度拉伸是受关注的增强技术，因为它主要是给查看者提供一幅赏 心悦目的图像，而修复技术则考虑用去模糊函数来消除图像的模糊。 最经典的图像修复算法有维纳滤波、约束的最小二乘方( 正则) 滤波、使用 l u c y r i c h a r d s o n 算法的迭代非线性算法、盲去卷积算法等。为了了解图像修复算法， q 江南大学硕士学位论文 这里介绍传统的维纳滤波方法。 2 2 1 经典的图像修复方法 2 2 1 1 维纳滤波算法 维纳滤波( n w i e n e r 最先在1 9 4 2 年提出的方法) 是一种能够最早也最为人们熟知的 线性图像复原方法。维纳滤波器寻找一个使统计误差函数 如e k 夕) 2 ) ( 2 5 ) 最小的估计夕。其中，e 是期望值操作，厂是未退化的图像。该表达式在频域可表示为 ，= 南雨摆器丽卜d 亿6 ， 其中， 日( “，v ) 表示退化函数 1 日( “，v ) j 2 = 日u , v ) h ( “，v ) 日+ ( “，v ) 表示日( “，v ) 的复共轭 岛( “，v ) = l ( “，v ) 1 2 表示噪声的功率谱 s ( “，v ) = l ，( “，v ) 1 2 表示未退化图像的功率谱 比率岛( “，y ) s ( “，v ) 成为噪信功率比。我们看到，若对于“和y 的所有相关值，噪 声功率谱为零，则这个比率就变为零，且维纳滤波器就成为逆滤波器。 我们感兴趣的两个量为平均噪声功率和平均图像功率，分别定义为 铲赤莩军岛( 刚) ( 2 7 ) 和 六= 瓦1 氍s s ( ) ( 2 8 ) 其中，m 和n 分别表示图像和噪声数组的垂直和水平大小。这些量都是标量常量，且它们的比率 r ：丝 1 0 第二章图像修复基础理论分析 也是一个标量，有时用来代替函数瓯( ，v ) s t ( ”，) ，以便产生一个常量数组。在 这种情况下，即使真实的比率未知，交互式地变化常量并观察复原的结果的试验就变成 了一件简单的事情。当然，假设函数为常量是一种粗糙的近似。在前述的滤波器方程中， 用一个常量数组来代替最( “，v ) s ，( ”，v ) 就产生了所谓的参数维纳滤波器。 以上方程式表明，维纳滤波最优实施的条件是：要求已知模糊的系统函数，噪声功 率谱密度( 或其自相关函数) ，原图像功率谱密度( 或其自相关函数) 。但实际上，原图像 功率谱密度( 或其自相关函数) 一般难以获知，再加上维纳滤波是将图像假设为平稳随机 场的前提下的最佳滤波，而实际的图像通常不能满足此前提。因此维纳滤波复原算法在 实际中只能获得次最佳实施，它更多的是具有理论价值，被用作度量其他算法性能优劣 的标杆。 2 3 图像平滑理论分析 2 3 1 图像平滑概述 数字图像中往往存在各种类型的噪声。产生噪声的途径可以有几种，与生成图像的 方法有关。如： 如果图像是用照片扫描得到的，则胶卷上的灰尘是噪声源。胶卷损坏、扫描操作 中都可以引起噪声。 如果图像直接来源于数字设备，则获取数据的设备可以引起噪声。 图像数据的电子传输可以引起噪声。 噪声主要分为两大类高斯噪声和脉冲噪声。这些噪声可能是在图像采集、量化 等过程中产生的，也可能是图像传送过程中产生的。其表现是图像信息被干扰噪声所污 损，特点是离散性和随机性。图像平滑的目的在于消除各种干扰噪声。通常把消除这类 噪声的处理方法叫图像的平滑或去噪。图像平滑可分为空间域、频域和小波域滤波。 滤波是一门修改或增强图像的技术。例如，可以通过对一幅图像进行滤波来强调或 删除图像的某些特征。滤波是一种邻域运算，即输出图像中任何像素的值都是通过采用 一定的算法，根据输入图像中对应像素周围一定邻域内像素的值得到的。 最常用的空间域去噪滤波器有线性滤波器和非线性滤波器两种n 们。线性滤波器主要 有均值滤波、线性加权滤波、倒数梯度加权滤波。非线性的滤波器主要是中值滤波。线 性滤波器主要适合于去除高斯噪声，而中值滤波则用于消除脉冲噪声。 江南大学硕士学位论文 2 3 2 图像平滑理论基础 2 3 2 1 空间域图像去噪 空i 司域图像处理是直接对构成图像的像素进行操作的过程。定义如f g ( x ，y ) = z 厂( x ，y ) ( 2 9 ) 其中( x ，y ) 是输入图像，g ( x ，y ) 是处理后的图像，z 是对厂的一种操作，定义在 ( 工，y ) 的邻域内。 定义点( x ，y ) 的邻域，主要方法是利用中心在点( x ，y ) 的子图像，如图2 2 所示。子 图像的中心从一个像素向另一个像素移动，z 操作应用到每一个( 工，y ) 位置得到该点的 输出g 。 图2 - 2 图像中( x ，y ) 点的3 3 邻域 f i g2 - 2t h e3 x3r l c a rr e g i o no f ( x ，y ) i ni m a