（信号与信息处理专业论文）离焦模糊图像复原方法的研究.pdf

大连理工大学硕士学位论文 摘要 随着计算机技术的发展，计算机的运行速度和运算精度得到进一步提高，其在图像 处理领域的应用日见广泛。本论文研究目的在于将传统的光学理论与新兴的数字图像处 理方法相结合，利用计算机对离焦模糊图像进行复原，进一步提高离焦模糊图像的复原 精度，降低在拍摄中对光学设备精度和拍摄人员的要求。 基于项目的特点及要求，本文主要研究离焦模糊文字图像的复原，但是理论和实践 证明本文的方法和结论同样适用于离焦模糊的普通景物图像以及大气湍流等圆对称性模 糊图像的复原。文中对传统的离焦模糊图像复原方法加以改进，主要做了以下工作： 首先利用光学理论推导出实际离焦模糊的光学传递函数，并介绍了传统离焦模糊图 像复原法中的离焦模糊模型：高斯离焦模型和圆盘离焦模型。指出了虽然利用模型可简 化问题，但由于模型不能准确逼近实际的离焦点扩散函数，导致离焦模糊图像复原无法 取得预期结果。 其次本文在刃边函数、线扩散函数、点扩散函数以及阿贝尔逆变换等光学知识的基 础上，根据离焦模糊的圆对称性，舍弃了具体离焦模型，通过检测刃边函数曲线，直接 由模糊图像估算出离焦的点扩散函数，提高了离焦点扩散函数的估算精度。并在求取离 焦点扩散函数的基础上，优化了维纳滤波器，很大程度上降低了噪声对离焦模糊图像复 原的不良影响。 最后用改进的离焦模糊图像复原法对仿真离焦模糊图像和实际离焦模糊图像进行复 原。复原结果表明：相对传统方法，本文方法更准确的估算了离焦的点扩散函数和光学 传递函数，能够得到分辨率和对比度明显改善的复原图像。 关键词：离焦模糊；图像复原：刃边函数：点扩散函数：阿贝尔逆变换 离焦模糊图像复原方法的研究 s t u d y o nr e s t o r a t i o nm e t h o do ft h ed e f o c u s e d i m a g e a b s t r a c t w i t ht h e d e v e l o p m e n t o f t h e c o m p u t e rt e c h n o l o g y ，t h eo p e r a t i o n a lp r e c i s i o n a n dr a t eo f t h e c o m p u t e r h a v em a d e g r e a tp r o g r e s s ；t h ec o m p u t e r i su s e di nt h ef i e l d o f i m a g ep r o c e s s i n g f a ra n dw i d e t h e o b j e c t i v eo f t h es t u d yi st oi n t e g r a t et h et r a d i t i o n a lo p t i c a lt h e o r yw i t ht h e b u r g e o n i n gm e t h o d o f t h e d i g i t a li m a g ep r o c e s s i n g ，t oi m p r o v et h er e s t o r a t i o np r e c i s i o no f t h e d e f o c a s e di m a g ea n dl o w e r d e s i g nc r i t e r i o no f t h eo p t i c a le q u i p m e n t a c c o r d i n g t ot h ec h a r a c t e ro f t h e i t e m ，t h ep a p e rs t u d yt h er e s t o r a t i o no f t h ed e f o c u s e d l e t t e ri m a g e m a i n l y ，b u tt h e o r ya n dp r a c t i c ep r o v e t h a tt h em e t h o da n dc o n c l u s i o na r ea l s o s u i t a b l et ot h er e s t o r a t i o no f t h ec o m m o nd e f o c u s e d i m a g ea n d o t h e rc i r c u l a r - s y m m e t r yb l u r i m a g e t h ep a p e ri m p r o v e s t h et r a d i t i o n a lm e t h o do f d e f o c u s e dr e s t o r a t i o na n dd o e sw o r ka s f o u o w s ： f i r s t l y ，t h ep a p e r i n t r o d u c e st h ed e f o c u s e dm o d e li nt h et r a d i t i o n a lm e t h o do f d e f o c u s e d r e s t o r a t i o n ：g a u s sm o d e la n dp i l l b o xm o d e l ；i n f e r st h ef a c t u a ld e f o c u s e dt r a n s f e rf u n c t i o n ； p o i n t so u tt h a tt h o u g hu s i n g m o d e lc a n s i m p n f y t h e p r o b l e m ，b u t t h em o d e lc a l l tr e f l e c tt h e f a c t u a ld e f o c u s e d p o i n ts p r e a df u n c t i o ne x a c t l y ，t h a t r e s u l t si nu n s a t i s f a c t o r yr e s t o r a t i o no f d e f o c u s e d i m a g e s e c o n d l y ，b a s e d o nt h e o p t i c a lk n o w l e d g e s u c ha se d g es p r e a df u n c t i o n 、l i n es p r e a d f u n c t i o n 、p o i n ts p r e a df u n c t i o n a n da b e li n v e r s et r a n s f o r m e t c ，t 1 1 ed e f o c u s e dp o i ms p r e a d f u n c t i o nc a nb ea s s e s s e dt h r o u g h k n i f e e d g e f u n c t i o n c u r v e ，a c c o r d i n g t ot h ec i r c u l a rs y m m e t r y o f t h ed e f o c u s e d i m a g e t 1 1 i sm e t h o di m p r o v e s t h ee s t i m a t i n g p r e c i s i o no f t h ep o i n ts p r e a d f u n c t i o n w i e n e rf i l t e ri sf a b r i c a t e df o r r e c o v e r i n g t h ed e f o c u s e d i m a g e b a s e do nt h ed e f o c u s e d p o i n ts p r e a df u n c t i o n mi m p a c to f t h e n o i s et ot h er e s t o r a t i o ni sr e d u c e d g r e a t l yb y w i e n e r f i l t e r a t l a s t ，t h es i m u l a t i o ne x p e r i m e n ta n d a c t u a ld e f o c u s e dr e s t o r a t i o ne x p e r i m e n t p r o v e d t h a t t h ei m p r o v e dm e t h o dc a na s s e s st h ed e f o c u s e d p o i n ts p r e a df u n c t i o na n d d e f o c u s e d o p t i c a l t r a n s f e rf u n c t i o nm o r e e x a c t l y t h a nt h et r a d i t i o n a lm e t h o d ，c a n g a i n c l e a ri m a g ew i t h h i g h e r r e s o l u t i o na n dc o n t r a s t k e y w o r d s ：d e f o c u s ；r e s t o r a t i o n ；k n i f e - e d g ef u n c t i o n ；p o i n ts p r e a df u n c t i o n ；a b e l i n v e r s et r a n s f o r m 大连理工大学硕士学位论文 1 绪论 本章介绍了图像处理的基本概念以及离焦模糊图像复原的历史和现状；讨论了本文 的选题背景和科学依据：最后，介绍了论文研究的主要内容和章节安排。 1 1 图像及图像复原的基本栩念 图像通常是通过传感器来获取外界真实景物的信息，有时还需要把它转换成可视信 息，而后记录、储存或再现出来，目前图像通常以二维形式表达，三维表达形式已开始 出现并逐渐多起来。由于传感器的缺陷，周围环境的变化以及其它的人为因素的影响会 使图像产生畸变、模糊和分辨率降低，这种现象叫做图像的退化。 在实际生活中，由于种种原因，图像会产生不同程度的退化，因此改善图像质量获 得离质量图像就成为个重要的研究课题。图像复原也称图像恢复，是图像处理中的一 个重要分支。图像复原认为图像是因为某种或某几种原因退化了( 图像质量下降了) ， 需要根据相应的退化模型和知识重建或恢复原始图像，即提高图像的逼真度。在图像复 原中，通常我们需要知道图像的退化原因，利用图像退化的某种先验知识来重建或恢复 原始图像。图像复原的难易程度主要取决于对退化过程先验知识掌握的精确程度。如果 我们能精确计算出系统退化的点扩散函数，以此为基础，采用各种反退化处理的方法， 如逆滤波、维纳滤波等，对图像进行复原，这就是典型的图像复原方法。实际中，图像 退化( 9 6 晰) 的因素很多，如光学系统的衍射、传感器的非线性畸变、光学系统的像 差、离焦造成的模糊、大气湍流的扰动效应和运动造成的图像模糊等。 通常在介绍图像复原算法时都需要说明一下如何评估一个复原算法的结果。总的来 说这是一个正在解决的问题。人们还没有找到一种适用于任何复原情况的客观判据或评 价方法来评估一个复原方法的结果，使其与人的主观判据相一致 1 。在复原算法的研究 中为了通过计算机模拟来比较各种方法的优劣，通常使用了一些品质参量。例如在计算 机模拟中，已知原有的不失真图像，可用信噪比改善量来评估复原结果。信噪比改善量 定义如下： ( g ( ，帕一f ( m ，n ) ) 2 心= l o l g 业堂r - 一 z ( s ( m ，”) - f ( m ，”) ) 2 离焦模糊图像复原方法的研究 式中，f ( m ，以) ，g ( m ，”) 和f ( m ，哟分别是观测图像、未失真图像和估计图像。政是x 的限制域，也可以只是限制域中最受关心的部分。对实际的图像复原问题，因为无法知 道未失真图像，所以信噪比改善量是无法计算的。同时计算机模拟的退化图像，其离散 卷积关系是保证成立的，而实际中得到的退化图像数据，各种物理的和技术上的原因可 能会影响离散卷积关系的正确性。因此实际的图像复原比在计算机上验证复原算法要困 难的多。在实际图像复原中有人提出用调制传递函数m t f ( m o d u l a t i 0 1 1 t r a n s f e r f u n c t i o n ) 、梯度的变化、r o b e r t s 梯度和拉普拉斯算子和等来评价复原结果 2 4 ，这几 种评价函数各有各的适用性和局限性并不适用于所有复原情况。 1 2 离焦模糊及复原方法 在各种模糊中，离焦模糊普遍存在于卫星遥感图像、宇宙探测成像、公安破案、航 天、道路交通、信息情报、微观物质的分析研究、医疗诊断等重大科研和研究领域中。 日常生活中也会由于调焦不准、手的抖动或成像系统的质量问题等而造成离焦，事实上 大多数成像过程中都存在或轻或重的离焦情况。虽然随着光学技术的发展，很多成像系 统都有自动调焦功能，但是自动调焦系统通常精度不够，要提高精度就要加大成本。随 着电子和c c d ( c h a r g ec o u p l e dd e v i c e ) 技术的发展，成像技术由模拟时代跨入了数字时 代。因此在数字图像处理领域中，研究离焦模糊图像的复原，提高其与原图像的逼真度 是很有现实意义的。 大多数研究人员在研究图像复原技术时都采用了简化方式，如将成像系统看成是一 个空问不变的线性系统；将二维点扩散函数简化为一维线扩散函数进行处理；将图像的 退化过程用固定的退化模型来表示等等。在离焦模糊图像的复原方法中，目前有两种退 化模型，分别为圆盘( p i l l b o x ) 离焦模型和高斯( g a u s s ) 离焦模型来近似离焦的点扩散函 数。圆盘离焦模型是利用几何光学知识研究离焦现象得出的【5 】。从几何光学的观点来 看，点光源通过理想成像系统所成的像为一个接近为艿函数的点，但是当物面、透镜和 像面间的间距不满足高斯成像公式时，点光源的像不再是一个点而是一个圆盘状的弥散 盘。在实际中，光并非严格遵循几何光学的规律进行直线传播，由于光的波粒二重性， 光在通过光学孔径时会偏离直线路径发生衍射，这时圆盘离焦模型显得过于简单，并且 圆盘离焦模型的频域变换存在太多零点 6 ，这也限制了此模型在实际中的应用。大多数 学者更倾向于利用高斯离焦模型进行离焦模糊图像复原。高斯离焦模型是许多光学测量 系统和成像系统的最常见的退化函数模型，它是在综合考虑各种退化因素下，提出的 种近似模型，而不是经过理论推导得到一种精确模型，即高斯离焦模型的应用广泛却不 2 大连理工大学硕士学位论文 精确。圆盘离焦模型和高斯离焦模型都不能很好的逼近实际离焦模型，传统的离焦模糊 图像复原方法难以取得预期结果。 1 3 本文所做工作 在现有的离焦模糊图像复原方法中，均将离焦的点扩散函数模型化为圆盘离焦模型 或高斯离焦模型。这种模型化的方法虽然简化了离焦模糊图像的复原难度，仅仅通过离 焦图像确定离焦模型中的离焦参量就可以确定离焦的点扩散函数，但是圆盘离焦模型是 在几何光学下提出的，忽略了光的波动性及由此带来的衍射效应；高斯离焦模型不是经 理论推导出的模型，仅仅是在综合考虑各种退化因素下提出的一种近似模型，两种模型 都不能很好的逼近实际的离焦点扩散函数。本文利用非相干光学知识推导得到离焦的光 学传递函数和点扩散函数的形式，并通过比较证明：圆盘离焦模型和高斯离焦模型都不 能很好的逼近实际的离焦点扩散函数。圆盘离焦模型和高斯离焦模型与实际离焦点扩散 函数的差异，使得现有的离焦模糊图像复原方法无法取得预期的效果，因此虽然很早人 们就开始离焦模糊图像复原的研究工作，但并没有真正实用的离焦模糊图像复原方法及 相应的软件。为了改进离焦模糊图像的复原效果，本文改进了离焦点扩散函数的求取方 法，舍弃了圆盘离焦模型和高斯离焦模型，仅根据离焦模糊的圆对称性来估算离焦点扩 散函数。首先我们在空域中检测图像中的模糊直线边缘，并通过对多个模糊直线边缘取 平均，以及对模糊直线边缘采用多垂线检测的方法，来提高所检测的刃边函数曲线中各 点的精度。然后利用最小二乘拟合法拟合出刃边函数。刃边函数的精确程度是离焦模糊 图像复原的关键。对刃边函数微分就得到线扩散函数，再根据离焦模糊的圆对称性，进 行阿贝尔逆变换就得到离焦的点扩散函数。实验证明：用这种方法得到的点扩散函数要 比用圆盘离焦模型法或高斯离焦模型法得到的精确得多。此外，该方法不仅适用于离焦 造成的图像模糊，也适用于其它意夕 因素( 如大气湍流) 引起的具有圆对称性的图像模 糊，应用范围广阔。 在得到离焦点扩散函数后，构造维纳滤波器对图像进行复原。首先利用平坦区域估 算噪声功率谱，用经典谱估计中的直接法估计出信号功率谱，构造出维纳滤波器，然后 利用维纳滤波的复原图像对维纳滤波器的信噪比参量进行改进，得到优化维纳滤波器。 优化维纳滤波取得了良好效果。 在对复原结果进行评价时综合考虑了现有的评价方法和实际离焦模糊图像的复原 情况，在现有的利用调制传递函数进行评价的基础上，提出了利用图像的最大梯度值： 阶跃梯度值g u 进行评价。因为图像的阶跃梯度值g u 计算简单，并且能够很好的反映 刃边函数的陡度，进而反映调制传递函数m t f 的变化情况，所以该评价标准不失为一 3 离焦模糊图像复原方法的研究 种有效的评价标准。 1 4 论文的基本结构和内容 论文在第一章的绪论中重点介绍了离焦模糊图像复原的发展现状、存在的问题以及 开展本课题研究的目的和意义。第二章主要介绍用于图像复原的基本理论，包括连续图 像复原理论，离散图像复原理论以及图像盲复原的相关知识。第三章利用光学知识推导 了离焦光学传递函数，介绍了传统的离焦模糊图像复原方法，并指出其不足。第四章首 先介绍了改进复原方法中用到的光学基本知识，如点扩散函数、线扩散函数和刃边函 数。然后基于光学基础提出了改进方法，仅利用离焦模糊的圆对称性，由模糊图像估算 出离焦的点扩散函数，并优化维纳滤波器，对图像进行复原。在第五章中，针对离焦模 糊图像的复原特点，采用了一种新的复原评价标准。通过计算机仿真实验和实际离焦模 糊图像复原实验，证明本文改进的离焦模糊图像复原法是一种有效的复原方法。结论主 要是对前面工作的总结和今后的工作展望。 4 大连理工大学硕士学位论文 2 模糊图像的复原方法 2 1 引言 数字图像处理是- - f 迅速发展的学科，在诸多领域中有着广泛的应用。随着计算机 科学的飞速发展，以及图像数字化和图像显示设备的普及，数字图像处理在科学研究、 工业生产、医疗卫生、通信、娱乐等领域中已经起到了举足轻重的作用。在实际生活 中，由于种种原因，图像会产生不同程度的退化，因此改善图像质量获得高质量图像就 成为一个重要的研究课题。 2 2 图像复原技术 图像复原也称图像恢复，是图像处理中的一个重要分支。图像复原技术与图像增强 技术都希望改进输入图像的视觉质量，或者说都要得至日某种意义上的改进图像。但图像 增强技术一般要借助人的视觉系统的特性以取得看起来较好的视觉结果，即提高图像可 懂度，而图像复原则认为图像是因为某种或某几种原因退化了，需要根据相应的退化模 型和知识重建或恢复原始图像，即提高图像的逼真度。在图像复原中，通常我们需要知 道图像的退化原因，利用图像退化的某种先验知识来重建或恢复原有的图像。图像复原 的难易程度主要取决于对退化过程的先验知识掌握的精确程度。如果我们对退化的类 型、过程和系统参量都很清楚，那么我们就可以根据图像退化的先验知识比较精确地估 算出系统退化的点扩散函数p s f ( p o i n t s p r e a d f u n c t i o n ，在成像光学中习惯上将系统 的脉冲响应函数称为是成像系统的点扩散函数，具体定义见4 2 1 节) ，以此为基础， 采用各种反退化处理的方法，如逆滤波、维纳滤波，对图像进行复原，这就是典型的图 像复原方法。实际中，图像退化的因素很多，如离焦造成的模糊、光学系统的衍射、传 感器的非线性畸变、光学系统的像差、大气湍流的扰动效应以及运动造成的图像模糊 等。对于各种模糊图像，其退化原因可能是千差万别的，但作为图像复原问题，却有本 质上的共同点：图像的形成过程都可以用一个卷积过程来描述。所以图像复原问题实际 就是一个反卷积问题。研究中为了计算方便。通常采用频域滤波的方法来解决反卷积问 题。 图像复原中通常考虑以下几种类型的模糊图像：第一类是离焦模糊图像，在拍摄过 程中，由于调焦不准等原因，使得记录下来的被摄主体形象模糊不清，形成所谓离焦模 糊图像。第二类是运动模糊图像，这是由于拍摄曝光期间摄影机与被摄物体之间有相对 运动而造成的。例如：被摄目标物体与摄影机之间相对运动速度很大，而拍摄者所选用 5 离焦模糊图像复原方法的研究 的快门速度又较慢，这就容易形成运动模糊图像。第三类是散焦模糊图像，拍摄时由于 摄像系统的实际孔径大小有限或存在较严重的光衍射效应，使景物的光点在成像面上成 为“圆斑”，形成散焦模糊图像。第四类是噪声干扰模糊图像，在成像过程中成像系统 夹入噪声，随机地附加在图像上形成的模糊图像；第五类是大气湍流造成的模糊图像， 在航空图片、卫星图片、天文图片中，由于受到大气湍流的影响，使图像产生退化造成 模糊。 在进行图像复原时，既可以用连续数学，也可以用离散数学进行处理，本文按照发 展的先后，先介绍连续图像复原方法，后又介绍在其基础上发展起来的离散图像复原方 法。 2 2 1 连续图像复原方法 通常可以用图2 1 来表示简单的图像退化模型。在这个图像退化模型中，对图像产 生退化作用的物理系统被模型化为系统h ，它与加性噪声n ( x ，y ) 对输入图像f ( x ，y ) 的 联合作用导致了退化图像g ( x ，y ) 的产生。 图2 1 简单的图像退化模型 f i g 2 1s i m p l ed e g r a d e dm o d e l f o ri m a g e g ( x ，y ) 根据这个模型进行复原。就是在给定g ( x ，y ) 的基础上，根据退化的先验知识确定系 统h 的系统特性，并估计n ( x ，y ) 的统计特性，然后得至l j f ( x ，_ y ) 的近似。模型中退化图 像g ( x ，y ) 与输入物函数f ( x ，y ) 的关系可以表示为： g ( x ，y ) = h f c x ，_ y ) 】+ n ( x ，y ) = e e 厂( 口，尸) ( x 吨y 一脚+ ，z ( ) = f ( x ，y ) + ( x ，y ) + 刀( z ，y )( 2 1 ) 其中h ( x ，y ) 为系统h 的点扩散函数。为研究问题方便，通常认为退化系统h 是线 6 大连理工大学硕士学位论文 性空间不变系统，具有下面2 个性质【7 】： 线性：如果令七i 和忌：为常数，z ( x ，y ) 和l ( x ，_ y ) 为两个输入物函数，则： 日【1 z ( x ，y ) + k 2 ，2 ( x ，y ) = k l - f , ( x ，y ) + 如日 ( z ，y ) 】 空间不变性：对任意输入物函数f ( x ，y ) 以及口和b 有 h e f ( x 一口，y 一6 ) 】= g ( x 一口，y - b ) ( 2 2 ) ( 2 3 ) 公式2 3 指出线性空间不变系统在图像任意位置的响应只与在该位置的输入值有关 而与位置本身无关。 对公式2 。1 做傅立时变换，得到频率域的表达式为 g ( u ，v ) = f ( u ，v ) h ( “，v ) + n ( u ，v ) 或记为 v c u ，v ) = g ( u ，v ) h ( u ，v ) 一( “，v ) t c c u ，v ) ( 2 4 ) ( 2 5 ) 式中f ( u ，v ) 和g ( u ，v ) 分别是输入物函数和图像函数的傅立叶变换，h ( u ，v ) 是成像 系统的传递函数。去掉噪声项，仅保留公式2 5 中的第一项得到： 刍，”、 g ( u ，v ) 以嵋v ) 2 端 ( 2 6 ) 公式2 6 给出的复原方法称为逆滤波，通常在图像无噪声或者对噪声特性一无所知 的情况下使用。由公式2 6 可见，只要我们确定了成像系统的点扩散函数h ( x ，y ) ，傅立 叶变换求出该系统的传递函数h ( u ，v ) ，由此就可以制作逆滤波器1 h ( u ，v ) ，复原出目 标的频谱函数f ( u ，v ) ，再做一次傅立叶逆变换就得到复原后图像f ( x ，y ) 。逆滤波的原 理很简单，但由于其省略了噪声项，所以只能对信噪比极高的退化图像有较好的复原结 果。对含有噪声的退化图像，由于i - i ( u ，v ) 是低通滤波器，h ( u ，v ) 在高频域为零或趋于 零，而n ( u ，v ) 在频域中变化平缓，省略n ( u ，v ) h ( u ，v ) 就会使复原结果与预期的结果 7 离焦模糊图像复原方法的研究 有很大差距，复原图像质量对噪声非常敏感，处理出来的图像质量不会很好，这就是逆 滤波的病态性。因此实际中很少使用逆滤波进行复原。为了克服逆滤波的病态性，对逆 滤波加以改进得到维纳滤波器。 维纳滤波器是一个空间不变滤波器，它利用图像和噪声的功率谱作为先验知识来减 小逆滤波器对噪声的过度放大。维纳滤波器函数日。( 虬v ) 使均方误差最最小 8 ： e 2 = m i n e f ( x ，y ) 一f ( x ，y ) 2 ( 2 7 ) 式中e 是期望值，f ( x ，_ y ) 为原图像f ( x ，y ) 的最佳估计，是通过滤波器王0 ( “，v ) 所 得到的复原图像。在这种意义下可求得维纳滤波器函数日。( “，v ) 为： 帅朋= 丽矗 ( 2 8 ) 式中吩( “，v ) 是原图像的功率谱，j 。( “，v ) 是噪声的功率谱，h + ( “，v ) 则表示退化系 统传递函数t t ( u ，v ) 的共轭函数。由于观测噪声总是存在的，因此虽然日( “，v ) 可能存在 零点，但公式2 8 的分母决不会为零，因而避免了逆滤波的不稳定现象。由于维纳滤波 器排除了厅0 ，v ) 零点所引进的过度放大噪声的问题，所以滤波效果比逆滤波要好。维 纳滤波的复原结果为： 觚，= 丽玎甓鼢， ( 2 9 ) 由公式2 9 可见进行维纳滤波的关键在于求出系统的传递函数和估计噪声的统计特 性。 2 2 2 离散图像复原方法 2 2 1 小节中介绍的连续图像复原方法显然不方便于人们用计算机对数字图像进行 复原。二十世纪七十年代，a n d r e w s 和h u n t 9 ，一l l 】推导出种基于线性代数的图像复原 方法。它为复原滤波器( 包括前面提到的逆滤波和维纳滤波) 的数值计算提供了一个统 一的设计思路和较透彻的解释。相对传统连续复原方法，这种方法更适合用计算机对数 一8 一 大连理工大学硕士学位论文 字退化图像进行复原。 图2 2 给出了在研究离散复原问题时将要用到的模型。最上一行表示了我们希望 ( 但不可能) 的情形，即用一个理想的量化器对代表景物未退化图像的连续函数 f ( x ，y ) 进行操作，以得到数字化图像。这将产生一个行堆叠形式的n 2 1 列向量厂， f = 、f ( o o ) 3 礤。1 ) j j ( o , n - o , f ( l o ) j ( 1 。1 1 蚕i 菇一i ) j ( n - l 妨f ( n - l n - 2 ) f ( n - l n - i ) ，l t ；丧 着所需的n n 数字图像。图中的第二行给出一幅图像被量化和存储时，实际所发生情 况的模型：景物函数f ( x ，y ) 被一个线性操作h ( x ，y ) 所模糊，然后叠加上一幅二维噪声 图像n ( x ，y ) ，得到g o ，_ y ) ：随后，由一个理想量化器生成行堆叠形式的向量g ， g = k ( 0 o ) ，g ( o 1 ) ，g ( o n - j ) 蔼n o ) ，g ( i 1 ) ，g ( 1 n - 1 ) g ( n - 1 ，o ) g ( n - 1 。n - 2 ) ，e , ( n - 1 n - o ，它 代表被观察( 记录) 的n x n 数字图像；然后对这幅图像进行复原操作，以产生对原图 像的估计厂。 景 f u 图2 2 离散图像复原模型 f i g 2 3 , r e s t o r a t i o nm o d e l f o rd i s c r e t ei m a g e 虽然模糊是线性的，但它可能是空间不变的。如果是空间不变的，它就等于f ( x ，y ) 与 点扩散函数h ( x ，y ) 的卷积。如果( 通常确实如此) 成像链中包含不只一个操作环节，它 们的影响统一通过 ( x ，y ) 来体现。与此类似，多个噪声源也用一个n f x ，y ) 来表示。由 于此模型没有考虑各种非线性以及信号相关的噪声，因此它仍然不够全面。 9 hhh 离焦模糊图像复原方法的研究 图中第三行给出了在这里将要分析的模型。如前，一个理想的量化器生成向量 但它受到离散线性操作h 的作用，同时，一幅离散的、堆叠成为列向量形式的噪声图 像n 被加到，上形成列向量形式的被观察图像g ；再通过一个离散的复原操作来得到原 始图像的估计。这里需要注意的是：假设未退化图像的原始尺寸为m lx n l ，点扩散函 数的原始尺寸为m 2 x n 2 ，则和h 都需要用零填充到m x n 大小，其中m = m l + m 2 - 1 ， n = n l + n 2 1 ，如公式2 1 0 和2 1 1 所示： 伽舯= p 哪z 戮屯- 1 , o 邴 _ n n i - 一i 。 一如问= 川0 i 雾三二鬣曼等! 。 至此，被观察图像的形成过程可以简洁的表示为 g = 巧- 4 - 以= h m h h ，t h “3 k h ，y 五( o ) 丛j l 工( 1 ) h 3 正( 2 ) m 0 m h 。且z ( m n - 1 ) 其中每个日都是由扩展函数吃( x ，y ) 的第砑亍而来的 h = 吃( - ，o )吃( ， r 一1 ) 吃( j , 1 )吃( j , 0 ) mm 。( ，一i ) 玩( _ ，一2 ) a 见( _ ，1 ) a 。( ，2 ) mm a 。( ，0 ) + 珂。( 0 ) n e ( 1 ) n 。( 2 ) m 。( 蝌一1 ) ( 2 1 0 ) ( 2 1 1 ) r 2 1 2 ) ( 2 1 3 ) 因为h 中的每块都是循环标注的，所阻h 为块循环矩阵。 要注意的是，现在是在用离散操作来模拟图像的退化，它包括两个方面：其一，既 然可以对退化过程进行设计并加以精确实现，应该就能利用这个模型产生给人深刻印象 的仿真结果。其次，现在的任务是用离散操作模拟( 连续) 退化过程，这与早先要求对 1 0 a 人m t j 风m坼且m峨q 也m 大连理工大学硕士学位论文 数据的抽样处理必须能保留其完整信息这一情形相类似，图像复原的有效性关键取决于 描述退化过程的模型的精确性。 若盼= o 或者对噪声一无所知，则可用如下方法把复原问题当作一个最小二乘问题来j 解决。令e ( f ) 为，与其近似向量厂之间的残差向量，则公式2 1 2 变为： g = h f = h f + e ( f ) 或e ( f ) = g h 厂 我们的目的是使目标函数 矿c 夕，= 1 c 夕，l 2 = i l g 一日夕1 1 2 = c g 一日夕，7 c g 一日夕， ( 2 1 4 ) ( 2 1 5 ) 最小化，其中，l l a l l = 口7 口代表一个向量的欧几里得范数，即其各元素平方和的平方 根。这意味着我们希望这样来选择，使它被日模糊后所得的结果与观察到的图像g 之间的差的平方和尽可能的小。由于g 本身就是，经h 模糊得到的，若厂和，这两者被 h 模糊的结果接近相等，l j f 很可能就是对厂的一个良好估计。可以想象，这是一种令 人满意的方法。 注意，这个方法与在2 2 3 小节中导出维纳滤波器时所用的方法有所不同。维纳滤 波是使复原后的信号与原信号之差最小，而这儿则是使被模糊化的原始图像与被同样模 糊化的估计图像之差最小。因此，不能期望这两种方法给出同样的处理结果。 令w ( f ) 对厂的导数等于零，得到： _ a w ( f ) ：一2 h 7 ( g 一日乃：0 o f 其中7 表示目的转置矩阵。求解，得到： ，= ( h 7 日) 1 h 7 9 = h 。g ( 2 16 ) ( 2 1 7 ) 离焦模糊图像复原方法的研究 由于日为方阵，故后一等式成立。公式2 1 7 给出的就是逆滤波。对于位移不变的 模糊，h 为块循环矩阵。这可以通过在频率域中用公式2 1 8 进行去卷积来说明： 刍，。 g ( “，v ) 确，d 5 耢 若t t ( u ，v ) 有零值，则日为奇异的，无论h 1 或( 哪! 都不存在。 重写公式2 1 2 为： g h f = ” ( 2 1 8 ) ( 2 1 9 ) 考虑噪声项的一种方法是在极小化过程中引入要求公式2 1 9 两端范数相等的约 束，即： i f g _ 月) - - t l 行i 2 现在，可以将问题归结为最小化如下目标函数： 矿c 夕，= i l q 纠1 2 + 五c l | g 一日夕l 2 一 其中，q 是选来对，进行某种运算的矩阵，五为一常数，叫做拉格朗日因数。通过 指定不同的q ，可以达到不同的复原目标。 如前，令w ( f ) 对，的导数等于零，得到： _ o w ( f ) ：2 q 7 q 夕一2 m t ( g 日夕) ：0 a f 解得 1 2 大连理工大学硕士学位论文 f = ( 日7 h + 旭7 q ) “g佗。2 3 ) 其中，= 1 兄为必须经过调整以使公式2 2 0 成立的常数。这是求有约束最小二乘 复原的解的通用方程式。 如果令q = ，代表单位矩阵，则就是在设法使满足公式2 2 0 噪声约束的，的范数 最小化。这时公式2 2 3 变为： 为 f = ( 7 胃+ 玎) 。h 7 9 注意，若令7 = 0 ，公式2 2 4 就退化为公式2 1 7 的逆滤波器。 如果将，和竹视为随机变量，并选择q 为噪声与信号之比： q = 陌 ( 2 2 4 ) 其中q = e ( f f 7 ) 和r 。= e ( n n 7 ) 分别为信号和噪声的协方差矩阵。则公式2 2 3 变 ，= ( 胃7 日+ 孵1 r 。) 。h 7 9( 2 2 6 ) 通过假设位移不变性和平稳性，并利用矩阵傅里叶变换可以很容易地从公式2 2 6 得出公式2 , 2 7 的参数化维纳滤波器。 r r a u , v ) = 丽采 其中y 为可调节的参量，注意，若，= 1 ，就得到2 2 3 节中的使原始图像与复原图 像之间的均方差最小化的经典维纳滤波器。需要注意的是这种滤波器是使复原图像在均 方意义上与原图像最为接近的复原滤波器。 1 3 离焦模糊图像复原方法的研究 2 3 图像盲复原技术 2 2 节中提到，如果精确的知道图像退化的点扩散函数，采用反退化方法，可以很 容易求得反退化图像。在图像复原中，更多情况下，我们无法清楚的知道图像退化的类 型、过程和成像系统参量。在对实际的图像进行处理时，许多先验知识( 包括成像系统 和成像环境的先验知识) 往往并不具备。某些情况下，要获得图像的先验知识要付出很 大代价，甚至有的还是不可能的。例如，在航空摄影和天文学中，因为点扩散函数的变 化难以把握，所以无法获得退化的精确模型；在宇宙探索中，若采用高清晰度摄像机， 则其实际质量超过了限定质量。所以在实际问题中，退化的点扩散函数往往是未知的， 必须依据模糊图像同时估计退化的点扩散函数和原图像，这类图像复原问题称为图像盲 复原 1 2 1 4 1 。常见的图像盲复原方法有：迭代盲目反卷积法、模拟退火法和非负性与支 持域限制递归逆滤波法等。 简明的说，图像盲复原就是在图像系统( 即退化过程) 的信息全部或部分未知的情 况下，利用退化图像的特征来估计原图像和退化点扩散函数的过程。无论从理论还是实 际操作上讲，这都是一个非常困难的问题。尽管研究人员对经典的线性图像复原已进行 过深入研究，得到了一些理论和方法，但是这些方法并不能直接应用于图像的盲复原， 而是有待于进一步的探讨。 由于盲复原问题的求解是很困难的，如果可能，我们总是根据先验知识先估计退化 的点扩散函数，使得盲复原问题成为相对简单的线性复原问题，这对实际问题是可行 的。图像退化过程是一个物理过程，在许多情况下，退化的点扩散函数可以从物理知识 和退化图像来辨识。在辨识退化的点扩散函数时，下面的先验知识是可利用的： 1 ) h ( r n ，n ) 是确定性和非负性的； 2 1h ( m ，疗) 有有限支持域； 3 ) 退化过程不损失图像的能量。这意味着 h ( m ，以) = 1 在实际问题中还可以列出更多的先验知识，例如h ( m ， ) 的对称性等等。不过这些只是 针对某种或某几种退化过程成立，而不是一般成立的。 图像盲复原方法中一般通过建立退化模型，根据退化图像确定模型参量，来确定 图像的退化点扩散函数，然后采用维纳滤波、最t j 、- - 乘滤波、约束去卷积、最大熵复 1 4 大连理工大学硕士学位论文 原、中值滤波等方法进行复原。图像盲复原中常用的退化模型如下： 1 ) 运动模糊：通常认为运动模糊是均匀模糊，即对局部相邻象素取平均。常见的镜头 移动及被摄物体的移动所造成的模糊，均属此类模糊。公式2 2 9 给出了水平匀速运动 的模型： ( m ) ： 圭， 【m i 五2 时，在某些区域出现负值，对应频率成分产 生7 的平移，这表明该区域的对比度发生了翻转。 因为在光学系统中，绝大多数的光瞳为圆形光瞳 2 1 】，所以在本文的讨论与计算 中，不加说明时默认成像系统的光瞳为圆形光瞳。 3 。3 传统的离焦模糊图像复原方法 由衍射受限非相干成像系统的离焦光学传递函数的推导过程知道，要想计算出一个 成像系统的光学传递函数就必须知道这个成像系统的光瞳函数尸( x ，y ) 、出瞳到理想像 面的距离西、实际像面到理想像面的距离及光波频率五，而在多数情况下这些参量都 是未知的，所以在离焦模糊图像复原中，我们无法利用这些参量具体计算出离焦的光学 传递函数，而只能根据离焦模糊图像近似估算出成像系统的光学传递函数。在传统离焦 2 5 离焦模糊图像复原方法的研究 模糊复原中，中外学者提出用两种离焦模糊模型：圆盘离焦模型和高斯离焦模型，来近 似离焦系统的点扩散函数，进而估算系统的光学传递函数。 3 3 1 圆盘离焦模型复原法 圆盘离焦模型是利用几何光学知识对离焦现象进行研究得出的。从几何光学的观点 来看，点光源通过理想成像系统所成的像为一个点，接近为万函数。但当物面、透镜和 像面间的间距不满足高斯成像公式时，点光源的像不再是一个点而是一个圆盘状的弥散 盘，弥散盘中的灰度值均匀分布。原理图如下： 对 x ) 义对 ! 到 q l - 胁、 _ 一f- 卜一f 。 i 由高斯成像公式知 ll1 fft 图3 6 离焦几何光路图 f i g 3 6g e o m e t r yn i g h tp a t h so f d e f o c u s e d ( 3 1 9 ) 其中厂为透镜焦距，为物距，为理想像距，注意，为负值。根据三角形相似定 理，有 dd ， ( 3 2 0 ) 其中d 为光瞳直径，d 为离焦模糊直径，为实际像距与理想像距的差值。结合公 2 6 大连理工大学硕士学位论文 式3 1 9 和公式3 2 0 可以得到， d ：竺型二旦 1z l ， ( 3 2 1 ) 即这个离焦弥散盘的直径是由物距、焦距、像距和光学系统光圈的大小共同决定的 【2 2 】。圆盘离焦模型用公式表示如下： ，、f 1 ：, r r 2工2 + y 2 r 2 6 ( ) 2 1 0其它。 ( 3 2 2 ) 其中r 为模型离焦参量，需要根据离焦模糊图像确定。h ( x ，y ) 的傅里叶变换为： 脚冲破簪 ( 3 2 3 ) 式中 ( ) 表示一阶第一类b e s s e l 函数。日( “，v ) 是圆对称的，它的第一过零点的轨 迹形成一个圆，该圆的半径记为以。则有关系 r ：3 8 3 l o 2 r i f t ， ( 3 2 4 ) 其中假定计算离散傅里叶变换的尺寸是l ox l d 。这样可以计算出离焦模糊图像的 离散傅里叶变换，如果离焦模糊图像的信噪比较高，在频谱图上应该观察到圆形轨迹， 从频谱图上测出4 即可决定离焦圆盘离焦模型参量月，从而决定离焦的点扩散函数。也 可以通过在空域中检测刃边函