图像复原大纲.doc

7 图像复原7.1 引言7.2退化模型7.3 复原方法7.3.1 无约束复原7.3.1.1 代数复原原理7.3.1.2 逆滤波7.3.2 有约束复原7.3.2.1维纳滤波7.3.2.2 有约束最小平方复原7.4 退化函数的测量7.4.1 点扩散函数7.4.1.1匀速直线运动7.4.1.2离焦模糊7.4.1.3大气湍流7.4.1.4辐射状模糊7.4.1.5由点、线测量7.4.1.6 由边缘测量7.4.1.7 由图像功率谱测量7.4.2 噪声功率谱的测量7.5 几何失真校正7.5.1空间变换7.5.2灰度插值7.5.5几何失真校正的应用* 7.6 超分辨率复原及其应用习题第7章 图像复原7.1 引言图像在形成、传输和记录过程中，由于成像系统、传输介质和记录设备的不完善，使图像的质量下降。这一过程称为图像的退化。图像退化的典型表现为图像模糊、失真、有噪声等，而引起退化的原因则很多，如光学系统的像差、衍射、非线性、几何畸变、成像系统与被摄体的相对运动、大气的湍流效应等。图像的复原就是要尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程恢复图像。由3：引起退化的因素各异，目前还没有统一的恢复方法。针对不同的物理模型，采用不同的退化模型、处理技术和估计准则，已导出了许多恢复方法。典型的图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，使图像质量得到改善。可见，图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。图像复原的一般过程： 分析退化原因一建立退化模型一反向推演一恢复图像 对图像复原结果的评价已确定了一些准则，这些准则包括最小均方准则、加权均方PR则和最大墒猴则等。 图像复原和图像增强是有区别的，二者的目的都是为了改善图像的质量。但图像增强不考虑图像是如何退化的，只通过试探各种技术来增强图像的视觉效果。因此图像增强可以不顾增强后的图像是否失真，只要看得舒服就行。而图像复原就完全不同，需知道图像退化的机制和过程的先验知识，据此找出一种相应的逆过程解算方法，从而得到复原的图像。如果图像已退化，应先作复原处理，再作增强处理。图像复原是图像处理的另一重要课题。它的主要日的是改善给定的图像质量。当给定了幅退化了的或者受到噪声污染了的图像后，利用退化现象的某种先验知识来重建或恢复原有图像是因像复原处理的基本过程。可能的退化有光学系统中的衍射、传感器非线性畸变、光学系统的侮差、摄影胶片的非线性、大气湍流的扰动效应、图像运动造成的模糊以及几何畸变等等。噪声干扰可以由电子成保系统传感器、信号传输过程或者胶片颗粒性造成。各种退化图像的复原都可归结为一种过程，具体地说就是把退化模型化，并且采用相反的过程进行处理，以便恢复出原图像。本章将主要讨论一些基本的复原技术。我们知道，在成像过程中有许多因素会导致图像质量的下降即退化，如光学系统的像差、大气扰动、运动、离焦、离散采样和系统噪声，它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理，使其复原接近没有退化前的理想图像。按照傅立叶光学的观点，光学系统是一个低通滤波器，由于受到光学孔径衍射的影响，其传递函数在由衍射极限分辨力所决定的截止频率以上值均为零。目前，多数图像复原方法至多将图像的频谱复原到衍射极限相应的截止频率处，而不能超越它，这样截止频率之外的能量和信息被无可奈何的丢失了。此外，对于离散采样成像器件如CCD，当成像为欠采样成像时，图像的高低频信息将产生混淆。图像超分辨力复原的目的就是在保证通频带内图像低频信息复原的基础上，对截止频率以上的高频信息进行复原，以使图像获得更多的细节和信息，使复原图像更加接近理想图像。超分辨力图像复原（Super-Resolution Image Restoration-SRIR）在许多领域具有非常重要的应用价值和广阔的应用前景，因此对其的研究具有十分重要的意义。下面是一些典型的应用领域：（1） 遥感：提高光学遥感图像和合成孔径雷达遥感图像的分辨力和清晰度。（2） 医学：提高CT、核磁共振、X-ray和B超等医学影像的分辨力，获得更加清晰的医学造影图像。（3） 生物：提高细胞、DNA等微小组织显微荧光图像的分辨力和清晰度，获得共聚焦立体切片图像。（4） 公安：提高公安监控图像的分辨力和清晰度，有效辨认图像中的人或物。（5） 通讯：提高传输图像的分辨力和清晰度。（6） 军事：提高军事侦察图像的分辨力和清晰度，提高导弹的识别和命中精度。（7） 天文：提高对星体的观察分辨能力。（8） 工业：提高无损探测成像的分辨力和清晰度。 此外，超分辨力图像复原的研究是对图像复原理论体系进一步的发展与完善。正因为如此，超分辨力图像复原技术近年来已成为图像处理领域最为活跃的研究课题。1.2 国内外发展历史和现状图像复原是图像处理的一个重要分支，实际上图像处理技术的发展也是从图像复原开始。1964年，美国喷气推动实验室（JPL）进行了太空探测工作，当时利用计算机来处理“徘徊者7号”发回的月球照片，以校正飞船上电视摄像机中各种不同形式的固有畸变，这些技术都是图像增强和复原的基础。此后，随着计算机技术，数学理论和图像处理技术的不断发展，图像复原技术不论在理论方法上还是在实际应用中都取得了飞速的发展，并逐渐形成了一个比较完整的体系1-11 。图像复原主要涉及了三个方面的内容：退化图像的成像模型，图像复原算法和复原图像的评价标准。不同的成像模型、问题空间、优化准则和方法12-18,133-142会导致不同的复原算法，适用于不同的应用领域。现有的图像复原方法主要包括以下几个类型：（1）频域法 （2）线性代数复原法 （3）非线性复原法 （4）频谱外推法 7.2 退化模型要想进行图像复原，首先必须建立图像的退化模型，也就是说首先必须了解、分析图像退化的机理并用数学模型表现出来。通常，图像的退化过程可用下述模型描述。2.1.1 连续成像模型在系统的成像过程中，有许多因素会导致图像的退化，其过程如图2-1所示图7-1 连续成像模型在数学上可用一个迭加积分来描述 （2-1）其中，表示物函数；表示退化的像函数；表示加性噪声，在有些情况下是以相乘的形式出现，称之为乘性噪声；表示系统的点扩散函数；表示记录介质或传感器件的非线性。如果不考虑非线性的影响，式（2-1）可变为 （2-2）如果假设成像系统是线性空间不变系统，即点扩散函数与像面位置无关， 则 （2-2）式可改写成 （2-3）这里的表示卷积运算。2.1.2 离散成像模型在实际成像过程中，通常采用CCD相机或其它离散成像器件进行图像采集和数字化，因此获取的退化图像应为离散函数。其成像过程如图2-2所示图2-2 离散成像模型假设采样为理想采样，有 （2-4）其中表示离散抽样函数，和分别表示离散像函数和噪声，n1和n2为整数。离散抽样函数可表示为 （2-5） （2-6）其中，和分别表示x和y方向的采样间隔。而在实际图像处理过程中，物像均需以数字离散函数表示，如果此时不考虑非线性的影响且考虑图像的大小为，式（2-4）可变为 （2-7）如果假设成像系统是线性空间不变系统，则式（2-7）可写成离散卷积的关系 （2-8）其中，和分别表示离散物函数和点扩散函数，n1和n2为整数且有1n1N1，1n2N2。对于上述离散成像过程也可表示为矩阵形式，此时离散退化模型为 （2-9）这里f，g和n分别表示物、退化像和噪声，且为一个行堆叠形成的列向量，H为阶矩阵，代表点扩散函数的离散分布。若系统是位移不变的，则H为块循环矩阵。7.3 复原方法3.1 传统图像复原方法3.1.1 逆滤波和最小平方滤波复原法（LS）1,10 逆滤波和最小平方滤波复原法是图像复原中最基本的复原方法。从前面的讨论可知，在不考虑噪声的情况下，图像的退化模型可表示为 （3-1）对式（3-1）取傅里叶变换，则有 （3-2） （3-3）如果退化图像和点扩散函数已知，则可通过式（3-3）求出，然后对其取傅里叶逆变换即可求得原物。如果把看作滤波函数，起到了反向滤波的作用，所以该方法被称为逆滤波复原法，被称为逆滤波传递函数。如果将式（3-1）写成离散矩阵的形式，则有 （3-4）假设e2为平方误差，且有 （3-5）如果我们把式（3-5）作为目标函数，且使其最小化，可得原图像的估计为 （3-6）采用式（3-6）对原图像进行估计被称为最小平方复原法。实际上最小平方复原法与逆滤波复原法是等价的，只是前者在空域考虑问题，后者在频域考虑问题。在有噪声的情况下，逆滤波原理可写成如下形式 （3-7） （3-8） （3-9）利用式（3-3）和（3-9）进行图像复原处理时会遇到以下问题：在某些区域非常小且在高频的情况下为零，在这种情况下，即使没有噪声也无法精确地恢复；另外在有噪声存在时，高频的噪声项被显著放大，这样也会使不能得到正确复原。因此，图像复原问题是一个病态问题。为此，通常采用只对原点附近的有限频域进行复原，并对高频信息不做复原处理或截除掉。由此可见，采用逆滤波法不论对无噪图像还是带噪图像，均不能取得理想的复原结果。3.1.2 Wiener滤波复原法1,10Wiener滤波复原是一种对噪声起抑制和减少作用的方法，由C. W. Helstrom 于1967年提出。Wiener滤波复原是寻找一个滤波器，使得复原后的图像和原图像的均方差最小，即 （3-10）因此，这种方法也被称为最小均方估计法（MMSE）。如果假设和噪声不相关，且有零均值，则由上述条件可得出Wiener滤波器的传递函数为 （3-11）其中为的复共轭；和分别表示原图像和噪声的功率谱，即分别是和自相关函数的傅里叶变换。从式（3-11）可得 （3-12）对取傅里叶逆变换，即可得在Wiener滤波意义下的最佳原图像估计。在实际图像处理过程中，和通常是未知的，可用一个常数k来近似/，所以式（3-11）可变为 （3-13）对于衍射受限的光学系统，由于其截止频率之外的，但由于和项的存在，式（3-11）分母不会为零，因而使。在存在噪声且信噪比较高时，即，则/很小，此时，即Wiener滤波器变成了逆滤波器。反之，当信噪比较低时，则，此时实现了对噪声放大的抑制。通过Wiener滤波复原方法对图像进行复原时存在以下问题：一是在信噪比较低的情况下，效果往往不太好，这可能是由于Wiener滤波是基于平稳随机过程模型，且假设退化模型为线性空间不变系统的原因，这与实际情况存在一定差距。二是最小均方误差准则与人的视觉准则不一定匹配。另外，由于图像的边缘载断作用，复原图像中会产生由此引起的高频振荡条纹。综上所述，Wiener滤波法是一种线性的复原滤波器，并不能取得令人满意的复原效果，也不能对超过截止频率的高频信息进行复原。3.1.3 约束最小平方滤波复原法（CLS）89Wiener滤波器是在这样的假设下推导的，即原始图像和噪声都是平稳随机场，并且它们的功率谱已知。而对大多数实际情况，它们的功率谱并非已知。此时，如果只知道噪声方差的先验知识，则可采用约束最小平方滤波复原法来进行复原，该方法由B. R. Hunt于1973年提出。从前面的叙述可知，图像的离散退化模型为 （3-14）假设，对于式（3-14）要解决的图像复原问题可变为在给定g、H和e2的情况下寻求一个，使得 （3-15）由于问题的病态，满足式（3-15）的很多，所以必须用其它的约束条件对解进行约束，选择其中最佳的。当然所加约束条件必须具有某种先验的合理性，此时上述问题为一约束最优化问题。采用拉格朗日优化理论，把约束极值问题变成无约束的极值问题，则上述问题变成为目标函数 （3-16）的无约束极小问题。其中为拉格朗日常数，通常被称为正则化参数。D是高通滤波光滑算子，用以对噪声的抑制和消除。通常选择D为二阶导数即Laplacian算子 （3-17）其离散形式为 （3-18）如果对式（3-16）取偏导并令其等于0，则有 （3-19）进一步解得 （3-20）在计算过程中，要对进行调整，直到满足式（3-15）的条件。直接求解式（3-20）比较困难，目前通常采用以下两种方法对其进行求解：（1） 频域法由于矩阵H和D是分块循环矩阵，所以二维傅里变换可把分块循环矩阵变成对角矩阵。利用这个特点，从式（3-20）出发可推得 （3-21）因此该复原过程所用的滤波器传递函数为 （3-22）该公式类似于维纳滤波器，实际上Wiener滤波器是式（3-22）的特殊情况。当D=I且/时，CLS滤波器就变成Wiener滤波器。（2） 迭代法从式（3-20）可得 （3-23）此时可采用以下迭代算法对式（3-23）进行求解 （3-24）研究表明，CLS复原法在抑制噪声放大方面优于Wiener滤波复原法，而且CLS复原法的推导没有假定随机场是均匀的并且谱密度为已知，只是确定了一个最佳准则，因此CLS法在图像复原中得到了较广泛的应用。7.4 退化函数测量对于前面的成像方程，为了估计出原图像，除了退化图像和关于噪声的一些统计特性外，自然还需知道光学系统的点扩散函数。如果是已知的，估计是一个常规反卷积问题。如果和都未知，要由来同时进行估计，则称该问题为盲目反卷积问题。对于点扩散函数，如果根据退化图像对其进行确定，称为系统辨识。如果输入图像未知，则称为盲目辨识。在本节中，将介绍一些确定光学系统点扩散函数的方法6,11。2.4.1 通过测试靶进行系统辨识在许多情况下，系统的传递函数或者点扩散函数，可以在系统使用之前直接测定。假设输入一个合适的测试图像，对应的输出为，则可以用下式直接求出系统的传递函数 （2-41）对取傅里叶逆变换，即可求出系统的点扩散函数。2.4.1.1 点源测试靶如果输入一个理想的点源，则系统的输出就是点扩散函数。尽管理想的点源在物理上是不可能实现的，但可用一个与点扩散函数相比足够小的“点”源来代替。例如，星体可用于望远镜的点扩散函数测量，这是由于大气扰动造成的模糊要比星体显得更大。一个亮的足够小的点源可用于照相机透镜系统的点扩散函数确定，而荧光小珠子则可用于显微镜的点扩散函数确定。2.4.1.2 线测试靶设系统输入为一沿x轴的无限窄直线，此时输入可表示为 （2-42）则其输出为 （2-43）对应的传递函数为 （2-44）此时，被称为线扩散函数，对应的输出频谱只是沿u轴计算的传递函数。如果是对称的，则传递函数可根据任意方向上的一个线输入所产生的线扩散函数完全确定。如果可分离为x方向和y方向函数的乘积，则系统的垂直和水平线扩散函数足以确定系统的传递函数。如果是不对称的，二维傅立叶变换的旋转特性使我们可以沿各个转角计算线扩散函数，对其变换以获得此角度上的的轮廓，根据中心切片定理，再进一步重建传递函数。2.4.1.3 刀口测试靶设输入一个沿x轴的由低到高的突变，这个输入可表示为在x方向的阶跃函数 （2-45）由于输出的刀口扩散函数为线扩散函数的积分，因此对刀口扩散函数求导即可求得x方向的线扩散函数。2.4.1.4 正弦波测试靶也许确定传递函数最可靠的方法是使用正弦型输入函数，假设输入为 （2-46）则其输出为 （2-47）输出的频谱为 （2-48）由此可获得频率为u0处的传递函数值。通过在不同频率和不同方向上的情况下重复此过程，可以得到任意精度要求的传递函数。此外，对于圆对称或可分离的传递函数，工作量可以大大减少。2.4.1.5 频率扫描测试靶另一个与正弦波靶类似，不需要对输出进行变换来计算传递函数的输入是频率扫描测试靶。此时输入是一个频率随与原点距离线性增加的调谐信号，则输出是输入与传递函数的乘积。所以有 （2-49） （2-50）由此很容易解得点扩散函数。2.4.2 用互相关进行系统辨识如果将系统的输出和输入进行互相关，则其谱函数为 （2-51）其中为输入信号的功率谱。若为非相关白噪声，则为一常数，因而互相关输出器输出的就是系统的点扩散函数。这样，我们就可以用随机噪声图像作为系统输入，算出它与系统输出的互相关，从而可得系统的点扩散函数。2.4.3 采用退化图像进行系统辨识在某些情况下，并不能通过前述的标定测量方法来获得，如运动模糊，大气扰动造成的随机退化；想复原一张照片，但原来的相机找不到了。在这些情况下，只能试图根据退化图像本身以及一些先验知识对系统进行辨识。和前述的辨识方法相比，此时对点扩散函数的确定是一个比较困难的问题，通常采用的方法有：2.4.3.1 利用原物中的特定目标进行系统辨识如果设法使退化图像中包含点源、线源和刀口边缘特征的像，即可利用前述的方法获得系统的点扩散函数。例如在天文成像中，可利用单星体为点光源，由此估计出大气扰动的点扩散函数。此外，许多目标图像都含有可被视为理想的边缘特征，由此可估计出系统的点扩散函数。2.4.3.2 利用退化模型函数进行系统辨识在某些成像过程中，根据系统的成像特性和某些先验知识，可确定系统的退化模型函数，然后利用退化图像来确定退化模型中的参数，此时也被称为参数估计。（1） 线性运动退化函数当成像系统和目标之间存在着相对匀速直线运动造成图像退化时，系统的点扩散函数可表示为 （2-52）其中d是退化函数的长度。如果噪声较低时，这种类型的退化函数可在频域辨识，即根据由傅里叶变换的带状调制来确定d。（2） 散焦退化函数几何光学的分析表明，光学系统散焦造成的图像退化相应的点扩散函数是一个均匀分布的圆形光斑，其表达式为 （2-53）其中R为散焦斑半径。如果退化图像的信噪比较高时，则可由的傅里叶变换在频域图上产生的圆形轨迹来确定R。（3） Gauss退化函数Gauss退化函数是许多光学成像系统最常见的退化函数，它是光学系统衍射、像差等因素的综合结果，其表达式为 （2-54）其中，K是归一化常数，a是一个正常数，C是的圆形支持域。由于Gauss函数的傅里叶变换仍是Gauss函数，并且没有过零点，因此Gauss退化函数的辨识不能利用频域过零点来进行。在许多情况下，可利用前述的孤立点源和刀口边缘进行辨识。不过Gauss退化函数有一个很有意义的性质，一个Gauss函数总可以分解为两个Gauss函数的卷积。这就意味着，如果退化函数估计偏窄，反卷积总可以消除一部分Gauss退化，结果使图像的分辨力得到改善。2.4.3.3 盲解辨识上面介绍了在信噪比良好的