一种多帧遥感图像上采样方法

一种多帧遥感图像上采样方法

1基于凸集投影法的遥感图像上采样在遥感领域，对于感兴趣的场景没有其他数据，只有低分析率的图像，这些图像被模糊和噪声干扰。如何从单幅数据恢复清晰的分辨率图像是一个复杂而艰难的问题。由于情绪影响、光学模糊、相位运动、传感器因素和下采样系统的影响，导致图像质量下降的因素很多。因此，在质量遥感图像的重建中，有必要处理图像矩阵中重新采样的变换，消除模糊和噪声的图像重建。图像上采样是个双倍病态的问题,因为图像和模糊都是未知的.在过去的20年中,人们已经提出许多有价值的方法,这些方法往往要采用一些先验知识和假设来约束图像和模糊.但是这种约束往往是针对特定应用的,并不适用于遥感图像.其中最常用的就是基于插值和线性滤波的方法,这些方法广泛应用于PhotoShop、ENVI等商业软件中,包括Nearest-Neighbor、Bilinear、Bicubic和Lanczos等等.这些方法速度较快,便于应用,都基于这样一个假设:图像是空间平滑的或者波段受限的.但这种假设基本上是与现实不相符合的,因此会产生响铃、马赛克、模糊等很明显的视觉误差.近几年来,上采样技术还采用了一些其它的先验和假设.2002年Freeman等人提出了基于样例的上采样(example-basedupsample),其高分辨率图像重建所对应的补片(patch)是从包含许多高低分辨率图像对的数据库中学习得来的,旨在利用图像本身以外的信息,使用类似纹理合成的方法进行高频恢复,然而其上采样结果的质量非常依赖于数据库所提供的样例,并且计算代价昂贵.2007年Kopf等人提出的联合双边上采样(jointbilateralupsample),是采用一个高分辨率图像作为先验,利用一个联合双边滤波(jointbilateralfilter)进行上采样,克服了以光滑性为先验会导致图像特征模糊的缺点,最终的结果高度敏感于先验的图像,由于遥感图像不同场景(乡村、城市、山区、海洋、沙漠等)之间的差异很大,所以一幅图像的先验模型不可能与所有类型的目标场景相匹配.Fattal提出以统计的边信息作为先验,使边的特点能够正确匹配,以期在上采样的图像中保证重建清晰的边,然而在遥感影像中,虽然也有类似的几何结构(如街道、海岸线等),但毕竟这样的特征占的比重不大,相反,它对于在遥感图像中广泛出现的方向性纹理没有出色效果.Shan等人2008年提出了一个反馈-控制的框架,对于采用传统Bicubic等方式上采样的图像,以重尾分布作为先验,采用快速傅立叶变换(FFTs),利用这个反馈-控制框架重复进行反卷积、重新卷积和像素置换来去除模糊和重建.这个框架对于视频和普通照片的效果较好,但其收敛性并不能获得保证,并且实验证明对遥感图像效果并不理想,最大的问题在于高频信息的明显丢失,计算速度也较慢.本文针对遥感图像的特点,提出了一种新的基于凸集投影法和复数小波包域的遥感图像上采样的框架与算法.该算法的主要思想是先将通常使用在多帧图像超分辨率的POCS方法改进,用于对单幅遥感图像进行上采样,得到一个高分辨率的中间结果,再使用复数小波包域的分解技术对其做进一步的去模糊和降噪,从而获得更精细的高分辨率图像.由于遥感图像本身以及POCS方法都会带来未知的模糊效果,我们假设由POCS方法获得的中间结果与真实结果之间的调制传递函数(MTF)呈各项异性的高斯函数,并使用贝叶斯方法对其参数进行有效估计,从而实现自适应的复数小波包域去模糊和降噪.实验结果表明,我们提出的这种上采样方法无论是对高频细节部分的恢复与重建,还是在去模糊、降噪方面,都取得了较好的效果.2基于凸集投影法和个数小波包域的遥感图像上采样框架高分辨率图像与低分辨率图像之间的最大差异在于其高频细节部分.凸集投影法(POCS)是多帧图像超分辨率重建中较理想的一种空间域的方法,它的优点在于能够很好地提升重建图像的高频信号,并具有一定的边缘保持能力.在单帧图像的POCS上采样运算中,我们通过计算低分辨率图像和高分辨率图像之间的投影残差并反复更新上采样点阵中对应的像素,来重建新的像素点阵,实验证明在图像的高频细节部分重建方面具有较好的效果.由于图像本身以及POCS方法都会带来未知的模糊,并且凸集投影法的降噪能力差,而遥感图像本身又不可避免地会受到各种噪声的干扰,因此要弥补POCS方法的缺陷并获得高质量的上采样结果必须选择合适的方法进行去模糊和降噪处理.复数小波包(CWPT)是Kingsbury提出的一种小波变换工具,作为一种新颖的多尺度分析工具,复数小波包变换相比于传统的小波和小波包变换,具有更好的方向选择特性(可以分离出6个不同的方向:±15°、±45°、±75°),对于局部方向性明显的纹理,具有强大的分解能力.Jalobeanu将复数小波包用于遥感图像的去模糊和降噪,获得了很好的效果.法国国家空间研究中心(CNES)的COMPATH系统以及DEPA系统都是基于复数小波包域的遥感图像复原系统,目前国内的相关研究和应用很少.复数小波包可以同时利用复数小波变换和包分解两种技术的优点,是目前最合适于遥感图像去卷积与复原的多尺度分析工具之一.我们根据遥感图像的特点,将POCS和CWPT结合起来,利用CWPT弥补POCS的缺陷,充分发挥各自的优势,首次提出了一种基于凸集投影法和复数小波包域的遥感图像上采样的算法与框架.该框架的主要内容如下:(1)首先使用POCS方法对遥感图像进行上采样,充分利用POCS方法的优势得到一个能够较好重建高频细节部分的中间结果;(2)采用适合遥感图像特点的简洁有效的先验,即假设中间结果与真实结果之间的调制传递函数(MTF)呈各项异性的高斯函数,使用贝叶斯方法进行参数的自适应估计;(3)使用复数小波包域的分解技术对其做进一步的去模糊和降噪,从而获得更精细的高分辨率图像.3上采样的一般过程在POCS理论中,限制集定义为超分辨率解空间中可行解的限制条件(如正定性、能量有界性、观测一致性以及光滑性等),并将每一个限制条件都定义为向量空间中的凸集,这些凸限制集的交集形成超分辨率重建问题的最终解空间.本文上采样方法使用的限制集包括:(1)假设图像模型是一个线形移不变系统,将相应的点扩散函数(PSF)作为投影算子;(2)根据8bit图像的取值范围为,设定幅度限制为0,255.利用POCS进行上采样的主要步骤如下:1.先将低分辨的输入图像L利用Bilinear算法快速上采样,形成一张初始的上采样图像ˆΗ(0).2.然后利用低分辨率图像L与参考图像ˆΗ(k-1)之间的对应关系,计算投影残差R,并更新上采样图像ˆΗ(k)对应的像素值.本文的投影算子(即相应的点扩散函数PSF)采用高斯模型,表示为P(x2,y2;x′2,y′2)=e-(x2-x′2)2+(y2-y′2)22(1)残差如下式所示:R(x2,y2;x′2,y′2)=L(x1,y1)-P(x2,y2;x′2,y′2)ˆΗ(k-1)(x2,y2)(2)根据投影残差,更新图像ˆΗ(k)在PSF窗口中整数网格点的像素值,ˆΗ(k)(x2,y2)=ˆΗ(k-1)(x2,y2)+R(x2,y2;x′2,y′2)P(x2,y2;x′2,y′2)(3)其中x1、y1、x2、y2分别为低分辨率图像L和上采样图像ˆΗ(k)像素点的坐标值,x′2、y′2为PSF有效范围(所谓“窗口”)内中心点的坐标值,k为投影迭代次数.3.将修正后的POCS投影图像ˆΗ(k)作为下一次投影迭代的参考图像,重复进行投影残差计算和像素更新;4.反复提升图像的高频细节信息,直至迭代到满意的结果ˆΗ为止.4基于个数小波包域的同步控制技术剑桥大学的NickKingsbury教授首先提出了复数小波变换的概念,这是一种对偶数变换算法,通过将实正交小波变换在各个方向上的采样间隔放大两倍得到一种具有近似位移不变性的小波变换.小波包是由Coifman、Meyer等引入的.小波包变换可以对高频部分提供更精细的分解,而且这种分解既无冗余,也无疏漏,所以对包含大量中、高频信息的信号(遥感图像、地震信号和生物医学信号等)能够进行更好的时频局部化分析.2000年,Jalobeanu提出了快速的四树复数小波包变换与反变换算法(quad-treecomplexwaveletpackettransform),相比传统多尺度分析方法,复数小波包变换CWPT很好地兼备了复数小波变换和小波包变换的所有优点.本文利用复数小波包域分解技术,在使用贝叶斯方法噪声参数的估计值的前提下,对遥感图像进行有效复原.4.1遥感图像的噪声处理我们使用贝叶斯的方法对由POCS方法获得的结果图像与真实图像之间的模糊和噪声参数进行快速高效的估计.调制传递函数(MTF)在频域可以写成若干分量的乘积,这些分量由不同因素产生,包括大气、光学系统、运动以及传感器等多种因素.我们将MTF以非各向同性的高斯函数近似:MTF=MTF0×e(-α0u2-α1v2)(4)其中MTF0表示可以测量得到的MTF成分,在没有测量结果支撑的情况下可以取恒等于1,u,v∈是频率.噪音用方差参数为σ2的高斯白噪声来表示.基于自然场景的遥感图像的统计模型,我们采用贝叶斯方法,计算最合适的参数α和σ2,以及隐含的模型参数w0和q,使得如下似然概率取得最大值:P=∏u,v{NF(Y)(0,ω2u,v)}(5)其中,ωu,v2=w02×r-2q×MTFu,v2+σ2,Νx(0,σ2)=12πσ2e-x2/2σ2,r=(u2+v2)1/2,u,v∈[0,1].使用共轭梯度法等方法求解关于P的非线性优化问题,获得最佳参数α和σ2,以支持遥感图像去模糊和降噪.4.2基于噪声的cwpt域分频带噪声.n本文采用复数小波包变换CWPT对遥感图像进行去模糊和降噪处理,对于分解得到的系数划分子频带,并且对于每个子频带建立噪声模型,以适应于彩色噪声的建模.利用MTF的估计值,将遥感图像在频域进行无规则化的去卷积,可以得到带有很高噪声的去模糊后的图像.由于该噪声在高频处能量极大,是彩色噪声,使用复数小波包工具非常适用.假设彩色噪声在经过复数小波包域分解后各个子带中都是独立的高斯白噪声,其噪声方差σk2可以由模糊核H以及参数σ2进行估计:σk2=σ2×∑u,v|F(Wk)u,v/MTFu,v|2(6)其中Wk为子频带K的冲击响应信号.σk2也可以通过模拟一个高斯白噪声,除以MTF值,然后变换到CWPT域分频带进行近似计算.对于每个子带,使用最大似然法则进行降噪,公式如下:ξ=|ζ|2|ζ|2+2σk2x(7)其中x为带噪声的信号;ζ为对原始图像信号的一个估计值,使用经典Wiener或RHEA等单尺度规则化去卷积方法得到.在完成最大似然估计后,采用软阈值技术,对各个子频带进行滤波,最后再将复数小波包域的系数反变换回到空间域,实现遥感图像的复原.5bic使用参数模糊的采样结果首先将遥感图像下采样,图像尺寸缩小为原图的1/4;将下采样的图像进行模糊处理,并添加高斯噪声,得到一张模糊的有噪声干扰的低分辨率图像.然后将这张降质的低分辨率图像,以不同的方法上采样,包括Nearest-Neighbor、Bicubic,文献中提出的在Bicubic结果上利用反馈-控制的框架去模糊和重建,和我们提出的基于POCS和CWPT的遥感图像上采样.将上采样的结果进行比较和分析.图2中原始图像的尺寸为512×512,下采样降质图的尺寸为256×256(添加模糊(MTFα(x)=10,α(y)=10),添加高斯噪声(σ2=2.0)),上采样结果的尺寸为512×512;图3中原始图像的尺寸为512×512,下采样降质图的尺寸为256×256(添加模糊(MTFα(x)=10,α(y)=10),添加高斯噪声(σ2=2.0)),上采样结果的尺寸为512×512;图4中原始图像的尺寸为512×450,下采样降质图的尺寸为256×225(添加模糊(MTFα(x)=5,α(y)=5),添加高斯噪声(σ2=1.0)),上采样结果的尺寸为512×450.从图2～图4中可以看出:NearestNeighbor出现了明显的马赛克;Bicubic图像模糊;文献丢失了部分高频细节;比较而言,我们的方法无论是对高频细节部分的恢复还是去模糊,视觉效果上都具有较明显的提高.从表1关于SSIM(StructuralSimilarity)和PSNR(PeakSignaltoNoiseRatio)的数值比较上来看:在所比较的方法之中,虽然我们的方法得到的PSNR只是相对较好,比Bicubic略低,但是SSIM在大多数情况下是最好的.SSIM是一种衡量两幅图像相似度的新指标,其值越大越好(最大为1),特别是在图像去噪处理中的图像相似度评价上全面超越SNR和PSNR.这说明我们的结果与原始图像的相似度及降噪能力,比起NearestNeighbor、Bicubic、文献等方法,从客观的数值评价上也具有一定的优势.6遥感图像上采样的改进方案本文针对遥感图像的特点,提出了一种新的基于凸集投影法和复数小波包域