空间目标图像盲解卷积技术研究硕士论文

分类号 TN919.8 学号 10070036 655 密级 公 开 工学硕士学位论文 空间目标图像盲空间目标图像盲解卷积解卷积技术研究技术研究 硕士生姓名 许洁平 学 科 专 业 光学工程 研 究 方 向 图像处理 指 导 教 师 梁永辉 教授 国防科学技术大学研究生院国防科学技术大学研究生院 二二一二一二年年十十一月一月 Research on Blind Deconvolution of Space Object Images Candidate： Xu Jieping Advisor： Prof. Liang Yonghui A dissertation Submitted in partial fulfillment of the requirements for the degree of Master of Engineering in Optical Engineering Graduate School of National University of Defense Technology Changsha，Hunan，P.R.China （November，2012） 国防科学技术大学研究生院硕士学位论文 第 I 页 目 录 摘 要. i Abstract . ii 第一章 绪论 . 1 1.1 课题背景及研究意义 . 1 1.2 空间目标图像盲复原技术概况与现状 . 1 1.3 论文主要内容及结构安排 . 4 第二章 空间目标图像盲复原理论基础. 5 2.1 图像降质与解卷积 . 5 2.1.1 图像降质模型 . 5 2.1.2 图像解卷积 . 6 2.2 图像盲复原基本问题 . 7 2.2.1 解的多样性 . 7 2.2.2 初始估计 . 8 2.2.3 算法结束条件 . 8 2.2.4 图像解卷积的先验约束 . 9 2.3 图像解卷积与自适应光学 . 9 2.3.1 存在大气扰动时的成像 . 9 2.3.2 自适应光学对成像的影响 . 10 2.3.3 自适应光学图像的噪声 . 10 2.4 复原图像质量评价 . 11 2.5 图像增强. 12 2.6 本章小结. 12 第三章 非对称 RL-IBD 图像盲解卷积 . 13 3.1 RL-IBD 算法概述 . 13 3.1.1 迭代盲解卷积算法. 13 3.1.2 RL 算法 . 14 3.1.3 RL-IBD 算法 . 15 3.1.4 初始估计 . 16 3.1.5 RL-IBD 图像盲复原例子. 16 3.2 非对称 RL-IBD 算法 . 18 国防科学技术大学研究生院硕士学位论文 第 II 页 3.2.1 非对称因子的推导. 18 3.2.2 非对称 RL-IBD 算法 . 20 3.2.3 RL-AIBD 图像盲复原例子 . 21 3.3 加速 RL-AIBD 算法 . 22 3.3.1 基于矢量外推的加速算法 . 22 3.3.2 加速 RL-AIBD 算法 . 23 3.4 多帧图像盲复原 . 25 3.5 加速 RL-AIBD 及多帧图像盲复原例子 . 25 3.5.1 模拟大气湍流模糊图像 RL-AIBD 盲复原 . 26 3.5.2 Hubble 望远镜拍摄图像 RL-AIBD 盲复原 . 29 3.5.3 小型望远镜拍摄图像 RL-AIBD 盲复原 . 30 3.6 本章小结. 31 第四章 非对称最大似然图像盲解卷积. 32 4.1 Bayes 估计和最大似然准则 . 32 4.2 强约束条件下的非对称迭代盲解卷积算法 . 33 4.2.1 非对称因子的推导. 33 4.2.2 PSF 支持域自动削减 . 36 4.2.3 ML-AIBD 算法 . 36 4.3 ML-AIBD 算法分析 . 37 4.3.1 PSF 削减模块的实验验证和结果分析 . 37 4.3.2 AF 的实验验证和结果分析 . 39 4.3.3 关于E1的一些说明 . 40 4.4 多帧 ML-AIBD 图像盲复原 . 40 4.5 ML-AIBD 图像盲复原例子. 40 4.5.1 模拟大气湍流模糊图像 ML-AIBD 盲复原 . 41 4.5.2 Hubble 望远镜拍摄图像 ML-AIBD 盲复原 . 42 4.5.3 小型望远镜拍摄图像 ML-AIBD 盲复原 . 44 4.5.4 复原图像 LS 值 . 45 4.6 本章小结. 45 第五章 总结与展望 . 46 致 谢. 48 参考文献 . 49 作者在学期间取得的学术成果 . 54 国防科学技术大学研究生院硕士学位论文 第 III 页 表 目 录 表 2.1 图像，物体和 PSF 常用先验信息 . 9 表 3.1 多帧图像盲复原计算用时和图像 MSE . 27 表 4.1 引入 AF 后的总迭代次数和计算耗时变化 . 40 表 4.2 观测图像和复原图像 LS 值 . 45 国防科学技术大学研究生院硕士学位论文 第 IV 页 图 目 录 图 1.1 航天飞机图像 PCID 盲复原结果 . 4 图 2.1 图像盲复原解的多样性 . 8 图 2.2 图像灰度变换 . 12 图 3.1 IBD 算法流程 . 14 图 3.2 RL-IBD 算法流程. 15 图 3.3 RL-IBD 图像盲复原 . 17 图 3.4 AF 取不同值时复原图像 MSE 变化曲线 . 18 图 3.5 非对称 RL-IBD 算法流程 . 19 图 3.6 RL-AIBD 算法流程图 . 20 图 3.7 RL-AIBD 图像盲复原结果与 MSE 变化曲线 . 21 图 3.8 能量比随迭代次数的变化曲线 . 22 图 3.9 E1不准确时 RL-AIBD 图像复原结果 . 22 图 3.10 矢量外推加速算法示意图. 23 图 3.11 加速 RL 算法 . 24 图 3.12 加速 RL-AIBD 算法图像复原结果 . 24 图 3.13 多帧图像成像模型 . 25 图 3.14 大气湍流模糊图像和 PSF . 26 图 3.15 大气湍流模糊图像单帧 RL-AIBD 复原结果 . 26 图 3.16 大气湍流模糊图像多帧 RL-AIBD 盲复原结果 . 27 图 3.17 单帧含噪大气湍流模糊图像 RL-AIBD 盲复原结果 . 28 图 3.18 多帧含噪大气湍流模糊图像 RL-AIBD 复原结果 . 29 图 3.19 多帧含噪大气湍流模糊图像盲复原 MSE 变化曲线 . 29 图 3.20 土星图像 RL-AIBD 盲复原 . 30 图 3.21 木星图像 RL-AIBD 盲复原 . 30 图 3.22 土星观测图像多帧 RL-AIBD 盲复原 . 31 图 4.1 联合迭代和交替迭代过程 . 34 图 4.2 ML-AIBD 盲解卷积算法流程. 37 图 4.3 原图、真实 PSF 和模糊图 . 37 图 4.4 没有 PSF 削减模块时，不同 PSF 支持域估计图像盲解卷积结果 . 38 图 4.5 有 PSF 支持域削减模块时，不同 PSF 支持域图像盲解卷积结果 . 38 图 4.6 PSF 支持域削减过程 . 39 国防科学技术大学研究生院硕士学位论文 第 V 页 图 4.7 复原图像 MSE 曲线 . 39 图 4.8 单帧和多帧图像盲复原结果 . 41 图 4.9 8 帧图像盲复原 PSF . 41 图 4.10 多帧含噪大气湍流模糊图像盲复原结果 . 42 图 4.11 土星图像盲复原结果 . 43 图 4.12 土星图像 PSF 支持域削减过程和复原 PSF . 43 图 4.13 木星复原图像和 PSF 支持域削减示意图 . 44 图 4.14 土星观测图像多帧盲复原. 45 国防科学技术大学研究生院硕士学位论文 第 VI 页 国防科学技术大学研究生院硕士学位论文 第 i 页 摘 要 受大气湍流的影响，利用地基望远镜观测到的空间目标图像往往降质严重， 影响了空间目标的识别、 监测和姿态判断。 自适应光学技术 （Adaptive Optics， AO） 是用来克服大气湍流影响的主要方法，但受硬件条件的制约，自适应光学对大气 湍流的补偿往往是不完全的，自适应光学图像还必须经过进一步的事后处理才能 获得更加清晰的目标图像。基于图像后处理的现实需要，本文重点研究了空间目 标图像的盲复原技术，主要从以下方面改进了两种图像盲解卷积算法： 1) 针对空间目标一般为扩展目标的特点，在迭代盲解卷积（iterative blind deconvolution，IBD）的框架下，将非对称迭代思想引入到传统的 Richardson-Lucy （RL）算法当中，推导了相应的非对称因子，实现了非对称因子的自动更新；针 对空间目标图像的成像过程，提出了新的点扩散函数（point spread function，PSF） 的初始估计方法； 针对 RL 算法收敛较慢的缺点， 引入了基于矢量外推的加速技术； 在单帧图像盲复原的基础上将算法扩展到多帧图像盲复原。 2) 对于基于最大似然原理（maximum likelihood，ML）的图像盲解卷积算法， 对图像和 PSF 施加非负强约束条件，并在图像噪声服从泊松分布的前提下，推导 了相应的非对称因子，实现了非对称因子的自动更新；在应用新的 PSF 初始估计 方法的同时，改进了 PSF 支持域的估计方法，使之适应性更强；将单帧图像复原 算法扩展到多帧图像盲复原。 对模拟和实际降质图像的盲复原处理结果表明，两个改进的算法都能有效的 复原空间目标图像，大大提高了图像的清晰度。 关键词：图像复原；盲解卷积；Richardson-Lucy；最大似然；非对称迭代 国防科学技术大学研究生院硕士学位论文 第 ii 页 Abstract Space object images obtained through ground-based telescopes are often heavily degraded by atmospheric turbulence, which affects the identification, tracking and pose judgement of the space objects. Adaptive Optics (AO) is the main method to reduce the influence of atmospheric turbulence, but its correction is usually partial due to hardware limitations of the AO system. In order to obtain high resolution images of space objects, AO-corrected images must be further restored by post processing techniques. To meet the need of post processing interested space object images, this paper focuses on the blind deconvolution techniques, modifying two image blind deconvolution algorithms as follows: 1) Considering space objects are commonly extended targets, asymmetric iteration is introduced into standard Richardson-Lucy (RL) deconvolution algorithm under the framework of iterative blind deconvolution (IBD), and corresponding asymmetric factor (AF) is deduced to be updated automatically. Based on imaging process of space object images, a new method is proposed to estimate the initial point spread function (PSF). In order to improve the algorithms convergence rate, vector extrapolation method is adopted. Finally, the algorithm is extended from single frame deconvolution to multi-frame case. 2) For image blind deconvolution algorithm based on maximum likelihood (ML) strategy, strict non-negative constraints are imposed on images and PSFs, and the corresponding AF is also deduced to be updated automatically when image noise obeys Poisson distribution. The new method for estimating initial PSF is also adopted, and the method for estimating PSF support is further modified to improve its adaptability. Finally, the algorithm is extended to multi-frame case as well. The results of blind restoration of simulated and real images show that the two modified algorithms can effectively restore space object images, and greatly improve images sharpness. Key Words: image restoration; blind deconvolution; Richardson-Lucy; maximum likelihood; asymmetric iteration 国防科学技术大学研究生院硕士学位论文 第 1 页 第一章 绪论 1.1 课题背景及研究意义课题背景及研究意义 大气是一种随机介质，光波在大气中传播时，由于大气湍流造成空气折射率 随机变化，导致光波振幅和相位的随机起伏，形成光强闪烁、波前畸变和光束漂 移等现象。湍流对光传播的影响的本质就是改变了波前，这使目标在成像设备焦 平面的图像产生严重模糊。空间目标指在大气外层空间的各种飞行物，主要有人 造卫星、空间站、航天飞机和宇宙飞船等。由于大气湍流、噪声和光学系统像差 等因素的影响，地基望远镜获得的空间目标图像会发生剧烈模糊和降质。图像在 降质严重的情况下，目标图像的高频信息受到抑制，对于图像的进一步应用，如 特征提取、自动识别和图像分析等都是相当不利的，严重影响了空间目标的识别 和监测。 自适应光学系统（Adaptive Optics, AO）的出现大大减小了大气湍流对望远镜 成像的影响，极大提高了大型望远镜的成像质量。但由于自适应光学系统自身的 原因，如闭环伺服带宽、波前观测数据误差以及噪声等原因影响，AO 的补偿或校 正仅仅是部分的、不充分的，目标的高频信息仍然受到严重的抑制和衰减1-2。 因此，在对空间目标观测时，不管有无 AO 系统，图像的事后处理都是获取 目标高清晰图像的必备步骤。图像复原是一种重要的图像事后处理方法，它要求 根据模糊的、含有噪声的观测图像，复原出“精确的”原始图像。由于大气湍流 的随机特点， 空间目标图像成像光学系统的点扩散函数 （point spread function， PSF） 一般是未知的，图像和 PSF 都需要进行复原，这就是图像盲复原技术。图像盲复 原技术可以大大提高图像的清晰度和恢复图像的细节，甚至达到超分辨率的效果 3，从而提高对空间目标的辨识能力，这在实际中具有重要意义。 1.2 空间目标空间目标图像盲复原技术概况与现状图像盲复原技术概况与现状 图像复原技术起源于 20 世纪 50 年代开始的太空探索，人们期望有一种技术 能够弥补由于图像获取系统不完善造成的图像降质。经过几十年的发展，图像复 原技术有了长足进步。最近十几年，图像复原技术的应用范围已经扩展到众多的 科学与技术领域，如空间探索、天文观测、医学图像和遥感等。 传统的复原技术建立在点扩散函数已知的条件下，主要包括逆滤波、维纳滤 波、约束最小二乘方滤波器和 Richardson-Lucy（RL）算法等。图像盲复原技术可 以追溯到20世纪70年代4-5， T. G. Stockham等人通过图像来辨识PSF模型的参数， 获得 PSF 的估计，再利用传统图像复原技术复原图像。1988 年，Ayers 和 Daity 提 国防科学技术大学研究生院硕士学位论文 第 2 页 出 了 由 Gerchberg-Saxton 算 法 演 化 而 来 的 迭 代 盲 解 卷 积 （ iterative blind deconvolution, IBD） 算法6， 利用傅里叶变换使图像和 PSF 在空域和频域间不断转 换， 并在转换过程中对图像和 PSF 施加空域和频域约束条件， 最后获得图像和 PSF 的估计。同一时期，基于 Bayes 原理的图像盲复原算法也开始不断涌现7-12，这些 算法由单帧图像盲复原逐步扩展到多帧图像盲复原，提高了算法的可靠性，并开 始应用到实际图像的复原处理。另一方面，J. M. Conan、Laurent M. Mugnier 等人 提出了利用 PSF 的部分信息（如功率谱、波前信息）进行图像半盲解（myopic deconvolution）的技术13-14。近十几年，图像盲复原研究主要集中在原有算法的改 进15-18，更多约束条件的引入19-22，图像盲复原的并行计算3，新的数学处理方法 的引入23-24和实际图像的盲复原处理等。 图像盲复原算法主要分为两大类11： 一、先验模糊识别方法。先验模糊识别方法是指先对 PSF 进行估计，再利用 经典图像复原方法复原图像。一般来讲，用这种方法进行图像复原的前提条件是 PSF 能用较简单的参数形式来表示，此时可以利用图像的边缘、谱等特征估计 PSF 的参数，从而得到 PSF 的估计；或者成像中有局部点状目标，此时点状目标的图 像就是 PSF。值得注意的是，2001 年美国数学家 S. C. Alfred 对实时图像盲复原进 行了研究，提出了 APEX 算法25-26。该算法通过充分利用图像的频谱信息特征， 检测 G 类点扩散函数的参数，然后运用 SECB 算法复原图像。 二、联合识别方法。这种方法将 PSF 的识别和图像复原同时进行，同时获得 PSF 和图像的估计， 大多数图像盲复原方法属于此类。 这种方法又可分为以下几种： 1) ARMA 参数估计法。这类方法将图像成像过程看成自回归滑动平均过程 （autoregressive moving average process，ARMA） ，它的基本思想是将原始图像看 成AR过程， 而PSF看成MA过程， 于是成像可以看成ARMA过程。 原始图像f(x;y) 用 AR 过程可表示为： f(x;y) = X l X m a(l;m)f(xl;y m)+v(x;y) (1.1) 其中a(l;m)是自回归系数，v(x;y)是零均值高斯噪声。用少量的 AR 系数a(l;m)即 可表示实际图像。在大量实际应用中，PSF 都是有限支持域的，成像过程表示为： g(x;y) = X p X q h(p;q)f(xp;y q) +n(x;y) (1.2) 其中g(x;y)表示观测图像，h(p;q)表示点扩散函数，n(x;y)是零均值高斯噪声。图 像复原问题就转化成估计 ARMA 参数a(l;m)和h(p;q)的问题。根据参数估计方法 的不同，ARMA 参数估计法包括最大似然估计法（maximum likelihood，ML） 9-10,27-30、最大后验估计（maximum a posteriori，MAP）31-32，广义交互验证33、 神经网络法34等。 国防科学技术大学研究生院硕士学位论文 第 3 页 2) 具有明确约束的非参数化方法。这类算法不需要图像模糊过程的参数化模 型，但对图像做了一些约束，比如像素值的非负性、图像边界的有限支持域和模 糊不变边缘等，结合 PSF 的约束条件，如非负约束和带宽约束，对图像和 PSF 同 时进行估计。这类方法主要包括迭代盲解卷积（iterative blind deconvolution，IBD） 算法6,35、非负支撑域约束递归逆滤波法36、模拟退火算法37等。 3) 基于高阶统计（high order statistics，HOS）的非参数化方法。这类方法在 图像复原过程中结合了图像的高阶统计信息，且只对非高斯概率密度分布的图像 有效。最大熵解卷积法28,38是这类方法的典型代表。 4) 基于正则化的图像盲复原方法。这类方法将正则化思想与约束条件引入图 像盲复原中，通过建立不同的目标函数以满足不同的复原要求，使得算法的性能 得到很大提高。包括总体最小二乘法39、总变分法22,40、误差函数最小化法（error metric minimization，EMM）7,41和小波域图像盲复原42等。 5) 其它方法，如空间变化 PSF 解卷积43。 因为很多图像盲复原方法是相互借鉴的，上述分类方法并不严格。比如，最 大似然方法和正则化的方法经常是联合使用的41,44。 以上提及的图像盲复原方法在具体实现时，大多都需要采用优化算法。例如， R. G. Lane 7用共轭梯度法（CG）来最小化目标函数，而 Strakhov 和 Vorontsov 采 用的是连续过松弛算法（SOR）23-24。 本文所提及的空间目标一般指扩展目标，比一般点状目标更加复杂，所以空 间目标图像复原的难度更高。对于此类目标图像，当前应用比较成功的是 IBD、 ML、MAP 和 EMM。上述各种图像盲复原方法各有优缺点，例如，IBD 算法的优 势在于计算量小，但是 IBD 算法没有收敛性；ML、MAP 方法都是基于 Bayes 框 架的图像复原方法，收敛性有一定保证，而且可以与正则化方法相结合，具备一 定的扩展性，但是一般需要建立图像与 PSF 的模型，而且计算量大；EMM 算法与 ML 类似，计算量大，优点在于可根据约束条件进行扩展。 在连续拍摄空间目标图像时，由于大气湍流的随机特点，PSF 将不断变化，如 果目标的姿态不变，那么可以利用多幅目标图像进行盲复原，这就是多帧盲解卷 积（multi-frame blind deconvolution，MFBD） 。第一次使用 MFBD 同时估计目标图 像和多个 PSF 的是 Schulz41，Schulz 将 ML 算法推广到多帧图像盲复原，并且引 入了正则项， 使图像估计不可能为狄拉克函数， 提高了算法的稳定性。 而后， Miura 将 IBD 算法也推广到多帧图像盲复原44。2009 年，美国空军实验室的 Matson 等 人提出了基于 ML 原理的并行 MFBD 算法，并命名为物理约束下的迭代解卷积 （physically constrained iterative deconvolution，PCID） 。Matson 对航天飞机观测图 像进行了超分辨率复原，达到了非常好的复原效果，如图 1.1 所示。 国防科学技术大学研究生院硕士学位论文 第 4 页 （a） 航天飞机观测图像 （b） PCID 复原图像 图 1.1 航天飞机图像 PCID 盲复原结果 1.3 论文主要内容及结构安排论文主要内容及结构安排 本文针对空间目标图像成像机制及其特点，利用图像和光学系统 PSF 的先验 信息， 对 RL-IBD 算法和最大似然图像盲解卷积算法提出了改进措施，并将这两种 算法由单帧图像盲复原向多帧图像盲复原进行了扩展，增强了算法稳定性，提高 了算法收敛速度、抑噪能力和自适应性等性能，得到了很好的图像复原效果。需 要说明的是，由于实际工作中所处理的图片不便公开发表，本文图像盲复原处理 的对象大多为空间目标的模拟降质图像。本文的主要内容安排如下： 第一章，绪论。本章介绍了课题的研究背景和意义，总结了常用的图像盲复 原方法。 第二章，空间目标图像盲复原理论基础。本章介绍了图像的降质模型，讨论 了图像盲复原的基本问题，分析了大气湍流下光学系统成像特点，介绍了图像复 原质量的评价方法以及简单的图像增强方法。 第三章，非对称 RL-IBD 图像盲解卷积。本章提出了改进的 RL-IBD 算法，首 先改进了算法的初始估计，然后推导了 RL-IBD 算法的交替迭代非对称因子，并利 用矢量外推法对算法进行了加速，最后将改进算法扩展到多帧图像盲复原。 第四章，非对称最大似然图像盲解卷积。本章首先推导强约束条件下的最大 似然图像盲解卷积公式，然后引入了支持域约束，并推导了图像和 PSF 交替迭代 非对称因子，最后将改进算法扩展到多帧图像盲复原。 第五章，结论与展望。总结了全文所做的工作，对进一步的工作做了展望。 国防科学技术大学研究生院硕士学位论文