超分辨率图像恢复算法综述

【摘要】图像超分辨率是指从一序列低分辨率观测图像中恢复高分辨率图像，广泛用于视频监控、模式识别、军事侦察、遥感检测和医学诊断等领域，已成为图像处理领域最为活跃的研究方向之一。介绍了超分辨率图像恢复的经典算法，对比分析了各方法的优缺点，提出了超分辨率图像恢复的研究方向与展望，为其进一步发展提供了一定的理论基础。【尖键词】超分辨率高分辨率图像低分辨率图像恢复自harris和goodman提出sr重建概念以来，该技术就受到广泛矢注，主要经历了静态图像、单视频和多视频sr重建三个阶段，主要算法有基于频域插值的方法、非均匀采样内插法、迭代反投影法、凸集投影法、正则化重建法、最大后验概率/凸集投影混合法和基于学习的方法。sr图像恢复应用广泛，已成为图像处理领域最为活跃的研究方向之一。通过sr图像恢复能有效提高现有监控设备的分辨率水平和监控能力，对推进智能视频监控的发展⑴，对“数字城市”、“平安城市”建设等，都具有重要意义。1超分辨率图像恢复算法1.1基于频域插值的方法先使用傅里叶变换将图像变换到频域，再利用位移特性观测模型解决图像的内插问题。在处理过程中，假设lr图像序列无噪声，且原始模拟图像的频率带限，利用多幅图像间离散和连续傅里叶变换间的平移特性以及混叠尖系来获得hr图像。此方法理论简单，运算复杂度低，但忽略了观测模型中光学系统的诸多因素的影响，仅局限于全局平移运动模型下应用。很多学者对此进行改进，tekalp等［2］考虑了线性空不变点扩散函数和观测噪声的影响，采用最小二乘法计算系统方程的解；kim等［3］也考虑了噪声的情况，用加权最小二乘法进行计算；rhee和kang［4］提出采用离散余弦变换代替傅里叶变换，减少存储资源的需求，提升了计算效率。但始终无法突破tsai中整体平移相似的假设，仅含有限的空域先验知识，因此只能在全局平移运动和线性空间不变模糊模型中使用。因此，实际工程应用中难以实用。1.2非均匀采样内插法属于空域插值放大法，包括运动估计、非均匀内插、图像去模糊和去噪三个方面［5］。在运动估计中，选择一幅参考图像，根据某一运动模型，求出其他图像与参考图像之间的运动参数，并根据此参数将所有lr观测图像投影到参考图像对应的高分辨率网格上，得到非均匀分布的空间采样图，然后用非均匀内插法内插出所有整数格网的像素值，接着进行去模糊和去噪处理，得到hr的图像，如图1所示。此方法计算量小、模型简单，但需要假定所有的lr图像的噪声和模糊特征一致，不使用先验约束「灰复效果不佳，不能保证最优性。迭代反投影法(ibp:iterativeback-projection)首先，利用待求hr图像的一个初步估计作为当前结果，通过观测模型投影到lr观测图像上，从而获得lr模拟图像，然后计算lr模拟图像与实际观测图像之间的差值，并由此差值更新当前估计，如此循环，得到最终结果(6)^s.mann等［7］对图像的配准作了改进；irani等［8］使用该方法实现了包含多运动目标的视频图像的 sr恢复。ibp法容易理解和实现，但由于问题的不适定性导致它的其解不唯一，严重依赖于反投影矩阵，难以引入先验约束，收敛速度慢。凸集投影法(pocs:projectionontoconvexsets )最早由h.stark和p.oskoui［9］提出，把hr图像的每一个约束条件都定义为向量空间中的一个凸集合，所求的hr图像包含于这些凸集合中，取其交集，即可得到hr图像的解。约束条件包括观测数据一致性、能量有界性、正定性、光滑性等，但 h.stark和p.oskoui在对数据一致性约束定义的投影算子中忽略了观测模型中噪声的影响； tekalp等［10］进行了扩展，考虑了噪声的影响；patti等［11］考虑了任意采样网和运动模糊；随后，又通过修改约束集合减少边缘噪声［12］。pocs法原理直观、实现算法简单，容易加入先验知识；但它的解依赖于初始估计，且不唯一，收敛速度慢且稳定性不高，运算量大。 1.5正则化重建法1.5.1确定性正则化sr重建问题是一个不适定问题，确定性正则化通过加入先验知识约束把不适定问题适定化，是解决病态问题的经典方法。最终迭代结果主要受限于迭代过程中所加入的正则项，其一般形式可表示为：其中，拉格朗日乘子是正则化参数项，为数据一致性约束，通过观察模型描述了所求 hr图像与lr观测图像相一致的程度，是正则化项，算子 c是高通滤波器［6］o上述问题可转化为求最小值问题，通过求导变换可得的迭代公式为：m.c.hong等［13］提出一种多通道正则化sr算法，在每次迭代过程中无需先验知识计算正则化系数；m.g.kang［14］构造了一种通用多通道反卷积方法，也包含了多通道正则化 sr算法；r.c.hardie［15］提出最小化正则化代价函数方法，采用迭代梯度正则化和共觇梯度下降法优化处理最小化代价函数；p.c.hansen等［16］使用I曲线求解最优正则化参数。1.5.2随机正则化r.r.schulz和r.l. stevenson［17］最早提出利用最大后验概率方法 map进行hr重建，把hr图像和观察得到的lr图像当作两个不同的随机过程， 利用隐马尔可夫随机场先验模型，将sr问题变为一个具有唯一解的条件最优问题。由于 map提供了先验约束，为sr重建提供了有效的正则化估计。map具有确定性正则化的一切优点，还具备选择噪声模型和图像先验模型的稳健性和灵活性，使其成为研究的热点。tom等［18］提出了最大似然估计来同时估计亚像素位移、观测图像噪声及hr图像，采用最大期望来求解；tom和hardie等［19］提出了运动参数与hr图像的联合求解；rudin等［20］首先提出了一种有效的全变分正则化方法；farsiu等［21］提出了sr图像重构双边全变差正则化，更好地保护了图像的边缘。1.6map/pocs混合法map法推导严谨，pocs法更容易加入先验约束，将两者结合起来将是一个不错的途径。keightley等：22］提出了一个map和pocs相结合的方法，在最大后验概率方法的迭代优化过程中加入先验约束，以便对图像像素值的范围进行约束。elad等［23］提出了一种通用的最大似然估计凸集投影sr方法。1.7基于学习的方法该方法是空域法的一种，前提是认为lr图像完全拥有用于推理预测其所对应的高分辨率部分的信息。具体重建过程如下：准备匹配所需的由高低分辨率图像块组成的训练集，对观测到的lr图像块进行匹配，从而得出最匹配的高/低图像块组，利用块组中的hr图像块重建出hr图像。目前，常用的学习算法有chang等［24］提出的基于邻域嵌入的方法；karl等［25］提出的基于支持向量回归的方法；yang等［26］提出的使用图形块的稀疏表示的方法。2方法比较纵观sr图像恢复技术的国内外研究进展，各种算法均有优劣，目前难以有一个很好的统一评价标准，如表1所示。在具体应用中，需根据特定的图像或者视频特点，选择针对性的研究算法，使系统设计最优。3研究方向和展望本文对sr图像恢复算法进行了全面综述，对比分析了各算法的优劣。虽然 sr恢复取得了不少研究成果，但在特定应用场合中，特别是在视频监控系统中还有很多热点问题需要探究。(1)减少运算量并提升算法效率。虽然已经研究出很多恢复算法，但大部分算法的计算量都很大，如mappocs、基于学习的方法等，需要做更多的研究。2)视频序列间的运动参数估计。当前，针对视频序列间的运动估计还没有得到有效的讨论与研究，需要寻找快速、准确、可靠地获得多帧离散图像和多组视频序列间的运动估计参数的算法。这也是sr图像恢复中需要解决的矢键问题。(3)根据监控视频画面内容的特点寻找适合监控视频画面的表述方法。在视频监控中，各种复杂时空因素对成像质量清晰度影响很大，需研究监控视频中被加性噪声污染后的监控视频图像的退化模型以及监控视频画面的特点。(4)实时性电路结构的实现。在监控视频中