运动模糊图像复原算法综述.docx

运动模糊图像复原算法综述*王玉全，隋宗宾( 北方工业大学 城市道路交通智能控制技术北京市重点实验室，北京 100144)摘 要 ：在图像获取过程中，存在很多造成图像退化的因素，因此需要对图像进行复原。本文对现有 的典型复原方法进行了综合分析。介绍了图像一般退化模型和运动模糊退化模型的建立方法 ；对退化模型 的点扩散函数的估计方法进行了分析 ；对当前的一些复原算法进行了总结。对图像复原技术未来的发展方 向进行了预测。关键词 ：图像退化模型 ；psf ；复原算法中图分类号：tp391.41文献标识码：a文章编号：1674-7720(2014)19-0054-04the review on motion blurred image restoration algorithmwang yuquan, sui zongbin(urban road traffic intelligent control technology beijing key laboratory, north china university of technology, beijing 100144, china)abstract: during the process of image acquisition, there are many factors that may cause image degradation.so image restoration technology is very important. in this paper the issue of image restoration is expounded comprehensively. the methods to set up general degradation model and motion blur degradation model of the image are introduced. the estimation method of point spread function is analyzed. some current restoration algorithms are summarized. finally the future development direction of image restoration technology is predicted.key words: image degradation model;psf; restoring algorithm0 引言在获取图像的时候，由于相机聚焦不佳，相机和物 体在曝光的短暂时间内存在相对的移动，或者受传感器 的噪声、大气湍流、粉尘以及光线明暗变化等影响，都 会造成图像的退化，导致图像模糊。为了从模糊的图像 中提取有用的信息，图像复原成为了图像处理中的重要 研究方向和数字图像处理的一个重要应用 1。图像复原 是将退化的图像进行处理，通过一些复原算法改进图像 质量，尽可能地复原图像的本来面目。目前运动模糊是 造成图像退化的主要原因，是图像复原中较难处理的一 类情况，也是目前研究的热点之一 2。对于运动模糊图 像的复原一般是通过建立运动模糊图像模型得知图像退 化的原因，针对具体的原因采取相应的复原算法得到清 晰的图像。在模型的建立中点扩散函数（psf）的确立是 最关键的，目前对于 psf 的确立存在很多方法。* 基金项目 ：交通图像运动模糊复原方法研究（km201310009006）；科 研 基地建设 - 首都世界城市顺畅交通协同创新中心 - 参与单位（2011 协同） (pxm2014_014212_000020)1 运动模糊图像退化模型的建立图像复原是建立在图像退化模型基础上的 , 因此对 于模型的建立尤为重要。图像退化原因的多样性导致退 化模型的建立比较复杂 3。根据图像退化的性质一般可 以分为两类退化来建立退化模型。1.1 图像一般退化模型的建立有噪声的情况下，图像退化 / 复原模型的描述如图 1所示 2,4-8。图 1 图像退化的一般模型图中 f(x, y) 为原始图像，h(x, y) 为退化函数即点扩散 函数（psf），n(x, y) 为噪声项，g(x, y) 为退化后图像。图 1 所示退化模型的数学表达式为 4 ：g_x,yi = f_x,yih_x,yi + n_x,yigu,vh= h u,vhfu,vh+ n _x,yi把上式空间域形式转化为频域形式为 ：（1）（2）式（7）是水平模糊方向的退化模型，h(x, y) 即为点 扩散函数 psf，g(u, v)、f(u, v)、h(u, v) 分别是 g(x, y)、 f(x, y)、h(x, y) 的傅里叶变换，n 为图像的宽度。其中，g(u,v)、f(u,v)、h(u,v)、n(u,v) 分别是 g(x, y)、f(x, y)、h(x, y)、n(x, y) 的傅里叶变换。1.2 运动模糊图像退化模型的建立图像获取中，景物与相机发生相对运动，造成图像 的运动模糊。由于曝光时间短，认为曝光时间内景物的 运动是匀速运动，因而匀速直线运动模糊图像的恢复是 现在图像复原研究的主要方向之一。匀速直线运动模糊 退化模型的建立方法如下 6,9 ：tg_x,yi = #f7x - x0 th,y - y0 thadt0令图像 f(x, y) 为一个平面运动图像，其中在 x 和 y 方向上运动分量分别为 x0(t) 和 y0(t)，采集时间长度为 t， 在有噪声的情况下，运动模糊图像 g(x, y) 为： （3）图像运动模糊常有一定角度，为了方便起见，一般 将图像旋转到水平方向上。如图 2 所示，图像与竖直方 向具有一定的角度 ，为了方便处理需要把图像顺时针 旋转 进而处理图像。（a）旋转前（b）旋转后图 2 模糊图像旋转示意图2 psf 的确定由图像的复原公式得知，建立图像退化模型的关键 是确定点扩散函数（psf）。通过点扩散函数可把图像复 原分为两种形式 1,10-12 ：1 ,0 # x # d cosi h_x,yi = *d0, 第一种是点扩散函数已知的情况下对图像进行复原， 对于匀速直线运动造成的模糊，psf 为 8 ：（8）其中 d 是模糊长度， 为模糊角度。把上式的 psf 代入 图像复原公式就可对图像进行复原，得到清晰的图像。第二种是点扩散函数未知的情况下，通过估计的方 法确定点扩散函数。其方法包括图像观察估计法、模型 估计法、实验估计法 1、频谱特征估计法、依据摄像机 参数指标估计法等。3 图像复原算法退化模型建立后，可采取相应的处理算法对图像进 行复原。复原算法根据性质的不同可分为 ：基于迭代思 想的复原算法、基于非迭代思想的复原算法以及一些新 兴的复原算法。3.1 基于非迭代思想的图像复原算法3.1.1 逆滤波复原算法g_x,yi = h _x,yif_x,yi逆滤波法通过模糊图像的傅里叶变换来估计原图的 傅里叶变换。模糊退化模型的傅里叶变换方式为 ：tg_x,yi = #f7x - x0 th,y - y0 thadt0t= #f7x - bt t,yadt0令 b 为物体运动的距离，t 为曝光时间，即 :,h _x,yif_x yi =g_x,yi通过上式对图像进行复原的公式为 ：（9）（10）l - 1g_x,yi = ! f_x - at titl = 0l - 1= 1l ! f_x - i,yii- 0对上式进行离散化 ：（4）（5）再对 f(x, y) 进行傅里叶反变换就是复原图像 f(x, y)。 对于逆滤波算法来说，由于图像的复原公式为一个分式，所以如果 h(x, y) 很小，则图像 f(x, y) 就会很大， 这相当于扩大了噪声，使图像的复原效果明显变差，但 是对于无噪声的图像复原效果则很好。3.1.2 维纳滤波复原算法算法复原宗旨是使原始图像与恢复图像之间的均方其中，l 为像素数，t 为像素的拖延时间。一幅模h_x,yi = 1l,l 0,y = 0 gu,vh = h u,vh # fu,vhtnn l= n l sin n# fu,vhl1 - j2uxsin_n li - jul= # l edx =n le0糊图像由多个原图拖延叠加而成。通过离散化式（5）和 图像一般的退化模型的表达式（1）的对比可以得出 6 ：（6）差最小 13。其基本的原理是寻找一个使如下统计误差函 数最小的估计图像：uf2e2 = e %_f- ufi /（11）r2 vsh u,vhwfuu,vh=1$gu,vhs2wsh u,vhh u,vh + sp u,vh sf u,vhw其中 e 是期望值操作符，f 是未退化的图像，该表达式在 频域可表示为 14 ：（7）（12）其中，h(u,v) 表示退化函数， h u,vh 2 = h ) u,vhh u,vh2h ) u,vh表示 h(u,v) 的复共轭， sp u,vh= n u,vh 表示 2噪声的功率谱， sf u,vh= fu,vh 表示为退化图像的功率谱。此算法克服了极点干扰的问题，而且向量和标量均适用 15。但这个算法在信噪比 k = i8s u,vh s u,vhb的pf确定上存在着计算复杂的问题。其未退化图像和噪声的 功率谱必须已知，而且需要已知系统的点扩散函数。可 以从噪声的功率谱以及退化图像的功率谱上入手精确地 解决信噪比，以提高维纳滤波算法的复原效果。3.1.3 最小二乘复原算法uf最小二乘法分为有约束条件和无约束条件两种。无 约束条件的最小二乘法是使退化过程中对原图的线性估 计 在最小二乘意义下接近模糊图像。22（ g - huf = n有约束的最小二乘法通过预先设定的约束条件 , 为噪声项），使得图像 f 的像素值 接近响应图像 g 中相应像素值，然后把迭代函数代入复 原公式求得复原图像。此算法存在着最优解不稳定的问题。现在有学者采用空间迭代的方法求得问题的解 16。 最小二乘复原算法处理由高噪声和中等噪声造成的图像 模糊效果最佳。维纳滤波是建立在最小化统计准则基础上，所以在 平均意义上是最优的，而本算法对于每一幅图像都会产 生最优的效果 1。3.2 基于迭代思想的图像复原算法3.2.1 最大熵算法e = ! ! f_x,yix y最大熵算法是使用最大熵约束条件对图像进行恢复。 其基本思想是使复原图像的熵与噪声图像的熵相加值最 大 17。令图像函数有正值，则一幅图像总的能量为 ：（13）图像的熵为 ：h f = - ! ! f_x,yi1nf_x,yi噪声熵为 ： x yhn = - ! ! n_x,yi + bj1nn_x,yi + bjx y（14）（15）使 hf + hn 的值最大，然后进行图像复原。 这种算法可有效抑制噪声，而且可以有效地对图像的缺失部分进行恢复。由于该算法为非线性算法，数值 的计算比较麻烦，通常以迭代的方式进行计算，耗时且 计算量大。因此对于最大熵复原算法的改进可以从解决 计算量的方式上入手，找到一种快速的计算方法得到相 应的数值，提高算法的效率。3.2.2 l-r 算法lucy-richardson 算法是在像素点满足泊松分布的情 况下，在贝叶斯条件概率模型的基础上采用极大似然估 计通过迭代的方法求解清晰的图像 7,18。这种算法在信噪比比较低的情况下，图像的复原可 能会出现斑点，而且算法的迭代对图像噪声有放大的功 能 15，所以本算法只适用于无噪声的情况，通过迭代次 数的增加使图像第 k+1 次迭代效果即 f(x,y)k+1 收敛于原清 晰图像 f(x,y)，则迭代停止。所以如何克服噪声的干扰是 本算法改进的关键所在。3.3 新兴的图像复原算法3.3.1 神经网络图像复原算法伴随着神经网络研究的发展，神经网络在图像复原 处理中也得到了应用。基于神经网络的图像复原方法大 体可以分为两类 ：第一类是基于 hopfield 神经网络的图像复 原，将 图像复原问题转化为极小值的问题来处理，再映射为 hopfield 的能量函数，从而利用 hopfield 网络求解最优 问题 19。第二类是运用大量的原图与模糊图像进行学习训练， 再利用训练后的网络进行图像复原 16。神经网络算法能够通过输入数据自适应找到隐含在 样本中的内在规律，使其具有很高的推广能力，但是算 法的实施关键在于怎么处理数据与网络函数的映射。 3.3.2 图像超分辨率复原技术这种复原技术是指利用多帧低分辨率图像，求解成像的逆过程，重建原图的高分辨率图像。超分辨率重建 过程可分为三步 ：（1）预处理，即去噪 ；（2）配准， 即 对低分辨率序列间的矢量进行估计 ；（3）重建，即把多 帧低分辨率信息融合在一起。这种技术能够在不改变成 像设备硬件的前提下实现优于系统分辨率的观测，最早 由 harris 和 goodman 于上世纪 60 年代提出。后来学者 们又提出了长椭球波函数法、线性外推法和叠加正弦模 板等方法。80 年代末提出了能量连续降减法、bayesian 分析法和凸集投影等方法。4 图像复原技术的总结与展望图像复原问题特别是运动模糊图像复原问题成为了 当今图像技术研究的热点。目前的算法都存在弊端，如 逆滤波由于无法摆脱噪声的干扰而只适用于无噪声或者 噪声比较小的情况 ；维纳滤波复原算法对噪声有很好的 抑制但却很难计算信噪比 ；最小二乘法对于处理受到高 噪声和中等噪声影响造成的模糊图像效果最佳。另外基于迭代思想的方法中，最大熵算法不用对图 像事先做太多的假设，可以有效地抑制噪声和对图像的 细节进行较好的恢复，提高了分辨率，而且可以有效地 对图像的缺失部分进行恢复 , 但却存在着数值计算麻烦 的问题。lucy-richardson 算法采用迭代的方法进行图像 复原，但有噪声干扰的情况下，此算法的迭代对图像噪 声有放大的功能。所以如何克服噪声的干扰是改进本算 法的关键。图像复原问题的未来研究方向将主要围绕参数识别 和复原滤波两方面展开，参数识别问题以后会向着增加 先验知识的方向发展，而复原滤波算法的研究未来会以 去除噪声与图像恢复相结合做为研究的重点，做到在图 像复原的过程中不引入任何的噪声。这是对传统复原算 法改进的方向。还有一种发展方向就是开发新的复原算 法，特别是神经算法的出现为图像复原提供了新的研究 思路，也为以后的研究打开了新的方向。另外传统的图 像复原技术能够分析模糊的原因，但是只能将频率复原 到衍射极限相应的截止频率处，而截止频率外的信息将 丢失。现在的超分辨率复原方法却能恢复丢失的信息， 这将是未来图像复原研究的另一重要方向。参考文献1 曾晶 . 运动模糊图像复原的探究 j. 佳木斯教育学院学报 , 2012（10）：451,455.2 王若琳 , 程耀瑜 . 基于 radon 变换的运动模糊图像复原研 究 j. 电子测试 , 2013 (1): 4-7.3 ben e m, nayar s. motion-based motion deblur-ringj.ieee transactions on pattern analysis and machine intelligence，2004, 26(6):689-698.4 程姝 , 赵志刚，吕慧显，等 . 顺序结构的运动模糊图像复 原技术综述 j. 计算机应用 , 2013, 33(a01): 161-165.5 王敏 , 田启川 . 改进的运动模糊图像复原算法 j. 微型机 与应用 , 2011, 30(6): 37-40.6 王秋云 , 王轶群 . 基于 lucy-richardson 算法的运动模糊 图像复原研究 j. 自动化仪器仪表，2013（2）：18-19,22.7 孟凡菲 . 基于盲解卷积算法的运动模糊图像复原 j. 科技 信息 , 2012 (32): 128-128.8 闫永存 , 杨燕翔 , 黄小莉 , 等 . 匀速直线运动模糊图像复 原的改进算法 j. 电子设计工程 , 2012, 20(3): 145-148.9 高治雄 , 金韬 . 一种高鲁棒性的运动模糊图像复原算法 j.华东理工大学学报 : 自然科学版 , 2012, 38(4): 506-510.10 rafael c g,richard e w. 数字图像处理 ( 第二版 )m.阮秋琦 , 阮宇智 , 等译 . 北京 : 电子工业出版社 ,2007.11 moghaddam m e,jamzad m.a comprehensive study to findthe effect of different noise removal methods on linear motion blurparameter estimationc. ieee 13th internationalconference on systems signals and image processing， piscataway: ieee, 2006.12 fergus r, singh b, hertzmann a, et al. removingcamerashake from a single photographj. acmtransactions on graphics(tog)-proceedings of acm sigg raph 2006, 2006,25( 3) :783 -794.13 孟庆浩 , 周荣彪 . 复合帧运动模糊图像复原方法研究 j.计算机工程 , 2006, 32(13): 187-189.14 gonzalez r c，woods r e，eddins s l.digitalimage processing using matlabm. 北京 ：电子工业出 版社 ,2005.15 李勇峰 . 运动模糊图像复原算法研究 j. 山西电子技术 , 2013 (4): 90-91.16 王芳 . 一种新的最小二乘法图像复原算法的研究 j. 包装 工程 , 2009, 29(12): 151-153.17 辛玲 . 运动模糊图像复原算法综述 j. 硅谷 , 2010 (1):55-56.18 余恕梅 , 檀结庆 , 王明珠 . 运动模糊图像复原结果中伪像 的消除 j. 计算机工程与应用，2013, 49(5): 5.19 吴城磊 . 连续 hopfield 神经网络图像复原算法的改进 j.电脑知识与技术 : 学术交流 , 2006 (10): 99-100.20 卓力 , 王素玉 , 李晓光 . 图像 / 视频的超分辨率复原 m.北京 : 人民邮电出版社 ,2011.（收稿日期 ：2014-07-11）作者简介 ：王玉全（1985-），女，博士，主要研究方向 ：图像处理。 隋宗宾（1989-），男，硕士研究生，主要研究方向 ：运动模糊图像复原。（上接第 53