（计算机应用技术专业论文）运动模糊图像恢复方法.pdf

浙江大学硕士学位论文摘要 摘要 运动模糊图像恢复一直是图像恢复领域的热点问题，无论在工业、军事、医 疗等领域还是在日常生活中都有非常广泛的应用。近年来，多种图像去运动模糊 方法被相继提出，但其中绝大部分算法具有计算复杂、速度缓慢、不能处理较大 的运动模糊核、需要多幅图像甚至辅助的硬件设备、恢复的图像带有严重的振铃 效应等缺点，距离实际应用都相差甚远。本文提出了一种快速、鲁棒的基于反盲 卷积的单幅运动模糊图像恢复算法，该算法通过冲击滤波器预测清晰图像的强边 缘，该预测使得我们可以使用简单而易于优化的高斯分布先验知识来约束自然图 像的梯度和运动模糊核，并能够在频域中快速、准确地计算出运动模糊核；之后 我们通过基于自然图像梯度大尾巴分布的稀疏反非盲卷积算法恢复清晰图像，该 算法能够恢复出图像清晰的边缘和纹理，并能够显著地抑制振铃效应以及图像的 噪声。在计算运动模糊核的过程中，我们使用共轭梯度法来优化能量方程，并利 用图像一阶和二阶导数比图像像素值本身具有更小的条件数的良好结构使得算 法能够快速收敛。此外，本文提出的约束运动模糊核的磁滞阈值方法可以显著地 抑制运动模糊核的噪声；本文提出的运动模糊核中心定位的方法极大地提高了计 算较大运动模糊核的鲁棒性。实验结果表明，本文提出的算法可以快速、稳定地 从单幅运动模糊图像恢复出具有清晰边缘和纹理、极少振铃和噪声的高质量的清 晰图像。 关键词：去运动模糊，反卷积，图像恢复 浙江大学硕士学位论文 a b s t r a c t a bs t r a c t i m a g em o t i o nd e b l u r r i n gi s ar e s e a r c hh o ts p o ti ni m a g er e s t o r a t i o n ，a n da p p l i e d a b r o a di ni n d u s t r y , m i l i t a r ya f f a i r s ，m e d i c a l 打e a t m e n ta n dd a i l yl i f e i nr e c e n ty e a r s ， l o t so fa l g o r i t h m sa b o u ti m a g em o t i o nd e b l u r r i n gh a v eb e e np r o p o s e d ，h o w e v e r ，m o s t o ft h e mh a v el i m i t a t i o n ss u c ha sh e a v yc o m p u t a t i o n ，s l o ws p e e d ，s m a l lm o t i o nk e r n e l a s s u m p t i o n ，m u l t i i m a g e s ，a d d i t i o n a lh a r d w a r e ，o rs e v e r ea r t i f a c t ss u c ha sr i n g i n g ，a n d a l lo ft h e mm a k ei tf a rf r o mp r a c t i c a lu s e i nt h i sp a p e r ，w ei n t r o d u c eaf a s t ，r o b u s t b l i n dd e c o n v o l u t i o nb a s e ds i n g l ei m a g em o t i o nd e b l u r r i n ga l g o r i t h m w 色u s es h o c k f i l t e rt op r e d i c ts t r o n ge d g e so fl a t e n ti m a g e a n dw i t ht h i sw ec a nc o n s t r a i ni m a g e g r a d i e n t sa n dm o t i o nk e m e lw i t hs i m p l ea n de a s i l yo p t i m i z e dg a u s s i a np r i o r , a n d e s t i m a t em o t i o nk e r n e li nf r e q u e n c yd o m a i nf a s ta n dr o b u s t l y a f t e rt h a t w eu s ea h e a v y t a i l e dd i s t r i b u t i o no fn a t u r a li m a g e sb a s e ds p a r s en o n b l i n dd e c o n v o l u t i o n a l g o r i t h mt or e s t o r et h ei a t e n ti m a g e w h i c hc a nr e s t o r et h es a l i e n te d g ea n dt e x t u r ea s w e l la ss u p p r e s s e sr i n g i n ga n dn o i s e i nt h em o t i o nk e r n e le s t i m a t i o np a r t w eu s e c o n j u g a t eg r a d i e n tm e t h o dt oo p t i m i z et h ee n e h wf u n c t i o n ，a n du s ew e l lc o n d i t i o n e d i m a g ef i r s ta n ds e c o n dd e r i v a t i v e sw i t hs m a l lc o n d i t i o nn u m b e ro n l ya n d e x c l u d ep i x e l v a l u ew i t hl a r g ec o n d i t i o nn u m b e rt om a k et h ea l g o r i t h mc o n v e r g ef a s t b e s i d e s w e i n t r o d u c eah y s t e r e s i st h r e s h o l d i n gt os u p p r e s st h en o i s eo fm o t i o nk e r n e ls i g n i f i c a n t l y , a n du s ear e c e n t e rm e t h o dt oi m p r o v et h er o b u s t n e s so fl a r g em o t i o nk e r n e le s t i m a t i o n t h ee x p e r i m e n t a lr e s u l t ss h o wt h a to u ra l g o r i t h mc a nr e s t o r eh i g hq u a l i t yl a t e n ti m a g e s w i t hc l e a re d g ea n dt e x t u r e 1 i t - t i er i n g i n go rn o i s e 抒o mas i n g l em o t i o nb l u r r e di m a g e f a s ta n dr o b u s t l y k e y w o r d s m o t i o nd e b l u r r i n g ，d e c o n v o l u t i o n ，i m a g er e s t o r a t i o n 浙江大学硕士学位论文图目录 图目录 图1 1 运动模糊图像2 图2 1 运动模糊图像的形成、恢复过程1 l 图2 2 同一幅运动模糊图像对于不同p s f 和噪声的组合一1 2 图2 3 自然图像统计信息1 6 图2 4p s f 举例17 图3 1 运动模糊图像、恢复图像及p s f l9 图3 2 图像去运动模糊流程图2 1 图3 3 低分辨率到高分辨率的中间计算结果2 1 图3 4 最高分辨率时迭代恢复计算的中间结果一2 l 图3 5 预测清晰图像强边缘的意义2 2 图3 6 条件数可视化一2 9 图3 7c h o 等人计算出的p s f 中的噪声3 0 图3 8c h o 等人计算出的p s f 中的噪声( 2 ) 3 1 图3 9p s f 未中心定位的影响3 3 图3 1 0f e r g u s 去运动模糊结果_ 3 6 图4 1 基准图像获取平面、4 幅基准图像以及8 种p s f 4 1 图4 2p i c a s s o 恢复结果( 1 ) 4 2 图4 3p i c a s s o 恢复结果( 2 ) 4 3 图4 4b o y 恢复结果4 4 图4 5 恢复结果0 1 ( 原始大小) 4 5 图4 6 恢复结果0 2 ( 原始大小) 4 6 图4 7 恢复结果0 3 ( 缩放比例7 6 ) 4 7 图4 8 模糊图像0 4 ( 缩放比例8 7 ) 。4 8 图4 9 恢复结果0 4 ( 缩放比例8 7 ) 4 9 图4 1 0 恢复结果0 5 ( 原始大小) 5 0 图4 1 1 恢复结果0 6 ( 原始大小) 5 1 图4 1 2 恢复结果0 7 ( 原始大小) 5 2 图4 1 3 恢复结果0 8 ( 原始大小) 5 3 i i i 浙江大学硕士学位论文表目录 表目录 表4 1 本文所使用的软硬件环境一4 0 i v 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 1 1 课题背景及意义 恢复运动模糊图像是图像恢复领域的基本任务之一，而图像恢复又是数字图 像处理的重要组成部分。近年来，随着电子数码产品特别是数码相机、数码摄像 机、拍照手机的普及，以及计算机处理能力的提升，数字图像处理无论在军事、 医疗、天文还是生活中都有着越来越重要的应用，而其中的图像恢复领域的研究 更成为其中的一个热点。 数字图像处理源于2 0 世纪2 0 年代，但通常意义上的数字图像处理始于2 0 世纪6 0 年代的美国，喷气推进实验室、麻省理工学院、贝尔实验室以及马里兰 大学等研究机构进行了相关的数字图像处理的研究工作，涉及卫星图像、医学图 像、地球遥感监测、天文学等内容以及特征识别、图像增强、图像恢复等诸多研 究领域。 图像在获取的过程中，成像系统经常会受到各种因素的影响，如传感器的噪 声、光学系统像差、随机大气湍流、相机定焦不准、成像光源的散射以及相机与 拍摄物体之间发生相对位置移动等等，这些都会使获取的图像产生退化。不仅如 此，图像在传输、处理的过程中，也会产生退化，这将严重影响图像的质量，有 时甚至使得图像根本无法识别。从这些退化的图像中恢复出未退化原图像的过程 就是图像恢复的主要研究内容。 在图像曝光的过程中，如果所拍摄景物与相机之间发生了相对位置移动，例 如所拍景物正在高速运动、拍照者在拍照时相对于景物运动、拍照者在拍摄较长 曝光时间的照片时手持相机而未使用三脚架等，所拍摄的图像就会产生运动模糊， 而这些情况在日常生活中所使用的小型高分辨率相机中都很常见。运动模糊图像 如图1 1 所示。 渐江大学两士学位论女i i i 镕论 k ( b ) ( c )( d )( e ) 图l i 运动模糊图像 由于图像运动模糊是日常生活中拍摄照片时所经常遇到的问题，而且受运动 模糊污染的图像无论在质量上还是视觉效果上都产生了非常不好的影响，所以如 何从运动模糊图像中恢复清晰图像已经成为摄影爱好者的一个亟待解决的问题， 在理论和实际中都有着非常重要的研究价值和实用价值。 从运动模糊图像中恢复清晰图像就是图像去运动模糊的主要研宄内容。尽管 我们在拍摄照片的时候可以使用其他一些手段如缩短曝光时间、增加相机的i s o 感光度、增大光圈来减弱运动模糊和影响，但这对运动模蝴的抑制都非常有限， 而目分别会导致照片曝光不足、增加感光噪声、缩小景深等一系列新的问题。在 较长曝光的拍摄时使用三脚架虽然也可以较好地抑制运动模糊，但足因为其携带 非常不方便，大部分时候我们还足使用手持相机进行拍摄照片。所以实际中我们 不可避免地会获得很多运动模糊图像，从这些运动模糊图像中恢复清晰图像具有 浙江大学硕士学位论文第l 章绪论 重要的意义。 1 2 运动模糊图像恢复研究相关工作 1 2 1 运动模糊图像恢复概述 图像去运动模糊在信号处理和图像处理领域都具有很长的研究历史【”】1 2 】1 1 4 1 3 9 【1 】【3 7 】【2 3 1 【2 4 】1 3 3 1 【柏】1 3 4 。但是由于自然图像的多样性、运动模糊形成的复杂性以 及运动模糊图像中往往包含很多噪声等原因，使得从运动模糊图像中恢复出清晰 图像是一件非常困难的事情。 运动模糊图像产生的原因有很多，但根本原因都是因为在曝光时间内所拍摄 的景物和相机的c c d ( c h a r g e c o u p l e dd e v i c e ，电荷耦合元件，即图像传感器) 之间发生了相对位置移动，一般将这种相对运动用点扩散函数( p o i n ts p r e a d f u n c t i o n ，p s f ) 或运动模糊核( m o t i o nk e r n e l ) 来描述。这种相对位置移动有两 种情况，一种是所拍摄的景物在相机曝光时间内相对于相机不具有完全相同的运 动规律，即相机曝光时间内所拍摄的景物及背景之间有相对运动，或者相机相对 于所拍摄景物有旋转，这种情况下整幅照片不能用统一的p s f 来描述，整幅运动 模糊照片不具有统一的p s f ：另一种情况是相机曝光时间内所拍摄的景物及背景 之间没有相对运动，并且相机相对于所拍摄景物没有旋转，此时整幅运动模糊照 片具有统一或近似统一的p s f 。 前一种情况如拍摄马路上正在行驶的汽车，无论相机是相对背景静止还是以 相同的运动相对于汽车静止，都会使得汽车或其背景产生运动模糊，这种情况下 一般需要进行图像分割，将运动模糊部分与不模糊部分相分离，或将不同运动的 景物相分离，使得每一个部分为一清晰图像或是具有统一p s f 的运动模糊图像再 进行处理【4 1 】 4 7 】。除此之外，如果在曝光时间内所拍摄景物与相机之间发生了相 对旋转，那么所拍摄景物同样不具有相同的运动规律，因为旋转的中心部分往往 运动幅度较小，而外围部分运动较大。在所拍摄的景物具有统一的运动而背景静 止的情况下，也可以利用辅助硬件设备使得整幅图像具有近似的p s f 。但这些情 况下的运动模糊去除都十分复杂，目前还没有比较成熟、稳定的方法。 3 浙江大学硕士学位论文第l 章绪论 第二种所拍摄景物具有相同规律的运动模糊虽然相对前一种情况简单，但是 如何对自然图像、p s f 以及噪声进行建模与约束，以及数值解法上的优化使得计 算时间在可以忍受的范围之内，都是非常复杂的，而且由于拍摄的景物往往具有 不同的深度，此时由于景物到相机的距离并不完全相同，其相对于相机的运动多 少有些偏差，所以具有相同的运动规律这种约束并不能够完全满足。不仅如此， l e v i n 等还通过实验证明，即使所拍摄的景物在同一深度，如所拍摄的景物本身 是一幅图片，也并不是图像中的任何部分都满足相同的p s f t 6 】1 7 】。正因为如此， 实际中并不可能完全准确地求出p s f ，所以如何在这种情况下更鲁棒地恢复运动 模糊图像，并且抑制振铃效应( r i n g i n ga r t i f a c t s ) 等失真现象就显得十分重要。 本文只对具有统一或近似统一的p s f 的图像进行去运动模糊。 1 2 2 基于反卷积的运动模糊图像恢复概述 在图像中任何一部分都具有相同运动规律，即运动模糊图像具有统一的p s f 的情况下，图像运动模糊的模型可以描述成图像的像素值与p s f 的卷积再加上一 些噪声。这样，图像去运动模糊问题就转化为一个反卷积的问题。在某些情况下， 如利用辅助的硬件设备，p s f 是已知的，此时去运动模糊问题转化为一个反非盲 卷积( n o n b l i n dd e c o n v 0 1 u t i o n ) 的问题。但是在更一般的情况下。只有模糊图像b 是 己知的，而清晰图像和p s f 都是未知的，图像去运动模糊问题转化为一个反盲卷 积( b l i n d d e c o n v o l u t i o n ) 的问题，本文所做的主要工作就是在p s f 未知的条件下 进行反盲卷积。 在早期的基于反卷积的图像去运动模糊的研究中，因为不能够对自然图像、 p s f 以及噪声进行较好地建模，所以对运动模糊图像有很强的假设，只能恢复极 特殊的运动模糊图像。例如许多论文假定所拍摄的所有景物与相机之间的运动为 匀速直线运动或变速直线运动，或者假定p s f 为一高斯函数，或假定待恢复的清 晰图像在频域内的能量谱满足某种约束，而与实际中复杂的p s f 相差甚远。这些 假设都过于简单，并不能够对运动模糊图像复杂的p s f 进行建模，而且对自然图 像频域上的假设也不能很好地恢复出图像空间域上的特征，如图像的边缘信息等。 4 浙江大学硕士学位论文第1 章绪论 k u n d u r 等人在1 9 9 6 年对之前的运动模糊图像恢复方法有较完整的介绍【l3 1 。 在2 0 0 6 年，麻省理工学院计算机科学与人工智能实验室的f e r g u s 等人首次 利用图像的统计信息等先验知识成功从较严重的单幅运动模糊图像中恢复出清 晰图像【3 7 1 ，对一般条件下的p s f 进行运动模糊的恢复，并取得了较好实验结果， 开创了图像去运动模糊研究新的里程碑。 基于反卷积的图像去运动模糊主要有三种方法：辅助硬件恢复方法、多幅运 动模糊图像恢复方法以及单幅运动模糊图像恢复方法。下面分别介绍这三种方法。 1 2 2 1 辅助硬件恢复方法 由于图像去运动模糊的重点和难点是p s f 的计算，因为如果获得p s f ，问题 就从反盲卷积转换为反非盲卷积，需要求解的变量就大为减少，问题简单很多， 而基于混合成像系统的辅助硬件方法其主要思想就是获取更多关于p s f 的信息。 b e n e z r a 等人使用具有两个照相机的混合成像系统来进行图像的获取【2 5 】【2 6 1 ， 一个具有较高的分辨率，使用较长的曝光时间来进行拍摄，该照相机所拍摄的照 片具有比较严重的运动模糊；另一个相机具有较低的分辨率，在前者拍摄的过程 中使用较短的曝光时间拍摄多张照片，并利用这些照片来获取相机与景物相对移 动信息。 l e v i n 等人构造一个可以控制相机移动的系统【4 】，根据景物的运动情况调节 相机的移使得所有景物相对于相机具有相同的运动，即使所拍摄的景物之间可以 有一维上的不同方向运动，由于此时整幅图像已经具有统一的p s f ，可以通过其 他反盲卷积的方法来恢复运动模糊图像。该方法的最大贡献是使用硬件设备将不 具有统一p s f 的图像转变为具有统一p s f 的图像。 辅助硬件的图像去运动模糊方法的优点是是能够获得更多关于p s f 的信息， 能够在拍摄物体与相机之间发生较大相对移动，或拍摄景物之间有相对运动时还 能够恢复出较清晰的图像，但该方法的缺点也比较明显，如硬件设备的成本较高、 生活中不利于携带和使用、只能在拍摄照片时应用而不能恢复己拍摄的运动模糊 图像等。 5 浙江大学硕士学位论文第l 章绪论 1 2 2 2 利用多幅运动模糊图像方法 y u a n 等人【2 3 1 、l i m 【4 2 】等人利用两张不同曝光时间的图像进行去运动模糊， 其主要思想是拍摄不同曝光时间下的两张图像，其中一张图像曝光时间较长，受 运动模糊影响较严重，但其包含所拍摄景物的细节更丰富，具有更多的信息，而 且噪声较少；另一张图像曝光时间较短，运动模糊程度较轻，图像的轮廓较清晰， 但丢失了很多拍摄景物的细节，而且所含噪声较多。利用后者作为图像恢复的初 始值是本方法的重点。 该方法的缺点是对曝光时间短的图像使用的去除噪声算法比较敏感，而且要 求在短时间内所拍摄的景物连续拍摄，也不适用于对已拍摄的单张运动模糊图像 进行处理。 1 2 2 3 利用单幅运动模糊图像方法 相比前两种恢复方法，单张图像去运动模糊获取的己知条件更少，难度更大。 l e v i n 将单幅运动模糊图像分割成不同的区域，每一个区域内的部分具有相 同的p s f 【8 】，其优点是可以恢复不具有统一p s f 的运动模糊图像，缺点是要求运 动模糊图像的p s f 必须是一维匀速运动。 f e r g u s 等人利用基于图像连续性的统计规律和p s f 的稀疏特性，使用高斯混 合函数和指数混合函数分别约束自然图像梯度的大尾巴分布( h e a v y t a i l e d d i s t r i b u t i o n ) 和p s f 的稀疏分布，并通过变分贝叶斯法( v a r i a t i o n a lb a y e s ) 进行 优化求删2 0 1 ，最后利用计算的p s f 通过传统的r e c h a r d s o n l u c y 方法进行反非盲 卷积【3 7 1 。其对一般的运动模糊图像的p s f 进行建模和约束并成功计算出p s f 是 图像去运动模糊研究的一个突破，但不足之处也有很多，如只能恢复p s f 小于3 0 像素* 3 0 像素的运动模糊图像、需要交互指定一块具有强边缘或纹理而且非过饱 和( s a t u r a t i o n ) 区域、变分贝叶斯优化算法极为复杂、计算量巨大，恢复一幅2 5 6 像素* 2 5 6 像素的图像计算时间都要数小时以上，而且最终通过r e c h a r d s o n l u c y 反非盲卷积方法恢复出来的图像带有严重的振铃效应。 s h a h 等人建立了和f e r g u s 等人类似的模型，其贡献是首次在没有显著增加计 6 浙江大学硕士学位论文第l 章绪论 算量的前提下对噪声及其一阶、二阶导数进行约束，而且恢复清晰图像阶段使用 更简单且易于优化的分段一次和二次函数对图像梯度的大尾巴分布进行约束，并 利用快速傅里叶变换及其逆变换在频域内进行优化，极大地提高了反非盲卷积算 法的效率。其缺点是利用k i m 等提出的内点法( i n t e r i o rp o i n tm e t h o d ) 来优化 p s f t 4 3 1 ，算法计算量很大，而且尽管其反非盲卷积的方法对于精确的p s f 能够恢 复出非常高质量的图像，但是实际中一幅照片往往并不具有严格意义上的统一 p s f ，而在这种情况下就会出现比较严重的振铃效应。另外，该反非盲卷积算法 在恢复图像边缘和纹理的同时也扩大了图像的噪声，对于包含噪声的运动模糊图 像恢复结果噪声十分明显。 y u a n 等人利用f e r g u s 等人优化出来的p s f 进行反非盲卷积的运动模糊，由 于f e r g u s 所使用的r i c h a r d s o n l u c y 反非盲卷积会引入较严重的振铃效应，y u a n 提出了b i l a t e r a lr i c h a r d s o n l u c y 方法进行反非盲卷积【2 4 1 。该算法的优点是能够 极大地抑制振铃效应，其缺点是该反非盲卷积算法的计算量也很大，加之f e r g u s 等计算p s f 的计算量也非常大，所以总的计算时间非常长。 l e v i n 等人使用参数为0 8 的幂函数来约束恢复图像梯度的大尾巴分布【5 】，该 方法能够在恢复图像的边缘和纹理的同时极大地抑制了振铃效应和图像的噪声。 l e v i n 等人对反盲卷积的图像去运动模糊方法进行了总结【6 】【7 】，从理论和实 验上指出传统最大后验概率方法( m a x i m u map o s t e r i o r i ，m a p ) 的缺陷，即使用 统一模型同时尝试恢复清晰图像和p s f 的方法是不可靠的，仅利用自然图像梯度 的统计信息和p s f 的稀疏信息是远远不够的，因为对自然图像梯度的约束很容易 使得恢复出来的图像过于平滑而使得恢复图像的边缘和纹理不够清晰，所以我们 要利用图像维度比p s f 维度大得多的性质尽可能从图像中提取有用信息计算出 p s f ，再利用反盲卷积的方法恢复清晰图像。l e v i n 等人还通过量化的方法对f e r g u s 等人【3 7 】和s h a n 等人【3 3 】恢复出来的p s f 和清晰图像进行评估。l e v i n 等人还通过 实验指出，图像去运动模糊方法中所经常假定的整张模糊图像具有统一的运动模 糊，即具有统一的p s f 在实际的模糊图像中是并不成立的，即使所拍摄景物是一 个没有深度的图片也是如此。除此之外，l e v i n 等人还提供了一个运动模糊图像、 7 浙江大学硕士学位论文第1 章绪论 清晰图像和p s f 的数据集。 c h o 等人利用冲击滤波器( s h o c kf i l t e r ) 预测出运动模糊图像对应清晰图像 的强边缘【删，用该预测逐步计算p s f 取得了较好的效果，并在g p u 上利用快速 傅里叶变换进行了加速，使得图像去运动模糊算法的速度有了可以接受的程度。 1 3 本文的主要工作 本文提出了种快速、鲁棒的基于反盲卷积的单幅运动模糊图像恢复算法， 该算法使用冲击滤波器预测出运动模糊图像对应清晰图像的强边缘，该预测使得 我们可以使用简单而易于优化的高斯分布先验知识来约束自然图像的梯度和运 动模糊核，并能够在频域中快速、准确地计算出运动模糊核；之后我们通过基于 自然图像梯度大尾巴分布的稀疏反非盲卷积算法恢复清晰图像，该算法能够恢复 出图像清晰的边缘和纹理，并能够显著地抑制振铃效应以及图像的噪声。在计算 运动模糊核的过程中，我们使用共轭梯度法来优化能量方程，并利用图像一阶和 二阶导数比图像像素值本身具有更小的条件数的良好结构使得算法能够快速收 敛。此外，本文提出的约束运动模糊核的磁滞阈值方法可以显著地抑制运动模糊 核的噪声；本文提出的运动模糊核中心定位的方法极大地提高了计算较大运动模 糊核的鲁棒性。实验结果表明，本文提出的算法可以快速、稳定地从单幅运动模 糊图像恢复出具有清晰边缘和纹理、极少振铃和噪声的高质量的清晰图像。 1 4 本文的章节安排 本文第1 章为绪论，主要介绍了课题的背景、意义、运动模糊图像恢复方法 以及基于反卷积的运动模糊图像恢复方法和其相关研究工作，最后介绍了本文所 做的主要工作及创新点。 第2 章介绍了运动模糊图像恢复的相关理论基础，包括运动模糊图像产生的 原因、运动模糊图像的退化及恢复过程、以及使用最大后验概率的方法恢复运动 模糊图像的过程。 第3 章阐述了本文基于反卷积的单幅运动模糊的图像去模型和算法，内容包 浙江大学硕士学位论文第1 章绪论 括：使用双边滤波器和冲击滤波器预测清晰图像；计算p s f 过程中建立的能量方 程、使用共轭梯度法进行优化、根据卷积定理使用傅里叶变换及其逆变换进行加 速、使用磁滞阈值抑制噪声以及重新中心定位p s f 以使得有效值在p s f 的中心； 计算p s f 过程中使用的基于图像梯度高斯分布的反非盲卷积算法以及计算p s f 后 最终恢复清晰图像使用的基于图像梯度稀疏分布的反非盲卷积算法；最后是本文 算法的一些实现细节。该章节是本文的核心部分。 第4 章介绍了本文所使用的软硬件环境、使用l e v i n 图像运动模糊数据库恢 复的实验结果、与之前方法对比的结果以及其他一些运动模糊图像恢复实验结果。 第5 章是本文的总结与展望。 9 浙江大学硕士学位论文第2 章运动模糊图像恢复的理论基础 第2 章运动模糊图像恢复的理论基础 图像运动模糊可理解为所拍摄景物在曝光时间内在c c d 上的一个积分过程 再加上一些噪声，积分的路径即为p s f 。在整幅图像都具有相同p s f 的情况下， 即在曝光过程中所拍摄景物之间相对静止与相机都有相同的相对移动，那么运动 模糊图像的恢复过程就转化为反卷积过程。在p s f 未知的情况下，计算p s f 与恢 复清晰图像的过程称为反盲卷积，其算法核心是计算出准确的p s f 。在p s f 已知 的情况下利用其恢复清晰图像的过程称之为反非盲卷积，其算法核心是恢复图像 的边缘和纹理，以及抑制图像的振铃效应和噪声。由于反盲卷积利用模糊图像等 较少的数据恢复清晰的图像和p s f 等较多数据，所以其难度相比反非盲卷积要大 得多，是一个严重的病态问题( i 1 1 p o s e dp r o b l e m ) 。本文主要关注基于反盲卷积 的单幅图像去运动模糊研究。 2 1 运动模糊产生的原因 运动模糊产生的根本原因是在曝光时间内所拍摄景物与相机之间发生了相 对位置移动，其具体原因有以下几种： 1 、拍摄物体或背景在曝光时间内相对于相机运动，如正在行驶的汽车，无 论相机静止还是与汽车保持相对静止，都会使汽车或汽车的背景出现运动模糊， 图1 1 ( a ) 所示。 2 、在光线较暗的条件下使用手持相机在较长曝光时间内由于手持不稳而使 相机发生抖动产生的运动模糊，如图1 1 ( b ) ( e ) 所示。 第一种运动模糊的去除难度较大，因为照片中的景物有着不同的运动规律， 整张照片不具有统一的p s f ，所以恢复之前首先要对照片根据景物的模糊情况进 行分割，在分割后的某一块内假定其具有统一的p s f ，然后再进一步处理。 第二种运动模糊是本文研究的主要内容，整张照片具有统一的p s f ，这样运 动模糊的形成就可以认为是图像与p s f 的卷积过程，恢复的过程即为反卷积过程。 1 0 浙江大学硕士学位论文 第2 章运动模糊图像恢复的理论基础 另外，这种情况的发生很多情况下是因为光线不足而延长曝光时间所致，所以照 片往往带有很强的噪声，如何对这些噪声建模、约束，无论对于计算p s f 还是最 后运动模糊图像的恢复都是十分重要的。 2 2 运动模糊图像退化及恢复过程 运动模糊图像的形成可以认为由一幅清晰图像经过退化函数再加上一些噪 声3 6 1 ，在整幅图像具有统一的p s f 情况下可以认为退化函数为一卷积操作，这 里的噪声一般认为是随机噪声。而运动模糊的恢复过程则是运动模糊退化过程的 逆过程，由运动模糊图像求出恢复函数及噪声，恢复出清晰图像。运动模糊图像 的退化、恢复过程如图2 1 所示。 运动模糊图像b 输入图像三 恢复图像， 恢复过程 图2 1 运动模糊图像的形成、恢复过程 运动模糊图像的形成可以由如下数学公式描述： b = j 固k + n ( 公式2 1 ) 其中b 为运动模糊图像，j 为待恢复的清晰图像，k 为p s f ，刀为随机噪声。 噪声讥这一项对于图像恢复的意义有两个：一是因为图像拍摄时，感光元件 c c d 本身会记录一些噪声，特别是在使用较大i s o 感光度或在光线较暗条件下拍 照的时候；另一方面，由于景深等原因，实际中整幅图像并不具有绝对统一的p s f ， 可以用噪声n 来描述这种偏差。 在p s f 未知的情况下，由于己知条件b 远远小于未知条件l 、k 和n ，所以此时 的去运动模糊是一个严重的病态问题。在这种情况下，同一幅模糊图像可以对应 多种图像和p s f 的组合，如下图所示。 新大学硕士学位论文 第2 章迂动摸懈图像慨复的理论基础 羔。_ ，i 黟蕊浮 。- 灏j ，羽 ：一! 逢、一 、蟹羽 - ? 二一 + + + 4 - + + 圈2 2 丽一幅运动模糊图像对于不同p s f 和噪声的组合 罔2 2 中，只有第一组恢复图像、p s f 以及噪声是我们期望的结果；第二组 结果恢复出来的图像与原图像一样模糊，这组图像之所以不是我们期望的结果， 是因为恢复出来的图像没有恢复出边缘信息，而我们可以使用自然图像梯度的统 计规律来进行约束，避免此种结果的产生：第三组结果也不是我们期望的，一方 面同第二组结果一样，没有恢复出边缘信息，另一方面我们可以看到噪声并不是 随机的，实际上也反映了模糊图像与恢复出来的图像之间的匹配度不好，所以我 们需要对噪声进行更强的约束，不仅要求噪声本身是随机的，也要求其一阶导数、 二阶导数也是随机的。 综上所述，图像去运动模糊的关键是利用自然图像、p s f 以及噪声的特征来 对其建立相应的约束以恢复出清晰的图像。这里要特别强调的是，近年来自然 图像的统计特征在图像去运动模糊研究中有着非常重要的应用i s l1 3 7 i t 8 1 3 4 1 【。 此外，图像去运动模糊过程中所使用的优化方法也非常重要，虽然图像本身 具有比较简单的数据结构。但其运动模糊的数学模型却十分复杂，优化起来计算 量非常大，f c r g a s 等i 卅恢复一幅中等大小的图像，如8 0 0 像素6 0 0 像素，也需 要数小时，所以这其中的数学优化方法在运动模蝴图像的恢复过程中也起着非常 重要的作用。 刊 i 一 浙江大学硕士学位论文第2 章运动模糊图像恢复的理论基础 2 3 最大后验概率方法 图像去运动模糊的目标是从模糊图像占恢复清晰图像，和k ，并利用，和k 的先验知识来对他们进行约束，我们使用最大后验概率方法来建立概率模型。由 贝叶斯公式可得： 加川炉型锱掣 c 公舰2 ， 由于j 与k 相互独立，而p ( b ) 为一常数，故上式等价于： p ( 1 ，k l b ) o cp ( 8 1 i ，七) p ( d p ( 七) ( 公式2 3 ) 其中p 0 ，k l b ) 为我们期望的最大后验概率，p ( b i i ，七) 为似然性( 1 i k e l i h o o d ) ，p ( j ) 和p ( 足) 分别为自然图像和p s f 的先验知识( p r i o r ) 。 我们分别对( 公式2 3 ) 的两边取负对数，将最大后验概率问题转化为求解 能量最小化问题，并得到能量方程： e ( i ，k l b ) = - l 0 9 0 ( j ，k l b ) ) = 一1 0 9 ( p ( 8 1 i ，尼) ) 一t o g ( p ( o ) 一l o g ( p ( 忌) ) ( 公式2 4 ) 令e ( 1 ，七) = - i o g ( p ( e l l ，七) ) ，e ( o = - - l o , q ( p ( 1 ) ) ，f ( 尼) = - l o g ( p ( k ) ) ，贝0 ( 公式2 4 ) 可以写成： e ( i ，k l b ) = e ( b i i ，忌) + e ( ，) + e ( 忌) ( 公式2 5 ) 其中能量e ( b 1 1 ，七) 是对噪声的约束，同时也是对运动模糊图像与清晰图像和 p s f 之间的数据匹配约束；能量f ( ，) 是对自然图像的特征进行约束；能量f ( 七) 是 对p s f 的特征进行约束。 由于此时已知量的b 个数远远小于未知量，和尼的个数，是一个严重的病态 问题，所以我们迭代恢复，与k ，即迭代最小化以下两个能量： 取( 忌) = e ( b 1 1 ，尼) + e ( 尼) 毋( ，) = e ( b l l ，七) + f ( ，) ( 公式2 6 ) 浙江大学硕士学位论文第2 章运动模糊图像恢复的理论基础 2 3 1 似然性 由( 公式2 1 ) 可得： n = ，0k b ( 公式2 8 ) 在图像恢复模型中，我们将图像的噪声刀约束为一组相互独立且均服从高斯 分布的随机噪声，实际上也是要求模糊图像与恢复出来的图像之间有更好的匹配。 在早期的图像去运动模糊研究中，对图像噪声的建模都比较简单，仅使用刀 或力的一阶导数进行概率建模【1 8 l 川吲p 0 1 ，即似然性分别为兀o j y ) n ( n c x y ) 1 0 ，o o ) 和订 y ) n ( v n ( x ) i o ，叽) ，其中( x ，y ) 为图像像素坐标，v 为梯度。但这种约束并不 能够很好地对噪声进行约束，最后的结果中噪声甩并不是随机的。s i m o n 曾经证 明【2 9 1 ，如果一随机变量相互独立且均服从高斯分布，其标准差为嘞，那么 的一 阶导数也服从高斯分布，其标准差叽= 扼。更进一步，聆的二阶导数也服从高 斯分布，o 2 = 讵d 1 = 饵o o 。故似然性可由如下公式计算： p ( b i i = 兀h n ( a n ( 圳i o ，民) ( 公式2 9 ) 其中p ( a o ，巩，穆，a x e , ，勤) ，分别表示图像像素值本身及其一 阶、二阶导数；叽( a o ，d 1 ，, 7 2 3 。对( 公式2 9 ) 两边取负对数得： e ( t ；l t ，良) = 一l o , q ( p ( 3 1 1 ，尼) ) 一c 您【l 去p - ( a 帅砧2 z 一， a p ( x ，y ) 一 o c 吡帆 = yy 训i a 。ni i 2 j _ _ _ _ _ _ - a e ，y ) = 艺j a , l ok 一巩口2 ( 公式2 ，1 0 )厶一备az u ， 1 4 胆泌 彬 吖 去 兀兀 浙江大学硕士学位论文第2 章运动模糊图像恢复的理论基础 其中c ，。( o ，1 ，2 】，c o 。= 1 1 2 a z ，1 1 n 表示l 2 范数。 将巩j 、以b 分别记为l 、尻，则( 公式2 1 0 ) 可写成： e ( b l l ，七) o c 艺c o i i 鼠一lo 七h 2( 公式2 1 1 ) ( 矾，) 其中，( 最，l ) ( ( b ，d ，( 以b ，以d ，( 穆b ，穆d ，( b ，) ，( b ，d ，( 峙j 5 f ，) ) 。 这里可以看到，尽管我们同时对7 l 、7 的一阶和二阶导数进行约束，但是与只 对n 或n 的一阶导数约束相比并没有增加计算的复杂度。 使用图像像素值及其一阶、二阶导数一起来约束噪声固然能够使得模糊图像 与恢复的图像进行更好地匹配，但在第3 章计算p s f 优化时我们可以看到，包含 像素值本身进行计算一方面会使得所解方程组的条件数变大，降低收敛速度；另 一方面，我们在许多地方都要使用傅里叶变换及其逆变换在频域内计算卷积，而 傅里叶变换需要扩展图像，又由于图像像素值一般不为零，这样就需要经过特殊 处理才能够使得其边界周期连续，以避免产生严重的振铃效应，而图像的梯度值 大部分接近于零，所以不需要经过特殊处理。从本文实验结果中可以看出，虽然 我们在计算p s f 的时候没有使用像素值本身，但仍然能够使得运动模糊图像与所 恢复的清晰图像进行非常好的匹配。 2 3 2 先验知识 2 3 2 1 自然图像先验知识 在图像恢复的研究中，自然图像的一些统计特征作为重要的先验知识，对恢 复图像具有我们期望的自然图像特征起着非常重要的作用。许多研究表明，图像 的梯度服从一种大尾巴分布【4 8 】【3 7 】【4 5 】【5 】【3 3 】1 3 【2 8 】，即自然图像具有很强的局部连续 性，即图像中的一个像素和其周围的像素往往差别不大，只有在图像中的边缘才 会有较大的跳跃，自然图像的这种特征可以用其梯度的统计数据来描述，即一幅 自然图像的梯度值大部分为零或接近于零，梯度值越接近于零其概率越大，越远 离零其概率越小。但这种分布又不同于高斯分布，因为自然图像中还存在着边缘， 1 5 新大学碗士# 位论z第2 章运动攥期圈像恢复的e 论基础 所以较大梯度值的概率要比相应高斯分布值大。 宅三；三；丢兰三三茎； 自然图像的梯度分布如下图所示 图2 3 白然图像统计信息 圈23 中( a ) 为一幅1 0 2 4 5 6 7 像素的自然图像，( b ) 为其梯度的宣方图统 计取负对数的结果。 在图像去运动模糊的研究中，有很多种方式对图像大尾巴分布进行约束，最 简单的方式是使用高斯分布来近似，此时： p ( o = nn ( a 。1 q j ) i o ( ) 兀( j 。j ) i o f ) ( 公式21 2 ) o ，】( r ) 经过类似( 公式2 9 ) ( 公式21 0 ) 的推导可得： e ( o = 一l 0 9 0 ( ，) ) “以，。+ “l 川。( 公式2 13 ) 使用高斯分布来约束自然图像的梯度使得该能量是一个二次凸函数，非常易 于优化，特别是在频域内可以通过简单相除得到结果。但该分布不能很好地约束 图像的边缘和纹理使得恢复出来的图像具有明显的振铃效应。尽管如此，我们 在计算p s f 的过程中的预测阶段使用双边滤波器和冲击滤波嚣来去除噪声，所以 在计算p s f 时使用了该约束。 f e r g u s 等人使用高斯混合模型来进行拟合大尾巴约束m 但该约束优化十分 困难。s h a h 等人使用一个分段一次函数和二次函数来进