（计算机应用技术专业论文）基于空间不变假设的快速鲁棒图像去模糊.pdf

浙江大学硕士学位论文 摘要 摘要 在日常生活中，人们常常会遇到模糊图片，造成模糊的原因有多种，如拍摄 时物体运动，或者设备晃动，或者对焦失误等等。为自然图像去除模糊恢复清晰 是近年来的研究热点。本文提出了解决这一问题的统一理论框架，以往的绝大多 数算法可作为所提框架的各种特例。 首先，本文将回顾以往的多种相关算法研究，包括最大后验概率算法、变分 贝叶斯以及规范化、边缘增强等方法。 其后，通过给出一个简洁的非线性扩散方程，阐明以往的算法均可以统一地 视为利用该非线性扩散方程进行图像增强，构造清晰图像的强边参照，由此获得 对去模糊问题的更好理解，并建立了各种算法之间的联系，而且给出了今后可能 的研究方向。为了使扩散方程的结果能更好地作为清晰图像的参照，本文利用一 阶演化方程震荡滤波对扩散结果进行加强，构建最终使用的清晰图像的参照，用 于估计模糊轨迹或点传播函数。 基于计算速度和抗噪的考虑，本文依次提出三种新的快速鲁棒点传播函数估 计算法和一个图像还原算法。对于给定的模糊图像和构造出的清晰图像参照，本 文运用点传播函数估计算法估计模糊轨迹。对于给定的模糊图像和估计出的点传 播函数，本文利用图像还原算法，最终获取清晰图像。 通过上述一系列算法的运用以及尺度空间的优化，使得所提出的图像去模糊 算法可在不调节参数的情况下获得高质量的运算结果，有效估计清晰图像和点传 播函数。 最后，本文总结和讨论了基于本文框架下模糊图像的定义。 本文所提出的算法，对图像处理领域有实用价值和理论意义。可望在图像处 理，交通监控，刑侦证据恢复，天文领域等获得更广泛的应用。 关键词：去模糊统一框架非线性扩散震荡滤波点传播函数估计图像恢复 浙江大学硕士学位论文 a b s t r a c t a bs t r a c t b l u r r yi m a g e sa r eu n i v e r s a li no u rl i f e ，t h e r ea r em a n yc a u s e sf o rt h eb l u r ：t h e r a p i dm o v i n go fa no b j e c t ，s h a k i n go ft h ef a c i l i t y o no t h e rm a n u a lr e a s o n ss u c h d e f o c u s n a t u r a li m a g ed e b l u r r i n gh a sb e e nah o tr e s e a r c ht o p i ci nr e c e n ty e a r s i nt h i s t h e s i s ，ab a s i cf r a m e w o r ki sp r o p o s e da n dm o s tp r e v i o u sa p p r o a c h e st a c k l i n gt h i s p r o b l e m c a nb eu n i f i e du n d e rt h i sf r a m e w o r k f i r s t l y , ar e v i e wo ft h em o s tf a m o u sp r e v i o u sa p p r o a c h e si sm a d ei nc h a p t e r2 ， i n c l u d i n gm a x i m u map o s t e r i o rm e t h o d ，e n s e m b l el e a r n i n gm e t h o d ，r e g u l a r i z a t i o n m e t h o d sa n de d g ee n h a n c i n gm e t h o d s i nf o l l o w i n gc h a p t e r s ，au n i f i e df r a m e w o r ki sp r e s e n t e da n di ti ss h o w nt h a tm a n y p r e v i o u sm e t h o d sc a nb eu n d e r s t o o da ss h a r pe d g ee n h a n c e m e n tw i t han o n l i n e a r d i f f u s i o ne q u a t i o n ab e t t e rv i e w p o i n to ft h em e c h a n i s m sa n dc o n n e c t i o n so fp r e v i o u s a p p r o a c h e sc a n b er e a c h e dw i t hn o n l i n e a rd i f f u s i o ne q u a t i o n s f o rm a k i n gb e t t e rp r o f i l e sf o rs h a r pi m a g e s ，s h o c kf i l t e ri su t i l i z e dt of u r t h e r e n h a n c et h ed i f f u s e dr e s u l t t h es t r o n ge d g ep r o f i l ei su t i l i z e df o re s t i m a t i o no ft h e p o i n ts p r e a df u n c t i o n ( p s f ) b l u rk e r n e l f o rb e t t e rs p e e da n dr o b u s t n e s s ，ip r o p o s e3n o v e lp o i n ts p r e a df u n c t i o n e s t i m a t i o na l g o r i t h m s ，a n dad e c o n v o l u t i o nm e t h o d p s fe s t i m a t i o na l g o r i t h m sa r e u s e dt oe s t i m a t et h eb l u ro ft h ei m a g e ，g i v e nt h eb l u r r yi m a g ea n ds h a r pi m a g ep r o f i l e t h ed e c o n v o l u t i o na l g o r i t h mi su s e dt or e c o v e rt h es h a r pi m a g ew i t ht h eb l u r r yi m a g e a n d t h ep s f t h a n k st ot h es i m p l ea n dr o b u s ta l g o r i t h m sp l u ss c a l e s p a c eo p t i m i z a t i o n ，t h e f i n a lf r a m e w o r kc a np r o d u c eh i g hq u a l i t yr e s u l t sw i t hl i t t l ep a r a m e t e rt u n i n g t h i s f r a m e w o r ki s i n t e r e s t i n g a n du s e f u lb o t ht h e o r e t i c a l l ya n d p r a c t i c a l l y f u t u r e a p p l i c a t i o n si nm a n yf i e l d sa r ep r o m i s i n g k e y w o r d s ：d e b l u r r i n g ，u n i f i e df r a m e w o r k ，n o f l i n e a rd i f f u s i o n ，s h o c kf i l t e r , p o i n t s p r e a df u n c t i o ne s t i m a t i o n , i m a g er e s t o r a t i o n 浙江大学硕士学位论文图目录 图目录 图1 1 锐化前( 左) 和强烈锐化后( 右) 的照片3 图1 2 监控画面中的图片3 图1 3 天文观测图片4 图2 1 失焦模糊( 左) 和运动模糊( 右) 6 图2 2 模糊图像的生成过程7 图2 3 可用于生成相同模糊图像的各种清晰图像模糊轨迹对8 图2 4 各种去卷积方法对比l o 图2 5 图像模糊和去模糊的总过程1 0 图2 - 6 最大后验概率算法的盲去模糊效果。1 2 图2 7 变分贝叶斯法和最大后验概率法13 图2 8 变分贝叶斯法的盲去模糊效果1 3 图2 - 9 小波的衍化品种1 4 图2 1 0 4 】中的结果演示1 4 图2 1 1 边缘检测和边缘增强过程1 5 图2 1 2 边缘增强法的完整步骤15 图2 1 3 去除非空间不变模糊1 6 图2 1 4 去除旋转模糊模糊1 7 图2 1 5 模糊带噪图相对去模糊1 7 图2 1 6 两张图片去模糊1 8 图2 1 7 一些用于去模糊的硬件1 8 图2 1 8 本文算法框架1 9 图3 1 各种分布做l o g 变换之后的图片2 2 图3 2 二次能量函数和对应影响函数2 3 图3 3 洛伦兹能量函数和对应影响函数2 3 图3 4h u b c r 函数和对应影响函数。2 4 i i i 浙江大学硕士学位论文图目录 图3 5 各向同性和各向异性扩散对比2 5 图3 - 6 鲁棒统计量示意图2 6 图3 7 震荡滤波示意图2 7 图3 8 本章结果示意图2 9 图4 1 实验对比3 3 图4 2 实验对比3 4 图4 3 实验对比3 4 图4 4 实验对比3 4 图4 5 实验对比3 5 图4 6 实验对比3 5 图4 7 实验对比3 8 图4 8 实验对比3 9 图4 9 实验对比4 0 图5 1 算法效果4 2 图5 - 2 算法效果一4 3 图5 3 算法效果4 3 图5 4 算法效果4 4 图5 5 算法效果4 4 图5 - 6 算法效果4 5 图5 7 实验对比4 6 图5 8 实验对比4 7 图5 - 9 实验对比4 7 图5 1 0 实验对比j 4 8 i v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除 了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得浙江大学或其他教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 糊一虢懈苏蝴期：泖年岁月7 日 学位论文版权使用授权书 本学位论文作者完全了解浙江大学有权保留并向国家有关部门或机构送交本论 文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙江夕弋学可以将学位论文的全部 或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 叶弛翩躲弋( 毛 签字日期圳筛乡月7 日 签字日期阳。年：；月甲日 浙江大学硕士学位论文第1 章绪论 1 1 研究背景 第1 章绪论 视觉是人类获取信息的一个重要途径。长久以来，人们在不断改进着捕捉有 价值瞬间的技术与手法。如今，视觉已经成了日常交流、学习、娱乐、艺术和科 学等领域中不可或缺的一部分。 经过两百年的发展，摄影已经渗透到了我们生活的方方面面。近年来，工程 师和科学家们在不断地提高相机的制造技术、摄影方式以及后期处理手法。随着 生活水平的提升，数码相机的普及，摄影在日常生活中的重要性正在不断提高。 而许多传统的技术限制仍然没有解决，其弊端也日益明显。 图像增强技术是一个有悠久历史的研究方向。上可追溯至给黑白照片着色， 下到如今各种的调整曲线、降噪等各种修整手法。在最近几十年，计算机技术的 飞速发展对数码摄影起了极大的推动作用。借助于电子计算机的图像处理技术在 提高画质、修整图像方面起了不可估量的作用。 1 1 1 研究现状 在现实生活中，要在弱光条件下拍摄清晰图片是件很有挑战性的事情。轻微 的抖动就有可能对照片造成很难恢复的负面影响。由于模糊问题的普遍性，众多 相机、镜头厂家都在积极开发各类防抖硬件技术，比如利用镜片组或传感器移动 来补偿或削减相机抖动带来的影响。在众多图像增强技术里，图像去模糊是一个 具有挑战性的问题，它在军事、刑侦、监控和日常娱乐需求等很多方面都是非常 有意义的一个课题。因此来自各个领域的专家学者都参与到对这个课题的研究 中，在这个过程中发展了许许多多有意义的算法。 但时至今日，仍然没有普适的商用去模糊软件，绝大多数的算法在速度上非 常缓慢。并且研究方式的分歧，导致研究者对处理图像模糊的正确方式仍有疑虑。 本文工作的第一个贡献是一个统一框架，希望能够减小这方面的疑虑，另一个贡 献是提出了一系列高效而简洁的算法，相信在为后续的去模糊算法上能提供参考 浙江大学硕士学位论文 第l 章绪论 和便利。 纵观现有的去模糊算法，总体来说分为两大类：第一类是通过对自然图片的 统计信息建模，如梯度分布n 卫 钔。第二类是利用边缘加强算法预测清晰图像 瞄一j 一1 。两大类算法利用各自的工具进行预处理，再结合点传播函数求解算法臼8 孤叫 和清晰图像恢复算法n 仉1 4 蕊2 7 _ 3 2 3 3 1 进行对清晰图像的还原。以往这两大类算法，表 面上看似存在一定分歧“1 ，比如，概率模型的算法在框架及实现上明显有别于基 于加强边缘的算法，研究者大幅研究了概率模型在去模糊问题上的难点d 3 和可能 的解决方向，而并没有过多讨论过各种算法之间的关联。 1 1 2 应用前景 图像去模糊，由于技术限制，如今还没有成熟普适的商业软件，然而该问题 在很多方面都有着广阔的应用前景。就应用领域而言，可以简单列举以下几种： 1 ) 去除相机运动造成的模糊的图像处理软件 数码相机的大规模使用，像素的不断提高，机身日益变小使得抖动问题变得 越来越明显。许多摄影人士拍摄的瞬间错过了都很难再重现。虽然模糊问题可通 过其他设定来减轻，如利用更高的感光度或更大的光圈，但由此带来的负面影响 是，图像噪音的增加或景深的减小。闪光灯等辅助照明的使用也可助于大大缩减 快门时间，但是闪光灯等不自然光线的引入往往会破坏环境气氛。虽然三脚架的 使用或其他的硬件设施能够减小抖动，但在许多情况下，手持拍摄仍然不可避免 地会拍摄到抖动图片。因此，对去除图像抖动算法的需求显得非常普遍。 如今的图像处理软件中，锐化操作去模糊往往是基于高斯模糊的假设，将点 传播函数或模糊轨迹预设为高斯函数，再利用反卷积计算法进行图像增强。对于 一般的较为清晰的非一般抖动图像，经过一定的手工设定，这种算法有着明显的 效果。然而对于一般抖动图像，由于抖动轨迹在绝大多数情况下不是简单的高斯 函数，在这种情况下，图像处理软件中的图像增强算法并不能取得理想的效果。 然而，本文提出的算法及今后的改进算法有希望弥补这一缺陷。 2 浙江大学颈学位论文第1 章绪论 图i - i 锐化前( 左) 和强烈锐化后( 右) 的照片 2 ) 监控录像中关键信息的恢复 监控设备现在已被普遍安置用于确保人民生命财产安全。但是录像监控设 备由于曝光速率有限，很难保证拍摄到绝对清晰的影像。如果拍摄过程中物体快 速运动，该物体被捕捉到的影像记录中重要的文字等标识信息很可能会因模糊而 难以辨认。这对监控质量有极大影响。在无法拍摄到清晰图像的情况下，根据画 面信息利用算法去除模糊将起到至关重要的作用。这类算法的成功应用将对刑 侦、监控提供很大的便利。 卵 _ 图b 2 监控画面中的图片 浙江大学硕士学位论文第1 章绪论 3 ) 天文观测图像恢复 在天文观测中，由于大气干扰导致光路波动，或望远镜设备光学性能限制， 经常会获得模糊的图像。天文影像中去模糊的难度往往比自然图像去模糊容易， 因为点光源在天文观测中往往能提供模糊信息。模糊轨迹或点传播函数获取后， 运用非盲去卷积，便可加强图像质量。图像去模糊算法在这一领域的应用已有几 十年的历史。如今有更加优良的算法，相信今后能在天文领域取得更好的成果。 图1 4 天文观测图片 1 2 本文的研究目标和工作 由于以往研究者对去模糊方案在看法上存在分歧，尽管有众多贡献，学者井 未给模糊图像下准确定义，因此各类算法的应用范围也难以预测。本文的第一个 贡献是利用两组偏微分方程展示一个新的框架，给以往的大多数算法一个统一的 解释，阐述近年来若干算法之间的内在联系。第二由于点传播函数估计在去模 糊问题中起着至关重要的作用，点传播函数估计上的轻微偏差，会在后续去卷积 结果上产生极大的不良影响，于是基于速度和估计精度的考虑本文提出三个快 速鲁棒的点传播函数估计算法。第三，为了减小去卷积问题中由点传播函数估计 误差或噪音带来的不良影响，本文提出一个快速鲁棒的图像恢复算法。本文展示 的方法对理解如今的各粪去模糊算法提供了便利。一系列算法的成功组合，使得 本文完整框架可以在不用调节参数的情况下输出高质量的清晰图像和点传播函 数的估计。最终的总结中，本文提供了本算法框架下，模糊图像的简单定义。 浙江大学硕士学位论文第1 章绪论 1 3 本文的章节组织 本文的后续章节，将作如下安排： 第2 章，按照逻辑或时间顺序介绍以往的去模糊算法，包括最大后验概率法， 变分贝叶斯法，规范化法，和边缘增强法等。 第3 章，说明以往绝大多数框架可以统一的理解为用非线性偏微分方程进行 图像增强，介绍利用偏微分方程的统一理论。 第4 章，基于运算速度和鲁棒性考虑，提出的三种点传播函数估计算法和一 种鲁棒图像还原法，并与以往算法进行了实验对比。 第5 章，框架细节与实现，展示了本文算法的去模糊结果并与以往的算法进 行了比较。 第6 章，总结与展望。 5 浙江大学硕士学位论i 第2 章相关研究综进 第2 章相关研究综述 造成图像的模糊原因有多种，例如运动模糊和失焦模糊，如图2 - 1 所示。去 模糊算法按照模糊轨迹是否已知可分为两大类：第一类是给定了模糊轨迹( 或点 传播函数) 和模糊照片，要求恢复清晰图片，这类算法称为非盲去模糊 “”跏”4 “”。另一类仅仅给出模糊图片，要求恢复清晰照片并且估计模糊轨迹， 这种称为盲去模糊“。4 。啦“4 “。本文主要研宄的是盲去模糊效果。 图厶l 失焦模糊( 左) 和运动模糊( 右 2 1 基于空间不变假设的图像模糊模型 最简单的情形是假设模糊是空间不变的。空间不变假设即是要求在图像的各 处有相同的模糊轨迹或点传播函数。该假设可以近似描述拍摄设备的平面抖动， 如手抖造成，或轻微失焦等情况造成的图像模糊。模型的数学表达式“”是： b = l o k + n公式( 2 1 ) 其中上为清晰图像，世为卷积核( 或抖动轨迹、点传播函数) ，n 为随机噪声， 一般假设是均值为0 的高斯噪声。b 是观察到的模糊图像。卷积操作可数学化表 示为： l o k = o ，j ) k ( m f ，月一，) 公式g 2 ) i 该模型可以理解为模糊图像的每一点是清晰图片对应点邻域亮度的加权平 6 浙江大学硬士学位论文第2 章相关研究综述 均，权重由世决定。或可理解为一张模糊图像是若干张清晰图像平移后的加权平 均，权重由j l r 决定，效果可如图2 - 2 所示。 点传播函数膏描述了一个理想点在最终成像时的形状。对于一般抖动模糊 k 即是抖动轨迹，对于失焦模糊，k 一般近似于光圈的形状，有一定对称性也比 较光滑。 圈2 - 2 模糊图像的生成过程 左中右分别是模糊图像清晰图像和点传播函数 o j 基于该模型的盲去模糊问题非常有意义也非常有挑战性是近年来的一个研 宄热点。同时估计模糊轨迹和清晰图片这一问题，由于要估计的量比己知量还多 【“，可以想象，如果不施加根好的限制，该问题是非适定问题并不能求得唯一 解，如图2 - 3 所示： 浙江大学硕士学位论文第2 章相关研究综述 墨：皿 图2 - 3 可用于生成相同模糊图像的各种清晰图像倦糊轨迹对 因此在求解盲去模糊问题时必须发现图像中的规律添加足够的合理限制 以求得合理解。 2 2 去卷积方法 当给定了模糊图像b 和点传播函数k 时，去卷积方法被用于消除卷积算子影 响，获得清晰图像估计。 最直接的求解清晰图像的方法是频域点除法，根据卷积定理呻】：空间域的 卷积等价于频域的点乘，即 f “ 4 l o k a + k r l 公式f 2 卦 其中，一表示傅里叶变换过后的元素，f ，。分别表示傅里叶变换及反变换， 表示频域中的各频段相乘运算，对应有膳算，表示点除。 此时卷积就变为乘积的形式，求解清晰图像的直接想法是利用亩* 霞得出 l m b k 公式伫钔 但是这种算法会极大地扩大噪声，在点传播函数估计稍有误差时也会产生严 浙江大学硕士学位论文第2 章相关研究综述 重的振铃效果。当点传播函数在频域中存在0 频段时，点除将无限大地扩大噪音， 对画质产生极大的影响。 一种传统的去卷积方法是维纳滤波法【2 8 1 。带先验的维纳滤波法利用卷积定理 求解最d - - 乘规划问题： m ，i n | | k o l - b i l 2 + 五l l v ( 三) 2 亡m ，i n i | k 奉上a b a1 1 2 + 允l | v 奉a | 1 2 右边问题的解为： 三= 【霞宰( 霞木雪) ( 露+ 宰k a + 允v as 木寺) 公式( 2 5 ) 利用傅里叶反变换即可获得清晰图像估计。 另一种传统的去卷计算法是r i c h a r d s o n - l u c y 算法【2 5 矧。该法基于p o i s s o n 噪 音模型，利用最大似然法推导，得出迭代公式： r + 1 = f + k o b ( f 圆k ) 】 公式( 2 6 ) 其中上标幸表示上下调换后左右调换。 为了减小求解反问题时的负面效果，在最近若干研究文献【1 4 , 3 3 中，研究者提 出了了施加解稀疏范式限制问题。 第一个利用稀疏先验的算法是求解： m i ni ik p l 一础+ a i iv ( l ) i i 。r 8 公式( 2 7 ) 由于在这种情况下问题并无显式解，需要通过梯度下降迭代算法求解，速度 会相当慢。最初提出的该方法对于百万像素图片需要耗时几十分钟至几小时。 随后，研究者引进了控制序列【2 ，3 3 1 ，利用交替迭代法，使得求解带稀疏先验 的问题在短时间内获得较高质量的结果。 最近研究者还提出了利用其他惩罚项或先验的去卷积方案，如利用联合双边 滤、波【3 6 1 ，引入非局部惩罚项，或引入颜色先科3 2 1 ，在此不一一赘述。 9 浙江大学颚士学位论文第2 章相若研究镰述 葡晴司丽葡哺韧丽 a d c d a d c a i c o i c o a d c d a b c a d o d a d c d a d c d a b c i a b c d a b c d 冈 a d c d a b c da b c d a d c d a d c d a b c da i c d i c o a d c d a d c d a i c d a d c d a b c d a b c da b c d a b c d 圈2 - 4 各种去卷积方法对比 左上：原图像。右上：r i c h a r d s o n l u c y 算法恢复结果。中间：点传播函数估 计，左下：维纳滤波结果。右下：带稀疏先验去卷积结果。 囤2 - 5 图像模糊和击模糊的总过程 浙江大学硕士学位论文第2 章相关研究综述 2 3 模糊轨迹和清晰图像对的盲估计 2 3 1 最大后验概率法( m a p ) 近年来非常流行的研究做法是利用最大后验概率法n 2 1 。研究者考虑的做法是 利用基于贝叶斯后验概率模型，求解 m 量a ，x p ( k ，l ib ) 公式( 2 8 ) 即给定当前观测到的模糊图像，求解未知参数。由于在该问题中，已知量和 未知量规模相当，而施加未知量先验的作用在该模型上仅仅起惩罚项作用，可以 想象纯粹的概率理论在一般的非自然图像问题上是无法求解到有意义解的。但恰 恰与此相反，利用该概率模型现已有若干成功的去模糊算法乜1 。 在 2 中，提出了一种交替最小化算法，该方法的最基本思路是将( 2 3 ) 式进 行一定整理： p ( k ，lib ) p ( gik ，三) p ( k ) p ( 上) p ( b i k ，l ) = n ( b l k 0 ) 将以上各式取l o g ，则转化成能量最小化问题： m x i ni ik o l 一曰i | 2 + ai iv ( l ) l i i + 五i iki i 2 公式( 2 9 ) 这里用| i i i l ，i 2 分别表示特定的根据自然图像特定梯度以及点传播函数 分布先验定义的范数。由于直接求解该问题一般无法进行，以往做法均采用交替 最小化法【2 矧，即将该问题分解成两步： 算法2 1 ： m l i ni i k0 l 一刚2 + ai iv ( l ) i i i m k i n ik 圆l 一刚2 + 五i i k i i m 公式( 2 1 0 ) 公式( 2 1 1 ) 在 2 中，公式( 2 1 0 ) 和公式( 2 1 1 ) 的若干次循环迭代以及两式中的参数调整， 最终获得了高质量的结果。 但是可以想象到，去模糊问题的真正解不应该使公式( 2 9 ) 中的能量变小，正 浙江大学顸学位论文第2 章相关研宄综述 确的解反而应该使能量变大，因为自然图像细节更为丰富，由州k 定义的范数应 该远远大于模糊图像。 图2 - 6 最大后验概率算法的盲去模糊效果 2 3 2 变分贝叶斯算法 变分贝叶斯算法在理论上实际上是比最大后验概率算法更复杂的限制算法。 由于最初的m a p 算法在实现上没有克服种种问题，导致这一更复杂的算法反而 更早出现。 【1 ，1 7 中变分贝叶斯去模期算法的原理： 将模型中的高斯噪音方差也认为是一未知变量，引入更复杂的m a p 模型： # m 。a ，x p ( 丘，厶。2b ) 公式( 2 1 2 ) 在求解时与m a p 模型不同之处在于：m a p 模型求解( 2 9 ) 采用交替最小化算 法如公式f 21 0 , 21 1 1 所示，而变分贝叶斯算法则是另外寻找3 个独立的概率密度 函数q ( v l ) ，g ( ，q ( u 2 ) 使三者乘积获得的概率密度与( 29 ) 中的联合概率密度最接 近。这里采用信息论中最常用的k l 距离，则： 9 ( 砒r a m i n 【。 k l ( q ( v l ) q ( k ) q ( , 7 2 ) i p ( x t l ，t ，盯2 口) ) 公式) 上式中由于采用了三个概率密度乘积的形式，在优化时可类似于交替最小 化，对q ( v l ) ，g ( n g ( 矿) 分别进行交替优化。由于目标函数与m a p 算法十分接近， 此算法在统计推断的中间过程与m a p 算法十分接近。经过一般数百次甚至上千 次交昔优化，最终该算法能够获得较好的结果。然而由于迭代次数过多，该算法 = 一 浙江大学硕士学位论文 第2 章相关研究综述 速度极为缓慢，使得该算法几乎无实用价值。但该法有一好处，即是先逼近密度 函数后再求最优参数，这使得该法对局部极值不敏感，如图2 - 6 所示。 睡 7 变分贝叶斯法和最大后验概率法 变分贝叶斯法逼近概率密度后求最优参数，而最大后验概率法直接求最优参数 图2 - 8 变分贝叶斯法的盲去模糊效果 2 3 3 规范化解法 与m a p 联系十分紧密的另一种算法是规范化算法。在 2 3 中，介绍了一种全 局变差限制算法，即砒p 算法中的l ，采用_ 范式。一种最新提出来的算法“是 利用小波基的衍化工具作为图像和点传播函数的分解工具，并规范分解系数。最 终该算法也有良好的收效，而且算法速度有较大提升。 浙江大学硕士学位论文第2 章相关研宄综述 图2 - 9 小波的衍化品种 左半：框架波。右半：曲线波。 图2 1 0 4 】中的结果搞示 用框架被和曲线波在选代过程中的中问结果，每张图按l o 攻选代递增 2 3 4 边缘增强算法 在另一个方向，研宄学者提出了若干种边缘增强算法。早期的该类算法口月仅 仅加强边缘，对于因卷积而消失的细节束手无策。最近提出的若干种方式1 7 , 8 矧， 以加强的结果作为清晰图片的参照，求得点传播函数。并以此恢复，这类新方式 可恢复模糊图像的细节。其中， 7 】基于边缘检测并将弱边修整成为强边，以此作 为参照求解抖动轨迹。【8 】分别是高斯模糊和双边滤波外加震荡滤波进行自动边缘 增强。这一类算法由于操作较为简单，速度十分快。本文的算法与【8 ，3 5 】最为接近， 但为独立研究所得，此外本文更注重于展示以该类方法建立的统一的理论框架。 浙江大学碗士学位论文弟2 章相关研宄综述 少百 图2 - i i 边缘检铡和边缘增强过程 幽酵，一、陶幽 圈2 - 1 2 边缘增强法的完整步骤 边缘检测后边缘增强。井以此作为参照求得模糊轨迹后恢复 2 3 5 一个总结性工作 与本文比较接近的还有另一个总结性工作3 】：基于众多新颖的去模糊算法 最近【3 】中回顾了现有方法的利弊，作了若干种现有方法的总结。该文章详细地从 概率统计的角度分析了以往的去模糊算法，并发现传统的最大后验法在去卷积方 法上并不奏效。 而本文将展示，最大后验法形式的算法成功的原因，实际上不应该从概率统 计的角度来分析，而应当从偏微分方程中非线性扩散方程1 1 1 , 1 2 , 1 3 ) 1 的性质来研究。 该文的另一个算法上的贡献是提出了一种新颖的最大后验概率算法。但该新 算法假设真实图像在频域中各频段的模服从训练库中图像在频域中的模的平均 浙江大学硕士学位论文第2 章相关研究综述 分布，当给定的模糊图像与训练库中图像差别较大时，该法并不能获得良好收效。 此外，该法由于仅估计出清晰图像在频域中的模，另外需要利用相位恢复算法来 恢复清晰图像。由于两个步骤精度都比较低，最终恢复效果比较有限。 2 4 其他特殊的去模糊问题 2 4 1 非空间不变去模糊 当图像各处模糊轨迹不一样时图像的模糊就变为非空间不变模糊。对这类 问题，有若干种解决方法，当图像中模糊是分块空问不变时，较常见的做法是用 分割算法将图像分块后逐块解决【“圳捌。 图2 - 1 3 去除非空间不变模糊 左：原图。中t 分割后处理。右：最终结果。 另一类问题，如区域各点模糊均可估计出，如旋转抖动模糊1 2 0 1 ，则可在获得 各点运动轨迹后用迭代去卷积方法恢复。 淅江大学颈士学位论文第2 章相蕉研宄综述 匿2 - 1 4 击除旋转模糊模糊 左：原图。中：分离感兴趣区域计算每点轨迹。右：最终结果 i 镁二隆：】 囤2 - 1 5 模糊带嗓图相对去模糊 左：模糊图像。中：带噪图片。右：最终结果。 2 4 3 两张模糊图像对去模糊 在【1 5 】中，更进一步地提出了一种利用两张模糊圉像去模糊的算法。基本原 1 7 q口q 浙江大学硕士学位论文第2 章相关研宄综述 理是通过寻找两个最简单的模糊轨迹，使得用相同的清晰图片能生成这两张模糊 图片。 图2 - 1 6 两张图片去模糊 左，中：模糊图像。右：最终结果。 2 4 4 利用特殊硬件去模糊 为了解决图片模糊这一挑战性问题，研究者们设计了各式各样的硬件来降低 难度。在视频片断中，由于物体运动速度和方向可以通过视频帧差计算 2 4 仲 研究者利用摄像机结合相机制作了双系统来去模糊，【19 】研宄了通过控制视频各 帧曝光时间，用不同的曝光时间来提升去模糊效果。在 1 4 】中，研究者设计了特 定的光圈形状，以区别不同的物距造成的不同模糊。 图2 - 1 7 一些用于去模糊的硬件 左：带摄像头的相机。中：带快门控制装置的相机。右：修改光圈形状后的镜头 2 5 本文的框架 前面的小节回顾了去模糊问题中涉及的重要技术及算法。去模糊算法主要分 两个步骤：第一，估计模糊轨迹，即点传播函数。第二，利用模糊图像和点传播 浙江大学硕士学位论文第2 章相关研究综述 函数恢复清晰图像，即清晰图像还原。 纵观2 3 节中，估计清晰图像和模糊轨迹有两大类算法，一类是基于概率或 规范化模型，另一类是采用直接的边缘修正。这两类算法看似有明显差异。即使 在同一大类算法中，研究者的意见也存在分歧h 1 。 4 中曾质疑，认为 1 ，2 方法 的限制在于所采用的图像先验分布不能适应所有的自然图像，导致整体算法效果 有限。本文将在第3 章对此分歧进行讨论。在此之前，先展示本文算法的总体框 架。 对于输入的模糊图像b ，本算法利用非线性扩散方程【1 1 , 1 2 , 1 3 , 3 7 1 对其进行处理， 将处理结果利用震荡滤波方程【5 ，6 1 进行加强，构造清晰图像的参考图像，用于估计 模糊轨迹或点传播函数。对于获得的清晰图像参考图像和模糊图片，本算法用本 文提出的点传播函数估计算法进行点传播函数估计。最后，用去卷积算法进行图 像恢复。 利用金字塔算法【1 0 】对以上模块在尺度空间由小至大进行分层计算，可获得更 精细的结果。 图2 1 8 本文算法框架 本文的第一个主要贡献是在于第3 章，利用非线性扩散【3 7 】统一以往大多数算 法，说明以往基于概率【1 翻和规范化算法【4 ，2 3 】的本质，实质上是利用偏微分方程进 行纹理削弱和强边增强，建立了直接用边缘增强算法【7 ，8 】的联系。而原本对噪音敏 感的震荡滤波方程，正好可以巧妙的利用这个结果，对纹理削弱后的图像进行进 1 9 浙江大学硕士学位论文第2 章相关研究综述 一步边缘增强，提高总体算法效率。这一部分工作去除了以往理论中未解释清楚 的疑团，消除了研究者意见上的分歧【3 ，4 】，展示了以往绝大多数工作的作用机理是 一致的。本文的第3 章将介绍非线性扩散和震荡滤波这两个模块。 本文的第二部分主要贡献在第4 章，提出了三个基于速度和抗噪考虑的点传 播函数估计算法，最后还提出了一个鲁棒的图像恢复算法。本文的第4 章将介绍 求解点传播函数和清晰图像这两个模块。 第3 、4 章介绍的算法可视为算法框架中一次完整的迭代，可成功恢复许多 轻微模糊图像。但对于大幅度抖动的模糊图像，一次迭代的效果不够明显，于是 本框架采用了金字塔算法，在尺度空间中进行计算：将原图进行若干次缩小，由 小图像到大图像，对每幅缩小过的照片进行计算，估计点传播函数，并上传到上 层中，作为上层点传播函数的初始估计，并借此获得上层中清晰图像的初始估计。 尺度空间中的计算让该框架能够避免局部极小值，获得更精确的估计。抖动轨迹 有多个峰值的情况通过此法也得到很好的解决。 利用以上各种工具，使得本文算法可在几乎不用调节任何参数的情况下获得 高质量的运算结果，成功估计了清晰图像和点传播函数。 浙江大学硕士学位论文第3 章基于偏微分方程的清晰图像参照构建 第3 章基于偏微分方程的清晰图像参照构建 迄今为止，没有发现用非线性传导方程分析或改进以往去模糊算法的先例， 本文的第一个贡献，是用非线性传导方程统一理解以往的去模糊算法。本章节展 示两组偏微分方程。其中一组，非线性扩散方程，可视为一种统一大多数先前不 同研究的理论框架。通过分析非线性扩散方程保边或加强边缘的特性，极大地方 便了对去模糊算法的理解。另一组震荡滤波则用于增强扩散方程结果的质量，提 高整体算法速率。 3 1 非线性扩散方程 在 1 ，2 i 作中，研究者均使用了用自然图像的梯度分布作为贝叶斯模型框架 中的先验分布，不妨假设该分布能写成一简单的指数族形式，如 p 窖r ( v ( 三) ) = ce x p ( 一( v ( ) ) ) 。 与之等价，即公式( 2 9 ) ：0k p l b1 1 2 + ai iv ( l ) i i i + 如i ik 忆中，令 i | v ( l ) i | = ( v ( 三) ) 。 通过对三求偏导，得 t o e n e r g y = k + 圆( k 0 三一b ) + a v + ( 少( v ( 三) ) ) 】 公式( 3 1 ) 用梯度下降法求解算法2 1 中的公式( 2 1 0 ) 实际上等价于求解非线性扩散方程 【3 8 】： 心= 心+ 机k o ( k 三一b ) + a v ( 妙( v ) ) ) 公式( 3 2 ) 其中算子表示上下调换并且左右调换，沙叫做影响函数，是能量函数的 导数【3 7 1 。 迄今为止没有发现在类似模型中用更简单的如高斯分布来获得成果的实例。 本文的一个主要发现是：这一类算法的成功与否，主要取决于i i i i l 或矽( ) 的 定义。 渐江大学硕士学位论立第3 章基f 俯微丹方程的精晰圈像参照相建 图3 - 1 各种分布做1 0 9 变换之后的图片 g a u s s i a n ：是高斯分布，做l o g 变换后是二次曲线。l a p l a c i a n 是拉普拉斯分布， 做l o g 变换后是一次曲线剩余两条曲线均是稀疏分布，h y p e r - l a p l a c i a n 是阶数 为o 6 6 的稀疏分布。蓝色曲线是某自然场景的图像梯度分布。 现象：当以是一近似于拉普拉斯或超拉普拉斯分布的稀疏分布时，迭代算 法21 和与之近似的变分贝叶斯算法1 1 7 能获得成功。 在众多研究中都发现用稀疏先验f 垃3 j ”的效果显著地好于用简单的高斯 先验。 以上现象的解释可以通过解释非线性扩散方程来理解：当不考虑保真项 | | k o l b l l 2 仅仅考虑公式2 7 或2 9 的惩罚项时，函数影响函数描述了扩散 方程的随图像梯度大小不同的扩散速度。在一维情况的一些例子： 在最简单情形，当能量函数是2 次函数，( z ) = x 2 时，其对应的影响函数 ( 砷= 2 x ，即传导速率与梯度的大小呈线性关系，如图3 - 2 所示。对应的扩散方 程即是典型的先行扩散方程或热传导方程，它随时间的解即对应着计算机视觉中 的高斯模糊川。 ￥4l。口2 浙江大学硕士学位论文 第3 章基于偏微分方程的清晰图像参照构建 图3 - 2 二次能量函数和对应影响函数 左图：矽( 力= x 2 。右图：e ( x ) = 2 x 。 高斯模糊由于扩散速率随梯度大小是线性关系，在图像降噪的问题上，虽然 能够保证降噪效果却不能保持图像的边缘。于是以往的研究者做了诸多改进，用 了其他形式的能量函数： 当能量函数是洛伦兹函数时 3 7 1 ：矽( x ，盯) = l o g 1 + ( 吾) 2 】，对应的影响函数是 y ( x ，0 9 = 盘，如图3 3 所示： 图3 3 洛伦兹能量函数和对应影响函数 左图：痧( x ，盯) = l o g 1 + ( 吉) 2 】。右图：少( x ，盯) = 丢跨。 可见，对于洛伦兹函数，强边缘的影响明显相对于2 次函数降低。对应的扩 塑翌奎兰堡主堂垡堡奎翌! 童兰王堡丝坌查堡塑鎏堕堕堡叁竖塑堡 散方程即p c r o n a m a l i k 各向异性扩散方程f l l 】，曾用于实现保边降噪。 h u b e r 能量函数被用于逼近1 次能量函数【3 7 1 ，对应的分布接近拉普拉斯分布， 加= 加爿弱堆仃伸咖臀i g n 删( x ) , lx l 口c r ，女口卧4 航 图3 4h