（光学工程专业论文）二维运动模糊图像的恢复.pdf

摘要 随着空间遥感技术的飞速发展，对遥感图像质量的要求也不断提高。但获 取高空间分辨率的图像往往需要较长的曝光时间，尤其是在晨昏状态成像时， 如果在曝光过程中被摄物体与载荷平台上的传感器之间存在相对运动，那么获 得的图像就会因运动而模糊降质。本文要解决的问题就是找到一种软件处理方 法，使其能够恢复因运动而模糊降质的遥感图像，提高获取到的图像的质量。 论文首先介绍了运动模糊图像恢复的背景及意义，然后给出了图像恢复的 理论基础及图像退化的模型，特别分析了因匀速直线运动而模糊的特点，以及 基于这些特点形成的恢复方法。然后提出了“基于快速相机位移探测的p s f 估 计”，通过对运动模糊积分过程的分析，得到了一种新的运动模糊p s f 的计算 公式，即通过位移探测来求取运动路径，进而计算p s f 。获取p s f 之后，有多 种方法可以对图像进行恢复，列举了常见的四种方法。验证恢复效果的好坏需 要对图像进行评价，介绍了图像评价理论以及几种经典的图像评价算法。然后 用具体的实验验证了前文提出的p s f 计算方法，通过快速相机在主相机曝光的 过程中获得一系列清晰的较低分辨率的黑白图像序列，并根据这些图像序列计 算相对位移信息，最终得到模糊过程的p s f 。 该方法能够估计二维方向上任意运动形式的p s f ，突破了国内目前大多数 方法只能估计匀速直线运动模糊p s f 的限制。进行了从低频到高频( 2 0 0 h z ) 一系列相对运动条件下的实拍实验，利用主观的评价方法以及客观的评价函数 对恢复结果进行评价表明，此种方法能够有效的恢复出因运动而模糊降质的图 像中的细节信息，恢复图的质量有了明显的改善，l s 和g m g 两种函数的评价 值有了2 到3 倍的提高。 关键词：数字图像处理；运动模糊恢复；点扩散函数( p s f ) ；快速相机；图像 序列 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs p a c et e c h n i q u e ，t h ed e m a n dt ot h eq u a l i t yo f i m a g e sf r o ms p a c ec a m e r ai sh i g h e ra n dh i g h e r b u tt og e tah i g hr e s o l u t i o ni m a g e u s u a l l yn e e d sal o n ge x p o s u r et i m e ，i ft h eo b j e c tw ew a n tt ot a k ei sm o v i n ga tt h e e x p o s u r et i m e ，w ew i l lg e tam o t i o n - b l u r r e di m a g e t h et a r g e to ft h i ss t u d yi st of i n d ar e s o l u t i o nt od e b l u rt h eb l u r r e di m a g et og e tah i g h e rq u a l i t yi m a g e t h ea c a d e m i cf o u n d a t i o nn e e d e di si n t r o d u c e df i r s t t h ed e g r a d a t i o nm o d e lo f m o t i o n - b l u r r e di m a g es p e c i a l l yb l u r r e db yt h eu n i f o r ml i n e a rm o t i o ni sa n a l y z e d ， w i t ht h er e s t o r a t i o nm e t h o d sc o m m o n l yu s e d an e wm e t h o dt oc a l c u l a t et h ep s fo f m o t i o n b l u rf r o mm o t i o np a t hi sd e d u c e db yi n v e s t i g a t i n gt h ei n t e g r a lp r o c e s so ft h e i m a g es e n s o r , t h e nan e wm e t h o d t od e b l u rt h em o t i o n - b l u r r e di m a g ew a sg i v e n a f t e rt h a t ，w ei n t r o d u c e dt h et h e o r yo fi m a g eq u a l i t ye v a l u a t i o n ，s o m ec l a s s i c a l i m a g ee v a l u a t i o na l g o r i t h m sw e r ei n t r o d u c e d b yc o m p a r i s o n ，t h es p h e r eo f a p p l i c a t i o no fe v e r ya l g o r i t h mw a sf i g u r e do u t t h ee x p e r i m e n t sw e r ec a r r i e do u tt o p r o v et h em e t h o do fp s f c a l c u l a t i o n as e q u e n c eo fl o wr e s o l u t i o ng r a yi m a g e sw e r e c a p t u r e db yt h eh i g hs p e e dc a m e r ad u r i n gt h ee x p o s u r et i m eo fp r i m a r yc a m e r a , t h e n t h ed i s p l a c e m e n tb e t w e e nt w oi m a g ec a nb ew o r k e do u t ，t h ep s fo fm o t i o nb l u rw a s g o t a t l a s t t h i sm e t h o dc a ne s t i m a t ea r b i t r a r yf o r mp s fi nt w od i m e n s i o n s i tb r e a k s t h r o u g ht h el i m i tt h a tm o s tn a t i o n a lm e t h o d sc a no n l yc a l c u l a t ep s fo fu n i f o r m l i n e a rm o t i o n l o t so fe x p e r i m e n t sw e r ec a r r i e do u t ，t h er a n g eo fv i b r a t i o n a l f r e q u e n c yi sf r o ml o wf r e q u e n c yt oh i g hf r e q u e n c y ( 2 0 0 h z ) f r o mt h er e s u l to f i m a g ee v a l u a t i o na l g o r i t h m ，w ek n o wt h a to u rw a yw a su s e f u l t h eq u a l i t yo fd e b l u r i m a g ew a si m p r o v e da l o t k e y w o r d ：d i g i t a li m a g ep r o c e s s i n g ；m o t i o n b l u r r e di m a g er e s t o r a t i o n ；p o i n ts p r e a d f u n c t i o n ；h i g hf r a m ef r e q u e n c yc c d ；v i d e of r e q u e n c y v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得逝垒太鲎或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：肖印毕 签字目期： 汐口年弓月占日 学位论文版权使用授权书 本学位论文作者完全了解逝婆表堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝塾盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 府哮耀 导9 币签名： 签字日期：沙加年另月彦日 签字日期：炒，。1 年 ；月分日 致谢 光阴荏苒，当完成论文初稿的那一刻，我意识到，自己的学生生涯已经渐 进尾声。愈是最后，愈是贪恋学生时光的美好：可以每天沉浸在实验室写代码， 可以在中午和同学结伴而行去怡膳堂，可以认真准备下周开会要用的p p t ，可 以晚饭后休息下去缘网下电影，也可以在十一舍和室友大侃工作、爱情、理想 而浙大，带给我的又何止这些! 美丽而宁静的校园，远离闹市的喧嚣，让 我能在社会如此物质化的今天享受一份随性的心境。周末清晨，沿玉古路，走 进茂密的竹林，五分钟的步行便可享受到让人窒息的美；风荷公园是我去的最 多的地方吧? 弯弯曲曲的小径，总能带给我无尽的新意和惊喜，把自己丢在这 个小巧而精致的迷宫中，走几步便会惊叹这弥漫着的美；从睛虹桥，转苏堤， 或取道南山路，或取道北山路，而苏堤本身，却让我有些遗憾，未能在最美的 苏堤春晓时，尽情的品位它的美，而翌年三月，我将带着这份遗憾离开杭州， 北上追寻我的梦想。 另4 离总是让人无限的惆怅，纵然有着对未来美好生活的向往，我仍旧无限 的不舍如此美好的浙大、如此美丽的杭州、如此美妙的大学时光! 从此刻起， 就将在心中默默的倒计时，希望能在离开之前，尽可能多的享受这份让我无限 留恋的美。 然而，除了不舍与惆怅，更多的是无限的感恩! 要感谢的太多太多，我总 是不时的觉得自己一定就是这个世界上最幸福的人，因为有你们的爱。感谢冯 华君老师，冯老师渊博的知识，高尚的人品，慈父般对我们学生无微不至的关 怀，让我们倍感亲切；徐老师胸怀天下，总能在我们迷茫于科研时，为我们拨 开云雾，意识到手上工作背后的重大意义，进而获得了无尽的动力；李老师， 边老师，戴老师在我的学习中，都不遗余力的给予帮助；我是何其幸运，能在 这么好的几位老师教导下学习，以至愈是临近毕业，愈是觉得自己为实验室做 的太少，总是想着要再多留下一些什么：一份报告? 一份p p t ? 还是几行程序 代码? 同时，实验室的同学：妖哥、蛤蟆、惠惠、刘涛、华仔、小陶师姐、z z z 、 铁博，在我学习遇到困惑时，都不厌其烦的帮助我；g p 、q q 、大宝、d c y 、d v d 、 丁杰、家谷、希曦师弟、庞红霞、坏坏、小陶师妹，都帮我共同完成手上的科 研课题。没有你们的帮助与支持，无法想象我的科研将如何开展。同时，实验 室丰富多彩的活动，更是让我体会到无尽的温情，总是感觉我们实验室就是在 冯老师、徐老师领导下的一个上进而温馨的大家庭。 同时，来自家人的关怀是我拥有并享受着的一笔莫大的财富，在我读书期 间，我的父亲、母亲、爷爷，奶奶都无时无刻不在期盼着我的进步，也包容着 我的迷茫与挫折。家，永远是我最温暖的港湾，从这里起航走向世界；奋进中 疲惫时，这里是我永远的避风港。 还有，我的朋友刘春伽、魏中华、李晓禹以及现在的室友都在我读研期间 在生活上给我无尽的帮助，你们是我一辈子的好朋友，感谢你们! 最后，不能不提起我的女朋友：王晓明，她冰雪聪明、善解人意，在读研 期间完成科研任务的同时，能享受着这份爱情，使我的研究生生活无比快乐与 幸福，谢谢你! 还有还有，那些所有帮助过我，关心过我的路人甲乙丙丁，感谢你们! 是 你们所有人让我更爱这个世界，更懂得感恩。今后的人生路上，我会带着大家 的期冀前行，纵然艰难险阻，我不会退缩，因为，我有你们，有爱我的你们! 本课题完成过程中，得到了9 7 3 项目( 项目编号：2 0 0 9 c b 7 2 4 0 0 6 ) 、8 6 3 项目( 项目编号：2 0 0 7 a a l 2 2 1 5 0 ) 、浙江大学光学仪器国家重点实验室资助项 目的支持。 12 2 7 2 0 0 9 飘雪，于求是园 1 绪论 1 绪论 1 1 研究背景及意义 数字图像处理起源于六十年代，基本方法是通过计算机对图像进行加工处 理，以得到某些预期的效果，或从图像中识别、提取出有用的信息。早期的图 像处理出现于航空应用中，目前已发展形成了一套完整的理论体系，成为现代 科学之一。这门科学在我们的生活和工作中已经广泛应用，涉及到多个学科， 如光学、电子学、数学、信息学、计算机技术等，并且不断地应用到其它领域 中，成为近年来研究的热门课题。 从十九世纪五十年代末六十年代初开始，美国和前苏联就致力于太空项目 的研究，希望获得太阳系和地球的一些照片，全方位的了解我们生活的这个空 间。但由于种种不利因素，例如航天器的高速运动、载荷平台的复杂振动、较 慢的快门速度等，导致曝光过程中成像器件与被摄物体之间存在相对运动；同 时，加上噪声以及数据传输过程中的信息丢失等，都导致了获取的图像严重退 化。因此，人们想尽各种办法来提高获取图像的质量，比如硬件的不断更新等。 比起高成本的硬件更新，也有很多人提出的各种各样低成本的软件算法，用来 事后恢复已经退化的图像。数字图像处理就是从中发展起来的，并且出现了后 来数字图像处理的一个重要分支：图像恢复。 图像恢复研究图像退化的机理，并依据获得到的退化过程的先验知识，据 此找出一种相应的反演算法，从而恢复出原来的清晰图像。恢复效果的好坏表 现为恢复图像的质量评价，不仅根据人的主观感觉来判断，也要根据某种客观 的衡量标准，即各种客观评价函数。只要系统参数是可测或是可估计的，那么 用数字计算机进行逆滤波或反卷积就可以恢复清晰图像。这是一项理论上比较 严密的项目，并已成功地应用在飞机和卫星等平台的成像系统校正工作中。 根据造成图像退化的因素的不同，图像恢复也出现了很多的分支，运动模 糊图像的恢复就是其中的一种。在拍摄期间，如果相机与被摄物体之间存在相 对运动，得到的照片就会变得模糊，称之为运动模糊。运动模糊是成像过程中 普遍存在的问题，在飞机或航天器上拍下来的照片以及用照相机拍摄高速运动 的物体，都会存在运动模糊的现像。运动模糊图像的恢复是图像恢复中的重要 浙江大学硕士学位论文 课题之一，可广泛用于天文、军事、道路交通、医学图像、工业控制及侦破领 域，具有重要的现实意义。 如果要从根本上解决运动模糊的问题，就必须消除曝光过程中传感器与被 摄物体之间的相对运动，因此发展出了机械补偿与光学补偿等方法。机械补偿 法是利用机械结构及其组件在曝光时移动传感器，使剩余像移量尽可能小，从 而达到抑制运动模糊的目的【l 】。它要求传感器的运动矢量与光学像的运动矢量 大小一致、方向相同，系统的制作精度要求非常高，运行必须稳定可靠。机械 补偿法的优点是感光面上各点的补偿速度一致且没有附加的光学系统，但它对 结构的运行及制作精度要求高，而且需大功率传动装置，这些不利条件限制了 这秸方法在航空相机上的应用。光学式像移补偿法【2 】思想是旋转或移动光路元 件以改变光线方向，使之与相机焦面上像移速度一致，从而达到抑制运动模糊 的目的，目前常用旋转物镜前方的回转反射镜补偿前向像移。光学式像移补偿 法的反射镜体积小、重量轻，而且容易控制，除补偿前向像移外还能补偿俯仰 和偏航引起的像移，主要用在长焦距全景式相机上。 通过机械或光学的补偿后，一般情况下可以获得较好质量的图像，但是对 于一些频率过高，或者幅度过大的振动仍然会存在较大的残差，得到的图像不 够理想，再加上系统成本的考虑，硬件补偿的方法不是解决问题的最佳方式。 因此，软件恢复的方法就显得十分重要了，即通过软件的方式来事后恢复被模 糊的图像。理论分析可知，模糊图像是由清晰图像与造成模糊的点扩散函数p s f 卷积而得，根据这个原理，由退化后的图像进行图像恢复来完成像移补偿【3 】。 由于这种方法具有成本低、算法相对比较成熟、应用灵活等特点已经成了比较 热门的研究课题。 本课题主要研究从软件方面对因运动而模糊降质的图像进行恢复，提出了 恢复方法，进行了仿真实验，搭建了实验硬件系统，并进行了大量的实拍试验。 1 2 国内外发展现状 图像在获取、传输、存储和显示过程中不可避免地存在着不同程度的质量 退化，而人们总是在不断追求更高质量的图像，因此图像恢复就显得十分重要 了，这也是图像处理领域中非常重要的内容。对于退化后的图像，其恢复方法 大致分为两种【4 】：一种方法适用于对图像缺乏先验知识时，首先对退化过程( 模 1 绪论 糊和噪声) 建立模型，进而寻找一种去除或削弱其影响的方法。由于这种方法试 图估算图像在模糊之前的情况，且这种模糊是一些特性相对已知的退化过程， 所以这是一种估计方法。另一种情况是对原始图像有足够的先验知识，依此对 原始图像建立一个数学模型，并据此对退化图像进行拟合，这样会获得更好的 恢复效果。 通常我们获得的图像都是退化后的图像，而对原始图像并没有太多的先验 知识，因此图像恢复的研究主要集中在前一种情况上。即通过对模糊过程建立 模型，然后再通过反演得到清晰的图像。 最早广泛用于数字图像恢复的方法是六十年代中期发展起来的逆滤波法， 也就是去卷积法。当时漫游者，探索者等深空探测器发回来很多图片，这些图 片基本都因为各种原因而退化降质了，n a t h a n 用二维去卷积的方法对这些图片 进行处理，获得了一定的效果。同时，h a r r i s 采用p s f ( p o i n ts p r e a df u n c t i o n ) 的 解析模型，对望远镜图像中因大气扰动所造成的模糊进行了去卷积处理【5 1 ，此 后，去卷积就成的图像恢复中的重要技术。 以上这些方法对噪声非常敏感，当噪声较大时恢复结果往往很差，而且对 于一些频谱存在零点的模糊过程，恢复结果更加不可用，因此h e l s t r o m 提出了 具有更好抗噪能力的维纳滤波法1 6 1 ，采用最小均方误差估计方法，并利用临近 像素高相关度的特性，在有噪声存在的情况下也获得了较好的恢复效果。s l e p i a n 将维纳滤波推广用来处理随机p s f 的情况1 7 。由于维纳滤波只是在最小均方意 义下的最优方法，因此对于某个具体图像，它未必能获得最好的恢复效果。而 且维纳滤波法需要较多的图像先验知识，如需要假设退化图像满足广义平稳过 程，还需要知道非退化图像的相关函数或功率谱特性等。在实际应用中，要获 得这些先验知识比较困难，为此c a n o n 提出了功率谱均衡滤波器【8 1 ，它和维纳 滤波器类似，但是在某些情况下，它的恢复性能优于维纳滤波器【9 ，1 0 】。 1 9 7 3 年，h u n tb r 采用p h i l i p s 的规整化方法，利用循环矩阵模型，提出了 约束最小二乘法【l n 。和维纳滤波一样，约束最小二乘法获得的恢复图像棱廓或 细节附近，会出现寄生波纹，即振铃效应。当模糊点扩散函数的尺度较大时， 振铃效应更加严重。解决的措施有：加h a m m i n g 窗使边界处灰度值逐步递减， 或将图像按反射对称方式进行延拓( a g h d a s ie 等于1 9 9 6 年提出的循环边界 浙江人学硕士学位论文 法) 【1 2 】。 19 7 5 年，j h h o l l a n d 教授在“a d a p t a t i o ni nn a t u r a la n da r t i f i c i a ls y s t e m s ” 中，提出了著名的遗传算法。该算法是一种在全局搜索优化的进化过程中，逐 渐从简单的低等生物发展到高等动物的自然选择方法。模拟自然界中基因重组 与进化过程，把待解问题的参数编成码，称为“基因”，多个基因组成一个“染 色体”，许多染色体经过复制、交叉、变异，又得到优化的染色体，淘汰适应值 差的染色体，经过世代遗传，得到满足一定适应条件的最优化结果【1 3 】。该算法 主要用于二值图像的恢复，如果用于灰度图像，由于灰度图像其数据量大，则 其染色体增长，交叉变异的时间过长，遗传进化的代价过大，从而使算法的实 用性降低。此外，在搜索过程中发现，遗传算法具有很强的全局搜索能力，但 局部搜索能力较差，得到的结果往往是次最优解。yt z h o u 等人在1 9 8 8 年首 次将神经网络技术应用于图像恢复的研究【1 4 1 ，但其计算量大，精度难以保证， 易陷入局部收敛点。针对这些缺点，p a i k 等提出了全并行的改进h o p f i e l d 模型 u s ，使网络的规模和图像恢复的时间得到很大的改善。但是，不能保证网络能 精确收敛到全局最小。 以上这些方法都需要先计算出模糊点扩散函数，对于点扩散函数未知的情 况，则通常用盲恢复算法。邹谋炎在1 9 8 6 年提出空间域迭代盲目反卷积算法【m 】， 将图像恢复问题等价为二变量( 图像x 和点扩散函数h ) 多项式盲目分解，迭代过 程中对所求的x 、h 加以正性限制和支持域限制。1 9 8 8 年，a y e r sg a 和d a i n t y j c 提出利用傅里叶变换的迭代盲目反卷积算法，1 9 9 0 年，d a v e yb l k 和s e l d i n j h 等人进行了改进【1 7 】，将频域估计用w i e n e r 滤波来实现，1 9 9 5 ，邹谋炎又将 w i e n e r 滤波替换成增量w i e n e r 滤波【讳】，利用傅里叶变换的迭代盲目反卷积算 法，只需很小的计算量。 在实际情况中有很多模糊系统并不是线性系统，把非线性系统简化为线性 系统，虽然使计算变得简单，但很多时候得到的恢复结果并不理想，因此产生 了很多非线性复原法，最具代表性的就是e m 算法。e m 算法最初是由几个不 同的研究者提出的，后来d e m p s t e r 把他们的工作进行了总结，把相应的算法命 名为e m 算法，并且证明了它的收敛性【1 9 1 。e m 算法不一定收敛到全局最优， 但是却能稳定的收敛到局部最优，它的最大缺点就是计算量大。1 9 7 4 年b e s a g 4 1 绪论 把马尔可夫场( m r f ) 引入到图像恢复领域中，m r f 本质上是一个条件概率模 型，结合贝叶斯准则，把恢复问题归结为求解模型的最大后验概率估计，进而 转化为求解最小能量函数的优化组合问题。z h o u 把h n n ( h o p f i e l dn e u r a l n e t w o r k ) 应用到模糊图像恢复中，提出一种z c v j 算法，该算法可以保证h n n 收敛的稳定性【2 0 】。但是这种方法的收敛时间比较长。后来p a i k 和k a t s a g g e l o s 提出了改进的m h n n ( m o d i f i e dh o p f i e l d n e u r a ln e t w o r k ) 进行灰度图像恢复【2 1 1 。 2 0 0 0 年，g a l a t s a n o s ，m e s a r o v i c ，k a t s a g g e l o s 等人在已知部分模糊图像信息的 情况下，提出用条件贝叶斯的e a ( e v i d e n c ea n a l y s i s ) 算法进行模糊图像的盲恢 复【勿，本质也是一种迭代算法，计算量也是非常大。 以上这些通用的图像恢复算法，基本上都可以用于运动模糊图像恢复。但 运动模糊图像恢复又有其自身的特点，因为“运动模糊”本身就是一个重要的 先验信息，可以从运动模糊图像出发，直接鉴别模糊点扩散函数参数( 运动模糊 方向和模糊点扩散函数尺度) ，这些参数可以确定模糊点扩散函数支持域。匀速 直线运动的点扩散函数是矩形函数，在频率域上有周期性的零值条纹，且条纹 方向与运动方向垂直。1 9 7 6 年，m c a n n o n 利用这一特点，从模糊图像中估计出 运动方向和点扩散函数【2 3 1 。但该方法要求模糊图像有较高的信噪比，且仅适用 于匀速直线运动，对于加速运动、振动等的模糊点扩散函数无法估计，而且也 没有给出自动鉴别的方法。这是在频率域进行模糊点扩散函数的估计，但也可 以从空域直接通过差分，相关等计算来找到模糊点扩散函数【2 4 ，2 5 1 。 这些方法基本上都是用来计算平动，也就是模糊点扩散函数不随位置改变 而变化的情况，对于模糊点扩散函数随位置而变化的时候，如旋转运动模糊， 情况要复杂得多。这时一种直接有效的恢复方法是坐标变换恢复，通过对退化 图像进行几何变换，使得到的模糊函数具有空间不变性。然后采用普通的空间 不变恢复方法对其进行恢复，然后再用和先前几何变换相反的逆变换将模糊恢 复后的图像变换为原始坐标下的清晰图像。对于这些随空间变化的退化图像， 在所需的几何变换已知的情况下，恢复效果是很好的【2 6 1 。 以上介绍的这些恢复方法几乎都是只对一些简单的运动形式( 如匀速直线 运动) 才有很好的效果，针对这种情况，本文通过理论推导提出了一种新的计 算运动模糊点扩散函数的方法，可以对二维方向上任意形式的运动造成的图像 浙江大学硕士学位论文 退化进行恢复，经过仿真实验和实拍实验验证，取得了比较好的效果。 1 3 论文章节安排 第一章指出了本课题的研究背景、研究意义；并简单介绍了国内外在运动 模糊恢复领域的研究成果及发展现状。 第二章介绍对运动模糊图像进行恢复所必须的理论基础，包括：傅立叶变 换、图像退化模型、点扩散函数等。着重介绍了运动模糊的退化模型以及匀速 直线运动的点扩散函数。 第三章从理论上推导出一种p s f 估算方法，可以对二维方向上任意运动形 式产生的运动模糊图像进行恢复，突破了国内目前只能对简单运动形式产生的 模糊图像进行恢复的瓶颈。并且通过仿真实验验证了该方法的有效性。 第四章是第三章的延续，在获取到图像退化的p s f 之后，主要有四种方法 可以对图像进行恢复，通过仿真实验，对比分析四种方法；同时，在获取恢复 图后，验证恢复方法有效性的标准来自图像质量评价，介绍了主客观的评价方 法。 第五章是利用第三章及第四章的理论基础，搭建硬件的实验系统，进行试 验，验证方法的有效性。介绍了硬件设计方案，以及创新的同步电路设计，同 时分低频和高频两部分进行试验，给出实验数据及结果。 第六章对全文工作进行总结，并指出下一步的工作内容。 本课题中具有两个创新点，第一，本文提出的恢复方法具有广泛的适用性， 可以对二维方向上任意形式运动造成的图像模糊退化进行恢复，突破了国内目 前只能对特定运动造成的图像模糊进行恢复的局限性；第二，采用了创新的硬 件同步设计，解决了软件同步可能产生的延迟问题，准确实现了快速相机和主 相机的同步。 2 运动模糊恢复理论基础 2 运动模糊恢复理论基础 运动模糊恢复是图像恢复的一种，不仅具有图像恢复的共性，又具有一些 独特的性质，本章将简单介绍对运动模糊图像进行恢复所需要的一些基础理论 知识。 2 1 傅立叶变换 对运动模糊图像进行恢复，通常有两种方法，一种是空间域处理法，另一 种是频域分析法。在空间域，把图像表示为各个位置的灰度值，简单明了。但 很多时候在空域很复杂的问题，变换到频率域后却变得十分简单。同时频率域 处理还可以获得更高的运算速度，利用已经比较成熟的二维数字滤波技术进行 各种处理，往往能获得比空域更好的效果，因此频率域图像处理获得了较大的 发展。 要对图像进行频率域处理，首先要把图像从空域变换到频域，通常用来把 图像从空域变换到频率域的方法是傅立叶变换。本节将讨论连续和离散傅立叶 变换，由一维扩展到二维，并介绍傅立叶变换的一些常用的性质。 2 1 1 连续傅立叶变换 我们把下面的这个变换对定义为一维傅立叶变换对： f ( “) = ，厂 ) e - j 2 x = d x ( 2 1 ) 厂( x ) = j f ) e j 2 x “d u( 2 2 ) 式中的为数学中的虚数，即，= 二1 。f ) 包含了正弦和余弦项的无限项的和， u 称为频率变量，其每一个值确定了所对应的正弦余弦对的频率。由欧拉公式： e j 2 嬲= c o s 2 万溉+ s i i l 2 万缎( 2 - 3 ) 傅里叶变换系数可写成如下式的复数和极坐标形式： f ) = 尺( “) + ( “) = l ， ) l g 朋”( 2 4 ) 式中的幅值函数i f ) i 即为傅立叶频谱： 7 浙江大学硕一l 学位论文 相位角为： 能量谱为： f ( “) i = 压丽而 她胁。嘲 e ( u ) = i f ( u ) i 2 = r 2 似) + ，2 似) 把傅立叶变换对扩展到二维： 二维傅立叶频谱为： 相位角为： 能量谱为： ( 2 5 ) ( 2 6 ) ( 2 7 ) f ( 州) = ，厂( x ，y ) p 叩z 蝌们螂 ( 2 8 ) 厂( x ，y ) = ，i f ( u , v ) e j 2 a ( u x + 。y ) d u d v( 2 9 ) l f ( u , v ) i = 压瓦再i 历 她一l 粉 ( 2 1 0 ) ( 2 1 1 ) e ( u ，v ) = i f ( u ，d 1 2 = r 2 ( “，1 ，) + ，2 ( “，1 ，) ( 2 - 1 2 ) 2 1 2 离散傅立叶变换 假设( x ，j ，) 表示一幅连续的图像，为把它变换成离散图像，需要对它在空 间上进行采样。根据奈圭斯特定律，为了保证采样后的图像可以不失真的恢复， 采样间隔缸，缈必须满足： 石1 = 玑2 虬 ( 2 1 3 ) 石1 = k 2 圪 ( 2 1 4 ) 其中的虬，屹为f ( x ，j ，) 的傅立叶频谱f ( u ，v ) 的最高截止频率。此时用采样信号 f ( m a x ，n a y ) m ，刀= 咖，一1 ，0 ，l ，0 0 能唯一地恢复信号f ( x ，少) ，且有： 2 运动模糊恢复理论基础 如果另： 则 f ( u ，v ) - - 缸a y f ( m a x ，n a y ) e 。2 “蜊缸+ ”缈 肛一“悱勃匆 e ( 甜，v ) = f ( m a x ，n a y ) e 。2 州缸+ 期缈 ( 2 1 6 ) 盹v ) = a x a y s ( ) ( 悱五1 ，悱面1 ) ( 2 - 1 7 ) 称5 ( u ，) 为离散采样信号f ( m 6 x ，n a y ) 的频谱。上式表明连续二维信号f ( x ，y ) 的频谱f ( u ，) 完全可以由采样信号f ( m a x ，n a y ) 的频谱互( “，v ) 来表达( 当满足 条件瓦1 ，i v i 面1 时) 。 可以看出式( 2 1 6 ) 是周期函数曩( z f ，v ) ( 以去，石1 为周期) 的傅立叶级数 展开式，于是 i 1 f ( , n a x ，刀缈) = 匪臣互( 州) e j 2 a r ( u m a x + v n a y ) d u d v ( 2 18 ) 它和式( 2 1 6 ) 组成一对变换对。 为了便于计算机处理，其频域连续函数巧( “，v ) 也需要进行离散化。 设f ( x ，j ，) 为有界函数，因此其采样函数f ( m a x ，门少) 也是有界函数，即二 维离散信号为f ( m a x ，n a y ) m = o ，l ，m - 1r = o ，1 ，n 一1 。 于是根据式( 2 1 6 ) 其频谱为 彳一l n - i 鼻 ，v ) = f ( m , 6 x ，n a y ) e 吖2 州”血+ ”缈 ( 2 1 9 ) 如果对频率变化区间进行等间隔采样，并取采样间隔频率为 舭鲁= 去加= 等= 志 2 9 浙江人学硕士学位论文 即在2 g 和2 圪范围内共采m 和点，并有 心= 惫甜= 面k ，后= o ，1 ，一，m 一1 m = z 舢= 志， ，一- 用，u 代替z f ， 血“= 万1 ，v 每= 万1 可将式( 2 - 1 9 ) 和式( 2 1 8 ) 改写成 ( 2 2 1 ) ( 2 2 2 ) ( 2 2 3 ) k a u , a v m - in - 1 p 印，r ( 筹+ i n l (2-24f,(kau i a v ) = ze f ( m 血, n a y ) 2 - 2 4 ) p - j “h m + () 砌锄驴高_ _ 刍m 荟- i 善n - i 互( k a u , l a v ) e 伽( 黔( 2 - 2 5 ) 如果把f , ( k a u ，l a v ) 和f ( m a x ，n a y ) 分别简写成f ( k ，) 和f ( m ，r 1 ) ，则 ，) ：m - in - i f ( k 2e ：( m ，胛) p 卅石( 筹) ，) =，胛) p 叫“h m + 肋，刀) = 面1m 毛- i 击n - 1 删广黔 ( 2 2 6 ) ( 2 2 7 ) 我们称f ( k ，) 为f ( m ，刀) 的二维离散傅立叶变换，称f ( m ，刀) 为f ( k ，) 的反变 换，它们互成傅里叶交换对。 常数比例因子吉也可以放在正变换公式中，为了统一表示符号，定义正反离 散二维傅立叶变换公式如下： f ( “= 亩m 萎- i 萎n - i 厂( 墨j ，弦2 州嚣+ 詈) “= 0 ，1 ，m 一1 y = 0 1 ，一1( 2 - 2 8 ) 厂( x ，y ) ：m - i n - 1f ( ”，1 ，) p 伽( 若+ 号) x ：o ，1 ，m 一1y ：o ，l ，一l ( 2 2 9 ) 式中x ，j ，为空间域采样值，甜，1 ，表示频率域采样值，空间域采样增量和频率域采 样增量之间有如下关系 2 运动模糊恢复理论基础 虮上m a x ，肿= 击n a y ( 2 3 0 ) 而空间采样频率玑和k 与耐奎斯特截止频率虬，圪及空间采样周期之i - j 有如 下关系 u s - 石1 = 2 虬，圪= 石1 = 2 v c ( 2 - 3 1 ) 和连续二维傅立叶变换一样，称f ( u ，) 为离散信号f ( x ，y ) 的频谱。通常它是复 变量，可表示为 f ( u ，v ) = l f ( 甜，v ) l e 州” ( 2 - 3 2 ) 或者 f ( u ，v ) = e ( u ，) + j i ( 甜，v ) ( 2 3 3 ) 式中的r ( u ，v ) ，i ( u ，) 分别为v ( u ，v ) 的实部和虚部。它的模 胁，v ) l = r ( ) 2 + ( ) 2 ( 2 - 3 4 ) 和相角 m v ) = 蜘筹 ( 2 - 3 5 ) 分别称为f ( x ，y ) 的振幅谱和相位谱。因为在工程上振幅谱应用较多，习惯上常 把振幅谱直接简称为频谱。在本文中讨论的离散傅立叶变换都是指由式( 2 2 8 ) 和( 2 2 9 ) 确定的变换对，通常用缩写d f t 来表示。 傅立叶变换具有一些独特的性质，而且一维- 9 二维之间，连续- 9 离散之间， 这些性质都具有一一对应的特点。线性，平移性，旋转性，分离性，卷积性， 周期性都是在图像处理中经常用到的。尤其是周期性，傅立叶变换把图像做了 一个周期延拓，通过傅立叶变换后的图像外围灰度值已经不再是零了，而是边 缘像素的镜像。在进行傅立叶变换之前，通常先要把图像进行扩充，用零填充 外围像素，使图像宽度不小于原本两幅图像的宽度和。通过傅立叶计算公式可 以看出，f ( 0 ，o ) 其实就是图像的平均值，就是频域上零频的分量。由于傅立叶 变换的周期性，一幅图像的傅立叶频谱是高频在中间，低频在四角，为了方便 浙江大学硕上学位论文 观察，一般要先做个平移。 2 2 图像退化模型 在图像的获取过程中，有很多因素会造成图像质量的退化，即存在很多的 退化源。如曝光的不均匀、成像器件的非线性响应、镜头的衍射效应、大气扰 动以及由于运动造成的模糊等。要恢复已经退化的图像，就需要知道这种退化 过程，然后通过反演的方法恢复图像。因此，首先要建立起模糊过程的有效数 学模型。 通常的图像退化模型有四种： 一般像素点的非线性退化。在拍摄过程中，由于感光性的非线性，会引起 非线性退化。 空间退化模型。在成像系统中，光经过有限入射孔时会发生衍射效应，造 成图像质量下降。 运动退化模型。由于成像器件和被摄物体之间的相对运动造成图像质量的 下降。这种运动可以是平动，也可以是旋转运动。 噪声退化模型。成像器件的热噪声、数字化及传输过程中产生的噪声，都 会引起图像的退化。 通常，除了噪声是随机的，其他三种都是确定的。第一种情况只是移不变 的，并不满足线性条件。其他三种都是线性移不变的，对于运动模糊中的旋转， 可以看成局部移不变。由于图像恢复中存在的病态性，我们不可能完全恢复图 像，但通过建立起有效的模型，仍然可以得到一定条件下的最优解【2 7 1 。 2 2 1 连续退化模型 如果把退化过程看成一个线性系统，则可以把退化过程表示为图2 1 ： f ( x ，y ) 日o 日g t x ，y ， n ( x ，y ) 图2 1 退化线性系统模型 2 运动模糊恢复理论摹础 假设输入为f ( x ，y ) ，输出为g ( x ，y ) ，系统对输入的响应为日，再加上随机 噪声，则可以得到表达式 g ( x ，y ) = h f ( x ，y ) + n ( x ，y ) ( 2 3 6 ) 为使问题简化，假设退化过程为线性移不变的过程，即对各个点的响应是 相同的，不随位置改变；并且由于线性，可以把响应当成是各个点的响应的线 性叠加。为了通过叠加计算最后的结果，通过狄拉克函数来分解输入( x ，y ) ： 厂( x ，y ) = ，( 善，刁) 万( x 一善，y - r 1 ) d 孝d r l ( 2 - 3 7 ) 相当于把输入f ( x ，y ) 分解成很多的冲击函数的和，每个冲击函数的权重就是 f ( x ，y ) 在该点处的灰度值。如果把系统对输入的响应分解到每个冲击函数，然 后再把各点的响应叠加，就得到了整个输入。于是由式( 2 3 6 ) 可得， g ( x ，y ) = hll 厂( 善，7 7 ) 万( x 一善，y - r 1 ) d 孝d r l + n ( x ，y ) “ ( 2 3 8 ) = jj 厂( 孝，q ) h f ( x f ，y r 1 ) d 4 d r l + n ( x ，y ) 记 h ( x ，善，y ，刁) = h 6 ( x 一孝，y r 1 ) ( 2 3 9 ) 表示系统日对脉冲函数的响应，称为该系统的点扩散函数，缩写为p s f 。因此 g ( x ，y ) = j - ，厂( 孝，r d h ( x , 孝，y ，r 1 ) d ( d r l + 玎( x ，y ) ( 2 4 0 ) 在不考虑噪声的情况下，系统的输出由输入和点扩散函数唯一确定。所以， 一个系统可以由它的点扩散函数来描述。 根据移不变性 h ( x - 孝，y - r 1 ) = h 6 ( x 一孝，y r 1 ) 可以得到系统h 输出的计算公式 g ( x ，y ) = ，厂( 孝，刁) 乃( x f ，y 一刁) d 孝d 叩+ 玎( x ，y ) ( 2 4 1 ) = 厂( x ，y ) 木向( x ，y ) + 刀( x ，少) 浙江大学硕士学位论文 可见，系统的输出就是输入和系统点扩散函数的卷积和，再加上随机噪声 的结果。这是连续的情况，但是可以推广到离散的图像处理，下面考虑离散情 况下的退化模型。 2 2 2 离散退化模型 由于计算机处理的图像都是离散化的，所以有必要单独讨论离散化的退化 模型。 假设f ( x ) 为具有a 个采样值的离散函数，h ( x ) 为具有b 个采样值的系统脉 冲响应，g ( x ) 为系统输出的离散函数。对于离散的情况，如果系统是线性移不 变的，则输出同样是输入和系统脉冲响应的卷积和。通过傅立叶变换后在频域 中进行处理，根据上小节的理论，相当于在空域做周期延拓变成了循环卷积， 为了消除卷积结果与实际值之间的误差，现对厂( x ) 和h ( x ) 进行扩充，使二者长 度均变为m = a + b 1 。然后再进行周期延拓，于是 胁，= 是茎岔。 i 而( x 10 x b 一1 魂( x ) 2 o 一么x m 一1 由于周期性，所以 乒翳够+ 七- 0 ，+ 1 ，+ 2 3 【吃( x ) = 吃( x + k m ) 7 则有 g ( x ) = ( x ) = f 。( m ) h f i x 所) x = 0 ，1 ，m - 1 ( 2 4 2 ) 由于在计算机处理中，图像通常都是用矩阵来表示的，因此式( 2 4 2 ) 可 以表示成 g = h f g = ( o ) 反( 1 ) ( m 1 ) f = 其中的g ，f 均为列向量，h 为m m 的矩阵： 1 4 z ( 0 ) z ( 1 ) z ( m 一1 ) ( 2 4 3 ) 2 运动模糊恢复理论基础 h = h a o )