（信息与通信工程专业论文）图像序列超分辨率处理性能评估.pdf

国防科学技术人学研究生院学位论文撼要图像序列超分辨率处理就是利用图像序列中帧与帧之间存在的互补信息，重构一幅高分辨率图像。由于从硬件方面提高图像分辨率的代价十分高昂，囚此，依靠算法软件实现起分辨率约技术一出现，就受到了极大的关注，现在，其研究成果毫被广泛应用予各个领域，利用图像序列进行超分辩率处理面临三方面研究内存：一、超分辩率处理算法；二、图像序列的预处理，即数字相机准确对焦，以提高图像序列的本身的质量：三、趣分辨率处理的性能评估。论文围绕这魑方面开展了研究：在数字相枫准确对焦方蟊，提出了一种基于边缘判断是否精确对焦的方法，以获取优质的低分辨率图像序列；在超分辨率处理的算法方面，分析典型算法并确定了使用的算法；在超分辨攀处理的性自b 评估方面，研究了超分辨率的效果评价方法和利用达到该效果需要的鞫像序列的最少帧数( 充分帧数) 计算方法。对实际图像序列的处理袁明了研究结果的可行性。关键词：超分辨率充分帧数对焦第i 页营防科学技术大学研究生院学位谗文a b s t r a c tt h et e c h o b g yo f 铷p 时r e l u n o ni ni m a g es e q u e n c e su s e ss u p 矗f l u o u si n f o m l a t i o na m o n 冀i m 3 9 es e q u e n c e st or e b u i l da nj m a g e 州氇h i 窑r s 0 1 l 堪o n 。w bc a ng e th i g b rf e s o 】粕nf 硒mt w ow a y s io i 撑主3h n p r o v i l l gh a 砖w a ：r 岛m eo 盎。ri sp r o c e s s 呈n g 油a g ei ns 0 盘w a r 。a m e l i o 黼t i o no fh a 划w a 糟j sc o s 舡只s o5 l i p 盯删h 戗锄括o b s 盯啊n ga 矗e f洳印p e 黝c e 1 硎8 ，；s 燃m e s 0 1 u 虹o nh a sb e e n1 l s c di nl r 眦h 豇e l d s 。s u p e 卜f e s o l u t l o np r o c e s 8 i n 尊洫lm ，l g e 辩q i l c e si sc o m 蛳s e 吐o ft h r e e 嬲p e c t s t h e 盘砒i s蝴p e 卜r 髂讲m i o n 啦扫o r i 幽m ；虹地s e c d 扭p r e c i s 至o nf o c u si nd i 西t a le a m e r at 0p f o v eq u a l l 移o fi m a 黟b e 如r e 辫o c e s 曲l go fi m a g e 辩q u e n c e s ；m e 佩矗i 8p e r f b 蛳a n c ee v a l u a t i o n0 fs u p e f - r e s o h n i o n + h l ep a p 牲s t u d i e 8m e s e 船p e c t s i na s p e c to fp 辩c i s i o nf o c u s 王nd i g 诖出c a m e r a ，t 。g e t sb e 鞋l o w f e s o h 娃l o ni m a g es e q u e n c e s ，血ep 姆材g i v 髑4m 镏n st oj 城g ei f t b ec a m e m 扛诹f b c u $ b ys 慷i s e 量co ff 娃n g e ka s p e c to fs 坤e 啪s o l u d o np f o c o s s i n 舀t h ep a p e r 醐翻y s e s “i o d e l融g q d 嘶3a n da s c e n a i n sa l g o d m m so i l ru s e 。氇a s p e c t 蜓p e d b r m a n c ee 砌u a t i o no fs u p e r _ r c s o i 砒i o n ，s 姗i e sm ew a y s 氇a tp e r f o 鞠a n c ee v a l u 牡i o no fs u p e r - r e 8 0 i m i o na n d l 。l e 舔tn u m b 苜o fi 嫩a g e s ( 甘撼s 谢鼓c i e 毛o fn 啪h 强o fl o w i i n a g e s ) t og 畦t h eb e s t 瑶s u h 强l ee ) 【萋1 e m e n 瑚m 叫to f p r o c e s s i l l gi ns o m 。f 沁ti m a g es 鹎n c e 3 鼎o wa 印p f o v 8 b i e -x 州w o 蝴s ：s u p e 卜r c s 耐戚。接触i m a g e q u e n e e s ，删c i e 蛀删m b e fo fi o 、栅s o l 嘣o ni h l a g e s ，f o 第轻页嗣防科学技术大学研究生院学位论文表目录表3 1 同检测算子豹检攥4 结果统计1 7表3 2 各种算子的边缘统计值2 2表4 1 獗始图像平滑直方图的参数2 7表4 2 基于统计最优算法的平滑直方图的参数2 9表4 _ 3 基于先验知识算法的平滑直方国的参数3 l第1 i 页弱葑秘学搜术大学研究生院学偷论文图目录隔2 2 l图像序列生城礁型9图3 2 1 边缘模型及其剖而图1 4图3 2 2 斜坡形边缘取导数的剖面图1 4图3 2 3 图像的3 3 模扳1 5陶3 2 。4 清晰图像和经过平滑处理的图像】6图3 2 ，5 焦距不同的两个相同目标图像1 7图32 6 局部对焦取样窗口1 8圈3 2 。7 精确对焦程序漉程图1 9图3 4 1 精确对焦的目标暂口图像。1 9图3 4 2 精确对焦过程中不同焦距拍豹图像的一部分2 0图3 4 _ 3 上嘲中备个图像经c a i l t l y 算予检测的结果2 l图4 t 1i s o l 2 2 3 3 2 4圈4 1 2 理想中图像线对清晰和模糊对图像蹇方图示意2 4图4 1 1 3 实际线对清晰与模糊时的图像直方网2 5图4 1 4 线对清新判决流程图2 5图4 2 1 用于测最分辨率的分辨率表的局部2 6匿4 2 。2 不同豹线对缀，2 6圈4 0 3 不同的线对组对碰的赢方图2 7图4 1 2 4 不同豹线对组统诗最优超分辨率处理结果，2 8图4 2 5 不同的线对组的超分辨率处理结果直方圈2 9图4 2 6 不冈的线对组基于先验知识超分辨率处理的结果2 9图4 2 7 不同的线对组的超分辨率处壤结果赢方图3 l图4 3 1c c d 采集的图像农越分辨率她理的图像的水平分辨率比较3 2图4 3 2c e d 采集的图像和超分辨率处理的图像的垂直和斜向分辨率比较3 2图4 3 3c c d 采集的图像和超分辨率处理的陶像的分辨率比较一3 3嚣4 5 1 处理结菜图像的差异益线和洲l 的选取范疆3 6图4 5 2 两种超分辨率算法的最佳帧数一3 6第l i l 疆国醅科学技术大学研究生院学位论文第，一章绪论1 1 课题意义和现状图像在获取的过稗中，引入了大是的噪声，造成了图像的模糊，为使用带来了不便。为了获取清晰图像，人们首先从硬件上下功夫。虽然获取图像的硬件已经取得了很大的进步，但是所得到的图像依然难以满足需要，而且经济代价高昂，凼此利用算法软件来提高图像的分辨率就受到了广泛的关注。如何提高图像的分辩率是一个重要的研究内容，仅仅依靠单帧是难以获得足够的信息，依赖单帧图像的复原效果是有限的：于是人们将目光转到利用图像序列实现超分辩率处理。本文研究的内容是围绕基于图像序列重建的超分辨率展开的。图像序列超分辨率技术是通过列同一场景进行连续采样( 这种采样要求得到的帧与帧1 i 能完全相同) ，获取低分辨率图像序列，利用序列中帧与帧之问存在的互补信息，来重构高分辨率图像。超分辨率重建方法主要可阻分为两类：频率域方 去和空间域方法。频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性，空域方法是目前研究的主流，主要包括非均匀样本内插法、迭代反投影方法、集合论方法( 如凸集投影：p o c s ) 、最大后验概率估计m a p 、混合m a p p o c s 方法以及自适应滤波方法等。目前，法国s p 0 1 、美国e a r t h s a t 等公司己采用该技术，利用卫星拍摄的多图像重建高分辨率图像。美国d a y t o n 大学和w r i g h t 实验室在美国空军的支持下，对红外c c d 相机进行了机载试验，利用2 0 幅低分辨率的红外图像，取得了分辨翠提高近5 倍的实验结果。超分辨率技术固其所具有的巨大的应用价值，正越来越广泛地广泛应用于视频、遥感、医学和安全监控、军事等诸多领域。超分辨率技术已经从理论走向了应用，超分辨率走向实际工程应剧的条件要求很多，精度、速度、适应性、抗噪声能力等等。其中，最重要的就是超分辨率算法可以达到的精度效果。效果决定了超分辨率算法的工程价值。超分辨率算法以时间带宽( 图像序列帧数)换空间分辨率。时间带宽的大小也是评价超分辨率算法优秀与否的一个重要指标。在此称此指标为充分帧数。本文评价了这两个超分辨率的指标，为其走向实际工程应用提供支持。关于图像序列超分辨率处理的这两个指标评估的研究还少见报道，e l a d i o 等讨论了与充分帧数相关的放大系数选取问题，但是没有直接研究充分帧数估计。l i n 1 1 等人研究了超分辨率算法中的几个重要基奉极限，讨论了充分帧数的极限情况。在假设获取的低分辨率图像序列符合一系列假设的前提下，l i n 从理论上得到了充分帧数是放大系数m 的平方( j m 为整数时) 。然而，在实球工程应用中获取的低分辨率图像往往是不能满足这些假设。因此，研究面向工程席用的针对特定成像条件和超分辨率算法的充分帧数估计方些假设。因此，研究面向工程应用的针对特定成像条件和超分辨率算法的充分帧数估计方第l 页国防科学技术大学研究生院学位论文法是“卜分必要的。1 2 谋题主要工作本文首先研究了超分辨率的算法，分析了各种超分辨率算法的优点缺点，应1 碍j 超分辨率算法对低分辨率图像序列进行娃理，提高r 分辨率。为使超分辩率算法能够走向实际工程应用，建立了个性能评价平台。超分辨南处理能够达到的精度和达到最佳效果需要的帧数是超分辨率性能的两个蘑耍指标，由于计算机的处理速度越来越快，所以超分辨率的算法的计算速度就不作为重要性能柬评估了，论文主要评价就是超分辩率的最佳效果和达到该效果的充分帧数这两个关键性能。超分辨率处瑚利用时间带宽来换取空间分辨率，用多少帧( 充分帧数) 就可以发挥算法的最大效果是走向工程应用的个重要参数，电是比较不同超分辨率算法优劣的一个重要参数。有关充分椟数的研究还比较少，e 1 羽 9 等讨论了j 此相关的放大系数选取问题，但是没自直接研究s n l j 估计。l i n 等人 1 0 研究了超分辨率算法中的几个重要基本极限，讨论了s n l 的极限情况。在假设获取的低分辨率图像序列符合一系列假设的前提下，l i n从理论上缛至了s n l 是放大系数m 孵平方( 当为整数时) 。然两，在实际l = 程应掰中获取的慨分辨率图像往往是不能满足这些假设。研究面向工程府用的针对特定成像条件和超分辨率算法的s n l 估计方法是十分必要的，嗣前这方面的研究国内外尚未见报道。本文针对该问题提出了一种应用于工程的新方法，简单、易行。目前，大家普遍虚瑷空间分辩率来定餐：描述数字楣枫能够达到的分辨率。空阈分辨率也可以用来定量表示分辨率的提高效果，因此本文用国际标准分辨率测试板来评估分辨率的提高效果。另井，为减小噪声的予扰、更为糖确地评估超分辨率算法的效果，需要给超分辨率算法提供较为优质的低分辨率图像序列。而在数字图像的采集过程中，熏要而且唯一能人为减少噪声干扰的环节就是使相机能够精确对焦。因此本文的工作还包括数字相机精确对焦的判别，提出了一种根据采集的图像的清晰度柬判别精确对焦的方法。1 3 文章安排露绕这些问题，将本文分为五牵。第。孳简要介绍图像序列超分辨率技术。以及超分辨率走向实际工程的条件，指出课题的意义。第二章讨论了两种超分辨率算法的原理以及各个算法的优点缺点。第三章讨论了对焦的定义、方法，提出了种确定相机精确对焦的方法，为精确详价超分辨率提供支持。第圜章评估超分辨率算法性能，给出了充分帧数的定义和解决办法，这种方法依据超分辨率处理效莱豹收敛特点，不拘泥于其体的算法，实用性广。建立了个评价性能的平台，选择j ，两种算法对趟分辨率算法定性评估。第2 页国防科学技术凡学研究生院擘位论文第二章图像序列超分辨率超分辨率图像熏建技术予1 9 6 0 年代由h a r r i s 和g o 。d m a n 最初以荜张图像复原的概念和方法提出。l 9 8 0 年代初，t s a i h u a n g 酋先提出了基于序列或多愤图像的超分辨率重建闻题，并给出了蘩于颤域的遁近的方法。1 9 8 0 年代后期，随着计算机、电子、信号处理技术以及一些优化理论的发展，人们存超分辨率圉像重建方法研究上取得了突酸性进展。超分辨率的实际应用已经成为了可能。2 1 超分辨率处理基础简食对于一个线性空间不变成像系统，其成像过程在空间域可用下式来描述g ( x ) = ，( 工) 4 ( 工)( 2 1 1 )其中g 表示成像信号，狂) 表示原始信号， ( 工) 是点扩散函数， 表示卷积运算。剥公式( 2 1 l ) 式作频域变换：g ( “) = f ( “) ( )( 2 1 2 )其中g ( h ) ，f ( “) 和( “) 分躅是g ( d 、，( z ) 帮 ( z ) 的博赢叶变换，由于截止颓察之外片( “) 锄，因此要想复原出截止频率之外的信息，无论从理论上还是实际概念上都是不可能的。那么，为什么还会出现超分辨率呢? 因为在实际中，存在着许多方法对f ( u ) 进行估汁，而这些方法并不其鍪傅立叶滤波器的性质，采用这些方法可成功地实现截止频率之外信息的复原能实现高分辨率信息复原，主要基于以下几个方籀的理沦：( 1 ) 解析延拓理论如果一个函数墩足空域有界的( 即在某个有限范围之外全为o ) ，则其谱函数，f ) 是一个解析函数。解析函数翻一个众所耀知的性质是，若其在菜一个有限区间上为己知，就会处处已知。这就意眯着，如果两个解析函数在任一给定区间土完全一致，则它们必须在整体上完全一致，即为同一函数。根据给定解析函数在某区问上的取值对函数的整体进行重建叫做解析延拓。对于幅图像，由丁- 其空域商界，因此其谱函数必然解析。在截止频苹瞳下的f f h l 可通过该式计算获得。酃么根据解析延拓理论，截止赣率以上的信息可采【f = j 截止频率以下的，m ) 得以重建，从而实现图像的高分辨率复原。( 2 ) 信息盈加理论对予非幄干成像，实际的闰像应具备阻“f 约束条件和性囊：非受性和有界性。即物体或图像的最小光强应夫于o ，且物体或图像其有一定的大小，可用下式进哥亍表示：f ，( x ) o ，x x1 ，“) 一o ，z 隹羔( 2 1 3 )其中x 表示聪象的大小积范围。这样，对于寿秀受张物体，截止频率以下的频率成分中包含了物体的所有信息( 包括低频和高频信息) 。也就是说如果我们能找到一种方法将这第3 页国防科学拄术大学研究生院学位论文些信息分离取出来，就可以实现图像的高分辨率复攘( 3 ) 非线性操作现实巾成像系统必然夹杂着噪声，一般的成像过程均由下式表示：占( z ) ；，( x ) 4 ( x ) + h ( x )( 2 1 4 )其中( x ) 表示噪声由于噪声的影响，由此可得到的对象的估计值，“( 曲一般会破坏( 2 1 3 ) 式中的非负性。同时，由于日( “) 的低通作用，解得的物体估计，( x ) 会破坏( 2 1 3 )式中的有界性。因此在图像复原计算中，必须施加以下的约束条件：物体解的空间截断和非负的数字截断。由此带来的运算是一个昨线性操作运算，而信号的非线性操作具有附加高频成分性质因此，通过对约束操作引入的高频分量的逐步调整，即可实现图像的高分辨率复原。综上所述，在低频分量巾含有高频的信息和物体非负有界的约束条件是实现高分辨率复原的基本依据。2 2 超分辨率处理的基本步骤图像序列超分辨市算法通常包含两个步骤，首先对低分辨率图像序列进行运动估计和补偿，其次重建高分辨率图像。运动估计是能够实现超分辨率的前提。本节详细阐述运动估计和超分辨率的实现步骤。2 2 1 运动估计与补偿图像序列超分辨率的基本原理是根据图像序列中帧o j 帧之间的微小差异来提高图像的分辨率，序列中的运动估计是实现超分辨率必须的基础。在超分辨率中的第一个基本步骤就是得到序列中的运动并对其进行补偿，将各帧图像配准到同一个坐标系下。光学成像模型巾景物和相机焦平面之间的运动机制有两种。第一种机制中，相机的运动是被控制的确定性的扰动，在这种情况下相机的运动被认为是已知的，对于静止景物拍摄的图像序列中的运动可以由己知的相机运动计算 h 来。由丁| 超分辨率关心的是哑像素级的位移，而任何成像过程中微小震动都将产生图像序列中的随机相对运动，因此这种确定扰动机制的适用范围有限另一种是随机扰动机制，也是较为常用的机制。它利用在成像的过程中相机和景物的各种随机扰动来获取对景物的多次不同的记录形成超分辨率所需的图像序列。在这种机制下相机和景物的运动关系未知，必须对其进行估计。超分辨率中的运动估计与在图像处理巾通用的运动估计大体上是相同的，但是也有一些区别：( 1 ) 超分辨率中涉及到的运动较细微。超分辨率中处理的是连续拍摄的图像序列。图像序列的帧采样周期通常较短( o 1 0 0 0 1 秒) ，因此相邻帧之间运动的尺度较小。在小尺度运动的前提下可咀将帧与帧之间的差异用线性关系捕述。( 2 ) 超分辨率中的亚像素级运动是随机的。第4 页国防科学技术大学研究生院学位论文在图像中的运动物体的整体运动可能是有规律的，但足在超分辨率中关心的是豫像素级豹差别，在这个范围内的运动是随机的。许多基予运动的搁关性的运动估计对_ 礓像素级的运动4 i 冉适用。( 3 ) 超分辨率对运动估计准确性要求高。超分辨攀r | 要求运动估计达到亚像素级，而且其体的精度要求随蛰怒分辨率中分辨率放大率的提高而提高，面目是越高越好。例如对于分辨率艘大率为s 的趣分辨率闯题，实验表明运动估计的精度须小于士o 1 像素，否则，将严重影响恢复效果( 4 ) 超分辨率的数据资源是整个图像序列。在图像序刊的成像过程中不可避免的存在噪声等戮巢的影响，单独比较两恢匿像得到的运动估计常常不够稳定。超分辨率针对的是整个罔像序列，在图像序列成像包含了很多的相关信息。利用这些相关信息可以提高估计的精度。在运动估计中可以利用的数据资源也是熬个 鸳像序列。我们提出的融合多次估计的亚像素运动估计包括以下的几个步骤：1 ) 轮流设置序列中每一帧图像作为参考巾贞，将所有可能的运动估计结果都作为后续处理的信息资源：2 ) 对每一对图像的直接运动估计的可靠蚀给出置信度最：3 ) 列所寿运动估计进行融合，获得每帧图像的准磷运动矢量。超分辨率算法需要对图像痔列进行准确的运动估计。图像序列运动估计的基础是两帧图像问的运动估计。我们采用基于一阶t a y l o r 展开的运动估计方法，并对两帧图像间的运动估 十建立置信度量。1 摹于t a v i o r 璇开的运动估计方法超分辨率算法需要对图像序列进行准确的运动估计。图像序列运动估计的基础是两帧圈像闻的运动估计。我们采用基于一阶t a y l o r 展开的运动估计方法，并对两帧图像间的运动估计建立置信度蛩。醇先，假设参考图像 ( x ，y ) 和图像 ( x ，y ) 之问的关系表示为： ( # ，) 一，1 p c o s 伊 ) 一ys i n ( 以) + k ，七s i n ( 吼) + y c o s p ) + v )( 2 - 2 1 )当两个图像之间的运动较小辩，对其进霄t a y l o r 展开，并进行近似计算。有如下； ( 置y ) 一，l o ，y ) 十( 嘻一y 瓯) 五y ) + o 瓯+ h ) 言，( x ，y )( 2 2 2 )上式，乳( j ，y ) ，s ，“y ) 是 ( x ，y ) 的偏微分。在此用最佳匹配规则来求甲移量和旋转角度；( 8 ， ，一一8 喀，( m i n ( 婶， ，v ) ) )( 2 2 3 )其中，( 8 ， ，v 1 是误差豳数：五( 日， ，v ) 一。( ( z ，y ) 一，1 ( z ，y ) 一( 一y 口) g ，0 ，y ) 一( p + z 口) g ， ，y ) ) 。( 2 2 4 )分别埘其中的三个变量求偏导数并搜偏导数等于零，有：w ； f 以yr 叫h ，y ，日r( 2 2 5 )( 2 2 6 )第5 页图骑科学技术大学研究生虢学位_ 埝戈v =m 一【荟m ) 删，荟m ) 删，薹肿) 删7y ；2 ( n )赫磊拍) 咖)荟酮拍)薹鲫) 舭)磊销n )荟荆驰)薹虿) g x 薹季拍)磊识一)( 2 。2 。7 )( 2 2 ，8 )上式垒，”= ，y ) ，虿0 ) 一增，( ”) 增。( ”) ，9 ) 一 0 ) 一，l ( ) 。该方程组适用于偏移量和旋转角度较小的情况下实用，对于较大的偏移量和旋转角可以通过迭代的方法来求解。2 。双向估计以披置信度两个图像对应象桑点的坐标关系为：，l 一点( 砌)( 2 2 + 9 )n一日 1其中r = l dlv i 。【oo1 f其遴靠表达式为兵( n ) = ，l ( 翻) ，可以褥到变换式如下；fl 孵+ 8 2 )日( 1 + 8 2 ) 一a ( 1 + 口2 ) 1s 一，一= f 一口，( 1 + 82 ) 1 ( 1 + d 2 ) 一v “1 + 0 2 ) lioo1ll在图像序列燕，相邻的帧与帧之间的旋转变化总是很小8 的二次项，有：( 2 2 1 0 )因此，就可班得到可阻忽略s # 丁4 f 一i 亭e 。z t t ，用前面的t a y l o r 靛开式计算z 稍s 中的参数估计俊盖，s 【鼻，码，岛 。和愈。 。，如，反】7 。达 站茸一垂，( 2 2 + 1 2 )在供计墨的时镁，矩阵m 完垒是出五决定的，它反映了 巾灰度梯度的大小，丘的信息仅双反映在v 中，表现形式是与正的差。在，l 和 中都存在噪声，分别为n ，和。因为嗓声对灰度梯度的影响较火，所以h ，羊日n 。相比较，俾对盖，估计结果的影响更大，也就是说，如果将估计慎j 圣，看作是真实值彤。e 叠加了个噪声h ，那么坼与n 。的相关性远大于与也的相关性。在估计孟，时，划情况恰恰相反。估计值辱的误差和直。的误差之间虽然不是完全独立潍，但是由于它们中引入豹主导嘿声不同，因此囊，和矗。之问存在羲第6 黄国糖科学技术大学研究生院学位论文且= 肛，口，8 z 弘r c + s ，廿r c 。口s ，日，一c + 日，j 2( 2 2 t 3 )其中，c 用采徽修正参数，e = l + 目2 ，因为两种运动是辕反豹，所以在这竖使用相减运算。以l 的估计利用了月，和矗。之间的百补性降低了估计误差。由于估计的过程中包含了图像微分算子、线性方程求解和迷代等因素，因此很难刮用概率壹接描述误差。这墨我们选择了一种简单可行的方法描迷估计的置信度。即利用实际估计结果与( 6 2 1 2 ) 式的偏差程度，来描述运动估计的置信度6 。( 6 2 12 ) 式要求忙，+ 患l ；o ，可以把忙，十愈0 ；o 看做一个高斯分布的随机变量。其均值为o ，方差为u ，可以由实际计算时通过统计得到。| 臣+ 忘l 在分布中的概率密度作为佑诗的置信度。6 ；。；p i 一兰：；! | ，巨兀d z ，2( 2 2 ，4 )【j当实际估计的结果与( 2 2 1 4 ) 式误差越小，估诗的鬻信度b 越高。这样，我们裁得到了带有置信度的两帧问运动估计。2 2 2 超分辨率处理算法超分辨率的最终目标是得到高分辨率的图像。恢复禽分辨率图像的过程实际上是将低分辨率的图像序列在高分辨率的网格上进行插僮或者拟台构过程。因此超分辨率电被成为图像序列插值( i m a g es e q u e n c ei n t e r p o l a t i o n ) 。目前己经提出了几种超分辨率复原算法框槊。被r 泛使用的包括凸集投影框架( p o c s 呻r o j e c t i 。no n t 。c 。n v e xs e t s ) ，m a p 框架，基于期望最大化方法( e m ) 的萤大毂然框架以及k 8 1 日a n 滤波框架。这些算法框架透过提取图像序列中的信息恢复出高分辨率图像，有效的提高了原始序列的分辨率。在很多实际应用r p ，除了图像序列本身的信息以外，还可以得到些被拍摄景物的其它先验信息。研究者h ：意识到先验信息可以进一步提高超分辨率的效果。根据先验信息的不同，形成了不同的超分辨率算 圭。由十有图像质量等囚素的存在，在超分辨率处理中，并非所有的运动估计结果都可以用来作为提高分辨率的信息。所以必须在其中加入运动估计的置信度。从而使得运动估计更捆窍效。茄乡 ，在现实当中，被拍摄的目标大多会有一些先验信息可以提供给我们。这样可以将超分辨率问题与图像序列处理中的模板匹配问题相结合。在统一的基于最大后验概率估计算法框架下，同时求解图像序列超分辨率处理匹配问题1 基丁统计最优的超结辨率算渡离分辨率图像重建方法已经发展了多种。这警方法的菇同特征是通过最优化方法近似求解使误差函数最小化的高分辨率图像。在各种误差雨数中，被广泛使用的是h a r d i e 提出的如下目标函数：( z ) = 兰( 矗一善既，z ，) 2 + a + 善( 善。严) 2( 2 2 1 5 )其中正是序列中图像序列中的第i 个像索，p m 是图像序列的总像素数，是高分辨籀7 页国防科学技求人学研究生院学位论文率图像z 的第z 个像素对丘的贡献，n 是z 中的总像素数。参数n 是正则化参数。它的袭达式为：驴班揣城内( 2 2 + 1 6 )上面的公式中第颂表示低分辨率图像弓恢复j 的高分辨率图像的差别；第二项用于削弱噪声帮尖锐边缘，保持结粜强豫的平滑穗。参数 负贫谎节分辨率和平滑效果之间的关系。第一项中的系数由估计得出。如果运动估计的偏差较大，必然要影响分辨率恢复的质髓，为了防止运动估计对超分辨率效果产生较大影响，必须要引入运动估计的置信度。消除鞍大的运动估幸 偏差。可以将上面确定麓信发魄涎茇函数改为：e ( z ) 一荟叱( 厶一荟k ，) z + a 8 善( 善z ，) 2心2 1 7 其中加权项d 。就是运动估计巾绘出的第m 帧的运动估计的置信度，在此，同帧图像的加权项相同。趣分辨率具 本算法如下；对上式求关于z 的象素z 。的导数：觯) = 掣= 薹讽t ( 鼽一圳“缸( 缸啪( 2 引s ) 目_ l 迭代式子求z 。的解：2 “+ 1 = 拿i “一s “g ( z “)( 2 2 1 9 )转换为矩阵形式：2 斛1 = 2 ”一s “g ”( 2 2 2 0 )g ”= k ，( 三“) ，9 2 ( 毒”) ，占，( 三“) ，吕”( 皇“) ：( 2 2 2 1 )上式叶1 系数”是迭代过程中的步长。它必须足够小才能确保 | 芟敛，男一方瑟，大的步长又有利于提高求解的速度，因此找到一个合适的s “很重要。常见的方法是使下式鬣小化：s “= a r gn l j n 。i e ( z 1 ) 一点( z4 一“g “) i( 2 2 2 2 )步骤1 ：简单插值得l z 的初值2o ，令n = 0 ；步骤2 ：； 算梯度矩阵p ( z ”) #步骤3 ：计算步长”；步骡4 ：计算气”1 一女“一# ”靠( z “) ；步骤s ：当磐“一窖“窖“ltr ，结束；否则n = n + 1 ，翻到步骤2 e2 引入先验知识的超分辨率算法模板匹配是计算机视觉中的一个基本问题，被大量应用丁实际。模板匹配有很多形式，在本算法中，我们考虑的模扳匹配是将被考察图像与模扳库中的模板进行比较，找出相似的摸板，求出筷板到披考察豳像的变换关系。要准确韵匹配模板，被考察熊图像的质量至关重鬻。如果图像分辨率较低，单帧图像中包含的信息通常不足以将近似的模板区分出来。第8 页斟防科学技术大学研究生疏学位论文因此，需要先对图像序列做超分辨率处理，提盎图像的质量，然后对得到的高质量图像进行模板匹配。这样，在统一最大后验概率算法框架下，同时求解图像序列的超分辨率和模板疆配闻题，可以进步提高图像的分辨率。该算法通过迭代的方浊逐步优化恢复出来的高分辨率图像，在每一不的选代中引入模拟退火的方法褥到匹配的模扳及其与高分辨率鞫像的变换关系。下犀依次介绍趣分辨率和模板匹配的模型描述、统一求解两个闻题的最大后验概率估计、估计的迭代求解步骤。首先介绍新的图像序列模型，其生成模型如下：图2 。2 1 图像序列生成模型l 图描述了图像序列的生成模型，与前不同，实际案物z 协y ) 是由模板库p 一 p e 中的某个模板仇( j ，y ) 经过变换日一，产生，在变换中日l 入噪声 如y ) 。其他过程和普通成像模型基本一致，抒。y ) 为景物与楣枫的运动，圩j 册( 葺y ) 是鞫像经过镜头时模糊日入的截至频率，h 仲，) 为成像过程中其它的噪声总和。系统输出的是低分辨率图像l ，低分辨率图像牟列f 一( ，五，友) ，其中是图像序列帧数。如聚亮分辨率数字图像罔z 表示，上述模型中各种变化近似为线性交换，模板只，实际景物z 以及低分辨率图像序列f 之间有如下关系：p ；睨+ gf ，q t 、协；耽+ n”其中，和n 可以近似为零均傻的赛斯盎嗪声。超分辨率的任务就是在已知f 的情况下估计z ，在估计z 的过程中一般需要估计变换矩阵。模板匹配豹躺的是估计模扳库中与实际数据最接近的模板只班及棱对应的变换矩阵v 。h a r d i e 钳对商分辨率问题绘出了留，w 的姒p 估计框架，其描述如f ：岔1 矿：a r gm a xp f ( z ，w | 】( 2 2 2 4 )其中，p r 盘，wif ) 是后验概率。为了在统一最大后验概率框架下解决超分辨率和模板瓤配问题，需要估计出扛，w ，n ， ，其中，n 是模板e 的下标。凼此，本方法的漱p 估计是：奎，谚，五，矿需a 唱m a xp r ( z ，yif )( 2 2 2 5 )p r 口，只，移1 ) 是已知罔像序列f 情况下的后验概率。应用b a y o s 公式：二，回曰咖母毪岛国防科学技术大学研究生虢学位论文p f ( z ，只，ylf ) ；旦l 型墨塑二墨削：笙二旦堕坐二里盟( 2 ，2 2 6 )r f l ，其巾，p r 伊) 不随留，砰二吼， 改变而改变。对于p r ( ，矿) ，因为w ，和y 是不相关的，所以；p r ( ，只，v ) 一p r ( ) p f ( 只) p r )( 2 。2 2 7 )在大多数实际情况中，变换矩阵和y 是没有先验储惑瓣，敌先假定变换矩阵w 和y在定范围里服从均匀分布。模扳出现的概率p r ( 只) 同样也是通常无注得到的，因此假设各模板出现的概率是样的。那么，上式就简化成为：p r ( 只，y ) ；c 。，c ，c 。( 2 。2 2 8 )常数c 。，c ，和c 。分别是和v 以及横板的均匀分布概率密度。对于p r ( zl w ，圮，v ) ，和z 不相关，因此有：p r ( z1 w ，只，y ) ；p r ( z1 只，v )( 2 2 2 9 )在假设耜邻象素之闯不相关的蘸提下，搬攥前面的公式可鞋得翻：呻忆卟即。， ( 2 2 3 0 )对于p r 扩l z ，只，”梗据前述公式可以表示为：咖。翮小蚓弦z 如果羊b z 确定了，部么蠢 ； 二f 帮矿、只无关e 根据噪声n 的统计特性：p r 妒i z ，圮，y ) 一p r ( f i z ，) ；c 2 。印( 2 2 3 2 )整理并将公式3 取对数：蛾n 叫警】+ 警1 + c亿z 其中c 是所有与留，玛f 无关的常数项。这样，m 期的表达式就苜以写为：严，谛，6 ，矿2 。譬i ，商n ( ( s 一比) 7 ( 5 一e ) + f 一册) 7 p 一硼) )( 2 2 ，3 4 )z ，口，v( z z ： 4 )if 。q 一0 3 上式的目标薛数包含两项。第一项表示高分辨率围德z 和变换后的模扳y 只之润的差，第二项表示图像序列和变换后的高分辨率图像w z 之间的差。这样姒p 估计的目的就是在最小二乘意义下，使高分辨率图像z 和变换后的y 尸，一致。而系数f 反映了这两个之间的权霉。如果模投产生商分辨率隰像的过程中噪声增粕，对应的嘎也增大，此时f 增大，刚后一项的权重加大，如果商分辨率图像产生图像净列过程中的噪声增加，对应的d ，增大，此时i 减小，前一项的权亟增加。总之，它反映了图像序列信息和模板库的信息之间么憋拼堕一坠翻骑秘学技术大学研究生虢学位论文一w 日。_ m _ _ _ _ _ _ _ _ _ _ _ _ _ * 一依赖关系程度由两种噪声的强弱决定。嘲为涉及剑的z 、w 、咒、v 等矢量维数都是很高的，直接进行求麓计算是穰难在计算机上实现的n 这里应用分步求解的方法，通过迭代运算进行优化。以下用递归力法束优化。( 1 ) 求变挽矩醉w在公式2 2 3 4 中和w 相关豹是第一二壤，因此w 的估计为：谛州= a r g m i n ( ( 】，一矸西”) 7 何一矸西”) )( 2 2 3 5 )对直接求导的方法就将涉及到高缝矩阵求逆矩阵问越，实际中不可行。矸，是从z 至图像f 豹变换，如果得到了从z 到图像序列中每一帧 的变换”_ ，也就是得到了。一( ，”_ ) 7在大多数斑用中，图像序列是甑鞍短的时间间隔韵摄的，通常其中的景物的运动是不大的。因此，如果进一步假设相关运动只包括小的平移和旋转，高分辨率图像z f 薯y ) 和匿像序列中第m 帧丘0 ，y ) 之澜的关系可以表示为：，m ( z ，y ) 一z c o s 伊) 一，s 协( 臼) + ，x s j n ( 口) + y “) s ( 疗) + v )( 2 2 3 6 )其中，m ( x ，y ) 是经过尺发交换后的矗 z ，y ) ，尺度变换使 ( x ，y ) 和z y ) 辛鞋一致。尺度变换固定且是决定于图像序剜f 那嘉分辨率图像x 之润的尺度荧系。v 祁 是平移量，8是旋转量。因为可以通过v 、h 、日以及尺度变换得到。因此有：? ，“，。爨”1 n ( ( 8 ，4 ，)上式中的期望函数e 徊， ，( 2 2 3 7 )e ( 口， ，砷一。，( ，m 似y ) 一z ( xc o s 徊) 一y s 诅这样，我们就得到7 z 的髂计迭代公式：三”1 - 窖“十 ( 妒”定一童“) + 押”7 ( f 一妒“岔“) )( 2 2 4 4 )其中，a 逢迭代求解的步k 。( 4 ) 引入运动估计箕信度在公式2 2 4 4 的修正项谛“( f 一谛”2 “) 包台了图像序列运动估计的结果。对该部分作置信度处理确：z 一谚”旷一谛“24 ) 一薹w 。，( 厶一三，z ，)( 2 2 4 5 ) l 入置信疫后，”1z 一兰d 。，( 厶一吧，z ，)( 2 2 4 6 )其中硝教项d 。就是翦巍绘出的置信度，同一幅图像的加权项一致。这样，得到：删n2 ”1 2 “+ a ( 旷”竞一窖“) + 薹4 。帝”( 矗一三，z ，) 】)( 2 2 4 7 )( 5 ) 选代求解步骤”1”。步骤l ：选取初始值2 0 ( 令n ；o ) 7步骠2 ：估计a “和矿”ia ) 对模板库中的每一个摸板只 = o ，) ，估计出对应的变换矩肄屹；b ) 雌模拟退火的方法选取模板，得至# 髅谤债d 8 ；e ) 对痧的变换矩阵作为伊：步骤3 ：估计变换矩阵谚“；步骤4 ：估计高分辨率图像2 ”；步骤5 ：选到条件结束，否则返回步骤2 。第i 2 页嗣防科学技术火学研究生靛学位论文第三章数字相机精确对焦在相机发明后的大部分时闻中，都采用于动对焦的方式，壹到本世纪六十年代后期，微电子技术大发展并在相机上加以应用后，才出现自动列焦的概念。帽机自动对焦是一个复杂的光电一体化的过程，其基本过程是将物体反射的光让相机上的光电传感器接受，通过内部智能芯片处理，带动电动对焦装置进行对焦。存数字图像的聚集过程中，数字摆机的精确聪焦是十分重要的，图像质| 囊的优劣几乎竞全取决于相机是否准确对焦。目前相机的对焦系统正在向自动对焦加手动对焦的方向发展，侗是还有相当部分相机单纯靠手动调焦，靠肉眼来判别是否准确对焦。人眼是不可靠的，靠人工来对焦是不精确的。为使性能浮传乎台能够更精确地滓估超分辨率性能，需要在数字蹋像采集的过程中添加程序，经相机精确对焦，排除人为误差，获取优质的低分辨率网像序列。3 1 精确对焦简介对焦的日的就是使相机镜头前后移动，以满足物镜成像的几何关系，使景物目标在成像区清晰成像。当相机准确对焦的时候，图像上包含被拍摄目标的信息量最大。在调节焦距的过程中，戒像目标在成像区所成的图像是变仡的。图像她变化在不同的数学域中有多种不同的寝现，在空间域上有图像可提取边缘的多少，在频域上有高频分摄的多少，等等。我们要找的是这些变化的特点和图像准确对焦时对应的是什么条件。本文的目的是为获取优质的低分辨率图像序列，砸且我们豹相机是手动调焦的，因此，本文小研究曼体对焦硬件，凳要判断c c d 数字相机拍摄捌的巢张图像是轰精确对焦，消除由于手动调焦引起的误差，获取优质的低分辨率图像序列即可。当前，具体判别是否对焦的方法有很多，越来越多的对焦算法运用数字图像处理理论。本文方法也是根据数字图像信号处理理论完成的。当耜挑精确对焦时，翻像中蟊际驰边缘最清嘶，可握取昀边缘最多。文章以统计可检测到的边缘的多少作为度盈，判断对焦的精确与否。此外，一个理想的调焦系统应该具有单峰性( 可调焦的范围内只有。个极值) 、准确性( 即只有精确对焦的时候才出现极值) 、要适应性广、抗噪声能力强、运算快。，另外还可以反映出离焦的极性，即当前位置处于焦前还是焦后。3 2 边缘检测算子选择边缘是反映灰度变化的度量，两灰废变化的剧烈程度反映了圈像分辨率高低。本文的方法用到了边缘检测技术，在此，简要介绍边缘算子。第1 3 | 鳆国防科学技术大学研究生院学位论文边缘a 理想的边缘边缘剖晒图jb 斜坡形数字边缘模型d 斜坡形边缘剖面图图3 2 1 边缘模型及其剖面图我们将图3 1 中的d 取导数得到如下结果：a 斜坡形边缘取一阶导数的剖面图b 斜坡形边缘取二阶导数的剖面图图3 2 2 斜坡形边缘取导数的剖面圈得到的结论是：阶导数可以用丁检测图像中的。个点是否是图像边缘上的点；二阶导数的符号可以判断一个边缘象素是在边缘亮的一边还是在暗的一边。同时，对于每条边缘二阶导数产生两个值，一条连接二阶导数正负极值的虚构连线将通过过零点。一幅灰度图像，( x ，y ) 中，边缘点处灰度变化速率达到极大。于是，图像的梯度函数即图像灰度变化的速率将在边缘处存在极大值。因此，基于传统的一阶微分算子先估计出图像灰度变化的梯度方向，增强图像的这些变化区域，再对其求阈值。若梯度模值大于闽值，则判为边缘点；否则，就不是边缘点。图像，( j ，y ) 存位置( x ，y ) 的梯度定义为列向嚣：v ，一【g 。，g ，r ：【譬，譬r( 3 2 1 )掣这个向量的大小为：v f = 卅n g ( w ) - 【g ；+ g ：】“2( 3 2 2 )订向量的方向；a ( x ，y ) = a r c t a n ( - )( 3 23 )u x数字图像是离散的，( y ) 处x 方向的一阶导数为= ，0 + l y ) 一，( x ，y ) ，y 方向的一阶导数为，。= ，( x ，y + 1 ) 一，( j ，y ) 。基于一阶导数的边缘检测算子主要有r o b e r t s 算子，s o b e l算了，p r e w i t t 算子。第1 4 页国骑科学技术大学研究生院学位论文豳3 2 j 图像的3 3 模板在图像摸板巾，诗算点巧的各个边缘检测算子的公式如下：s o b e l 算子3 3 模板：良鬣篡裂蒹篡嘉鬟霎器。j g 。s 0 9 + 2 + z 6 + 2 3 ) 一( z 7 + 2 + z 4 + z 1 )垂直方向”一7p r e w i t t 算子3 x3 摸板； 萋：墨；：萎：；弓：雾：三：妻番喜害c 。z ，s ，l g ，= ( ：9 + z 6 + 2 3 ) 一0 7 + 2 4 + 丑)垂盥方向r 。b e r t s 算子2 2 模板：謦8 黑一裳箕窆窑( 3 i 。)l g ，- ( z 8 一z 6 )垂直方向”c a n n y 算子是翻前比较流行的优秀的边缘梭测算子，它的检测步骤是；( 1 ) 用齑斯滤波器平滑图象；( 2 ) 用阶偏导的有限差分来计算梯度的幅值和方向：( 3 ) 对梯度幅值进行非极大值抑制；( 4 ) 1 j 双闽僮箕法捡溺帮连结边缘；( 1 ) 设图像的象豢矩阵为，【f ，朋，用高斯平滑滤波器与图像卷积来做平滑。s 【i ，j 】= g i ，j ，d + 印，门( 3 2 7 )其中，d 是高新函数的散布参数，它控制着调整着平滑的程度。s 瓯 的梯度可以用2 2 的一除存限差分近似公j j = 来诗算；脞小蛩7 + 1 1 ：5 i ，m 5 ，j + 1 1 5 ，j j ) ，2( 3 2 8 )l q f ，j 】牟( f t 】一s p + l ，j 1 十s 【f ，+ 1 】一s ( f + 1 ，j + 1 j ) ，2、。( 2 ) 蟠值鄯方向角圳直角坐标靼极坐标转换公式来计算：m 。q i ，疗+ 瓣厅( 3 2 9 )1 p 【f ，门= ”c l a n ( q f ，力q l ，jj )( 3 ) 非极大值抑制是通过抑未i 梯度线上所有非屋脊值米细化舸瞳，l 中的梯度屋脊值。飘闽值算法黯嚣极大值抑制辫像作用的两个阈值f ，和f ，它们之间有f 。= f ，2 。由此可得两个闭值边缘图像互【f ，门和疋瞳力。由j ：疋【i ，力用商阔值得出，因此它的假边缘很第1 5 页国防科学技术大学研究生院学位论文少，但是存在断点不闭合的现象，双闰值要在，；f l 中把边缘连接成轮廓，当达到轮廓的端点时，该算法就在五 i j 静8 临域位置寻找可以连接到轮廓上的边缘点，这样，= = f i 断的收集曩【j 】中的边缘点，直到将t f ，力连接起来为止，为了