（控制科学与工程专业论文）基于例子的图像超分辨率重建技术研究.pdf

国防科学技术大学研究生院t 学硕士学位论文 摘要 实际中的许多成像系统，如红外成像仪和c c d 照相机等，受其固有的传感器 阵列排列密度的限制，采集到的视频图像分辨率不可能很高；此外光学系统的像 差、大气扰动及系统噪声等因素也会造成图像的模糊和变形。仅通过改善硬件设 备的方法会带来较高的费用支出，而且硬件改善面临的技术困难很难在短时间内 克服。因此从软件方面着手，采用超分辨率重建技术来提高图像分辨率有着极大 的现实意义和应用价值。 图像超分辨率重建技术就是利用一组低质量、低分辨率图像( 或运动序y u ) 来产 生单幅高质量、高分辨率图像。超分辨率图像重建技术在军事遥感、医学成像、 公共安全、高清电视等领域都存在着广阔的应用前景，近年来已成为图像处理领 域的研究热点。 本文对图像超分辨率重建的原理进行了简要的介绍，分析当前主要的超分辨 率方法并指出优缺点。对基于学习的超分辨率方法中的基于例子方法进行了着重 研究并解决了以下几个关键问题： ( 1 ) 基于梯度匹配增强的例子超分辨率方法研究。 本文从训练样本的选取、训练样本数目、训练集分块大小、放大倍数等方面 对基于例子方法进行实验，并在分析其优缺点基础了提出基于梯度匹配的超分辨 率方法。将梯度匹配增强到搜索矢量构造过程中，从而能在训练集中找到更符合 真实结构分布的高分辨率信息，提高超分辨率增强的效果。实验结果表明，该方 法得到的高分辨率图像边缘更锐利，视觉效果更好。 ( 2 ) 提出了一种面向文本图像的例子超分辨率方法。 本文针对文本图像的具体特点，结合字符分割方法与基于例子方法，提出了 基于字符分割的文本图像例子超分辨率方法。首先对文本图像进行字符分割，然 后对单个字符用基于例子方法的思想进行超分辨率，匹配过程中采用c w s s i m 匹 配准则寻找最优匹配块，统计每个字符所有分块在训练集中最匹配分块的来源， 计算每个字符与某个字符的相似度，输出与每个字符相似度最大的两个字符及其 相似度，同时输出与每个字符相似度最大的字符对应的高分辨率图像。实验结果 表明不论是在字符的可辨识性还是准确度上都较以往方法有较大改进。 主题词：超分辨率基于例子梯度匹配字符分割 第i 页 国防科学技术大学研究生院t 学硕七学位论文 a bs t r a c t i nm a n ye l e c t r o n i ci m a g i n ga p p l i c a t i o n ss u c ha si n f r a r e di m a g i n gs y s t e ma n d c c d ，t h ei m a g er e s o l u t i o n so ft h ev i d e os e q u e n c e sa r el i m i t e dt ot h ea r r a yd e n s i t i e so f t h es e n s o r s m o r e o v e r ，t h ep i x e ld i f f e r e n c eo ft h eo p t i c s ，a t m o s p h e r ea n ds y s t e mn o i s e w i l lb l u ra n dw a r pt h ei m a g e s t h o u g hw ec a ne n h a n c et h er e s o l u t i o n st h r o u g hc h a n g i n g t h eh i g hp r e c i s eo p t i c so ri n c r e a s i n gt h ec h i ps i z e ，i tw i l lm a k eah i g hc o s ta n ds u f f e r s o m ep r a c t i c a ll i m i t a t i o n si nt h ef a c t t h e r e f o r e ，i ti s i m p o r t a n ta n de c o n o m i c a lt o e n h a n c et h er e s o l u t i o nb ys u p e r - r e s o l u t i o n ( s r ) r e c o n s t r u c t i o nt e c h n i q u e s rr e c o n s t r u c t i o ni st op r o d u c eh ig hq u a l i t y ，h i g h - r e s o l u t i o n ( h r ) i m a g e sf r o ma s e to fd e g r a d e d ，n o n i d e n t i c a l ，l o w - r e s o l u t i o n ( l r ) i m a g e s t h i st e c h n i q u ei sw i d e l yu s e d f o rr e m o t e s e n s i n g ，m e d i c a li m a g i n g ，p u b l i cs e c u r i t ya n dh i g h d e f i n i t i o nt e l e v i s i o n s t a n d a r d ，e t c n o wt h i st e c h n i q u eh a sb e c o m ea l li m p o r t a n ts u b j e c ti nt h ef i e l do f i m a g i n gp r o c e s s i n g t h i sp a p e rf i r s t l yp r e s e n t ss o m eo ft h eb a c k g r o u n dt h e o r yo fs r , a n dt h e na n e x t e n s i v es u r v e yo ft h el i t e r a t u r eo ns u p e r - r e s o l u t i o nr e c o n s t r u c t i o ni sp r e s e n t e d w e p r e s e n tt h et e c h n i q u eo fe x a m p l e - b a s e ds u p e r - r e s o l u t i o ne s p e c i a l l yw h i c hb e l o n g st ot h e l e a r n i n g b a s e ds u p e r - r e s o l u t i o n t h ek e yp r o b l e m sb e l o wa r es o l v e di nt h ep r o c e s so f f i n i s h i n gt h es t u d y ： ( 1 ) t h i sp a p e rp r e s e n t st h em e t h o do fg r a d i e n tm a t c h i n gb a s e ds u p e r - r e s o l u t i o n t h ee x p e r i m e n t sa r et r i e do fe x a m p l e b a s e ds u p e r - r e s o l u t i o ni nd i f f e r e n tt r a i n i n gs e t ， s i z eo fp a t c ha n ds c a l e s g r a d i e n tm a t c h i n gi si n t r o d u c e dt oc o n s t r u c tt h es e a r c hv e c t o r , s ow ec a ng e tt h em o s ts i m i l a rp a t c h e sa n di m p r o v et h ee n h a n c i n ge f f e c t t h e e x p e r i m e n ts h o w st h a tt h i sm e t h o dp r e s e r v ef i n ed e t a i l s ，s u c h 嬲e d g e s ，g e n e r a t e b e l i e v a b l et e x t u r e sa n d c a ng i v eg o o dr e s u l t s ( 2 ) am e t h o df o rt e x ti m a g es u p e r - r e s o l u t i o ni sp r e s e n t e d t h i sp a p e rp r e s e n t sa m e t h o df o rt e x ti m a g es u p e r - r e s o l u t i o nw h i c h m a k e su s eo fc h a r a c t e r i s t i c so ft e x ti m a g e a n dc o m b i n e sc h a r a c t e rs e g m e n t a t i o na n de x a m p l e b a s e ds u p e r - r e s o l u t i o n f i r s t l y ，t e x t i m a g ei sd i v i d e di n t os i n g l ec h a r a c t e r ，t h e ns i n g l ec h a r a c t e ri se n h a n c e du s i n g e x a m p l e b a s e dm o t h e d i nt h em a t c h i n gp r o c e s s i n g ，c w - s s i mi si n t r o d u c e dt os e a r c h t h em o s tm a t c h i n gp a t c h t h eo r i g i no ft h eb e s t m a t c h i n gp a t c hi sn o t e ds ot h e p r o b a b i l i t yo fw h i c hc h a r a c t e ri ti sc a nb ef o u n d t h em o s tc o m p a r a b i l i t yt w o c h a r a c t e r s a n dt h ec o m p a r a b i l i t ya r ee x p o r t e d t h eh i g h - r e s o l u t i o ni m a g ew h i c hi sc o m p o s e do ft h e m o s tc o m p a r a b i l i t yc h a r a c t e r si se x p o r t e d t h ee x p e r i m e n ts h o w st h a t t h i sm e t h o d p r o v e st ob eb e t t e ri nb o t ht h ec o g n i z a b i l i t ya n dv e r a c i t yo ft h ec h a r a c t e r k e yw o r d s ：s u p e r - r e s o l u t i o n ，e x a m p l e - b a s e d ，g r a d i e n tm a t c h i n g ，c h a r a c t e r s e g m e n t a t i o n 第i i 页 国防科学技术大学研究生院工学硕七学何论文 表目录 表3 1 原始图像与基于例子方法和本文方法输出图像m s e 比较3 0 表3 2 原始图像与基于例子方法和本文方法输出图像p s n r 比较3 2 表4 1 字符“8 ”的8 个分块的匹配块来源及其权重与相似度计算结果4 1 第1 i i 页 国防科学技术大学研究生院t 学硕士学位论文 图目录 图1 1 基于学习的超分辨率复原框架6 图2 1 低分辨率图像观察模型13 图3 1 马尔可夫网络模型2 2 图3 2 基于例子方法分块示意图2 3 图3 3 基于例子方法学习过程2 3 图3 4 不同训练样本下基于例子方法实验结果2 4 图3 5 不同训练样本数目下超分辨率结果对比图2 5 图3 6 不同训练样本数目下超分辨率重建质量曲线2 5 图3 7 不同分块大小超分辨率结果。2 6 图3 8 不同放大倍数下超分辨率结果对比图，2 6 图3 9 彩色图像超分辨率结果2 7 图3 1 0 梯度块搜索矢量构造方法与文献【2 8 】方法得到的最优匹配块对比图一2 8 图3 1 2o r l 人脸库中部分人脸图像3 0 图3 1 3o r l 人脸库实验结果3 1 图3 1 4 身份证图像实验结果3 2 图3 1 5 数字图像实验结果对比图3 3 图4 1 字符串垂直投影图3 7 图4 2 基于字符分割的文本图像超分辨率框架3 8 图4 3 基于字符分割方法低频图像分块示意图3 8 图4 4 阿拉伯数字图像实验结果4 0 图4 5 英文字母图像实验结果4 1 图4 6 汉字数字图像实验结果4 2 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王趔至鲍圈篮蕉佥羞窒重建垫盔盈窥 学位论文作者签名：蛰函丝日期：w 矿年i 月如日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：基王剑鲍圈篮蚣羞室重建垫z 睦珏塞 学位论文作者签名：一蛰专9 怠皇 作者指导教师签名：么豸兰母 日期：加汐7 年1 月歹秒日 日期：口7 年i 月夕汐日 国防科学技术大学研究生院下学硕士学位论文 第一章绪论 1 1 问题的提出 上世纪7 0 年代以来，c c d 和c m o s 图像传感器已广泛应用于数字图像的获取。 空间分辨率是决定图像质量的重要因素，高分辨率图像不仅给人以较好的视觉感受， 更能为实际的识别以及图像分析提供更多的有用信息。然而在实际成像过程中，由 于成像系统固有的传感器阵列排列密度的限制，图像的分辨率不可能很高；同时欠 采样效应又会造成图像的频谱交叠，使获取的图像因变形效应而发生降质。另一方 面，由于大气扰动、景物与摄像机之间的相对运动、噪声等退化过程，使实际得到 的图像质量较差、分辨率低，需要提高图像的空间分辨率。提高空间分辨率最直接 的方法是降低单个像素的尺寸，提高单位面积的像素数目。目前每个c c d 的尺寸 己达下限，进一步降低每个c c d 面积，信噪比( s n r ) 将会太低以至无法正常使用。 提高空间分辨率的另一个方法是提高芯片尺寸，但这将导致电容增加从而使得电荷 转移速度下降。从硬件上提高图像空间分辨率已经十分困难，因此，越来越多的研 究者开始关注用信号处理方法来突破成像系统固有分辨率的局限，获得高分辨率图 像，这一方法被称为图像超分辨率( s s u p e r - r e s o l u t i o n ) 重建技术。 图像超分辨率重建技术就是利用一组低质量、低分辨率图像( 或运动序列) 来产 生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医 学，公共安全，计算机视觉等方面都存在着重要的应用前景。 在军事遥感侦查领域，由于受到成像条件与红外成像系统分辨率的限制，不可 能获得分辨率很高的图像，对所获得的低分辨率图像进行超分辨率重建，能在不改 变成像系统的前提下提高对军事目标的识别能力和识别精度。 在医学成像领域，通常需要识别并确定病变体( 如肿瘤) 的精确位置和详细情 况，通过图像超分辨率重建，能够提高图像质量，为医生准确的判断提供更多有用 信息。 在公共安全领域，由于成本和技术限制，以及成像环境影响导致摄像头拍摄到 的视频分辨率有限，当有异常情况发生时，对监控录像进行超分辨重建，如对拍摄 到的车牌号、人物特征等进行超分辨重建，能提高相应的识别能力，为事件的处理 提供重要线索。 在计算机视觉领域，图像超分辨率重建技术有可能使图像实现从检出水平 ( d e t e c t i o nl e v e l ) l 句识别水平( r e c o g n i t i o nl e v e l ) 的转化，或更进一步实现向细辨水平 ( i d e n t i f i c a t i o nl e v e l ) 的转化。图像超分辨率重建技术可以提高图像的识别能力和识别 精度。图像超分辨率重建技术可以实现目标物的专注分析，从而可以获取感兴趣区 第l 页 国防科学技术大学研究生院工学硕十学位论文 域更高空问分辨率的图像，而不必直接采用数据量巨大的高空i 日j 分辨率图像的配置。 正因为如此，图像超分辨率重建技术近年来已成为国内外图像处理领域的热点 课题之一，受到广泛的关注。 1 2 国内外研究现状 图像超分辨率重建技术于6 0 年代由h a r r i s 和g o o d m a i l 【l 】最初以单张影像复原的 概念和方法提出。1 9 8 4 年，h u a n g 等f 2 】在对卫星遥感图像进行分辨率提高的研究时， 首先提出了基于序列或多帧图像的图像超分辨率重建问题，并给出了基于频域逼近 的图像重建方法。目前超分辨率技术主要有以下两大类：基于重建的方法、基于学 习的方法。 1 2 1 基于重建的超分辨率方法 基于重建的超分辨率方法的基础是均衡及非均衡采样定理。它假设低分辨率的 输入采样信号( 图像) 能很好地预估出原始的高分辨率信号( 图像) 。绝大多数超分辨 率算法都属于这一类，其中主要包括频域法和空域法。 1 2 1 1 频域法 频率域方法是图像超分辨率重建中一类重要方法，其中最主要的是消混叠重建 方法。消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原， 最早的研究工作是由t s a i 和h u a n g 2 】在1 9 8 4 年进行的。在原始场景信号带宽有限的 假设下，利用离散傅立叶变换和连续傅立叶变换之间的平移、混叠性质，给出了一 个由一系列欠采样观察图像数据复原高分辨率图像的公式。多幅观察图像经混频而 得到的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系 起来，方程组的解就是原始图像的频率域系数，再对频率域系数进行傅立叶逆变换 就可以实现原始图像的准确复原。t s a i 和h u a n g 的方法具有计算简单的优点，但不 足之处在于模型没有考虑光学系统的点扩散函数、运动模糊和观测噪声的影响。由 于模型建立在整体平移的基础上，缺少灵活性，从而限制了在大多数实际情况下频 率域方法的适用性。 t e k a l p ，o z k a n 和s e z a l l 3 1 针对t s a i 和h u a n g 方法的缺点，在1 9 9 2 年提出一种 改进的频率域方法，对以前的方法进行了扩展。该方法中包括了线性平移不变的点 扩散函数和观测噪声。n h a t t 4 于2 0 0 0 年在t s a i 和h u a n g 的算法基础上提出了另一 种估计帧间整体平移参数的算法，该算法最主要的贡献在于计算整体平移时与t s a i 和h u a n g 的方法相比有很大的进步，对提高效率方面有很大的帮助。e l a d 等【5 】提出 了一种基于数据驱动的稳健计算方法，该方法具有较少的计算复杂度，便于硬件实 现，但缺点是所得到的解答不一定是最优解。后来，还出现了用递归最小二乘法以 第2 页 国防科学技术大学研究生院工学硕士学位论文 及基于多通道采样定理的方法，但总的来说，这些方法都是在t s a i 和h u a n g 方法上 的改进，都是算法复杂度和解的优劣性之间的权衡，并没有在理论上取得重大的突 破。 1 2 1 2 空域法 在空域类方法中，其线性空域观测模型涉及全局和局部运动、光学模糊、帧内 运动模糊、空间可变点扩散函数、非理想采样等内容。此时成像模型可描述为： 】，= h x + n ( 1 1 ) 其中，v _ - t y , r y ：】t 表示像；h = 【“卅】t 表示运动补偿、欠采样和退化的 影响；x 表示原物；n 表示噪声。 空域方法具有很强的包含空域先验约束的能力，主要包括非均匀空间样本内插、 迭代反投影方法、凸集投影法、最大后验概率以及混合m a p p o c s 方法、最优和 自适应滤波方法、确定性重建方法等。 l 、非均匀空间样本内插方法 非均匀空间样本内插方法【6 】是先对低分辨率图像序列进行运动补偿，再采用内 插方法产生单幅高密度合成图像，以这个合成图像为初始值，采样l a n d w e b e r 迭代 法来重建超分辨率图像。非均匀空间样本内插方法计算复杂度低，易于实现，缺点 是观测模型只适用于所有低分辨率图像的模糊和噪声特征相同的情况。此外，由于 恢复时忽略了插值过程引入的误差，无法保证整个复原算法的最优。 2 、迭代反投影方法 迭代反投影方法( i b p ) t 7 ，8 】首先用输出图像的一个初始估计作为当前结果，再将 其投影到低分辨率观测图像上以获得低分辨率模拟图像。通过低分辨率模拟图像与 实际观测图像的差值不断更新当前估计。用i b p 方法估计高分辨率图像的公式为 叠斛1 【，z l ，刀2 】= 曼”【确，1 2 】+ ( y 七【秭，所2 】鳕【聊l ，m 2 】) 即 所l ，m 2 ；惕，聆2 】 m t , m ：6 2 ( 1 2 ) 式中鱿是x 经过n 次迭代估计得到的模拟l r 图像，1 2 表示集合 ，掰2 儿l 棚l ，m 2 受刀l ，疗2 影响，l i ，1 2 工) ，办胛( 加l ，m 2 ；n l ，刀2 ) 为反投影的核，决定 误差y i 【m 1 ，搠2 】一鱿【m l ，聊2 】对妒h ，刀2 】的影响。 i b p 通过观测方程使超分辨率复原与观测数据匹配，直观，简单，但其重建结 果不唯一，而且难以引入先验约束。 3 、凸集投影方法 凸集投影方法( p r o j e c t i o no n t oc o n v e xs e t s ，p o c s ) 的基本理论由s t a r k 9 1 等人 提出，这种方法将各种先验条件定义为一系列凸集c i ，认为恢复结果的最优估计应 第3 页 国防科学技术大学研究生院t 学硕士学位论文 当在这些凸集的交集c ，= n ：t c ，当中。于是结合图像的解空间，将当前的最优估计 循环投影到这些凸集当中，从而迭代更新估计结果。 x 斛1 = 匕己- 1 一p e 只, x 一 ( 1 3 ) 式中n 为迭代次数，x 0 为任意起始点，p i 为映射算子，将任何信号映射到闭合 凸集c i 中。有时候为了加快迭代过程，可以给投影操作选取适当的松弛参数。 常用的凸集如下： 幅度限制c ： c a = g ( x ，y ) ：口g ( x ，y ) s ( 1 4 ) 能量限制g ： q = g ( x ，y ) ：l l g l l 2 e ) ( 1 5 ) 相似限制g ： c r = g ( z ，y ) ：l l g 一厶1 1 2 - - - s d ( 1 6 ) 有限支持域限制c ： g = g ( x ，y ) ：g ( x ，y ) = 0 f o r ( x ，y ) 诺a ( 1 7 ) p o c s 方法直观、简单，但投影操作数的计算相对复杂，可以采用各种观察模 型，包括空间可变的，以及各种运动变换，然而收敛速度比较慢，往往采用松弛法； 而且由于是凸集上投影的解，所以解不唯一，而且跟初始值有关，不能引入图像的 马尔科夫随机场特性。 4 、最大后验概率方法 最大后验概率( m a x i m u map o s t e r i o r i ，m a p ) 最早由s c h u l t z ，s t e v e n s 1 0 - 1 2 】引入 到超分辨率领域当中。它将超分辨率图像视为一个复杂最优化问题的m a p 解，使 用先验平滑假设来减少不连续测量的影响。最大后验概率( m a p ) 的含义就是在已知 低分辨率视频序列的前提下，使出现高分辨率图像的后验概率密度函数尸( x l y t ) 达到 最大，即 x = a r g m a x p ( x l y l ，j ，2 ，y p ) = a r g m a x i n p ( y l ，y 2 ，y p i x ) + i n p ( x ) ( 1 8 ) 其中，原始高分辨率图像的先验模型p ( x ) 可以由高分辨率图像的先验知识确定， 条件概率密度p ( y t ，j ，2 ，y p i x ) 由噪声的统计信息确定。p ( x ) 通常采用m r f 模型， 可以用下式表示。 p ( x = x ) = 芎1e x p 一u ( x ) ) = 专e x p 一纯( x ) ) 厶 厶 c s s ( 1 9 ) 式中，z 为归一化常数；u ( x ) 为能量函数：仍【x ) 为势能函数；s 表示区域集合。 第4 页 国防科学技术大学研究生院工学硕士学位论文 基于m a p 的超分辨率算法其框架模型直接考虑先验知识，可以提供十分方便、 直观的成像模型，并可实现运动估计和图像重建的同时求解，缺点是收敛慢和运算 量大。另外，最大后验概率估计算法的边缘保持能力不如凸集投影方法，由这类方 法获得的高分辨率图像的细节容易被平滑掉。 5 、混合方法 m a p p o c s 混合法【1 3 】综合利用了这两种算法各自的优点，在最大后验概率方 法的迭代优化过程中加入了一些先验约束。通过定义一个凸优化问题，将m a p 的 简单性和p o c s 的非椭圆约束结合起来 m i n e 2 = 儿一叫7 群1 眦一w k x + a s x 2 踟) r 1 1 0 ) x c k ，1 k m ) 式中，i b 为噪声的自相关函数；s 为l a p l a c i a n 算子；v 为加权矩阵，控制每 个像素的平滑程度；c k 为额外的约束。 混合方法的特点是所有的先验知识都可以有效地结合适用，已有的理论证实， 只有采用梯度下降最优化方法才能保证这种m a p p o c s 方法收敛到全局最优解。 6 、最优和自适应滤波方法 最优和自适应滤波方法通过滤波直接消除退化因素，获得高分辨率图像。 j a c q u e m o d ，0 d e t 和g o u t e 1 4 】提出针对亚像素平移运动假设的反卷积恢复方法，但是 该方法不适用于更一般的运动模型，且在加入先验条件上有一定限制。e r d e m ，s e z a n 和o z k a n t l 5 】提出线性最小均方差估计( l m m s e ) 方法，用运动补偿的维纳滤波方法来 恢复l s i 空间模糊含有噪声的图像序列。他们的方法同样也不易于加入先验限制。 p a t t i 和s e z a n 1 6 1 以及e l a d 和f e u e r 1 7 , 1 8 1 将基于自适应滤波尤其是k a l m a n 滤波的方法 用到了超分辨率图像重建。该方法的不足是最优滤波方法不能包含先验，自适应滤 波不能包含非线性先验。 7 、确定性正则化方法 确定性重建方法构造图像退化的前向模型，根据图像和模糊的先验知识构造正 则化最小化泛函来估计高分辨率图像，已采用的正则有t i k h o n o v 正则【1 9 1 、总最小 二乘【2 0 1 、扩散张量正贝l j t 2 、总变差1 2 2 和双边正则嗍等。如常用的有约束的最小二乘 法来最小化l a g r a n g e 方程。 艺忱一x | 1 2 + 口f b1 1 2 k = l ” ( 1 1 1 ) 式中，c 为高通滤波系数；表示l 2 范数。a 为正则化参数。通过最小化代 价函数式( 1 1 1 ) ，就可以求解得到一幅惟一的估计图像x ，用确定性迭代方法求解以 下公式 第5 页 国防科学技术大学研究生院工学硕士学位论文 町呒+ 们r c 】曼= e w ：y 。 扣i阔 ( 1 1 2 ) 舅的迭代解为 口 = 曼”+ 历嘭( y 。一呒圣”) 一以r ”】 k = l ( 1 1 3 ) 式中，为收敛因子；眸包含上采样算子、模糊算子和变形算子。 确定性重建方法能处理复杂的图像退化模型及图像模糊、图像运动等盲估计问 题，但计算量大。 总的来说，基于重建的方法发展比较成熟，主要针对图像空间信息的增强和重 建，在一些情况下取得了不错的效果。但是基于重建的超分辨率方法需要建立符合 实际成像系统和成像条件的降质模型并对图像序列进行精确的亚像素运动估计，这 在实际处理中都是非常困难的。 1 2 2 基于学习的超分辨率方法 基于学习的方法是近年来超分辨率算法研究中的热点，它采用大量的高分辨率 图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模 型获得的先验知识，以得到图像的高频细节，获得较好的图像恢复效果。其复原框 架如图1 1 所示【2 4 】。具体步骤为： 囫代旋低频信息圈代：；乏高频编怎 图1 i 基于学习的超分辨率复原框架 ( 1 ) 将高分辨率图像按照降质模型进行降质，产生训练集。 ( 2 ) 根据高分辨率图像的低频部分和高频部分对应关系对图像分块，通过一定 算法进行学习，获得先验知识，建立学习模型。 ( 3 ) 以输入的低分辨率块为依据，在建立好的训练集中搜索最匹配的高频块。 基于学习的超分辨率方法中关键是建立学习模型，获得先验知识。常用的学习 第6 页 国防科学技术大学研究生院工学硕士学位论文 模型有马尔科夫随机场模型、图像金字塔模型、神经网络模型、主成分分析模型等。 基于学习的方法充分利用了图像本身的先验知识，在不增加输入图像样本数量的情 况下仍能产生高频细节，获得比基于重建方法更好的复原结果，并能较好的应用于 人脸和文字等图像的复原。目前基于学习的超分辨率方法主要有： l 、幻觉人脸方法( f a c eh a l l u c i n a t i o n ) 基于大量学习库进行图像超分辨率的思想最早由b a k e r 和k a l l a d a 【2 5 1 提出并应用 于人脸图像的分辨率增强，被称之为幻觉人脸。他们提出了基于人脸图像构造三种 p y r a m i d ，并据此在低分辨率图像中利用梯度和高频信息构造父结构( p a r e n t s t r u c t u r e ) ，然后在学习库中寻找高分辨率图像中最匹配的父结构，将搜索结果所包 含的高频信息补充到低分辨率图像当中。此后在文献【2 6 】中分析了超分辨率技术的恢 复极限和如何冲破这一极限。l i uc 等【2 7 】将一幅人脸图像分解为l o c a li m a g e 和 g l o b a li m a g e 两部分，分别对其进行最优估计，然后合成为恢复的结果图像，达到 了较好的恢复效果。这种方法由于增加了人脸先验条件，使得超分辨率的质量得到 大幅提高，但对于非正面人脸效果相对较差。 2 、基于例子的方法( e x a m p l e b a s e d ) f r e e m a n 等人【2 8 , 2 9 】提出了一种基于例子的超分辨率方法。该方法引入m a r k o v 网 络对数字图像进行建模，通过对训练集进行训练得到高频低频信息对，在对低分辨 率图像进行恢复时，以分块的思想对低分辨率图像中的每一块在训练集中寻找最为 匹配的高频低频信息对，将低分辨率图像损失的高频信息补充进去。b i s h o p 3 0 】等对 此方法进行了改进，通过有效组织图像块数据库来提高匹配效率。s u n t 3 l 】等则提出 通过主要轮廓先验增强图像质量。 这种方法可以获取丰富的高频信息，在放大4 倍时仍能获得较高的图像质量。 缺点是训练样本的选择要求较高，对噪声极为敏感。 本文主要研究基于例子的超分辨率方法及其在文本图像超分辨率中的应用，下 文中基于例子的超分辨率方法简记为例子超分辨率方法。 3 、基于流形学习的方法【j 2 j 香港科技大学的c h a n g 等学者【3 3 】最早将流形学习的思想用于超分辨率，提出一 种基于邻域嵌入的超分辨率重建算法。其基本思想是，假设高分辨率和低分辨率图 像块可以构成具有相似局部几何结构的流形，借助于由一组低分辨率图像及其对应 的高分辨率图像组成的训练集来估计未知的超分辨率图像。s u 等人1 3 4 】贝0 对“邻近邻 居问题进行了探讨，研究了不同的下采样因子和下采样方法对邻居保持的影响， 指出用一阶和二阶梯度作为特征提取的方法不能很好地保持邻居特性，因而需要寻 求更好的可以保持邻居特性的特征表示或者选择更好的重建函数来提高算法的性 能。m i n g 等人【3 5 】考虑了训练图像选择的问题，提出不同类型的图像的直方图是不 第7 页 国防科学技术大学研究生院工学硕十学位论文 一样的，因而町以利用直方图的欧氏距离选择训练图像，然后在流形学习的框架下 进行超分辨率重建。s u n g 等人【3 6 】将流形学习中的局部保持投影( 1 0 c a l i t yp r e s o r r i n g p r o j e c t i o n ，l p p ) 方法用于幻觉人脸，以更清楚地定义未知测试图像与训练图像间的 映射函数。q i a o 等人【3 7 】提出一种不随光照变化的图像表示方法一对数小波变换 ( l o g w n ，并将其应用于超分辨率重建，构造低维嵌套空间，然后在流形学习的框 架下重建高分辨率图像，同时进行图像增强，消除阴影效应，有效克服了传统方法 对光照敏感的缺点。 相对于基于例子方法，流行学习方法需要较少训练样本，且对噪声不是特别敏 感。 4 、其他方法【3 2 】 k a r l 和n g u y e n 等【3 8 - 4 0 l 提出了使用支持向量回归( s v r ) 实现图像的超分辨率， 他们通过加入一些额外的约束条件把k e r n e l 学习由半正定规划问题转化为二次规划 问题求解，对于测试数据，则先对图像p a t c h 进行内容分类，再在其所属的类中做 支持向量回归，得到高分辨率p a t c h 。y a n g 等【4 l l 提出了使用图形p a t c h 的稀疏表示 来实现超分辨率。他们从一些高分辨率图像中随机选取一些p a t c h 组成一个过完备 的词典( o v e rc o m p l e t ed i c t i o n a r y ) ，接着对于每一个测试p a t c h ，通过线性规划的方法 求得该测试p a t c h 在这个过完备词典下的稀疏表示，最后以这组系数加权重构出高 分辨率的图像。乔建苹等【4 2 】提出一种基于支持向量机的盲超分辨率图像重建算法。 其基本思想是假设模糊函数类型已知，且可由某一参数来表征，从模式识别的角度 出发，参数辨识可以看作多类分类问题，即从模糊图像中提取出可以代表该图像模 糊程度的特征向量，然后采用机器学习的方法训练这些特征矢量与对应的模糊参数 的映射关系，最后用于盲超分辨率重建。l i u 等【4 3 】提出一种基于独立分量分析( i c a ) 的人脸超分辨率重建算法。其基本思想是，假设p 个独立分量张成空间q ，则每幅 图像可以看作空间中的一点，即可以由这些独立分量线性组合而成，利用i c a 从高 分辨率训练图像中提取出独立分量，同时估计i c a 系数的先验。给定一幅低分辨率 图像，结合最大后验概率( m a p ) 估计理论求出i c a 系数，然后i c a 反变换得到高分 辨率图像的近似估计。有效实现了人脸超分辨率重建，保持了人脸整体结构特征， 且对光照、表情、姿态等具有一定的鲁棒性。 另外，l i n 等 4 4 a 5 1 对于超分辨率放大极限进行了讨论，n g 【4 6 】等对超分辨率的数 学方法进行了研究。 1 2 3 未来发展方向 目前，图像超分辨率重建的研究比较成熟，但距离实用还有较大差距。未来研 究方向主要集中在以下几个方面： 第8 页 国防科学技术大学研究生院工学硕士学位论文 1 ) 发展和寻求新的退化模型，使成像模型更加精确和全面，实现对点扩散函数 和噪声的精确估计。图像超分辨率增强的成功依赖于准确的、符合实际成像系统特 性和成像条件的降质模型，而要获得符合实际成像过程的降质模型是十分困难的， 通常采用简单、确定的降质模型进行近似，这样的近似模型与实际成像过程差距较 大。 2 ) 压缩域的超分辨率重建。传统的超分辨率算法都是针对图像序列，而实际中 最常见的图像序列是视频文件。因而下一步的工作可以针对不同的视频压缩格式和 编解码技术，在超分辨率算法中综合考虑成像模型和压缩算法带来的图像降质效果， 以及运动补偿和编码传输机制，实现压缩域的超分辨率重建。 3 ) 效率和鲁棒性问题。目前的超分辨率算法具有很高的计算复杂度，如何减少 计算量，提高算法速度，是下一步值得研究问题。同时，在目前很多算法中都做了 各种假设，如照度不变等，这在实际应用中是很难满足的，因此需要研究稳健的算 法满足实际应用的需要。 4 ) 模糊图像和三维图像的超分辨率研究。模糊一直是图像处理中的一个难点， 如何对模糊图像进行超分辨率需要进一步研究。目前针对三维图像的超分辨率研究 还很少，如何对三维图像进行建模也是一个值得研究的课题。 5 ) 超分辨率客观评价标准研究。目前对于图像超分辨率结果主要依靠人的主观 评价，缺少一种客观的评价标准，现有的p s n r 、m s e 等并不能很好的反映超分辨 率效果，需要发展一种客观的评价机制。 1 3 本文工作 本文从低分辨率成像的数学模型出发，回顾了基于重建和基于学习的超分辨率 方法，总结了超分辨率图像重建中的图像模型。针对基于学习的超分辨率方法中的 基于例子方法进行了详细的分析，在总结其优缺点基础上提出了基于梯度匹配的超 分辨率学习方法。对于文本图像的超分辨率重建进行研究，提出一种切实可行的文 本图像超分辨率方法。论文的研究成果主要包括以下几个方面： ( 1 ) 在详细地分析超分辨率恢复原理的基础上对到目前为止出现的主要超分辨 率算法进行分析和比较，从原理上分析了各算法的特点。 ( 2 ) 基于梯度匹配的超分辨率方法研究。 本文从训练样本的选取、训练样本数目、训练集分块大小、放大倍数等方面对 基于例子方法进行实验，并在分析其优缺点基础了提出基于梯度匹配的超分辨率方 法。将梯度匹配增强到搜索矢量构造过程中，从而能在训练集中找到更符合真实结 构分布的高分辨率信息，提高超分辨率增强的效果。实验结果表明，该方法得到的 高分辨率图像边缘更锐利，视觉效果更好。 第9 页 国防科学技术大学研究生院工学硕士学位论文 ( 3 ) 提出了一种文本图像超分辨率方法。 以往的超分辨率方法一般针对人脸图像，对于文本图像进行超分辨率的方法较 少，并且大部分方法效果不明显。本文针对文本图像的具体特点，结合字符分割识 别方法与基于例子方法，提出了基于字符分割的文本图像的超分辨率方法。首先对 文本图像进行字符分割，然后对单个字符用基于例子方法的思想进行超分辨率，匹 配过程中采用c w s s i m 匹配准则寻找最优匹配块，统计每个字符所有分块在训练 集中最匹配分块的来源，得到每个字符对应于某个字符的概率，输出概率最大的字 符。实验结果表明不论是在字符的可辨识性还是准确度上都较以往方法有较大改进。 1 4 论文的组织结构 根据论文研究的主要内容和研究成果，本文共分五章，各章的内容如下： 第一章，绪论。概述了超分辨率图像重建的研究背景和研究现状，对当前两类 主要的超分辨率方法进行了详细的阐述，并对今后的发展方向进行了分析。最后介 绍了论文的主要工作和论文的组织结构。 第二章，图像超分辨率重建技术。介绍了图像超分辨率的数学基础，重点描述 了图像超分辨率重建中用到的各种图像模型，并对图像超分辨率重建的质量评价指 标进行了介绍。 第三章，基于梯度匹配的超分辨率方法研究。详细阐述了基于例子得超分辨率 方法，并分析了训练样本、分块大小、放大倍数对其影响。在此基础上形成了本文 基于梯度匹配的方法，详细分析了