（控制科学与工程专业论文）基于多任务学习的图像超分辨率重建方法研究.pdf

基于多任务学习的图像超分辨率蕈建方法研究 摘要 由于光学成像系统本身的物理属性限制以及外界环境的影响，获得的图像分 辨率可能达不到应用的要求，于是人们希望对现有的低分辨率图像进行超分辨率 重建。图像超分辨率重建技术是近年来图像处理领域最活跃的研究课题之一。该 技术的基本思想是从一幅低分辨率图像或者多幅低分辨率图像得到一幅高分辨率 图像。它可以恢复截止频率之外的信息，使图像具有更丰富的细节信息，这一技 术不仅在实际生活中有广泛的应用领域，而且在理论上具有很重要的意义。 本文针对基于学习算法解决超分辨率重建问题，完成的主要工作有： 从频域和空域角度详细研究并分析了图像超分辨率重建技术相关算法的原 理、实现及其优缺点。包括传统插值算法、迭代反投影法、凸集投影算法算法、 概率统计法和基于单任务学习重建算法。 针对利用单任务学习解决复杂学习问题时精度不高和抗噪能力差的缺点，研 究了一种多任务学习算法。详细分析了该算法的理论框架以及在引入关系测度因 子的基础上进行运算的简化。在此框架基础上，结合支持向量回归理论，对多任 务学习回归算法的目标优化函数以及对偶问题进行了详细推导。 提出了基于多任务学习的图像超分辨率重建技术。为了使观测数据更具有针 对性，首先利用高斯混合模型对图像像素进行了分类，并根据最大隶属度原则为 不同的像素类选择训练数据集合。利用多任务回归算法获得类像素映射模型。重 建过程就是由这些类映射模型与隶属度系数内积而成。实验结果表明，本文提出 的方法取得了较好的重建效果。 关键词：图像超分辨率重建：单任务学习算法；多任务学习算法；高斯混合模型； 期望一最大化算法 i l a b s t r a c t l i m i t e db yt h ei n h e r e n tp r o p e r t i e so fo p t i c a li m a g i n gs y s t e ma n d t h ei n n u e n c e s o ft h ee n v i r o n m e n to u t s i d e ，t h er e s o l u t i o no ft h ea c q u i r e di m a g e sm a yn o tr e a c ht h e a p p l i c a t i o ns t a n d a r d h i 曲e rr e s o l u t i o ni m a g e sa r ed e s i r e d i m a g es u p e r - r e s o l u t i o n r e c o n s t r u c t i o nh a sb e e no n eo ft h em o s ta c t i v es u b j e c t si nt h ei m a g ep r o c e s sf i e l df o r t h e s ey e a r s t h eb a s i ci d e ai st og e tah i g hr e s o l u t i o ni m a g ef r o mo n el o w r e s o l u t l o n i m a g eo rs o m el o wr e s o l u t i o ni m a g e s i tc a nr e s t o r e t h ei n f 0 咖a t i o nb e y o n dt h e c u t o f ff r e q u e n c y ， s ot h ea c q u i r e di m a g e sh a v em o r ed e t a i l e d i n f o m a t i o n t h i s t e c h n i q u ei sn o to n l yw i d e l yu s e di nm a n ya r e a si no u rd a i l yl i f e ，b u th a si m p o r t a n t m e a n i n g sf o rt h e o r e t i c a lr e s e a r c h t h i st h e s i si sa b o u tt h ei m a g es u p e r r e s o l u t i o nr e c o n s t r u c t i o nb a s e do nm a c h i n e l e a m i n g t h em a i nw o r kc o m p l e t e di sa sf o l l o w s ： t h ec l a s s i c a la l g o r i t h m sf o rs u p e r r e s o l u t i o nr e c o n s t r u c t i o ni nb o t hs p a t i a la n d f r e q u e n c yd o m a i na n dt h e i rc h a r a c t e r sh a v eb e e ns t u d i e di nd e t a i l i n c l u d i n gt h e c l a s s i c a li n t e r p o l a t i o na l g o r i t h m ， i b pa l g o r i t h m ，p o c sa l g o r i t h m ，p r o b a b i l i t y s t a t i s t i c sb a s e dm e t h o da n dt h er e c o n s t r u c t i o na l g o r i t h m b a s e do ns i n g l e - t a s k l e a m i n g t bm a k eu pf o rt h el o w e rp r e c i s i o na n dw o r s ea b i l i t yo fn o i s er e s i s t a n c ec a u s e d b yt h eu s i n go fs i n g l et a s kl e a m i n gd u r i n gt h es o l u t i o no fc o m p l e xl e a m i n g p r o b l e m ，a m u l t i t a s kl e a r n i n ga l g o r i t h mi sd e e p l ys t u d i e d t h ef r a m e w o r ki sa n a l y z e di nt h e o r y ， a n du n d e rt h ec o n d i t i o nt h a tf a c t o r s ，w h i c hc a nd e s c r i b et h er e l a t i o n s h i pa m o n gt a s k s ， a r ei n t r o d u c e d ，t h ec o m p u t a t i o nc o m p l e x i t yi sr e d u c e d a c c o r d i n gt ot h ef r a m e w o r k ， t h eo b ie c to p t i m a lf u n c t i o na n dt h ed u a lp r o b l e mf o rm u l t i t a s kr e g r e s s i o nl e a m l n g a r e d e d u c e dt h r o u g hc o m b i n i n gw i t hs u p p o r tv e c t o rr e g r e s s l o n t h i st h e s i sp r o p o s e sa ni m a g es u p e r r e s o l u t i o nr e c o n s t r u c t i o na lg o r i t h mb a s e d o n m u l t i t a s kl e a m i n g i no r d e rt oi n l p r o v et h ea c c u r a c yo fl e a r n i n g ，t h ep i x e l so f t h e i m a g ei sf i r s t l yc l a s s i n e du s i n gg a u s s i a nm i x t u r em o d e la n d t h et r a i n i n gd a t af o fe a c h p i x e lc l a s sa r ec h o s ea c c o r d i n gt ot h em a x i m u mm e m b e r s h i pp r i n c i p l e t h e nt h em a p m o d e lf o re a c hp i x e lc l a s si se s t a b l i s h e du s i n gm u l t i t a s kl e a r n i n g f o fr e g r e s s i o n a l g o r i t h m t h er e c o n s t r u c t i o ni st h ei n n e rp r o d u c to ft h em a pm o d e la n dt h e m e m b e r s h i pg r a d e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e dm e t h o dg e t a b e t t e rr e s u l t i i l 基于多任务学习的图像超分辨牢霞建方法研究 k e yw o r d s ：i m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ；s i n g l e t a s kl e a r n i n g ；m u l t i - t a s k l e a r n i n g ；g a u s s i a nm i x t u r em o d e l ；e x p e c t a t i o n m a x i m i z a t i o na l g o r i t h m i v 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： r 杞平 1 日期：汐吵年r 月乡日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“ ) 作者签名： 导师签名： 日期： 日期： 年芏日易| b 年厂月；1 硕士学位论文 第1 章绪论 图像信息是人类认识世界的重要知识来源，科学研究和数据统计表明，人类 所得的外界信息有7 0 以上来自图像n 1 。它是通过各种观测系统以不同形式和手 段观测客观世界而获得的，可以直接或者间接作用于人眼进而产生视知觉的实体。 近年来，数字图像处理技术已经深入到人类生活和发展的各个方面。 1 1 课题的背景 图像分辨率是成像系统对输出图像细节分辨能力的一种度量，也是图像中目 标细微程度的指标，它表征景物信息的详细程度。对“景物信息”的不同诠释就 会对图像分辨率产生不同的理解，对细节不同侧面的应用又可以得到图像不同侧 面的度量。例如，对图像成像过程中光辐射度的最小可分辨差异的度量可由辐射 分辨率( r a d i o m e t r i cr e s 0 1 u t i o n ) 来表达；对同一目标的序列图像成像的时间间隔称 为时间分辨率( t c m p o r a lr e s o l u t i o n ) ；对图像光谱细节的分辨能力用光谱分辨率 ( s p e c t r a lr e s o l u t i o n ) 来表达；而把图像目标的空间细节在图像中可分辨的最小尺 寸称为图像的空间分辨率( s p a t i o n a lr e s o l u t i o n ) 。本文中若未特别指出，一般提到 的图像分辨率是指空间分辨率乜】。 图像的空间分辨率是图像质量评价中的一个关键性指标，也是图像应用中举 足轻重的一个参数。分辨率越高意味着像素密度越高，细节越精细，提供的信息 也越丰富。然而在图像的摄取、传输和存储的过程中，由于成像仪器本身物理属 性的限制以及外界环境条件的干扰，使得获取的图像不可避免地加入不同程度的 模糊和噪声，从而导致图像质量的下降。造成此现象的主要因素有由光的衍射决 定的光学系统分辨极限、探测器件的探测分辨率、信噪比等口 6 1 。 传统的描述光学成像分辨率的手段是两点分辨极限准则，其中最常用的是 r a y l e i g h 准则。由于光的衍射，即使不存在像差，目标物上的一点也会通过光学 系统在成像面上形成一个被称为a i 眄像斑的圆盘光斑，该光斑以原目标物点对应 的几何像点为中心，以光的波长为半径。根据r a y l e i 曲准则，两个像斑的中心最 大值点若相互落在另一个像斑的边缘零点之外，如图1 1 所示，则认为这两像斑 对应的两个目标物点是可分辨的，在该临界点处的可分辨极限距离就是r a y l e i g h 分辨极限。 考虑到成像系统像差存在的情形下，目标物中点成像的散斑会更大，也不一 定是圆盘状，此时即为定义在空间的点扩散函数。点扩散函数的波及范围越大， 其形状越平滑，图像的空间分辨率也就越差。我们对成像点扩散函数进行f o u r i e r 基于多任务学习的图像超分辨率重建方法研究 变换可得到光学传递函数，继续对光学传递函数进行取模操作得到光学成像系统 的调制传递函数，它用来描述光学系统对物面系统光强分布明暗变化的传递特性。 一般来说，调制传递函数随空间频率的增高而下降，并存在一个截止频率，光学 系统不能够传递高于系统截止频率的图像。 s 广：斋 r 、 一 帮侨叠 纱心蓼 像面 i a 1 r y 像斑 图1 1 可分辨的两点成像示意图 成像系统的输出图像分辨率不仅取决于光学系统的调制传递函数，还取决于 探测器件( 如c c d ) 的探测分辨率，即空间采样频率。根据采样定理，通过探测器 的输出图像重构输入图像，探测器分辨率应高于输入图像空间分辨率的2 倍。其 中探测器的输入图像即为光学系统在探测器上所成的像。但受工艺水平的限制， 成像系统中探测器的探测往往低于n y q u i s t 频率，会发生频谱混叠，从而使成像 系统输出图像分辨率低于光学成像系统的成像分辨率。 由系统误差和随机误差形成的成像误差是任何成像系统都不可能避免的，系 统误差使成像的点扩散函数的形状不能精确确定，随机误差的存在则导致成像不 具备完全的可重现性，即每次成像均不相同，不可能重复上一次的结果。因此， 图像的空间分辨率与成像系统的信噪比( s i g n a ln o i s er a t i o ，s n r ) 有着十分密切的 关系。 通过对图像空间分辨率主要影响因素的分析，我们得到，提高成像系统的分 辨率，最直接的方法就是从改善硬件设备入手，主要包括以下几个方面：改进镜 头设计，提高光学系统分辨能力；改进电路和电路设计，提高信噪比；提高探测 器件的探测分辨率；对数字图像，增加模数转换的位数，降低量化误差也有利于 提高分辨率。但是在实际应用中，这些硬件上的改变将给生产工艺、散热和传输 等方面带来一系列问题。以遥感成像为例，天文研究的图像来自于发射到太空中 硕上学位论文 的照相机，这些照相机中的传感器的大小、尺寸和造价等都被严格的限定在一定 范围内，对硬件的改变要考虑的因素太多，难度加大。而在另一些情况中，对硬 件的改变是不可实现的，因为这样会导致光学成像系统在成像过程中空间采样率 不能满足n y q u i s t 采样定理而导致欠采样。可见从硬件方面着手提高图像的分辨 率技术难度较大，实现比较困难，即使实现也要付出巨大的经济代价。人们自然 想到对于特定的成像系统，可以利用间接的方法提高降质图像的空间分辨率，于 是图像超分辨率重建技术作为一种重要的、代价较低的提高图像质量的技术应运 而生。图像超分辨率重建技术的基本思想从一幅低分辨率图像中或者同一场景的 序列图像中得到一幅高分辨率图像。 综上所述，对图像超分辨率重建技术的研究有十分重要的应用意义，主要表 现在：改善由于图像离散化引起的空间分辨率下降；改善由于空间退化引发的空 间分辨率下降；弥补原有空间分辨率的不足，突破图像获取手段的空间分辨率极 限，发掘现有图像信息的潜力。 1 2 国内外研究现状 图像的超分辨率重建算法是指这样一类图像处理算法，它从一幅或同一场景 的序列图像出发，通过算法生成高质量、高分辨率图像。在重建过程中，在保证 低频带内图像的低频信息复原的基础上，对截止频率以上的高频信息进行重建， 从而获得更多的细节和信息，使得重建图像更加接近理想图像。本文用l r ( l o w r e s 0 1 u t i o n ) 表示低分辨率图像，h r ( h i 曲r e s o l u t i o n ) 表示高分辨率图像h 1 4 1 。 从目前的研究和应用成果来看，超分辨率重建算法主要有频率域算法和空间 域两类重建算法。早期的研究工作主要集中于前者，随着对此问题研究的深入， 研究人员将视角转移到空间域并取得了不错的效果。下面我们按照时间顺序介绍 超分辨率复原技术的研究历史以及研究现状。 1 9 8 4 年，t s a i 和h u a n g 最早提出多帧超分辨率重建问题并给出一个频域解决 算法。目的是为了改善陆地卫星( l a n d s a t ) 成像的空间分辨率。陆地卫星在轨期间 每18 天可以获得地球上同一地区的不同图像，从而形成同一地区一系列相似但并 非完全相同的图像序列。这些图像序列被模型化为同一幅不变的景物经整体平移 后的欠采样样本，它们在频域内表现为频谱的混叠。而该算法实现了无噪声和模 糊的情况下，利用连续f o u r i e r 与离散f o u r i e r 变换之间的移位、混叠性质，将h r 图像的f o u r i e r 系数表示成一系列配准的l r 图像的函数并通过计算线性方程组来 求解函数关系，从而实现由多帧l r 图像重建出一帧h r 图像n 引。该算法具有计 算简单的优点。 l9 8 8 年，k e r e n 等人提出通过利用低分辨率图像之间的像素内配信息来重建 高分辨率图像n 钔。首先进行低分辨率图像之间像素内的配准，然后根据配准信息 基于多任务学习的图像超分辨牢重建方法研究 来确定相应的超分辨率图像位置上的像素值，这是非均匀内插算法的雏形。 1 9 8 9 年，s t a r k 和o s k o u i 首次将凸集投影法( p r o j e c t i o no n t oc o n v e xs e t ，p o c s ) 应用于超分辨率图像重建n7 1 。p o c s 算法基本思想就是根据已知数据和对信号的 合理假设，将重建的h r 图像估计值不断向条件凸集投影，其中每个凸集表示对重 建图像的一个约束条件。虽然在该研究中也强调观测值噪声的问题，但所采用的 运动模型却仅假定图像获取时的整体平移，没有考虑运动模糊的效果。t e k a l p ， p a t t i 和s e z a n 在1 9 9 2 年和1 9 9 4 年分别指出了上述缺陷，提出了包含系统矩阵的运动 模型。该系统矩阵考虑了一种空间变化的点扩散函数，这种点扩散函数模型化了 由l r 图像采样引起的退化以及由于传感器和景物之间的相对运动产生的模糊。他 们提出基于p o c s 的超分辨率重建理论框架，同时考虑了频率混叠、传感器模糊、 运动模糊以及加性噪声n 8 1 9 1 。1 9 9 7 年，e l a d 和f e u e r 提出一种超分辨率方法，该方 法旨在提高最大后验概率估计保持边缘的能力，将最大后验估计与p o c s 算法相结 合，在最大后验概率迭代优化过程中加入了一些先验约束乜 。同时他们还提出了 一个超分辨率重建框架并进行了一系列研究卜2 引。 1 9 9 0 年，k i m 等人在假设所有l r 图像的模糊和噪声特性都相同的条件下， 利用加权最小二乘理论，将频域法应用在模糊含噪图像上。随后1 9 9 3 年，k i m 和s u 以此为基础研究了混入噪声且图像有退化的多帧欠采样图像提高空间分辨 率的方法，即解频谱混叠的加权迭代法和正则化迭代法，也就是应用t i k h o n o v 正 则性解决由模糊算子引发的病态问题乜引。 1 9 9 1 年，l r a n i 和p e l e g 提出了一种迭代反投影技术( i t e r a t i v eb a c k p r o j e c t i o n a l g o r i t h m ，i b p ) 来重建超分辨率图像凹钉。首先用输出图像的一个初始值作为当前结 果，并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低 分辨率模拟图像与实际观测图像的误差称为模拟误差，根据模拟误差不断更新当 前估计。它通过观测方程使超分辨率复原与观测数据匹配。随后z o m e t 等人在已 有的迭代投影算法的基础上，利用不同反投影图像的误差中值改善算法的性能， 从而使得该算法在存在异常点的情况下具有更强的鲁棒性。i r a n i 采用i b p 法对 于视频序列中的运动目标进行超分辨率重建，首先通过光流场方法来计算视频序 列中物体的运动，然后进行运动物体的分割，最后采用i b p 法进行目标的重建心 。 n i m i s h 进行彩色序列的超分辨率重建，首先对视频序列采用分级块匹配技术进行 像素内配准，由于块匹配配准结果易陷入局部极小值，在i b p 重建过程采用根据 配准过程中通过误差函数备选出的多个运动向量进行优化心引。 1 9 9 2 年，s c h u i t z 和s t e v e n s o n 将最大后验概率估计方法( m a x i m u map o s t e r i o r i ， m a p ) 作为先验知识的图像内插应用于h u b e 卜m a r k o v 随机场，以改善图像的清晰 度。他们将早期的研究成果推广到图像超分辨率重建的领域，提出了一种基于运 动补偿亚采样矩阵的观测值模型，但没有将运动产生的模糊考虑在内心9 1 。随后， 硕士学位论文 他们对具有8 个参数的块运动估计投影模型以及基于光流场的运动估计进行了深 入的研究，得到了较精确的运动估计参数，同时对不正确运动向量产生的噪声进 行极小化，使得超分辨率图像重建的结果得到了极大的改善。 2 0 0 1 年，l i 等人提出了一种基于边缘指导插值算法( n e we d g e d i r e c t e di n t e 卜 p o l a t i o n ，n e d i ) ，它实现了单帧图像的超分辨率重建口。首先分别计算低分辨率 图像各像素点的局部协方差系数，然后利用低分辨率图像与高分辨率图像协方差 之间的几何对偶性来计算高分辨率图像中插入像素点的值。该方法能根据任意方 向的图像边缘来计算插值系数，使得边缘具有指导性，重建图像质量也较高。 2 0 0 2 年，f r e e m a n 使用一种学习的算法来实现单帧图像的超分辨率重建引。 基于学习的超分辨率算法认为：一个像素的集合是一种特殊类型的信号集，与一 个完全随机的变量序列相比，它的变化较少，可以通过神经网络建立h r 图像与 l r 图像之间的模型。 2 0 0 7 年，n i 等人提出了基于支持向量回归的图像超分辨率重建算法。该算法 的基本框架就是在把h r 图像作为自变量，l r 图像作为因变量，通过支持向量回 归估计两者之间的最优拟合函数，寻找两者之间的对应关系，从而建立映射模型。 并利用此规律对任意的低分辨率图像进行超分辨率重建。值得注意的是，学习数 据的选择方式不同直接影响了学习效果，n i 对此进行了研究阳3 3 刨。 1 3 图像超分辨率重建技术的应用领域 随着对图像超分辨率重建技术研究的深入，人们尝试将此技术运用到实际应 用中，并且已有相关产品问世。美国d a y t o n 大学和w r i g h t 实验室在美国空军的 支持下，对红外c c d 相机进行了机载实验，利用2 0 幅低分辨率的红外图像重建 获得分辨率提高近5 倍的实验结果。国际著名的光学仪器研制公司l e i c “h e l l a w a 和法国国家航天研究中心已经把该领域的理论研究成果转化到硬件产品“交错 c c d 传感器阵列的设计中，并已将其分别应用于他们的遥感设备“a d s 4 0 和 “s p o t 5 卫星，取得了相当理想的效果口7 删。 超分辨率重建技术在很多领域都有其实用价值，应用前景极其广阔。下面我 们列出一些典型的应用领域。 ( 1 ) 在公共安全领域中的应用。在银行证券等部门的监控系统中，当有异常情 况发生后，可对拍摄的视频信号中的可疑部分进行超分辨率重建处理，获得较高 分辨率的一帧静止图像，使感兴趣区域更加清晰易辨，为通缉罪犯、识别罪犯、 发布信息、上报材料等提供素材。 ( 2 ) 医学成像领域。医学上需要做大量的医学图像处理，这些图像中包括人们 熟知的x 射线图像、超声波图像、核磁共振图像等。由于硬件设备及现有的成像 技术的限制，我们还不能够获取满足高要求的清晰图像，对这些图像进行超分辨 基于多任务学习的图像超分辨牢霞建方法研究 率重建处理，获得更高质量和精度的图像，这样就容易识别出病体的精确位置以 及详细情况：如阴影的边缘等，从而为辅助诊断提供更精确的线索。 ( 3 ) 高清晰度电视。利用超分辨重建技术把视频显示的一个区域按某一倍数进 行放大，然后重新播放，即普通视频信号转化成高清晰度视频信号或产生合成视 频变焦。在不增加硬件设备的情况下，产生画质更清晰的视频图像，并能支持一 些灵活的数字电视操作。 ( 4 ) 卫星遥感应用领域。卫星或飞机周期性的飞过同一区域，可以获得关于同 一地点的多幅图像，利用超分辨率技术对其进行重建，可以获得更高分辨率的图 像使其能够达到所需要的图像判别和定位精度，既可行又经济。 ( 5 ) 在公共交通中。外界环境常常导致摄像头拍摄到的视频分辨率不高，影响 辨识能力。利用超分辨率技术对其中的运动目标，如车牌号等进行重建，可以提 高识别能力。 ( 6 ) 历史、人文照片的复原。现实生活中，存在很多环境、人为因素导致的历 史、人文图片质量降低现象。可以利用超分辨率技术将其中有考古价值和历史意 义的历史材料进行处理，以达到更好保存和再利用的目的。 ( 7 ) 扫描文档处理。克服扫描文档图片的网纹干扰，从文档图片的网版色调变 成连续色调，以改善视觉效果。 换个角度说，超分辨率重建技术适用于下列情况：首先是图像采集设备的技 术限制，虽然图像的采集设备技术发展很快，但和人们的需求相比，总是存在一 定的差距，因此可采用超分辨率处理技术获取高于当前设备分辨率的图像；其次 为成本限制，采用更高分辨率的设备往往意味着成本的提高，如果超分辨率处理 可满足需求的话，将大大的节约成本；此外，还适用于受标准限制的情况，当前 视频采集设备一般符合相应的技术标准或制式，例如p a l 、n t s c 等。以p a l 标 准为例，目前在国内安防系统中广泛应用，该标准下的信号是分辨率为3 5 2 2 8 8 的 视频信号，这个分辨率往往不能满足实际应用需求，可采用超分辨率重建技术对 视频信号进行重建。 随着超分辨率理论的日趋成熟以及其他行业的发展，相关新理论和新技术的 萌生，其应用范围会越来越广泛。因此对图像超分辨率重建技术的研究有着相当 重要的理论价值和不可低估的应用前景。鉴于此，本文对超分辨率重建技术进行 了研究。 1 4 本文的主要工作 本论文由5 章组成，具体安排如下： 第一章为绪论，介绍了图像超分辨率重建技术的研究背景、应用领域以及研 究意义并按照时间先后顺序回顾总结了超分辨率重建技术的发展历史以及研究现 硕十学位论文 状。 第二章介绍了低分辨率图像的观察模型以及超分辨率重建技术的理论基础。 按照算法所属的处理域不同，分频域方法和空域方法两类对已有超分辨率重建算 法进行分析研究，包括算法的原理、实现以及优缺点。 第三章简要介绍了机器学习的基础知识及其在图像处理领域内的应用，此外 还有多任务学习算法的提出。集中针对利用单任务学习解决复杂学习问题时精度 不高和抗噪能力差的缺点，对一种多任务学习算法进行了研究。并对该算法框架 以及在引入关系测度的基础上降低算法复杂度进行了深入分析。重点工作是在此 框架的基础上，结合支持向量回归理论对多任务学习回归算法进行了推导，包括 目标优化函数，算法具体实现，以及对偶问题中的特征映射的选取、核函数的构 成等。 第四章提出了一种基于多任务学习的图像超分辨率重建算法。为了使学习更 具有针对性，首先利用高斯混合模型将图像像素进行分类处理，并根据最大隶属 度原则为不同的像素类选择训练数据集合。利用多任务回归算法获得类像素映射 模型。在重建过程中假设高分辨率像素与低分辨率像素具有相同的图像特征组成， 在这个前提下，高分辨率像素由这些类映射模型和隶属度系数内积而成。在 m a t l a b 7 o 环境中对算法进行了仿真实验，实验结果表明，本文提出的方法取 得了较好的重建效果。 第五章利用v c + + 6 o 软件开发平台中的向导工具，开发出基于多任务学习超 分辨率重建算法的软件。该软件能实现低分辨率图像的读取，超分辨率重建以及 重建结果的输出等功能。 基于多任务学习的图像超分辨牢重建方法研究 第2 章图像超分辨率重建相关问题 图像超分辨率重建技术是近年来图像处理领域最活跃的研究课题之一。自 1 9 8 4 年t s a i 和h u a n g 首次提出频率域的图像超分辨率重建算法，人们对此已进 行了2 0 多年的研究。经过研究者的不懈努力，取得了丰硕的成果，不仅从理论上 证明了超分辨率重建的可能，而且还提出了多种有实用价值的方法。我们将对低 分辨率图像的退化模型以及超分辨率重建的理论基础进行讨论，同时对已有的算 法从频域和空域角度进行详细分析。 2 1 低分辨率图像观察模型 对于自然界的真实景物，人们可以通过理想的成像设备获取其图像，这些图 像具有丰富的细节，分辨率较高。但在实际应用过程中，由于成像系统内在条件( 例 如本身的固有物理属性、采样率等) 的限制和外部因素( 运动模糊、大气扰动等) 的 干扰，总会不可避免的引入一些几何形变、模糊等干扰因素，导致实际观测到的 图像往往分辨率较低，达不到一些实际应用的标准。图2 1 所示为图像的退化模 型2 引。 高分辨 图像y 图2 1 图像的退化模型 如图2 1 所示，低分辨率图像是高分辨率图像经过形变、降晰、下采样处理 得到的。下面我们将对模型中的每个组成部分进行详细介绍口，。 ( 1 ) 几何形变的产生源于真实景物与图像的探测器之间的相对运动，包括全局 运动和局部运动。全局运动是指整个图像空间的像素具有相同的运动特性，其运 动参数可以用垂直和水平方向位移表示。局部运动相对比较复杂，指图像空间中 的多个物体具有各自的运动特性和运动参数； ( 2 ) 降晰主要是指图像的模糊处理。产生降晰的原因有很多，常见的有光学、 运动、散焦等。光学降晰由成像系统的光学部分引入；运动降晰是由被拍摄的物 体在曝光过程中存在的运动引起的；散焦降晰由成像过程中焦距的不正确造成的。 这些降晰在数学上用点扩散函数的卷积描述。在超分辨率重建过程中，需要采用 定的手段对点扩散函数进行辨识，而后通过对降晰函数的反卷积实现重建。 ( 3 ) 下采样处理可以达到降低图像空间分辨率的目的。物体发出的光线在图像 硕十学位论文 探测器器件上进行光电转化，然后将电信号进行采样输出低分辨率图像。 此外，在成像过程中会引入加性噪声，如光电传感器的工作噪声，拍摄过程 中空气的抖动，采样过程中带来的采样噪声等。 按照图像的退化模型，我们可以用数学表达式( 2 1 ) 描述成像过程： 】，= d c 肘+ e ( 2 1 ) 其中矩阵d 、c 、f 的乘积构成了图像的退化模型。在实际问题求解过程中， 这些矩阵可分别通过相应理论进行辨识。于是从式( 2 1 ) 可以看出，这是一个已知 低分辨率图像y 以及退化模型反求原图像x 的问题，看似只需对退化模型进行简 单的求“逆运算。但在实际的计算过程中，退化模型往往是高度奇异的，使超 分辨率的重建成为一个病态反问题，其解的稳定性、收敛性、可靠性得不到保证。 对于这样的问题，往往需要利用先验知识对解设定某些约束将其转化为可解的良 态问题，然后通过最优化理论估计最优解。 2 2 超分辨率重建技术理论基础 一般情况下，傅立叶光学系统把成像系统看做一个低通滤波过程。自然界中 的物体往往在空间域中都是有界的，根据傅立叶变换的相关性质可以得到这一结 论：该物体在对应频域内是无界的：然而当我们通过光学系统对该物体进行成像， 获得的图像都是频率有界的，由此可见光学系统充当了一个低通滤波器的角色。 成像过程可以由线性移不变表达式进行描述，如式( 2 2 ) 所示。 g ( x ) = 办( x ) 厂( x )( 2 2 ) 其中g ( x ) 表示观测到的图像，厂( x ) 表示客观世界中的物，办( x ) 则代表了点扩散函 数，“ 表示卷积运算。低通滤波在滤去频谱中高频部分的同时，保持了低频部 分，因此会使得滤波后的图像比原始图像少一些尖锐的部分。 对上式进行傅立叶变换得到： g ( ”) = 日( ) f ( ”) ( 2 3 ) 从而得： f ( 甜) = g ( “) 日( 甜) ( 2 4 ) 由式( 2 4 ) 可得，在截止频率之外 ) = o ，因此要想复原出截止频率之外的信 息，这在严格理论意义上来讲是不可能的。但实际上存在着许多方法对f ( ”) 进行 估计，且这些方法并不具备傅立叶滤波器的性质，采用这些方法可成功复原截止 频率之外的信息，实现超分辨信息的重建h 1 。其理论基础主要包括一下几个方面： 2 2 1 解析延拓理论 解析延拓理论是指，若函数厂( x ) 是空域有界的( 即在某个有限范围之外全是 0 ) ，则其谱函数f ( “) 是一个解析函数。对于解析函数，若其在某一个有限区间上 基，二多任务学习的图像超分辨率蘑建方法研究 为已知，则其处处可知。这意味着，如果两个解析函数在任一给定的区间上完全 一致，则它们必须在整体上完全一致，即为同一函数。解析延拓就是根据给定解 析函数在某区间上的取值，对函数的整体进行重建。 对于一幅图像，由于其空域有界，因此其谱函数是解析函数。从公式( 2 4 ) 可 以看到，在截止频率以下的f ( ”) 可以通过该式计算得到，同时根据解析延拓理论， 截止频率以上的信息可采用已得的截止频率以下的f ( “) 得以重建，从而实现图像 的超分辨率重建。 2 2 2 信息叠加理论 对于非相干成像，实际的图像应具备以下的约束条件和性质：有界性和非负 性。即物体或者图像具有一定的大小，且物体或图像的最小光强应大于0 ，可用 下式表示： ( x ) = o ，x 圣x ( 2 5 ) 厂( x ) 0 ，x x( 2 6 ) 其中厂 ) 表示物体或图像上某点的光强，x 表示物体或者图像的大小。式( 2 5 ) 、 ( 2 6 ) 可以综合用下式表达： ( x ) 陀甜 x )( 2 7 ) 厂( x ) 的傅立叶谱可分为两部分，五 ) 表示截止频率以下部分，石( “) 则为截 止频率以上部分，对式( 2 7 ) 进行傅立叶变换可得： f ( 甜) = l 乞( “) + 以( 甜) 】s i n c ( j & ) ( 2 8 ) 由式( 2 8 ) 可以看出，由于s i n c 函数是无限的，则截止频率以上的信息通过卷 积叠加到了截止频率以下的图像信息中，换句话说，对于有界物体，截止频率以 下的信息中共包含了物体的所有信息，很显然，如果我们能找到一种方法将这些 信息分离获取出来，就可以实现图像的超分辨率重建。 2 2 3 非线性操作 如果考虑到噪声对成像过程的影响，则一般的成像可用下式表达： g ( x ) = 办( x ) 厂( x ) + 咒( x )( 2 9 ) 其中力( x ) 表示加性噪声。由于退化模型的低通作用，解得的物体估计z ( x ) 会破坏 式( 2 5 ) 中的有界性。同时由于噪声的影响，由此解得的物体估计z ( x ) 一般会破坏 公式( 2 5 ) 表示的非负性。因此在图像重建计算中，必须施加约束条件实现物体解 的空间截断和非负的数字截断。由此带来的运算是一个非线性操作运算，而信号 的非线性操作具有附加高频成分的性质。因此，通过对约束操作引入的高频分量 进行逐步调整，可实现图像的超分辨率重建。 综上所述，低频分量中含有的高频信息和物体非负有界的约束条件是实现超 分辨率重建的根源。 硕- | 学位论文 2 3 图像超分辨率重建频域算法 超分辨率重建技术按照处理域的不同可分为频率域算法和空间域算法两类。 本节内容针对频域超分辨率算法进行介绍。 在频率域内对图像进行超分辨率重建主要基于以下三个准则： ( 1 ) f o u r i e r 变换的平移特性； ( 2 ) 原始图像信号的频谱带宽是有限的； ( 3 ) 离散f o u r i e r 变换( d i s c r e t ef o u r i e rt r a n s f o r m ，d f t ) 与连续f o u r i e r 变换 ( c o n t i n u o u sf o u r i e rt r a n s f o r m ，c f t ) 之间的频率混叠关系。 利用这些性质，通过数学上的等价变换可以把低分辨率图像的d f t 与对应高 分辨图像的c f t 之间的关系用等式表达，对这些等式求解可以产生高分辨率图像 的频率域系数，然后通过d f t 逆变换进行高分辨率图像的重建。 高分辨率图像是连续的，因为它能真实地反映自然界中的物。连续的场景用 函数厂( x ，y ) 表示，整体平移产生r 帧图像z ( x ，y ) = 厂 + 缸，y + 炸) ，= 1 ，2 ，灭。 同时，高分辨率图像的c f t 变换用f ( ”，v ) 表示，平移后的场景图像c f t 变换用 e ( ”，) 表示。平移后的场景图像被脉冲采样从而产生一系列观察图像 彤( 聊，胛) = 厂( 聊+ 缸，朋瓦+ 奴) ，其中朋，刀表示数字图像中的像素位置，且 朋= 1 ，2 ，m ，玎= 1 ，2 ，。r 个相应的二维d f t 被表示成g ，( 七，) 。高分辨率图像 的c f t 与被平移和采样的低分辨率图像之间具有如下关系，见式( 2 1o ) ： g ，( 屯驴壶善善c 袁+ 矾，高+ 咀) ( 2 j o ) - j 一y | 口= 叮= 。，j j 4y 其中z 。= 1 c ，z ，= 1 弓，分别代表在了在x 和y 方向上的采样速率。 从准则( 1 ) 中，我们可知，c f t 的平移特性使得空域中的平移和频域中的相位 平移相互关联，如式( 2 1 1 ) 所示。 e ，1 ，) = p 2 ”( 珥虮) f ( “，v )( 2 1 1 ) 如果函数厂( x ，y ) 是有限带宽的，那么存在厶和三，使得当，( ，1 ，) 寸o 时，不等式 川厶厶，1 1 ，l 厶z ，成立。根据准则( 2 ) 原始图像信号的频谱带宽是有限的，假定 高分辨率图像厂( x ，j ，) ，则可利用式( 2 1 0 ) 对式( 2 11 ) 进行变换。 g = 矽f( 2 1 2 ) 其中，g 是一个r 1 维列向量，并且第r 个元素是观测图像g ( 所，刀) 的d f t 系数 g ，( 后，m 矽是一个矩阵，它表征图像之间的运动估计，作用在于把观测数据的d f t 与包含在4 厶上，l 向量f 中未知高分辨率图像厂( x ，y ) 的c f t 联系起来。 因此，图像的超分辨率重建需要r 个观测数据的d f t 结果，同时需要根据 光流场等理论确定运动估计系数矽取值，然后根据等式( 2 1 2 ) 求矩阵f ，即高分辨 基于多任务学习的图像超分辨尔蕈建方法研究 率图像频率域系数。最后利用逆d f t 去获取重建的图像。值得注意的是，在计算 过程中，往往对矩阵进行因式分解从而降低计算复杂度，减少计算代价。 频率域中图像的超分辨率重建方法理论直观明了，计算复杂度较低，很容易 实现并行处理同时还具有直观的去变形超分辨率机制。缺点主要存在于整体平移 运动和空间平移不变退化模型的局限性以及包含空域先验信息的能力有限。频率 域方法存在一个高分辨率图像c f t 和低分辨率图像d f t 之间的变换，这个变换 就相当于空域中的运动模型，由于在超分辨率应用中不能用复杂公式表示频域与 空间变换模型的等价变换，所以可行的运动模型被限制在一个整体平移运动模型 中；对于超分辨率重建这样一个不适定问题，需要增加先验信息对解空间进行限 制，但是被用来约束解空间的最有用的信息通常属于空域的，导致频域法不能很 好的包含图像的先验信息。 2 4 图像超分辨率重建空域算法 在空域类图像超分