（信号与信息处理专业论文）基于局部与非局部先验的影像超分辨重建算法研究.pdf

f 煳 摘要 影像超分辨重建作为一种有效的软件处理技术，可以打破成像设备的物理限 制，提高所获影像的空间分辨率。本文对影像超分辨重建的局部先验和非局部先 验进行深入研究，提出了三种超分辨重建算法。 针对视频帧之问运动模型难以精确估计的问题，提出了一种基于结构张量和 规范化卷积的视频超分辨重建算法。该算法不需要精确的运动估计，在实现视频 插值的同时，能有效实现视频去噪。 针对已有超分辨算法因局部先验和非局部先验整合的复杂性，不能充分建模 影像的局部先验与非局部信息，提出了一种基于可控核回归和非局部均值的单帧 图像超分辨重建算法。提出的方法扩展了传统的可控核回归和非局部均值的超分 辨重建技术，可以同时实现图像插值、去噪和去模糊。 针对超分辨重建技术中基于重建的方法不能有效生成“新”的高频信息，而基于 实例学习的方法只针对特定放大因子存在的不足，提出了一种基于高分辨率字典 的单帧图像超分辨重建算法。学习的同一个字典可以针对不同的放大因子，也可 以同步实现图像插值，图像去噪，图像去模糊。 关键词：超分辨重建局部先验非局部先验结构张量规范化卷积可控核 回归非局部均值稀疏表示 a b s t r a c t a b s t r a c t a sa ne f f e c t i v es o f t w a r et e c h n o l o g y , i m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o nc a n b r e a kt h r o u g ht h ep h y s i c a ll i m i t a t i o n so fi m a g i n ge q u i p m e n tt o i m p r o v et h es p a t i a l r e s o l u t i o n t h i st h e s i sm a k ea n i n - d e p t h r e s e a r c ho n i m a g es u p e r r e s o l u t i o n r e c o n s t r u c t i o nb a s e do nt h el o c a la n dn o n l o c a lp r i o ra n dp r o p o s e st h r e ed i f f e r e n t s u p e r - r e s o l u t i o na l g o r i t h m s t os o l v et h ep r o b l e mt h a ti ti sh a r dt o a c c u r a t e l ye s t i m a t et h em o t i o np a a e m b e t w e e nv i d e of r a m e s ，av i d e os u p e r - r e s o l u t i o na l g o r i t h mb a s e do ng r a d i e n ts t r u c t u r e t e n s o ra n dn o r m a l i z e dc o n v o l u t i o ni sp r o p o s e d t h ep r o p o s e da l g o r i t h mn e e d sn o tt o p e r f o r ma c c u r a t em o t i o ne s t i m a t i o na n di sc a p a b l eo fc a r r y i n go u tv i d e ou p - s a m p l i n g a n dd e n o i s i n gs i m u l t a n e o u s l y t oa d d r e s st h ep r o b l e mt h a t e x i s t i n gs u p e r - r e s o l u t i o na l g o r i t h m sc a nn o tf u l l y m o d e lt h el o c a la n dn o n - l o c a li m a g ep r i o rd u et ot h e i rc o m p l e x i t yo fi n t e g r a t i o n ，a s i n g l ei m a g es u p e r - r e s o l u t i o na l g o r i t h mb a s e do ns t e e r i n gk e r n e lr e g r e s s i o na n d n o n - l o c a lm e a n si s p r o p o s e d t h ep r o p o s e d m e t h o de x t e n d st h et r a d i t i o n a l s u p e r - r e s o l u t i o nt e c h n i q u e st h a tb a s eo ns t e e r i n gk e m e lr e g r e s s i o na n dn o n l o c a lm e a n s a n dc a na c h i e v ei m a g ei n t e r p o l a t i o n ，d e n o i s i n ga n dd e b l u r r i n gs i m u l t a n e o u s l y t oo v e r c o m et h es h o r t c o m i n g st h a tt h er e c o n s t r u c t i o n b a s e dm e t h o d sc a n n o t p r o d u c e n e w h i g hf r e q u e n c yi n f o r m a t i o nd u et ot h el a c ko fi m a g el i b r a r yw h i l et h e e x a m p l e - b a s e dm e t h o d sa r eu s u a l l ys p e c i a l i z e df o raf i x e dz o o m i n gf a c t o r , as i n g l e i m a g es u p e r - r e s o l u t i o na l g o r i t h mw i t hah i g hr e s o l u t i o nd i c t i o n a r yi sp r o p o s e d t h e p r o p o s e dm e t h o dn o to n l yc a np e r f o r md i f f e r e n tz o o m i n gf a c t o r sw i t ht h es a m el e a r n e d d i c t i o n a r y , b u ta c h i e v e si m a g ei n t e r p o l a t i o n ，d e n o i s i n g , a n dd e b l u r r i n gs i m u l t a n e o u s l y k e y w o r d s ：s u p e r - r e s o l u t i o n ；l o c a lp r i o r ；n o n - l o c a lp r i o r ；g r a d i e n ts t r u c t u r e t e n s o r ；n o r m a l i z e dc o n v o l u t i o n ；s t e e r i n gk e r n e lr e g r e s s i o n ；n o n - l o c a l m e a n s ；s p a r s er e p r e s e n t a t i o n 第一章绪论 1 1 1 超分辨重建的研究背景 第一章绪论弟一旱瑁比 1 1 研究背景与意义 影像的分辨率是表征影像质量的一项关键性指标，可分为空间分辨率和灰度 分辨率。空间分辨率指影像中可以识别物体的临界几何尺寸，即对细微结构的分 辨率。灰度分辨率体现了显示灰度的能力，即灰阶的级差数目。本文中的分辨率 如无特指，均指影像的空间分辨率。 随着科学技术的发展，高分辨率、高质量的影像在实际社会生活中很多应用 领域发挥越来越重要的作用。图1 1 给出了高分辨率影像的一些应用实例，如医生 对c t 结果的诊断离不开高分辨率、高质量的成像结果，高分辨率的视频监控可以 提供有效的犯罪证据，军事上对目标的精确识别与跟踪也离不开高分辨率的遥感 成像，等等。 图1 1 高分辨率影像的应用 然而，一方面，受成像设备的物理限制，以现有成像设备的工艺水平即成像 芯片单位面积上可容纳的像素个数，获取的影像分辨率并不能满足人们日益增长 的需求。研究表明，通过减小像素尺寸的方式来提高工艺水平必将伴随着成像质 量对噪声的敏感，这也从侧面体现了成像结果存在着分辨率的上限。另一种以增 纛一 蔡 囊 基于局部与非局部先验的影像超分辨重建算法研究 加芯片的尺寸来增加影像容量的方法，因其很难提高大容量的耦合转换率，因此 也并不认为是一种有效的手段。另一方面，成像设备在采集影像的过程中，由于 受到大气扰动、运动干扰等外界因素的影响，因而只能获取受到“污染”的模糊而有 噪声的影像。这些因素进一步增加了获取高分辨率、高质量影像的难度。 既然高分辨率、高质量的影像在社会生活中有需求，那么我们如何去获得高 分辨率、高质量的影像? 如果现有工艺水平可以获取具有期望分辨率的影像，我 们当然可以购买高技术的成像设备，但是我们必须支付昂贵的设备花费。因科技 水平的欠缺，某些成像设备很难应用到实际应用领域，我们又必须支付额外的费 用。如果现有工艺水平不能满足我们的期望，即使我们花再多的钱也不可能购买 到更高精度的成像设备。因此，我们必须采用另外一种新的技术。影像超分辨重 建，即从实际获取的影像中重建更高分辨率的影像同时能够有效去除模糊和噪声， 作为一种软件处理技术应运而生，不仅打破传统成像设备的工艺限制，无需额外 的硬件支持，而且也能最大限度的减弱外界环境的影响，可以在现有硬件支持下 进一步提高影像的分辨率。现在再来考虑现有工艺水平可以满足我们期望这种情 况下，事实上我们也可以利用影像超分辨重建技术，以低价的费用购买一款普通 的成像设备，对获取的影像进行超分辨重建以达到我们的期望，我们再也不必为 购买昂贵的设备而发愁。 1 1 2 超分辨重建的研究意义 影像的超分辨重建技术在社会生活的各个领域都有自己的应用价值：在视频 监控方面，传统的监控视频分辨率相对来说都比较低，必须通过一定的后处理才 能精确识别监控视频中的细节：如车牌识别，目标追踪等；在数据传输方面，我 们可以将待发送图像压缩，在数据接收端对图像解压，以使发送的数据量尽可能 的少。如果这时采用的压缩技术是一种降低图像分辨率的技术，那么影像的超分 辨重建技术可以看作一种特殊的解压技术；在遥感成像方面，由于造价、体积、 工艺限制，成像设备获取图像的分辨率有限，要获取更为高质量的影像可以采用 影像的超分辨重建技术以便于精确定位，战场监控等等。 对影像的超分辨重建技术研究不仅是对现有图像处理技术的应用与推广，而 且有助于促进信号处理理论与实践的进一步完善与发展，对模式识别理论、计算 机视觉、信号压缩与编码、遥感技术与应用等诸领域都有重要的理论与实际意义。 第一章绪论 3 1 2 1 影像观测模型 1 2 影像超分辨重建技术概述 成像设备在获取影像的过程中无疑会受到噪声等环境因素的影响，图1 2 给一 种针对单幅图像的经典影像观测模型。模型是一个前向模型，表征成像设备如何 从原始的真实场景中获取影像。真实场景的反射光线在被成像设备接收前，首先 会受到大气扰动等因素引入的模糊。在成像设备内部，由于透镜等因素进一步引 入光学模糊。实际情况下，光学模糊相比于大气扰动引入的模糊，对成像质量起 主导作用。模糊后的影像经传感器采样得到低分辨率影像，经成像设备内部的加 性噪声产生实际采集影像，即观测影像。影像超分辨重建技术就是一个逆向模型， 由观测影像来恢复真实影像。在现代计算机理论中，由于图像都是离散化表示的， 无法充分表征连续的真实场景，所以影像超分辨重建就是一种提升观测影像的空 间分辨率来模拟真实场景的技术。 1 2 2 研究进展及现状 。j ! o ，! 一i 兰 图1 2 单帧影像观测模型 影像超分辨重建的目的就是提升观测影像的空间分辨率。由于受到模糊、采 样、噪声的影响，影像超分辨重建是一个病态问题，有很多个不同高分辨影像可 以经相同的观测模型退化产生同一个低分辨观测影像。影像超分辨重建只能保证 在一定的约束条件下，尽可能地提高重建影像的质量。影像超分辨重建最早是在 2 0 世纪6 0 年代由h a r r i s 【l 】以单帧图像复原的概念而起源，而多帧超分辨重建最早 由t s i a 和h u a n g t 2 毛e1 9 8 4 年提出。对影像超分辨重建技术的研究进展与现状可以 在如下不同分类中进行阐述。 按研究方法，可将影像超分率重建划分为两大类：频域法和空域法。频域法 在变换域中求解高分辨率影像，求解速度快，但不能有效地引入先验约束，且运 4 基于局部与非局部先验的影像超分辨重建算法研究 动模型仅限于全局运动，重建性能有待进一步提高。尽管近年来也有不少研究可 以在变换域来估计非全局的运动模型，如2 0 0 9 年r i t t a v e em a t u n g k a 提出的算法1 3 j ， 但估计的效果并不能达到空域的精度要求。对频域法，经典的方法有t s i a 和h u a n g 在1 9 8 4 年从频域通过频谱解混叠来重建【1 1 ，2 0 0 6 年k a r l 等人提出的在离散余弦 变化( d c t ) 域基于支撑向量回归的超分辨率重建算法【4 】等。k a r l 提出的算法主要 利用机器学习的思想来学习低分辨图像块到高分辨图像块的映射。目前，超分辨 重建算法的研究大多集于空域法。空域法不仅能很方便地引入各种先验知识，而 且可以重建更为稳定高质量的影像，但是也存在自己的不足。由于一些算法引入 过于复杂的先验知识，时间复杂过高，导致重建算法只能在理论阶段，不能推广 到实际应用中。经典的空间约束有迭代反向投影约束，即重建的影像经观测模型 退化后和观测影像相一致【5 1 、双边总变分约刺6 1 、凸集投影约束【7 】等。不同的约束 对重建效果产生的作用各不相同。 按研究对象，可将影像超分辨重建划分为三大类：单帧图像超分辨重建、多 帧图像超分辨重建和视频超分辨重建。单帧图像超分辨重建就是从一幅输入的观 测图像中重建更高分辨率的图像，插值方法 s , 9 a o 】就是一种最简单的单帧图像超分 辨算法，如最近邻插值、双线性插值和双立方插值等。插值法简单高效，便于实 际应用，但容易导致高频细节的模糊，因而重建性能有待进一步提高。重建效果 较好的基于插值的方法有2 0 0 1 年提出的新的边缘插值算法【l1 1 ，2 0 0 6 年提出的边缘 保持插值算法【1 2 】等，这些方法主要基于低图像图像和高分辨图像局部结构的相似 性。多帧图像超分辨重建指使用从同一场景获得的多幅不同观测的低分辨图像重 建一幅高分辨率图像的方法。由于多幅观测图像都是针对同一场景的，每幅图像 都有自己的独特信息，对这些信息取并集就可重建一幅高分辨率图像。在这种情 况下，多幅观测图像之间必须保证有亚像素的位移或者不同的模糊噪声信息。由 于观测图像通常是由同一类型成像设备采集，模糊噪声信息相同，所以观测图像 之间必须要有亚像素的位移才能保证他们之间信息互补。在重建阶段对亚像素位 移的估计，即配准是至关重要的。图像配准就是将不同时间、不同成像设备在不 同条件下( 天候、照度、摄像位置和角度等) 获取的两幅或多幅图像进行匹配、叠加 的过程。多帧重建算法在前十几年得到非常大的重视，很多研究人员把工作重点 放在多帧图像超分辨重建上。有2 0 0 4 年s i n af a r s i u 等提出的快速多帧重建算法 6 1 ， 2 0 0 7 年h u a n f e n gs h e n 等提出的联合配准、分割、重建的算法i l3 j 等。图1 3 给出了 传统的多帧重建的基本流程。视频超分辨重建可以看作是多帧超分辨重建技术的 发展，从观测视频中重建高分辨率的视频。并不保证视频中的每一帧都是针对同 一场景的。此时，不仅要考虑到每帧的空间信息，同时也要考虑到帧帧之间的时 间信息。视频超分辨重建技术起步较晚，以前通常用多帧的技术来实现视频重建， 但高精确的配准要求限制了多帧技术在视频重建中的应用。针对配准这一难题， 第一章绪论 一些特殊的先验知识先后被提出，经典的有非局部均值【1 4 】即视频中存在大量自相 似的图像块，可控核回归即空间自适应滤波。 低分辨率 图像序列 fj 圈 l 。 配准后低 分辨序列 高分辨率 数据融台 图1 3 传统多帧图像超分辨重建框架 影像超分辨重建从其研究原理上来看，也可分为三大类：基于插值的算法， 基于重建的算法，基于实例学习的算法。基于插值的方法【8 ，9 ，1 0 1 利用一些特定的核函 数来实现重建，对未知位置的像素值用其周围的像素加权平均得到，只是权值事 先己经给定。图1 4 ( a ) 给出了分辨率放大两倍的一个模拟图。图1 4 ( b ) 则给出了常 用的插值核函数的一维表示。基于重建的算法 i i , 1 3 , 1 4 , 1 5 】利用影像自身的一些先验知 识来实现影像的超分辨重建。前面所述的大部分算法都可归到此类。基于实例学 习的算法利用外界图像库来学习先验从而来实现重建。一般情况下，基于实例学 习的算法又可细分为两大类，基于编码解码的算法、基于回归的算法，但都是基 于块来实现影像的重建。图5 给出了这两种算法的基本流程，都包含自己的学习 阶段和测试阶段。基于实例学习的算法正是因为有学习阶段而命名。基于编码解 码的算法 1 6 , 1 7 , 1 8 】对输入的低分辨块计算在给定基集上( 低分辨块库或字典) 的编码 系数，通过在给定的另一基集( 高分辨块库或字典) 上解码求解对应的高分辨输 出块。基于回归的算法 4 , 1 9 , 2 0 基本思想是学习低分辨块到高分辨块的映射，对输入 的低分辨块通过映射直接计算出对应的高分辨输出块。注意，上述的划分并不绝 对，三种方法是相互补充的。 瞄7 1 。r ji i幽 低分辨率图像中的像素l l圈 高分辨率图像中待估计的像素 | 丽。磊石疆甄( b ) 插值的一维核函数 图1 4 基于插值的方法以及其核函数 从最近几年文献的成果来看，研究人员更多的侧重在空域中研究，从以前的 多帧重建算法为主导变为单帧、多帧、视频相对平衡发展。其中基于实例学习的 基于局部与非局部先验的影像超分辨重建算法研究 单帧图像超分辨重建以及基于重建的视频超分辨重建算法特别受青睐，不断有新 颖的思想被提出。 低分辨图像 高分辨图像 1 训练集 、 j 闻广 l 一 一 厂 n 蠢 下甲 一 、 、 ( a ) 基于编码解码的算法 1 2 3 影像质量评价 基于回归的算法 图1 5 基于实例学习的算法重建框架 目前，人们提出了很多影像超分辨重建的算法，如何评价超分辨重建影像的 质量，进而评价不同算法的性能。影像质量评价可分为主观评价和客观评价两个 方面。 主观质量评价就是让一组观测者对重建结果按视觉效果的好坏直接评价影像 的质量，评价标准综合考虑到影像平滑度、清晰度等因素，尤其注重重建影像的 边缘细节等高频信息。通过专业人士的观察通常能得到一个符合大多数人的评价 结果，但是每个影像都需要专业人士的观察，费时费力。 客观质量评价可以很好的解决主观评价的资源浪费问题，对影像只需要计算 峨箍 第一章绪论 机通过给定的程序得到相应的客观值以评价影像的质量。但是这种评价测度也有 自己的缺陷，评价结果只能在一定程度上满足大多数人的“审美观点”，无疑会出现 这种情况：一幅经专业人士测定比另一幅好的影像经客观评价后得到完全相反的 结果。瑕不掩瑜，客观评价仍然因其优势在几乎所有领域中得到广泛应用。 客观评价测度有很多种，可大体划分为全参考的、部分参考的、无参考三种 类型。全参考型评价是在己知原始影像的情况下，对重建影像和原始影像作相似 性计算。部分参考型评价仅仅使用原始影像的部分信息对重建影像进行客观评价。 无参考型评价是在没有原始影像的前提下，直接评价重建的影像。由于在有原始 影像的情况下，全参考的客观评价相比其他两种更符合人的主观评价，本文通过 全参考型方法来评价重建影像的质量。 最常用的全参考评价方法有均方误差( m s e ) 、峰值信噪比( p s n r ) 2 1 1 和结 构相似度( s s l m ) 2 2 1 。m s e 是指影像重建值与影像真值之差平方的期望值，其衡量 的是平均误差。p s n r 是原影像与处理影像之间均方误差相对于f 2 “一1 1 的对数值 ( 其中n 为采样值的比特数) ，数学表达式为： ，、 p s n r = 1 0 l o g l o l l 2 ”一1 ) m s e ( 1 1 ) 、 。 ， s s i m 则认为影像是高度结构化的，通过对失真建模为亮度、对比度和结构三个因 素，直接估计两个影像的结构变化来评价影像的质量。 1 3 论文的主要工作及章节安排 在空域影像超分辨重建算法中，先验约束即先验知识对重建结果起着至关重 要的作用。本文对先验知识中的局部信息与非局部信息进行了深入的研究，提出 了三种不同的影像超分辨率重建算法。论文共分为五个部分，具体章节安排如下： 第一章：简要介绍了影像超分辨重建的研究背景与意义，阐述了影像超分辨 率重建的研究进展与现状，并介绍了本文的创新点与章节安排。 第二章：针对视频帧之间运动参数难以精确估计的难题，提出了一种基于结 构张量和规范化卷积的视频超分辨重建算法，对视频中的每一个像素点，通过结 构张量来估计这一像素点区域的局部结构，利用时空局部信息，使用规范化卷积 避免精确的运动估计实现目标像素的估计。通过重建视频的主观和客观评价结果 表明，提出的算法无需精确的运动估计，能较好的实现视频的超分辨重建。 第三章：针对现有的超分辨重建算法不能充分利用图像的局部信息与非局部 信息，很难将两种信息进行有效整合，提出了一种基于可控核回归和非局部均值 的单帧图像超分辨重建算法。由于现有的可控核回归和非局部均值都是针对像素 为重建单元，通过引入去模糊的后处理操作以进一步提高重建图像的质量，因而 重建结果并不是最优的。为此，提出的算法扩展了可控核回归和非局部均值的超 8 基于局部与非局部先验的影像超分辨重建算法研究 分辨重建技术，使得待重建影像高分辨网格上的像素强度值用高分辨网格上的像 素强度的加权平均来估计，而不再是通过低分辨网格上的像素观测值的加权平均 来估计。通过迭代优化，同时实现影像去噪、去模糊和上采样。实验结果表明， 提出的算法在主观和客观方面都取得较好的重建结果。 第四章：利用机器学习的理论，通过离线方式学习图像的非局部信息，提出 了基于高分辨率字典的单帧图像超分辨重建。算法不仅把非局部信息的概念扩充 到了实例库的层次上，而且学习的非局部先验知识( 字典) 可以适合不同放大因 子的超分辨重建，解决了传统实例学习的算法中字典仅针对特定放大因子这一难 题。主观和客观评价结果表明，提出的算法能重建清晰的图像边缘和丰富的纹理 细节。 第五章：对全文进行总结，并对未来的工作进行了展望。 第二章基于结构张量和规范化卷积的视频超分辨重建 9 第二章基于结构张量和规范化卷积的视频超分辨重建 2 1 引言 按研究对象，影像超分辨重建可划分为单帧图像、多帧图像和视频超分辨重 建三种类型。视频超分辨重建相对前两者在技术难度上有更高的要求。传统的多 帧图像超分辨重建大体上可划分为三个步骤：配准、融合和后处理。多帧图像超 分辨重建利用来自同一场景的、存在亚像素位移的多帧低分辨图像之间的互补信 息进行融合。融合有多种方法，传统的多帧融合技术的重建效果依赖于高精度的 图像配准。配准对最终重建影像的质量至关重要。 最初，人们将较为成熟的多帧技术扩展到视频上实现视频超分辨重建。然而， 由于视频中运动模型更加复杂，常伴有新目标的出现与消失，表现为多变的局部 运动等，因此，使用传统的全局运动模型很难实现精确的配准。例如，视频中经 常存在新目标的出现与消失，在目标出现与消失的帧之间是不存在运动参数的， 如果明确配准必然导致重建的失败。 本章针对视频超分辨率重建中难以精确配准这一难题，提出了基于结构张量 和规范化卷积的视频超分辨重建算法。利用视频的三维结构张量来估计视频中任 意像素的局部结构( 平坦区域，边缘，纹理等) ，通过规范化卷积的思想，对局部 邻域像素加权平均实现目标像素的估计。传统的多帧融合技术从其本质上来看也 是多帧信息的加权表示，但必须依赖于精确的配准，而且，还必须使用一定的后 处理步骤( 如去噪，去模糊) 获取高质量的影像。本章利用规范化卷积，无需精 确的配准，把视频去噪和视频上采样整合到一个统一的框架中，同时实现视频放 大和去噪。 2 2 1 结构张量 2 2 结构张量和规范化卷积 结构张量模型【2 3 】可以用来对图像建模，它不仅能描述某一邻域内像素灰度值 的变化方向以及变化的尺度等信息，也能反映该像素邻域内灰度值变化的复杂程 度。结构张量作为图像分析的有力工作，是一个- - i 确 矩阵，形式上可表示为： 研= 医哥 ， 1 0 基于局部与非局部先验的影像超分辨重建算法研究 其中j 。和j 。分别是图像的一阶水平梯度和垂直梯度。上划线表示对结构张量中的 每个元素作高斯滤波处理，目的是消减结构张量对噪声的敏感性。由于结构张量 的计算也是基于梯度的，而梯度对噪声比较敏感，采用高斯滤波可以有效增强结 构张量对噪声的鲁棒性。对图像中的每一个像素分配一个梯度矢量，矢量的幅度 表示沿矢量方向上图像的灰度值的“对比度 。在边缘线上，所有像素的梯度矢量 几乎指向同一个方向。梯度矢量的和确定了一个与这条边缘线相对应的方向( 法 线) ，所以边缘线可以表示成一个矢量。该矢量不仅描述了边缘的方向，同时也描 述了边缘线哪一边有更高的灰度值。通过对结构张量奇异值分解可以得到 g s t = 屯p i l 7 + 五w r ，其中 无，a ) ( 五 ) 是分解的特征值， i t , v ) 是相应的特征 矢量，分别表示法线方向和切线方向以及其大小。特征值可用来描述图像的局部 结构，推理可知：当像素处于平坦区域时五五，0 ；当像素处于边界区域时 五 足，0 ：当像素处于纹理或角点区域时元五， 0 。 2 2 2 规范化卷积 规范化卷积【2 4 】是一种通用卷积技术，考虑到信号的不确定性，目的是通过计 算对给定基的投影来对信号局部建模。尽管任何基集都可以使用，但多项式基是 最常用的。基于多项式基的规范化卷积表示为泰勒公式的展开形式，在以像素 s 。( ，) 为中心的局部邻域内，像素s ( x + x o ，y + ) 处的灰度值可以多项式估计为： ( s ，s 。) = 风( s 。) + a ( s 。) x + 易( s 。) y + 仍( s 。) x 2 + 见( s 。) 砂+ 岛( s 。) j ，2 + ( 2 2 ) 其中 ，y ) 是像素s 以s 。为坐标原点的局部坐标。由泰勒展开的定义可知，p o ( s 。) 即 为像素s 。的灰度值。因此， 为了求得像素s 。的灰度值，需以像素s 。为分析中心局部建模。如图2 1 所示， 假设以像素s 。( 而，y o ) 为中心的局部邻域内包含个已知样本( 像素灰度值) ，对 只有落在邻域内的每个像素按式( 2 2 ) 泰勒展开。图中，中心处的三角形表示待估计 第二章基于结构张量和规范化卷积的视频超分辨重建 1 1 的像素s 。，即分析中心，粗红色的矩形表示局部邻域，实心圆形表示需要泰勒展 开，空心则不需要。需要注意的是，局部邻域内样本可能并不是有效的，规范化 卷积需要用一确定性函数来表示样本的有效性。 通过误差最小化像素s 观测值厂( s ) 和估计值( s ，s 。) ，即最小化估计误差： 占( s 。) = ，( 巾) 一九s 。) ) 2 c ( s ，s 。) 口( s ，s 。) 凼， ( 2 3 ) 其中口( s ，s o ) 是像素s 在以s 。为分析中心的适应性函数，对以s 。为分析中心的局部 邻域中的不同样本，在计算估计误差占( s 。) 时分配不同的权值。某些自适应的适应 性函数，使得那些和s 。灰度值越接近的像素，其分配的权值越大。c ( s ，s o ) 指像素s 在以s 。为分析中心的灰度值的确定性，即可信度，取值在0 到l 之间。0 表示样本 完全不可信，如像素被涂抹丢失等，l 表示完全可信。对于超分辨重建使用规则化 采样，即： c ( s ，s o ) = e x p一凼型 2 z ( 2 4 ) 其中参数q 定义了( s ) 与厂( s ，s 。) 误差的可接受程度。 设p ( s 。) = 仇p i p m 】r ( s 。) 是以s 。为中心的多项式投影系数。求解式( 2 3 ) ，多 项式投影系数的最小二乘解p ( s o ) = ( b r w b ) 1b 7 w f ，其中f 是l 向量，由输入 样本构成。w 是是矩阵，w = d i a g ( a ) d i a g ( c ) ，a 和c 分别是输入样本对应 的确定性和适用性构成的n x l 维的向量。b = l ，x ，y ，x 2y 2 , x y ， ，其中 1 = 1 1 l 】r ( 个) ，x = kx 2 h 】r ，x 2 = 【# 粕2 】7 等。p ( s 。) 的第一个元素即 为像素s 。的灰度值。 在影像超分辨重建模型中，通过对高分辨率网格上每一个像素局部建模，模 型的输入样本即己知的低分辨率像素，求解高分辨率网格上每一个像素的多项式 投影系数p ( s 。) ，用其第一个元素值更新这个像素的灰度值。处理所有像素即实现 影像超分辨重建。 2 3 基于结构张量和规范化卷积的视频超分辨重建 2 3 1 结构张量和规范化卷积的三维扩展 由于视频包含三维时空信息，因此，需要将传统的二维结构张量和规范化卷 积扩展到三维情形。在三维情况下，结构张量可表示为： 1 2 基于局部与非局部先验的影像超分辨重建算法研究 研一划卜丸 玑 ， 其中v i = 【li 。r ，而t ，j 一分别表示视频在水平、垂直进和时间方向上的梯度。 上划线与二维情况具有相同的表示，即表示高斯卷积操作。 。，五，九是三维结构张 量对角正交变换后的特征值，他们之间没有明确的的数值对应关系。五驴五，九反映 了三维局部结构，假设他们按降序排列为五无以：如果五五五0 则局部 邻域是一个平滑区域；如果丑五丑 0 则局部邻域是各向同性的角点区域；如 果元 厶厶0 则局部邻域定位在纹理区域；如果五五 五0 则局部邻域的中 心分布在一条分界线上。与二维形式相比，三维的规范化卷积主要表现在分析邻 域和基函数上的不同。在三维情况下，分析的邻域己由二维情况下的矩形变化为 三维情况下的长方体，即增加了时间上的信息。基函数 b = 1 ，x ，y ，t ，x 2y 2 , t 2 ，x y ，x t ，y t ， 其中1 = 【l l l r ，x = 毛恐h r ， x 2 = 【彳霹r ，x y = _ m 恐儿h 蜘r 等。具体分析过程类似。 2 3 2 自适应适应性函数的确定 如前所述，传统的视频超分辨重建需要精确的运动估计。但是，当低分辨率 帧之间存在复杂的局部运动时( 新物体的出现或消失) ，帧之间运动参数的估计 异常困难。考虑到我们处理多帧的时候需要配准，而处理单帧图像放大的时候却 不需要配准。对于后者，因为仅考虑了一帧，这一帧当作一个整体，所以不需要 配准。对于前者，我们可以把视频中所有的帧当作一个整体进行处理。也就是说， 可以将视频看作一种新颖的“图像”，这种“图像”包含了三维时空信息。视频的超分 辨重建等价于这种单帧“图像”的超分辨重建，也可以不需要配准。具体实现中，我 们用规范化卷积来实现数据的融合而无需要配准。 二维情况下，结构张量确定了局部邻域中像素灰度值的主变化方向和辅变化 方向。主变化方向体现了灰度值变化最快的方向，如横穿边缘线。辅变化方向上 像素的灰度值变化很小，很可能辅变化方向就是边缘线的方向。通过结构张量确 定的规范化卷积中的适应性函数是自适应性的。二维情况下，适应性函数可以被 定义为各向异性的高斯函数，如图2 2 所示，适应性函数的等值线是由结构张量确 定的椭圆，边缘方向被分配更高的权值。在三维情况下，由于包含了时空信息， 适应性函数的等值线是由结构张量确定的椭球。 以椭球中心为原点确定的直角坐标系称为u - v - w 坐标系，x y - t 坐标系中的点 ( x ，y ，t ) 投影到u - v w 坐标系有： 第二章基于结构张量和规范化卷积的视频超分辨重建 1 3 卜协 ( 2 6 ) 其中u ，v ，w 是三个投影值，u 是对角正交分解得到的矩阵。椭球的三个方向尺 度 生垒生! 生盘! 生 o u = 口气+ 丸+ 吒，o v = 口+ + 厶c r c ，盯。= 口丑+ 屯+ 厶吒， ( 2 7 ) 其中口是一个常数，本章中设为1 6 。吒是一个常量，体现了局部采样密度，即高 分辨率网格点上有多少信息是可用的。 重用性 函数 主变化方 辅变化 方向 i 图2 2 二维各项异性高斯适应性函数 椭球的数学表达式，即适应性函数可以表示为各向异性的高斯函数，即： 小，s o 一时( 器 2 - ( 端h 焉 2 ) ， 亿8 ， 其中“( s 。) ，v ( s 。) ，w ( s 。) 是投影值，吒( s 。) ，吼( s 。) ，吒( s 。) 是三个方向尺度。 为了增强适应性函数的鲁棒性，引入函数 胞啪= 唧( 一唑掣 ， 亿9 ， 避免厂( s ) ，( s 。) 灰度差很大的情况下，而s 相对于s 。分配的适用性权值却很大。 是一个常数用来描述这种影响的大小。改进后的适应性函数为： 小，s o ，= p ( s , s o ) e x p ( - 隅) 2 - ( 端) 2 _ ( 瑞 2 ) o 亿 1 4 基于局部与非局部先验的影像超分辨重建算法研究 2 3 3 视频超分辨重建 如图2 3 所示，基于结构张量和规范化卷积的视频超分辨重建大体上可划分为 三个阶段，分别表示为初始化、数据融合和后处理。 在第一阶段，即初始化阶段，首先，设确定性函数初始化为1 ，对输入的低分 辨视频( 观测视频) 采用双立方插值进行简单的放大，插值结果作为待重建视频 的初始灰度估计，同时计算插值视频的梯度作为待重建视频的梯度估计。 第二阶段，即数据融合阶段，联合待重建视频的灰度估计值、梯度估计值以 及确定性函数估计值，对待重建视频中的每一个像素计算结构张量，更新对应的 确定性函数和适应性函数。然后通过p ( s 。) = ( b r w b ) 1b 7 w f 计算投影系数，并更 新相应位置的灰度值和梯度值。处理待重建视频中的所有像素，可以得到更新后 的待重建视频的灰度和梯度。重复执行第二阶段，前一次融合的输出作为后一次 融合的输入，当相邻两次估计结果的灰度变化在一定的阈值范围内时，完成更新。 第三阶段，如果观测视频中存在模糊，则数据融合阶段获得的重建视频仍存 在模糊。为实现高质量的重建，利用变分的思想实现视频的去模糊【2 5 1 。需要注意 的是，本章提出的视频超分辨算法在数据融合过程中，引入了额外的模糊，在去 模糊的后处理过程中，需要使用不同的模糊核实现去卷积操作。 嘲i 瓣羹鬟l 嬲麟貔嗡囊麟纛 图2 3 基于结构张量和规范化卷积的视频超分辨重建框架 与传统的多帧图像超分辨重建算法相比，基于结构张量和规范化卷积的视频 超分辨重建有如下三个突出的优点： 1 视频超分辨重建过程中无需精确配准，利用规范化卷积来实现数据的融合。 运动估计的目的就是实现不同帧上互补信息的数据融合。在本章提出的算法中， 数据的融合直接通过结构张量和规范化卷积来实现，因此不需要配准； 2 视频在重建的过程中也伴随着去噪，无需额外的去噪后处理。传统的多帧 第二章基于结构张量和规范化卷积的视频超分辨重建 1 5 图像超分辨重建算法通常在数据融合后再实现图像去噪。在第二步，数据融合阶 段，视频的放大与去噪是同步完成的，也就意味着后处理只需要去除视频中的模 糊。传统的均值滤波是一种简单的空域滤波算法。假设一幅大小为n xn 噪声图像 l m ( x ，y ) ，g ( x ，y ) 是通过均值滤波去噪后的图像。g ( x ，力中每个像素的灰度值通过 对在i m ( x ，y ) 中相同位置像素的平均值得到： 1 一 g ( x ，y ) = 古i m ( i ，) ( 2 1 1 ) 1 “( f ，j ) e s 其中( x ，y ) = 0 ，1 ，2 ，n l ，s 是以像素( x ，y ) 为中心的邻域构成的集合。m 是集合 s 中元素的个数。s 中所有像素有相同的权值l 肘。事实上，均值滤波可以看作 本章算法的特殊实例。本章算法的权值是和局部结构相自适应的，不同的结构有 不同的权值矩阵。比如说，一个像素位于一条边缘线上，在同一条边上的其他像 素将被分配更大的权值用于去噪，而远离这条边的像素将分配很小的权值。相比 于均值滤波算法，本章提出的算法同时考虑到了时间信息。因此，对于视频超分 辨重建，插值和去噪是同步实现的； 3 可以实现时空上的超分辨重建，即产生更多的视频帧序列。把视频当作一 个整体来实现重建，即时空信息统一起来，利用规范化卷积实现对未知视频帧信 息的估计，因而可以实现时间上的超分辨重建。而传统的多帧技术仅考虑到了空 间信息。 2 4 实验结果与分析 为了验证提出的算法有效性和稳健性，本节针对两个不同的实验场景来说明。 一个是针对人工合成的多帧低分辨率图像序列实现超分辨重建，序列间仅存在全 局运动。另一个针对真实的观测视频，观测视频中存在大量的局部运动，运动模 型更加一般化。 2 4 1 全局运动模型下序列超分辨重建 为了便于后面的客观分析，我们从一幅分辨率为5 1 0 5 1 0 ，灰度级为2 5 6 的高 分辨p e p p e r s 像中模拟多帧观测模型产生9 幅低分辨的观测图像序列。观测模型的 水平和垂直采样因子均为3 ，加性噪声是零均值，标准差为2 的高斯噪声。在采样 前的模糊核为一个3 * 3 的均匀点扩散函数。低分辨率观测序列之间的亚像素位移分 别是 ( o ，0 ) ，( 0 ，1 3 ) ，( 0 ，2 3 ) ，( 1 3 ，0 ) ，( 1 3 ，1 3 ) ，( 1 3 ，2 3 ) ，( 2 3 ，o ) ，( 2 3 ，1 3 ) ，( 2 3 ，2 3 ) 。把 所有的退化图像收集在一起当作一个合成的视频输入，由于收集块是由帧( 退化 图像) 组成的，同时帧之间的运动模型仅仅是全局运动，因此把收集块当作合成 的视频输入是合理的。通过对合成视频超分辨重建的实验，我们可以证明本章提 1 6 基于局部与非局部先验的影像超分辨重建算法研究 出的算法同样可以胜任传统的仅有全局运动的多帧图像超分辨重建。其中的一幅 低分辨图像如图2 4 ( a ) 所示。对9 幅观测图像采用不同的超分辨重建算法实现重建， 重建结果如图2 4 所示。 从主观上来看，基于结构张量和规范化卷积的视频超分辨重建算法可以有效 的实现多帧图像的超分辨重建，重建结果比双立方插值的结果边缘更加清晰，纹 理也能够很好的表现出来。图2 4 ( e ) 的s h i f t a n d a d d 算、法 2 6 j 是针对全局运动模型而提 出的快速多帧图像超分辨重建算法，相比之下，提出的算法可以有效的去除图像 中存在的噪声。 ( a ) 第一帧低分辨图像 第一帧嚣黛竺凳：鬻插值结果 ( c ) s h i f t a n d a d d 算法重建结果( d ) 提出的算法重建结果 ( p s n r = 3 4 0 6 6 1 )( p s n r = 3 3 3 1 2 8 ) 图2 4p e p p e r s 多帧图像超分辨重建结果( 放大3 倍) 从客观评价标准上来看，提出的算法针对全局运动这一模型可以获得很好的 效果，相比于双立方插值，p s n r 值有了很大的提高，说明真实的做到多帧低分辨 率图像之间的数据融合。尽管在p s n r 值上要比s h i f t a n d a d d 算法低一些，但是要清 楚s h i f t a n d a d d 算法只能针对全局运动这一模型，而提出的算法却可以适应更复杂 的运动模型。也就是说我们的算法是通用性算法，而s h i f t a n d a d d 算法是专用型算 法。重建结果的p s n r 值分别为，双立方插值2 9 0 0 7 2 ，s h i f t a n d a d d 算法3 4 0 6 6 1 ， 本章提出的算法3 3 3 1 2 8 。 2 4 2 局部运动模型下视频超分辨重建 对两个真实的视频f o r e m a n ，m i s s - a m e r i c a ，先后用3 3 的均匀点扩散函数模糊， 第 6 帧 第 1 6 帧 第 2 6 帧 第二章基于结构张量和规范化卷积的视频超分辨重建 1 7 采样率3 的水平和垂直采样，标准差为2 的高斯加性噪声“污染”，退化得到我们待处 理的观测视频。为了便于比较，我们只处理观测视频的前3 0 帧，实现3