基于稀疏表示的超分辨率图像重建硕士学位论文.pdf

分类号： 密级： u d c ： 编号： 江西科技师范学院硕士学位论文 基于稀疏表示的超分辨率图像重建 image super-resolution reconstruction via sparse representation 指导教师姓名、职称指导教师姓名、职称 申请学位级别申请学位级别 硕士硕士学位学位 学科专业名称学科专业名称 信号与信息处理信号与信息处理 论文提交日期论文提交日期 2012.3.262012.3.26 论文答辩日期论文答辩日期 学位授予单位学位授予单位 江西科技师范学院江西科技师范学院 答辩委员会主席：答辩委员会主席： 评阅人：评阅人： 年年 月月 日日 摘要 i 摘要摘要 过完备图像稀疏表示是一种最新的图像表示模型，采用过完备字典中原子的 线性组合形式实现图像的稀疏表示。 字典的过完备性， 使得过完备图像稀疏表示 能够用很少量的系数捕获到图像的主要信息和内在几何结构， 并且它不受仿射变 换的影响， 对噪声与误差更加鲁棒。 而且稀疏表示模型能够有效匹配哺乳动物本 原视觉皮层中神经元的稀疏编码机制。 这使得过完备图像稀疏表示模型成为当前 研究的热点。 超分辨率重建是典型的病态逆问题，引入合适的正则项是解决该问题的关 键。基于过完备稀疏表示模型中，通常采用稀疏性先验约束作为正则项，它没有 考虑图像的先验信息。 如何在过完备稀疏表示模型中， 建立基于图像先验信息的 稀疏性正则项， 是提高超分辨率重建效果的关键。 结构化稀疏性正则项是本文解 决的关键问题。 本文围绕图像稀疏表示理论中过完备图像稀疏表示模型、 过完备稀疏表示模 型在图像超分辨率重建中的应用两个方面进行了系统和深入的研究， 本文主要创 新点包括: （1）基于过完备稀疏表示理论思想，建立了新的稀疏性正则化的图像稀疏表示 模型。 模型中的正则项约束图像表示系数的稀疏性， 保真项则采用更符合视觉感 知的结构相似性度量。实验表明，该模型能更好的保持信号的结构，能获得更好 的图像视觉效果,并且求解算法也比传统的算法更具全面性。 （2）基于过完备稀疏表示建立的稀疏性约束超分辨率重建模型中，通常采用重 建误差的平方和作为保真项。这种方式并不能对图像的边缘、轮廓、纹理等局部 几何结构进行很好的重建， 不利于超分辨重建中几何结构的恢复。 本文从人眼视 觉模型出发， 依据图像的先验几何结构， 建立基于结构相似度模型的结构化稀疏 性正则项模型，更好地恢复了超分辨率重建图像中的边缘、轮廓、纹理等局部几 何特征。 关键词关键词：过完备稀疏表示；冗余字典；结构相似度；超分辨率重建 abstract ii abstract the sparse and over-complete representations of images are a new image model, image patches can be well-represented as a sparse linear combination of elements from an appropriately chosen over-complete dictionary, which can represent images in a compact and efficient way most atom coefficients are zero, only few coefficients are big, and the nonzero coefficients can reveal the intrinsic structures and essential properties of images. besides, redundant systems are also robust to noise and error. at the same time, sparse representation model can effectively match the sparse coding strategy in the primary visual cortex of mammal. at present it is a research hotspot problem. super-resolution reconstruction is the typical pathological inverse problem, introduce appropriate regularization is the key to solve the problem. based on a complete model of sparse representations, usually use sparse solution priori restraint as the regularization items, but it does not take into consideration of the image prior information. how to structure sparse solution in the sparse representation model, based on image prior information of regularization, is the key to improve the super-resolution reconstruction effect. structured sparse solution is the key problem in this paper to solve. this paper focus on the theory of image sparse representation in a complete image sparse representation model and the application of complete sparse representation model in image super-resolution reconstruction. this paper focus on the two aspects and in-depth research, this paper mainly innovation points include: (1) based on the complete sparse representation theory thought, established new sparse model of the solution of the regularized image sparse representation. the image sparse regularization constraint coefficient represents sparsity, fidelity term is accord with visual perception structure similarity measure. the experiment shows that the model can better keep signal structure, to get a better image visual effect, and the algorithm is better than the traditional algorithm and more comprehensive. (2) based on the model of complete sparse representation, we established the sparse constraint of super-resolution reconstruction model, which usually use reconstruction square error as fidelity term. this way can not efficient reconstruct the local geometrical structure of image such as the edge, outline, texture and so on. which adverse in the recovery of reconstruction the geometric structure of image. this paper consider the human visual model as the basis of geometric structure of prior image, based on structured sparse regularization to establish structure similarity model, which can better restore the local geometrical features of super-resolution reconstruction images of the edge, outline and texture. keywords：sparse representations; structural similarity; over-complete dictionary; super-resolution; 目录 iii 目录目录 第第 1 1 章章 绪论绪论 1 1.1 超完备信号表示 1 1.2 稀疏表示方法的研究背景及发展状况 1 1.3 超分辨率重建的研究背景及应用 2 1.4 本文的主要工作及内容安排 3 第第 2 2 章章 超完备稀疏表示超完备稀疏表示 5 2.1 稀疏表示模型 5 2.2 字典学习 7 2.2.1 最大似然率法 7 2.2.2 最佳方向方法(mod) . 8 2.2.3 k-svd 方法 9 2.2.4 稀疏性字典学习方法 . 10 2.3 重建方法 . 10 2.3.1 首先介绍匹配追踪算法的改进算法 10 2.3.2 迭代收缩算法 . 12 2.4 本章小结 . 13 第第 3 3 章章 超分辨率重建超分辨率重建 . 14 3.1 超分辨率重建模型 . 14 3.2 超分辨率重建算法 . 15 3.2.1 基于重建的超分辨率算法 . 15 3.2.2 基于插值的超分辨率算法 . 16 3.2.3 基于学习的超分辨率算法 . 17 3.2.4 基于稀疏表示的超分辨率重建方法 . 18 3.3 本章小结 . 19 第第 4 4 章章 基于结构相似度的稀疏表示模型基于结构相似度的稀疏表示模型 . 20 4.1 图像质量评价标准 . 20 4.1.1 图像质量的主观评价 . 20 4.1.2 图像质量的客观评价 . 21 4.2 基于结构相似度的质量评价方法 . 22 4.3 基于结构相似度的稀疏表示模型 . 27 目录 iv 4.3.1 信号的稀疏表示模型 . 27 4.3.2 求解算法 . 28 4.4 实验结果分析 . 29 4.5 本章小结 . 30 第第 5 5 章章 基于结构相似度保真度模型的超分辨率重构基于结构相似度保真度模型的超分辨率重构 . 32 5.1 超分辨率重建问题的稀疏优化模型 . 32 5.2 基于 ssim 保真度模型的图像超分辨率重建 33 5.2.1 基于 ssim 的近似求解 34 5.2.2 基于 ssim 保真度模型的图像超分辨率重建算法 35 5.3 实验结果分析 . 36 5.4 本章小结 . 37 第第 6 6 章章 总结与展望总结与展望 . 38 6.1 本文总结 . 38 6.2 未来展望 . 38 参考文献参考文献 41 第 1 章 绪论 1 第第 1 1 章章 绪论绪论 1.1 超完备信号表示 图像内容的稀疏表示为后续的图像处理研究提供了便利。我们在对图像进行 表示时，通常使用完备的正交基。这是因为完备的正交基可以使信号的表示更为 简单，而且表示是唯一的。但超完备稀疏表示的非唯一性使得我们能够自适应地 选择基底，以达到对图像稀疏表示的目的。超完备稀疏表示的优点是： （1）可以 获得最可能稀疏的图像表示； （2）可能获取比传统的非自适应方法更高分辨率的 信息。在图像处理方面，超完备表示能获得图像的稀疏表示，并且已经初步应用 于图像处理的各个领域 41。 假设集合 ,1,2,., sf，其元素f张成整个 hilbert 空间 n r 的单位矢 量。对于任意给定信号yh，都可表示成以下形式 yf （1.1） （1） 如果f线性独立，则表达式（1.1）的表示是唯一的； （2） 如果, ij ff ij，则s为 h 空间的一组正交基。 yf （1.2） 其中 n m r为合成矩阵 （1） 如果nm，则集合 f 为非完备表示； （2） 如果nm，则 n 个线性无关的基矢量组成一组完备基，此时的表示为完 备表示； （3） 如果nm，则集合 f 为超完备的，此时的表示为超完备表示。 1.2 稀疏表示方法的研究背景及发展状况 基于过完备字典的稀疏表示(sparse representation)是一种非常有效的图像 表示模型， 能尽可能稀疏地表示图像， 利用表示系数中少数的非零元素来压缩表 示图像，而且冗余结构对噪声和误差具有鲁棒性，有利于图像处理的进行。1993 年，mallat 和 zhang42提出了一种改进的基于过完备字典的信号表示方法，研究 表明用过完备的冗余基字典来表示信号能够取得更好的效果， 并指出信号的稀疏 性越强，重建原信号的精度越高。1995 年，chen, donoho 和 saunders43提出基 第 1 章 绪论 2 追踪（basis pursuit，简称 bp）算法，较好地解决了稀疏编码的凸优化问题。这 两篇文献为后来稀疏表示理论的研究奠定了坚实的基础。 olshausen 等171996 年 在nature杂志上指出自然图像本身存在稀疏性，提出了图像数据的稀疏性本 质。 同时， 神经生理学研究表明， 哺乳动物的本原视觉皮层(primary visual cortex) 也存在着稀疏编码策略， 进而使得稀疏表示模型能够非常有效地匹配人类的视觉 感知特性。 这些年， 稀疏表示理论在图像处理领域得到有效的发展和广泛的应用， 学者们提出了一系列有效的优化算法。2004 年，知名学者 donoho，candes 和 tao 等人在稀疏理论基础上，提出了压缩传感理论(compressive sensing，简称 cs ) 18，将稀疏表示理论推到了一个新的高度。目前国内外的主要研究是：稀 疏冗余字典的设计41、稀疏分解算法和稀疏表示模型在图像反问题中的应用等， 虽然已经取得了一些成就，但仍有很多难点问题需要解决2。 1.3 超分辨率重建的研究背景及应用 在大多数数字图像应用领域，人们总是希望，经过一系列的后续处理，可以 得到高分辨率的图像或视频。 图像分辨率描述了一幅图像所包含的细节部分， 分 辨率越高，包含的图像细节就越多。数字图像的分辨率可以被分为许多方面：像 素分辨率，空间分辨率，频谱分辨率，时间分辨率，辐射分辨率。在此，主要介 绍一下空间分辨率。图像的空间分辨率首先受限于图像传感器或图像获取设备， 典型的现代图像传感器为：电荷耦合器件（ccd）或者互补金属氧化物半导体 传感器（cmos） 。这些传感器主要被用在二维阵列中，以获取二维图像信号。 这些传感器的大小相当于单位面积传感器组件的数目， 这决定了所获取图像的空 间分辨率，传感器密度越高，成像系统的空间分辨率也就越高。一个拥有不恰当 的探测器的成像系统将会形成有块效应的低分辨率图像， 原因是： 为了增加成像 系统的空间分辨率， 一个直接的方法就是通过减小传感器的大小进而增加传感器 的密度，但是，随着传感器密度的减小，每个传感器照射的光线也随之减少，这 将会产生所谓的颗粒噪声。 另外， 相应的计算机硬件代价也会随着传感器密度或 相应的图像像素密度的增加而增加。 因此， 对于传感器大小的硬件限制约束了所 获得图像的空间分辨率1。 尽管图像传感器限制了图像的空间分辨率，图像的细节（也就是高频部分） 同样也受光学限制，由于运动产生的镜像模糊（与点扩散函数（psf）有关） ， 镜头畸变， 光圈衍射和光学模糊。 通过构造图像碎片和光学部件来获得非常高分 辨率的图像，这样的代价过于昂贵，并且在实际应用中是不切实际的。例如，广 泛使用的监控摄像头和移动电话上嵌入的摄像头。 且不考虑代价， 监控摄像头的 第 1 章 绪论 3 分辨率仍然受摄像头的速度和硬件存储的限制。在其他情况下，例如卫星影像， 由于物理因素不可能使用高分辨率传感器。 另外解决此问题的方法是， 接收退化 图像并且用信号处理技术对获取图像进行后期处理。 牺牲计算时间换取硬件的代 价。这项技术被称为超分辨率重建。 超分辨率重建技术是从一些观测得到的低分辨率图像重建出高分辨率图像， 因此增加了高分辨率元素并且移除了由成像过程中低分辨率摄像头引起的退化。 超分辨率重建技术的应用领域有： (1) 视频监控25,27，为了便于人们的观察，进行画面暂停和感兴趣区域缩放，例 如观察视频中的车牌，为了目标自动识别而进行分辨率增强，例如，试图识别罪 犯的脸。 (2) 遥感26，同一区域提供的几幅图像和增强了分辨率的图像才能被看见。 (3) 医学影像（ct,mri，超声波等）28,29,30,31，许多图像受分辨率限制，超分辨 率技术可应用于增强分辨率。 (4) 视频标准转换，例如，从 ntsc 视频信号到 hdtv 信号。 总之，随着超分辨率技术的完善与发展，其应用领域也会相继扩大。图像超 分辨率处理技术有着较为广阔的发展空间， 并因其良好的应用前景， 将会引起人 们更多的关注。 1.4 本文的主要工作及内容安排 本文的主要工作和内容安排如下： 第一章是绪论部分， 主要介绍了超完备信号表示， 过完备信号表示的研究背 景及研究现状，超分辨率重建目前的研究现状及发展背景。 第二章是超完备稀疏表示，主要介绍了稀疏表示的模型，以及字典的构造 方法， 主要是为了与本文所提出的基于结构相似度的稀疏表示模型形成对比， 体 现所提出方法的优越性。 第三章是超分辨率重建， 主要介绍了超分辨率重建的模型以及相关的求解算 法，对目前出现的各种算法进行总结比较。 第四章是基于结构相似度的稀疏表示模型， 主要介绍本文所提出的基于结构 相似度的稀疏表示模型和求解算法，与传统的稀疏表示模型和求解算法作比较， 体现所提出方法的优越性和适用性。 第五章是基于结构相似度的超分辨率重建， 主要介绍了将基于结构相似度的 匹配追踪算法和更新字典方法应用于图像的超分辨率重建， 实验结果表明， 所提 出的方法取得了较好的效果。 第 1 章 绪论 4 第六章是总结与展望， 总结了在攻读硕士研究生期间所做的工作， 提出了下 一步工作的方向。 本文有以下两个创新点： （1）基于过完备稀疏表示理论思想，建立了新的稀疏性正则化的图像稀疏表示 模型。 模型中的正则项约束图像表示系数的稀疏性， 保真项则采用更符合视觉感 知的结构相似性度量。实验表明，该模型能更好的保持信号的结构，能获得更好 的图像视觉效果,并且求解算法也比传统的算法更具全面性。 （2）基于过完备稀疏表示建立的稀疏性约束超分辨率重建模型中，通常采用重 建误差的平方和作为保真项。这种方式并不能对图像的边缘、轮廓、纹理等局部 几何结构进行很好的重建， 不利于超分辨重建中几何结构的恢复。 本文从人眼视 觉模型出发， 依据图像的先验几何结构， 建立基于结构相似度模型的结构化稀疏 性正则项模型，更好地恢复了超分辨率重建图像中的边缘、轮廓、纹理等局部几 何特征。 第 2 章 超完备稀疏表示 5 第第 2 2 章章 超完备稀疏表示超完备稀疏表示 2.1 稀疏表示模型 近些年，我们目睹了信号稀疏表示卷起的热潮。利用过完备字典矩阵 n k dr ，字典每列包含 k 个原子， 1 k ii d ，信号 n yr可以被这些原子的稀疏 线性组合所表示。信号y也可以表示为ydx或者近似ydx，满足条件 | p ydx，矢量 x 包含了信号y的稀疏表示系数。 记 n yr为nn维的数字离散图像， 字典 d 为 k 个 n 维单位长度向量 i d的集合|,| 1 n ii ii ddrd ，在稀疏表示理论中称每一元素 i d为原子，其 中 i 为有限个原子的指标集(也即可数集)，集合 i 中元素个数为 k，要求kn。 此时，图像y可分解为： ii i i yd (2.1) 或者为 1 jj t t ii j ydr (2.2) 其中，, i ii为图像y在字典 d 中的分解系数， t r为 t 项逼近后的残差。 由以上过完备信号稀疏表示 1理论可知，当 nk并且d是满秩矩阵时，字典是 过完备的，该问题有无穷多个解，从数学求解的角度，这是一个 np-hard 问题， 计算量非常大，需要建立模型，寻求优化算法。 信号经过某种变换后， 可以去除系数之间的相关性， 使得信号能量更加集中。 对于一个特定的信号表示方法， 其优劣的度量通过采用表示系数的稀疏程度。 信 号的稀疏性一般由 0 l范数来定义，即 0 |# ,0 i yi y，表示非零系数的个数。 然而，当信号含有噪声时， 0 l范数不是很有效。在近似算法中，典型的范数 被用来测量误差，这些范数为 p l范数，1,2,p 。 p l范数能度量非零系数个 数与信号重建 2 l误差之间的均衡， p l范数的定义如下20： 1/ |(| ) p p pi j yy (2.3) 当 0 p0 时，该度量接近于e中非零元素的个数。因此 我们用对的零范数的约束即： 0 |n，来表征稀疏约束，这里的零范数就 是用来表示向量中非零元素个数，就是 p 范数中，当 p 趋向于零时的扩展2。 给定图像信号x和字典d时，当nk并且d是满秩矩阵时，该问题有无穷多个 解，因此设约束条件是必须的，我们要寻找的是有最少非零系数的解。最稀疏表 示是下列方程的解，即 0 min| , . .st xd （2.5） 或者 0, ()p 0 m i n | | | x x s u b j e c t to 2 |,ydx （2.6） 其中， 0 | |是 0 l范数，表示矢量中非零系数的个数。 在足够稀疏的条件下， 0 l范数可以转化为 1 l范数的凸优化估计问题。即： 1 min| , . .st xd （2.7） 实际应用程序可以从稀疏和过完备概念中得到好处，包括：压缩，反问题中 的正则化，特征提取等等。甚至，jpeg2000 编码标准的成功也归功于自然图像 小波系数的稀疏性32。稀疏性和过完备性已经成功的用在动态图像压缩36，图 像的纹理分割和动画编目33,34，修复35等等。 在采集图像的过程中，图像会受到噪声的干扰，这时，给出的信号模型为 xdv （2.8） 通常假设加入的噪声v为方差为 2 的高斯白噪声，则上式变为下面的不等式约 束： 1 min| , . .st 2 | | |xd （2.9） 为很小的正常数，当0时，为稀疏表示问题。 目前稀疏表示模型式（2.9）大量用在信号和图像处理中，例如图像处理、 第 2 章 超完备稀疏表示 7 数据压缩和传感器网络等， 在计算机视觉领域中也得到了应用， 并且在各自领域 取得了较好的效果。有时我们也会将(2. 9)式转化为如下无约束的优化问题： 2 21 1 *argmin( )argmin| 2 fxd （2.10） 式子(2.10)用代替了式子(2.9)中的，来调节系数的稀疏性程度与重建误差。 式子（2.10)通常将关于的表达式( )f最小化来求解，将其转化成了凸优化问 题3。 2.2 字典学习 图像稀疏重构过程中， 一个非常重要的环节就是稀疏字典的选择。 进行稀疏 表示的过完备字典 d， 一是由预先给定的一组函数构成； 另一个是通过适应所给 样本信号的内容进行设计所得。选择预先给定的变换矩阵进行字典构造是合理 的，因其简单性，同时，在很多情况下，它对于稀疏性评估有着简单而且快速的 算法。在信号表示理论中，某一种变换的所有基函数组合在一起，属于分析型字 典，这些字典的基元均具有以下特征：固定的形式、结构性好、有快速的数值计 算方法和其它一些规范性约束(例如正交性和紧致性)。但也正是由于它们是基于 某一类数学表达，在很多情况下，分析型字典对不同类型的数据自适应较差。由 于这些，近些年，基于学习的字典应运而生。其基本思想是：从数据本身直接学 习表示基元的结构。 直接学习的方法比从数学表达式中得到的方法能更好地描述 自然界中复杂信号的基元， 另外， 通过样本训练所得的字典不仅自适应能力更强， 而且能得到更精具有更好的性能应用19,21。 下面介绍其中比较经典的冗余字典设计算法：最大似然率法（maximum likelihood methods） 、最佳方向方法（mod）22、k-svd24方法和稀疏性字典 学习方法。其中比较常用的是 mod 和 k-svd，主要区别在于更新阶段的不同。 2.2.1 最大似然率法 给出的模型为： ydxv （2.11） 其中x是稀疏表示系数，v是方差为 2 的高斯白噪声，给定信号 1 n ii yy ，似 然函数为( |)p y d，为寻找字典来最大化( |)p y d，为了顺利进行，我们假设： （1）测量值是独立的，很容易给出 1 ( |)(|) n i i p y dp yd ; 第 2 章 超完备稀疏表示 8 (2)参考隐含变量 x，对概率函数求导， 2 2 2 1 (|)exp| 2 ii p ydconstdxy 稀疏表示矢量 x 的先前分布假设为独立同分布的零均值的柯西或拉普拉斯分布， 假设为拉普拉斯分布，我们得到： 2 1 2 (|)(| ,)( ) 1 exp| exp | 2 ii p ydp yx dp x dx constdxyxdx （2.12） 该方程关于 x 难以求解，olshausen and field 38解决该问题的方法为，用 (, |) i p y x d代替，于是变为： 1 2 1 1 argmaxmax (,|) argmaxmax| i i n ii x d i n iii x d i dp y xd dxyx （2.13） 该问题没有对 d 进行关于 x 的惩罚项，因此，求得的解是为了使得稀疏尽可能 地接近于 0，但是这将会增加字典的列。目前这个难题已经得到解决，通过对每 个基元素进行 2 l范数约束，因此输出变量的系数保持在近似水平37。对方程 （2.13）的求解建议使用迭代的方法解决，每次迭代包含两个主要步骤： （1）用 简单的梯度下降法计算x的系数； （2）用下式对字典进行更新37 ： (1)( )( ) 1 () n nnnt iii i dddxy x （2.14） 2.2.2 最佳方向方法(mod) mod 方法是最早用来解决稀疏问题中字典设计的算法之一。该方法稀疏编 码阶段用 omp 或者 focuss 算法对字典进行更新。mod 算法的主要贡献是更 新字典的方法很简单。假设对每个样本信号 12 , n yy yy而言，稀疏表示系 数是已知的， 12 , i xx xx， i x表示x的第i列。我们定义误差 iii eydx， 总体均方误差为： 222 12 | ,| fnff ee eeydx， （2.15） |fs表示 frobenius 范数，即 2 |f ij ij ss 。假定 x 固定，通过使上式（2.15） 误差最小化，我们可以得到一个更新的字典 d。即： 2 , argmin|f d x ydx . .st 0 0 | | | i xt i （2.16） 第 2 章 超完备稀疏表示 9 对式（2.16）关于 d 求导，并令其等于 0，我们得到()0 t ydx x。继而有如 下关系式： 11 ()() ) nn tnn t dy xxx （2.17） 得到的字典的每一列是个归一化的单位向量。mod 算法需要几十次迭代可达到 收敛， 属于一种整体上比较有效的方法。 其缺点是由于需要对矩阵进行求逆运算， 计算复杂度较大，算法需要进一步提高。 2.2.3 k-svd 方法 为了提高设计字典的有效性和字典设计的速度，aharon 和 elad13提出了 k-svd 算法。k-svd 算法主要的贡献就是在字典更新阶段，它不是利用矩阵倒 置而是对逐个原子进行简单而又有效的更新， 更深远的贡献是提出了当前原子和 与其相关联的稀疏系数同时更新的方法，使得计算复杂度比 mod 方法低。实验 结果说明 k-svd 方法是一个快速的有效的算法，而且相对于 mod 算法没有显 著的条件要求。 k-svd 算法是通过奇异值分解(svd)来实现的，这是原子更新步骤的核心， 重复 k 次。k 是指字典基元个数。k-svd 的目标优化方程与 mod 方法的式子 (2. 16)相同，重新写为： 22 | ttt jjkkfkkkf j k yd xd xed x ， （2.18） 其中， t j x是x的行， k e是残差矩阵。原子的更新是通过使得上式（2.18）最小 化得到。当某一列字典原子进行更新时，假设字典的其他列原子已知，同时得到 一个表示误差矩阵， 然后同时对这一列原子和与其相关的稀疏表示系数进行更新 (待更新的字典基元和稀疏表示系数都是列向量)。利用 k-svd 方法训练字典的 过程如下： 算法 2.1：字典训练算法：k-svd 算法描述 步骤一 初始化： (0)n k dr ，nk，且满足 (0)2 2 |1 i d；令 j=1 步骤二 重复下列步骤直至满足收敛条件： a. 稀疏编码阶段：采用任何一种追踪算法，通过优化下列方程求解每个信号 i y 的稀疏表示系数 i ，即：1,2,in， 2 2 min| i ii yd subjectto 00 | i t b. 字典更新阶段：通过下列步骤来更新字典 1j d 中的每一列1,2,kk 定义用到字典中第 k 个基元的样本组为： |1,( )0 k kt wiini ，其 中 k t 表示系数矩阵的第 k 行 通过下列式子计算总体表示误差矩阵 k e： j kjt j k eyd 通过选择只与 k w相关的列来约束 k e，得到 r k e 第 2 章 超完备稀疏表示 10 采用 svd 方法分解 r k e， 即 rt k eu v,用矩阵 u 的第一列来更新字典向 量 k d，用矩阵 v 的第一列乘以(1,1)更新系数矢量 r k 设置1jj。 式（2.18）高度的非凸性使得该方法容易陷入局部最小，并且，训练的结果是个 无结构的字典，这样的字典对于实际应用而言代价较高，因此，这些方法是用于 信号数目相对较小的情况。为解决上述问题，又出现了参数训练方法，下面将介 绍的稀疏性字典学习方法就属于其中的一种。 2.2.4 稀疏性字典学习方法 对于稀疏字典领域，目前较大的贡献之一是，elad 等19,21提出了一种结合 了训练字典和分析字典优点的稀疏字典。其形式为，d 。其中 b 是一些有 快速算法的固定的分析型字典， a 是稀疏矩阵。 分析型字典是基于数学表达式且 和某种变换相对应，所以存在快速算法而且求得的字典具有较强的结构性。图 2.3 给出了两种类型的字典对比图。因此，稀疏字典是紧致的，能够快速实现的。 但是，它的自适应性取决于 a。所有这些使得所学习得到的字典比 mod 或者 k-svd 要大。然而，稀疏字典的结构仍然是和信号的大小一样，未来的工作就 是设计出更加普通的字典模型，以求获得分析型和学习型的所有优点。 （1）dct 字典 （2）k-svd 字典 图 2.3 分析型字典和学习型字典对比图 左图是基元为12 12块的 dct 字典；右图是用从 lena 图中抽取的12 12块的样本再通过 k-svd 方法训练得到的字典。 2.3 重建方法 我们把重建算法分成两大类：匹配追踪算法的改进算法和收缩算法。 2.3.1 首先介绍匹配追踪算法的改进算法 第 2 章 超完备稀疏表示 11 2.3.1.1 匹配追踪算法（matching pursuit） 匹配追踪是一类迭代算法，它把信号分解成线性原子，这些原子构成字典。 匹配追踪算法最初是由 mallat 和 zhang42提出， 在每次迭代时， 匹配追踪算法用 贪婪的形式选择字典的原子来对信号进行最佳近似。 接下来详细介绍 mp 算法的过程。h是 hilbert 空间，dg 是一族矢 量，其中| 1g。我们认为 d 就是字典。v是字典的线性闭空间，值得注意的 是，字典原子的有限的线性组合都聚集在v内。当vh时，我们说字典是完备 的。假设fh，我们基于字典 d 计算f的线性扩展，通过最佳近似。对于任 意矢量gd，我们把f分解为： ( ) , g ff ggr （2.19） 其中 g r是指通过g对f做近似后的残差。由于f与残差是正交的，我们得到： 222 |,| g ff gr （2.20） 为了得到最佳的近似，我们最小化残差的范数，因此我们希望 2 |,|f g最大。 由于在有限的空间里， 经常选择这样一个矢量是不可能的， 所以我们选择最佳近 似的字典原子，当矢量满足下面的条件时： 2 |,|sup|,| r f gf g （2.21） 对于而言，满足01。 mp 算法每次迭代，我们从字典中选择当前残差的最佳近似。假设，我们进行 n 次迭代，这样就有 n 个 ( )n r，此时从 d 中选择函数 (1)n g ，就是式子（5.3）的最 佳值，因此分解 ( )n r为： ( )( )( )( )(1) , nnnnn rrggr （2.22） 继续分解直到我们得到原始函数f： ( )( )( )(1) 0 , n iiin i frggr （2.23） 由于残差 (1)i r 总是与 ( ) i r正交，我们得到能量守恒结果 2( )2(1)2 0 |,| n in i ff gr （2.24） 表明 mp 算法通过对字典原子的扩展完全覆盖了f。 2.3.1.2 正交匹配追踪算法（orthogonal matching pursuit） 第 2 章 超完备稀疏表示 12 omp 算法是对 mp 算法的提高。omp 算法的原理于 mp 是相同的，这里不 再详细介绍。 每次迭代都是从字典里选择一个与残差最近似的原子。 但是并不是 简单地通过残差与字典原子的数量积， 来得到系数的加权值， 我们固定所有选择 的字典元素的原始函数， 通过最小平方或者将函数正交的投影到所有选择的字典 原子上。因此叫做正交匹配追踪算法。本文在 omp 算法的基础上进行了改进， 得到了基于结构相似度的匹配追踪算法。 基于 mp 和 omp 算法的改进算法有：阶段匹配追踪（stagewise orthogonal matching pursuit（stomp） ） ；梯度追踪（gradient pursuit） ；压缩采样匹配追踪 （cosamp） 。贪婪算法的速度较快，但是优化重建效果相对较差，需要的观测 信号数量也较多，不能高效地压缩信号2。 2.3.2 迭代收缩算法 收缩算法是在每次迭代时执行一些收缩函数的一类算法。 典型的迭代形式如 下 ( )(1) ( () ii xtf x （2.25） 其中 t 是关于参数的收缩函数，f是一些对先前迭代的输出进行操作的函数。 迭代收缩算法主要包括硬阈值收缩 （hard thresholding） 算法和软阈值收缩 （soft thresholding）算法。 2.3.2.1 硬阈值收缩算法 硬阈值收缩用到收缩函数 s h： nn rr， 该函数把除了大于阈值s的其他矢 量 n zr设置成为 0，剩下的元素保持不变，我们假设为元素x的阈值： （2.26） 2.3.2.2 软阈值收缩算法 硬阈值算法与软阈值算法很相似。软阈值算法可以表示为下面的方程最小化形势： 2 21 ( ) |2 |f xxyx （2.27） 上式可以通过对下式进行约束求解： (1)( )( ) () kkk xs xyx （2.28） 其中( )() jj s xs x 是软阈值函数，对输入矢量进行分段。 第 2 章 超完备稀疏表示 13 （2.29） 2.4 本章小结 本章分别介绍了传统的稀疏表示模型、字典学习、重建算法。主要从原理上 进行了分析。主要分析了三大类稀疏表示模型：稀疏性约束表示模型、稀疏表示 误差模型和正则化模型。 简要的分析了稀疏编码的优化算法， 主要包括匹配追踪 和正交匹配追踪相关的贪婪算法以及迭代收缩算法。 进一步分析了学习字典的基 本概念及相关算法。 第 3 章 超分辨率重建 14 第第 3 3 章章 超分辨率重建超分辨率重建 在电子图像应用领域，人们总是期望得到高分辨率图像。高分辨率意味着图 像中的像素密度高，能提供更多的细节，而这些细节在许多在实际应用中不可或 缺。例如，在医疗图像中，高分辨率对于医生做出正确的诊断是非常有帮助的； 在卫星图像中，使用高分辨率就很容易从相似物中区别出相似的对象；在计算机 视觉中，如果能够提供高分辨图像，模式识别的性能就会大大提高。自从上世纪 七十年代以来，电荷耦合器件(ccd)、cmos 图像传感器已经被广泛用来捕获数 字图像。虽然对于大多数的图像应用而言这些传感器是合适的，但是当前的分辨 率水平和消费价格并不能够满足今后的需求。例如，人们希望得到一个便宜的高 分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降；科学家通常需要一个 接近35毫米模拟胶片的分辨率水平， 这样在放大图像的时候就不会有可见的瑕疵。 因此，寻找一种增强当前分辨率水平的方法是非常必要的 49。 3.1 超分辨率重建模型 超分辨率图像重建的方法是通过建立图像退化的物理模型， 假设通过原始高 分辨率图像（hr）经几何形变、模糊和降采样后得到的低分辨率图像(lr)，再 利用低分辨率图像进行融合， 来得到高分辨率图像。 低分辨率图像的成像过程可 以用以下的模型表示为3： ydhxn （3.1） 其中h是模仿数码相机的点扩散函数的模糊算子，d是下采样算子，n是 产生低分辨率图像时引入的噪声，x是高分辨率目标图像，y是观测的低分辨率 图像。重建原始高分辨率图像是一个典型的病态反问题47。当只有一幅低分辨 率图像可用时此问题变得更加欠定。传统的线性插值方法有：双线性，双立方， 三次样条插值， 他们重建的高分辨率图像有锯齿等人工产品。 为了提高线性插值 方法，有方向的插值法被提出，沿着边沿方向进行插值。特别地，zhang and wu 13优化了基于局部信号协方差的插值法，并且获得了目前最好的插值效果。但 是，所有这些插值法不能处理低分辨率图像中的噪声和模糊。 第 3 章 超分辨率重建 15 实际场景 运动模糊 散焦模糊 欠采样 采集图像 图 3-1 模拟图像采集与成像的退化过程。 3.2 超分辨率重建算法 目前研究的比较多的超分辨率重建算法分为四类： 基于重建的方法、 基于插 值的方法、基于学习的方法和基于稀疏表示的方法。其中，基于插值的方法相对 最简单，最适合于实时处理；基于重建的方法是目前最广泛研究的方法，该方法 已经比较成熟， 主要针对图像空间信息的增强和复原； 而基于学习的方法是目前 最流行的算法；基于稀疏表示的方法也是最流行的方法3。接下来分别介绍上述 四种超分辨率重建方法。 3.2.1 基于重建的超分辨率算法 这类方法假定超分辨率图像在适当的变形， 平移和子采样及噪声干扰下， 利 用多帧低分辨率图像48作为数据一致性约束，并结合图像先验知识(通常是平滑 性等) 进行求解。 目前的方法主要有49： （1）迭代反向投影法（ibp）11，该算法的基本思想是：首先，我们把估 计得到的高分辨率图像代入估计误差， 该估计误差是由前向观测模型得到的低分 辨率图像与原有的低分辨率图像相减得到的； 然后， 再利用该估计误差更新高分 辨率图像。该算法的设计是基于成像模型（3.1）的，但是，在恢复低分辨率图 像时， 迭代反向投影法过程涉及许多的不确定性， 因此通过迭代反向投影法算法 重建的高分辨率图像很容易的观察到棋盘和锯齿现象。 这主要是由于迭代反向投 影法试图找到使得 2 |ydhx最小化的x，但是，有很多可能的x使得 2 |ydhx