（计算机应用技术专业论文）基于学习的非线性人脸图像超分辨率算法研究.pdf

摘要 图像超分辨率技术是一种基于信号处理方法获得较高分辨率图 像的技术。它以若干模糊、有噪、频谱混叠的低分辨率图像为输入， 通过信号处理技术融合出一幅高分辨率图像，因而在视频、成像、遥 感、医学、监控和军事等领域都有重要应用。近年来，基于学习的图 像超分辨率技术更是热门话题。 本文研究基于学习的图像超分辨率的特性，结合人脸这一特殊类 型的图像，提出了一种块语义马尔可夫网络下非线性人脸图像超分辨 率算法。论文的具体内容包括： 首先，全面回顾和评述了超分辨率图像重构技术的概念和基本方 法，接着重点介绍了基于学习的一般图像超分辨率技术。然后，本文 着重研究了基于学习的单幅人脸图像超分辨率算法，采用马尔可夫网 络模型描述重构机制，通过研究人脸这一特殊类别的图像，结合其语 义特征，考虑到人脸图像的差异，在采用基于对齐的图像块坐标限位 操作的基础上，提出了一种非线性搜索算法，降低了搜索的复杂度， 提高了匹配相关性，加快了马尔可夫网络收敛。算法利用搜索到的高 分辨率图像分块样本进行了块间的视觉兼容性处理，最后直接输出相 关分块样本为复原的人脸图像。实验结果证实本文提出的算法具有输 出质量好、效率高等特点，有一定的实用价值。 关键词超分辨率，人脸图像，马尔可夫网络，非线性搜索 a b s t r a c t i m a g es u p e rr e s o l u t i o nt e c h n o l o g yi sam e t h o dt h a to b t a i n sh i g h r e s o l u t i o ni m a g eb a s e do nt h es i g n a l p r o c e s s i n gt e c h n o l o g y b yu s i n ga n u m b e ro fn o i s y , b l u r r e dl o wr e s o l u t i o ni m a g e s ，i tc a np r o d u c eah i g h r e s o l u t i o ni m a g et h r o u g ht h es i g n a l - p r o c e s s i n gt e c h n o l o g y s oi tc a nb e a p p l i e di nm a n yi m p o r t a n ta r e a s ，s u c ha sv i d e o ，i m a g i n g ，r e m o t es e n s i n g ， m e d i c a l ，s u r v e i l l a n c ea n dm i l i t a r ye t c i nr e c e n ty e a r s ，l e a r n i n g b a s e d i m a g es u p e rr e s o l u t i o nt e c h n o l o g yh a sb e c o m em o r ea n dm o r ep o p u l a r b ys t u d y i n gt h ec h a r a c t e r i s t i co fl e a m i n g b a s e ds u p e rr e s o l u t i o na n d t h ei n h e r e n tp r o p e r t yo ff a c ei m a g e ，t h i sp a p e rp r o p o s e san o n l i n e a rf a c e i m a g es u p e rr e s o l u t i o na l g o r i t h mb a s e do ns e m a n t i cc o n s t r a i n tp a t c h - b a s e dm a r k o vn e t w o r k t h es p e c i f i cc o n t e n to ft h et h e s i sa sf o l l o w s ： f i r s t l y , t h i sp a p e rc o m p r e h e n s i v e l yr e v i e w st h eb a s i cc o n c e p ta n d m e t h o d so fi m a g es u p e rr e s o l u t i o nt e c h n o l o g y , a n dd e s c r i b e sl e a r n i n g b a s e dg e n e r a li m a g es u p e rr e s o l u t i o nt e c h n o l o g yi nd e t a i l t h e n ，t h i s p a p e r s t u d i e s l e a r n i n g b a s e da l g o r i t h m o fs i n g l ef a c e i m a g es u p e r r e s o l u t i o n u s i n gm a r k o vn e t w o r km o d e lt oe x p r e s st h er e c o n s t r u c t i o n m e c h a n i s m ，b ys t u d y i n gf a c ei m a g et h i ss p e c i a li m a g e ，c o m b i n i n gw i t h t h es e m a n t i cc h a r a c t e r i s t i c so ff a c e i m a g e s ， a n dc o n s i d e r i n gt h e d if f e r e n c e sb e t w e e nf a c ei m a g e s ，a n db a s e do naa l i g n e dp a t c hp o s i t i o n c o n s t r a i n to p e r a t i o nf o rs e a r c h i n gt h em a t c h e dp a t c h ，t h i sp a p e rp r o p o s e s an o n l i n e a rs e a r c h i n ga l g o r i t h mw h i c hd e c r e a s e st h ec o m p l e x i t yo ft h e s e a r c h i n go p e r a t i o na n di n c r e a s e st h ee f f e c to fm a t c h i n ga n ds p e e d su p t h e c o n v e r g e n c e o ft h em a r k o vn e t w o r k a f t e rt h em a t c h e dh i g h r e s o l u t i o np a t c h e sa r ec o l l e c t e d ，t h ea l g o r i t h mu s e st h e s ep a t c h e st o d i s p o s ei nv i s i o nc o m p a t i b i l i t y , a n dd i r e c t l yo u t p u tr e l a t i v ep a t c h e sa s i i r e s t i t u t e df a c ei m a g e t h ee x p e r i m e n t a lr e s u l ts h o w st h a tt h ep r o p o s e d a l g o r i t h mh a sag o o do u t p u tq u a l i t y ，h i g he f f i c i e n c ya n ds o m ep r a c t i c a l v a l u e k e yw o r d s s u p e rr e s o l u t i o n ，f a c ei m a g e ，m a r k o vn e t w o r k , n o n l i n e a rs e a r c h i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：僵哗 日期： 埠年月堕日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：篮坤师签日期：2 孳年月丛日 硕士学位论文第一章绪论 1 1 研究背景 第一章绪论弟一早殖t 匕 超分辨率( s u p e rr e s o l u t i o n ，s r ) 图像重构技术是一种基于信号处理方法获 得较高分辨率图像的技术。s r 技术以若干模糊、有噪、频谱混叠的低分辨率( l o w r e s o l u t i o n ，l r ) 图像为输入，通过信号处理技术融合出一幅高分辨率( h i g h r e s o l u t i o n ，h r ) 图像。由于s r 技术可以克服图像系统的内在分辨率限制，改 进图像处理中大多数图像的质量，且具有低成本的特点，因而在视频监控、图像 恢复、遥感、医学、视频传输和军事等领域都有重要应用【l l 。具体而言，s r 技 术可应用于以下几个领域：( 1 ) 视频监控系统。在大多数的视频监控中，摄像头 的位置通常离人脸较远，因而人脸图像通常比较小，为了更好地识别它们，可以 先对其进行超分辨率放大再识别；( 2 ) 图像恢复。对于一些已经被损坏的图像， 如身份证上的照片存在污损等，可以使用图像超分辨技术来对该图像进行重建和 恢复；( 3 ) 遥感系统。卫星或飞机周期性地飞过同一地域，由于受到成像条件与 成像系统分辨率的限制，很难获得较高清晰度的图像，在此由多幅低分辨率图像 来复原高分辨率图像将具有十分重要的意义；( 4 ) 医学成像系统。医学检测中常 常需要通过层析成像技术识别并确定出病体( 如肿瘤等) 的精确位置及其它详细 情况，如阴影的边缘、异物占位的大小以及位置等等。由于硬件设备及现有的成 像技术的限制，我们还不能够获取满足高要求的高清晰图像，借助层析成像技术 的特殊机理，使得超分辨率图像重构技术可在该领域获得重要的应用；( 5 ) 视频 传输。在低带宽的视频传输中，为了更加有效的利用有限的带宽，可以只传输低 分辨率的视频流，然后在接收端使用图像超分辨率算法获得高分辨率的视频流； ( 6 ) 军事应用领域。主要针对战场监控与打击效果评估、s a r 雷达成像信号处 理等。由于红外成像系统中红外c c d 器件的像素数一般较少，获取的图像分辨 率一般较低，虽然可通过使用高空间分辨率的光学和c c d 传感器在一定程度上 解决该问题，但成本过高并且这些传感器也存在制造技术限制，因此使用s r 技 术提高成像系统分辨率是非常必要的。 1 2 图像超分辨率的发展过程 图像超分辨率是指通过对一幅或多幅低分辨率图像采用某种算法来获得一 幅更清晰的高分辨率图像，同时还能够消除噪声以及由有限检测器尺寸和光学元 件产生的模糊，它是图像融合领域中的一个重要分支。研究图像超分辨率技术可 以有很广泛的应用前景，它可以在一定程度上突破图像获取手段的空间分辨率极 硕士学位论文第一章绪论 限，改善由于图像离散化和图像退化引起的空间分辨率下降问题，弥补原有图像 空间分辨率的不足，获得更加清晰的图像。图像超分辨率技术可使输出图像的质 量得到较大程度的提高，既改善图像的视觉效果，又便于计算机对图像进行分析、 处理和识别。 上世纪6 0 年代h a r r i s 和g o o d m a n 将带限信号外推的方法对偶地运用到光学 图像的超分辨率重建中，从而奠定了其赖以存在的数学基础，随后s r 一直是数 字图像研究的焦点问题之一，近年来更是趋热。s r 的概念最早在光学【2 】中提出， 在光学中如果光的分解超出了散射范围，则称这种现象为超分辨率。在图像信号 处理中，s r 是指通过信号处理技术利用一些l r 图像重建一幅h r 图像。 早期的s r 方法基本上可以归结为基于重建的技术，该技术要获得成功有一 个前提，就是输入的l r 图像要足够多，这才有可能恢复出原来的高频信息【3 】【4 】【5 】， 但实际应用中这个条件比较苛刻，如果只有一幅输入l r 图像，要得到对应的h r 图像就更加困难。很多传统单帧缩放算法，如最近邻域法、双线性插值法、三次 卷积法和三次样条算法都可实现图像的放大效果，但由于受到信息量的限制，这 些单幅图像插值后图像的高频细节被丢失。传统的s r 过程，也称作基于重建的 图像超分辨率方法，利用多次拍摄的低分辨率图像输出高分辨率图像，这样s r 就是一种由一序列低分辨率图像重建高分辨率图像的过程，如下图1 1 所示。在 一定条件下该方法是可行的，由于连续的图像帧之间包含有大量相似但又不完全 相同的信息，因此要对得到的观测图像进行放大处理，可根据图像序列进行高分 辨率的图像重构。 l r 图像序列 口 复原的i d r 图像 图l l利用l r 图像序列复原h r 图像的s r 过程 假定输入的l r 图像可以从不同角度描绘出同一场景的细微差别，从更广泛 的方面来说，s r 技术是通过把l r 图像提供的新细节合并到最终结果中，从而 改进图像的空间分辨率。然而，该s r 过程如果想成功，首先需要大量的低分辨 率原始图像，才能恢复唯一的混杂频率信号【5 】。假使只有一张原始图像s r 也是 可行的，不过这取决于重建方法所掌握的有效信息，很明显，可测量图像就是一 种适合重建方法的信息，但一般来说，仅凭单个输入来恢复高分辨率信号是困难 的，所以为了补偿数据不足，替代信息是必要的。 2 硕士学位论文 第一章绪论 实际上，s r 是一个病态问题【6 】，因此研究人员常常采用近似算法实现s r 重 构，并且增加额外的信息以弥补输入数据的不足。关于研究主体图像的先验知识 可以被认为是信息来源，贝叶斯观点认为这种翻转问题的附加物是一种研究图像 概率密度函数( p r o b a b i l i t yd e n s i t yf u n c t i o n ，p d f ) 的方法，因此人们越来越关 注如何定义概率密度函数，但仍然还有很多问题要研究。从贝叶斯理论的观点来 看，给s r 逆向问题提供额外信息，就是要利用图像的概率密度函数的先验知识， 对s r 过程进行正则化，提高计算结果逼近真实解的概率，使结果逼近真实解， 如边缘保持【7 】、混叠度预估i s 、t i k h o n o v 正则化【9 】、小波系数稀疏【l o 】等技术。这 些工作都有力推动了s r 的发展，但效果仍然有限，对p d f 的定义难以证实 i o 1 q ， 迄今为止还没有找到一个比较好的正则化方法。 近年来，一种基于学习的s r 方法正在兴起，与传统基于重建的技术不同， 学习算法主张，与其随意或直观猜测p d f 的定义，不如利用训练图像集中的h r 图像与l r 图像的对应关系来帮助定义p d f 。t f r e e m a n 就是s r 学习算法的开 拓者【1 1 】，他以一般自然图像为素材构造训练图像集，采用标准马尔可夫网络描述 s r 过程，针对马尔可夫网络计算代价极大的难题，通过有限次匹配简化观察函 数计算，再设计消息传递算法求解传递函数。f r e e m a n 等人的研究展示了学习算 法的效力和潜力，但更多的研究表明学习算法比较适合特定领域的图像【1 2 】，如人 脸图像等，因为由同类图像组成的训练集有助于提高h r 与l r 图像的相关性， 同时从学习算法发展历程看，采用单调马尔可夫随机域( m a r k o vr a n d o mf i e l d s ， m r f ) 模型能够较好地描述图像的分布特性【1 3 】。因此，基于马尔可夫随机模型 的人脸图像学习算法值得大力研究。 1 3 图像超分辨率方法分类 2 0 世纪8 0 年代初，t s a i 和h u a n g 4 1 最先尝试从低分辨率图像中重建高分辨 率图像，提出了基于序列或多帧图像的超分辨率，并给出了基于频域的逼近方法。 2 0 世纪8 0 年代后期，随着计算机、电子、信号处理技术以及一些优化理论的发 展，人们在超分辨率技术研究上取得了突破性进展。现有的图像超分辨率技术从 不同的角度可以有多种分类方法，从方法论的角度可以分为两类：基于学习的和 基于重建的超分辨率方法。其中基于学习的方法是比较新的技术，放大效果比基 于重建的方法要好，特别是放大倍数较大情况下更是如此。 1 3 1 基于重建的图像超分辨率方法 图像超分辨率重构技术最初是以单帧图像重构的概念和方法提出的，随后许 多人对其进行了研究，经过了几十年的发展，人们相继提出了多种重建方法，主 3 硕十学位论文第一章绪论 要包括频域和空域两种超分辨率重建算法，其中频域超分辨率重建算法是在频域 内解决图像内插问题，其观察模型主要是基于傅罩叶变换的移位特性。频域算法 理论基础简单，运算复杂度低，很容易实现，具有直观的去变形超分辨率机制， 但这类方法的缺点是包含空域先验知识的能力有限，所基于的理论f j 提过于理想 化，不能有效地应用于多数场合，仅局限于全局平移运动和线性空间不变降质模 型。空域超分辨率重建算法则主要包括非均匀空域样本内插法、凸集投影法 ( p o c s ) 、迭代反投影法( i b p ) 、统计复原法( 最大后验概率估计器m a p ) 、混 合m a p p o c s 法、自适应滤波方法、约束最小二乘( c l s ) 等，空域方法比频 域方法具有更大的灵活性和更广的适用范围。 1 基于单幅图像重建 早些年，主要采用一些最简单的算法进行图像的放大，如最近邻域插值或线 性插值，为了提高效率，人们又选择不同种类的样条函数作为插值函数用于插值， 二十世纪7 0 8 0 年代，大量的插值方法又被提出，如b 样条插值、三次卷积、双 线性插值和双三次样条插值等等，其中主要的区别是选择的插值函数的不同。线 性插值方法以及其他一些快速b 样条算法或特殊几何变换在硬件上也得以实现。 采用这种传统的基于单幅图像的插值方法放大图像虽然速度比较块，但是在放大 倍数比较大的时候，生成的图像质量不是很令人满意，一般会模糊边缘和图像的 细节，通常在纹理区域丧失图像的细节。因此有人提出了一种全新的自适应插值 算法【1 4 】，该算法是沿着边缘插值，而不是越过边缘插值，它的放大效果要远远好 于传统的线性插值。 1 9 8 6 年，m f b a m s l c y i s l 首先提出了基于分形的插值方法，该算法在科学 应用中( 如医学图像处理) 具有非常重要的意义。1 9 9 6 年，张正炳等【1 6 】根据分 形图像编码的基本思想和分形吸引子的特点也提出了一种基于分形编码的图像 局部放大方法，该方法既可用于医学图像或卫星图片等的局部放大，也可用于地 球物理勘探数据的插值，但其放大的图像质量依赖于分形编码的质量。 文献 1 7 根据凸集投影的原理，在原有经典超分辨率重建算法基础上，结合 图像的降质模型，提出了一种使用中值滤波初值处理的高效p o c s 单帧图像的超 分辨率重建方法，改进的p o c s 算法计算量小，收敛性高效，与原有算法相比， 重建图像质量有较大的提高。 2 基于多幅图像重建 如果有多幅图像作为输入图像来求得其中一幅的高分辨率图像，那么很有可 能最后得到的放大效果要好很多。通常情况下相机与场景之间有一些细微的运 动，这就会有助于图像放大的效果，一般从频域重建和空域重建两个方面来讨论。 4 硕士学位论文第一章绪论 频域方法是通过在频率域消除频谱混叠而改善图像的空间分辨率，其基本流 程包括运动估计、傅立叶变换、图像重建、傅立叶逆变换，从而得到重构的高分 辨率图像。t s a i 和h u a n g 在1 9 8 4 年提出了通过解混叠进行超分辨率重构【4 】，算 法将图像序列模型化为同一幅不变的景观经整体平移运动后欠采样样本，这些欠 采样样本在频域表现为频谱的混叠，利用离散傅立叶变换和连续傅立叶变换之间 的平移、混叠性质，给出了一个由一系列欠采样观测图像重构s r 图像的公式。t s a i 和h u a n g 的方法尽管具有计算简单的优点，但其不足之处是其模型中没有考虑 光学系统的点扩散函数，也没有考虑运动模糊和观测噪声。t e k a l p ，o z k a n 和 s e z a n t s 针对t s a i 和h u a n g 的限制，于1 9 9 2 年提出一种改进的方法，该方法的 模型中包括了线性平移不变的点扩散函数和观测噪声。k a l t e n b a c h e r 和h a r d i e 1 9 1 于1 9 9 6 年提出了另一种估计帧间整体平移参数的计算方法。虽然这些方法都对 t s a i 和h u a n g 的方法有所改进，但通过解混叠进行超分辨率重构的理论仍然没有 重大突破。 k i m 等人【2 0 】在l9 9 0 年的研究中虽然采用了t s a i 和h u a n g 提出的频域理论框 架以及整体平移观测值模型，但对t s a i 和h u a n g 的求解公式进行了重大改进， 使得超分辨率重构过程可以顾及到观测噪声以及空间模糊等因素，提出了用递归 最小二乘方法、加权递归最小二乘方法求解线性方程组。虽然k i m 等人在t s a i 和h u a n g 算法的基础上引入了线性平移不变l s i 模糊、线性平移变化l s v 模糊 和观测值噪声，但是整体平移观测模型这一限制仍未改变，这是由于在重建阶段 仍然是采用频域方法，而频域方法总是假定平移运动模型这一限制条件。 在1 9 9 2 年，u r 和g r o s s 2 1 根据p o p o u l i s e 的采样定理和b r o w 的多通道采样 定理提出了一种超分辨率重建算法，尽管这种算法表面上看起来是采用空域方法 实现的，但其本质还是频域技术，因为该算法仍然是利用傅立叶变换的平移性质 模型化原始图像之间的平移运动。相对于t s a i 和h u a n g 的频域方法，u r 和g r o s s 算法对所有观测值考虑了一个共同的点扩散函数，但也没有考虑观测值噪声恶化 运动模糊。 在空域类方法中，其线性空域观测模型涉及全局和局部运动、光学模糊、空 间可变点扩展函数、非理想采样、压缩图像以及其他一些内容等。空域方法具有 很强的包含空域先验约束能力，如马尔可夫随机场和凸集等先验约束。下面主要 介绍了几种常见的空域超分辨率方法。 非均匀空域样本内插方法【2 2 】是首先对低分辨率图像序列进行运动补偿，然后 再采用内插方法产生单幅高密度合成图像并以这个合成图像为初始值，最后采用 l a n d w e b e r 迭代法重建超分辨率图像。非均匀空间样本内插方法的缺点是过于简 单化，无法重构比单幅低分辨图像更多的频域内容，其降质模型有限，也没有使 硕十学位论文第一章绪论 用先验约束；其优点在于计算量较小，便于实时应用。 迭代反投影法【2 3 】是用输入图像的一个初始估计作为当前结果，并把这个当前 结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低分辨率模拟图像与 实际观测图像的差值被称为模拟误差，根据模拟误差不断更新当前估计。迭代反 投影方法通过观测方程使超分辨率重建与观测数据匹配，但使用这种方法的超分 辨率重建结果不唯一，而且把先验约束引入到这种方法中也不是一件很容易的事 情。 凸集投影方法【2 4 1 是一类解决超分辨率图像重建问题的流行算法，其通过超分 辨率图像解空间与一组凸形约束集合相交叉，而这组凸行约束集合代表了期望的 超分辨率图像的一些特性，如正定、能量有界、数据可靠、平滑等，这样通过这 些约束集合就可以得到简化的解空间。p o c s 就是通过这样一种迭代过程，在给 定超分辨率图像空间中任意一个点的前提下，可以定位一个能满足所有凸形约束 集合条件的收敛解。 在统计复原方法中，超分辨率重建问题可以解释为一个统计估计问题，文献 2 5 就提出在基于最大后验概率估计的算法框架下求解图像序列超分辨率问题， 同时在超分辨率中利用模板匹配提高了超分辨率的恢复效果，最后给出了算法在 车牌识别中的实验结果。最大后验概率的含义就是在已知低分辨率视频序列的前 提下，使出现高分辨率图像的后验概率达到最大。文献 2 6 就基于b a y e s i a n 理 论提出了一种在原始图像质函数未知的情况下用于压缩视频的超分辨率重构算 法。根据贝叶斯原理，高分辨率图像的后验概率等价于以下两项之积：( 1 ) 己知 理想高分辨率图像的前提下，低分辨率图像序列出现的条件概率；( 2 ) 理想高分 辨率图像的先验概率。其中条件概率项通常采用高斯模型，先验概率项在不同的 算法中通常采用不同的模型。最大后验概率估计方法【2 7 】的收敛稳定性取决于先验 概率项，先验概率模型应该具有下面3 个特点：( 1 ) 是一个局部平滑函数；( 2 ) 具有边缘保持能力；( 3 ) 是一个凸函数。 田岩等人【2 8 】提出了一种基于分层机制的图像序列超分辨率复原方法，首先将 问题利用正则化方法变为适定问题，然后使用一种级联模板的方法，最后与m a p 方法和p o c s 方法进行了对比，通过实验其认为效果优于这两种超分辨率算法。 混合m a p p o c s 方法【2 9 】是在最大后验概率方法的迭代优化过程中加入了一些 先验约束，已有的理论证实，只有采用梯度下降最优化方法才能保证这种混合 m a p p o c s 方法收敛到全局最优解。 国内的苏秉华等人在2 0 0 1 年提出了一种基于m a r k o v 约束的泊松最大后验 概率超分辨率图像重构方法【3 0 】，把p o i s s o n m a p 法和m a r k o v 随机场先验分别有 机地结合在一起，该方法有效地减少和去除重构图像中的噪声和震荡条纹。 6 硕士学位论文第一章绪论 在空域方法中，研究较多的是凸集投影方法和最大后验概率估计方法。凸集 投影方法的优点是可以方便地加入先验信息，可以很好地保持高分辨率图像上的 边缘和细节；缺点是解不唯一、解依赖于初始估计、收敛性慢、运算量大和收敛 性不高等。为了提高凸集投影算法的收敛性，可以采用松弛投影算子，但松弛投 影算子不利于保持图像的边缘和细节，文献 3 1 就提出了一种快速的凸集投影方 法解决了运算量大的问题。最大后验概率估计方法的优点是在解中可以直接加入 先验约束、能确保解的存在和唯一、降噪能力和收敛稳定性高等；缺点是收敛慢 和运算量大。另外，最大后验概率估计方法的边缘保持能力不如凸集投影方法， 由这类方法获得的高分辨率图像上的细节容易被平滑掉。张地等【3 2 】贝u 提出了一种 适用于m a p 、p o c s 和频域算法的通用快速算法，试图解决降低大倍数超分辨 率图像重构的计算复杂性这一问题。 以上基于重建的图像超分辨率方法都有各自的优点以及应用场合，虽然这些 方法在输入的图像分辨率本身比较高的情况下，能够得到较好的结果，但是当输 入的图像越来越小的时候，这种方法表现得越来越差，如图像细节信息丢失、边 缘模糊、边缘锯齿明显等等。 1 3 2 基于学习的图像超分辨率方法 基于学习的图像超分辨率方法是近年来图像超分辨率研究的热点问题，由于 现实世界中的图像类型非常丰富，这就提供了一种机器学习的思路：利用马尔可 夫网络模型( m a r k o vn e t w o r k ，m n ) 来学习训练库中与低分辨率图像不同区域 相对应的高分辨率图像的高频细节，然后利用学习得到的关系来预测输入低分辨 率图像的细节信息，我们把这种方法称为基于学习的方法。文献 3 3 中采用了一 种基于广义的马尔可夫模型建立图像的先验模型并取得了较好的超分辨率复原 效果。 基于学习的超分辨率方法克服了以往基于重建方法在分辨率提高倍数方面 的局限性，而且学习算法比较适合特定领域的图像，b a k e r 等【3 4 】就提出了“人脸 幻想 ( f a c eh a l l u c i n a t i o n ) 思想，文献 3 5 - 3 7 分别就此展开了相关的研究，因 此我们也计划以人脸图像为对象进行研究。一方面，人脸图像本身在应用中占有 重要地位，如视频会议、新闻广播、人脸识别、民用图像等都主要以人脸为主， 有效的人脸s r 技术将为这些应用带来新的机遇；另一方面，人脸结构比较复杂， 研究人脸s r 算法，有助于查明复杂模型下的s r 机制，推动s r 技术本身的发 展。当前已经有一些比较常用的基于学习的超分辨率方法，这在下一章将给出较 详细的叙述。 7 硕士学位论文第一章绪论 1 4 论文的研究工作 对于马尔可夫网络下s r 学习算法面临的主要问题：如何加快网络的收敛、 如何最大限度地缩d q ) l l 练集、如何使输出图像更加逼近原始图像、如何提高算法 的实时性等，从不同角度可以有不同解释，有学者认为训练集没有经过选择是主 要原因【3 8 】，因为在任意的训练集里搜索到最匹配像素的概率比较低，所以网络收 敛慢；这个解释是有道理的，但似乎没有击中要害，因为如何选择训练集的问题 依然存在。另一些学者则主张使用罚函数( p e n a l t yf u n c t i o n ) 清除掉干扰项【3 9 】， 但问题在于干扰项是如何产生的。 通过观察，稍早一些的s r 学习算法比较注意学习低层特征，这是问题的实 质。由于只学习低层特征，因此训练集才会因没有分类而无从选择，或者被迫变 大；由于只学习低层特征，因此出现了大量干扰项，研究人员不得不使用罚函数 剔除无用的数据。近年来，研究人员开始注意高层特征的学习，发现高层特征不 单实用而且可以产生更好的结果。著名学者b a k e r 和k a n a d e 提出了一个基于识 别的s r 学习算法，其基本思想是，如果能够识别一个字母及其字体，那么就可 以利用已有知识任意伸缩该字母。与此同时，l i u 等人【4 0 】提出了一个两步算法， 采用主要成份分析技术( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 来描述人脸整体结 构，然后利用马尔可夫网络模型学习个体的局部特征。d a v i dc a p e l 等人【4 1 】贝0 进 一步将人脸划分成眼、鼻、嘴和面颊4 个部分，利用p c a 技术学习每一部分的 高频特征。2 0 0 6 年，s t e p h e n s o n l 4 2 1 也提出了一个类似算法，将人脸分为眼部和非 眼部两部分，利用机器学习方法进行块的聚簇，以提高马尔可夫网络观察函数的 相关性，另外在计算传递函数时候还考虑了脸部的对称性。 这些方法的共同特点就是注意到了高层语义特征学习的意义，因此本文试图 进一步发展高层语义在人脸图像超分辨率技术中的应用，提出了一种基于学习的 非线性人脸图像超分辨率算法，它是基于马尔可夫网络模型下的学习算法，对训 练用的高分辨率图像和对应的低分辨率图像进行分块，使训练图像集由块对构 成。由于马尔可夫网络模型描述图像的s r 机制核心问题是提高观察函数与传递 函数的相关性，因此在求解m n 的观察函数时，结合人脸的语义信息( 即各部位 中心坐标) ，采用一种非线性局部匹配技术，不仅提高了块匹配的语义相关性， 而且降低了搜索空间的复杂度；而在求解传递函数方面，采用分块的重叠区域之 间的视觉兼容性检查及其融合技术，考虑到人脸在水平方向上的特征( 如人脸各 主要部位横向伸展) ，提出优先检查水平兼容性的思想，简化了m n 的隐层节点 的计算，算法最后利用相应的样本块直接输出超分辨率图像。这里实际上给出了 一个语义m n 模型，即在传统心的基础上增加了语义操作机制，分析和实验表 明，在同等训练集条件下，不仅具有良好的输出质量，而且具有较好的实用性和 8 硕士学位论文 第一章绪论 实时性。 在理解上述算法的基础上，我们采用v c 开发平台开展实验研究。设计与实 现了可方便操作的实验原型系统，该系统由图像预处理、图像训练集编辑、s r 计算、训练集与s r 结果显示、算法的量化评估等几个主要模块组成。通过实验， 研究不同分块尺度、伸缩i ：l ：矛n i j i i 练集大小情况下本文算法所获得的实验结果，并 给出了统计分析结果。 论文的主要研究工作包括： 1 研究基于学习的图像超分辨率技术，包括图像超分辨率的基本理论和几 种常用的基于学习的超分辨率方法。 2 重点研究马尔可夫模型下的人脸图像超分辨率算法，首先介绍了马尔可 夫模型的一些基本理论，然后重点描述了基于马尔可夫模型的超分辨率算法框 架，并为其建立了相应的观察函数和传递函数。 3 考虑到人脸的局部相似性，结合人脸的语义信息提出了一种非线性局部 搜索算法，提高了匹配的相关性，并给出了非线性搜索的实验结果。 4 实现了相应的实验原型系统，并给出了最终的人脸超分辨率实验结果及 其效果分析。 1 5 论文的组织结构 论文共分六章，组织结构为： 第一章介绍了论文的研究背景及意义、图像超分辨率方法的分类、目前研究 中存在的问题和研究目标，以及论文的组织结构等。 第二章重点介绍了基于学习的一般图像超分辨率技术，分别概述了几种常用 的基于学习的图像超分辨率方法。 第三章研究基于马尔可夫模型的人脸图像超分辨率算法，首先简介了马尔可 夫随机域理论及其在s r 图像技术中的应用，然后给出了以m n 模型为基础的人 脸图像超分辨率算法框架和设计。 第四章针对人脸这一类特殊图像提出了一种非线性局部搜索算法。 第五章介绍了实验原型系统的开发过程，对该系统进行了系统分析与实现， 并给出了相关实验结果及分析。 第六章对论文研究工作的总结和下一步研究的展望。 9 硕士学位论文第二章基于学习的图像超分辨率技术 第二章基于学习的图像超分辨率技术 2 1 图像超分辨率问题的概率描述 基于s r 观察模型【1 】，一个l r 图像，。可以看成是由对应的h r 图像“经过 几何变换、模糊处理、欠采样，再加入噪声信号7 7 之后得到的： j = a i + 刁 ( 2 1 ) 在式( 2 1 ) 中，矩阵a 表示上述线性降级操作，而噪声r l 通常假设为标准 差为。的零均高斯随机向量。用式( 2 - 1 ) ，可以直接从如计算出，。但反过来， 从，l 计算厶则具有不确定性，因为有很多解都满足模型( 2 1 ) ，它是一对多的 映射。为此，需要增加额外信息并采用近似算法来求解，。按照贝叶斯理论的 观点，s r 被解释为寻找最大验后概率下的近似高分辨率图像，的过程。贝叶 斯定理描述的t 与如之f 白j0 0 关系是： 驯= 警 ( 2 _ 2 ) 因此，s r 算法就是要寻找最大验后概率p ( i hi l ) 条件下的最优图像， 此过程表示为： f = a r g m a x p ( i hi ，) = a r g m a x p ( i i ，) p ( i ) ( 2 - 3 ) 这样，s r 问题的关键就是如何确定相关性函数p ( i i ，) 和先验知识 ，研究人员提出了 很多估计相关性函数p ( i 。i ，) 和先验知识p ( i h ) 的方法【4 2 】。但是，迄今难以确 定那种方法更有效。这种情况下，学习算法开始兴起。 基于学习的s r 技术又分为两类。第一类的目标是学习先验知识的参数，即 先建立一个假设模型，再通过训练图像集学习模型中的参数，以后就用这个带参 数的模型去计算h r 图像h ；第二类技术则进一步继承了学习算法的衣钵，直 接学习后验知识p ( i l ，：) ，也就是，直接通过在线学习到的样本输出高分辨率 图像。本文则采用直接学习后验知识的s r 重构方法，因为我们注意到以往参数 模型的建立仍然具有很大的猜测性。以下分别介绍了几种基于学习的图像超分辨 率方法。 l o 硕士学位论文 第二章基于学习的图像超分辨率技术 2 2 基于学习的几种超分辨率方法 基于学习的算法和传统的方法不同，特别在放大系数较大情况下具备更强的 高频信息恢复能力，是目前一种新兴的算法并吸引着大批研究者，它让采样的图 像帮助定义p d f 而不是光靠直觉武断的下定义。基于学习算法的主旨思想是收 集受训练图像序列，研究低分辨率图像和高分辨率图像之间的统计关系，并把它 运用到从低分辨率图像重建高分辨率图像中。以下分别介绍几种常用的基于学习 的超分辨率相关模型及方法。 2 2 i 图像金字塔模型 图像金字塔可以方便地用来表示图像的空间尺度信息，常用的图像金字塔包 括高斯金字塔和拉普拉斯金字塔。针对人脸图像，b a k e r 等【3 4 】提出“人脸幻想” 思想，通过分析基于重构的超分辨率技术在分辨率增强大约8 1 6 倍时的限制， 简单的平约束很容易使期望的高分辨率图像由于高频信息的丢失过于平滑，因此 引入新的基于识别的先验，作为识别决策集的函数。选择人脸低分辨率输入图像 和高分辨率训练图像的高斯金字塔、拉普拉斯金字塔、水平一二阶梯度、垂直一 二阶度得到母结构，然后再以某种测度作为衡量标准，建立低分辨率输入图像的 像素与最匹配的高分辨率像素及高分辨率训练图像i 日j 的关系，然后与超分辨率重 构约束合并去估计m a p 的解，实验得到的人脸图像在有些部位仍存在较大的噪 声。 浙江大学的苏从勇等人 4 4 1 1 4 5 贝j j 提出了一种基于多尺度和多方向特征的人脸 超分辨率算法，其采用可操纵金字塔学习人脸图像中的低层次局部特征的空间分 布，并结合塔状父结构和局部最优匹配算法来预测最佳先验模型，其次建立观测 模型，再结合贝叶斯最大后验概率理论，最后使用最速下降法求出最优的高分辨 率人脸图像，通过使用大量的训练集人脸图像样本，经过该超分辨率算法得到的 人脸图像噪声较少。下面对高斯金字塔和拉普拉斯金字塔进行了简单的介绍。 1 高斯金字塔 图像的高斯金字塔可以通过对图像进行高斯平滑和下采样得到。图像的n 层高斯金字塔可定义为g = ( g 。，一，g h ) ，其中g 。为最大尺度层，即高斯金字塔 的最低层，也就是原图像。高斯金字塔的第，层可以由下式( 2 - 4 ) 生成： 2 2 g ，( f ，歹) = w ( m ，n ) g ，一l ( 2 f + m , 2 j + 刀) ( 2 - 4 ) m = - 2 n = - 2 其中0 i n ，f 和_ ，则必须分别取值为o 至金字塔第，层图像的列数和行数， 硕十学忙沦丈 第章基下学习的幽像超分辨率技术 w ( m ，n ) 足。个窗口嫡数，近似为高斯低通滤波器。i - 幅图像高斯余宁塔的第1 层 就是对，一l 层进行低通滤波然后进行f 聚样而生成的，超分辨率复原的目标就是 要估出余字塔的最底层g 。下面的图2 - l 就给出了一幅图像的商斯会字塔： 2 拉普拉斯会字塔 曩 ， g 2g 3 g 4 图2 - 1图像高斯金字塔 拉普拉斯盒字塔和高斯余字塔相似，也包含了一系列的图像，是高斯金字塔 中相邻层的差值图像，反映的是高斯金字塔两层i 百j 的信息差。完整的拉普拉斯金 字塔定义由式( 2 - 5 ) 生成： e x p a n d ( g ( 删0 1 ( n g ，f 1，= n 一 其中e x p a n d ( g ( ，) j 函数扩大q + ，( ，) ，使其大小与g ( ，) 相同 罔2 - 2 显示了拉普拉斯金字塔。 2 22 马尔可夫模型 摩 l o 圈2 - 2 瓣8 。 l2l 3l 4 图像拉普拉斯金字塔 马尔可夫网络模型提供了关于图像的一种统讨描述，着眼于每个像素的邻近 像素的条件分布，有效地描述了图像的局部统计特征，因此，可以使用马尔可夫 网络来建立图像的先验模型- 同时将其运用到一个贝叶斯框架下。对图像进行晟 大后验概率估计。 文献 i i 就利用参数化马尔可夫网络对高低分辨率圈像建模，从大量的例子 中学习并获得网络参数，利用马尔可夫网络柬学习训练库中与低分辨率图像不同 硕七学位论文第二章基丁学习的图像超分辨率技术 区域相对应的高分辨率图像的细节，再用学习得到的关系来预测输入低分辨率图 像的细节信息；然后利用贝叶斯信任传播机制，为所要处理的图像找到一个后验 概率的局部最大值，即为从观测图像中获得相应的高分辨率图像而进行m a p 估 计，从而得到合成的超分辨率图像。文献 4 6 将马尔可夫随机场的学习模型应用 到了彩色图像的超分辨率复原中，并取得了良好的效果。 f r e e m a n 等人【3 9 】提出利用马尔可夫网络来学习训练库中低分辨率图像与高 分辨率图像的统计关系，然后利用学习得到的关系来预测输入低分辨率图像的高 频信息。h e r t z m a n n 等人【1 3 】提出了图像类推技术，就是利用训练图像对的局部特 征相似性来推测输入l r 图像的对应高分辨率特征的。仅仅注意低层特征所带来 的问题使训练效率比较低，因为它需要在整个训练集中搜索最相似的像素分布， 同时迫使训练集变大，从而使得超分辨率计算量增大。 利用马尔可夫网络模型来学习训练库中与低分辨率图像不同区域相对应的 高分辨率图像的精细细节，然后利用学习得到的关系来预测输入低分辨率图像的 细节信息，这种方法可以用来放大图像。在这个方法中，很重要的一点就是生成 特定的训练库，如果