（通信与信息系统专业论文）基于学习的超分辨率复原技术研究.pdf

摘要 摘要 随着计算机网络技术的应用和多媒体技术的发展，图像信息在人们的工作、 学习和生活中发挥越来越重要的作用。改善图像质量，提高图像分辨率成为数 字图像处理领域最基本、最重要的研究课题之一，具有重要的理论价值和实际 意义。 目前，超分辨率复原技术主要分为两种主要研究方法：基于重建超分辨率 复原和基于学习的超分辨率复原。本文主要研究基于学习的超分辨率复原技术， 在对现有基于学习的算法进行分析的基础上，通过研究新的算法，提高图像超 分辨率复原能力，降低算法复杂度。同时论文对于人脸这一特殊类型的图像进 行了超分辨率复原的研究，结合人脸图像的特征，提出了新的基于区域自适应 的人脸超分辨率算法，并且给出了良好的实验结果。 本论文主要在以下一些方面展开了工作： 1 研究并实现了一种典型的基于学习( 示例) 的超分辨率复原算法，该算 法利用马尔可夫网络来学习高分辨率图像及其对应低分辨率图像之间的对应关 系，并用这种关系来指导低分辨率图像的复原，取得了较理想的复原结果。但 是，该算法需要对数量庞大的训练样本库进行遍历搜索，时间复杂度很高。样 本的误匹配现象也会影响图像的重建质量。 2 提出了一种基于预分类学习的超分辨率复原算法。针对现有算法遍历搜 索样本库，运算复杂度高且存在误匹配现象等问题，本论文提出了一种新的基 于预分类学习的超分辨率复原算法。首先根据简单的纹理特征参数对样本库进 行预搜索，找到纹理内容相近的子样本库，然后在子样本库中进行像素级精确 匹配搜索。算法中预搜索过程的引入，不仅有效减少了精确匹配搜索的工作量， 降低了算法的复杂度，而且通过有效利用样本的纹理特征进行匹配，提高了精 确搜索的针对性，减少了误匹配的发生。实验表明，提出的算法能有效提高算 法结果的复原质量和运行速度。 3 针对人脸这一特殊类型的对象，提出了一种基于区域自适应学习的人脸 图像超分辨率复原算法。算法根据人脸图像的纹理特征将人脸分为平坦区和细 节区。对面部平坦区直接采用双线性插值放大；对于眼睛、鼻子和嘴等细节区， 采用分类预测器重建高频信息。在细节区，将相似纹理结构的图像块分为一类， 对每类纹理结构分别训练线性预测器，进行高频信息预测。实验结果表明，本 文算法在图像重建质量的主观效果和实现速度上都有很好的表现。但是，由于 人脸区域的样本划分采用的是人为分类的方法，分类过程较为简单，所分类别 数比较单一。 北京丁业大学工学硕士学位论文 4 进一步针对人脸图像特征，对面部纹理信息进行基于学习的分类方法的 深入研究。在结合基于矢量量化的人脸图像超分辨率复原基础上，本文根据人 脸的特征，提出了一种基于区域矢量量化样本分类预测学习的人脸图像超分辨 率复原算法，该算法根据人脸的固定模式将其划分为不同区域，根据每个样本 所处的区域对其进行自适应的类别划分，并对每个区域的类别建立相应的预测 器来预测高频信息，最终实现超分辨率复原，本论文给出了良好的实验结果和 详细的分析过程。 本文的成果丰富了图像超分辨率算法的研究思路，为图像超分辨率问题的 解决提供了有益的方法和手段，同时对于人脸图像的超分辨率复原，探索了一 个新的研究方向，具有一定的理论意义和应用价值。 关键词：图像超分辨率；基于学习；人脸图像；纹理特征；区域自适应 a bs t r a c t w i t ht h ea p f l l i c a t i o no fi n t e r n e tt e c h n o l o g ya n d t h ed e v e l o p m e n to fm u l t i m e d l a t e c h n i q u e ，i m a g ei n f o r m a t i o np l a y sa ni n c r e a s i n g l yi m p o r t a n tr o l ei np e o p l e sd a l l y l i f e i i lt h ef i e l do fd i g i t a li m a g ep r o c e s s i n g ，s u p e r r e s o l u t i o n ( s r ) t e c h n o t o g y b e c o m e so n eo ft h em o s tf u n d a m e n t a la n di m p o r t a n t r e s e a r c ht o p l c s0 tg e a t t h e o r e t i c a la n dp r a c t i c a lv a l u e s of a r t h er e s e a r c h i n ge m p h a s i so fs ri sd i v i d e di n t ot w om a i nc a t e g o r l e s ： r e c o n s t r u c t i o n b a s e ds u p e r r e s o l u t i o n a n dl e a r n i n g 。b a s e ds u p e r - r e s o l u t i o n i h e m a j o rm o t i v a t i o no ft h et h e s i s i st oc o n d u c tt h er e s e a r c ho nl a t t e r b a s e d o n a n a l y z i n gf o re x i s t i n ga l g o r i t h m s ，t h eq u a l i t yo f r e c o n s t r u c t e di m a g e si sh e i 班e n e d a n dt h em n t i m ei sr e d u c e db yd o i n gr e s e a r c ho nn o v e l t ym e t h o d s a t t h es a m et l m e ， f o rt h ed a r t i c u l a rt y p eo fh u m a nf a c e s ，c o m b i n e dw i t ht h ec h a r a c t e r i s t i c so fh u m a n f a c ei m a g e s ，an o v e lr e g i o n b a s e ds u p e r - r e s o l u t i o na l g o r i t h mi sp r o p o s e d ，w h l c h g i v e sg o o d r e s u l t s i nt h i sp a p e r ，w o r ki sc a r r i e do u ti nt h ef o l l o w i n ga s p e c t s ： 1 at y p i c a ll e a r n i n g b a s e ds u p e r r e s o l u t i o na l g o r i t h mi si m p l e m e n t e d ，w h i c h u s e dm a r k o vn e t w o r kt ol e a mt h er e l a t i o n s h i pb e t w e e nh i g h 。r e s o l u t i o n ( h r ) i m a g e s a n dt h e i rc o r r e s p o n d i n gl o w r e s o l u t i o n ( l r ) i m a g e s ，a n dg u i d e dr e c o n s t r u c t i o nm p u t l ri m a g eb yu s i n gt h i sr e l a t i o n s h i p t h i sm e t h o dg i v e sb e t t e rr e c o n s t r u c t e dq u a l i t y m e a n w “l e ，m ea l g o r i t h ma s k st o s e a r c hi nl a r g en u m b e ro ft r a i n i n gs a m p l e st o f e c o n s t r u c tw h i c hc o s tl o n gt i m e a n dt h em i s m a t c h i n gd e c r e a s e st h eq u a l i t yo f o u t p u ti m a g e 2 l e a r n i n g b a s e di m a g es u p e r - r e s o l u t i o n i so n eo ft h em o s tp r o m l s m g a p p r o a c h e st os o l v et h ei m a g es u p e r r e s o l u t i o np r o b l e m an o v e lp r e c l a s s i f i e d l e a r n i n g b a s e di m a g es u p e r - r e s o l u t i o na l g o r i t h mw a sp r o p o s e d t or e d u c et h e c o m p l e x i t y o ff u l ls e a r c h i n g a n dt oa v o i dm i s m a t c h i n g at e x t u r e 。b a s e d p r e c l a s s i f i e dp r o c e s sw a se m p l o y e dt o s e l e c tas u b s e to fs a m p l e s t h e n ，t h e b e s t m a t c h i n gs a m p l e sw e r es e a r c h e da m o n gt h es e l e c t e ds u b s e t i nt h ep r o p o s e d a l g o r i t m 1 ，c o m p l e x i t yo ft h es e a r c h i n gp r o c e s s i se f f e c t i v e l yr e d u c e db yi n t r o d u c i n g t h et e x t u r e b a s e dp r e c l a s s i f yp r o c e d u r e f u r t h e r m o r e ，b yu s i n g o ft h et e x t u e f e a t u r e s t h ep r o b a b i l i t yo ft h em i s m a t c h i n gi sr e d u c e d e x p e r i m e n t a lr e s u l t ss h o w t h a tb o t ht h ev i s u a lq u a l i t ya n dt h er u n t i m ea r ei m p r o v e d 3 an o v e lr e g i o n a d a p t i v el e a r n i n g - b a s e ds u p e rr e s o l u t i o na l g o r i t h mf o rh u m a n i i i 北京t 业大学下学硕士学位论文 f a c ei m a g e sw a sp r o p o s e d af a c ei m a g ew a ss e g m e n t e di n t of l a tr e g i o n sa n d d e t a i l e dr e g i o n s f l a tr e g i o n sw e r em a g n i f i e du s i n gb i l i n e a ri n t e r p o l a t i o n ；a n dt h e d e t a i l e dr e g i o n s ，s u c ha se y e s ，m o u t ha n dn o s e ，w e r es u p e rr e s o l v e du s i n gc l a s s i f i e d p r e d i c t o r s t h el o c a lp a t c h e sw i t h i nt h ed e t a i l e dr e g i o n sw e r ec l a s s i f i e di n t os e v e r a l c a t e g o r i e sa c c o r d i n gt ot h eo r i e n t a t i o no ft e x t u r es t r u c t u r e s al i n e a rp r e d i c t o rw a s t r a i n e du pf o re a c hc a t e g o r yt oi n f e rt h eh i g h f r e q u e n c yc o m p o n e n t e x p e r i m e n t a l r e s u l t ss h o wt h a tb o t ht h ev i s u a lq u a l i t ya n dt h ec o m p u t a t i o n a lc o s ta r ei m p r o v e d h o w e v e r , t h en u m b e ro fc l a s s e si s d e f i n e da r t i f i c i a l l yw h i c hl e a d st os i m p l e c l a s s i f i c a t i o n 4 f u r t h e r , a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fh u m a nf a c ei m a g e ，c l a s s i f i c a t i o n m e t h o db a s e do nf a c i a lt e x t u r eh a sb e e ni n d e p t hs t u d i e d o nt h eb a s i so fv e c t o r q u a n t i z a t i o n( v q ) 一b a s e d s u p e r - r e s o l u t i o n ，r e g i o n - b a s e dv q c l a s s i f i c a t i o n s u p e r - r e s o l u t i o nf o rh u m a n f a c ei m a g e si sp r o p o s e db yc o m b i n i n gt h ec h a r a c t e r i s t i c s o fh u m a nf a c ei m a g e si nt h i sp a p e r t h i sa l g o r i t h md i v i d e sh u m a nf a c ei m a g ei n t o d i f f e r e n tr e g i o n si na c c o r d a n c ew i t hi t sf i x a t i o n ，t h e n ，s a m p l ep a t c h e si nr e g i o na r e c l a s s i f i e da d a p t i v e l y p r e d i c t o r sf o re a c ht y p eo fs a m p l ep a t c h e sa r eb u i l tw h i c ha r e u s e dt o p r e d i c tt h eh ri n f o r m a t i o nt o r e c o n s t r u c t t h i sm e t h o dg i v e sag o o d e x p e r i m e n t a lr e s u l t sa n d d e t a i l e da n a l y s i so ft h ep r o c e s s t h er e s u l t so ft h i sp a p e re n r i c h e dt h ei m a g es u p e r - r e s o l u t i o na l g o r i t h mf o ri d e a s ， p r o v i d e dau s e f u lm e t h o da n dm e a n sf o rs u p e r - r e s o l u t i o np r o b l e m m e a n w h i l e ，a n e wr e s e a r c hd i r e c t i o ni sg i v e nf o rs rf o rh u m a nf a c ei m a g e s ，w h i c hh a sac e r t a i n t h e o r e t i c a ls i g n i f i c a n c ea n da p p l i c a b l ev a l u e k e y w o r d s ：i m a g es u p e r - r e s o l u t i o n ；l e a r n i n g b a s e da l g o r i t h m ；h u m a n f a c e s ； t e x t u r a lf e a t h t u r e s ；r e g i o n a d a p t i v e i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：鳖争：日期： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：抱 ：博 导师签名髻! z 。曩 嘲日期： 第1 章绪论 1 1 引言 第1 章绪论 图像是通过各种观测系统以不同形式和手段观测客观世界而获得的，可以直 接或间接作用于人眼进而产生视知觉的实体l l 圳。视觉在人类获取信息的各种途 径中占有重要地位，随着计算机技术的飞速发展，数字图像作为视觉信息获得和 传播的主要载体，越来越受到人们的重视。在医学影像、视频监控、卫星遥感等 各种领域，高质量的视频图像的重要性日益凸显，其提供的丰富信息和真实的视 觉感受成为许多实际应用的基础。 1 2 课题的提出 在军事侦察、交通及安全监控、医学诊断、遥感监测和模式识别等多媒体信 息应用中，都需要高分辨率图像。例如军事侦察图像由于空间分辨率的限制，图 像内容的细节信息有可能严重丢失，导致无法清楚判别侦察对象；在交通以及安 全监控系统方面，分辨率在数字监控产品中是一项非常重要的技术指标，它在很 大程度上决定了产品的性能( 清晰度、存储量、带宽) 和价格，能够在不增加成 本和数据容量的前提下提高录像回放的图像画质，这样的分辨率就是我们所需要 的；在医疗诊断中，图像分辨率的不足则会直接影响医生的诊断。随着先进的医 疗技术和仪器越来越多地被应用于临床实践工作中，放射技术工作步进了一个数 字化摄影时代。数字化x 线摄影( c o m p u t e dr a d i o g r a p h y , c r 、d i g i t a lr a d i o g r a p h y , d r ) 以其图像的高分辨率和高清晰度及动态范围大、线性好、影像层次丰富、 信息量大等优点，逐渐取代了传统的系统。先进的设备及高新的技术，对新时期 的摄影技术人员提出了更高的要求，为使医学影像向着更高、更快、更准确的目 标迈进，提高c r 、d r 图像质量已成为临床影像医学工作的重点：对于遥感图 像，较低的空间分辨率致使图像内容识别非常困难。0 7 年推出的g o o g l ee a r t h4 2 里提供了一个新的超分辨率图层( g i g a p x lp h o t o s ) ，内部均为g o o g l e 专业人员 制作的兆级分辨率的图片。只要用户打开g i g a p x lp h o t o s 图层，就可以像浏览卫 星图那样浏览这些超分辨率的图片，同时用户可以进行多倍放大操作。中国在 0 7 年自行研制并发射的“嫦娥一号”月球卫星，其星上的c c d ( c h a r g ec o u p l e d d e v i c e ) 摄像机地面分辨率达到1 2 0 米。可见，图像分辨率在众多的多媒体应用 北京工业大学t 学硕十学位论文 中起到至关重要的作用。 在获取图像的过程中有许多因素会导致图像质量的下降，即退化。如用c c d 等光电成像器件对图像进行接收和存储时，由于采样频率的影响会产生欠采样效 应而造成图像的频谱交叠，使获取的图像因变形效应而发生降质；其次，光学系 统的像差、大气扰动、离焦以及相机和被拍摄物体间的相对运动等因素会造成图 像的模糊。另外，在成像、传输、存储过程中会引入不同类型的噪声，将直接影 响到图像的成像质量。这使得对图像进行超分辨率复原技术的研究成为一种必 然。 人是社会活动的主体，人脸是视频和图像中常见的一类对象。对视频和图像 中的人脸进行分析具有重要的实际意义。人脸识别系统是利用计算机分析人脸图 像并从中提取有效的识别信息，进而辨认身份。其作用主要用于识别人脸图像， 其识别的准确性很大程度上受到人脸图像分辨率的影响。如果人脸图像的分辨率 很低，那人脸识别系统的准确性就很差。在视频监控、银行交通等公共领域，由 于摄像头的视场广且离人脸较远，所检测到的人脸往往很小，限制了人脸识别的 应用范围。因此，对于人脸图像进行的超分辨率复原工作显得尤为重要。人脸图 像超分辨率是图像超分辨率技术在人脸上的应用，该技术可以应用在很多领域， 除了上述的人脸识别外，还有人脸视频图像传输、人脸图像恢复、人脸图像表情 分析等。针对人脸图像的超分辨率重建研究具有重要的实际应用价值，目前已成 为研究领域的一个热点。 1 2 1 图像的空间分辨率 图像分辨率是用于度量图像细节表现力的参数，也是图像中目标细微程度的 指标，它表示景物信息的详细程度【3 5 】。对“图像细节”的不同诠释就会对图像 分辨率有不同的理解，对细节不同侧面的应用又可以得到图像不同侧面的度量。 图像的空间分辨率有多种衡量方法【3 】，典型的是以单位图像面积内的像素数来衡 量。单位面积图像包含的像素数越多，图形文件的长度就越大，也就能表现更丰 富的细节。但更大的文件也需要耗用更多的计算机资源，更多的内存，更大的硬 盘空问等等。在另一方面，假如单位面积图像包含的像素数不够充分( 图像分辨 率较低) ，图像就会显得相当粗糙，特别是将其放大为一个较大尺寸观看的时候。 如图1 1 所示，a ) 为高分辨率图像，b ) 为相同显示分辨率下的低分辨率图像。 可见，由于分辨率不同，相同显示分辨率下相同大小的图像在细节表现方面具有 明显的差别，比如物体边缘区域模糊不清，细节信息缺失严重等。c ) 为低分辨率 图像。在这里，我们需要注意的是，通常说一幅6 4 0 4 8 0 的图像，指的是图像 的大小，其中并不包括图像分辨率的含义。 第1 章绪论 b 1 图1 - 1 曲高分辨宰幽像b ) 与曲相同显示分辨率下的低分辨率图像0 低分辨率图像 f i g l - i 曲h i 曲r e s o l u t i o n i m a g e ，b ) l o wr e s o l u t i o n i m a g ed i s p l a y e d w i t hh i 曲d i s p l a yr e s o l u t i o n ， c ) l o wr e s o l u t i o ni m a g e 提高图像分辨率最直接的方法是提高采集设备的传感器密度。然而高密度的 图像传感器( 如c c d ) 的价格相对昂贵，在一般应用中难以承受；另一方面， 由于成像系统受其传感器阵列密度的限制，目前技术水平已接近极跟，短时内难 以进一步提高。解决这一问题的有效途径是采用基于信号处理的软件方法，对图 像的空间分辨率进行提高，即超分辨率复原( s u p e r - r e s o l u t i o n ) 1 6 州。图像复原 的目的就是对获取的己退化图像进行处理，使其复原成退化之前的理想图像。按 照傅里叶光学的观点，光学成像系统是一个低通滤波器，由于受到光学衍射的影 响，其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然， 普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极限相应的 截止频率处，而不能超越它口l ，这样截止频率之外的能量和信息不可避免的被丢 失。超分辨率图像复原就是试图复原截止频率之外的信息，以使图像获得更多的 细节和信息。 12 2 超分辨率复原技术的研究 超分辨率复原在不改变已有设备硬件条件的基础上，通过软件的方法来提高 图像的分辨率。是一种既经济又容易实现的方法。例如在遥感应用中，通过利用 超分辨率复原技术在不改变卫星圈像探测系统的前提下，可实现高于系统分辨 率的观测图像。 超分辨率图像复原的概念和方法最早由h a r r i s 和g o o d m a n b o , 1 1 于6 0 年代提 出。随后有许多人对其进行了研究，并相继提出了各种复原方法，如长椭球波函 数法l i “、线性外推法【l 、叠加正弦模板法i “i 。以上这些方法虽然给出了较好的 仿真结果，但在实际应用中并没有获得理想的结果。有人称此为“超分辨率的神 话”【i “并且认为噪声的影响排除了实现超分辨率的可能性。8 0 年代以来特别 是8 0 年代术之后，人们在超分辨率图像复原方掣、研究上取得了突破性的进展 不仅在理论上说明了超分辨率存在的可能性，而且提出和发展了许多有实用价值 北京工业大学工学硕士学位论文 的方法。目前超分辨率复原技术大致可分为两个方向【j 6 - s l ：基于重建的方法和 基于学习的方法。基于重建的方法主要包括最大后验概率估计法、反向投影迭代 法和凸集投影法等。基于学习的方法是最近出现的一种较为新颖的超分辨率复原 方法。 研究图像超分辨率复原技术的意义主要体现在以下几个方面：改善由于图像 退化引起的空间分辨率下降；弥补原有图像空间分辨率的不足；突破图像获取手 段的空间分辨率极限；发掘现有图像数据的潜力等。基于以上原因，图像超分辨 率复原技术近几年成为图像处理技术领域里最为活跃的研究课题之一。 12 3 超分辨率复原技术的应用 图像的超分辨率复原技术在实际应用中具有巨大价值和潜力，对其深入研究 可以解决超分辨率过程中的关键技术和关键流程促使其理论成果逐步向应用转 化。图像的超分辨率复原技术广阔的市场前景将在公共安全、医学、遥感、数字 电视等多个领域得到充分体现，如图1 - 2 。 两匿 酬爰学嘲频监控 一 c ) 遥感d ) 数字电视 图1 2 超分辨率复原的应用领域 f i g l - 2 a p p l i c a t i o no f s u p e r r e s o l u t i o n ( 1 ) 医学领域：在医学成像中。可以运用超分辨率复原技术提高图像分辨 率来确定异物占位的大小及位置、阴影的边缘详细情况等，以对病变目标进行更 加仔细的观察。 ( 2 ) 公共安全领域：在银行、交通等部门的安全监控系统中，在有异常情 况发生后，可对监控图像进行超分辨率处理，提高图像关键部分的分辨率为案 件的侦破提供重要线索。在政府部门和生话小区也可以利用该技术保障社会安 全。 第1 章绪论 ( 3 ) 遥感领域：超分辨率复原技术可以消除或减弱分辨率对图像判别和定 位精度的限制，使空间分辨率实现从检测水平向粗识别水平的转化，或更进一步 实现向辨别水平的转化，提高图像的识别能力和识别精度。 ( 4 ) 数字电视领域：在数字电视( d i g i t a lt e l e v i s i o n ，d t v ) 向高清晰度电 视( h i g hd e f i n i t i o nt e l e v i s i o n ，h d t v ) 过渡阶段，仅有部分电视节目会以h d t v 的形式播出，不少节目采用的是d t v 的形式。因此，可以利用超分辨率复原技 术将d t v 信号转化为与h d t v 接收机相匹配的信号，提高电视节目的兼容性。 1 3 论文结构 本论文共分为6 章，安排如下： 第l 章绪论。阐明本课题的研究背景与意义，介绍研究现状和图像超分辨 率的应用，说明对全文结构的安排。 第2 章超分辨率复原研究进展。介绍了超分辨率复原技术的发展历程和研 究进展。综述了现有的两种主流的超分辨率复原方法，分析并比较了各种复原方 法的优劣，重点描述了基于学习的超分辨率复原方法的研究现状，存在的问题以 及今后的发展方向，为本论文的研究工作提供了基础。 第3 章一种基于示例学习的超分辨率复原算法实现。本章研究并实现了一 种基于学习超分辨率复原的典型算法。该算法突破了基于重建的超分辨率复原技 术的局限性，通过机器学习的方法实现图像的超分辨率，并且取得了较好的实验 结果。 第4 章一种基于预分类学习的超分辨率复原。本章针对上一章提出的算法 误匹配现象时有发生及运算时间较长的问题，深入研究了其中对基于块的样本库 的组织和分类技术，提出并实现了一种全新的基于纹理预分类学习的超分辨率复 原算法。提出的算法能在减小误匹配发生概率的同时提高运算速度。 第5 章基于学习的人脸图像超分辨率复原。本章在分析分类预测超分辨率 复原方法的基础上，研究人脸图像的超分辨率复原技术，提出了一种基于区域自 适应的人脸图像超分辨率复原算法。算法采用分区处理的方式，对人脸图像的超 分辨率给出了一种分类训练预测器的方法，结果表明，在复原图像质量上有所提 高，存在的问题是分类方法过于简单，所分类别数单一。 第6 章基于区域分类预测学习的人脸图像超分辨率复原。本章进一步研究 基于学习的人脸图像超分辨率复原方法。首先分析并研究了一种基于矢量量化的 人脸图像超分辨率复原方法，在此基础上，针对人脸图像不同于一般图像的特点， 结合第5 章方法对于人脸区域的划分，提出了一种基于区域的矢量量化样本分类 预测学习的人脸图像超分辨率复原算法，、该算法针对人脸特征对其进行区域划 北京工业大学t 学硕十学位论文 分，并在区域内采用矢量量化分类的方法对样本进行自适应的划分。结果表明， 该算法有效提高了人脸图像的超分辨率复原结果质量。 第2 章超分辨率复原研究进展 2 1 引言 第2 章超分辨率复原研究进展 图像的超分辨率复原的发展历程，大致经历了三个重要的阶段，从最初的插 值放大，到基于重建的超分辨率复原，进而发展出基于学习的超分辨率复原方法 1 7 - 1 9 】。传统的图像插值为非模型化算法，常常用来放大图像。插值算法会自动选 择信息比较好的像素作为增加的像素，而非只使用临近的像素，所以在放大图像 时，图像看上去会比较平滑，但实际上图像信息已经发生改变。插值并不能增加 图像的信息：在一些图片中，因为拍摄距离较远，有的物体表现成某一颜色的点， 当对其进行插值放大后，我们发现这个物体仍然表现为这一颜色的点，只是比之 前稍微大了一些。插值算法包括线性插值和非线性插值两类。经典的线性插值算 法有最临近插值( n e a r e s tn e i g h b o r ) ，双线性插值法( b i l i n e a r ) 以及三次插值法 ( b i c u b i c ) 2 0 , 2 1 】等。其中最简单的是最临近插值算法，使用范围较广的是双线性 插值，算法较复杂的是三次插值法。由于插值算法在放大图像时，会在待插入的 点加入一些人造因素，特别是在图像的边缘表现较明显。最临近插值算法的放大 结果中会出现较明显的方块效应。双线性和三次插值算法相当于低通滤波，会造 成高频信息的丢失，放大结果中会出现边缘模糊以及边缘附近平滑区产生振铃效 应等。非线性插值算法的目标是尽可能保持原图像中强边缘的尖锐性，因而也统 称为边缘导向( e d g e d i r e c t e d ) 插值算法【2 2 2 3 1 。这类方法依赖于边缘估计或局部 像素之间的相关性，对边缘敏感。现在，实际应用中在双线性插值的基础上通过 高阶插值来修正。 虽然采用插值方法在输入的图像分辨率本身较高的情况下，可以得到较好的 结果，但是当输入的图像分辨率较小时，这种方法表现得越来越差。于是，基于 重建的超分辨率复原方法逐渐发展起来。它通过建立观测得的低分辨率图像获取 过程的模型，利用正则化方法来构造高分辨率图像的先验约束，由l r ( l o w r e s o l u t i o n ) 观测图像估计h r ( h i g hr e s o l u t i o n ) 图像。最终将图像放大问题转 化为目标函数的最优化问题【2 钔。这类方法可以很方便的结合先验知识，并将图像 重建复原这一病态问题转化为良态问题。通常能取得优于非模型化算法的结果。 近年来提出的基于学习的超分辨率复原方法，被公认为是一种非常有前途的 方法【3 m 9 1 。其主要思想是通过机器学习来获得先验知识，取代基于正则化方法中 人为定义的平滑约束项。 本章主要从两个方面对超分辨率复原技术进行综述：基于重建的超分辨率复 北京t 业大学丁学硕士学位论文 原和基于学习的超分辨率复原。 2 2 基于重建的超分辨率复原 2 2 1 基于重建的超分辨率复原理论基础 基于重建的超分辨率复原方法的基础是均衡和非均衡采样定理。按算法的操 作空间大致可以分为频域法和空域法两类。早期的工作大都集中在频率域，但随 着更一般的退化模型的考虑，后期的研究工作几乎都集中在空间域。 2 2 1 1 观测模型的建立 图像在获取过程中，常常受到各种因素的影响，如光学模糊、传感器模糊、 运动模糊、几何形变以及噪声等。因此，获取的图像是模糊的低分辨率图像。典 型的光学成像系统，镜头的衍射效应和焦平面上的欠采样是造成获取图像分辨率 降低的两个非常重要的因素。因此忽略成像过程中其它因素( 几何畸变、景物和 镜头间的相对运动等) 的影响，基于重建的超分辨率复原方法首先对成像系统建 立一个联系原始h r 图像和实际l r 图像的观测模型，模拟由高分辨率图像获得 低分辨率图像的过程。这种模型称为成像模型或者观测模型1 2 引。建立精确的系统 模型是基于重建超分辨率复原技术的关键，一般的观测模型如图2 一l 所示。 图2 1 超分辨率复原观测模型 f i g 2 1o b s e r v a t i o nm o d e lo fs u p e rr e s o l u t i o n 设理想的非降质h r 图像x 为 x = 五，x 2 ，x n 2 ， n = l t n i l 2 n 2 ，( 2 - 1 ) l 和2 分别为对应l r 观测图像的宽和高：三l 和三2 分别表示水平和垂直降 采样因子；厶l 和2 2 分别为h r 图像x 的宽和高；为h r 图像的像素总数。 设同一场景有p 个观测图像，第七个观测l r 图像为 k = 【n l ，以2 ，y k 】7 ， k = - i ，2 ，矽，m = n ix n 2 ( 2 - 2 ) 这样，变形、模糊、降采样因子作用在h r 图像z 后，就得到l r 图像，又 假定每个l r 图像都受到加性噪声影响，上述观测模型可以用公式表示为 第2 章超分辨率复原研究进展 k = d b k m k x + n k 1 七 ( 2 3 ) 式中，地为变形矩阵；玫为模糊矩阵；d 为降采样矩阵；n k 为噪声矢量。 在图像获取过程中，变形m k 包括全局或局部平移、旋转等，通常是未知的，因 此需要进行运动估计。模糊凤通常是由光学系统本身、成像系统与原始场景的 相对运动，以及l r 传感器的点扩散函数( p s f ，p o i n ts p r e a df u n c t i o n ) 造成的，模 糊的特征通常假定为已知，常采用线性空间不变( l s i ，l i n e a rs p a c ei n v a r i a n t ) 或线 性空间可变( l s v ，l i n e a rs p a c ev a r i a n t ) 模型。降采样矩阵d 作用于变形、模糊的 h r 图像产生频谱混叠的l r 图像。 另外一种l r 图像观测模型针对虚线框中的部分建立，用公式( 2 4 ) 表示如下： k = x + n kk = - i ，2 ，炉( 2 - 4 ) 其中，矩阵包含模糊、运动和降采样等。 2 2 1 2 正则化理论 图像的超分辨率复原就是通过一幅或多幅低分辨率观测图像圪估计重建高 分辨率图像x 的过程，即求解问题( 2 4 ) 。实际上，由于噪声和降质过程的不可逆 性，在求解过程中可能存在以下情7 兄【2 6 1 ： ( 1 ) 无解：噪声影响过大，观测图像和原始图像偏差大，无法估计出原始图 像。 ( 2 ) 解不唯一：对于图像观测序列，可能出现对应多个解的情况。 ( 3 ) 解不连续：由于噪声在获取图像过程中的影响，观测数据中微小的噪声 都可能导致复原过程中突发性的、大的信号的改变。 因此，超分辨率复原实际是一个病态反问题，解决该问题的有效方法是正则 化方法f 2 5 - 2 7 1 ，即用h r 图像的先验知识( 平滑性，非负性，能量有限等) 来对病 态问题的解空间进行限制，消除问题的病态性，使图像的超分辨率复原问题转化 为一个最小化代价函数的优化问题。 2 2 2 几种典型的基于重建超分辨率复原算法 在基于重建超分辨率的经典方法中，可以分为频域法和空域法两类。空域方 法的适用范围较广，具有很强的包含空域先验约束的能力，主要发展出了包括非 均匀样本内插法【2 8 , 2 9 1 、迭代反投影法【3 0 l 、最大后验概率估计( m a x i m u ma p o s t e r i o r i ，m a p ) 3 tj 、凸集投影法( p r o j e c t i o no n t oc o n v e xs e t ，p o c s ) l j 纠以及 混合m a p p o c s 方法【3 3 j 等。其中，m a p 估计方法及p o c s 算法是最常见且最有 效的。m a p 估计法是基于一个严密的理论框架和几个有价值的数学特性，它充 分利用解图像的先验概率密度信息。p o c s 则将几个凸集的交集定义为可能的解 空间，并且为其包含先验约束提供了一个便利的方法。m a p 估计和p o c s 方法 北京t 业大学_ 【学硕士学位论文 都是非常值得借鉴的。 2 2 2 1 频域法 频域方法通过在频率域消除频谱混叠来重建图像的高频信息，以提高空间分 辨率，其观测模型是基于傅立叶变换的移位特性。频率域方法中最有代表性的方 法就是频率域频谱解混叠方法，其主要理论依据是：f o u r i e r 变换的平移特性； 离散f o u r i e r 变换( d f t ) 与连续f o u r i e r 变换( c f t ) 之间的频率混叠关系；原始图像 信号的频谱是有限带宽的。 最早的消混叠重建方法由t s a i 和h u a n g 于1 9 8 4 年提出【3 4 】，图像序列被模型 化为同一幅场景经整体平移后欠采样的结果，欠采样过程在频域表现为频谱混 叠。设l ，为多帧观测图像傅立叶变换的逐行排列，x 为目标高分辨率图像傅立叶 变换的逐行排列，则观测模型可表示为 y - 似 ( 2 5 ) 其中，西为系数矩阵，包含了由于各帧之间的平移所带来的相位变化关系。 若观测图像和各帧矩阵图像之间的平移关系已知，则可以求出y 和函，再求解上 述方程组即可得到目标高分辨率图像x 的傅立叶变换，从而通过反变换求解x 。 该方法尽管具有计算简单的优点，但不足之处是其模型中没有考虑光学系统 的点扩散函数( p s f ) ，也没有考虑运动模糊和观测噪声。后来k i m d 5 1 在上述基础 上研究了混入噪声且图像有退化的多帧欠采样图像提高空间分辨率的方法，即频 谱解混叠的加权迭代法和正则化迭代法。 总的来说，基于重建的超分辨率图像频域法的理论简单，运算复杂度低，很 容易实现并行处理，具有直观的去变形超分辨率机制。但这类方法也存在着缺点： 运动模型和退化模型不灵活，只能局限于全局平移运动和线性空间不变降质模 型；包含空域先验知识的能力有限。 2 2 2 2 空域法 空间域方法是多帧超分辨率重建应用中另一类主要方法，它将复杂的运动模 型与相应的插值、迭代及滤波重采样结合在一起迸行处理，并且该算法中线性空 间观测模型涉及内容广泛，包括全局和局部运动、光学模糊、帧内运动模糊、非 理性采样等。 ( 1 ) 凸集投影法( p r o j e c t i o n so n t oc o n v e xs e t s )