（计算机科学与技术专业论文）小样本训练集下人脸图像超分辨率重构算法研究.pdf

i - - s u p e r - r e s o l u t i o nr e c o n s t r u c t i o no ff a c ei m a g e s u n d e rs m a l ls a m p l e t r a i n i n gs e t s p e c i a l t y ：c o m p u t e rs c i e n c ea n dt e c h n o l o g y m a s t e r d e g r e ec a n d i d a t e ： c h e nf 伲刀 s u p e r v i s o r ：煦旦 丛堑g 旦q n 舀鲤 s c h o o lo fi n f o r m a t i o ns c i e n c e & e n g i n e e r i n g c e n t r a ls o u t hu n i v e r s i t y c h a n g s h ah u n a np r c 9 59m 8m眦m_ 帆7川1y j i i _ j 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名： 醅、支 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 储躲鲢导师签谬啦眺一年月字日 摘要 图像超分辨率技术是指利用若干幅低分辨率图像作为输入，通过 一系列信号处理的手段融合出具有更多高频细节信息的高分辨率图 像的方法的总称。由于图像超分辨率技术能在不需要升级现有的硬件 设备的条件下，突破硬件设备的性能限制而取得更好的图像效果，因 而在视频监控、医疗图像、卫星图像等领域得到广泛的应用。 本文针对小样本训练集下，人脸图像超分辨率学习算法普遍存在 的块效应和局部失真现象，提出了一种能有效克服上述问题的人脸图 像超分辨率学习算法。该算法在马尔可夫网络模型中，通过引入插值 和分步放大的策略提高了观察函数的计算精度；通过引入视觉相容性 检查准则优化了兼容性函数的计算；通过引入权值机制，提高了算法 在有限的训练集条件下利用训练集的能力，实验结果证实了本文算法 的有效性。 本文针对马尔可夫网络模型下的图像分块、训练集生成、分块方 式及分块大小等具体问题，进行了详细的阐述和分析。对影响算法效 果的各种因素进行了大量的实验和总结，对如何在图像的重建过程中 改进算法的效果提出了自己的观点和建议，为提高人脸图像超分辨率 的重建质量做出了积极探索 本文设计并实现了一个基于本文算法的系统实验平台，该实验平 台能通过不同参数的设置来比较各种因素对算法重建效果的影响，利 用该实验平台，我们可以获得本文算法实验效果的详尽数据，便于对 算法的实验效果做出客观的评价。 关键词人脸图像，超分辨率，小样本，块效应，分块方式 a b s t r a ct i m a g es u p e rr e s o l u t i o nt e c h n o l o g yi sam e t h o dt h a tt a k e sas e r i e s o fl o wr e s o l u t i o ni m a g e sa si n p u t ，a n du s e ss i g n a lp r o c e s s i n gt e c h n o l o g y t oo b t a i nh i g hr e s o l u t i o ni m a g e i m a g es u p e rr e s o l u t i o nt e c h n o l o g yc a l l b r e a kh a r d e w a r ec o n s t r a i n t st oa c h i e v eb e t t e ri m a g eq u a l i t yw i t h o u tt h e n e e df o ru p g r a d i n ge x i s t i n gh a r d w a r ec o n d i t i o n s ，s o ，i th a sb e e nw i d e l y u s e df o rv i d e os u r v e i l l a n c e 。m e d i c a “m a g e sa n ds a t e l l i t ei m a g e se t c t h i sp a p e rp r o p o s e sas u p e rr e s o l u t i o na l g o r i t h mo ff a c ei m a g e s b a s e do ns m a l ls a m p l et r a i n i n g s e t a d o p t i n gap a t c h - b a s e dm a r k o v n e t w o r ka st h ef u n d a m e n t a lm e c h a n i s m ，o u rm e t h o dc a ng e tm o r e s i m i l a r yr e s u l tb yu s i n gi n t e r p o l a t i o n ，a n di m p r o v et h ee f f i c i e n c yo f m a t c h i n gp r o c e s st og e tc o r r e c tp a t c h e sb yu s i n gv i s u a lc o m p a t i b i l i t y f e a t u r ea sam a t c h i n gc r i t e r i a ，a n dc o m b i n et h ew e i g h tm e c h a n i s mi n t o i m a g er e c o n s t r u c t i o np r o c e s st om a k et r a i n i n gs e tc a ng e tf u l l yu s e d a n a l y s i sa n de x p e r i m e n t ss h o wt h a tt h ea p p r o a c hc a ne f f e c t i v e l yp r e v e n t t h eb l o c k i n ge f f e c ta n dt h e p a r t i a lb l o c kd i s t o r t i o ni nt h ep r o c e s so fi m a g e r e s t o r a t i o na n dh a v eb e t t e rp e r f o r m a n c ei nt h ef i n a lr e s u l t s t h i sp a p e rc l e a r l ys e t sf o r t ht h ed e t a i lo nh o wt og e tp a t c h e sf r o m i m a g e s ，h o wt og e n e r a t et h es u i t a b l et r a i n i n gd a t aa n dw h i c hs i z es h o u l d w e p r e f e rf o rp a t c h e s t h i sp a p e ra l s of o c u s e so nt h es e v e r a lf a c t o r st h a t c a ni n f l u e n c et h er e s l u t ，w ed e s i g nm a n ye x p e r i m e n t sf o re a c hf a c t o ri n o r d e rt oe s t i m a t et h ee f f e c tt h a tf a c t o r sb r i n ga l o n g w 色a l s og i v eo u r s u g g e s t sa b o u t h o wt oa c h i e v eb e t t e rr e s u l t ， - 一 - li l l sp a p e ra l s od e s i g n sah u m a nr a c es u p e rr e s o l u t i o np r o t o t v o e s y s t e mb a s e do nm a r k o vn e t w o r km o d e l t h es y s t e mc a nu s eo u rm e t h o d t om a k es u p e rr e s o l u t i o np r o c e s s i n gf o rf a c ei m a g e s ，a n di ta l s oc o m p a r e t h ee f f e c ta m o n gd i f f e r e n tf a c t o r sa n da f f o r du st h ed a t at h a tw en e e d k e yw o r d sf a c ei m a g e ，s u p e rr e s o l u t i o n ，s m a l ls a m p l es e t ，b l o c k i n g e f f e c t ，m o d eo f p a t c h 目录 摘要罢i a 】 1 s t r a c t i i 第一章绪论1 1 1 课题的研究背景及应用1 1 2 图像超分辨率发展及研究现状3 1 3 图像超分辨率方法的分类4 1 3 1 基于频域的重构方法4 1 3 2 基于空域的重构方法5 1 3 3 基于学习的方法6 1 4 论文的研究内容7 1 5 论文的组织结构8 第二章基于学习的图像超分辨率技术9 2 1s r 的理论基础9 2 2 主要的理论模型1 0 2 2 1 马尔可夫网络模型1 0 2 2 2 图像金字塔模型：1 1 2 3m n 模型下图像的分块1 4 2 3 1 图像的分块策略1 4 2 3 2 训练集的生成策略1 5 2 4 小结16 第三章针对小样本训练集的人脸图像超分辨率算法1 7 3 1 局部失真和块效应1 7 3 2 插值技术与分步放大18 3 3 视觉相容性准则的引入2 1 3 4 权值机制的引入2 2 3 5 训练集的生成2 3 3 6 超分辨率算法。2 4 3 6 1 算法描述。2 4 3 6 2 算法伪码2 6 3 7 实验结果及分析2 7 3 7 1 结果分析2 7 i i i 3 7 2 算法复杂度分析2 8 3 7 3 算法局限性分析2 9 3 8 小结3 0 第四章实验系统的设计与实现3 l 4 1 系统的需求分析。3 1 4 2 功能模块的设计3 3 4 3 系统的关键技术3 4 4 3 1 位图格式概述一3 4 4 3 2c d i b 类的实现3 8 4 4 实验过程及结果3 9 4 4 1 实验过程3 9 4 4 2 影响算法质量的因素4 1 4 5 小结4 4 第五章总结与展望4 5 5 1 本文的工作总结4 5 5 2 下一步工作展望4 5 参考文献4 7 致谢5 2 攻读硕士期间的主要科研成果5 3 i v 硕士学位论文第章绪论 第一童绪论 1 1 课题的研究背景及应用 随着信息化时代的来临，信息在人们的生活、工作和学习中充当着越来越 重要的角色。经科学研究统计数据表明，人类从外界获得的信息有约7 5 来自 视觉系统【l 】，其余的2 5 来自于听觉、 视觉信息对人类生活具有重要的影响。 嗅觉及触觉等其他的感官系统。因此， 图像作为视觉信息的一种载体，由于可 以直接或间接作用于人眼并进而产生视知觉的实体，在信息的交流性和传递性 方面比其它形式的信息载体具有更加明显的优势，因此得到广泛的应用。图像 处理在最初的发展阶段一般由光学设备在模拟模式下进行，随着计算机速度的 大幅度提高，这些技术正在迅速的被数字图像处理方法所替代 2 1 。比起模拟的 方法，数字图像处理技术具有更加准确、可靠等优点，而且也容易实现和进行 推广。因此，数字图像作为承担视觉信息的重要载体，得到了研究人员的青睐， 数字图像处理这一领域成为了当前的研究热点，各种关于数字图像处理的理论 不断发展和完善，各种新兴的技术和方法也如雨后春笋般的涌现出来。 图像作为存储信息的一种载体，是经过图像观测系统以不同形式和手段对 真实的客观世界进行二维平面投影得到的。在该过程中，由于图像观测系统硬 件的限制和观测形式及手段的差异，势必造成信息的丢失，且成像过程中具有 的不确定因素，如光照的影响、瞬间的大气湍流以及下采样噪声等，将造成图 像质量的进一步下降。客观世界中模拟的图像信号要经过数字化离散处理后才 能得到相应的数字图像，在这个离散化的处理过程中，由于硬件设备的性能的 限制，并不是所有的信号能得到重建，结果造成了数字图像的质量进一步下降。 图像的超分辨率技术( s u p e rr e s o l u t i o n ，s r ) 作为一种能突破硬件设备性能的 限制，通过信号处理的方式来提高图像成像质量的技术应运而生了。 为了方便对数字图像质量的好坏进行度量，人们般使用分辨率作为衡量 图像质量的指标。图像的分辨率通常是指图像在单位长度上所具有的像素数， 单位一般为“像素英寸 ( p i x e l i n e h ，p p i ) 。图像质量的优劣与分辨率的高 低有着直接的关系，分辨率越高的图像就越清晰，含有的高频信息就越丰富， 相应的图像文件也就越大。由于高分辨率图像的像素密度高，因而能够提供更 多的细节信息，而这些细节信息在实际的应用中通常是不可或缺的。例如，高 分辨率的医疗图像有助于医生做出正确的诊断；高分辨率的卫星图像有助 于判断出地面上的相似建筑或物体：高分辨的人脸图像有助于提高计算机 硕士学位论文第一章绪论 对人脸识别的准确度等【3 】。综上所述，高分辨率的图像具有更高的实用价值， 对高质量图像的强烈需求有力的推动了图像超分辨率研究领域的发展。 超分辨率技术本质上属于信号处理学的范畴，它利用若干幅低分辨率( l o w r e s o l u t i o n ，l l t ) 图像的信息作为输入，然后通过信号处理的方法最终融合出 高分辨率( h i g hr e s o l u t i o n ，h r ) 的图像，使结果图像能够获得更多的高频细 节。图像超分辨率技术最大的优点就是成本低，现存的低分辨率图像观测系统 仍然可以使用，在对同一场景的多副图像能够获取的情况下，超分辨率图像重 建技术能取得相当好的效果。正是由于图像超分辨技术具有上述优点，又能改 善图像由于离散化及其他退化因素造成的分辨率下降问题，弥补图像丢失的高 频信息，因而近年来已成为图像处理领域的研究热点之一【4 】，在许多重要领域 有着广阔的应用前景【3 】，其中包括： 1 视频监控。视频监控系统需要对整个场景进行监控，为了得到全局的视 野，摄像头通常距场景较远，从而导致了视频图像帧中关键部分细节信息不够， 如犯罪嫌疑人的脸部或者汽车的牌照等部位。这样的视频图像通常无法满足实 用的要求，此时，可以利用超分辨率技术对视频图像的关键部分进行放大处理， 弥补其缺失的高频信息，使其达到实用的目的。 2 医学图像。医学上通过各种成像技术( 如x 光成像技术、磁共振成像 技术等) 形成的医学图像是医生进行病情诊断的重要依据，具有高分辨率的医 学图像能更精确的显示病变部位体的具体位置和详细情况，有利于医生做出正 确的诊断。但由于硬件设备性能及成像技术的限制，高分辨率的医学图像的获 取还是比较困难的，图像超分辨率技术的出现为高清晰医疗图像的生成提供了 一条有效的途径。 3 图像复原。在现实生活中，经常会碰到需要复原的局部被损坏的图像( 如 文献资料照片上存在的斑点等) 。图像超分辨率技术可以对上述情况的图像进行 复原和恢复。 4 图像合成。由于应用场合的要求经常需要进行图像的合成( 如公安机关 可以通过目击者的大体描述拼接出的犯罪嫌疑人的虚拟画像等) ，图像超分辨率 技术领域内的“人脸幻化，【5 】技术可以在此大派用场。 5 数字电视。随着数字电视的普及，人们对于高清晰度电视( h i g hd e f i n i t i o n t e l e v i s i o n ，h d t v ) 需求也日趋强烈，怎样将目前电视的d t v 信号转变成高清 晰度电视的h d t v 信号已成为实际应用中需要解决的问题。图像超分辨率为该 问题提供了技术上的解决方案。 6 卫星图像。由于卫星能周期性的飞过同一地域，因此可以得到对于同一 地区多张卫星图像。由于拍摄设备的快门速度远比卫星的运行速度小从而会产生 2 硕士学位论文第一章绪论 运动模糊，通过图像超分辨率技术可以利用多幅图像来合成清晰的卫星图像，从 而来精准的确定目标物体的信息，提高对地面物体的识别度。 7 军事应用。在现代战争条件下的夜间侦查和监视行动中，红外热像系统 在卫星、导弹、飞机等军事武器上获得了广泛的应用。但由于红外热像系统硬件 性能的限制，图像清晰度一般都比较低，我们可以利用图像超分辨率技术来提高 侦查图像的分辨率。 1 2 图像超分辨率发展及研究现状 图像超分辨率技术是在2 0 世纪6 0 年代提出来的，当时是指对单幅图像中 由于光学系统分辨率限制而丢失的图像信息进行恢复的方法，该类方法由于对 系统成像的采样率要求相当严格，虽然在仿真实验中能取得较好的效果，但没 有太大的实用价值。 随后，人们开始关注怎样利用多帧图像序列来进行超分辨率的研究。最先 在这方面做出尝试的是t s a i 和h u a n g t 6 ，他们利用多幅场景经过平移的图像作 为输入，给出了基于频域解混叠的重建方法。2 0 世纪8 0 年代以后，图像超分 辨率技术开始进入到了一个崭新的发展阶段，涌现出了一大批优秀的算法，如 i r a n i 等人【刀【8 】提出的迭代反投影算法通过计算模拟图像和实际观测图像的差值 来更新对结果图像的估计；b c t o m 9 】【1 0 】等人改进了迭代反投影算法的性能， 并将该算的应用范围推广到了彩色视频序列图像之中；y o u l a 和w e b b t l l 】最早将 基于集合理论的凸集投影方法( p o c s ，p r o j e c t i o no n t oc d n v e xs e t ) 应用于图像 的复原过程中，随后s t a r k 和o s k o u i t l 2 】首次提出将凸集投影方法应用于图像超 分辨率过程中，取得了较好的重建效果；s c h u l t z 和s t e v e n s o n 1 3 】【1 4 】【1 5 】【1 6 】等人将 最大后验概率估计( m a p ，m a x i m u ma p o s t e , i o d ) 方法应用于h u b e r - m a r k o v 随机场作为先验知识的图像的插值过程中，提出了正则化运动估计的方法，获 得了令人满意的超分辨率图像重建效果。 这些方法的出现有力的推动了图像超分辨率技术的发展。但这类方法也有 明显的局限，那就是该类方法所利用的图像信息都是从输入图像中得到的，整 个图像超分辨率重构的过程没有附加任何其他的背景知识，因此该类方法要求 输入足够多的低分辨率图像才有可能恢复出原来的高频信息，且当放大倍数达 到一定上限后，无论增加多少输入图像也不能在进一步改善图像的重建质量。 在这种情况下，基于学习的图像超分辨率算法开始兴起。与传统的超分辨 率算法不同，学习算法非常依赖于其训练集的质量，一般做法是先将高分分辨 率图像和对应的低分辨率图像进行配对，由大量的这种图像对构成算法所需的 训练集。在图像的重建过程中，通过学习高分辨率图像与低分辨率图像之间的 3 图像超分辨率的方法很多，从其发展历程来看，由其最初的单帧图像的超 、 分辨率算法发展到现在的多帧图像，由初期的插值、重构等非学习算法发展到 如今的学习算法，图像超分辨率技术开始由最初的试验阶段逐渐向实用的阶段 过渡，其应用领域也在不断扩大。下面的文字就是对几十年来图像超分辨率发 展历程的大体回顾。 1 3 1 基于频域的重构方法 1 9 8 4 年，t s a i 和h u a n g 6 】最先在频域中对多帧图像序列的超分辨率问题进 行求解，迈出了超分辨率频域研究的第一步，他们利用离散傅立叶变换( d i s c r e t e f o u r i e rt r a n s f o 彻，d f t ) 和连续傅立叶变换( c o n t i n u o u sf o u r i e rt r a n s f o r l n ， c f t ) 之间的平移和混叠特性，在假定原始高分辨率图像信号的频率有限的条 件下，将多帧低分辨率图像通过混叠的d f t 变换系数与未知场景的c f t 变换 系数联合起来用来计算结果图像的频率域系数，再经过傅立叶逆变换得到原始 高分辨率图像。 随后，k i m 和b o s e 2 0 】等人利用加权最小二乘法来对图像超分辨率问题进行 求解，将图像超分辨率的频域法推广到了噪声模糊的低分辨率图像上。s u 和 k i m 2 l 】进一步将频域类方法进行改进，将其推广到非全局性的运动模型上作出 了积极的尝试。b o s e 2 2 】【2 3 】等人将运动估计可能产生的误差考虑进了图像的重构 过程中来，进一步推广了文献 2 0 】中的方法。 4 硕士学位论文第一章绪论 基于频域的重建方法的基础是人们熟知的傅立叶变换理论，其求解过程直 接、简单、明了，且计算效率较高，国内也有一些学者对频域类的超分辨率算 法进行研究1 2 4 1 1 2 s 】。但该类方法局限于全局性运动模型，且由于频域中缺乏数据 的相关性，因此大多数有用的图像先验知识都无法引入图像的重构过程中。在 早期的超分辨率研究中，该类方法研究较多，现在已不多见。 1 3 2 基于空域的重构方法 基于空域的重构方法由于不受观察模型的限制，具有很强的图像空域先验 知识的引入能力及可将运动估计、插值、迭代等操作一起处理的优点，因而比 频域类方法具有更大的灵活性和更广的实用范围，吸引了众多研究人员的青睐。 下面对空域类的主要算法做简要的介绍。 1 反向投影迭代法 i r a n i 7 】 8 】等人提出反向投影迭代法( i t e r a t i v eb a c kp r o j e c t i o n ，i b p ) 。该方法 首先对单帧低分辨率图像进行插值，然后将其作为高分辨率图像的初始解投影 到低分辨率观测图像上从而得到模拟图像，通过不断的迭代来调整模拟图像与 实际观测图像的差值来对超分辨率图像进行求解。但此类方法的重建结果不唯 一，且图像重建过程中也难以引入先验约束。 2 凸集投影算法 s t a r k 和o s k o u i 1 2 1 提出的凸集投影法是一种基于集合理论的重建方法。根 据凸集投影理论，约束解的可能空间范围的集合被称做约束集，而约束集有自 己的一些特性，如t 正定性、有界性、平滑性、一致性等等。通过将超分辨率 图像的解空间与约束集合相交得到简化的解空间降低算法的计算量。图像的超 分辨率过程就是从高分辨率图像空间的任意点出发，通过不断迭代寻找满足所 有约束集的点的过程。该类方法简单明了，且能够通过引入各种与图像先验知 识有关的约束集来改善图像的重建效果。但该类方法结果并不唯一，运算量较 大，且算法收敛速度慢，结果过于依赖初值的选择。 3 最大后验概率法 根据贝叶斯定理的描述，高分辨率图像的后验概率为已知理想的高分辨率 图像情况下，低分辨率图像序列的条件概率与理想高分辨率图像的先验概率的 乘积。条件概率一般采用高斯模型，先验概率可选择不同的模型。图像超分辨 率过程就是在已知低分辨率图像序列的前提下，使高分辨率图像的后验概率达 到最大。s c h u l t z 和s t e 喇l s o n 【1 3 1 1 1 4 1 1 5 】【1 6 】等人利用h u b e r - m a r k o v 随机场作为先 验模型最早将最大后验概率方法运用到图像的内插过程中以提高图像的清晰 度；随后，为了更好的确定实际场景和成像设备之间的相对运动，他们又提出 5 建。但由于压缩过程也对视频图像的质量造成了影响，而这点往往没有被考虑 在图像的重建过程中从而造成了其重建效果并不理想。另外在压缩编码的过程 中还有所固有的块效应和振铃效应等等都影响着图像的重建效果。 1 3 3 基于学习的方法 基于学习的超分辨率方法是超分辨率领域内较新颖的方法，该类方法最早 是在1 9 9 9 年由s i m o mb a k e r 和t a k e ok a n a d e 5 】【1 7 】等人提出的，他们也最先 针对人脸图像的超分辨率问题提出了“人脸幻化 ( f a c eh a l l u c i n a t i o n ) 的思想， 硕士学位论文 第一章绪论 他们选择人脸图像高斯金字塔的水平和垂直方向的导数及拉普拉斯金字塔作为 人脸图像的特征空间，通过离线学习原始图像在不同分辨率下的灰度对应关系， 取得了较好的人脸图像重建效果。h e r t z m a n n a 等人【l8 】提出了基于多尺度自动 回归的图像类比技术，利用训练图像对的局部特征相似性来推测输入l r 图像 对应的细节特征。f r e e m a nwt 等人【1 9 】用般的自然图像构造训练集，然后通 过标准的马尔可夫网络描述图像超分辨率的过程，通过有限次匹配简化观察函 数计算，通过在图像块之间进行边缘重叠来求解兼容性函数。l i u 【4 5 】等人提出了 一种结合全局参数模型和局部非参数模型相结合的方法，他们的方法首先利用 主成分分析模型和最大后验概率方法计算得到图像的全局信息，然后利用马尔 可夫网络模型获得代表图像局部信息的残差图像块，最后的结果图像是含全局 信息的图像和含局部信息的残差图像之和。d a v i dc a p d 等人m 】将人脸划分成 眼、鼻、嘴和面颊等不同部位，利用主成分分析模型来描述不同人脸部位的特 征，整个人脸由相应部位的主成分系数表示。s t e p h e n , s o n 等人【4 7 】贝0 将人脸分为 眼部和非眼部两部分，将机器学习的方法引入到算法的重构过程中，显著提高 了马尔可夫网络观察函数的相似性。w a n g 等人【4 s 】贝0 充分利用主成分分析模型， 将输入图像看做一系列低分辨率图像的线性组合，在保持组合系数不变的情况 下通过使用相应的高分辨率图像替代低分辨率图像得到期望的超分辨率结果。 z h a n g 等人提出了一种d c t ( 离散余弦变换) 域的学习方法【4 9 】，通过各种插值 算法获得代表图像整体轮廓块信息的d c 系数，通过学习h r 训练集获取代表 人脸局部特征的a c 系数，然后将系数叠加得到d c t 域的h r 人脸图像。 1 4 论文的研究内容 本文首先对现有的图像超分辨率方法进行概述，其中特别介绍了s r 领域 里学习算法的发展状况，然后针对小样本训练集下基于马尔可夫网络模型的s r 学习算法普遍存在的块效应和局部失真现象，提出了一种融合视觉兼容性检查 和权值机制于一体s r 学习算法，最后基于该算法设计并实现了完整的人脸图 像s r 系统，并对影响算法的各种因素进行了大量的实验研究，提出了改进的 措施和方法。本文重点关注基于马尔可夫网络模型的s r 学习算法重建过程的 研究，其中主要包括的内容如下： 1 针对基于学习的s r 重建算法中普遍存在的块效应和局部失真现象，详 细的分析了造成这种现象的原因，并提出了有效的解决方案。 2 详细阐述了基于马尔可夫网络模型的s r 重构算法的分块方式和策略， 融合插值技术与分步放大策略来优化观察函数的计算，引入基于视觉相容性检 查准则的分块重叠方式，优化马尔可夫网络隐层节点的计算，使输出图像更加 7 硕士学位论文 第一章绪论 自然和平滑。 3 详细分析了训练集对s r 重建算法质量的影响，研究如何在小样本训练 集的条件下提高算法对训练集的利用能力，并提出融合权值机制的s r 重构算 法，有效的提高了s r 结果图像质量。 4 研究如何使输出图像更加接近原高分辨率图像。充分利用输入的低分辨 率图像的信息，结合权值机制，在s r 重构的过程中有效的提高了这种相似性。 5 设计并实现了实验的系统平台，给出了最终的实验结果和结论，并对其 他分块方式的实验效果和质量进行了分析。 1 5 论文的组织结构 论文的内容总共分为五章，其具体的组织结构如下： 第一章介绍了图像超分辨率的研究背景及应用，对图像超分辨率的发展及 研究现状进行了总结，系统阐述了图像超分辨率领域的各种主流方法。 第二章介绍了图像超分辨率问题的理论基础及本文算法所用到的理论模 型，详细阐述了在本文所用的理论模型的基础上怎样来对图像进行分块的策略 和生成训练集的方法。 第三章针对小样本训练集下人脸图像超分辨率算法中普遍存在的块效应和 局部失真现象，设计并实现了基于马尔可夫网络模型的图像超分辨率重构算法。 该算法通过引入更恰当的度量准则优化了算法中匹配块的选择，通过融合权值 机制提高了算法对训练集的利用能力，取得了较好的实验效果。 第四章设计并实现了本文算法的系统实验平台。其中对实验平台的功能模 块和实现的关键技术进行详细介绍，特别利用该平台对影响本文算法的其他因 素( 如采样因子、分块方式、分块大小及训练集等) 进行了详细的实验和讨论， 得到了详尽的实验结果和数据，为优化马尔可夫网络模型下人脸图像超分辨率 算法的重建质量做出了积极探索。 第五章对本文所做的工作进行了总结，对下一步的工作进行了展望。 硕士学位论文 第二章基于学习的图像超分辨率技术 第二章基于学习的图像超分辨率技术 自上世纪8 0 年代以来，随着计算机、电子、信号处理技术以及一些优化理 论的发展，人们在图像超分辨率领域的研究上开始取得突破性的进展。本章将 对图像超分辨率的理论基础及主要理论模型分别进行介绍，对马尔可夫网络模 型下图像的分块策略和如何构造训练集等内容进行详细阐述，最后我们将从理 论上推导出图像分块要满足的要求并对构造训练集图像的过程进行展示。 2 1s r 的理论基础 由s r 观察模型可知，任意一幅l r 图像都可以看做是由其所对应的h r 图 像经过变形、模糊、下采样等操作再加入噪声污染后得到的【3 1 。假设原始的h r 图像的尺寸大小为厶l 厶2 ，用向量x = 而，屯，h 】r 表示，其中 n = 厶1 厶2 ，厶和厶分别是观察模型在水平方向和垂直方向上对原始图像 的采样因子。那么通过观察模型生成的u 己图像的尺寸大小为l ，我们用 向量y = 【y l , y 2 ，y 材】r 表示，其中m = l 2 v , 。男g z , 利用观察模型通过彳得 到y 的过程可以用下式来表示： y = d b m x + 万 ( 2 1 ) 其中d 是( i 2 ) 2 厶l l 2 2 的下采样矩阵，b 是厶l 三：厶n , l ：2 的 模糊矩阵，m 是厶l l 2 2 v 1 l l 2 2 的变形矩阵，刀是图像降质过程中噪声向 量。将( 2 1 ) 式简化可得： 】，= 肠+ 刀 ( 2 2 ) 其中形为( l 2 ) 2 厶n , l ：2 的矩阵，代表了综合下采样、模糊和变形操 作的算子，而，l 是零均值的白高斯噪声。 根据( 2 2 ) 式，在已知x 的情况下，通过观察模型，我们可以很容易的得到 y 。但是，在已知y 的情况下却无法得到唯一的x 而怎样确定x 才是s r 技术 关心的问题。许多s r 重构算法尝试通过利用( 2 1 ) 式中的逆操作( 插值、细节 恢复和运动估计) 来预测对应的h r 图像，为推动s r 技术的发展做出了积极 探索，但效果仍然有限。 很明显，针对s r 问题的病态性，直接对x 求解将导致不稳定的结果。因 此，研究人员一般采用正则化的方法来处理。根据贝叶斯理论( b a y e s i a n ) 的 观点，求解x 的过程被认为是在最大后验概率下条件下求解最优启的过程。而 x 和y 的关系可表示如下： 9 图2 - 1 用于图像超分辨率的马尔可夫网络模型 模型中的圆圈代表网络中的节点，连线代表节点之间的统计依赖关系。我 们让l r 的图像块对应模型中的观察节点y ；让h r 的图像块对应模型中的隐 节点x ；而观察函数( 而，y ；) 代表了节点而和y ，之间的相似程度( 也就是由而和 y i 所分别代表的图像块之间的相似程度) ；兼容性函数、壬，( 一，) 代表了节点五 1 0 硕士学位论文第二章基于学习的图像超分辨率技术 和x ，之间的兼容程度( 也就是节点而和x ，所分别代表的图像块之间的兼容程 度) 。那么，在m n 模型下求解( 2 4 ) 式可表示为 p ( xi 功= 专兀，( t ，_ ) 兀，( x i y ，) ( 2 5 ) 厶( 寥) l ( 2 5 ) 式中的z 为归一化常数。从该式可以看出尸( xl 】，) 的值与各观察节点 对应的隐节点的观察函数的积和各隐节点与相邻隐节点之间相容性函数甲 的积成正比。该式的实质就是要使m n 网络中的每一个工节点其对应的y 节点 之间尽可能的相似，而所有相邻的x 节点之间尽可能的兼容。 对于观察函数，我们使用欧氏距离来度量隐节点和观察节点之间的相似 性，那么观察函数可定义如下 ( x l , y i ) = c x p ( 一掣) ( 2 6 ) 其中盯表示噪声因子。 为了尽可能提高相容性函数甲的值，我们对输入图像的节点进行采样，使 隐节点所对应的高分辨率图像块之间重叠一个或一个以上的像素，重叠区域像 素之间应当是相容的，并用基于重叠区域的欧氏距离来度量相邻隐节点之间的 兼容性，那么相容性函数v 可定义如下 甲( x l , y j ) = e x p ( 一掣) ( 2 7 ) 由此可见，s r 的求解目的就是要寻找到对应隐节点的最优h r 图像块使联 合概率p ( xy ) 取最大值。然而，随着马尔可夫网络规模的增大，上述求解将 会遭遇组合爆炸，因此不得不寻找其近似算法。 2 2 2 图像金宇塔模型 采样图像金字塔模型来描述图像的空间分布特征，可以很好的得到原始图 像在多种分辨率下的对应信息，因此非常适合构建具有不同分辨率图像的训练 集。常用的图像金字塔模型主要包括高斯金字塔和拉普拉斯金字塔【5 】，本文算 法中就有用到其中的高斯金字塔来构建所需的训练集图像。根据文献 5 】中的描 述，我们分别对这两种金字塔进行介绍。 1 高斯金字塔 图像的高斯金字塔主要包括对图像进行高斯低通滤波和下采样操作两个过 程。反复对图像进行这两步运算，就可以得到图像所对应的一系列不同分辨率 下的图像信息。令原始的h r 图像，h 为高斯金字塔的最底层记为g 0 ，用图像的 硕士学位论文第二章基于学习的图像超分辨率技术 行数( r o w ) 和列数( c o l u m n ) 来度量图像尺寸的大小，g 0 的大小为r 行c 列。 那么生成金字塔第一层图像g ；的具体流程可以看做先拿g 0 与具有低通特性的 窗i = 1 函数“m ，行) 进行卷积运算，然后再对卷积运算的结果进行采样因子为2 的 图像下采样的过程。推广到高斯金字塔的各层图像，该处理过程可用表达式2 8 来描述。该式从本质上说明了图像高斯金字塔的第，层就是对，1 层进行低通滤 波然后在下采样而得到的。 22 g 三( f ，) = w ( m ，n ) g l q ( 2 f + m ，2 j + 刀)( 2 8 ) m - - 一2 n = 一2 其中q 代表高斯金字塔中的第三层图像，g 力代表皖上第i 行、第列像 素点，且o s f 雹，o j f q 。关于第l 层图像的行数吃和列数q 的求法如下： 若是存在整数鸠、收和，满f f zr = m 尺2 + 1 与c = 收2 + 1 的要求，那么 冠= m r 2 删+ 1 ，q = 心2 州+ 1 。 至于函数w ( m ，刀) ，它作为具有低通特性的高斯模板，满足下列性质： ( 1 ) 可分离性：以m ，咒) = 似朋) 以刀) ； m = 一2 ( 2 ) 可归一化：以确= l ； m = - 2 ( 3 ) 对称性：从m ) = 以一所) 。 通过2 8 式，我们就可以生成h r 图像g 0 所对应的一系列高斯金字塔图像 g ；，g ，g 等。从图2 2 中，我们可看到生成图像的高斯金字塔的结果。 国囡幽囡 g lg 2g 3 图2 - 2 高斯金字塔图像序列 团_ g 4q 2 拉普拉斯金字塔 拉普拉斯金字塔与一般和高斯金字塔配合使用。它也包含一系列图像，图 像中保存的信息是对应的高斯金字塔相邻两层图像之间的信息差。由于高斯金 1 2 硕士学位论文第二章基于学习的图像超分辨率技术 字塔上、下相邻两层之间的图像尺寸不一样，因此一般将小尺寸的图像按一定 的策略进行插值后在来计算两层图像之间的差值。设原始的h r 图像g 0 所对应 的高斯金字塔各层图像g ，g 2 ，q 都已经生成，那么对应的拉普拉斯金 字塔的最底层的图像厶的生成过程如下：首先，对q 进行插值操作形成与g 0 尺 寸大小相同的g ，g 0 与g 之间的差值图像就是所得的厶。其它各层图像的计 算过程与此类似，其流程如图2 3 所示。 图2 - 3 拉普拉斯金字塔图像生成示意图 一般认为拉普拉斯金字塔中保存的是图像的高频细节信息，这些信息对恢 复图像的高频细节非常重要。因此，若能将高斯金字塔图像和拉普拉斯金字塔 图像结合起来建立图像的特征空间，此举对改善图像的恢复效果无疑是具有很 大帮助的。b a k e rs 等人【5 4 4 1 就针对人脸图像做过这方面的尝试，取得了较好的 实验效果。针对上一小节生成的高斯金字塔图像序列，本节生成的拉普拉斯金 字塔图像序列如下。 圈霾 厶工2岛 图2 - 4 拉普拉斯金字塔图像序列 1 3 蕊鼋 如 图2 - 5 基于删模型的重叠区域分块示意图 1 4 硕士学位论文第二章基于学习的图像超分辨率技术 图中巧口，刀和其相临块巧口，歹+ 1 】分别代表h r 图像上的左右相临的两个 h r 图像块，块间重叠区域为丁个像素。针对特定的图像块巧口，刀，我们要分别 计算巧f ，刀与该块上方相临图像块巧 i - l , j 】及左方相临的图像块巧p ，j - 1 之 间的、壬，值，以选择兼容性最好的图像块作为输出。 关于图像分块的尺寸，从理论上讲最小应该