（计算机应用技术专业论文）基于马尔科夫网络的人脸图像超分辨率算法.pdf

摘要 超分辨率是一种从低分辨率观测结果中获得高分辨率图像或图像序列的 技术。低分辨率等同低频信息，而高分辨率则包含了高、中、低各频带的信 息。目前，超分辨率主要有基于重建的技术和基于学习的技术两种方式。现 在研究的热点是人脸图像超分辨率合成，即从低分辨率脸部图像中获得高分 辨率图像。人脸图像超分辨率合成由b a k e r 和k a n a d e 提出，人脸图像所隐 含的高频部分必须被完全构造出来。人脸图像超分辨率合成极具挑战性，因 为人们对于脸部非常熟悉。 高分辨率和超高分辨率在多媒体领域应用非常广泛，传统的方法是输入 几个低分辨率的图像，然后合成出来一个高分辨率的图像，问题是我们很难 获得足够数量的低分辨率图像，所以这种技术应用非常有限。基于学习的超 分辨率是依靠先验知识从低分辨率图像中推断丢失细节的算法。最近，在马 尔科夫网络领域出现了基于学习的算法，但是大多数的算法获得图像信息的 水平仍然很低，最新的研究表明如何提高获取图像信息的水平非常重要，值 得深入的研究。我们即从这一点出发，在一些获取图像的技术实例和马尔科 夫网络的基础上，研究人脸图像超分辨率合成技术。 在本文中，我们研究的是人脸图像超分辨率技术，或者说基于样本图像 和马尔科夫网络的人脸图像超分辨率合成技术。我们构造了一个高分辨率图 像的统计模型，并说明如何通过该模型从一个低分辨率输入图像估计高分辨 率图像。我们的目标是使超分辨率脸部图像算法更加简单、灵活和适合于实 时处理。在标准的马尔科夫网络框架下，采用了一种新颖算法，即采用特定 位置抑制算子来增加马尔科夫网络中观测函数的概率值；对于马尔科夫网络 中的隐含节点，通过像素颜色特征匹配和特定位置抑制算子选择最接近的k 个节点，在这些节点之间采用最一致的周边相容性检查技术，增加马尔科夫 网络传递函数的值。在相关的训练使用样本图像并非很精确对齐的情况下， 这些技术产生了良好效果。实际上，我们构造一种自适应马尔科夫网络，从 而获得一种精确、快速并且较简单，灵活的算法，以适应输入图像的实时处 理。本文提出的技术通过了几个实例测试，采用图像数据库进行了相关试 验，演示了该算法，表明其有效性。 我们发现块位置的约束机制，能够增加观察函数的概率值。特别是，即 使使用一个小的训练数据集，它也有良好的表现，能够寻找到最接近的高频 图像块。 关键词：人脸图像，超分辨率，马尔科夫网络，学习算法 a b s t r a c t t h et e r ms u p e r - r e s o l u t i o n ( s r ) i su s e dt od e s c r i b et h ep r o c e s so fo b t a i n i n ga h i g h - r e s o l u t i o n ( h r ) i m a g eo ras e q u e n c eo fh ri m a g e sf r o m as e to fl o w r e s o l u t i o n ( l r ) o b s e r v a t i o n s l o w r e s o l u t i o ni se q u i v a l e n tt ol o w - f r e q u e n c ya n d h i g h r e s o l u t i o nc o n s i s t so fh i g h ，m i d d l ea n dl o wf r e q u e n c yb a n d s t h e r ea r ei n g e n e r a lt w oc l a s s e so fs u p e r - r e s o l u t i o nt e c h n i q u e s ：r e c o n s t r u c t i o n b a s e d ( f r o m i n p u ti m a g e sa l o n e ) a n dl e a r n i n g b a s e d ( f r o m o t h e ri m a g e s ) o fp a r t i c u l a r i n t e r e s ti sf a c eh a l l u c i n a t i o n ( w h i c hi m p l i e st h eh i g h f r e q u e n c yp a r to ff a c ei m a g e ， m u s tb ep u r e l yf a b r i c a t e d ) o rl e a m i n gh i g h r e s o l u t i o nf a c ei m a g e sf r o ml o w r e s o l u t i o no n e s h a l l u c i n a t i n gf a c e si sp a r t i c u l a r l yc h a l l e n g i n gb e c a u s ep e o p l e a r es of a m i l i a rw i t hf a c e s m a n ym u l t i m e d i aa p p l i c a t i o n sr e l y o nh i g h r e s o l u t i o n i m a g e s c o n v e n t i o n a l m e t h o d se m p l o y e ds e v e r a li n p u tl o w - r e s o l u t i o ni m a g e st or e c o n s t r u c tt h eo u t p u t h i g h r e s o l u t i o ni m a g e s i n c ei t i sd i f f i c u l tt oo b t a i ns u f f i c i e n tn u m b e r so fi n p u t i m a g e s ，t h ee f f e c to fs u c hm e t h o d si sl i m i t e d l e a r n i n g - b a s e da l g o r i t h m sa r e p o p u l a rs rt e c h n i q u e st h a tu s ea p p l i c a t i o nd e p e n d e n tp r i o rt oi n f e rt h em i s s i n g d e t a i l si nl o wr e s o l u t i o ni m a g e s l e a r n i n g - b a s e da l g o r i t h mu n d e rt h ef r a m e w o r k o fm a r k o vr a n d o mf i e l d si se m e r g i n gr e c e n t l ya n da t t r a c t sm a n yr e s e a r c h e r s h o w e v e r ，m o s to fs u c ha l g o r i t h m sl e a r nl o w - l e v e lk n o w l e d g ea b o u ti m a g e s r e c e n tr e s e a r c h e si n d i c a t et h a tl e a r n i n gh i g h l e v e lk n o w l e d g ei sa l s oi m p o r t a n t a n ds h o u l db ei n v e s t i g a t e df u r t h e rm o r e w ef o l l o wt h i s l i n ea n ds t u d yt h ef a c e i m a g es u p e rr e s o l u t i o nt e c h n i q u e sb a s e do ni m a g ee x a m p l e s a n dm a r k o v n e t w o r k ( m n ) i nt h i st h e s i s ，w ei n v e s t i g a t et h ef a c ei m a g es u p e rr e s o l u t i o nt e c h n i q u eo r h a l l u c i n a t i o nb a s e do ni m a g ee x a m p l e sa n dm a r k o vn e t w o r k ( m n ) w eb u i l da s t a t i s t i c a lm o d e lo fh i g h r e s o l u t i o ni m a g e sa n ds h o wh o wt h i sm o d e lc a nb eu s e d t oe s t i m a t eah i g h r e s o l u t i o ni m a g ef r o mal o w e r - r e s o l u t i o ni n p u ti m a g e o u r g o a li s t om a k et h ea l g o r i t h mo fs rf a c ei m a g e sm o r es i m p l e ，f l e x i b l ea n d s u i t a b l ef o rr e a l t i m ea p p l i c a t i o n s u n d e rt h ef r a m e w o r ko fs t a n d a r dm n ，w e p r o p o s ean o v e la l g o r i t h mt h a tu s e st h el o c a t i o n - r e s t r a i n to p e r a t i o nt oi n c r e a s e t h ep r o b a b i l i t yv a l u eo fo b s e r v a t i o nf u n c t i o ni nm n f o rh i d d e nn o d e so fm n w e u s et h em o s tc o m p a t i b l en e i g h b o u r i n gp a t c h e sa m o n g 七c l o s e s to n e st h a ta r e s e l e c t e db yc o m b i n i n gt h ep i x e lc o l o u rf e a t u r em a t c h i n ga n dl o c a t i o nr e s t r a i n t o p e r a t i o n t h i sc a ni n c r e a s et h et r a n s i t i o nf u n c t i o n o fm na n dw o r k sv e r yw e l l e v e nu n d e rt h ec o n d i t i o nw h e r et h ea l i g n m e n to ft h ei m a g e si nt h et r a i n i n g d a t a s e ti sn o ta c c u r a t e b yt h e s em e a s u r e s ，w eg e n e m t ea na d a p t i v em n a c h i e v i n ga c c u r a t e ，f a s ta n das i m p l e r ，f l e x i b l ea n ds u i t a b l ea l g o r i t h mf o rr e a l - t i m e a p p l i c a t i o no ft h ei n p u ti m a g e s i sac r i t i c a l s t e p i n s u p e r - r e s o l u t i o n p r o c e s s i n g m o t i v a t e db yt h i sb a s i cr e q u i r e m e n t ，t h et e c h n i q u e sp r e s e n t e di nt h i s t h e s i sa r et e s t e di np r a c t i c a le x p e n m e n t s w ec a r r yo u tr e l a t e de x p e r i m e n t sw i t h t h ei m a g ed a t a b a s ea n dd e m o n s t r a t et h ee f f e c t i v e n e s sa n dp e r f o r m a n c eo ft h e p r o p o s e da l g o r i t h m s d u et ot h es i m p l i c i t yo fc o m p u t i n gm n ，o u ra l g o r i t h mi s p r a c t i c a la n ds u i t a b l ef o rr e a l t i m ea p p l i c a t i o n s w ef i n dt h a tl o c a t i o nr e s t r a i n t m e c h a n i s mc a np o t e n t i a l l yi n c r e a s et h ep r o b a b i l i t yv a l u eo fo b s e r v a t i o nf u n c t i o n i n m n e s p e c i a l l y ，w i t has m a l lt r a i n i n gd a t a s e t ，i te x t r e m e l yi m p r o v e st h e p e r f o r m a n c eo fs e a r c h i n gt h ec l o s e s tp a t c h e s k e yw o r d s ：f a c ei m a g e , s u p e rr e s o l u t i o n ，m a r k o vn e t w o r k , l e a r n i n g - b a s e d a l g o r i t h m l i s to fa b b r e v i a t i o n s a p i b m p c c d c f t d d b d f t d i b e m g n c g r f h r d j p e g k l t l m s l r l s m a p m l m r f p c a p d f p n g p o c s p s f r e r m s r g b s a s r a p p l i c a t i o np r o g r a m m i n g in t e r f a c e b i t m a p p e dg r a p h i c sf o r m a tu s e di nw i n d o w s c h a r g ec o u p l e dd e v i c e c o n t i n u o u sf o u n e rt r a n s f o r m d e v i c ed e p e n d e n tb i t m a p d i s c r e t ef o u n e rt r a n s f o r m d e v i c ei n d e p e n d e n tb i t m a p e x p e c t a t i o nm a x i m i z a t i o n g r a d u a t en o n c o n v e x i t y g i b b sr a n d o mf i e l d h i g hr e s o l u t i o n i n d e p e n d e n ta n di d e n t i c a l l yd i s t r i b u t e d j o i n tp i c t u r ee x p e l sg r o u p k a r h u n e n l o e v et r a n s f o r m l e a s tm e a ns q u a r e s l o wr e s o l u t i o n l e a s ts q u a r e s m a x i m u ma p o s t e r i o r i m a x i m u ml i k e l i h o o d m a r k o vr a n d o mf i e l d p r i n c i p a lc o m p o n e n ta n a l y s i s p r o b a b i l i t yd e n s i t yf u n c t i o n p o r t a b l en e t w o r kg r a p h i c s ，ab i t m a pi m a g ef o r m a t p r o j e c t i o no nc o n v e xs e t s p o i n ts p r e a df u n c t i o n r e s o l u t i o ne n h a n c e m e n t r e c u r s i v em e a ns q u a r e s 3p r i m a r yc o l o u r s ：r e d ( r ) ，g r e e n ( g ) a n db l u e ( b ) s i m u l a t e da n n e a l i n g s u p e rr e s o l u t i o n l i s to ff i g u r e s 1 1 2 1 2 2 2 3 2 4 3 1 3 2 3 3 3 4 3 5 3 6 4 1 4 2 4 3 4 4 4 5 4 6 4 - 7 i n p u to fas e q u e n c eo fl o w r e s o l u t i o ni m a g e s ( a l s or e f e r r e d t oa sf r a m e s ) a n do u t p u to fah i g h - r e s o l u t i o ni m a g e 1 i m a g e sa sr a n d o mf i e l d s 1 4 i l l u s t r a t i o no f ( a ) f i r s ta n d ( b ) s e c o n do r d e rn e i g h b o u r h o o d a n d ( c ) a s s o c i a t e dc l i q u e s 1 5 t h r e et y p i c a lg r a p h ss u p p o r t i n gm r f b a s e dm o d e l sf o r i m a g ea n a l y s i s 2 3 m o d e l i n gh i g h - r e s o l u t i o na n dl o w - r e s o l u t i o ni m a g ep a t c h e s a sn o d e si nam a r k o vr a n d o mf i e l d s ( m r f ) m o d e l 2 4 t h em a r k o vn e t w o r km o d e i 2 8 o v e r l a p p i n gr e l a t i o nb e t w e e nn e i g h b o u r i n gp a t c h e s 3 5 ap a t c h b a s e dm a r k o vn e t w o r km o d e l 3 9 t h ep s e u d oc o d eo fs e l e c t i n gkc l o s e tp a t c h e s 4 2 t h ep r o c e s so fc o m p u t i n gt h ef i r s tr o w a n dt h es e c o n dr o w 4 4 t h ep s e u d oc o d eo f d i s p l a y i n gt h eo u t p u ti m a g e 4 5 g a u s s i a np y 阳m i d 4 8 p i x e ld i s p l a y s 5 3 s a m p l ea p p l i c a t i o no ft h ea l g o r i t h mi m p l e m e n t a t i o n 5 7 t h eg e n e m lr e s u l t s t h eo r i g i n a li m a g ei s12 8 9 6a n dt h e i n p u tl o w - r e s o l u t i o ni m a g ei s4 3x3 2 5 8 t h er e s u l t sw h e ni n p u tl o w r e s o l u t i o ni m a g ei s3 2x2 4 5 9 t h er e s u l t so ft h ep r o p o s e dm e t h o db u tw i t h o u tl o c a t i o n - r e s t r a i n t 6 0 t h ee f f e c to f c o m p a t i b i l i t yc h e c k i n g 6 1 l i s to ft a b l e s 4 2 ：t h eb i t m a p i n f o h e a d e r 5 1 4 1 ：t h eb i t m a p f i l e h e a d e r 5 1 d e c l a r a t l o n t h et h e s i ss t u d i e sr e p r e s e n to r i g i n a lw o r kb yt h ea u t h o ra n dh a v en o to t h e r w i s e b e e ns u b m i t l e di na n yf 6 r mf o ra n yd e g r e eo rd i p l o m at oa n yu n i v e r s i t y w h e r e u s eh a sb e e nm a d eo ft h ew o r ko fo t h e r si ti sd u l ya c k n o w l e d g e di nt h e b i b l i o g r a p h y b o s c ow a b w i r e ( s t u d e n t ) p r o f e s s o rh u a n gd o n g j u n l s u p e r v i s o r ) d a 凯臻曼：瓯翟 2 。a g o f 撕da t e - 三一， v 1 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学 位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文 中作了明确的说明。 作者签名：醴坠蟹b 唣期：型年上月2 壁日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位 论文并根据围家或湖南省有关部门规定送交学位论文，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段 保存学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中国学 位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名丛日期：巡年至月型日 a c k n o w l e d g m e n t s f i r s to fa l l ，ia mi n d e e dg r a t e f u lt om ys u p e r v i s o r ，p r o f h u a n gd o n g j u nf o rh i s s u p p o r t 。g u i d a n c e ，a n do v e r w h e l m i n gh e l p h i sc o m p e t e n c e ，c o n s t r u c t i v e c r i t i c i s ma n dd i l i g e n tg u i d a n c ea r ei n v a l u a b l e i tw a sag r e a tp r i v i l e g ea n dh o n o u r t os t u d yu n d e rh i sg u i d a n c e h eh a si n t r o d u c e dm et oc o m p u t e rv i s i o na n dd i g i t a l i m a g ep r o c e s s i n gd u r i n gt h i st i m ea tc s u i th a sb e e nav e r ye n r i c h i n g e x p e r i e n c e ，a n dia mv e r yg r a t e f u lf o ri t ia ma l s ov e r yg r a t e f u lt ol i uf e n g j uf o r h i st i r e l e s sh e l pw i t ha b s t r a c ta n dd o c u m e n t st r a n s l a t i o nt oc h i n e s e m ys t u d ya tc s uw a ss u p p o r t e di nf u l l t h r o u g ht h ec h i n e s es c h o l a r s h i p a p p r e c i a t et h es u p p o r t b yt h eg o v e r n m e n t s o fc h i n aa n du g a n d a c o u n c i l ，ig r a t e f u l l ya c k n o w l e d g ea n d ia mv e r yg r a t e f u lt om yc l a s s m a t e s ，c o l l e a g u e sa n df r i e n d sf o rt h e i rh e l p f r i e n d s h i pa n ds u p p o r t it h a n km yp a r e n t s ，g a e t a n oa n de v e l y nw a n y a m a ，m y b r o t h e r sa n ds i s t e r s ，f o rt h e i rs u p p o r t ia me s p e c i a l l yt h a n k f u lt om yd e a rw i f e ， g r a c ea b a l of o rl e r i n gm ec o m et h i sf a r it h a n kh e rf o rt h eu n c o n d i t i o n a is u p p o r t a n dl o v ea n df o rt a k i n gc a r eo fo u rb e l o v e dd a u g h t e r sn i t aa n db r a c h a f i n a l l yi g i v ea l lt h eg l o r ya n dh o n o u rt om yl o r dj e s u s f o rh ei sa w e s o m e v l l l 盘理丝：丝鲤型型丝i 卫 c h a p t e r1 ：i n t r o d u c t i o n 1 1 s u p e r - r e s o l u t i o no fd i g i t a li m a g e s t h et e r ms u p e r - r e s o l u t i o n ( s r ) i su s e dt od e s c r i b et h ep r o c e s so fo b t a i n i n ga h i g h r e s o l u t i o n ( h r ) i m a g eo ras e q u e n c eo fh ri m a g e sf r o mas e to fl o w _ r e s o l u t i o n ( l r ) o b s e r v a t i o n s t h i sp r o c e s sh a sa l s ob e e nr e f e r r e d t oi nt h e l i t e r a t u r ea sr e s o l u t i o ne n h a n c e m e n t ( r e ) f i g u r e1 1i l l u s t r a t e ss rp r o c e s s o u r r e s i l i e n c et op o o rr e s o l u t i o nh a ss i n c eb e e ns t u d i e de x t e n s i v e l y 【3 0 s rh a sb e e n a p p l i e dp r i m a r i l yt os p a t i a la n dt e m p o r a lr e b u ta l s ot oh y p e r s p e c t r a li m a g e e n h a n c e m e n t ( ac o m p r e h e n s i v ec l a s s i f i c a t i o no fs p a t i o t e m p o r a ls rp r o b l e m si s p r o v i d e di nh 叩t h el ri n p u ti m a g e sa r ea s s u m e dt op o r t r a ys l i g h t l y d i f f e r e n t v i e w so ft h es a m es c e n e i nb r o a ds e n s e ，s u p e r - r e s o l u t i o nt e c h n i q u e sa t t e m p tt o i m p r o v et h es p a t i a lr e s o l u t i o nb yi n c o r p o r a t i n gi n t ot h ef i n a lr e s u l tt h ea d d i t i o n a l n e wd e t a i l st h a ta r er e v e a l e di ne a c hl ri m a g e b a s i c a l l y 。t h ep r o c e s sa l l o w st h e c o n v e r s i o no ft e r n l p o r a ir e s o l u t i o ni n t os p a t i a lr e s o l u t i o n l o w r e s o l u t i o n f r a m e s h i g h r e s o l u t i o n i m a g e f i g u r e7 7 ：i n p u to fas e q u e n c eo fl o w r e s o l u t i o ni m a g e s ( a l s or e f e r r e dt oa sf r a m e s ) a n d o u t p u to fah i g h - r e s o l u t i o ni m a g e t h et e r m s u p e r - r e s o l u t i o n w a so r i g i n a l l yc o i n e di no p t i c s 【5 5 1 i no p t i c s t h e p r o c e s so fr e s o l v i n gb e y o n dt h ed i f f r a c t i o nl i m i ti sr e f e r r e dt oa ss u p e r - r e s o l u t i o n i nt h ei m a g ea n ds i g n a lp r o c e s s i n gc o m m u n i t y ，s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n r e f e r st ou s i n gs i g n a lp r o c e s s i n gt e c h n i q u e sf o rr e c o n s t r u c t i n gah i g h 。r e s o l u t i o n i m a g ef r o ms e v e r a ll o w r e s o l u t i o ni m a g e s i m p r o v i n gt h eq u a l i t yo fi m a g e so ff a c e si sa ni m p o r t a n ta r e ao fa p p l i c a t i o no fs r t e c h n i q u e sl 硎a u t o m a t i cf a c er e c o g n i t i o na tad i s t a n c ei so fg r o w i n gi m p o r t a n c e t om a n yr e a l - w o r l di a we n f o r c e m e n ts u r v e i l l a n c e a p p l i c a t i o n s h o w e v e r ，t h e p e r f o r m a n c eo fe x i s t i n gf a c er e c o g n i t i o ns y s t e m si so f t e ni n a d e q u a t ed u et ot h e l o w r e s o l u t i o no ft h es u b j e c tp r o b e i m a g e s 1 1 1 f o re x a m p l e ，i ft h er e s o l u t i o no fa f a c ei m a g ef a l l sb e l o wac e r t a i nl e v e l ，t h ep e r f o r m a n c eo faf a c er e c o g n i t i o n s y s t e mo rv i d e os u r v e i l l a n c es y s t e md e c r e a s e ss i g n i f i c a n t l y o t h e ra p p l i c a t i o n s 。 w h i c hb e n e f i tf r o ms u c hs rt e c h n i q u e s ，i n c l u d et e x t u r e m a p p i n g ，e n l a r g i n g c o n s u m e rp h o t o g r a p h s ，a n dc o n v e r t i n gn t s co rp a lv i d e oc o n t e n tt o h i g h d e f i n i t i o nt e l e v i s i o n s t r o n g e ra p p r o a c h e st os rt h a ns i m p l ei n t e r p o l a t i o nu s eb a y e s i a nt e c h n i q u e so r r e g u l a r i z a t i o nw h i l ea s s u m i n gp r i o rp r o b a b i l i t i e so rc o n s t r a i n t s f u r t h e r m o r e ， t h e s et e c h n i q u e sa r ei n d e p e n d e n to fb o t ht h es t r u c t u r e sp r e s e n ti nt h ei m a g e a n dt h en a t u r eo ft h ei m a g ei t s e l f f r e e m a ne ta l 【5 8 l p r o p o s et h a ts t a t i s t i c a l r e l a t i o n s h i p sb e t w e e np a i r so fl o w r e s o l u t i o na n dh i g h - r e s o l u t i o n i m a g e s ( i m a g e s c e n ep a i n ) c a nb el e a r n e d t h u s ，g i v e nan e wi m a g et os u p e r - r e s o l v e ( o ft h es a m en a t u r ea st h ei m a g e si nt h et r a i n i n gs e t ) ，i ti sp o s s i b l et oo b t a i na h i g h e r - r e s o l u t i o ni m a g eb a s e do nt h es t a t i s t i c sa c q u i r e df r o mt h et r a i n i n gp a i r s t h em o s ti m p o r t a n tf e a t u r e sl e a m e db yt h em e t h o da r ee d g e s t h ea l g o d t h m l e a r n sw h a tab l u r r ye d g es h o u l dl o o kl i k ei ni t sc o r r e s p o n d i n gh i g h - r e s o l u t i o n i m a g e t h u s ，t h et r a i n i n gd a t an e e dt oc o n t a i nm a n ys h a r pe d g e s t h e e x p e r i m e n t sd e s c r i b e d n5 s w e r ed o n em o s t l yo ns u c ht r a i n i n gs e t s t h eb a s i ci d e ab e h i n ds ri st h ef u s i o no fas e q u e n c eo fl o w - r e