（通信与信息系统专业论文）应用图像分层法和偏微分方程的数字图像修复.pdf

上海大学博士学位论文 应用图像分层法和偏微分方程的数字图像修复 摘要 图像由于各种原因被损坏或变得残缺不全。本文研究用i n p a i n t i n g 技术进行图像修 复。图像修复是模仿古代画家对绘画的手工修复，用计算机及专门算法对图像进行润 饰，达到修复效果。这项工作无法用传统的图像恢复、重建、增强来完成。 我们对图像修复进行深入的探讨，提出了以下新方法。 1 提出一种方法用于改善在不理想天气条件下拍摄的照片质量。通过阈值分割获 得照片中包含天空部分的模板，然后使用另一幅图像中的蓝色天空来代替待改善照片 中的灰暗天空。由于在天空和地面物体之间的复杂边界没有明确定义，因而我们引入 纹理生长方法，在边界处生成新的纹理，使得修饰后的图像视觉上更加自然。 2 提出一种基于图像分层的图像修复算法。首先利用d c t 将待修复的图像分解成 三层：结构层( c a r t o o n ) 、边缘层、纹理层。对结构层和边缘层中的损坏区域使用自适 应偏心平滑算子进行修复，避免使边缘区域产生模糊；对纹理层中的损坏区域使用纹 理合成法进行修复。与一些已报道的方法相比，提出的方法能够产生较好的修复效果， 并且具有较快的处理速度。 3 利用热传导模型解决图像修复问题，在该模型中像素灰度值等价于热传导中的 温度。采用有限差分法来数值求解偏微分方程，待修复区域的邻域信息通过不断迭代 的方式传播至损伤区域。在用迭代法求解p d e 时分别采用1 个像素和2 个像素两种不 同的空间步长，步长较小时给出了更好的修复效果。该方法与其它p d e 方法相比相对 简单，并对c a r t o o n 层能取得满意的修复效果。纹理信息从损伤域的周围提取得到，并 叠加至修复区以产生更自然的效果。 我们对各种图像在不同类型损伤的条件下进行了大量的实验，结果表明上述方法具 有良好的处理效果。 关键词：图像修复，图像分解，偏心平滑算子，偏微分方程，热传导，纹理合成 v 上海人学博士学位论文 i m a g ei n p a i n t i n gu s i n gl a y e rd e c o m p o s i t i o n a n dp a r t i a ld i f f e r e n t i a le q u a t i o n a b s t r a c t i m a g e s 伽b ed e g r a d e d ，d a m a g e d , a n de v e nv a n d a l i z e d t h i sw o r kd e a l s 、丽l l lt h e p r o b l e m so fr e p a i r i n gd a m a g e di m a g e su s i n gat e c h n i q u ec a l l e d i m a g ei n p a i n t i n g s i n c e t r a d i t i o n a li m a g er e s t o r a t i o n , r e c o n s t r u c t i o n , a n de n h a n c e m e n tc a nh a r d l yb eu s e dt od e a l w i t l ls o m eo ft h ep r o b l e m s i m a g ei n p a i n t i n gi st ou s ec o m p u t e ra n ds p e c i a l i z e da l g o r i t h m s t oa u t o m a t i c a l l yd ot h ej o bo fp i c t u r er e t o u c h i n gt h a tw o a dh a v eb e e n d o n em a n u a l l yb ya n a r tp r o f e s s i o n a li nt h eo l dd a y s i nr e c e n ty e a r s ，m a n yt e c h n i q u e sf o ri m a g ei n p a i n t i n gh a v eb e e nd e v e l o p e da n da p p l i e d f o rv a r i o u sa p p l i c a t i o n ss u c h 勰r e m o v i n gs c r a t c h e s ，d e f e c t s ，s u p e r - i m p o s e dt e x t , o ro v e n e n t i r eo b j e c tf r o mt h es c e n ei na l lu n d e t e c t a b l em a n n e r h o w e v e r , 嬲i ti san e wf i e l do f r e s e a r c h , m a n yp r o b l e m sr e m a i nu n s o l v e d ，t h e r e f o r ee x t e n s i v ei n v e s t i g a t i o n sa r en e e d e dt o a d v a n c et h er e s e a r c ha n dm a k et h et e c h n i q u e sp r a c t i c a l i nt h i sw o r k , w ep r o p o s es e v e r a ln e wm e t h o d si no r d e rt oc o n t r i b u t et ot h ed e v e l o p m e n t o ft h i sa t t r a c t i v ea n du s e f u la r e ai ni m a g e p r o c e s s i n g f i r s t , w ep r o p o s eam e t h o dt oi m p r o v eq u a l i t yo fp h o t o g r a p h st a k e nu n d e rp o o rw e a t h e r c o n d i t i o n s w eu s eat h r e s h o l d i n go p e r a t i o nt os e g m e n tt h ei m a g et oo b t a i nat e m p l a t ef o r t h es k y t h e # o o m ys k yi sr e p l a c e dw i t hap a t c h , w h i c hi sc l o n e df r o m 觚a v a i l a b l ep i c t u r e o fb l u es k y , u s i n ga na l g e b r a i co p e r a t i o n f o rt h ef i n er e t o u c ho fc o m p l i c a t e db o u n d a r i e s w h e r et r a n s i t i o nb e t w e e nt h es k ya n dg r o u n do b j e c t si sn o tc l e a r l yd e f i n e d , at e x t u r eg r o w i n g m e t h o di si n t r o d u c e dt og e n e r a t et h et e x t u r ea l o n gt h eb o u n d a r y t h i sm a k e st h em o d i f i e d i m a g el o o kn a t u r a l s e c o n d ，w ed e v e l o pal a y e r e di m a g ei n p a i n t i n gm e t h o d t h ed a m a g e di m a g ei sf i r s t d e c o m p o s e di n t ot h r e el a y e r s ：c a r t o o n , o d g e ，a n dt e x t u r eu s i n gd c t t h ec a r t o o na n dc d g e l a y e r sa r er e p a i r e du s i n ga na d a p t i v eo f f s e to p e r a t o rt h a tc a n 丘l l i nd a m a g e di m a g eb l o c k s w h i l ep r e s e r v i n gs h a r p n e s so fe d g e s t h em i s s i n gi n f o r m a t i o ni nt h et e x t u r el a y e ri s v i 上海大学博士学位论文 g e n e r a t e dw i t hat e x t u r es y n t h e s i sm e t h o d c o m p a r e dw i t hs o m ee x i s t i n gt e c h n i q u e s ，t h e p r o p o s e dm e t h o dc 孤p r o d u c e9 0 0 di m a g ew i 也l e s sb l u r r i n go ft h ee d g e sa n daf a s t e r p r o c e s s i n gs p e e d t h i r d ，w eu s eah e a tt r a n s f e rm o d e lt os o l v et h ep r o b l e mo fi m a g ei n p a i n t i n g ，i nw h i c h t h ep i x e lg r a yl e v e li sm a d ea n a l o g o u st ot e m p e r a t u r e af i n i t ed i f f e r e n c em e t h o di s d e v e l o p e dt os o l v et h ep a r t i a ld i f f e r e n t i a le q u a t i o n s ( p d e ) n u m e r i c a l l y , u s i n gd o u b l e - g r i d a n ds i n g l e g r i di t e r a t i o ns c h e m e s i n f o r m a t i o nc o n t a i n e di nt h en e i g h b o r h o o di sp r o p a g a t e d i n t ot h em i s s i n ga r e ap r o g r e s s i v e l y t h i sm e t h o di sr e l a t i v e l ys i m p l ea sc o m p a r e dt oo t h e r p d ea p p r o a c h e s ，a n dg i v e ss a t i s f a c t o r yf i l l - i ne f f e c t so ft h ec a r t o o nl a y e ro ft h ed a m a g e d i m a g e t e x t u r ei n f o r m a t i o ni se x t r a c t e d t h ea r e aa r o u n dt h eh o l e , a n da d d e dt ot h e r e p a i r e dp a t c h e st op r o d u c eam o r ei l a t u r a la p p e a r a n c e e x p e r i m e n t sh a v eb e e nc a r r i e do u to ni m a g e sw i n lv a r i o u st y p e so fd a m a g e st os h o wt h e e f f e c t i v e n e s so ft h ep r o p o s e dm e t h o d s k e y w o r d s ：i m a g ei n p a i n t i n g , i m a g ed e c o m p o s i t i o n ，o f f s e ts m o o t ho p e r a t o r , p d e ，h e a t t r a n s f e r , t e x t u r es y n t h e s i s v i i 上海大学博士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。除了文中 特别加以标注和致谢的地方外，论文中不包含其他人已发表或撰写过的研 究成果。参与同一工作的其他同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 签名：日期：2 翌z 二竖仝 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有 权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论 文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名：逝日期： i i z 旷口7 fi ；9 上海大学博：l 学位论文 c h a p t e rip r e f a c e i m a g ei n p a i n t i n g , h i s t o r ya n dt o d a y m a i n t o p i c so f t h ep r e s e n tr e s e a r c h o u t l i n eo f t h ec o n t r i b u t i o n s 1 1i n t r o d u c t i o n i nt h ee r ao fm o d e r nc o m m u n i c a t i o n , t r a n s m i t t i n ga n dr e c e i v i n go fg o o di m a g ei sa n i m p o r t a n ti s s u e i nt h ep r e s e n td a y sr e c o n s t r u c t i o no fd a m a g e o rm i s s i n gp o r t i o no fi m a g ei s e x t e n s i v e l yu s e di nd i 舀t a li m a g ep r o c e s s i n g ( d i p ) s i n c ei m a g es i g n a l sc o n s i s to fh u g e a m o u n to fd a t a , t h i sm a k e sc o m p u t a t i o n a lc o m p l e x i t y , a n dt h eb e s tw a yt oa p p r o a c hi s a u t o m a t i cp r o c e s s i n g d i g i t a li m a g ep r o c e s s i n gd e a l sw i t hp r o b l e m si nr e s o l v i n gt h ei m a g e i s s u e sa n dh a sm a n ya p p l i c a t i o n si nr e s e a r c ha n dd e v e l o p m e n t , e g i ns a t e l l i t ei m a g i n g , g e o s c i e n c e s ，m a t e r i a ls c i e n c e s ，m e d i c i n e ，a n d b i o m e d i c i n e t h i sc o v e r sf u n d a m e n t a l t e c h n i q u e sf r o mi m a g ea c q u i s i t i o nt oi m a g ee n h a n c e m e n t , e f f i c i e n tt r a n s m i s s i o n , a n ds t o r a g e t h i sw i d ea r e aa l s oc o v e r s p i x e l - l e v e ld i g i t a li m a g er e p r e s e n t a t i o n a n de l e m e n t a r y o p e r a t i o n s ；e n h a n c e m e n t ，f i l t e r i n g , a n dr e s t o r a t i o n ；f o u r i e ra n d o t h e ru n i t a r yt r a n s f o r m s ；a n d w a v e l e tc o m p r e s s i o n i ti sa l s oi m p o r t a n tt ol e a r nh o wt h eh u m a nv i s u a ls y s t e m ( e y e b r a i n ) p r o c e s s e sa n di n t e r p r e t si m a g ei n f o r m a t i o n , a n dh o w w ec a nm o d e ls o m ea s p e c t so fh u m a n v i s i o nt oi m p r o v eo u ri m a g ep r o c e s s i n gm e t h o d s i ng e n e r a li m a g ep r o c e s s i n go p e r a t i o n sc a nb er o u g h l yd i v i d e di n t ot h r e em a j o r c a t e g o r i e s ，w h i c hs o l v ed i f f e r e n ti s s u e si nt h ef i l e do fi m a g ep r o g r e s s i n g i m a g ee n h a n c e m e n ta n dr e s t o r a t i o n ： f i r s t l y , e n h a n c e m e n ti st h em o d i f i c a t i o no fa ni m a g et o a l t e ri t si m p a c to nt h ev i e w e r g e n e r a l l ye n h a n c e m e n td i s t o r t st h eo r i g i n a ld i g i t a lv a l u e s ；t h e r e f o r ee n h a n c e m e n ti sn o t d o n eu n t i lt h er e s t o r a t i o np r o c e s s e sa r ec o m p l e t e di nt h ee a d y1 9 5 0 sa n d1 9 6 0 st h eu n i t e d s t a t ea n dt h ef o r m e rs o v i e tu n i o nb e i n gi n v o l v e di ns p a c ep r o g r a m st r a n s m i t t e dl o t sp h o t o s a b o u to u ru n i v e r s eh o w e v e rm o s to f t h eo b t a i n e dp h o t o sw e r ed e g r a d e ds i n c et h e ni m a g e e n h a n c e m e n ta n dr e s t o r a t i o nh a v eb e e nd e v e l o p e d i m a g er e s t o r a t i o ni sa l s oi m p o r t a n ti n s c i e n c ew h e nt h eh u b b l es p a c et e l e s c o p ew a sf i r s tl a u n c h e di n1 9 9 0 ，a n du n t i li tw a s r e p a i r e di n1 9 9 3 t h ei m a g e si tr e t u r n e dw e f ea nb l u n t e dd u et oas p h e r i c a la b e r r a t i o ni nt h e l e s c o p e sp r i m a r ym m 。o le l a b o r a t ea n dc o s t l ya l g o r i t h m sw 6 t cd e v e l o p e dt or e s t o r et h e s e p o o ri m a g e s ，a n di e d e e du s e f u li m a g e sw e r eo b t a i n e dd u r i n gt h i sp e r i o dr e s t o r i n gd i g i t a l i m a g e si sm u c hl i k er e s t o r i n gd i r t yo rd a m a g e dp a i n t i n g so ro h o t o g r a p h sb e g i n n i n gw i t ha d i s t a li m a g et h a tc o n t a i n sb l u r so ro t h e rp e r t u r b a t i o n s ( c o n s i s to f c o n t a m i n a t i o nn o i s e ) ，o n e w i s h e st op r o d u c eab e t t e rv e r s i o no f t h ei m a g eb ye n h a n c i n gs o m ea s p e n so f t h ei m a g et h a t h a v eb e e na t t e n u a t e do rd e g r a d e d i m a g er e s t o r a t i o na l s op l a y sa i li m p o r t a n tr o l ei nl a w e n f o r c e m e n ta n dl e g a lp r o c e e d i n g s d i 自m l i m a g er e s t o r a t i o n i s t h ep r o c e s so fr e m o v i n go rr e d u c i n gd e g r a d a t i o n s t h a t w e r e i n c u r r e dw h i l et h ed i g i t a li m a g ew a sb e i n go b t a i n e dt h i sd e g r a d a t i o ni n c l u d e sb l u r t i n gt h a t e a r lb ei n t r o d u c e db yo p t i c a li n s t r u m e n t so ri m a g em o t i o n ，a n dn o i s ef r o mt h ee l e c t r o n i ca n d p h o t o m e t r i cs o u r c e st h er e s t o r a t i o no ft h e s ei m a g e si sg e n e r a l l ys o l v e db ys o m eo ft h e m e t h o d su s i n gc l a s s i cf i l t e r s i n c l u d i n gd e c o n v o l a t i o n ，w i e n e rf i l t e r i n g , p o w e rs p o c t l u m e q u a l i z a t i o na n dg e o m e t r i cm e a nf i l t e r i n g i nf i g u r e11w ec a ns e ean o i s yi m a g ei s s m o o t h e du s i n ga d e n o i s i n gf i l t e r a ) n o i s yi n p u ti m a g e ( b ) r e s t o r e di m a g e ( a ) 噪声图像( b ) 恢复后图像 f i g u r e1 1 i m a g er e s t o r a t i o nu s i n gas m o o t h i n gf i l t e r 图ll 含噪声例像和、p 滑结果 i ：晦大学博i 学位沧文 i m a g ec o m p r e s s i o n ： s e c o n d l y ，t h et e r mi m a g ec o m p r e s s i o ni sf a m i l i a rt om o s tp e o p l ei tr e d u c e st h ea m o t i n t o f m e m o r y n e e d e d t os t o r ead i g i t a l i m a g e c o m p r e s s i o n i s m o t i v a t e db ye c o n o m i cn e c e s s i t y e a c hf o r mo fs t o r a g ea n dt r a n s m i s s i o nh o sa l la s s o c i a t e dc o s t a n dh e n c eo n ew i s h e st o r e p r e s e n ta l l i m a g e w i t h t h e l e a s tn u m b e ro f b i t s t h a t i sc o m p a t i b l e w i t he n du s a g eo n t h e o t h e rh a n d , c o m p r e s s i o ni sb a s e do nt h ef a c tt h a td i g i t a li m a g e sc o n t a i nr e d u n d a n c yt h a tc a n b er e m o v e dw i t h o u ts e r i o u s l ya f f e c t i n gt h ev i s u a lq u a l i t y t h em a i ng o a lo f c o m p r e s s i o ni n d i g i t a li m a g ep r o c e s s i n gi s t o d e v e l o pa l g o r i t h m st h a tp r o v i d eh i 曲c o m p r e s s i o nf a c t o r s w i t h o u to b j e c t i o n a b l ev i s i b l ea l t e r a t i o n s n a m r a n y , w h a ti sv i s u a l l yo b j e c t i o n a b l ed e p e n d s o nh o w t h e d e c o m p r e s s e d i m a g e i su s e df i g u r e ( 12 ) i l l u s t r a t e s & i t i m a g eo f ac h i l d w h i c h i s c o m p r e s s e du pt oac o m p r e s s i o nf a c t o ro f1 0 ；b e y o n dt h i st h ei m a g ei ss e r i o u s l yd e g r a d e d a n dc a n n o tb eu s e d f o f i m p o r t a m p u r p o s e f i g u r e l 2 i m a g ec o m p r e s s i o n ：f i - o m l e f t t o n g l l ta t e t h eo r i g i n a l i m a g ea n d i t s c o m p r e s s e dv e r s i o n sw i t hi n c r e a s i n gc o m p r e s s i o nf a c t o r s7 ，1 0 ，a n d2 5 图12 图像压缩：从左到右为原始图像、压缩率为7 、1 0 、2 5 的情况 i m a g e a n a l y s i s ： at h i r da r e ao fi m a g ep r o c e s s i n gi si m a g ea n a l y s i sh ig e n e r a l ，a ni m a g ea n a l y z e r p r o d u c e sd a t af o rv a r i o u sp u r p o s e sg i v e n i n p u ti m a g et h eo u t p u td a t am a y , f o re x a m p l e b e t h en u m b e ro f c e r t a i n o b j e c t s ，t h es i z eo f ap a r t i c u l a r t h i n g ，o ro t h e ra t t r i b u t e st h e g o a lo f m a n yi m a g ea n a l y s i sj o b si st oc r e a t en e wm e t h o d sa n dt e d i m q u e st h a tc a l lb ep e r f o r m e d a u t o m a t i c a l l y i m a g ea n a l y s i sr e q u i r e sk n o w l e d g eo fh u m a nv i s i o nm a dd i f f e r e n ti n e a n st o e x t r a c tr e l i a b l ei n f o r m a t i o nf r o mi m a g e sa tt h es a m et i m e ，o i l ew o u l dl i k et h ei n f o r m a t i o n 上海人学博士学位论文 t ob em i n i m a lb u tr i c he n o u g ht oc h a r a c t e r i z et h ei m a g ef e a t u r e s i nt h ep r e s e n tw o r k h o w e v e r , w ed o i m a g ea n a l y s i s t od e c o m p o s ea ni m a g ei n t oi t sc o n s t i t u e n tp a r t ss u c ha s e d g e sa n ds h a p e s t h eg o a lh e r ei st oa i dt h ei m a g ei n p a i n t i n gt h a ti so u r c e n t r a lt a s k w i n lt h eg e n e r a ld e s c r i p t i o no f i m a g ep r o c e s s i n gt a s k sl i s t e di nt h ea b o v e ，o u rg o a li st o 。 r e p a i ro r , t oi i s et h es t a n d a r dt e r m , 岫a i n t , d a m a g e di m a g e sc a u s e di nd i f f e r e n te n v i r o n m e n t h e r e , w ei n t e n dt oo b t a i ng o o dl o o k i n go u t p u ti m a g e sb yu s i n gt h em e t h o d sp r o p o s e di nt h i s t h e s i s t oa c h i e v et h i sg o a l ，w em u s ta n a l y z ea l lt h ec i r c u m s t a n c e sf o rt h eo p t i m u mr e s u l t s w ew i l lc o n c e n t r a t eo u rd i s c u s s i o no ns o m es p e c i f i cp r o b l e m so fi m a g em p a i n t i n g d i s c u s s o nd i f f e r e n ta p p l i c a t i o n s ，s h o wh o wt h ep r o p o s e dm e t h o d sw o r ka n dc o m p a r et h e mw i t h p r e v i o u s l yu s e dm e t h o d sp u b l i s h e di nt h el i t e r a t u r e 1 2g e n e r a lc o n c e p t so fi m a g ei n p a i n t i n g h i s t o r y ： t h et e r m i n p a i n t i n g i sa na r t i s t i cs y n o n y mf o r i m a g ei n t e r p o l a t i o n , a n df r o mt h e a n c i e n tt i m ei ti sf r e q u e n t l yu s e da m o n gm u s e u mr e s t o r a t i o na r t i s t s ，w h om a n u a l l yr e m o v e c r a c k sf r o md e g r a d e da n c i e n tp a i n t i n g sb yf o l l o w i n ga sf a i t h f u l l ya sp o s s i b l et h eo r i 辱n a l i n t e n t i o no f 也e i rc r e a t o r s i nt h ep r e s e n td a y s ，f i n ea r tm u s e u m sg od i g i t a l ，a n da l lr e a l p a i n t i n g sa r ed i g i t i z e da n ds t o r e di nc o m p u t e r s n od o u b t , d i g i t a li n p a i n t i n gp r o v i d e st h e s a f e s tw a yt or e s t o r et h o s ed e g r a d e da n c i e n tp a i n t i n g s ，s i m p l yb ye x e c u t i n gc o m p m e r s o f t w a r eo nt h ed i g i t a lc o p i e s a sd a m a g e so c c u r r e dn a t u r a l l y , u n l i k et h em a n u a li n p a i n t i n g p r o c e s sw h i c ha p p l i e sd i r e c t l yt o t h eo r i g i n a lp a i n t i n ga n dt h ep a i n t e rr e s t o r e s 丽mi t s i m a g i n a t i o n , d i g i t a li n p a i n t i n ga l l o w st r e r n e u d o u sf r e e d o mi nm a k i n ge r r o r so ri m p r o v i n g r e s u l t sp r o g r e s s i v e l y , w i t h o u td e s t r o y i n gt h eo r i g i n a lp r e c i o u sp a i n t i n go nt h ec a l l v a s ，w h i c h i so f t e nu n i q u ei nt h ee n t i r ew o r l d 1 n p a i n t i n gi sat e c h n i q u ef o ru s i n gi n f o r m a t i o n ( p i x e lo r b l o c k ) f r o mt h es u r r o u n d i n gr e g i o nt of i l li nm i s s i n gr e g i o n so fap a i n t i n g , i ns o m ew a y , t o t r a n s f e r p r o p a g a t e d i f f u s e i n f o r m a t i o n i n t ot h ec o r r u p t e d ( d a m a g e d ) r e g i o n t h i sa c t i v i t y c o n s i s t so ff i l l i n gi nt h em i s s i n ga r e a so rm o d i f y i n gt h ed a m a g e do n e si nan o n d e t e c t a b l e w a yb ya no b s e r v e rn o tf a m i l i a rw i t ht h eo r i g i n a li m a g e s 4 上海大学博士学位论文 y e s t e r d a y ： f o r mt h eb e g i n n i n go f19 8 0 s ，af e wg e n e r a lm e t h o d sf o ri n p a i n t i n gc a m ei n t ow i d eu s e m a i n l ya ss t o c h a s t i ci l l p a i l l t i i 培u s e ds t a t i s t i c sg e n e r a t e db yp o r t i o n so ft h ee x i s t i n gi m a g et o f i n dt h ep r o b a b i l i t i e so f w h a ts h o u l db ee x i s t i n gi nt h em i s s i n go rd a m a g e d & le a s o t h e r m o h o d sf o c u s e do n 酣g ed