（计算机软件与理论专业论文）基于神经网络的双目视差估计.pdf

? f c l a s s i f i e di n d e x ： u d c ： i i i iiii i 1 11 1 1lllli i i y 18 0 8 3 2 5 ad i s s e r t a t i o nf o r t h ed e g r e eo f m e n g e s t i m a t i n gb i n o c u l a rd i s p a r i t yb a s e d o nn e u r a ln e t w o r k c a n d i d a t e ：r o j a n a k a tp a y o m r a t s u p e r v i s o r ：a s s o c i a t ep r o f w a n gy a n a c a d e m i cd e g r e ea p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l i t y ：c o m p u t e rs o f t w a r ea n dt h e o r y d a t eo fs u b m i s s i o n ：m a r c h ，2 0 1 0 d a t eo fo r a le x a m i n a t i o n ：j u n e ，2 0 1 0 u n i v e r s i t y ：h a r b i ne n g i n e e r i n gu n i v e r s i t y ， 一 - 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中己注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：讼y 叭耐r o j 烈似k 汁 日期： 2o i o 年月，j 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。，涉密学位论文待解密后适用本声明。 本论文( 豳在授予学位后即可口在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：队f o m 丫d i 蛳讨导师( 签字) ：互观 日期：，o l o 年易月1 3 日。二口加年占月1 3 日 ， j 哈尔滨t 程大学硕士学位论文 a b s t r a c t i nr e c e n ty e a r s ，v i s i o ns y s t e m sh a v ef o u n dt h e i rw a y si n t om a n y a p p l i c a t i o n s t h i si n c l u d e sf i e l d ss u c ha sc o m p u t e rg r a p h i c s ，m e d i c a l ，i n d u s t r i e ss u c ha s a s s e m b l yl i n ei n s p e c t i o na n do b j e c tm a n i p u l a t i o n t h ea p p l i c a t i o no fc o m p u t e r v i s i o nt e c h n o l o g yt of a c t o r ya u t o m a t i o n ，m a c h i n ev i s i o n ，i sg r o w i n ga tr a p i dr a t e h o w e v e ri nm o s tm a c h i n ev i s i o ns y s t e m sa l la l g o r i t h mi sn e e d e dt oi n f e r3 d i n f o r m a t i o nr e g a r d i n gt h eo b j e c t si nt h ef i e l do fv i e w i nt h i st h e s i sp r e s e n t sa nu p d a t e ds t e r e om a t c h i n ga l g o r i t h mo fm s o m ( m o d i f ys e l fo r g a n i z e dm a p s ) t h i st e c h n i q u eb a s e do na r t i f i c i a ln e u r a ln e t w o r k u s i n gt h el e a r n i n g r u l et os i m i l a r i t ya n dd i f f e r e n t i a t i o no f b o t hs i d e so ft h ee y e st o f i n dt h em o s to v e r l a p p i n gp o s i t i o no ft h ei m a g e s ，g i v et h eb e s tc l a r i t yf o rh u m a n v i s u a l i z a t i o no f3 di m a g e s ，i nt h em a c h i n ep r o c e d u r eo ns t e r e ov i s i o np r o b l e m s f e a t u r es e l e c t i o na n de x t r a c t i o ni sa l li m p o r t a n ts t e pf o rd i s p a r i t yp l a n t h r o u g h s t u d y i n go fs e v e r a lf e a t u r ed e t e c t o rm e t h o df o u n dt h a ti m a g eg r a d i e n tf i l t e rh a s d i r e c t i o na n dc a l lc a l c u l a t et h eh o r i z o n t a l ，v e r t i c a la n dd i a g o n a ld i r e c t i o no ft h e i m a g ea n dp r o v i d e se n o u g hi n f o r m a t i o nr e g a r d i n gt h ec r i t i c a lp o i n t st h a ta no b j e c t c a nb ec h a r a c t e r i z e d i no r i g i n a lm s o ma l g o r i t h me s t i m a t i n gt h ed i s p a r i t ya n ds h o w nt h er e s u l ti n g r a ys c a l ec a n n o ts e et h ed i s t a n c eo ft h eo b j e c t s i nt h i s m e t h o dw eu s e da s e l f - a d a p t i n gd i s s i m i l a r i t ym e a s u r ef o re x t r a c tad i s p a r i t yp l a n e t h e ne s t i m a t i n g d i s p a r i t yb yu p d a t et h eo r i g i n a lm s o m t oc a l c u l a t et h ed i s p a r i t ya n da l s oi n d i c a t e t h ed e p t ho ft h eo b j e c t si nt h ei m a g e r e dc o l o rr e p r e s e n t sn e a r e s to b j e c tt h e n g r e e na n db l u er e p r e s e n tt of u r t h e s to b j e c t k e y w o r d ：b i n o c u l a rd i s p a r i t y , s t e r e o - p a i r , m o d i f ys e l f - o r g a n i z i n gm a p ( m s o m ) ， s t e r e om a t c h i n g ，s e l f - a d a p t i n gd i s s i m i l a r i t ym e a s u r e k 哈尔滨= r 程大学硕士学位论文 c o n t e n t s c h a m r1i n t r o d u c t i o n 1 1 1r e s e a r c hp r o b l e m s 。3 1 2b a c k g r o u n da n dl i t e r a t u r er e v i e w 3 1 2 1a r t i f i c i a ln e u r a ln e t w o r k 3 1 2 2r e s e a r c ho ne s t i m a t es t e r e od i s p a r i t y 。4 】【3s y s t e mf l o wc h a r to v e r v i e w 9 1 3 1i n i t i a l i z a t i o n 9 1 3 2w i n n e rn e u r o ns e l e c t i o n 9 1 3 3w d g h tu p d a t e 9 1 3 4c o m p u t et h ed i s p a r i t ym a p 1 0 1 4t h eo b j e c t i v e 1 0 1 5s c o p eo fs t u d y 1 0 1 6t h e s i so r g a n i z a l l o n 1 l c h a m r2s t e r e oc o r r e s p o n d e n c e 。1 2 2 1 m t o d u c t i o no fs t e r e oc o r r e s p o n d e n c e 。1 2 2 2d i s p a r i t ya n dd i s p a r i t ym a p 1 3 2 2 1t h ep a r a l l e lc a m e r ac a s e 。1 5 2 2 2t h eg e n e r a lc a s e 1 6 2 3s t e r e om a t c h i n g 。1 7 2 4m e t h o d sf o rd i s p a r i t ye s t r m a t i o n 1 8 2 4 1c o r r e l a t i o n b a s e dt e c h n i q u e s 1 9 2 4 2f e a t u r e b a s e dt e c h n i q u e s 2 3 2 4 3i n t e n s i t y - b a s e dt e c h n i q u e s 2 3 2 4 4a r e a b a s e dm e t h o d s 2 6 2 5s t e r e om a t c h i n gc o n s t r a i n s 2 6 2 5 1s i m i l a r i t yc o n s t r a i n t 2 7 、 哈尔滨- t 稗大学硕士学位论文 2 5 2u n i q u e n e s sc o n s t r a i n t 2 7 2 5 3c o n t i n u i t yc o n s l | 1 。a i n t 2 7 2 5 4o r d e r i n gc o n s t r a i n t 2 8 2 6s u m m e r y 2 9 c h a p t e r3s e l fo r g a n i z i n gm 渔p s 3 0 3 1i n t r o d u c t i o n 3 0 3 1 1n e u r a ln e t w o r kt r a i n i n g 3 1 3 】【2u n s u p e r v i s e dt r a i n i n g 3 1 3 】【3a d v a n t a g e so fn e u r a ln e t w o r k s 3 2 3 3a r t i f i c i a ln e u r o nm o d e l 3 3 3 2 1a c t i v a t i o nf u n c t i o n 3 4 3 3t y p eo fn e u r a ln e t w o r k s 3 5 3 3 1m u l t i l a y e rp e r c e p t r o n 3 5 3 3 2h o p f i e l dn e t w o r km o d e l 3 7 3 3 3s e l f - o r g a n i z i n gm a p s 3 7 3 4s e l f - o r g a n i z i n gm a p s 3 9 3 4 1m o d i f i e ds e l f - o r g a n i z i n gm a p s ( m s o m ) 一4 6 3 5s u m m e r y 4 7 c h a p t e r4m e t h o d o l o g y i m p r e m e n t a o n 。4 9 4 1k o h o n e nn e t w o r km o d e ld e v e l o p m e n t 4 9 4 2d e t e r m i n es e v e r a ln e t w o r kp a r a m e t e r s 5 0 4 3t r a i nt h en e t w o r k 5 0 4 4t h em s o mm o d e l 5 2 4 5d a t ac o l l e c t i o n 5 2 4 6t h ef l o w c h a r to fs y s t e ma r c h i t e c t u r e 5 4 4 6 1i n i t i a l i z a t i o n 5 4 4 6 2f e a t u r ee x t r a c t i o n ( c o m p u t e rv i s i o n ) 5 6 4 6 3e x t r a c th o m o g e n o u sr e g i o n si nr e f e r e n c ei m a g e 6 1 1皇_薯。皇。；岛葺雹兰童鎏圣些i硕士学何论交一-i _ _ l l i 宣置蕾皇l l _ | 皇- i i 薯鼍宣薯墨目_ _ _ - i 目i i ；| 一l _ l _ _ i o - o 。一 4 6 4l o c a lm a t c h i n g 6 l 4 6 5w i n n e rn e u r o ns e l e c t i o n ”6 2 4 6 6d e t e r m i n i n gw i n n i n gn o d e 6 2 4 6 7u p d a t i n gt h ew e i g h t s 一“ 4 6 8u p d a t i n gn e i g h b o r i n gn o d e s “6 4 4 6 9d e t e r m i n i n gt h el e a r n i n gr a t e 一6 6 4 6 1 0d e t e r m i n i n gc o n v e r g e n c e 6 6 4 6 1 1c o m p u t et h ed i s p a r i t ym a p 6 7 4 6 1 2i n d i c a t et h eo b j e c t 6 7 4 7s y s t e ma n a l y s i s 6 8 4 7 1h a r d w a r es p e c i f i c a t i o n s 。6 8 4 7 2s o f t w a r es p e c i f i c a t i o n s 6 8 4 8s u m m a r y 6 9 c h a p t e r5i m p r e m e n t a t i o nr e s u l t 。7 0 5 1r e s u l t so nt s u k l r a a 一7 0 5 5 1 r e s u l to f l o c a lm a t c h i n gi np i x e ld o m a i n 7 0 5 5 2r e s u l to fe s t i m a t i n gd i s p a r i t yu s i n gm s o m ”7 3 5 2s u m m a r y 7 4 c o n c l u s i o n 7 5 r e f r e n c e s 7 7 a c k n o w l e d g m e n t s 。8 2 c u r r i c u l u mv i t a e 8 3 哈尔滨t 程大学硕士学位论文 l i s to ff i g u r e s f i g u r e1 1 ：c o r r e s p o n d e n c ep r o b l e m 2 f i g u r e1 2 ：s y s t e mf l o wc h a r to fe s t i m a t es t e r e od i s p a r i t y 1 0 f i g u r e2 1 ：t y p i c a lg e o m e t r yt r a n s f o r m a t i o n 1 2 f i g u r e2 2 ：g e o m e t r i cd e p i c t i o no f d i s p a r i t y 1 4 f i g u r e2 3 ：e x a m p l eo f ad i s p a r i t ym a p 1 4 f i g u r e2 4 ：r e l a t i o n s h i pb e t w e e nd e p t ha n dd i s p a r i t y 1 5 f i g u r e2 5 ：d i s p a r i t ya n dd e p t hm e a s u r e sf o rp a r a l l e lc a m e r a s 。1 5 f i g u r e2 6 ：i np a r a l l e lc a m e r ac o n f i g u r a t i o n s ，t h ee p i p o l a rl i n e sa r ep a r a l l e l 1 6 f i g u r e2 7 ：a d e f i n i t i o no f d e p t hm e a s u r eo f as c e n ep o i n t 1 7 f i g u r e2 8 ：i ng e n e r a ls t e r e oc o n f i g u r a t i o n s 1 7 f i g u r e2 9 ：m a t c hi m a g e sb ys u bw i n d o wb e t w e e nt h et w oi m a g e s 1 9 f i g u r e2 1 0 ：m a t c hi m a g e sb yl o o k i n gf o rf e a t u r e si na ni m a g e 1 9 f i g u r e2 1 1 ：o r i g i n a ls t e r e op a i r 2 1 f i g u r e2 1 2 ：c o r r e l a t i o ns e a r c h i n g 2 1 f i g u r e2 1 3 ：c o r r e l a t i o ns e a r c h i n g ，h o r i z o n t a l 2 2 f i g u r e2 1 4 ：s t e pu pa n dd o w n 2 2 f i g u r e2 1 5 ：ac o m p a r i s o no f t h ei n t e n s i t yp r o f i l e so ft w oi m a g e s 2 5 f i g u r e2 1 6 ：b l o c km a t c h i n gs e a r c h e so n ei m a g e 2 6 f i g u r e2 1 7 ：o r d e r i n gc o n s t r a i n t ：1 8 f i g u r e3 1 ：s t r u c t u r eo fat y p i c a ln e u r a ln e t w o r k 3 1 f i g u r e3 2 ：l e a r n i n g a b i l i t yo f a n n s 3 2 f i g u r e3 3 ：u n s u p e r v i s e dt r a i n i n gm o d e l 。3 2 f i g u r e3 4 ：ag e n e r a la r t i f i c i a ln e u r o n 3 4 f i g u r e3 5 ：v a r i o u sm o d e l so fa c t i v a t i o nf u n c t i o n 3 5 f i g u r e3 6 ：m u l t i l a y e rp e r c e p t r o n ( m l p ) 。3 6 f i g u r e3 7 ：a r c h i t e c t u r eo f t h eh o p f i e l dn e t 。3 8 f i g u r e3 8 ：s e l f o r g a n i z i n gm a p s 3 9 f i g u r e3 9 ：t h eb a s i ca r c h i t e c t u r eo ft h es e l f - o r g a n i z i n gm a p ( s o m ) 4 1 哈尔滨t 程大学硕七学位论文 i 一 一iiii一 f i g u r e3 1 0 ：a ne x a m p l eo ft h ef i r s ts t e p so f t h eo r d e r i n gp r o c e s s 4 3 f i g u r e3 1 1 ：a m a po f c o l o r sb a s e do nt h e i rr g b v a l u e s 4 4 f i g u r e3 1 2 ：s o mw i t hw i n n i n gn e u r o na n dc o r r e s p o n d i n gn e i g h b o r h o o d 4 5 f i g u r e4 】l ：s e l f - o r g a n i z i n gm a p st r a i n i n g 5 1 f i g u r e4 2 ：as e l f - o r g a n i z i n gn e t w o r ka r r a n g e di nar e c t a n g u l a rt o p o l o g y 5 0 f i g u r e4 3 ：t o p o l o g i c a ln e i g h b o r h o o d 5 2 f i g u r e4 4 ：s y s t e mf l o w a r c h i t e c t u r e 5 5 f i g u r e4 5 ：s o b e le d g ed e t e c t o r 5 7 f i g u r e4 6 ：c a n n ye d g ed e t e c t o r 5 8 f i g u r e4 7 ：t h es e g m e n t a t i o nb yo n eo f t h r e s h o l d s 5 9 f i g u r e4 8 ：g r a yl e v e li m a g e 5 9 f i g u r e4 9 ：g r a d i e n tf i l t e r s 6 0 f i g u r e4 1 0 ：u p d a t i n gn e i g h b o r h o o dn o d e s 6 5 f i g u r e4 i i ：r g bc o l o rs p a c e 6 7 f i g u r e5 1 ：r e s u l t so nt s u k u b a4 0 0e p o c h 7 3 f i g u r e5 2 ：r e s u l t so n t s u k u b a5 0 0e p o c h 7 3 f i g u r e5 3 ：r e s u l t so nt s u k u b a6 0 0e p o c h 7 4 t a b l e5 1 ：r e s u l to fl o c a lm a t c h i n gi np i x e ld o m a i n 7 0 o fw o r kf o re x a m p l ef o rp i c k i n gu pt h eo b j e c t s ，f o rv i s u a l i z i n gt h ei m a g e s t h i s r e s e a r c ha i m st op e r f o r m3 di m a g ep r o c e s s i n gf r o m2i m a g e st os i m u l a t el e f te y e a n dr i g h te y e t h eo b j e c t i v eo ft h i sr e s e a r c hi st oe s t i m a t ed i s p a r i t yt h a tl e f te y e a n dr i g h te y ea r ea b l et ov i s u a l i z ef r o m2i m a g e st oo n ec l e a r e s ts i n g l ep o i n t w h e n2i m a g e si np a r a l l e lo p t i ca x e sa n dd i s p l a c e dp e r p e n d i c u l a rt ot h ea x e s ，t h e d e p t ho ft h eo b j e c ti sc a l c u l a t e db yf i n d i n gt h ed i f f e r e n c eo fp o s i t i o nb e t w e e nt w o p i x e l si nd i f f e r e n ti m a g ew h i c hc o r r e s p o n dt oas i n g l ep o i n to fp h y s i c a lo b j e c t h u m a ne y e sa r eh o r i z o n t a ls e p a r a t e l yt h e r e b yi m a g ec a p t u r e db ye a c he y ei s s l i 曲t l yd i f f e r e n t w h e nt w oi m a g e so ft h eo b j e c ta td i f f e r e n td e p t h sa r ec a p t u r e d b yas t e r e o p s i s ，e a c hp o i n to na no b j e c ti su n i q u e l yr e p r e s e n t e db ys p e c i f i cp i x e l o ne a c hi m a g e sa n dt h ep o s i t i o no fp i x e ld e p e n d so nt h ed e p t ho ft h ep h y s i c a l s c e n e t h ep o s i t i o no ft h e s ep i x e l sc o r r e s p o n d i n gt ot h es a m ep h y s i c a lp o i n tc a l l e d d i s p a r i t ya n dt h ep h y s i c a ld e p t ho ft h ep o i n to nt h eo b j e c tc a nb ee x t r a c t e df r o m d i s p a r i t y t h ep r o b l e mo fs t e r e o p s i st h a ts e a r c hc o r r e s p o n d i n gp i x e l si nl e f ta n d r i g h ti m a g e sc a l l e da sc o r r e s p o n d e n c ep r o b l e m t h es t e r e o p s i s ( f r o ms t e r e om e a n i n g “s o l i d ”，a n do p s i sm e a n i n gv i e wo rs i g h o i st h ep r o c e s si nv i s u a lp e r c e p t i o nl e a d i n gt ot h es e n s a t i o no fd e p t hf r o mt h et w o s l i 曲t l yd i f f e r e n tp r o j e c t i o n so ft h ew o r l do n t ot h er e t i n a so ft h et w oe y e s t h e d i f f e r e n c e si nt h et w or e t i n a l i m a g e sa r ec a l l e dh o r i z o n t a ld i s p a r i t y , r e t i n a l d i s p a r i t yo rb i n o c u l a rd i s p a r i t y t h ed i f f e r e n c e sa r i s ef r o mt h ee y e s d i f f e r e n t p o s i t i o ni nt h eh e a d s t e r e o p s i si sc o m m o n l yr e f e r r e dt oa sd e p t hp e r c e p t i o n t h i s i si n a c c u r a t ea sd e p t hp e r c e p t i o nr e l i e so nm a n ym o r em o n o c u l a rc u e st h e n s t e r e o p t i c a lo n e s ，a n di n d i v i d u a l sw i t ho n l yo n ef u n c t i o n a le y es t i l lh a v ef u l ld e p t h 】 哈尔滨t 程大学硕士学位论文 p e r c e p t i o ne x c e p ti na r t i f i c i a lc a s e ss u c ha ss t e r e o s c o p i ci m a g e sw h e r eo n l y b i n o c u l a rc u e sa r ep r e s e n t b i n o c u l a rd i s p a r i t yr e f e r st ot h ed i f f e r e n c ei ni m a g el o c a t i o no fa no b j e c ts e e n b yt h el e f ta n dr i g h te y e s ，r e s u l t i n gf r o mt h ee y e sh o r i z o n t a ls e p a r a t i o n n eb r a i n u s e sb i n o c u l a rd i s p a r i t yt oe x t r a c td e p t hi n f o r m a t i o nf r o mt h et w o d i m e n s i o n a l r