（通信与信息系统专业论文）对等网服务中网络利用率的研究.pdf

武汉理工人学硕十学位论文 摘要 对等网络并不是一个新的概念，它的应用非常广泛，已有许多用来提供文件 和其它内容共享的对等网，例如n a p s t e r 、e d o n k e y 、e m u l e 、k a z a a 、c m u t e l l a 等。目盼的网络体系结构是假设用户是简单的客户端，发出简单的服务请求并 接收可能很大的回复。然而许多对等网服务并不支持这个假设，因此网络使用 的效率鞍低。 本文研究了网络资源浪费的原因以及如何处理这些问题。研究重点是文件共 享系统，描述了许多尝试，提出了有关改善的关键技术和建议。 本文还研究了对等网络服务的实现以及构建对等网络服务的关键技术。本文 的主要工作是设计并实现了解决普遍问题的对等网络框架。 本文通过广泛研究各种对等网络服务，得到关于对等网络的一些通用的结论。 最后，本文总结了对对等网络服务中仍然存在的一些不足的解决方案，提出了 改进方案，使得对等网络的工作效率比较高。 关键词：对等网协议；对等网框架；元数据；镜像；缓冲 箜坚望王奎堂堡兰堡堡塞 a b s t r a c t p e e r - t o - p e e rn e t w o r k i n gi sn o tan e wc o n c e p t ；i th a sb e e nm a d ep o p u l a rb ys e r v i c e ss u c ha s n a p s t e ra n df i l es h a r i n ga p p l i c a t i o n ss u c ha se d o n k e y , e m u l e ，k a z a aa n dm a n yo t h e r st h a tu s e g n u t e l l aa n do t h e rd i f f e r e n tp r o t o c o l s t h en e t w o r ki n f r a s t r u c t u r eo f t o d a y sn e t w o r k sa l eb a s e d o nt h ea s s u m p t i o nt h a tu s e r sa r es i m p l ec l i e n t sm a k i n gs m a l lr e q u e s t sa n dr e c e i v i n g ，p o s s i b l y l a r g e ，r e p l i e s t h i sa s s u m p t i o nd o e sn o th o l df o rm a n yp e e r - t o p e e rs e r v i c e sa n dh e n c et h e n e t w o r ki so f r e nu s e di n e f f i c i e n t l y t h i sr e p o r ti n v e s t i g a t e st h er e a s o n sb e h i n dt h i sw a s t eo fr e s o u r c e sa n dl o o k sa tv a r i o u sw a y st o d e a lw i t ht h e s ei s s u e s f o c u s i n gm a i n l yo nf i l e s h a r i n gv a r i o u sa t t e m p t si sp r e s e n t e da n d t e c h n i q u e sa n ds u g g e s t i o n so nh o wi m p r o v e m e n t sc a r tb em a d ea r ep r e s e n t e d t h er e p o r ta l s ol o o k sa tt h ei m p l e m e n t a t i o no fp e e r - t o - p e e rs e r v i c e sa n dw h a tk i n do fp r o b l e m s n e e dt ob es o l v e dw h e nd e v e l o p i n gap e e r - t o p e e ra p p l i c a t i o n t h ed e s i g na n di m p l e m e n t a t i o no f ap e e v t o p e e rf r a m e w o r kt h a ts o l v e sc o m m o np r o b l e m si st h em o s ti m p o r t a n tc o n t r i b u t i o ni nt h i s a r e a l o o k i n ga to t h e rp e e r - t o - p e e rs e r v i c e sc o n c l u s i o n sr e g a r d i n gp e e v t o - p e e ri ng e n e r mc a nb em a d e t h et h e s i se n d sb ys u m m a r i z i n gt h es o l u t i o n st os o m eo ft h ef l a w si np e e r - t o - p e e rs e r v i c e sa n d p r o v i d e sg u i d e l i n e so nh o wp e e r - t o - p e e rs e r v i c e sc a nb ec o n s t r u c t e dt ow o r k m o r ee f f i c i e n t l y 。 k e y w o r d s ：p e e r - t o - p e e rp r o t o c o l ，p e e v t o - p e e rf r a m e w o r k ，m e t a d a t a , m i r r o r i n g ，c a t c h i n g i i 独创性声明 y 8 6 0 3 3 5 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：b 蝼垴盘篮e l 期：逊：墨：皇壹 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签割世虹殛勒始邂日期：坦堕吖 ( 注：此页内容装订在论文扉页) 蓝婆堡! ：盔堂堡圭堂垡堡苎 c h a p t e r 1i n t r o d u c t i o n t h ed e t a i l sc o n c e r n i n gt h i st h e s i sa r es p e c i f i e di nt h i sc h a p t e r a l lr e q u i r e m e n t sa r es p e c i f i e di n s u f f i c i e n td e t a i l 1 1r e s e a r c hp u r p o s ea n d s i g n i f i c a n c e t h eg o a lo ft h i st h e s i si st op r e s e n tat h o r o u g hs t u d yo fp e e r - t o p e e rs e r v i c e s t h es t u d yp r e s e n t s t h ef l a w si nt o d a y ss e r v i c e sa n ds u g g e s t si m p r o v e m e n t s f i l es h a r i n g ，t h em o s tw e l lk n o w n s e r v i c e ，w i l lb et h es e r v i c er e c e i v i n gt h em o s ta t t e n t i o n t h er e q u i r e m e n t so ft h et h e s i sc a nb e s u m m a r i z e d i sf c l l l o w s ： i n v e s t i g a t ee x i s t i n gp e e r - t o p e e rs e r v i c e sa n da n a l y z et h e i rp e r f o r m a n c e f i l es h a r i n gs y s t e m s s h o u l de s p e c i a l l yb ec o n s i d e r e d i d e n t i f yt h ek e yc o m p o n e n t si nag e n e r i cp e e r - t o - p e e rs y s t e mt h e i rr e s p o n s i b i l i t i e sa n d j n t e r a c t i o n d e s i g n af r a m e w o r kf r o mw h i c he f f i c i e n tp e e r - t o - p e e rs y s t e m sc a nb eb u i l t i n v e s t i g a t ef i l es h a r i n ga n dd i s c u s se x i s t i n gp r o t o c o lp e r f o r m a n c e d e s i g n ap r o t o c o lb a s e do bt h ea n a l y s e sp e r f o r m e d 1 2r e s e a r c hs t a t e t ou n d e r s t a n dw h a tp e e r - t o - p e e ri sa l la b o u ti ti si m p o r t a n tt op r o v i d eas u r v e yo f e x i s t i n gs e r v i c e s f o u rp r o t o c o l sh a v eb e e nc h o s e na n dt h o r o u g h l ya n a l y z e dn a m e l y , g n n t e l l ap r o t o c o l ，p - g r i d p r o t o c o l ，f a s t t r a c kp r o t o c o la n do p e n f tp r o t o c 0 1 t h es t u d yo ft h e s ep r o t o c o l sw i l la l s or e s u l ti n a n u n d e r s t a n d i n go fw h a ti s n e e d e dt oc o n s t r u c taw o r k i n gf i l e s h a r i n gs y s t e mt h a t u s e s p e e r t o p e e rt e c h n o l o g y m o s tp e o p l ef e e lt h a tp e e r - t o p e e rn e t w o r k i n gi ss o m e t h i n gn e w , b u ti ti sn o t , t h ee a r l yi n t e r n e t w a sap e e r - t o - p e e rn e t w o r kw h e r ea l lh o s t sw e r ee q u a l t h e r eh a v ea l s ob e e ns e v e r a la p p l i c a t i o n s t h a th a v ew o r k e di nam a n n e rr e s e m b l i n gt o d a y sp e e r - t o p e e rs y s t e m s ，a l t h o u g ht h e yh a v en o t b e e nt r e a t e da ss u c hb ym o s tp e o p l e t h e s es e r v i c e sa l en o ta ss t r i c t l yd i s t r i b u t e dp e e r _ t o - p e e r s y s t e m sa sf o re x a m p l eg n u t e l l a , b u ti n s t e a dt h e yu s eah i e r a r c h i c a la r c h i t e c t u r el e a d i n gt ob e t t e r p e r f o l m a f l c e 垫坚堡盔堂堡主堂垡堡塞 1 3m a j o rr e s e a r c hc o n t e n t s t h et h e s i sp r e s e n t sat h o r o u g hs t u d yo fp e e r - t o - p e e rf i l e s h a r i n gs y s t e m s t h ep r o t o c o l sa r e p r e s e n t e da n dd i s c u s s e d t h ep r o t o c o l sa r et h e na n a l y z e da n dt h e i rp e r f o r m a n c ea n dn e t w o r k u t i l i z a t i o ni sm e a s u r e d ，o re s t i m a t e d u s i n gt h ek n o w l e d g eo b t a i n e dd u r i n gt h es t u d yo f p e e r - t o - p e e rs y s t e m sa n dp r o t o c o la n a l y s i st w o s e p a r a t ei s s u e sa r ec o v e r e d f i r s t af r a m e w o r kf o rb u i l d i n gp e e r - t o - p e e r a p p l i c a t i o n s i s d e s i g n e da n d i m p l e m e n t e di nj a v a t h ec h a p t e r sd e v o t e dt ot h i sf r a m e w o r kd e s c r i b et h e d e s i g na n di m p l e m e n t a t i o ni nh i g hd e t a i l ，a n da l s od e s c r i b e sh o wt h ef r a m e w o r k c a nb ee x t e n d e dt ob u i l da t ia p p l i c a t i o n s e c o n d ap e e v t o p e e rp r o t o c o lt h a tc o u l da c h i e v eh i g he f f i c i e n c y , c o m p a r e dt o s o m eo ft h ep r o t o c o l sa n a l y z e d ，i sd e s i g n e d ad e t a i l e dp r o p o s a li sp r e s e n t e d ， a l t h o u g har i g o r o u sa n a l y s i sa n di m p l e m e n t a t i o no ft h ep r o t o c o li sn o t p e r f o r m e d 2 武汉理上大学硕士学位论文 c h a p t e r2p r o t o c o la n a l y s i s t h i sc h a p t e ra n a l y z e st h ep r e v i o u s l yd i s c u s s e dp r o j e c t sa n de x a m i n e sl h en e t w o r ku s a g eo ft h e c o r r e s p o n d i n gp r o t o c o l s e x i s t i n gr e s e a r c ho np r o t o c o la n a l y s i si sa l s os u m m a r i z e d 2 1i n t r o d u c t i o n t od e t e r m i n ew h a tp a r t sa r en e e d e df o rf i ne f f i c i e n tp e e r - t o - p e e rs y s t e me x i s t i n ga p p r o a c h e sn e e d t 0b ea n a l y z e df r o ma ne f f i c i e n c yp e r s p e c t i v e ，al o to fw o r kh a sb e e np e r f o r m e do ng n u t e l l aa n d t h er e s u l t so b t a i n e da r ep r e s e n t e dh e r e as i m i l a r a n a l y s i s i s p e r f o r m e do i l p g r i da n d g i f t o p e n f tt os e ew h a tp a r t so ft h e s es y s t e m sn e e d st ob ec h a n g e do rd i s c a r d e di no r d e rt o a c h i e v eb e t t e ru t i l i z a t i o no f n e t w o r kr e s o u r c e s 2 2g n u t e l l an e t w o r ku s a g e a c c o r d i n gt o p 4 f 0 2 1e a r l i e rv e r s i o n s o fg n u t e l l au s e do n l y3 6 o ft h et o t a lb a n d w i d t h c o n s u m p t i o nf o rq u e r ym e s s a g e s t h er e m a i n i n gb a n d w i d t hw a sc o n s u m e db yp i n ga n dp o n g m e s s a g e s ( 5 5 ) ，p u s hm e s s a g e ( 8 ) a n da d d i t i o n a le r r o n e o u sm e s s a g e s ( 1 ) ab i gc o n c e r ni s t h ep o s s i b l yb i gd i f f e r e n c ew i t ht h es t r u c t u r eo ft h eg n u t e l l an e t w o r ka n dt h eu n d e r l y i n gn e t w o r k t o p o l o g y i ti sp o s s i b l et h a tas i n g l eg n u t e l l am e s s a g ep a s s e sas i n g l el i n ks e v e r a lt i m e s ，w h i c h s e e m sr n n e c e s s a r y n e w e rv e r s i o n so fg n u t e l l at h a tu s eu l t r a p e e r sa n db e t t e rc a c h i n gt e c h n i q u e sr e a c h9 1 q u e r y m e s s a g e sa c c o r d i n gt o r i f 0 2 ，w h i c hi sg o o d t h ep r o b l e mo fm e s s a g e sc r o s s i n gal i n ks e v e r a l t i m e ss t i l lr e m a i n st h o u g hs i n c et h ep r o t o c o ld o e sn o tc o n s i d e rg e o g r a p h i c a ll o c a t i o n so fi t sp e e r s 2 2 。1t e s tc o n f i g u r a t i o na n ds c e n a r i o t h eg n u t e n ac l i e n tl i m e w i r a ，v e r s i o n2 8 6 ，w a si n s t a l l e do nac o m p u t e rw i t ht h ec o n f i g u r a t i o n s h o w ni nt a b l e2 1o nt h ef o l l o w i n gp a g e 3 垫堡堡三叁堂堡兰堡笙茎 t a b l e2 1 ：c o n f i g u r a t i o no fg n u t e l l as i m u l a t i o ne n v i r o n m e n t c o m p o n e n t c o n f i g u r a t i o n c p u p e n t i u m 41 8 0 g h z m e m o r y 5 1 2 m b d d r n e t w o r kc a r dr e a l t e kr t l 8 1 3 9f a m i l yp c if a s te t h e r n e tn i c n e t w o r k10m b p s ，s h a r e db y3 0h o s t s o sw i n d o w sx pp r o f e s s i o n a l s h a r e df i l e s 5 6 2 m b ，5 9 f i l e s e a c ho f t h et e s ts e s s i o n sw a sp e r f o r m e di nt h em a n n e rd e s c r i b e db e l o w 1 ，s t a r tt h eg n u t e l l ac l i e n ta n dm a k es u r ej tg e t sc o n n e c t i o n st o8o t h e rh o s t so nt h en e t w o r k 2 e n a b l es t a t i s t i c a ll o g g i n gf o ri n c o m i n ga n do u t g o i n gm e s s a g e sa sw e l la sr o u t i n ge r r o r s 3 l e tt h ea p p l i c a t i o nw o r kf o rf i v em i n u t e st ob e c o m er e a s o n a b l yw e l lc o n n e c t e d 4 m a k eas e a r c hu s i n gt h ek e y w o r dd i v xa n dn o t et h en u m b e ro f h i t s 5 t r yt os t a r td o w n l o a d i n gar a n d o ms a m p l eo ft h eh i t s i fd o w n l o a ds t a r t si ti sc o n s i d e r e da s u c c e s s f u lh i t i f n o ta l li n v a t i dh i t 6 。a f t e ra b o u t3 0m i n u t e sm a k ea na u d i os e a r c hu s i n gt h ea r t i s tk e y w o r db e y o n c ea n dn o t et h e n u m b e ro f h i t s 7 t r yt od o w n l o a dar a n d o ms a m p l ei ot h es a m ew a ya sd e s c r i b e de a r l i e r 8 a f t e ra b o u t4 5m i n u t e sm a k ead o c u m e n ts e a r c hu s i n gt h ek e y w o r dn u t s h e l la n dn o t et h e n u m b e ro f h i t s 9 t r yd o w n l o a d i n gar a n d o ms a m p l ei nt h es a m ef a s h i o na sb e f o r e 1 0 l e tt h es y s t e mi a l nf o raf e wm o r em i n u t e sb e f o r es h u t t i n gd o w n 2 2 21 e s tr e s u l t s s e v e r a lt e s ts e s s i o n sh a v eb e e nc o n d u c t e da n dt h er e s u l t sa r ep r e s e n t e di nt h i ss e c t i o n t h e c o n c l u s i o n sf r o mt h e s es e s s i o n sa r ep r e s e n t e dl a t e ri nt h i sc h a p t e r s e s s i o n1 ：j u n el l t h ，2 0 0 5 t h i st e s ts e s s i o nw a sp e r f o r m e da tl u n c h t i m e ，a r o u n d1 2 ：0 0 ，l o c a lt i m e ( g m t + 0 8 ：0 0 ) t h er e s u l t s a r ep r e s e n t e di nt a b l e2 2o nt h en e x tp a g e s e s s i o n2 ：j u n e1 8 t h 2 0 0 5 t h i st e s ts e s s i o nw a sp e r f o r m e di nt h ee v e n i n g , a r o u n d1 9 ：0 0 ，l o c a lt i m e ( g m t + 0 8 ：o o ) t h e r e s u l t sa t ep r e s e n t e di nt a b l e2 3o nt h ef o l l o w i n gp a g e 4 武汉理r 大学硕士学位论文 t a b l e22 ：r e s u l t sf r o mg n u t e l l at e s ts e s s i o n1 q u e r y h i t s s a m p l e s o kf a i l e d q u e u e d d i v x1 4 4 53 592 42 b e y o n c e 1 3 3 9 3 l 1 9 1 02 n u t s h e l l1 89324 t a b l e2 3 ：r e s u l t sf r o mg n u t e l l at e s ts e s s i o n2 q h e r y h i t s s a m p l e s o kf a i l e d q u e u e d d i v x1 1 2 l3 91 52 22 b e y o n c e 1 1 3 93 51 71 53 n u t s h e l l2 71 521 l2 s e s s i o n3 ：j u l y1 6 t h 2 0 0 5 t h i ss e s s i o nw a sc o n d u c t e dt os e ei f t h e r ew e r ea n yn o t i c e a b l ed i f f e r e n c e sw h e nu s i n gac l i e n tt h a t i sn o tb r a n dn e w , t h es e s s i o nw a sp e r f o r m e da r o u n d1 9 ：0 0l o c a lt i m e ( g m t + 0 8 ：0 0 ) t h er e s u l t s a r es h o w n nt a b l e2 。4 t a b l e2 4 ：r e s u l t sf r o mg r u t e i l at e s ts e s s i o n3 q h e r y h i t s s a m p l e s o k f a i l e d q u e u e d d i v x1 4 4 94 51 03 32 b e y o n c e 1 4 4 33 92 01 72 n u t s h e l l1 2 l l371 n or e m a r k a b l ed i f f e r e n c ei nt h er e s u l t s t h eo n l yt h i n gw o r t hn o t i n gi st h a tt h em o s ts u c c e s s f u l s a m p l e so nt h ed i v xt e s tw e r ef o u n de a r l y a f t e ra b o u t2 5s a m p l e sa l m o s ta l l 1 0s u c c e s s f u li t e m s h a db e e ne n c o u n t e r e d t h i ss h o w st h a tt h eh o s t so nt h ec m u t e l l an e t w o r ka r eo f t e ns h o r tl i v e da n d u n r e l i a b l e s i n c et h eh o s t st h a tw e r ec o n t a c t e dl a t e ro ns e e m e dt oh a v ed i s c o n n e c t e d 2 2 3l o g g e ds t a t i s t i c s t h es t a t i s t i c sl o g g e dt h r o u g l l o u tt h es e s s i o n sh a v eb e e na n a l y z e da n dt h er e s u l t sa r ep r e s e n t e di n t h i ss e c t i o n i tt u r n e do u tt ob er a t h e rd i 衔c u l tt oa n a l y z et h es t a t i s t i c ss i n c et h el o g g i n gi s a s y n c h r o n o u sa n dh e n c et h et i m eb e t w e e ne a c he n t r yi su n k n o w n t h eo n l yt h i n gk n o w ni st h e t o t a ln u m b e ro f e n t r i e sa n da l la p p r o x i m a t ek n o w l e d g eo f t h el e n g t ho f t h ee n t i r es e s s i o n t h i ss t i l l g i v e sg o o da c c u r a c ys i n c et h ee s t i m a t i o ne n d su p 融s t i g h t t ya b o v eo n es e c o n dp e re n t r y t h e s o u r c ec o d eo ft h el i m e w i r ec l i e n th a sb e e ne x a m i n e dw i t h o u tf i n d i n ga n y t h i n gp o i n t i n gt oa 5 墓望墨! ；盔兰堡兰堡堡奎 c o n s t a n tt i m ed i f f e r e n c eb e t w e e nl o ge n v i e s ，b u tt h ee n v i e s8 1 eo r d e r e dc o r r e c t l ys i n c et h ea c t u a l o u t p u tt ot h el o gf i l e sa r cs y n c h r o n i z e d s i n c et h el o g g i n go fi n d i v i d u a ls t a t i s t i ct y p e si sn o ts t a r t e da tt h es a m et i m e ，s o m es t a t i s t i c a l v a l u e so b t a i n e de a r l yo nh a v eb e e nd i s c a r d e d t h i sm e a n st h a te a c hs t a t i s t i c a lt y p eh a st h es r r n e n u m b e ro f e n t r i e s t h en u m b e ro f e n t r i e su s e df o re a c hs e s s i o ni ss h o w ni nt a b l e2 5 t a b l e2 5 ：e n t r i e sp e rs t a t i s t i c a lc a t e g o r yf o rg n u t e l l as e s s i o n s s e s s i o ne n t r i e s 旧 2 6 7 8 2 7 0 8 3 1 1 9 t or e d u c et h en u m b e ro fp o i n t sp r e s e n t e di nd i a g r a m se a c h5 0c o n s e c u t i v es t a t i s t i c a l s a m p l e s h a v eb e e na d d e dt o g e t h e r s u c has a m p l es e e m st ob ear e a s o n a b l ea p p r o x i m a t i o nf o rt h et r a f f i c f l o wd u r i n gt h el a s tm i n u t eo nt h es y s t e mu s e d s t a t i s t i c a lg a t h e r i n g t h eb a n d w i d t hu s e dd u r i n ge a c hs e s s i o na l m o s ts o l e l yc o n s i s t so fp r o t o c o lm e s s a g e s i fa d o w n l o a ds a m p l ef i n d so n eo rm o r eh o s t st od o w n l o a df r o m ，t h ed o w n l o a di st e r m i n a t e da to n c e a l t h o u g has m a l lo v e r h e a de x i s t sw h e np e r f o r m i n gd o w n l o a d sa sw e l ls i n c es e v e r a lh o s t sa r e c o n t a c t e di no r d e rt op e r f o r ms w s r md o w n l o a d i n g s w a r md o w n l o a d i n gm e a n st h a taf i l ei s d o w n l o a d e df r o ms e v e l lh o s t sa tt h es a m et i m e e a c hp a r t i c i p a t i n gh o s tc a nt h e ns e n dad i f f e r e n t p a r to f t h ef i l e w h i c hd e c r e a s e st h ed o w n l o a dt i m es u b s t a n t i a l l yi f t h en e t w o r kt ow h i c ht h ef i l ei s s e n th a sh i g h e rc a p a c i t yt h a nt h a to ft h ef a s t e s th o s ts t o r i n gt h ef i l e t h ei n t e r e s t i n gt h i n g st o e x a m i n ea r et h ef o l l o w i n g ： howm a n ym e s s a g e sa r ea r r i v i n go v e rac e r t a i np e r i o do f t i m e ? h o wm u c hn e t w o r kb a n d w i d t hd ot h e s em e s s a g e sc o n s u m e ? howm a n ym e s s a g e sa r es e n to v e rac e r t a i np e r i o do f t i m e ? h o wm u c hn e t w o r kb a n d w i d t hd ot h et r a n s m i t t e dm e s s a g e sc o n s u m e ? h o wm a n ye r r o n e o u sm e s s a g e sa r r i v eo v e rac r t a l np e r i o do f t i m e ? i n c o m i n gm e s s a g e s f i g u r e s2 1o nt h en e x tp a g es h o w st h en u m b e ro fi n c o m i n gm e s s a g e sa n