（计算机应用技术专业论文）关于p2p流媒体流量识别的研究与实现.pdf

华东师范大学磺士学位论文 摘要 近几年来，p 2 p ( p e e r - t o - p e e r ，对等网络) 业务和应用迅速发展。有关调查表明， p 2 p 业务已占据了互联网业务总量的6 0 8 0 ，成为超重量级的宽带互联网应用。p 2 p 业务的不断增加，在广大用户受益的同时，造成了网络带宽的巨大消耗，甚至引起网 络拥塞，降低了其他业务的性能。对于企业用户来说，内部员工利用企业网收听音乐 或收看流媒体造成了巨大的网络资源浪费；而通过并不安全的网络环境获得的p 2 p 应 用程序，将可能打开后门，使病毒和恶意代码得以潜入内部网络。因此，在企业网中 有效识别和控制p 2 p 流量是非常必要和重要的。 p 2 p 应用的领域有许多种。最占用网络带宽的是p 2 p 文件共享应用和近年来兴起 的p 2 p 流媒体应用。对于前者的识别，已经有很多研究者做出了很多富有成效的研究 【”1 2 1 口l ；但对于后者，因为是近2 年才兴起，故对其识别的研究还相当有限，几近空 白。本文将对如何识别p 2 p 流媒体流量进行探索与研究。 因为目前的p 2 p 流媒体软件都是商业软件，协议不公开，故无法通过协议了解其 通信原理及实现细节。由于p 2 p 流媒体技术是p 2 p 网络通信技术与流媒体技术相结合 的产物，所以要想识别p 2 p 流媒体的流量，就必须要对传统的p 2 p 应用的原理及其识 别方法有所了解。本文在第二章详细介绍了p 2 p 的原理、研究现状、对p 2 p 流量的检 测技术等等，从中可知，商业上应用最广泛的p 2 p 流量检测技术是基于应用层签名的。 要使用基于应用层签名的识别技术，第一步是要找出应用层签名来。但各p 2 p 流 媒体软件都是商业软件，协议不公开，因此要发掘出它们的应用层签名难度较大。在 第三章，首先对5 款已知的p 2 p 文件共享协议进行了详尽的分析，总结出它们关于应 用层签名的几条共性，用以指导对协议未知的p 2 p 流媒体软件的应用层签名的研究； 接下来通过抓包实验对p 2 p 流媒体软件的应用层签名进行了初步的探索，通过反复的 实验和对几条共性的分析，在第三章最后提出了一个应用层签名的自动发掘算法，并 通过该算法的实现取得了实验成果。 但是因为自动发掘算法本身有局限性，而应用层签名识别技术本身也有一定的缺 陷，所以有必要探索其他的识别方法。在第四章中，为了弥补应用层签名识别技术的 不足，提出了一种“基于连接特征的p 2 p 流媒体流量识别算法”，该算法通过观察p 2 p 流媒体应用的连接统计特性来识别p 2 p 流媒体，它可以不必关注特定的传输内容就能 进行识别，因此大大缓解了未知协议的应用层签名难于发现的问题。最后，通过一个 实际网络环境下的实验，对该识别算法进行了验证。本文第三章和第四章是重点，而 第四章更为重要。 华东师范大学硕士学位论文 关键字 对等网络，识别，p 2 p 流媒体，应用层签名，连接特征 l i 华东师范大学磺士学位论文 a b s t t a c t i nr e c e n ty e a r s ，p 2 p ( p e e r - t o - p e e r ) ，a sab r a n n e wt e c h n o l o g y , h a sd e v e l o p e dw h i pa n d s p u r i n t e r r e l a t e di n v e s t i g a t i o ni n d i c a t e st h a tp 2 pt r a f f i ch a st a k e nu p6 0 t o8 0 o ft h e t o t a li n t e m e tt r a f f i cs t e a l t h i l y , a n di th a sb e c o m et h ek i l l e ra p p l i c a t i o no fb r o a db a n d i n t e r a c t p 2 po p e r a t i o nh a sb e e ni n c r e a s i n gc o n s t a n t l y , s oi tc o n s u m e sm u c hn e t w o r k b a n d w i d t h , e v e na r o u s e sc o n g e s t i o no fn e t w o r ka n dr e d u c e st h ep e r f o r m a n c eo fo t h e r o p e r a t i o n s o nt h eo t h e rh a n d ，f o rt h ee n t e r p r i s e ，i n n e re m p l o y e e su s ee n t e r p r i s en e t w o r kt o l i s t e nm u s i co rw a t c hp 2 ps t r e a m i n gm e d i ao nt h ei n t e r n e t t h i sw i l lm a k et r e m e n d o u s w a s t eo fn e t w o r l 【r c $ o 珊 c c f u r t h e rm o 。u s i n g l s a 危n e t w o r ke n v i r o n m e n tt og e tp 2 p a p p l i c a t i o n sm a yo p e nu pab a c kd o o rt ot h ee n t e r p r i s en e t w o r k ，m a k ev i r u s e sa n db a l e f u l c o d e sb ea b l et os t a n da s i d es a f e t yc h e c ku pa n de n t e ri n t ot h ec o r p o r a t i o n t h e r e f o r e ， e f f e c t i v ei d e n t i f i c a t i o no fp 2 pt r a f f i ci sv e r yn e c e s s a r ya n dt a k e sav e r yi m p o r t a n tp o s i t i o n i nt h en e t w o r km a n a g e m e n t t h e r ea r em a n yk i n d so fp 2 pa p p l i c a t i o n s a n da m o n gt h e mt h e r e a r e2k i n d so f a p p l i c a t i o n s w h i c ho c c u p yt h em o s tn e t w o r kb a n d w i d t h t h e ya r ep 2 pf i l e - s h a r i n g a p p l i c a t i o n sa n dp 2 ps t r e a m i n gm e d i aa p p l i c a t i o n s ，a n dt h el a t t e rd e v e l o p e ds or a p i d l yi n t h er e c e n t2y e a r s w i t hr e g a r dt ot h ef o r m e r ，m a n yr e s e a r c h e r sh a v em a d eal o to ff r u i t f u l r e s e a r c h l l 】1 2 1 【3 】；b u tf o rt h el a t t e r ，s i n c ei te m e r g e dj u s ti n2 0 0 5 ，s ot h e r ea r es ol i m i t e d r e s e a r c ha b o u ti t t h i sp a p e rw i l le x p l o r ea n dr e s e a r c hh o wt oi d e n t i f yt h et r a f f i co fp 2 p s t r e a m i n gm e d i a b e c a u s et h ec u r r e n tp 2 ps t r e a m i n gm e d i as o f t w a r e sa r ea l lc o m m e r c i a l s ot h e i r p r o t o c o l sa r en o to p e n ，w ec a nn o tu n d e r s t a n dt h e i rc o m m u n i c a t i o np r i n c i p l e sa n d i m p l e m e n t a t i o n d e t a i l t h r o u g ht h e i rp r o t o c o l s b u t s i n c ep 2 ps t r e a m i n gm e d i a t e c h n o l o g yi st h er e s u l tt h a tc o m b i n e st h ep 2 pn e t w o r kc o m m u n i c a t i o nt e c h n o l o g ya n d t h es t r e a m i n gm e d i at e c h n o l o g y , s oi fw ew a n tt oi d e n t i f yt h et r a f f i co fp 2 ps t r e a m i n g m e d i a , w em u s tu n d e r s t a n dt h ea p p l i c a t i o np r i n c i p l e sa n dt h ei d e n t i f i c a t i o nm e t h o d so f t h et r a d i t i o n a lp 2 ps o f t w a r e i nc h a p t e r2o ft h i sp a p e r , i ti sd e s c r i b e dt h a tt h ep r i n c i p l e o f p 2 ps t r e a m i n gm e d i a , i t sc u r r e n tr e s e a r c hs i t u a t i o n ，t h ed e t e c t i o nt e c h n o l o g yo f p 2 p s t r a f f i ca n ds oo n f r o mt h a tw ec a nk n o wt h ep 2 pt r a f f i cr e c o g n i t i o nt e c h n o l o g y , w h i c h h a sb e e nm o s te x t e n s i v e l ya p p l i e di nc o m m e r c e ，i sb a s e do na p p l i c a t i o nl a y e rs i g n a t u r e i f t h er e c o g n i t i o nt e c h n o l o g yb a s e do nt h ea p p l i c a t i o nl a y e rs i g n a t u r ei su s e d ，t h e f i r s ts t e pi st of i n do u tt h es i g n a t u r e s b u ta l lt h ep 2 ps t r e a m i n gm e d i as o l , r a r e sa r e i l l 华东师范大学硕士学位论文 c o m m e r c i a l ，a n dt h e i rp r o t o c o l s 黜n o to p e nt op u b l i c ，s oi t sh a r dt of i n do u tt h e i r s i g n a t u r e s i nc h a p t e r3 ，5k n o w np 2 pf i l e - s h a r i n gp r o t o c o l sa r ef i r s ta n a l y z e d ，a n d s e v e r a lc o m m o nc h a r a c t e r sa b o u tt h e i ra p p l i c a t i o nl a y e rs i g n a t u r e sa r es u m mu p t h i s c a l lg u i d et h ee x p l o r a t i o nt ot h ea p p l i c a t i o nl a y e rs i g n a t u r eo fp 2 ps t r e a m i n gm e d i a s o f l w a r e sw i t l lu n k n o w np r o t o c o l s f r o ms o m e s n i f f i n ge x p e r i m e n t sa n dt h e s u m m a r i z e dc o m m o nc h a r a c t e r s ，i nt h el a s tp a r to fc h a p t e r3 ，a i la u t o m a t i ce x c a v a t i o n a l g o r i t h mf o ra p p l i c a t i o nl a y e rs i g n a t u r ei sp u tf o r w a r d a n dt h i sa l g o r i t h ma c h i e v e d p o s i t i v ee x p e r i m e n t a lr e s u l t s h o w e v e r , b e c a u s eo ft h el i m i t a t i o no ft h i sa u t o m a t i ce x c a v a t i o na l g o r i t h ma n dt h e d e f e c to fa p p l i c a t i o nl a y e rs i g n a t u r er e c o g n i t i o nt e c h n o l o g y ，t h ee x p e r i m e n tr e s u l ti n c h a p t e r3w a sn o te n o u g h i nc h a p t e r4 ，i no r d e rt on l a k eu pf o rt h es h o r t f a l l o f a p p l i c a t i o nl a y e rs i g n a t u r er e c o g n i t i o nt e c h n o l o g y , a t r a f f i cr e c o g n i t i o na l g o r i t h mo f s t r e a m i n gm e d i ab a s e do nc o n n e c t i v ec h a r a c t e r s i sp u tf o r w a r d ，w h i c hc a l li d e n t i f y p 2 p s t r e a m i n gm e d i as o f t w a r eb yc o n n e c t i v ec h a r a c t e r s t h ea l g o r i t h mn e e dn o tt e s tt h e s p e c i a lc o u t e n ti nt h ep a y l o a d ，s ot h ep r o b l e mh a sb e e nr e l i e v e dal o tt h a tt h es i g n a t u r e s a l eh a r dt of i n do u t i nt h el a s tp a r to f c h a p t e r4 ，t h i sr e c o g u “i o na l g o r i t h mi sv a l i d a t e d t h r o u g ha ne x p e r i m e n ti na na c t u a ln e t w o r ke n v i r o n m e n t t h ec h a p t e r3a n dc h a p t e r4 f i r et h em a i np a r to f t h i sp a p e r , a n dt h el a t e ri sm o r ei m p o r t a n t k e yw o r d s p e e rt op e e r ，i d e n t i f i c a t i o n , p 2 ps t r e a m i n gm e d i a , a p p l i c a t i o nl a y e rs i g n a t u r e ， c o n n e c t i v ec h a r a c t c r s 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得 的研究成果据我所知，除文中已经注明引用的内容外，本论文不包含其 他个人已经发表或撰写过的研究成果对本文的研究做出重要贡献的个人 和集体，均已在文中作了明确说明并表示谢意。 作者签名：煎日期：型 学位论文使用授权声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学校有 权保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸 质版有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图 书馆被查阅有权将学位论文的内容编入有关数据库进行检索有权将学 位论文的标题和摘要汇编出版保密的学位论文在解密后适用本规定。 学位论文作者签名：旃 日期：丝l ! ! ：! ! 导褥长长瓤 日期：逆z ：! ! ： o r i g i n a l i t yn o t i c e i np r e s e n t i n gt h i st h e s i si np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o rt h em a s t e r s d e g r e ea te a s tc h i n an o r m a lu n i v e r s i t y , 1w a r r a n tt h a tt h i st h e s i si so r i g i n a la n da n yo ft h e t e c h n i q u e sp r e s e m e di nt h et h e s i sh a v eb e e nf i g u r e do u tb ym e a n yo f t h er e f e r e n c e st ot h e c o p y r i g h t , t r a d e m a r k ，p a t e n t , s t a t u t o r yr i g h t ，o rp r o p r i e t yr i g h to fo t h e r sh a v eb e e n e x p l i c i t l ya c k n o w l e d g e da n di n c l u d e di nt h er e f e r e n c e ss e c t i o na tt h ee n do f t h i st h e s i s s i g n a t u r e ：d a t e l 啦口 c o p y r i g h tn o t i c e ih e r e i na g r e et h a tt h el i b r a r yo f e c n us h a l lm a k ei t sc o p i e sf r e e l ya v a i l a b l ef o r i n s p e c t i o n if u r t h e ra g r e et h a te x t e n s i v ec o p y i n g o f t h et h e s i si sa l l o w a b l eo n l yf o r s c h o l a r l yp u r p o s e s ，i np a r t i c u l a r , s t o r i n gt h ec o n t e n to f t h i st h e s i si n t or e l e v a n td a t a b a s e s ，a s w e l la sc o m p i l i n ga n dp u b l i s h i n gt h et i t l ea n da b s t r a c to f t h i st h e s i s ，c o n s i s t e n tw i t h ”f a i r u s e a sp r e s c r i b e di nt h ec o p y r i g h tl a wo f t h ep e o p l e sr e p u b l i co fc h i n a s 鲫n ：盟 d a t e ：j 研，五y 3 华东师范大学磺士学位论文 1 1 研究背景 第一章引言 近几年来，p 2 p ( p e e r - t o - p e e r ，对等网络) 作为一项全新的网络技术飞速发展。有 关调查表明，p 2 p 业务已悄然占据了互联网业务总量的6 0 - 8 0 。p 2 p 业务不断增加， 造成了网络带宽的巨大消耗，甚至引起网络拥塞。对于企业来说，内部员工利用企业 网收听音乐或收看流媒体造成了巨大的i t 资源浪费；而通过并不安全的网络环境获 得的p 2 p 应用程序，将可能打开后门，使病毒和恶意代码得以潜入内部网络。因此， 有效识别和控制p 2 p 流量在企业网络管理中占有非常重要的地位。 从p 2 p 应用的领域来划分有许多种，但其中最占用网络带宽的是p 2 p 文件共享应 用和近年来兴起的p 2 p 流媒体应用。对于前者的识别，已经有很多研究者做出了很多 富有成效的研究；但对于后者，因为从2 0 0 5 年j 刚刚兴起，故对其识别的研究相当 有限，几近空白。本文将对如何识别p 2 p 流媒体流量做出探索与研究。 1 2 本文研究目的和研究内容 p 2 p 流媒体应用的发展迅猛，人们在享受其分布式模式带来的好处的同时，p 2 p 流媒体也占用了大量的网络带宽。然而到目前为止，对p 2 p 流媒体流量识别的研究却 几近空白。本文的目的就在于找出对其进行识别的方法。 本文主要从两个方面对p 2 p 流媒体流量的识别进行了研究与实现。一个方面是对 基于应用层签名的识别方法中的签名发掘这一块做了探索与研究，另一个方面是提出 了基于连接特征的识别算法。 1 3 本文的组织结构 第一章：引言。本章介绍研究背景、研究目的、研究内容以及本文的组织结构。 第二章：p 2 p 的原理和p 2 p 流量检测技术概述。本章首先介绍了p 2 p 应用及其发 展历程、应用领域、研究现状；然后介绍了几种p 2 p 流量检测技术以及国内外的研究 现状。 第三章：对p 2 p 流媒体软件的应用层签名的探索与研究。本章首先通过对5 种已 知的p 2 p 文件共享协议的详尽分析，总结出其关于应用层签名的几条共性；然后通过 实验对p 2 p 流媒体软件的签名进行了探索；最后，提出了一个应用层签名的自动发掘 华东师范大学硕士学位论文 的算法并给出了实验成果。 第四章：基于连接特征的p 2 p 流媒体流量检测技术。本章首先通过一个流量实验， 推论出p 2 p 流媒体软件可能具有的连接特征；然后通过大量实验，对该连接特征进行 了实验性论证；在此基础上提出了基于连接特征的p 2 p 流媒体流量的识别算法并对其 进行了修正：最后，通过一个实际网络环境下的实验，对该识别算法进行了验证。 第五章：总结和展望。本章主要对全文进行总结，指出本文的研究成果以及今后 有待进一步研究的工作。 华东师范大学硕士学位论文 第二章p 2 p 的原理和p 2 p 流量检测技术概述 2 1 本章提要 本章2 2 节介绍了p 2 p 应用及发展历程，其中介绍了几种典型的p 2 p 网络结构； 2 3 节介绍了几个主要的p 2 p 应用领域，包括正在迅速发展的p 2 p 流媒体应用领域； 2 4 节介绍了p 2 p 技术的研究现状；2 5 节介绍了p 2 p 业务的特征，并由此引出2 6 节对各种传统p 2 p 流量检测技术的介绍；最后在2 7 节介绍了国内外关于p 2 p 流 量检测技术的研究与实际应用情况。 2 2p 2 p 应用夏发展历程 对等网络( p e e r - t o - p e e rn e t w o r k ，p 2 p ) 技术起源于最初的联网通信方式，计算机 之间可以互相直接通信而不需要中间媒介，比如1 9 7 9 年的u s e n e t 网络允许计算 机之间互相拷贝文件。随着w w w 的出现，互联网进入了以个人计算机为主体的 应用领域，网络的服务模式以c s ( 客户端服务器) 为主，用户的上网方式就是 从一些门户站点获取信息，这些站点控制了信息的流动、阻碍了信息的真正交流。 但是目前网络技术研究领域中的一个热点- - p 2 p ，开辟了一个与c s 模式不同的网 络服务模式，它将控制权归还到用户手中，用户通过p 2 p 的方式不仅可以共享文 件、媒体播放，还可以共享存储空间，除此之外还有对等计算、协同工作、搜索 引擎等p 2 p 应用领域。 从基础技术角度来看，对等网络( p 2 p 网络) 是旧技术的新应用模式，它属于 覆盖网络，运行在因特网之上，网络中每个节点的地位相等，每个节点既作为服 务器，为其他节点提供服务，同时也作为客户端，享用其他节点提供的服务。它 使网民们真正参与到网络中来，把网络应用的核心从中央服务器向网络边缘的终 端设备扩散，使网络上的沟通变得更容易、更直接。 p 2 p 业务可以简单地定义成：通过直接交换，共享资源和服务。在p 2 p 网络 环境中，成千上万台彼此连接的计算机都处于对等的地位。网络中每一台计算机 既能充当网络服务的请求者，又能对其他计算机的请求做出响应，提供资源与服 务。通常这些资源和服务包括：信息的共享与交换、计算资源( 如c p u ) 的共享 使用、存储资源( 如缓存和磁盘空间) 的共享等。 p 2 p 软件的发展大致经历了三个阶段： 华东师范大学硕士学位论文 1 ) 集中式p 2 p 以n a p s t e r 为代表的第一代p 2 p 系统采用集中式网络架构( 如图2 1 所示) ，要 求各对等端( p e e r ) 都登录到中心服务器上，中心服务器负责保存并维护所有对等 端的共享文件的目录信息。 此类p 2 p 软件的对等端通常使用固定的端口进行通信，因此可以通过监测网络 报文的端口来识别与控制此类p 2 p 应用。 优点：采用快速搜索算法，排队响应时间短，使用简单的协议能够提供高性能 和弹性。 缺点：单点失败。因为是集中式的，一旦中心服务器崩溃，则整个p 2 p 网络会 瘫痪。 图2 ，1 集中式p 2 p 网络架构 f i g u r e 2 1c e n t r a l i z e dp 2 pn e t w o r ka r c h i t e c t u r e 2 ) 纯分布式p 2 p 第二代p 2 p 系统( 如早期的c m u t e l l a ) 实现了文件目录的分布式管理( 如图2 2 所示) ，由所有的对等端共同负责相互间的通信与搜索。此时网中所有节点都成为 真正意义上的对等端，无须中心服务器的参与。为了通过网络监控设备对固定端 口的检测，此类p 2 p 应用普遍采用随机动态的连接端口、伪装端口( 如利用h t t p 的8 0 端口) ，或直接利用h t t p 作为其基础通信协议。 因此，端口检测的方法对此类p 2 p 应用失效，取而代之的是一种称为“应用层 签名”的检测方法。这种方法通过检测报文载荷部分的内容来达到识别此类p 2 p 应用的目的。 优点：不再使用中央服务器。没有中央控制点，不会因为一点故障而导致全网 瘫痪，是真正的分布式网络。这种模式具有自组织行为，降低了拥有者的成本，且 4 华襄师范大学硕士学位论文 具有高度可扩展住。 缺点；由于每次搜索都要在全网进行，造成大量网络流量，使得其搜索速度慢， 排队响应时间长，用户p c 性能及与网络连接的方式决定了网络弹性和性能。 图2 2 分布式p 2 p 网络架构 f i g u r e 2 2d i s t r i b u t e dp 2 pn e t w o r ka r c h i t e c t u r e 3 】混合式p 2 p 第三代p 2 p 系统( 如f a s t t r a c k 、e d o n k e y 和w i n m x ) 结合了集中式及分布式 p 2 p 的特点，采用混合式架构( 如图2 3 所示) ，利用多个s u p e r - p e e r 作为分布式 中心服务器，以实现快速检索。s u p e r - p e e r 是由p 2 p 软件自动随机选择的，负责为 一组普通p e e r 提供目录服务，这就使得目录信息具有某种层次结构。某些第三代 p 2 p 系统( 如w i n n y 、e a r t h s r a f i o n 5 ) 甚至使用s s l 协议加密流量。 对于此类p 2 p 应用，一般仍采用应用层签名的方法来进行检测，但是基于应用 层签名的方法是无法检测出加密流量的。因此也有学者提出了基于流量特征的方 法“1 ，但是这种方法在实际使用中极少，真正商业上的识别方法仍大多采用应用 层签名的技术( 见2 7 节) 。 这种模式综合第一代和第二代的优点，用分布的超级节点取代中央检索服务 器。采用分层次的快速搜索改进了搜索性能，缩短了排队响应时间，每次排队产 生的流量低于第二代分布网络。超级智能节点的架设提供了高性能和弹性。没有 中央控制点，不会因为一点故障而导致全网瘫痪。 华东师范大学硕士学位论文 图2 。3 混合式p 2 p f i g u r e 2 3h y b r i dp 2 pn e t w o r ka r c h i t e c t u r e 2 3 几种p 2 p 应用领域的介绍 高效的大规模内容共享直接推动了p 2 p 技术研究的热潮。p 2 p 的应用领域包括： p 2 p 文件共享、p 2 p 分布式存储、p 2 p 分布式计算、p 2 p 搜索技术等，而近年来兴 起的p 2 p 流媒体技术发展迅猛，已成为p 2 p 应用领域中重要的一员。 2 3 1p 2 p 文件共享 在这一类应用中，每个对等的节点都提供文件内容的共享，同时也可以在整个 点对点网络中检索获得其他节点存储的资源。这类系统可以分为三类： 1 ) 非结构化p 2 p 文件共享系统： 这类系统的特点是文件的发布和网络拓扑松散相关。该类方法包括n a p s t e r ； k a z a a ，m o r p h e u s ，g n u t e l l a 。n a p s t e r 是包含有中心索引服务器的最早的p 2 p 文 件共享系统，存在扩展性和单点失败问题。g n u t e l l a 、m o r p h e u s 是纯p 2 p 文件共 享系统，后者如今并入前者中；k a z a a 是包含有超级节点的混合型p 2 p 文件共享系 统。k a z a a 、m o r p h e u s 、g n u t e l l a 等系统采用广播或者受限广播来进行资源定位， 具有较好的自组织性和扩展性，适用于互联网个人信息共享。 2 ) 结构化p 2 p 文件共享系统： 这类系统的特点是文件的发布和网络拓扑紧密相关。文件按照p 2 p 拓扑中的逻 6 华东师范大学碗士学位论文 辑地址精确地分布在网络中。这类系统包括c a n 、t a p e s t r y 、c h o r d 、p a s t r y ，以 及基于这些系统的些其他文件共享和检索方面的研究实验系统。在这类系统中 每个节点都具有虚拟的逻辑地址，并根据地址使所有节点构成一个相对稳定而紧 密的拓扑结构。在此拓扑上构造一个存储文件的分布式哈希表d h t ，文件根据自身 的索引存储到哈希表中。每次检索也是根据文件的索引在d h t 中搜索相应的文件。 生成文件索引的方法有三种：根据文件的信息生成的哈希值( h a s h ) ，如c f s ， 0 c e a n s t o r e ，p a s t r y ，m n e m o s y n e 等；根据文件包含的关键字生成关键字索引；还 有根据文件的内容向量索引，如p s e a r c h 。 3 ) 松散结构化p 2 p 系统： 此类系统介乎结构化和非结构化之间。系统中的每个节点都分配有虚拟的逻辑 地址，但整个系统仍然是松散的网络结构。文件的分布根据文件的索引分配到相 近地址的节点上。随着系统的使用，文件被多个检索路径上的节点加以缓存。类 似的系统包括f r e e n e t ，f r e e h a v e n 等。相关系统非常强调共享服务的健壮性及安 全性。 2 3 2p 2 p 分布式存储 p 2 p 分布式存储系统具有类似于上一类系统的功能和构造，但侧重于分布式系 统中文件系统管理。此类系统主要包括两个类型： 1 ) 非结构化p 2 p 分布式存储系统： 例如f a r s i t e 就属于此类系统。f a r s i t e 通过使用密钥加密文件的内容，并把 密文的备份发布到可信任的节点上。每个节点根据获得的文件内容，组织成编目 的文件系统。 2 ) 结构化p 2 p 分布式存储系统： 此类分布式文件系统基于d h t 的思想，将文件发布到d h t 上，并组织成树状的 文件系统。每个目录都组织成一个描述块的形式，每个描述块都对应一个块的h a s h 值，每个块中包含有所有子目录描述块的h a s h 值，叶子节点是文件的描述块，所 有这些描述块分布在d h t 中以供检索。此类系统包括基于c h o r d 的c f s 、基于 t a p e s t r y 的o c e a n s t o r e 等。 2 3 3p 2 p 分布式计算 加入对等网络的节点除了可以共享存储能力之外，还可以共享c p u 处理能力。 华东师范大学硕士学位论文 目前已经有了一些基于对等网络的计算能力共享系统。比如s e t i h o m e 。目前 s e t i h o m e 采用的仍然是类似于n a p s t e r 的集中式目录策略。x e n o s e r v e r s 向真正 的对等应用又迈进了一步。这种计算能力共享系统可以用于进行基因数据库检索 和密码破解等需要大规模计算能力的应用。 2 3 4p 2 p 搜索技术 p 2 p 文件共享首先要解决文件定位的问题。因此基于p 2 p 的文件搜索技术可以 独立出来，成为强大的搜索工具。p 2 p 搜索技术使用户能够深度搜索文档，而且这 种搜索无须通过w e b 服务器，也可以不受信息文档格式和宿主设备的限制，可达 到传统目录式搜索引擎( 只能搜索到2 0 一3 0 的网络资源) 无可比拟的深度( 理 论上将包括网络上所有开放的信息资源) 。以g n u t e ll a 所进行的搜索为例：一台 p c 上的g n u t e l l a 软件可将用户的搜索请求同时发给网络上另外1 0 台p c 。如果搜 索请求未得到满足，这1 0 台p c 中的每一台都会把该搜索请求转发给另外1 0 台p c 。 理论上，搜索范围将以几何级数增长，几分钟内就可搜遍几百万台p c 上的信息资 源。当然，实际环境中还需要考虑网络带宽以及路由优化方面的问题。p 2 p 搜索技 术为互联网的信息搜索提供了一个全新的解决之道。 p 2 p 流媒体是近两年来兴起的一种颇为流行的p 2 p 应用。它将传统的p 2 p 技术 与流媒体技术相结合，形成了一种新形式的网络应用，使得人们以往在网上看电 视、看电影、看各种节目直播的梦想成为了现实。各种p 2 p 流媒体软件大量涌现 出来。最早也最著名的是p p l i v e “。其频道数多达7 0 0 以上，同时在线人数早在 2 0 0 6 年世界杯时就超过了1 0 万。；较早的还有s o p c a s t “。，其包含了中外数百频 道，且质量稳定：后来居上的有q q l i v e 和p p m a t e ”。，q q l i v e 依托腾讯q q 的巨 大影响力，目前即使在普通时段，观看人数也近2 0 万，高峰时段则在3 0 万以上： 而p p m a t e 的频道数则逾千，用户范围极为广泛。 由以上的介绍可以看出，在p 2 p 的诸多领域中，p 2 p 分布式存储、p 2 p 分布式 计算、p 2 p 搜索三个领域更侧重于在科研方面及实际工作方面提供强大的效率支 持，而p 2 p 文件共享和p 2 p 流媒体这两个领域则一般更侧重于为普通用户提供日 常娱乐。因此，在企业网中识别与控制p 2 p 流媒体流量是很有必要的。而p 2 p 流 华东师范大学磺士学位论文 媒体技术的最初就来源于p 2 p 文件共享技术的启发，所以二者在网络连接技术上 有较大的相似点。要识别p 2 p 流媒体应用，可以通过研究p 2 p 文件共享技术来获 得一定的启发。 2 4p 2 p 技术的研究现状 国外开展p 2 p 研究的学术团体主要包括p 2 p 工作组( p 2 p w g ) 、全球网格论坛 ( g l o b a lg r i df o r u m ，g g f ) 。p 2 p 工作组成立的主要目的是希望加速p 2 p 计算基 础设施的建立和相应的标准化工作。p 2 p w g 成立之后，对p 2 p 计算中的术语进行了 统一，也形成相关的草案，但是在标准化工作方面工作进展缓慢。目前p 2 p w g 已 经和g g f 合并，由该论坛管理p 2 p 计算相关的工作。g g f 负责网格计算和p 2 p 计算 等相关的标准化工作。 从国外公司对p 2 p 计算的支持力度来看，m i c r o s o f t 公司、s u n 公司和i n t e l 公司投入较大。m i c r o s o f t 公司成立了p a s t r y 项目组，主要负责p 2 p 计算技术的 研究和开发工作。目前m i c r o s o f t 公司已经发布了基于p a s t r y 的软件包 s i m p a s t r y v i s p a s t r y 。r i c e 大学也在p a s t r y 的基础之上发布了f r e e p a s t r y 软件 包。 在2 0 0 0 年8 月，i n t e l 公司宣布成立p 2 pt 作组，正式开展p 2 p 的研究。工 作组成立以后，积极与应用开发商合作，开发p 2 p 应用平台。2 0 0 2 年i n t e 发布 了n e t 基础架构之上的a c c e l e r a t o rk i t ( p 2 p 加速工具包) 和p 2 p 安全a p i 软件 包，从而使得微软n e t 开发人员能够迅速地建立p 2 p 安全w e b 应用程序。 s u n 公司以j a v a 技术为背景，开展了j x t a 项目。j x t a 是基于j a v a 的开源p 2 p 平台，任何个人和组织均可以加入该项目。因此，该项目不仅吸引了大批p 2 p 研 究人员和开发人员，而且已经发布了基于j x t a 的即时聊天软件包。j x t a 定义了一 组核心业务：认证、资源发现和管理。在安全方面，j x t a 加入了加密软件包，允 许使用该加密包进行数据加密，从而保证消息的隐私、可认证性和完整性。在j x t a 核心之上，还定义了包括内容管理、信息搜索以及服务管理在内的各种其他可选 j x t a 服务。在核心服务和可选服务基础上，用户可以开发各种j x t a 平台上的p 2 p 应用。 2 5p 2 p 业务的特征9 1 相对于传统i n t e r n e t 业务而言，p 2 p 业务表现出以下特征 9 华东师范大学硕士学位论文 高速传输： p 2 p 用户抢占了6 0 8 0 的网络带宽，仅挎剩余带宽留给非p 2 p 用户，容易 引起企业及i s p 瓶颈链路的阻塞。 超大容量： p 2 p 用户以g b i t s s 的速率下载娱乐影音文件，消耗大量带宽。对于企业来说， 6 0 以上的企业带宽被与工作无关的p 2 p 应用消耗了，直接影响了企业关键软件 ( e r p 、c r m 等) 的运行。对于运营商来说，不得不投入更多的资金进行网络设备 扩容。 永远在线： p 2 p 用户不分时段地进行高速下载，增大网络设备的负荷，容易造成高峰时段 的链路拥塞。 业务点分布广泛： p 2 p 应用提供端到端的数据传输，使得任何两个普通节点之间都可能存在大量 数据业