（信号与信息处理专业论文）jxta网络测量测度技术研究与实现.pdf

i 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被 查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、 缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守 “此规定) 一。一 、 保密论文注释：本学位论文属于保密在羔年解密后适用本授权书。非保密论 文注释：本学 本人签名 导师签名烈 - 适鬻譬：晦眺i 目日期：2o l ，斗) 工i 厶7 眨1 日期：匕皇! 二三= 竺 i i l l li l l l l l l l l l 0 2 3 2 一 摘要 j x t a 网络测量测度技术研究与实现 摘要 在p 2 p 应用迅速发展的背景下，j x t a 成为一个重要的开源项目， 它为所有p 2 p 的系统提供了规范。作为一个p 2 p 的开发构架，它定义 了一组实现p 2 p 计算的公共协议，提供了对一系列网络协议的支持， 并具有很强的拓展性。 然而，由于种种原因，j x t a 系统构架也面临着一系列的问题， 比如路由性能的问题、安全相关的问题、系统性能相关的问题等等。 由于这些问题的存在，以及j x t a 系统构架本身的复杂性，导致了j x t a 的框架实现起来比较困难，也导致了j x t a 系统发展缓慢。然而，虽 然存在这些问题，但依然没有人对j x t a 网络性能进行过全面的监控 和分析。基于此，对j x t a 网络性能进行过全面的监控和分析已经成 为对j x t a 系统进行改进的当务之急。 本论文将从对传统网络的一些监控测量分析入手，研究j x t a 网 络的特点，分析其中存在的问题，选择和设计在j x t a 对等网络中可 以应用的监控测量技术，对j x t a 网络的测度选择以及实现提供具体 的参考方案。本论文的主要研究内容包括： 1 传统网络监控的分析：因为对等网的测量与监控技术还不成 熟，因此本论文中涉及的网络监控测量手段主要借鉴自传统 网络中监控测量技术的一些传统技术，并根据对等网的特点 进行适当的改进。 2 j x t a 网络的特点以及其存在的问题：对j x t a 网络特点的 分析是本论文设定测度及其测量策略的基础。由于测量监控 的目的是为了对j x t a 网络进行改进，因此该分析至关重要。 摘要 3 流量以及管道部分的特点以及测度选择机制：流量以及管道 部分的性能分析是j x t a 网络性能的最重要依据，对j x r a 网络的流量特点进行分析，并与传统网络流量的特点进行比 较，可以有效的找出j x t a 网络机制中的不足。 4 集合点部分的特点以及测度选择机制：集合点在j x t a 网络 的节点汇聚、网络维护以及网络搜索方面扮演了非常重要的 角色。 5 搜索机制的特点以及测度的选择机制：j x t a 的搜索机制建 立在超级节点架构的基础之上，与集合点的部分策略密切相 关，而且直接受到资源哈希算法的影响，因此对其监控可以 为集合点策略和哈希算法的改进提供重要依据。 6 数据库与界面部分的实现：数据库部分为节点采集的数据提 供了数据存储服务，界面部分则可以将数据直观的提供给用 户。 关键词：j x t a 网络监控与测量j x t a 网络的问题r v p 算法 流量测量数据库设计测度选择搜索算法 一 r e s e a r c ha n di m p l e m e n to fj x t a m e a s u r e m e n t a b s t r a c t w i t ht h ea d v a n c e m e n to fp 2 p a p p l i c a t i o n s ，j x t ah a sb e c o m ea l li m p o r t a n to p e n s o u r c ep r o j e c t ，a n di tb r i n g st h ep o s s i b i l i t yo fu n i f yt h ep l a t f o r mo fp 2 p a p p l i c a t i o n s y s t e m a sap 2 pd e v e l o p m e n tf r a m e w o r k ，i td e f i n e sas e r i e so fp u b l i cp r o t o c o l s w h i c hi m p l e m e n t e dp 2 pf r a m e w o r kr e l a t e da l g o r i t h m i ts u p p o r t s m a n yk i n d so f n e t w o r k p r o t o c o ls u c ha sh t r p ，t c p ，b u l e t o o t ha n de t c ，a n di sh i r g l le x t e n s i o n a b l e h o w e v e r ，f o rv a r i o u sr e a s o n s ，j x t aa l s of a c e sw i t hm a n yc h a l l e n g e s ，s u c ha s r o u t e rp e r f o r m a n c ep r o b l e m ，s e c u r i t y ，s y s t e mb e h a v i o ra n de t c t h e s ep r o b l e ma n d t h ec o m p l e x i t yo fj x t af r a m e w o r kr e s u l ti nt h ed i f f i c u l t yo ft h ei m p l e m e n to fj x t a a p p l i c a t i o n ，a n da r r e s tt h ed e v e l o p m e n to fj x t a h o w e v e r , t h e r ei sn oo m n i f a c e t e d a n a l y s i st oj x t an e t w o r kp e r f o r m a n c e f o rt h e s er e a s o n s ，i ti sah i g hp r i o r i t yt a s kt o m o n i t o ra n d a n a l y s i sf o ri m p r o v i n gj x t af r a m e w o r k sp e r f o r m a n c e t h i sp a p e rb e g i nw i t ht h ea n a l y s i so ft r a d i t i o n a ln e t w o r km o n i t o ra n dm e s u r e t e c h n o l o g y ，t h e ns t u d yt h ef e a t u r e so fj x t an e t w o r ka n df r a m e w o r k ，a n a l y s ei t s p r o b l e m ，c h o o s et h ek e yp a r a m e t e ro fm e a s u r e m e n t ，d e s i g na v a i l i a b l en e t w o r k m o n i t o rs o l u t i o n t h em a i nr e s e a r c ho ft h i sp a p e ri n c l u d e s ： i t h e a n a l y s i so ft r a d i t i o n a ln e t w o r km o n i t o rt e c h n o l o g y ：t h en e t w o r k m o n i t o rs o l u t i o ni n t h i s p a p e rd r a wm u c hl e s s o nf r o mt r a d i t i o n a l n e t w o r km o n i t o r t e c h n o l o g y ，a n d m a d es o m e i m p r o v e m e n t t o a c c o m m o d a t ep 2 pn e t w o r k m - 摘要 i i a n a l y s i so fj x t an e t w o r kf e a f u r e sa n di t sp r o b l e m s ：t h ea n a l y s i so f j x t an e t w o r ki st h eb a s e m e n to ft h em o n i t o rp a r a m e t e rc h o o s i n ga n d m e a s u r es o l u t i o ni nt h i sp a p e r i ti sf o ri m p r o v ej x t an e t w o r kt h a tw e m o n i t o rj x t a ，s ot h i sa n a l y s i si sr e a l l yi m p o r t a n t i i i t h ef e a t u r eo fn e t f l o wa n dp i p e s ，m e a s u r ec h o o s i n g ：n e t f l o wa n d p i p e s p e r f o r m a n c ea n a l y s i sa r ek e ye v i d e n c eo fj x t ap e r f o r m a n c e t h ea n a l y s i st oj x t an e t f l o wf e a t u r ea n dc o m p a r ei tw i t ht h ef e a t u r eo f t r a d i t i o n a ln e t w o r ki se f f e c t i v ew a yt of i n dt h es h o r t a g eo fj x t a i v t h ef e a t u r ea n a l y s i so fr v pp a r ta n di t sm o n i t o rp a r a m e t e r c h o o s i n g ：r e n d e z v o u sp e e rp l a yak e yr o l e i nt h en o d ea g r e g a t i o n ， n e t w o r km a i n t e n a n c ea n dn e t w o r ks e a r c hi nj x t an e t w o r k v t h ef e a t u r eo fs e a r c hm e c h a n i s ma n di t sm e a s u r e p a r a m e t e r c h o o s i n g ：j x t a ss e a r c hm e c h a n i s mb a s e so n t h e “s u p e r - n o d e a r c h i t e c t u r e ，s oi ti sc l o s e l yr e a l t e dw i t ht h er v ps t r a t e g y ，a n di ti sa l s o a f f e c t e db yt h eh a s ha l g o r i t h m b e c a u s eo ft h a t ，m o n i t o rs e a r c h i n gc a n p r o v i d ek e ye v i d e n c et or v p a n dh a s ha l g o r i t h m si m p r o v e m e n t t h e i m p l e m e n to ft h ed a t a b a s ea n dg u ip a r t ：d a t a b a s ep r o v i d ed a t a s t o r a g es e r v i c e ，w h i l et h eg u ip a r tc a np r o v i d ed a t aa n da n a l y s i sr e s u l t d i r e c t l yt oe n du s e r s k e yw o r d s ：j x t an e t w o r km o n i t o ra n dm e a s u r e m e n t t h ep r o b l e mo fj x t an e t w o r kr v p a l g o r i t h m n e t w o r kf l o w d a t a b a s ed e s i g nm e a s u r ec h o o s i n g s e a r c ha l g o r i t h m l v - 目录 目录 第章绪论1 1 1 课题研究背景1 1 1 1 对等网1 1 1 2 对等网络的测量与监控1 1 2 传统的网络监控方案分析2 1 2 1 常见网络监控工具以及技术路线分析2 1 2 2 网络监控测量方式3 1 2 3 传统网络所选取的测度4 1 2 4 传统网络对流量的监控5 第二章j x t a 网络的特点6 2 1p 2 p 网络的发展历史与趋势6 2 1 1p 2 p 的概念。6 2 1 2p 2 p 目前的应用6 2 1 3 目前对等网的测量与分析7 2 2j x t a 网络目前的发展。8 2 2 1j x t a 简介8 2 2 2j x t a 的一些基本概念9 2 2 3j x t a 的一些发展目标1 1 2 3j x t a 所面临的问题1 2 。 2 3 1 路由性能问题：1 2 。；2 3 2 安全相关问题1 4 2 3 3 系统性能相关问题1 4 2 3 4 集合点策略相关问题1 5 2 3 5 搜索机制相关问题1 7 2 3 6 选择对j x t a 进行测量的原因1 7 第三章设计构架1 9 3 1j x t a 自身的构架1 9 3 1 1j x t a 层次结构1 9 3 1 2j x t a 协 义2 0 3 2 对等网网络测量技术分析2 3 3 2 1 测量技术的发展2 3 3 2 2 主动测量与被动测量的分析2 3 3 2 3 抽样测量技术及其应用2 4 3 2 4 网络端到端性能的研究2 8 3 3j n m s 数据收集系统的构架结构2 8 3 3 1 分布式测量构架2 8 3 3 2j n m s 项目的基本构架2 9 3 3 3j n m s 项目的监控分类3 2 3 3 4j n m s 项目参数的获取和上报方式3 3 3 3 5 客户端与服务器端各自的功能3 3 目录 3 3 6 测度精度选择与总体目标量函数3 5 第四章j n m s 测度选择时考虑的主要问题3 7 4 1 流量部分数据的选取3 7 4 1 1 流量统计行为3 7 4 1 2 网络延迟的测量。3 8 4 1 3 网络端至端性能属性。3 9 4 1 4 流量总体和样本3 9 4 2p e e r 分组信息的选取4 0 4 2 1 各种协议在获取分组信息时的作用4 0 4 2 2 考虑获取的分组信息4 1 4 3 路由与管道服务及其相关测度4 2 4 3 1 管道部分协议分析4 2 4 3 2 管道部分相关测度选择4 4 4 3 3 路由部分测度选择4 4 4 4 集合点部分参数的选取。4 5 4 4 1 连接建立机制以及协议组成。4 5 4 4 2 集合点的r v p 机制分析4 7 4 4 3 集合点选择机制相关测度。5 0 4 4 4 集合点p r v 维护相关测度5 l 4 4 5 集合点其他相关测度。5 2 4 5 搜索及其他参数的选取5 3 4 5 1j x ，r a 搜索机制原理。5 3 4 5 2j x t a 搜索查询的几种模式。5 4 4 5 3 选取搜索相关测度时主要考虑的问题。5 5 第五章数据库与分析界面的设计与实现。5 7 5 1 数据库的设计规范。5 7 5 2 数据表单的具体设计5 7 5 2 1p e e r 分组信息表单的设计5 7 5 2 2 路由信息的表单设计5 8 5 2 3 集合点部分数据表单的设计5 9 5 2 4 流量部分数据表单的设计。6 4 5 2 5 搜索相关参数数据表单的设计6 6 5 3 测量分析结果可视化设计6 9 5 4 流量分析与系统开销。7 1 5 5 数据分析。7 2 5 6 小结7 3 参考文献：。7 5 致谢7 7 攻读硕士学位期间发表的学术论文7 7 ov l - 1 1 课题研究背景 1 1 1 对等网 第一章绪论 目前，对等网络( p e e r - t o p e e rn e t w o r k ，简称p 2 p ) 已经是人们所熟知的应用， 并在文件共享等领域取得了巨大的成功，甚至由于对等网络应用在互联网上的流 量和带宽所占的比重增大，使得它对下层的i p 网络运行产生重要的影响。鉴于 此，财富杂志甚至已经将p 2 p 列为影响下一代互联网的四大技术之一。 为了深入研究对等网的发展趋势以及网络构架，笔者与实验室其他同学在研 究目前网络应用的基础上，选择了j x t a 网络构架进行研究，并在其构架基础上 建立网络测量的构架，以期在高动态的网络拓扑下，研究网络的通信性能和代价、 可靠性以及可扩展性等重要指标。该项目的全称为“j x t an e t w o r km o n i t o r s y s t e m ，简称j n m s 。 1 1 2 对等网络的测量与监控 随着互联网日益普及和网络结构的目益复杂，对网络的整体拓扑结构和网络 行为进行深入的了解和分析，变得越来越有必要。因为这有利于发现网络瓶颈， 优化网络配置，并进一步发现网络中可能存在的潜在危险。为此，需要对网络结 构进行有效的动态描述，并根据网络流量的变化分析网络的性能，为加强网络管 理提高网络利用率防范大规模网络攻击提供技术平台。 网络监控实际上是网络测量的一个重要分支，在网络测量和改进中有很重要 的作用： 网络监控可以监视网络目前运行的状态，找出错误或者可能导致错误的 第1 页 北京邮电人学硕士研究生毕业论文 设备或者操作。 由于网络服务的多样化，服务质量的控制越来越重要。网络监控可以监 视网络服务的质量和连续性，可以保证服务质量或者服务等级得到了有 效的执行，可以对某个特定的服务提供性能上的监控。 在j x t a 网络中，由于有自身定义的多种网络应用协议( 比如路由协议、 集合点协议、搜索协议等) ，网络监控可以用来检测这些协议的策略的有 效性以及协议带来的各种开销。 网络流量监控目前仍然有很多尚待解决的问题，而对于新生的p 2 p 网络，由 于其网络结构的动态性，网络监控就更为复杂。但因为网络监控对改善p 2 p 网络 有着重大的意义，所以有迫切的研究需求。 2 传统的网络监控方案分析 1 2 1 常见网络监控工具以及技术路线分析 在传统的网络测量中，测量工具主要有：用于点到点测量的p i n g 工具，用于 路由测量的t r a c e r o u t e 、s k i t t e r 、g t r a c e 、m t r a c e ，用于测量网络带宽的t r e n o 、 b i n g 和b t e s t ，以t c p d u m p 为代表的流量截取工具等。 ， 许多网络测量基于t c p i p 协议进行。为了考察网络的稳定性，可达性，可 靠性及网络服务质量，这些方案周期性连续测量的性能参数包括丢包率、i 册、 流量路径的平均跳数等。在此基础上，以时间为主线分析各路径上各项指标的动 态变化，以空间为主线统计分析某一时刻整个网络的整体态势，如处于不同量级 时延的节点总体数量分布等，分析端到端路由变化( 或跳数的路由变化) 等。其他 分析还包括，对探测得到的数据进行数据挖掘，或者利用己有的模型( 比如自相 似性排队论) 研究其自相似特征。由于对网络性能测量的实时性要求较高，所以 探测频率往往很大，但必须保证不要由此对网络造成较大的额外负荷，同时注意 隐藏探测踪迹。对于网络的运行态势进行综合分析，则一般基于多个监测点，在 不同时段收集的测量数据，生成被测网络的综合态势战略图。 北京邮电大学硕士研究生毕业论文 1 2 2 网络监控测量方式 网络测量有多种分类标准。根据测量的方式，分为主动测量和被动测量；根 据测量点的多少，分为单点测量与多点测量；根据被测量者知情与否，分为协作 式测量与非协作式测量；根据测量的内容，分为拓扑测量与性能测量。 在主动测量方式中，通过向网络中发送数据，观察结果和发送数据所需时间 来研究网络的行为。主动测量向网络中发送实际的业务量，利用这些业务量测量 反映网络提供给其他用户的服务的参数，包括r 1 盯和丢包率。到目前为止，大 多测量项目都涉及到主动测量。比如，美国的n i m i 项目，就利用前面介绍过 的p i n g ，t r a c e r o u t e ，m t r a c e 等工具进行主动测量。加拿大国家研究机构则使用 p e r ls c r i p t 跟踪对t r i u m f 感兴趣的节点。欧洲的p p n c g 项目，监视全欧洲某 些粒子物理研究所的网络端到端性能，并加以优化。在主动测量项目中，测量范 围大多非常庞大，有可能造成较大的网络负荷，且难以统一配置和管理。 在被动测量方式中，检测网络状况的检测点被植入到网络拓扑当中( 可以放 在网络节点之间的连接上，也可以放在网络节点上) ，然后汇总和记录那条连接 上或者节点上的业务流量的信息。比如伯克力大学和i b m 共同开发的s p a n d 项 目，就通过对捕捉到的u d p t c p 分组进行分析，以期得到连接带宽丢包率等性 能。美国的p m a 测量项目则它采用o c 3 m o n 数据搜集系统采集a t m 的数据流， 然后使用p e r l 等语言对数据进行分析。被动测量主要在检测点观察网络的行为， 不增加网络的数据负载，对网络的性能影响较小。这种方法能够达到对观察点网 络行为的详尽理解，但难以获得对网络的整体理解，以及对网络的端到端行为的 理解，因此一般用于测量业务量的特征。被动测量需要各个检测点之间的协作， 因此其测量范围比较有限。 从测量点的数量来讲，网络测量分为单点测量和多点测量。在研究初期，许 多工作都属于单点测量，但因为测量能力有限，导致搜集的信息不全面。后来分 布式多点测量应运而生，尤其是多点主动测量，利用多个监测点得到数据，能够 综合出大规模的网络数据和单点所得不到的交叉路由信息。在拓扑测量方面，多 数项目显示的是逻辑拓扑关系图。随着测量范围的扩大，测量的规模结构也随之 扩大，这时，人们往往希望与实际地域位置相对应，也就是具有地理信息的拓扑 图。比如，s k i t t e r 就针对从几个源点到成千上万个目标点收集到的路径信息进行 北京邮电大学硕士研究生毕业论文 拓扑结构和性能属性的可视化，并且开展了a s 的地理信息图方面的研究。 在性能测量方面，相关项目开展得较多，测量内容包括吞吐量和延迟丢包率， 并作网络可靠性稳定性可达性等方面的分析。这一方面是为了对一个特定网络进 行维护管理，以保障服务质量，如p p n g g 和t r i u m f 项目。另一方面是为了预 报网络性能，如n p a c i 每隔一定的时间间隔，周期性地监视动态地预报( 各种网 络及计算资源) 网络性能。收集某一时刻的数据，通过数值模型预测下一时段的 t c p i p 端到端的吞吐量延迟，主要用于广域网上的大规模计算的调度，在元计 算软件平台上开发服务质量保证。 1 2 3 传统网络所选取的测度 目前，互联网测量的发展还不能满足网络快速增长的需求，例如测量沿着网 络某个确定路径的吞吐量和延迟等基本问题都缺乏标准测量框架。在这种情况 下，i e t f 建立的口性能测度工作组( i p p m ) 发展了一套标准的测度，用以刻画网 络数据传送服务的质量、性能和可靠性，其中应用较广的测度有：连通性，单向 延迟和丢失率，双向延迟和丢失率，延迟变化，丢失率的模式，分组重新排序， 大批量数据传送的容量，链接带宽的容量等。在测度的选取上，很难对测度做出 “好”或者“不好 的价值判断，而是作为一种公正的性能数据测量。 测度定义了网络组成部分的不同属性。在网络中有一些关于网络性能和可靠 性的参量，这些参量的值我们是希望知道的。当其中一个参量被详细说明后，我 们称这个参数为一个测度。 i p p m 已经制定了多个测度草案，其中对j x t a 网络有借鉴意义的有： 瞬间分组延迟变化测度它定义了通过网络路径分组延迟变化的一个测 度，是基于连续分组单向延迟差异的统计数据。 经验上定义的块传输能力测度的框架块传输能力( b t c ) 是测量网络通过 单个t c p 链路传输大数据量的能力，它期望得到一条理想t c p 链路的平均数据 速率。然而i e t f 标准允许许多拥塞控制算法，传输算法的多样性造成了标准化 测度的困难。 单向丢失模式采样测度对于相同的丢失率，两个不同丢失的分布可能产 生的对性能的影响极其不同。丢失模式的影响对使用t c p 协议的非实时应用是 北京邮电大学硕士研究生毕业论文 相当重要，大量研究表明突发性丢失对声音和视频应用有较大影响。为了获得分 组丢失模式，这篇草案中提出两个衍生测度：丢失距离和丢失周期。丢失周期测 度测量丢失的频率和长度( 突发性) ，丢失距离测度测量丢失周期之间的间距。 1 2 4 传统网络对流量的监控 流量是j x t a 网络监控项目( j x t an e t w o r km o n i t o rs y s t e m ，以下简称j n m s ) 需要检测的一个重要内容之一。在传统的网络测量中，流量描述的任务主要是： 识别流量的模式，尤其是峰值流量的模式； 分析流量在网络上的分布。流量的分布可以是基于一些对象的：流、网 络接口、链接、节点、节点对、路径或者目标节点； 流量描述还应该根据不同路由器和网络上不同服务类型数据的表现来预 测未来的流量负载。 由此可以看出，检测流量的意义在于：对流量模式进行研究，并基于此预测 流量的变化趋势，从而为未来的协议设计等工作提供指导。在j x t a 网络中，其 核心的流量协议是j x t a 管道协议，该协议涉及j x t a 网络的路由算法协议、j x t a s o c k e t 的实现以及需要依赖各种的底层通信协议，在j x t a 网络中扮演着重要的 角色，因此对流量的监测可以为这些核心的协议和应用提供客观的改进依据，因 此是j n m s 项目非常重要的一部分。在我们的j n m s 项目中，流量监控的主要任 务是监控节点接收和发送数据的数量，以及发送和接收这些流量的开销。 北京邮电大学硕士研究生毕业论文 第二章j x t a 网络的特点 2 1p 2 p 网络的发展历史与趋势 2 1 1p 2 p 的概念 截至目前，p 2 p 依然没有官方的正式定义，但比较公认的说法是：不同的系 统之间通过直接交互来共享某种服务或者计算资源。这里所指的服务和资源主要 指信息的交换、共享计算资源和带宽、发布文件资源等等，并允许单个客户端共 享整个网络的所有资源。 1 9 9 9 年，n a p s t e r 的发布掀起了p 2 p 软件应用的热潮。随后，由于新技术与 软件工程结合，形成了一种将工作分散的趋势。此外，在企业应用集成等因素的 驱动下，b 2 b 商务交易方式的日益流行，全面的分布式计算也就成为一种商业 需求。这两种趋势导致了p 2 p 应用技术研究的迅速发展。但总的来讲，p 2 p 的 发展可以被划分为三代：第一代是以n a p s t e r 为代表的、使用中央服务器管理的 p 2 p ，这一代的p 2 p 生命力十分脆弱只要关闭服务器，网络应用就无法展开。 第二代分布式p 2 p 没有中央服务器，但是速度太慢。第三代为混合型，采用分布 服务器。目前我国流行的b t 下载和e d o n k e y 就是属于这类。在后期的p 2 p 系统 中，为了扩展随机搜索的可扩展形，逐渐引入了基于d h t ( d i s t r i b u t e dh a s ht a b l e ) 的分布式查找和路由算法，以实现文件“精确匹配 查询。其中比较典型的算法 包括：麻省理工学院设计c h o r d ，伯克立和a t & t 设计的c a n 算法，微软研究 院提出的p a s t r y 算法以及源于p l a x t o n 路由机制的t a p s t r y 算法等。 2 1 2p 2 p 目前的应用 目前p 2 p 应用的领域可分成三类：资源分享、分工协作和对等点通讯。资源 共享中最著名的就是b t 下载，它已经成了网络流量中不可忽略的一部分。人们 北京邮电大学硕士研究生毕业论文 可以轻松的通过b t 下载到想要的各种资料，同类的有e m u l e 、e d o n k e y 、p p 点 点通、百宝、k u r o 等。协作类软件品种比较丰富，可以分为即时消息系统，在 线游戏，协同计算，对等搜索，移动办公，日程安排等类别。即时消息系统的代 表有q q ，i c q ，m s n 等软件，其中q q 还实现了在线游戏的功能。协同计算又 称为分布式计算，它将问题分成几个子问题，子问题可以由许多计算机独立地解 决，因此是解决复杂问题的一个方法，典型代表如s e t i h o m e 工程。此外还有 基于p 2 p 的搜索引擎系统，它可以使用户能够深度搜索文档，而无需通过w e b 服务器，也可以不受信息文档格式和宿主设备的限制，达到传统目录式搜索引擎 ( 只能搜索到2 0 3 0 的网络资源) 无可比拟的深度( 理论上将包括网络上的所有 开放的信息资源) ，应用实例有：i n f o r a s e a r c h ，p o i n t e r a 等。移动办公的软件有g k s t a r 等。 2 1 3 对等网的测量与分析现状 目前对等网的研究还处于起步阶段，总的来讲，针对对等网络拓扑的研究依 然较少的。在2 0 0 1 年左右，l o v a n o v l e 等人曾经对早期的g n u t e l l a 网络拓扑进行 过测量，但当时只捕获到了1 千个左右的节点，数据说服力有限。近几年来，在 测量和模型化对等网络的研究工作大多是对于对等网络工作负载和流量性能等 方面，而且都具有一定的特殊性和片面性，难以组成完整的体系，另外对拓扑的 研究也比较少。其中，比较著名的工作包括：s u b h a b r a t as e n 和h a w a n g 曾经刻 画的在一个单独i s p 观测到的对等网流量的性质，以及它对下层网络的影响。他 们观察到对等网络流量在不同层( i p , a s 等) 的空间聚集上面均呈现非常倾斜的分 布。k pg u m m a d i 等开发了一个对等网络的多媒体工作负载模型g a l ，通过他们 捕获的数据证实了一些关于文件共享行为的假设，并且探测了在k a z a a 网络中 局部性意识的潜在影响。s t e f a ns a r o i u 等人精确测定了加入到n a p s t e r 和g n u t e u a 网络的端用户主机的数量和分布特性。他们指出在加入到这两个系统中的节点存 在重要的异构特性和互操作的缺乏。国内主要的期刊还很少见到对等网络测量研 究工作的报道。 北京邮电大学硕士研究生毕业论文 2 2j x t a 网络目前的发展 2 2 1 , i x t a 简介 篓竺登竺支孽二些霪震雾黧琴霾黧震鬻荔弘蠼攀蠹鬻鏊麓粪鬻 篓雾焉暴。隧隧鬈醚彝蘸蠹鬟溺 苇吾器。鬻鬻攀莓鬻雾燃 釜蕞藿姿票簖萎寡i _ _ ：墨互：i _ 业翌_ l i 墨：互昌_ 1 对等点( p e e r ) ：p e e r 是一个虚拟的通信点，它可以使用j x t a 网络 提供的基本服务，例如集合点服务，路由服务，网关服务等，这些基本服务又可 以提供搜索和通信服务，一般来说，并不是所有的p e e r 都使用这些服务，它们 只使用这些服务的一部分。 2 对等组( p e e r g r o u p ) ：对等组是p e e r 的一种组织方式，它可以被创建、 加入和退出，也可以发布组内的特定服务的方式，还对组内的成员关系进行限定。 对等组为应用程序提供了一种环境，例如对某个话题感兴趣的p e e r 可以组成一 个组，并且在组内使用一个聊天服务来讨论。也可以把对等组看成一个虚拟的私 人网络v p n ，可以保证组内交流信息的保密性。 3 端点( e n d p o i n t ) ：一个端点就是实现了特定通信协议的p e e r 的地址， 它是j x t a 中最基本的通信方法。一个p e e r 可以有多个端点，这样可以通过不 同的协议来与其他p e e r 通信。端点的一个简单例子，就是一个口地址加上一 个端口。通过使用这些值，可以打开一个流并且与目标p e e r 通信。然而，j x t a 在流的基础之上又放置了一层，称之为p i p e ( 管道) 。这样，不是将一个流连接到 个地址，而是把一个管道连接到端点上。端点和管道的好处在于，不用去关心 p e e r 所使用的真正的地址和协议是什么。使用抽象出来的端点和管道，可以为创 建p 2 p 应用提供强大的功能并降低复杂性。由于管道使用通信协议来连接，端点 描述了协议和连接的所需要的信息。因此端点可以描述h t y p 、t c p 、b e e p 以 及其他可以支持的通信协议。一个p e e r 可以支持一个或者多个端点。通过使用 多种协议，p e e r 可以提供更有效率的方法。也就是说，如果两个p e e r 都在防火 墙的后面，可以直接通过它们的t c p 端点来通信；如果两个p e e r 要穿过防火墙 去通信，则需要使用h 1 曙的端点。 4 管道( p i p e ) ：管道是p e e r 之间的虚拟通道，它有点像一个在多种通 信协议之上的虚拟层，可以通过起网关作用的p e e r 对通信提供中继支持。管道 是j x t a 最基本、最重要的特性之一，它使得p e e r 在大多数网络情况下都可以通 信，而不用去管防火墙或者其他的障碍。按照网络连接方式，管道可以分为点到 点类型和传播类型两种。而按照传送方式，常见的类型有：单向异步( 单向通 道，消息到达时可能不是顺序的) 、同步的请求应答、成批发送( 用来发送大 北京邮电大学硕士研究生毕业论文 量的数据) 、流传送( 该方式可以更有效地传送诸如声音、视频等大量的数据) 、 双向通道( 两个单向异步管道的组合) 、单向同步通道、单向可靠安全的管道( 所 有发出的信息都会收到一个应答消息，并且这些消息都是加密的) 等。由于支持 多种通信方式，开发者可以根据p e e r 之间网络情况灵活的选择通道方式，以期 得到最好的速度。 5 广告( a d v e r t i s e m e n t ) ：广告是用来描述j x t a 的消息、p e e r 、对等组 或者服务的x m l 文档。它遵守编码、标签和内容的标准，用来交换j x t a 网络上 可以获得的任何信息。广告实际上是p 2 p 网络中的“名片 ，p 2 p 网络中的任何 资源，包括p e e r 、对等组、管道等都可以用广告来描述，并且可以相互找到。 例如，一个p e e r 创建了一个对等组后，就可以使用i p 多播方式把广告发布到本 地的j x t a 网络，这样子网中的每一个p e e r 都会收到一份广告的副本。此外，p e e r 使用一种叫做集合点( r e n d e z v o u s ) 的特殊p e e r 来发现网络上其他地方的广告。 集合点p e e r 可以存储广告并且支持搜索。 6 、m e s s a g e ( 消息) ：在j x t a 中，有两种消息格式：x m l 格式和二进制格式。 消息的头部包含了内容长度和内容的类型等信息，而消息体内则包含了有确定名 称和内容的元素，并且每个元素都有一个名称空间。每个元素既可以是x m l 文档， 也可以是二进制的内容。使用二进制消息，不仅可以得到紧凑的格式，还可以使 用一些标准技术对数据进行压缩，另外许多消息本身就是二进制的格式( 例如文 件共享程序中共享的文档) ，因此可以直接使用进行传输；还有一个问题就是加 密，为了加密可以把数据转化成为二进制，然后直接使用二进制的消息来传输。 但是，为了系统的可扩展性，j x t a 仍然希望多数j x t a 消息采用x m l 格式。 7 集合点( r e n d e z v o u sp e e r ) ：集合点是可以处理其他节点请求的节点。 集合点通常拥有更多资源，并且可以存储大量的有关它周围节点的信息。使用集 合点的一个主要目的就是为了方便在本地网络之外搜索广告。集合点还可以也可 以作为搜索的传递者，如果集合点如果本身没有被请求的信息，它将请求向其他 集合点转发。