（计算机软件与理论专业论文）基于p2p技术的网络共享模型协议研究.pdf

摘要 随着i n t e r n e t 的日益普及以及用户对文件共享需求的日益增加， 为了保证网络用户之间文件共享的高效性和可靠性，以p 2 p 技术为基 础，通过对典型的p 2 p 文件共享系统g n u t e l l a 实现方案的分析，提 出了基于g n u t e l l a 网络的p 2 p 网络文件共享系统( p f n s s ) 。p f n s s 系统利用g n u t e l l a 网络的小世界特性和幂次定律特性，将g n u t e l a 网络层次化成簇多层环结构，并结合当前i n t e r n e t 骨干网络拓扑， 形成了多簇多层环的多级空问结构。 论文首先针对g n u t e l l a 网络的对等点搜索定位效率低的不足， 根据p f n s s 系统的结构特点提出了两阶段对等点搜索定位方法：基于 搜索空问的层级搜索定位机制和基于m p s 的无冗余广播搜索定位机 制。这两种搜索定位机制实现了快速准确地节点定位，形成了高效的 信息查找机制，提高了文件命中率和共享效率。论文在g n u t e l l a 协 议平台上对g n u t e l a 网络的防议数据单元进行了改进，提出了c f s p 协议。该协议实现了共享模型中对等点的加入，退出，文件请求，文 件响应以及在线管理，解决了由于网络异构和防火墙的原因而造成的 文件无法共享的问题。通过对协议的改进还消除了由于网络延迟而造 成的信息短路现象和冗余信息造成的网络拥塞现象，提高了文件共享 效率。论文针对b t 集群下载的缺陷，利用簇集特性并结合中间服务 器提出了新的对等网络集群模型，有效地实现了资源动态调度和资源 共享服务，均衡了p f n s s 系统节点的负载。论文最后给出了对等点之 问进行文件共享的实现方法，包括对等点建立t c p 传输流，文件块的 分割和合并，以及文件的断点续传等技术。 关键词p 2 p ，网络文件共享系统，g n u t e l l a 网络，搜索定位，c f s p 协议 a 。b s t r a c t w i t ht h ei n c r e a s i n gp o p u l a r i z a t i o no fi n t e r n e ta n dt h ei n c r e a s i n gf i l e s h a r i n gr e q u i r e m e n t s o fn e t w o r ku s e r s ，t h r o u g ht h ea n a l y s i so ft h e a c c o m p l i s h m e n to f t h et y p i c a lp 2 pf i l es h a r es y s t e m g n u t e l l a m ep a p e r p u t sf o r w a r dt oap 2 pf i l en e t w o r ks h a r es y s t e m p f n s s w h i c hi sb a s e d o ng n u t e l l an e t w o r k t h i ss y s t e mi sd e s i g n e d t oe n s u r et h eh i g h e f f i c i e n c ya n dr e l i a b i l i t y o ff i l es h a r i n gb e t w e e nu s e r s p f n s ss y s t e m m a k e su s eo ft h es m a l l w o r l df e a t u r ea n dp o w e r l a wf e a t u r eo f g n u t e l l a n e t w o r k ，a n ds t r a t i t h eg n u t e l l as t r u c t u r ei n t oan e ws t r u c t u r ew h i c hi s d i v i d e di n t om a n yl e v e l si nac l u s t e r ，a n de v e r yl e v e lf o r m sa sal o o p t o o i n t e g r a t i n gw i t h i n t e r n e tm a i nf r a m et o p o l o g y , t h ew h o l ep f n s s s y s t e m s h a p e sa sam u l t i c l u s t e ra n dh i b e r a r c h yw i t hm u l t i l e v e l ss p a c e s t r u c t u r e a i m i n ga tt h el o we f f i c i e n c yo fg n u t e l l a n e t w o r ks e a c h i n ga n d l o c a t i n ga m o n gp e e r s ，t h i sp a p e rf i r s t l yc o m e su pw i t hat w o 。s t a g es e a r c h a n dl o c a t ea l g o r i t h mw h i c ht a k e sa d v a n t a g eo ft h ec h a r a c t e r so fp f n s s s y s t e ms t r u c t u r e t h e f i r s t s t a g e i sb a s e do nt h es e a r c hs p a c ew i t h h i b e r a r c h ys e a r c ha n dt h es e c o n ds t a g e i sb a s e do nt h e 妒sw i t hn o r e d u n d a n c yb r o a d c a s t t h i st w o s t a g e s e a r c ha n dl o c a t ea l g o r i t h m i m p l e m e n t st h er a p i da n de x a c tp e e r s l o c a t i o na n di m p r o v e st h e f i l eh i t p r o b a b l i t y a n ds h a r e e f f f i c i e n c y s o t h e a l g o r i t h m i s r e g a r d e d a sa h i g h e f f i c i e n c yi n f o r m a t i o n s e a r c hm e c h a n i s m t h e nt h ep a p e re x t e n d s t h ep d u ( p r o t o c o ld a t au n i t ) o fg n u t e l l an e t w o r ka n dc o m e su pw i t ht h e c f s pp r o t o c o lb a s e do nt h eg n u t e l l ap r o t o c o lp l a t f o r m t h ep r o t o c o l i m p l e m e n t st h ep e e r s j o i n i n g ，e x i t i n g ，f i l er e q u i r e m e n t ，f i l er e s p o n s e a s w e l la so n 1 i n em a n a g e m e n t ，i ta l s os o l v e st h ep r o b l e m st h a tf i l ec a n n o tb e s h a r e db e c a u s eo ft h eh e t e r o g e n e o u sn e t w o r k s a n df i r e w a l l s t h e i m p r o v e dp r o t o c o la l s oi m p r o v e st h ef i l es h a r ee f f i c i e n c ya n d e l i m i n a t e s t h e p h e n o m e n a o fi n f o r m a t i o n s h o r t - c i r c u i ta n dn e t w o r k c o n g e s t i o n ，w h i c h a r ec a u s e d b yn e t w o r k l a t e n c i e sa n dr e d u n d a n t i n f o r m a t i o n s a i m i n ga tt h es h o r t a g eo fb tc l u s t e rd o w n l o a d ，t h ep a p e r t a k e sa d v a n t a g eo fc l u s t e r - c e n t r a l i z e df e a t u r e i n t e g r a t i n gw i t hm i d d l e s e r v e r sa n dc o m e su pw i t han e wp 2 pn e t w o r kc l u s t e rd o w n l o a d m o d e l t h em o d e li m p l e m e n t st h er e s o u r c ed y n a m i c l ys c h e d u l ea n ds h a r e s e r v i c ea n db a l a n c e st h el o a d so fp f n s ss y s t e mp e e r s l a s t l y , t h ep a p e r p r e s e n t st h ed e t a i l e dm e t h o d so ff i l es h a r i n gb e t w e e np e e r s ，i n c l u d i n g e s t a b l i s h i n gt c pt r a n s p o r ts t r e a m ，d i v i s i o na n dc o m b i n a t i o no ff i l eb l o c k s a n db r o k e nf i l ec o n t i n o u st r a n s p o r t a t i o ne t c k e yw o r d s p e e r - t o - p e e r , n e t w o r k f i l es h a r e s y s t e m ，g n u t e l l a n e t w o r k ，s e a r c ha n dl o c a t e ，c f s pp r o t o c o l 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：蛩垦 日期：堡生年二月旦日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。j 作者签名：! 童导师签期：旦年三月旦日 硕士学位论文第一章前言 1 1 研究背景 第一章前言 p 2 p ( p e e r t o p e e r ，计算机对等联网) 技术是一个具有强大生命力的新兴事 物，它从一诞生就受到了众多用户的热烈欢迎并被广泛地使用。在p 2 p 技术的推 动下，i n t e r n e t 的存储模式由现在的“内容位于中心”模式逐步转变为“内容 位于边缘”模式“1 。从这个角度看p 2 p 技术给文件共享带来了3 个改变口1 ： 1 客户不再需要将文件上传到服务器，而只需要使用p 2 p 将共享信息提供出 去。 2 运行p 2 p 的个人电脑不需要固定i p 地址和永久的互联网连接，这使得那 些拨号上网的用户也可以享受p 2 p 带来的变革。 3 p 2 p 完全改变了过去控制互联网的c s ( c 1 i e n t s e r v e r ，客户机月酲务器) 模式，消除了客户机和服务器二者之间的差别。 p 2 p 文件共享系统的出现满足了相当一部分互联网用户的需要，提供了一种 不同于传统方式的文件资源共享途径。互联网上传统的文件资源共享方式，例如 w e bs e r v i c e 和f t p ( f i l et r a n s f e rp r o t o c o l ，文件传输协议) 等都是基于c s 模式的。c s 模式固然有其数据集中，便于管理的优点，但是受到服务器能力的 限制，能够提供的资源数量是有限的，不可能提供所有用户感兴趣的文件。部分 访问量小或者潜在用户数量小的文件往往是不存在于服务器上的，而这些文件资 源又确实有对其感兴趣的用户，虽然这些用户的绝对数量不多。p 2 p 文件共享系 统正好可以在一定程度上解决这个问题，由用户之间的协作来相互提供用户感兴 趣的文件。单个用户能够提供的文件数量虽然不多，所使用的p c ( p e r s o n a l c o m p u t e r ，个人计算机) 处理能力也极其有限，这两方面都远远不及服务器，但 是整个系统能够提供的文件总量却可以远远超过服务器，系统中每个节点承担的 处理任务也远远少于服务器。而且p 2 p 文件共享系统使用起来灵活自由，用户可 以随时加入或者退出。正是因为有了海量的文件资源和灵活自由的使用方式，p 2 p 文件共享系统才受到大量的互联网用户的亲睐，风靡整个网络世界。时至今日， i n t e r n e t 上很大一部分的流量都是由各种p 2 p 音乐共享系统所产生。多个p 2 p 音乐共享系统在i n t e r n e t 下载排行榜上也是名列前茅口1 ，足可见文件共享应用 硕士学位论文 第一章前言 在当今的网络应用中所处的重要地位。 1 2 研究现状 从目前的情况来看，p 2 p 文件共享系统获得了极大的成功，无论是从已有的 应用系统种类，还是从用户的数量来看，p 2 p 文件共享系统都具有蓬勃的生命力。 下面就对目前最为流行的两种p 2 p 文件共享网络n a p s t e r 和g n u t e l l a 进行分析。 1 集中目录式对等网络一- - n a p s t e r n a p s t e r 是最为典型的集中目录式对等网络。在n a p s t e r 网络中，一群高性能 的中央服务器保存着网络中所有n a p s t e r 活动对等点地址信息及其共享资源的目 录信息。当需要查询某个文件时，对等点会向一台中央服务器发出文件查询请求。 中央服务器进行相应的检索和查询后，会返回符合查询要求的对等点地址信息列 表。查询发起对等点接收到应答后，会根据网络流量和延迟等信息进行选择，和 合适的对等点直接建立连接，并开始文件传输n 1 。n a p s t e r 网络文件共享过程如 图卜1 所示。 一 字氅二二? 譬 为 _ 目录服务器 曰数据库 客户端 图1 _ 1n a p s t e r 网络共享模型 集中目录式对等网络存在很多问题，主要表现为： ( 1 ) 中央服务器的瘫痪容易导致整个网络的崩溃，可靠性和安全性较低。 ( 2 ) 随着网络规模的扩大，对中央服务器进行维护和更新的费用将急剧增加， 所需成本过高。 ( 3 ) 中央服务器的存在引起共享资源在版权问题上的纠纷。 对小型网络而言，集中目录式模型在管理和控制方面占一定优势，但鉴于其 存在的这些缺陷，该模型并不太适合大型网络应用。 2 广播式对等网络一- - g n u t e l l a 在广播式对等网络中，对等点通过与相邻对等点之间的连接遍历整个网络体 2 硕士学位论文第一章前言 芦 秽吵：乏 、 卧艄 硕士学位论文 第一章前言 1 共享群的划分策略不清，均没有给出具体的数学模型； 2 路由协议缺乏对i n t e r n e t 底层通信子网路由资源的利用，对资源定位、搜 索策略和访问控制规则表达式研究得较少，存在可扩展性差、性能与效率不高的 问题： 3 没有统一的网络综合性能的评价标准，网络开销大部分是估算或引用传统 网络的研究结果来评价； 4 没有根据统计规律去改进共享系统的结构和搜索定位方法。因此无法让共 享系统可以和实际的物理网络可以更好的吻合，更有效地利用现有的i n t e r n e t 的带宽资源，并提供不论是热门还是冷门资源的都比较快速的搜索与定位； 5 节点采用就近加入网络，易造成网络波动，导致管理开销增加： 6 没有一个好的激励模型，在p 2 p 文件共享系统中，如何尽量让用户把文件 共享出来，是系统良好运作很关键的一个环节，而建立这方面的模型需要实际的 系统测量工作相结合； 7 文件传输方式单一，目前的系统大多提供的都是单对单传输以及多对单传 输。但是目前多媒体文件传输量大，而多媒体文件通常又非常大，所以流媒体传 输、内嵌的播放技术和多对多传输仍然不成熟； 8 没有多协议的支持，例如超文本传输协议，文件传输协议的支持等。没有 一种方法能够快速计算一个文件的校验值( 检验文件传输的正确性) ，现有的m d 5 算法速度太慢，影响文件共享的效率。 1 3 论文研究内容 论文从现有的g n u t e l l a 文件共享模型出发，考察其内部机制，以及模型的 优缺点，提出了多簇多层环的多级空间结构。在解决g n u t e l l a 网络传输的难题 减少网络延迟和冗余信息给出了新的解决方法。根据系统结构特点提出了两 阶段节点定位机制，并对g n u t e l l a 网络协议数据单元进行扩充，提高了系统共 享效率。 论文各章安排如下： 第一章，前言。介绍论文的研究背景，共享系统的研究现状，分析了现有的 文件共享系统的优缺点。 4 硕士学位论文第一章前言 第二章，网络共享模型系统设计。分析了该网络文件共享系统的可行性与系 统的社会意义。给出了网络共享模型的结构以及通信对象。 第三章，网络共享模型协议改进。针对g n u t e l l a 网络中网络延迟而造成的 信息短路现象和冗余信息造成的网络拥塞现象，对g n u t e l l a 网络的洪泛式传播 信息方式进行改进，给出了相应的解决方法。还提供了网络文件共享传输中的断 点续传和文件分割方法。 第四章，网络共享模型协议路由。基于系统的体系结构，提出了两阶段节点 定位机制，并扩充了g n u t e l l a 网络协议数据单元，提出了新的路由协议。利用 簇集特性并结合中间服务器提出了新的对等网络集群模型，均衡了节点负载。 第五章，协议实现与性能分析。给出了通信协议具体实现以及和其它模块的 接口。并从传输效率和冗余信息数量对协议的性能进行了分析。 第六章，结论与展望。总结了论文的实际工作，提出了协议需要完善与需要 改进的地方。 硕士学位论文第二章网络共享模型结构设计 2 1系统概述 2 1 1 系统由来 第二章网络共享模型结构设计 随着i n t e r n e t 技术的迅速发展，网络共享技术也伴随着网络发展而日显其 重要性。在“全球一体”的网络化时代，传统的局域网内部网络用户共享资源技 术已不再足以满足用户对各种信息资源的需求了。网络规模的逐渐扩大，网络资 源的日益丰富，使得网络用户之间的资源共享和信息交流越来越普遍，网络文件 共享系统成为网络资源方便共享的重要途径。为了保证网络用户之间资源共享的 高效性和安全性，以p 2 p 技术为基础，开发一个面向用户的p f n s s ( p 2 pf i l e n e t w o r ks h a r es y s t e m ，p 2 p 网络文件共享系统) ，实现网络中任意用户进行文 件搜索定位并且快速共享其所需要的文件，以便于网络资源最大程度的共享，对 于网络信息交流和高效合理地利用网络资源有着重大的作用。该系统的开发，将 为网络用户的信息共享提供保证，并将对促进网络管理技术和网络信息服务技术 的发展产生重大的社会意义和经济效益。据美国g a r t n e r 的一份报告预言，到 2 0 0 3 年，3 0 的企业将会在内容的发布中应用到以数据为中心的p 2 p 技术；到2 0 0 5 年，目前基于服务器的内容管理方案提供商中将有5 0 左右会把p 2 p 技术渗入到 其产品中”1 ，所以p 2 p 技术在网络文件共享应用上有很大的开发前景。首先，p 2 p 网络成本低廉，p 2 p 基于i n t e r n e t 公用网，省去了租用专线的巨大运营成本； 其次，中心资源如服务器等的要求也相应降低，节约了成本：最后，通讯效率高， 主要体现在即时通讯及文件交换的实现较传统方式更有效率。 当前p 2 p 文件共享系统主要只是针对提供音频、视频文件的共享，经过p 2 p 技术尝试了在音乐共享与下载，多媒体在线播放等方面的产品开发与经营之后， 它在中国的发展将会以探求更多的企事业应用为核心。在这方面，国外许多p 2 p 企业就走在了前面。无论是协同办公，还是文件共享，国外的p 2 p 企业都有过比 较成功盼探索，为p f n s s 系统的开发提供了许多值得借鉴的经验。 p f n s s 系统开发成功后可应用在各企事业的文件共享中，例如面向铁路应用， 硕士学位论文第二章网络共享模型结构设计 由于每个铁路局下属有很多个机务段，各个机务段之间在进行日常检修与维护工 作时需要进行大量的文件信息共享，基于铁路机务段之间机车调度以及检修的需 要，构建一个通用的文件交换平台和即时通讯平台，这为铁路职工进行协同工作 带来了很多便利，即在i n t e r n e t 上为铁路局低成本地构建了一个“局域网”。 2 1 2 系统特性 p 2 p 文件共享是p 2 p 应用方向的一种，也是分布式文件共享系统的一个分支， 它专注于在网络上的对等点中存储和获取文件，试图充分利用节点贡献的存储空 间和共享的文件来达到整体利益的最大化。p f n s s 系统是在对g n u t e l l a 网络进 行细致的分析和研究的基础上提出并且实现的。其主要特性有： 1 分散化 网络中的资源和服务分散在所有节点上，信息的传输和服务的实现都直接在 节点之间进行，可以无需中间环节和服务器的介入，避免了可能的瓶颈。在查找 资源、定位服务或安全检验等环节虽然需要集中式服务器的参与，但主要的信息 交换最终仍然在节点中间直接完成。这样就大大降低了对集中式服务器的资源和 性能要求。 2 可扩展性 在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的资源 和服务能力也在同步地扩充，始终能较容易地满足用户的需要。而对于p f n s s 系 统来说，整个体系是全分布的，不存在瓶颈，因而理论上其可扩展性几乎可以认 为是无限的。 3 健壮性 p 2 p 架构则天生具有耐攻击、高容错的优点。由于服务是分散在各个节点之 间进行的，部分节点或网络遭到破坏对其它部分的影响很小。而且p f n s s 系统在 部分节点失效时能够自动调整整体拓扑，保持其它节点的连通性。p f n s s 系统是 以自组织的方式建立起来的，并允许节点自由地加入和离开，并能够根据网络带 宽、节点数、负载等变化不断地做自适应式的调整。 4 隐私性 在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过某个集中 环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决i n t e r n e t 硕士学位论文第二章网络共享模型结构设计 隐私问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的网络 实体之中。在传统的一些匿名通信系统中，实现这一机制依赖于某些中继服务器 节点。而在p f n s s 中，所有参与者都可以提供中继转发的功能，因而大大提高了 匿名通讯的灵活性和可靠性，能够为用户提供更好的隐私保护。 5 高性能 采用p 2 p 架构可以有效地利用互联网中散布的大量普通节点，将存储资料分 布到所有节点上。利用其中闲置的存储空间，达到高性能共享和海量存储的目的。 并且通过利用网络中的大量空闲资源，可以用更低的成本提供更高的资源共享和 存储能力。 2 1 3 系统意义 文件共享系统最早的应用原型出现于1 9 9 9 年，因此到目前为止还没有达到 成熟完善的地步，其中待研究的东西涉及系统的各个方面，包括分布资源管理 ( r e s o u r c em a n a g e m e n t ) 、分散性( d e c e n t r a l i z a t i o n ) 、自组织性 ( s e l f o r g a n i z a t i o n ) 、资源的查找定位策略( l o c a t i n gp o l i c y ) 、节点之间的 路由策略( r o u t i n gp o l i c y ) 、系统可扩展性( s c a l a b i l i t y ) 、可靠性( r o b u s t ) 、 可用性( a v a i l a b i l i t y ) 、匿名性( a n o n y m i t y ) 和安全性( s e c u r i t y ) 等0 1 。从 当前文件共享系统的现状可以看出，虽然p 2 p 技术在文件共享上的应用日渐成 熟，但是仍然存在着技术问题有待解决： 1 网络兼容与互通：文件共享模型要解决与现有网络相兼容及互通问题，使 得p 2 p 模型的适应性更强。毕竟现有的c s 网络模型已经被广泛应用，如与现有 网络不相兼容，文件共享系统很难得到快速发展。 2 网络带宽：p 2 p 允许用户从p c 机上下载大型文件，因此这项技术需要大 量的带宽，而这一点可能会为p 2 p 的推广制造障碍。 3 安全问题：由习：p 2 p 技术允许从其它机器上下载文件，使系统在抵制病毒 方面很脆弱，而且计算机能否验证与其连接的机器身份也是一个棘手的问题。 4 节点定位：当前，p 2 p 最大的挑战就是如何在一个缺乏中央服务器的计算 模式下各自发现对方。p 2 p 要求对等点可以访问分散的资源，而这些资源往往没 有永久的地址，因为它们并非总是与因特网连接。因此，p 2 p 需要一个新的找寻 i p 地址的程序来进行节点间的快速定位。 硕士学位论文 第二章网络共享模型结构设计 与国外的p 2 p 发展情况不一样的是，中国网络环境相对滞后，虽然国外由 p 2 p 应用所占据的网络带宽己占据很大部分，但在国内还没有得到重视。但是， 随着中国网络带宽近一两年的迅速增加，宽带网用户大大增加了，这就为p 2 p 文 件共享的发展创造了硬件条件。当前，国内对p 2 p 的研究相对其他的网络技术而 言还很少，能够找到的中文资料也不多，应用上也不成熟。现有的大部分应用还 仅仅停留在文件交换上，采用的实现方式也基本上局限于一种，即存在中心服务 器进行统一管理，同时使用软件内部协议进行通讯，不像国外实现的方式有很多 种，各种有各种的优势，而且开始尝试考虑统一的协议以满足互操作性。p f n s s 系统的目的就在于利用现有的网络条件，分析比较现有的路由定位算法，并在此 基础上设计一种有效的机制，实现提升系统的整体性能。因此，对于分布式文件 共享模式之一，p f n s s 系统的研究还是很有意义的。 2 26 n u t e i i a 网络概述 2 2 1 ( i n u r e i l a 网络协议 g n u t e l l a 是一种完全的分布式信息共享技术，网络中的每一个角色既有服 务器的功能又有客户机的功能，被称为s e r v e n t “1 。s e r v e n t 一方面提供客户机 界面，使用者借以提交查询请求、浏览查询结果，同时接收来自其它s e r v e n t 的 查询请求、在本地数据集中查找匹配信息、给出适当的应答。 g n u t e l l a 协议定义了s e r v e n t 在网络上相互通信的方法。它包括一个描述 符集和一个规则集：描述符集用于s e r v e n t 间的数据通信，规则集用于管理 s e r v e n t 间的描述符交换。g n u t e l l a 通信协议主要包括五种类型的数据单元。在 g n u t e l l a 协议中的消息主要由两部分组成，即消息头和数据。消息头的格式如 图2 - 1 所示”1 。 0 1 51 61 7 1 81 9 2 2 图2 - 1g n u t e l l a 消息头格式 其中，各个字段的描述如表2 1 所示。 硕士学位论文第二章网络共享模型结构设计 表2 - 1 消息头字段描述 消息头字段描述 消息i d一个1 6 字节的字符串，唯一标识该消息标识符。 功能i d用一个字节定义数据包的消息类型。 o x 0 0p i n g o x 0 1 p o n g o x 4 0p u s h o x s oq u e r y 0 x 8 1 q u e r y h i t 1 v r l 剩余描述消息在g n u t e l l a 网络被丢弃前还剩余的跳数。每个客户机在将消息 向前传递前将t t l 减一。当1 v r l 等于0 ，消息将不再被丢弃。 跳数描述消息在g n u t e l l a 网络中向前传递的次数。每个客户机在将消息向前 传递前将跳数加一。满足关系t t l ( 0 ) = t t l ( i ) + h o p s ( i ) 。 数据长度负载长度，表示紧接着头部后面的部分的长度。 一个s e r v e n t 通过与网络中的另外一个节点建立连接，使其连接到g n u t e l l a 网络。一旦一个s e r v e n t 发现了网络中的另一个s e r v e n t 的地址，它将和这个 s e r v e n t 创建一个t c p i p ( t r a n s m i s s i o nc o n t r o lp r o t o c o l 工n t e r n e tp r o t o c o l ， 传输控制协议互联网协议) 连接，并且会发送一个格式为：“g n u t e l l a c o n n e c t n n ”的g n u t e l l a 连接请求数据串。 希望接收连接请求的s e r v e n t 会用字符串：“g n u t e l l ao k n n ”作出回应。 如果不是采用这个字符串作出回应，那么任何其它的响应都将表明这个g n u t e l l a 节点不想接收这个请求而建立连接。 g n u t e l l a 网络的路由规则主要有以下5 条“： 1 p o n g 数据包仅能沿着转发p i n g 数据包的同样路径被发送。该规则保证了 只有那些收到过p i n g 数据包的对等点才能响应p o n g 数据包。一旦一个对等点收 到一个p o n g 数据包，但却未见相应的p i n g 数据包，则将该p o n g 数据包从网络 中丢弃。如图2 2 所示。 ， 图2 - 2p i n g ，p o n g 路由规则 l o 硕士学位论文 第二章网络共享模型结构设计 2 q u e r y h i t 数据包仅能沿着转发q u e r y 数据包的同样路径发送。该规则保 证了只有收到过q u e r y 数据包的对等点才能响应q u e r y h i t 数据包。一旦一个对 等点收到一个q u e r y h i t 数据包，但却未见相应的q u e r y 数据包，则将该q u e r y h i t 数据包从网络中丢弃。如图2 3 所示。 图2 - 3q u e r y ，q u e r y h i t 路由规则 3 每个对等点会向所有与之直接相连的，除了接收p i n g 或q u e r y 数据包方 向的对等点以外的对等点转发收到的p i n g 或者q u e r y 数据包。 4 如果收到q u e r y 的节点由于受防火墙的限制不能与请求方连接时，请求方 发出p u s h ，将对方的特定文件传到请求方。p u s h 数据包仅能沿着转发输入 q u e r y h i t 数据包的同样路径被发送。该规则保证了只有那些收到过q u e r y h i t 数 据包的对等点才能响应p u s h 数据包。一旦一个对等点收到一个p u s h 数据包，但 却未见相应的q u e r y h i t 数据包，则将该p u s h 数据包从网络中丢弃。如图2 4 所示。 图2 - 4p u s h 路由规则 5 在进行转发之前，修改相关的t t l 和h o p 字段，将t t l 值减l ，h o p 值加 1 。当t t l 值为0 时，将该数据包从网络中删除。 g n u t e l l a 模型路由的工作原理：一个对等点要加入g n u t e l l a 网络，它首先 与g n u t e l l a 网络中的一台活动的对等点建立连接。初始状态下，一台活动的对 等点地址通常通过访问某特殊站点提供的主机缓存服务机制获得。新对等点通过 主机缓存服务( h o s tc a c h es e r v i c e s ) 找到一台活动对等点并与之建立一个 。岩 三 m 0 硕士学位论文 第二章网络共事模型结构设计 t c p i p 连接，连接到网络后，向与其相连的对等点发出p i n g 数据包，每个活动 对等点使用扩散方式将该p i n g 数据包转发到所有与之相连的对等点，如规则3 。 接收到p i n g 数据包的对等点在响应一个p o n g 数据包的同时，用同样的方法继续 转发该数据包直到t t l 值减到0 ，如规则4 。 类似的，查询数据包q u e r y 根据路由规则3 ，按q u e r y 的发送路径返回一个 查询响应数据包q u e r y h i t ，并向其它对等点转发直到t t l 值减为0 。一旦定位了 响应它查询共享文件的对等点之后，将与响应对等点建立t c p 连接，通过h t t p ( h y p e r t e x tt r a n s f e rp r o t o c o l ，超文本传输协议) 协议从响应对等点中下载 文件，文件传输不再经过g n u t e l l a 网络。 2 2 2g n u t c i i a 网络特征 基于g n u t e l l a 协议的网络具有集体性的特点，就像p 2 p 应用软件用户彼此 之间随机地相连一样。p 2 p 网络拓扑结构具有以下特征：小世界特征 ( s m a l l w o r l d ) 和幂次定律( p o w e r l a w ) 。 1 小世界特征 小世界特征是指“在一个人群数目众多的社会中，如果按照某种方式来建立 人与人之间的关系链，由此平均最短关系链的链长远远小于人群的人数的话，这 个人群就被认为是一个小世界。”如果按照“六度分离”理论，平均只要通过 5 个人，就能与世界任何一个角落的任何一个人发生联系“。在i n t e r n e t 中， 任意两个节点之间的通信可能经过几十甚至上百个中间节点( 路由) ，但是，这 几十或者上百个节点与整个i n t e r n e t 上的所有节点比较起来，实在是微不足道 的。因此可以认为i n t e r n e t 也是一个“小世界”。 一个网络当中两个节点之间的距离定义为从这个节点到那个节点所需要的 最小的边数，就称为这两个节点之间的距离。一个网络的平均距离就是网络所有 的节点距离，然后取平均值。通过对众多不同的复杂网络进行分析发现这些网络 虽然大，但是实际上这些网络都是惊人的小。以万维网为例，万维网在1 9 9 9 年 统计大概是l o 亿的数量级，美国一些物理学家就设计了一种软件，通过这个软 件对万维网做数据采集分析发现，万维网中的平均距离是1 9 个连接，即用户在 互联网j ：= _ 随机任意敢两点，不断点击这上面盼中心链接，按1 9 次鼠标就能到达 另一点，这就是万维网小世界特征。以互联网为例，当前路由器的数量已经是数 硕士学位论文第二章网络共享模型结构设计 以几十万计，但是平均两个路由器之间的距离也就是1 0 左右“”。同样发现小世 界这样一种特征也是p 2 p 网络所共有的一种特征，即尽管网络的规模都很大，但 是两个节点之间的距离比用户想象得要小得多。所以随着p 2 p 网络的发展，带来 的结果是互联网节点分散化和小圈子化，以及信息检索和获取成本的大幅降低。 2 幂次定律 幂次定律说明尽管p 2 p 网络中可提供的共享资源的节点数量很多，可共享的 资源更是一个天文数字，但是，有能力长时间吸引众多对等点大量访问的对等点， 为数却非常有限。用连接数做判据，可以把少数对整个p 2 p 网络贡献特别大的热 门对等点从茫茫无边的信息海洋中分离出来。一个随机无向图由若干个节点和两 两节点间的边组成，某个节点的“度”即是到达该节点的边的个数。最近的研究 表明，许多现有网络，如i n t e r n e t 骨干网、w w w 页面链接、人们的社会关系网 络等，其节点“度”的分布都具有同样的规律。即“度”为k 的节点的分布概率 满足公式( 1 ) “： p ( k ) o c k 。其中l 0 ) o s a v e d f i l e w r i t e ( b ，0 ，n r e a d ) ： ) 在p f n s s 系统的通文件传输模块中，针对断点续传主要设计了6 个类： s i t e f i l e f e t c h j a v a ：负责整个文件的抓取，控制内部线程 ( f i l e s p l i t t e r f e t c h 类) 。 f i l e s p l i t t e r f e t c h j a v a ：负责部分文件的抓取。 f i l e a c c e s s j a v a ：负责文件的存储。 s i t e l n f o b e a n j a v a ：要抓取的文件的信息，如文件保存的目录，名字，抓 取文件的u r l 等。 u t i l i t y j a v a ：工具类，放一些简单的方法。 t e s t m e t h o d j a v a ：测试类。 3 l 硕士学位论文 第三章网络共享模型协议改进 3 3 3 文件流分割与合并 由于p f n s s 系统支持将文件分割成多个部分，并从多个对等点同时下载文件， 即节点从对等点a 上下载第n 1 个部分，节点在对等点b 上下载第n 2 个部分，最 后节点把这些下载好的子部分合并成完整的文件。打开文件，读取指定的分割大 小一段数据，写入到一新建文件中，接着再读同样大小的一段数据，再写入到一 新建文件中，直到读出文件最后一部分数据，写入到最后一个新建文件中。 对每一个分割后的新建文件名，采用原文件名前加数字信息的方法，按分割的顺 序，按个加上一数字标识信息以便合并时使用。合并文件时和上面分割所采用的 方法相反，将各个分割后的小文件读出后，按其分割后文件名前数字大小的顺序， 按个写入到新建的文件中，这一新建文件的名字为去掉分割后文件前面数字部分 后的文件名，即原文件名。 由于在读取分割后的文件通常不是从头至尾顺序读取，对等点只是读取自己 需要的文件，就希望将一个文件像数据库一样读取，读完一个记录后就跳到另一 个记录，它们分布在文件的不同地方。j a v a 提供了r a n d o m a c c e s s f i l e 类来操作 这种类型的输入输出。“。打开随机访问文件有两种方法： r a n d o m a c c e s s f i l em y r a f i l e = n e wr a n d o m a c c e s s f i l e ( s t r i n gn a m e ，s t r i n gm o d e ) ：i r a n d o m a c c e s s f i l em y r a f i l e = n e wr a n d o m a c c e s s f i l e ( f i l ef i l e ，s t r i n gm o d e ) ： 其中，m o d e 参数决定了访问文件的权限，如只读“r ”或读写“w r ”等。 r a n d o m a c c e s s f i l e 对象的读写操作也使用r e a d 0 和w r i t e 0 函数。r e a d 0 函数 和w r i t e0 函数同样都有三种方式： 同时使用函数g e t f i l e p o i n t e r0 ，s e e k0 和l e n g t h0 来在文件中移动指针 3 2 】 o l o n gg e t f i l e p o i n t e r0 ：返回文件当前指针。 v o i ds e e k ( 1 0 n gp o s ) ：将文件指针定位到一个绝对地址。地址是相对于 文件头的销移萱。地址0 表示文件的开头。 l o n gl e n g t h ( ) ：返回文件的长度。 堡主兰堡堡奎 笙三皇塑塾茎皇塑型堡堡塾望 3 3 硕士学位论文第三章网络共享模型协议改进 m p