（计算机应用技术专业论文）基于peertopeer网络的资源搜索研究.pdf

华北电力大学硕士学位论文摘要 摘要 计算机互联网络i n t e r n e t 已成为世界上最大的信息源，任何一个i n t e r n e t 用户 都可以在网上查询他想要的信息。随着网络的飞速发展，p 2 p 网络在文件共享、资 源搜索方面得到广泛应用。p 2 p 系统的路由机制成为衡量p 2 p 网络性能的一个重要方 面。p 2 p 系统存在大量节点的频繁活动，导致很高的网络维护代价。本文提出了一种状 态缓存机制( s t a t ec a c h em e c h a n i s m ) s c m ，通过改变p 2 p 系统中动态节点的访问模式来 解决这个问题。状态缓存系统( s t a t ec a c h es y s t e m ) s c s 把p 2 p 网络划分成许多群，并且 在每个群中选择一个性能好的节点，有选择的记录和维护那些可能很快回到网络中来的 离开节点的路由信息。这些缓存的路由信息能够简化系统的自组织性，减少系统维护开 销，并且提供高质量的路由服务。模拟仿真证实s c m 的应用提高了p 2 p 系统性能。 关键词：p 2 p ，状态缓存，结构化，路由性能 a b s t r a c t i n t e r a c th a sb e c o m et h eb r o a d e s ti n f o r m a t i o nr e s o u r e e v e r yi n t e r a c tu s e rm a yq u e r yt h e i n f o r m a t i o nw h a th ew a n tt ok n o w w i t ht h en y m gd e v e l o p m e n to fn e t w o r k , p 2 pg e t s e x t e n s i v e l ya p p l i e di nd o c u m e n ts h a r i n g ，r e s o u r c e ss e a r c h i n g ，a n ds oo n r o u t i n gm e c h a n i s m i sb e c o m i n ga ni m p o r t a n ta s p e c tt h a tm e a s n l e st h ep 2 ps y s t e mp e r f o r m a n c e p 2 ps y s t e m sh a v e h u n d r e d so f t h o u s a n d so f p e e r st h a ti n v o l v ef r e q u e n td y n a m i ca c t i v i t i e s , t h u sr e s u l t i n gi nh i g h m a i n t e n a n c eo v e r h e a d i nt h i sp a p e r , w ep r e s e n ts t a t ec a c h em e c h a n i s m ，c a l l e ds c m ，t h a t s o l v e st h ep r o b l e mb ye x p l o i t i n gt h ea c c e s sp a t t e r n so f d y n a m i ca c t i v i t i e si np 2 ps y s t e m s s c s p a r t i t i o n st h ew h o l ep 2 pn e t w o r ki n t oc l u s t e r sa n dd y n a m i c a l l yc h o o s e sa s u p e r n o d ei n e a c hc l u s t e rt os e l e c t i v e l yr e c o r da n dm a i n t a i nt h er o u t i n gi n f o r m a t i o nf o rd e p a r t e dn o d e s m o s tl i k e l yt oa r r i v eb a c ki nt h es e a l f u t u r e t h ec a c h e dr o u t i n gi n f o r m a t i o ne n a b l e ss c st o s i m p l i f ys e l f - o r g a n i z a t i o n , r e d u c es y s t e mm a i n t e n a n c eo v e r h e a da n dp r o v i d eh i g hq u a l 时 r o u t i n gs e r v i c e t h es i m u l a t i o nh a sv a l i d a t e dt h a tt h ea p p l i c a t i o no fs c m h a si m p r o v e dp 2 p s y s t e m sp e r f o m m a c e w a n gh e ( c o m p u t e ra p p l i e dt e c h n o l o g y ) d i r e c t e db yp r o f iw a n gz h e n q i k e yw o r d s ：p 2 p ，s t a t ec a c h e ，s t r u c t u r e d ，r o u t i n gp e r f o r m a n c e 声明 本人郑重声明：此处所提交的硕士学位论文基于p e e r - t o p e e r 网络的资源搜索研 究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得 的研究成果。除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并 表示了谢意。 学位论文作者签名：兰塑日期：塑：! 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅：学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播 学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：墨整 日 期：幽：! ： 导师签名：星拯穆 日期：幽：! ：兰 华北电力大学硕士学位论文 1 1 课题背景 第一章绪论 随着网络技术的飞速发展与迅速普及，i n t e m e t 已经逐渐深入到人们的日常生活 中。基于t c p i p 协议的网络通信体系结构具有开放性特征，使网络的规模越来越 大，信息资源的获取和发布也变得非常方便和快捷。 网络上的信息资源呈爆炸性增长趋势，如何方便快捷地存储、定位、检索和传 输这些资源，从而合理有效的利用它们，成为人们所关注的焦点问题。当前普遍的 文件服务器模型，大都采用客户机，服务器( c l i e n t s e r v e r ) 模式，客户机通过 i n t e r n e t i n t r a n e t 与服务器互连，整个网络依赖于中心节点来提供服务。客户机h i 务 器模式实质上是一种集中式体系结构，它在海量信息的组织、访问等方面存在着服 务瓶颈、易于崩溃等缺点，因此现有的c s 模式已经难以满足和支持大规模的网络 应用，全面的分布式计算成为一种商业需求。i n t e m e t 应用的新趋势是服务器与客 户机的概念逐渐消失，取而代之的是“网络就是计算机”，即将整个因特网的各种 自治资源和系统组合起来，以实现资源共享。p 2 p ( p e e r - t o p e e 0 计算模型正是在资源 规模不断增多的情况下，用于解决海量信息资源的合理利用问题而提出的分布式计 算模型。在这种模式下，服务器与客户机的界限消失了，网络应用的核心从服务器 向网络终端设备边缘化，无需依赖集中式服务器。成员之间主动协作，直接从其它 成员而不是从服务器的参与中获益。由于数据存储、处理能力和网络带宽等都以一 种完全分散、异步的方式运行，各种负载可以得到合理的均移和平衡，有效的解决 了资源服务的瓶颈问题，并易于扩展。目前，p 2 p 技术已被广泛应用于文件共享、 分布式计算、协同工作、即时通讯等领域。 当前，关于p 2 p 技术研究的一个重点问题就是资源搜索问题。现阶段互联网上 大量资源被闲置，没有充分地被利用。基于p 2 p 的资源搜索技术可以便捷地帮助人 们找到各种资源，提高资源的利用率，实现资源的充分共享。同时，p 2 p 网络的资 源处于不断的动态变化之下，这就决定了p 2 p 的资源搜索技术和现在的搜索技术有 很大的不同。因此，从以上两点可以看出，无论是从实用性还是学术性上，研究p 2 p 网络的资源搜索技术都有很重要的意义。 在资源搜索方面，网络路由是影响搜索效率和系统路由性能的一个重要方面， 一个好的路由机制能够有效改善系统路由性能，提高资源搜索效率，因此，路由机 制直接决定了系统在资源搜索方面的性能，路由机制的优劣是衡量p 2 p 系统是否高 效实用的重要指标之一。本文就是针对当前p 2 p 系统在路由机制上面存在的某些问 题，提出改进措施，提高系统性能和资源搜索效率。 1 华北电力大学硕士学位论文 1 2p 2 p 研究现状 在拓扑结构动态变化的p 2 p 环境下，固有i n t e r a c t 网络设计的路由协议无法适 应这种情况。像r i p 和o s p f 这样的传统路由协议，要依靠定期广播来维护路由状 态，当网络拓扑结构变化快速，使协议无法及时收敛，就会在路由表中产生大量的 不可靠路由和路由环路。为了加快收敛速度，只能缩短广播周期，从而加大了路由 负荷。大量的路由信息会占用宝贵的带宽资源，而且也无法保证路由收敛。 在这种大背景下，p 2 p 得到了迅速发展，先后出现了以下几种具有代表性的p 2 p 搜索技术： 具有集中式的目录服务器的搜索机制( 如n a p s t e o ，在集中式的目录服务器上 存放对等节点的地址信息、元数据和文件的关键词信息。它可以对请求的查询进行 快速地查找并返回最合适的目的节点。但是随着网络规模的增大，目录服务器必然 成为服务瓶颈，而且会造成单点失败，同时还存在扩展性问题。 采用洪泛查找机制的p 2 p 网络( 如g n u t e l l a ) ，可以把这种完全分布式的网络看 成是一组对等节点之间的自组网络。节点在进行查找时，首先传播到它的所有相邻 节点，然后在传播到相邻节点的所有相邻节点，直至到达预先确定的层次为止。这 种查询机制造成网络通信负担较大，也存在扩展性较差的问题。 基于分布式哈希表的查找机制，如c h o r d ， c a n ，p a s t r y ，t a p e s t r y 等。在 c h o r d 中每个关键字都保存在它的后继节点上，查找过程就是不断接近它的后继节 点最终到达目的节点或查找失败。c a n 基于虚拟的d 维笛卡儿坐标实现其数据组织 和查找功能。p a s t r y 使用最长共同前缀进行匹配查找。t a p e s t r y 使用邻居映射表进行 最长前缀匹配查找，并可把消息传递到最近的存放所要求的对象拷贝的节点。以上 介绍的四种基于分布式哈希表的查找机制有很多相似之处。 由此可知在n a p s t e r 和c m u t e l l a 中使用关键词查询的方法，在基于分布式哈希 表的p 2 p 系统中关键词经哈希后成为唯一的关键值，就是说基于分布式哈希表查找 系统通过一个不透明的关键值来对文件进行查询。关键值选择的方法由构筑在d h t 之上的应用程序所决定，它缺少有效的关键词查询的功能。然而经改进后，可以不 把关键词的查询直接映射在存有相应哈希值的节点上。而是映射在一个哈希表上， 节点再映射到此哈希表上来提供高效的关键词查询。 针对以上搜索技术，先后出现了好多种改进算法，从不同的角度对搜索机制进 行了改进，比如引进超节点的概念、采用逐步加深与有向宽度优先搜索相结合、利 用局部索引和路由索引等等相关方法，不同程度上改进了系统效率。 2 华北电力大学硕士学位论文 1 3 本选题的主要研究内容 本选题针对p 2 p 系统中节点频繁进出网络导致系统自组织性效率低下，系统整 体性能降低的问题，提出一种改进策略。节点的路由信息对查询很有价值，节点离 开或者失效时，节点的路由信息也会丢失，p 2 p 网络的路由性能会受到很大的影响。 当前的p 2 p 网络采取对文件进行备份以及路由的容错控制等措施，但会降低路由质 量。p 2 p 系统中多数节点有相对固定的进出网络的规律，利用这个特点本文提出了 一种状态缓存机制( s t a t ec a c h em e c h a n i s m ) s c m ，有选择的记录和维护那些可能很快 回到网络中来的离开节点的路由信息，使系统能够简化自组织性，提供高质量的路 由服务。本文主要围绕以下几个方面进行学习和研究： ( 1 ) 分析研究当前p 2 p 网络资源搜索的各种路由算法 针对当前p 2 p 网络的典型路由算法，进行分析比较，找出各自的特点以及优势。 ( 2 ) 提出经过改进的路由算法 在分析比较当前各种路由算法的基础上，针对某一种路由机制，提出改进的路 由算法，达到提高资源搜索效率和改善网络性能的目的。 ( 3 ) 采用模拟试验验证算法的可行性和有效性 通过模拟p 2 p 网络环境，检测算法的可行性，观察系统效率是否有所提高。 1 4 本章小结 本章阐述了无论是从实用性还是学术性上，研究并改进p 2 p 网络的资源搜索技 术都有很重要的意义，通过对p 2 p 搜索技术的发展现状进行了解，确定本选题主要 研究内容。 华北电力大学硕士学位论文 2 一p 2 p 的概念 第二章p 2 p 概述 p 2 p 是一种技术，但更多的是一种思想，有着改变整个互联网基础的潜能的思 想。 p 2 p 是p e e r - t o - p e e r 的缩写，p e e r 在英语里有“( 地位、能力等) 同等者”、“同事” 和“伙伴”等意义。这样一来，p 2 p 也就可以理解为“伙伴对伙伴”或者“节点对 节点”的意思，或称为对等网。目前人们认为其在加强网络上人的交流、文件交换、 分布计算等方面大有前途“。 p 2 p 起源于最初的联网通信方式，如在建筑物内p c 通过局域网互联，不同建 筑物间通过m o d e m 远程拨号互联。其中建立在t c p i p 协议之上的通信模式构成了 今日互联网的基础，所以从基础技术角度看，p 2 p 不是新技术，而是新的应用技术 模式。 简单的说，p 2 p 直接将人们联系起来，让人们通过互联网直接交互。p 2 p 使得 网络上的沟通变得容易、更直接共享和交互，真正地消除中间环节。p 2 p 就是人可 以直接连接到其他用户的计算机、交换文件，而不是像过去那样连接到服务器去浏 览与下载。p 2 p 另一个重要特点是改变互联网现在的以以太网为中心的状态，重返 “非中心化”，并把权力交还给用户。p 2 p 看起来似乎很新，但是正如b 2 c 、b 2 b 是将现实世界中很平常的东西移植到互联网上一样，p 2 p 并不是什么新东西。在现 实生活中我们每天都按照p 2 p 模式面对面地或者通过电话交流和沟通。 即使从网络看，p 2 p 也不是新概念，p 2 p 是互联网整体架构的基础。互联网最 基本的协议t c p i p 并没有客户机和服务器的概念，所有的设备都是通讯的平等的 一端。在十年之前，所有的互联网上的系统都同时具有服务器和客户机的功能。当 然，后来发展的那些架构在t c p i p 之上的软件的确采用了客户机，服务器的结构： 浏览器和w e b 服务器，邮件客户端和邮件服务器。但是，对于服务器来说，它们之 间仍然是对等联网的。以e m a i l 为例，互联网上并没有一个巨大的、唯一的邮件服 务器来处理所有的e m a i l ，而是对等网的邮件服务器相互协作把e m a i l 传送到相应的 服务器上去。另外用户之间e m a i l 则一直是对等的联络渠道。 p 2 p 引导网络应用的核心从中央服务器到网络边缘的终端设备扩散：服务器到 服务器，服务器到p c 机，p c 机到p c 机，p c 机到w a p 手机，所有网络节点的设 备都可以建立p 2 p 对话。这使人们在i n t e m e t 上的共享行为被提到了一个更高的层 次，使人们以更主动深刻的方式参与到网络中去p 2 p 给互联网的分布、共享精神 4 华北电力大学硕士学位论文 带来了无限的遐想，有观点认为至少有1 0 0 种应用能被开发出来，甚至更多。但是 从目前的应用来看，p 2 p 的威力还主要体现在大范围的共享、搜索的优势上”。 p 2 p 的出现和迅速发展适应了某些新技术与软件工程结合而形成分散工作的趋 势，同时随着互联网的发展以及b 2 b 商务交易方式的日益流行，全面的分布式计算 也成了一种商业需求，在过去十年里，渐渐形成了一种从集中的单机系统转向分布 式系统的趋势，正是这些因素导致了p 2 p 技术的快速发展。p 2 p 计算克服了集中式计 算中对功能强大的网络计算机的需求以及昂贵的带宽开销的缺陷，从而提高了系统 的效率【引。 事实上，网络上现有的许多服务可以归入p 2 p 的行列。即时讯息系统譬如i c q 、 a o li n s t a n tm e s s e n g e r 、y a h o op a g e r 、微软的m s nm e s s e n g e r 以及国内的o l c q 都 是最流行的p 2 p 应用。它们允许用户互相沟通和交换信息、交换文件。用户之间的 信息交流不是直接的，需要有位于中心的服务器来协调。但这些系统并没有诸如搜 索这种对于大量信息共享非常重要的功能，这个特征的缺乏可能正是为什么即时讯 息出现很久但是并没有能够产生如n a p s t e r 这样的影响的原因之一。 2 2 p 2 p 与现有互联网技术比较 目前互联网主要技术模式是c s 方式，此方式要在互联网上设置拥有强大处理 能力和大带宽的高性能计算机，配合高档的服务器软件，再将大量的数据集中存放 在上面，并且要安装多样化的服务软件，在集中处理数据的同时可以对互联网上其 它p c 进行服务，提供或接收数据，提供处理能力及其它应用。对于一台与服务器 联机并接受服务的p c 机来说，这台p c 机就是客户机，其性能可以相对弱小。而 p 2 p 技术的特征之一就是弱化了服务器的作用，甚至取消服务器，任意两台p c 互 为服务器，同时又是客户机，即对等。下面是p 2 p 与c s 方式的一些比较： c s 方式造成互联网络上的集中，无论信息资源还是成本资源均向同一方向集 中，这样的模式符合一对多、强对弱的社会关系形式，如政府对个人、对企业，大 企业对小企业，学校对学生，企业对职工等等关系。所以c s 方式是符合市场需求 的。p 2 p 方式将导致信息数量、成本资源都向互联网各点均匀分布，也就是所谓“边 缘化“的趋势。此模式符合“一对一”的特点，以及彼此相当的社会关系形式，如个人 对个人，规模相当的企业之间，等等，这也是符合市场需求的( 如i c q ) 。所以这两 种方式会共存，有关p 2 p 即将替代c s 模式的说法是不成立的。p 2 p 有其独特的市 场空间，是现有互联网应用的补充，这一点应该是毫无疑问的。 华北电力大学硕士学位论文 2 3p 2 p 技术特性 p 2 p 有如下一些特点： ( 1 ) 既是客户端又是服务器端，如何表现取决于用户的要求，网络应用由使用者自 由驱动。 ( 2 ) 信息在网络设备间直接流动，高速及时，降低中转服务成本。 ( 3 ) 构成网络设备互动的基础和应用。 ( 4 ) 在使网络信息分散化的同时，相同特性的p 2 p 设备可以构成存在于互联网这张 大网中的子网，使信息按新方式又一次集中。 2 4p 2 p 的兴起和应用 1 9 9 9 年1 月，正在读大学一年级的s h a w nf a n n i n g 开发了一个叫n a p s t c r 的 软件。这个软件能让音乐迷之间方便地共享自己硬盘上的m p 3 音乐。这个软件通 过索引服务器找到需要的m p 3 文件后，它会直接连接拥有该文件的其它用户主机 并下载。这避免了原来集中下载服务器的存储空间和带宽瓶颈。这个新的应用受到 用户的极大欢迎，最高峰的时候注册用户数曾达到8 0 0 0 万。以至于同年1 2 月美 国唱片业协会( r i a a ) 代表环球音乐、索尼音乐、华纳音乐、百代唱片、b m g 等七 大唱片公司以违反版权保护法为由把n a p s t e r 告上法庭。他们称n a p s t e r 向网民提 供m p 3 文件共享软件侵犯了音乐版权，要求法院关闭该公司并赔偿损失1 亿美 元。虽然经过漫长的法律诉讼，n a p s t e r 最终不得不从索引服务器上删除所有受版 权保护的条目。但是p 2 p 的颠覆性力量第一次引起了全世界的瞩目”。 就在n a p s t e r 风生水起，却横遭版权诉讼的同时，2 0 0 0 年3 月a o l ( 美国在线) 旗下的n u l l s o f l 在其网站上发布了一款名叫g n u t e l l a 的软件。这个新软件和n a p s t e r 有着类似的功能，但是不再需要任何中心服务器作资源索引。可以说，这是第一款 完全意义上的p 2 p 软件，推出以后立即受到广泛的关注。 从此以后，p 2 p 软件似乎一发不可收拾。现在大家熟悉的b i t t o r r e n t ，e m u l e 等等都是p 2 p 在文件共享领域的良好范例。 目前p 2 p 的应用主要有：文件交换、对等计算、协同工作、搜索引擎、即时通 讯、基于i n t e r a c t 的文件存储系统等儿小。 ( 1 ) 文件交换 传统的w e b 方式中，要实现文件交换需要w e b 服务器的大力参与，通过将文 件上传到某个特定的网站，用户再到该网站搜索需要的文件，然后下载。这就要求 w e b 服务器能够对大量用户的访问提供有效的服务，成为w e b 应用的瓶颈之一。 而p 2 p 技术可以使用户利用基于p 2 p 的网络协议，直接从含有所需文件的对等节点 6 华北电力大学硕士学位论文 下载该文件。应用实例有：n a p s t e r 、g n u t e l l a 、f r e e n e t 、b i t t o r r e n t ，e m u l e 等。 ( 2 ) 对等计算 通过众多计算机来完成超级计算机的功能，是科学家梦寐以求的事情。采用p 2 p 技术的对等计算，正是把网络中的众多计算机暂时不用的计算能力连接起来，使用 积累的能力执行超级计算机的任务。任何需要大量数据处理的行业都可从对等计算 中获利，如天气预报、动画制作、基因组的研究等，有了对等计算之后，就无需昂 贵的超级计算机了。应用实例有：d i s t r i b u t e n e t 和s e t i h o m e 等。 ( 3 ) 协同工作 协同工作是指多个用户之间利用网络中的协同计算平台来共同完成某项任务， 共享信息资源等。协同工作是w e b 更具个性化的特征，使用户可以按自己的方式 来和其他人共享信息。企业机构的日益分散，员工和客户游离不定，人们的工作环 境起了很大的变化。当前的以服务器为中心的c s 集中式互联网结构不再适合这种 环境的变化。p 2 p 技术的出现，使协同工作成为可能。通过让绝大部分的节点和其 它节点直接交互，p 2 p 大大减弱了中间商的作用，使个人电脑再一次成为商务中心 的内容的主要存储地。p 2 p 技术使得人们在互联网上进行实时信息交互交流变得更 方便和容易。互联网上任意两台p c 都可建立实时的联系，建立了一个安全共享的 虚拟空间，用户在此基础上进行各种各样的活动。采用p 2 p 技术，可以去掉目前协 同工作系统中的中央服务器，参与协同工作的计算机直接建立连接。应用实例有： i n t e l 的n e t b a t c h 等。 ( 4 ) 搜索引擎 p 2 p 技术的另一个优势是开发出强大的搜索工具，使用户深度搜索文档成为可 能，为互联网的信息搜索提供了全新的解决办法。运用p 2 p 技术进行深度文档搜索， 无需通过w e b 服务器，可以不受信息文档格式和计算机设备的种种限制，达到传 统目录式搜索引擎( 只能搜索到2 0 一一3 0 的网络资源) 无可比拟的深度，理论上 将包括网络上所有开放的信息资源。采用p 2 p 技术，搜索范围将在几秒钟内以几何 级数增长，几分钟内就可搜遍几百万台p c 上的资源。著名的搜索引擎公司g o o g l e 也宣称要采用p 2 p 技术来改进其对信息的搜索能力。应用实例有：i n f r a s e a r e h ， p o i n t e r a 等。 ( 5 ) 即时通讯 所谓即时通讯，其实就是指的诸如i c q ，q i c q 等被称为在线聊天的工具。在 即时通讯领域，a o l 和微软、y a h o o 一直有比较激烈的竞争，当然国内还是q i c q 一家的天下。与i r c ( i n t e m e t r e l a yc h a t t i n g - - i m e m e t 在线聊天系统) 、b b s 或w e b 聊天室比较，p 2 p 的即时通讯软件不仅可以随时知晓对方在线与否，而且通讯双方 7 华北电力大学硕士学位论文 的交流完全是点对点进行，不依赖服务器的性能和带宽。尽管目前的即时通讯技术 一般都带有中心服务器，但中心服务器仅是用来控制用户的认证信息等基本信息， 并且帮助完成节点之间的初始连接工作。 ( 6 ) 用于i n t e r n e t 的文件存储系统 存储技术一直是人们关注的一项技术。由于网络规模的扩大，人们开始将传统 的局域存储技术向基于i n t e r n e t 的文件存储系统发展。一些研究项目开始采用p 2 p 技术来组织和存储文件，象o e e a n s t o r e 、f a r s i t e 等。这些项目的目标都是提供面向 全球的文件存储服务。 2 5p 2 p 网络的分类 2 5 1 按网络结构分类9 3 根据是否有中央服务器，可将p 2 p 网络分为混合式、分散式和有超级节点的p 2 p 网 络。 混合式p 2 p 网络的中央服务器只是索引服务器，与c s 模式中的服务器不同，p 2 p 网络中的索引服务器只记录内容的索引和节点的必要信息，辅助节点之间建立连接，而 内容本身存储在节点中，内容的传送只在节点之间进行，不通过服务器。如n a p s t e r 、 b t 、e d o n k e y 、e g u l e 。 分散式p 2 p 网络没有服务器，通过基于p 2 p 协议的客户端软件搜索网络中存在的对 等节点，节点之间可直接建立连接，每个节点都是完全平等的，如g n u t e l l a 。 有超级节点的p 2 p 网络中，有着高网速( 特别是很高的上行速率) 和高性能的计算机 被自动设置为超级节点。超级节点作为其它用户的索引服务器。随着节点的频繁加入和 退出，超级节点有着很大的动态性，如f a s t t r a c k 。 有中央服务器的p 2 p 网络易于管理，易于发现网络节点，搜索速度较快。但是，存 在单点失效问题，一旦中央服务器出现故障，整个网络将陷于瘫痪。没有超级节点的分 散式p 2 p 网络则没有单点失效问题，任何一个节点退出网络或出现故障，都不会造成显 著影响。但是不易管理，不易发现全部网络节点，搜索相对较慢或者算法较复杂。超级 节点的p 2 p 网络结合了前两者的优点，但是也有新问题，如怎样管理超级节点。 2 5 2 按内容与网络拓扑结构的关系分类 根据网络中存储的内容与网络拓扑结构是否相关，可将p 2 p 网络分为结构化、非结 构化和松散结构化的p 2 p 网络。 在结构化网络中，文件( 数据) 的位置与网络拓扑紧密相关。网络的拓扑结构受到严 格控制，文件或者指向文件的指针位于指定位置，文件i d 与文件存储位置通过分布式 8 华北电力大学硕士学位论文 路由表进行映射，如c a n 、t a p e s t r y 、c h o r d 、p a s t r y 。 在非结构化网络中，文件的位置与网络拓扑没有关系，如n a p s t e r 、e d o n k e y 、 b i t t o r r e n t 。 在松散结构化网络中，文件的位置与网络拓扑的关系介于结构化与非结构化之间。 文件的位置受路由表的影响，但不完全确定，如p r e e n e r 。 结构化p 2 p 网络中，进行查询时，不需要发送大量查询报文，可扩展性好。但是， 有节点频繁加入和退出时，网络结构难于维护，降低网络性能。非结构化p 2 p 网络中， 节点的频繁加入和退出，对网络影响不大。但是，进行查询时，需要发送大量查询报文， 而且查询结果不一定全面。松散结构化网络在网络结构的维护和查询性能方面介于前二 者之间。 2 6p 2 p 技术目前研究的问题 2 6 1 性能 国外的一项统计表明，p 2 p 网络的流量占据了整个网络流量的4 0 以上，已经成为 重要的网络应用。如何测量和评估p 2 p 应用的性能以及如何使网络提供满意的p 2 p 服务， 是一个亟待解决的问题。 p 2 p 流量识别是p 2 p 性能测量的基础。目前主要的识别方法是指纹识别法，即通过 报文中是否有某种p 2 p 业务匹配的特征字符串来识别。但是，随着p 2 p 软件的多样化和 匿名性的不断发展，这种识别方式也存在一定的局限性，需要更好的识别方式。 p 2 p 网络中，每个节点既是客户机，又是服务器，即使有中央服务器，它的作用也 被弱化了，每个对等节点的性能，如：对等节点连接在网络上的时间、加入和退出网络 的频繁程度、提供的共享空间大小、提供的共享数据、对等节点之间的连通性、对等节 点的上行下行速率等，都会对整体业务性能产生影响。而在c s 模式的网络中，起主 要作用的服务器的性能基本比较稳定。因为测量内容与网络拓扑不同，所以，两者的性 能测量方法也会有差异。由此可见，p 2 p 的业务特征与基于c s 模式的业务有所不同， 建立p 2 p 网络流量的模型，研究其流量分布、性能指标和测量方法有重要的现实意义。 现有的网络是按照c s 模式进行部署和优化的，p 2 p 网络是在现有网络之上的叠加 网络，如何优化p 2 p 网络，使其提供更好的性能，也有待研究。 2 6 2 搜索 p 2 p 网络规模大、节点分散且不稳定、数据种类多，因此，设计高效的搜索机制， 提供高效的路由服务，快速而准确地找到所需要的数据，才能使p 2 p 网络得以广泛 应用。 9 华北电力大学硕士学位论文 2 6 3 安全 p 2 p 网络的自组性、开放性和匿名性，在给人们带来方便的同时，也存在着极大的 安全隐患。如何预防d o s 、d d o s 攻击，控制病毒、木马不在结构分散的网络中传播，追 踪恶意信息的发布者等，以及如何防止恶意者蓄意破坏网络，都是p 2 p 网络安全有待研 究的问题。 2 7 本章小结 本章首先从p 2 p 的概念、与现有互联网技术的比较、技术特性、兴起和应用方面对 p 2 p 进行了概括介绍，最后描述了p 2 p 网络的分类和当前研究的主要问题。 1 0 华北电力大学硕士学位论文 第三章p 2 p 网络路由机制 p 2 p 网络是i n t e r n e t 上的重叠网，它是构建在现有物理网络之上的一层虚拟网 络。如果两个p 2 p 节点相互知道对方的i p 地址，则称它们之间就存在一条边。相 互之间存在边的两个节点称为邻居。p 2 p 节点和边共同构成了p 2 p 网络。 理论上任意两个节点间都可以建立一条边，但实际情况并非如此。选择哪些节 点建立边是由p 2 p 路由算法决定的。路由算法不同，构成的p 2 p 网络拓扑也不一样。 p 2 p 网络的路由机制很大程度上决定了网络性能和搜索效率，本章从非结构化 p 2 p 网络、结构化p 2 p 网络和松散结构化p 2 p 网络的角度分别介绍了其路由机制。 3 1非结构化p 2 p 网络的路由机制 区分p 2 p 网络是否是结构化的标准是该p 2 p 网络的文件路由是否采用分布式哈 希表( d i s t r i b u t e d h a s h t a b l e s ，d h t ) ，文件路由采用d h t 的p 2 p 网络是结构化的p 2 p 网络，而文件路由不采用d h t 的p 2 p 网络是非结构化的p 2 p 网络，d h t 是结构化 和非结构化对等网络的根本区别。 3 1 1n a p s t e r n a p s t e r 属于集中式的资源定位模型，它有一台专门的服务器负责专门提供目录 索引和资源定位服务。所有p 2 p 节点的资源信息都集中存储在这台服务器上。每个 节点需要查询和定位资源时，就向该服务器发送定位请求。服务器根据请求，查询 目录索引，再将结果返回请求节点。 n a p s t e r 是一个众所周知的p 2 p 系统。正是因为n a p s t e r 的兴起和成功推广以及 使用，使人们开始重视p 2 p 系统。n a p s t e r 系统是一个音乐文件交换系统，该系统由 运行客户端软件的注册用户和一个维护中心目录的服务器构成。其中服务器包含： ( 1 ) 所有网络上文件的元数据( 文件名，产生的时间等等) 的索引。 ( 2 ) 注册用户的连接信息表( i p 地址，连接速度等等) 。 ( 3 ) 文件列表包含每个用户拥有和在网络上共享的文件。 每个客户端在启动时，连接到中心服务器，然后给中心数据库发送一个它所维 护的文件列表。当服务器从用户接收到一个查询的时候，它在索引中查找匹配的文 件，返回拥有这个文件的用户列表。然后用户和拥有这个文件的实体建立直接的连 接，并且下载文件。n a p s t e r 的中心数据库负责储存网络上可用文件列表和这些可用 文件的拥有者，而实际的文件则存储在客户端。n a p s t e r 的结构如下图所示。 华北电力大学硕士学位论文 图3 一ln a p s t e r 的结构 n a p s t e r 最大优点是目录索引和定位信息维护简单，资源发现效率高并且支持复 杂的部分关键字查询。存在的问题也比较多u ： ( 1 ) 中央服务器的瘫痪容易导致整个网络的崩馈，可靠性和安全性较低。 ( 2 ) 随着网络规模的扩大，对中央索引服务器进行维护和更新的费用将急剧增 加，所需成本过高。 ( 3 ) 中央服务器的存在引起共享资源在版权问题上的纠纷，并因此被攻击为非 纯粹意义上的p 2 p 网络模型。对小型网络而言，集中目录式模型在管理和控制方面 占一定优势。但鉴于其存在的种种缺陷，n a p s t e r 并不适合大型网络应用。 3 1 2g n u t e i l a c m u t e l l a 是n u l l s o f t 公司的j u s t i nf r a n k e l 于2 0 0 0 年推出的一款开放源代码音 乐文件共享工具，现在有多种基于c - n u t e l l a 协议的软件，如g n u e l e u s 、l i m e w i r e 、 b e a r s h a r e 等，国内的o p e n - e x t 的文件共享功能也是基于o n u t e l l a 协议的。 c r n m e l l a 对等节点间的通信由协议描述符集p i n g 、p o n g 、q u e r y 、q u e r y h i t 、p u s h 实现。其广播策略为：( 1 ) 公平简单的向前广播消息；( 2 ) 丢弃已处理的消息；( 3 ) 1 2 华北电力大学硕士学位论文 丢弃订l = l 的消息：( 4 ) 源路返回请求的应答消息；( 5 ) 向所有连接点广播节点自 己产生的消息。对等节点间通信描述符集如下“： p i n g ：用于在g n u t e l l a 网络中主动发现对等节点。一个收到p i n g 描述符的对 等节点会向发送方响应一个或多个p o n g 描述符。 p o n g ：用于对p i n g 响应的描述符。它包括一个g n u t e l l a 对等节点地址和有关 该节点提供给网络共享的信息。 q u e r y ：是搜索g n u t e l l a 分布式网络共享信息的主要机制，一个收到q u e r y 描 述符的对等节点，如果其本地共享信息与q u e r y 搜索的内容匹配，将会响应一个 q u e r y h i t 给q u e r y 的发起者。 q u e r y h i t ：用于对q u e r y 响应的描述符。它包括匹配q u e r y 搜索数据的对等节 点的i p 地址及端口号、传输速度及结果集、对等节点标识等。 p u s h ：提供一种机制允许一台处于防火墙的对等节点向网络提供基于文件的数 据。 对等节点请求加入是通过访问当前g n u t e l l a 网络中某特殊活动站点提供的“主机 缓存服务”( h o s tc a c h es e r v i c e s ) 机制获得地址，新对等节点与之建立一个t c p i p 连 接，加到g n u t e l l a 网络，使用g n u t e l l a 协议描述符进行通信。协议描述符在使用时， 都必须加上一个前导头d e s c r i p t o rh e a d e r ，其结构如表3 - i 所示。 表3 一id e s c r i p t o rh e a d e r 结构 d e s c r i p t o r i d ：一个1 6 位的字符串，在网络中唯一标识某次通信的协议描述符。 其中：p a y l o a dd e s c r i p t o r0 x 0 0 = p i n g ，0 x 0 1 = p o n g ，0 x 4 0 = p u s h ，o x 8 0 = q u e r y ， o x 8 l = q u e r y h i t ；t t l ：生命周期，即在被从网络中移出之前，某次通信协议描述符 能被对等节点转发的时间数；h o p s ：通信协议描述符被对等机转发的时间数，应满 足等式：t t l ( 0 ) = t t l ( i ) + h o p s o ) ，其中，i o ，代表描述符被转发的第i 跳；p a y l o a d l e n g t h ：跟在前导头后的描述符的长度，下一个描述符的前导头定位实际上是靠上 一个描述符的长度来定位。 作为一个对等网络，g n u t e l l a 中每个节点都按照完全相同的办法处理消息的响 应和转发。它们对传入的消息处理规则有以下6 条“： ( 1 ) p o n g 消息仅能沿着转发输入p i n g 消息的同样路径反向发送。该规则保证了 只有那些路由了p i n g 信息的对等节点才能看见响应的p o n g 。如果某个节点接收到 华北电力大学硕士学位论文 一个d e s c r i p t o r i d = n 的p o n g 信息，但却没有收到过d e s c r i p t o r i d = n 的p i n g 消息， 则就会将该p o n g 消息从网络中删除。 ( 2 ) 同样道理，q u e r y h i t 消息仅能沿着转发输入q u e r y 消息的同样路径反向发 送。该规则保证了只有那些路由了q u e r y 信息的节点才能看见响应的q u e r y h i t 。如 果某个节点接收到一个d e s c r i p t o ri d = n 的q u e r y h i t 信息，但却未转发过d e s c r i p t o r i d = n 的q u e r y 消息，则就会将该q u e r y h i t 消息从网络中删除。 ( 3 ) p u s h 消息仅能沿着转发输入q u e r y h i t 消息的同样路径发送。该规则保证了 只有那些路由了q u e r y h i t 消息的节点才能看见p u s h 描述符。如果某个节点接收到 一个节点i d e n t i f i e r = n 的p u s h 消息，但却未发送过节点i d e n t i f i e r = n 的q u e r y h i t 消息，则就会将该p u s h 消息从网络中删除。 ( 4 ) 节点将会向除了p i n g 和q u e r y 消息输入方向外的其它所有与之直接相连的 节点转发输入的p i n g 和q u e r y 消息。 ( 5 ) 在进行这种转发之前，将会修改相关的t t l 和h o p s 字段，将t t l 值减 l ，h o p s 值加l 。一旦该t t l 值变成了0 ，则将会把该消息从网络中删除。 ( 6 ) 如果节点收到了与它原来曾经收到过的m e s s a g ei d 、p a y l o a dd e s c r i p t o r 一 样的描述符的话，就不再重复对该消息转发。 如果对等节点a 在初始化时知道在g n u t e l l a 网络中的对等节点b 的i p 地址， 当a 和b 连接后，a 可以获得b 所知道的所有系统节点信息，这样a 就可以和 它所感兴趣的节点建立直接的t c p 1 p 连接。每个c m u t e l l a 节点都定义了本地的共 享文件夹，它们可以根据文件名的部分或者完全匹配进行查找。查找按照简单洪泛 ( f l o o d i n g ) 方式进行，首先传播到所有相邻节点，然后再传播到相邻节点的相邻节点， 直到达到预先确定的层次为止。每条查找消息都带有全局唯一的标识符，防止对同 样的查找消息进行多次响应。用户可以基于查找结果，选择合适的