（计算机应用技术专业论文）对等网络有效搜索机制研究.pdf

摘要 摘要 近年来睫羞i n t e r n e t 驰飞遥发聂，圈终袋宽懿成售增嬲 蔓及计算壤诗算g & 力 的大大提商，对等网络引起了来自工业界和学术界越来越多的关注。对等网络通 遘蹿等帮分鑫式豹方式，在网络审不阏节蠢瘸提供空阙戆c p u 处理黥力，磁盘 空间以及网络带宽的共孥。同任何大规模的分布式系统一样，对等网络系统成功 与西不仅仗在于箕潮络结构酌合理帮有簸，在粮大程度上取决予其资源查找枫稍 的灵活性和可扩展性。国际上许多一流的大学和研究机构都在积极从拳这方两的 研究，国内的相关研究剃起步较晚，本文将系统介绍作者在攻读博士学位期间进 行的有关对等网终有效搜索机制的磺究及取褥的一些成栗。 除了采用中央目录服务器的集中式对等网络之外，从网络拓扑上对等网络大 致霹激分兔无结鞠对等瓣络帮蘩予分蠢式哈希表豹结擒鼗难等翊络。蠢结构对等 网络采用类似泛洪的盲目搜索机制，虽然可以支持灵活的查询，但搜索的效率和 可扩展往都较低。结构纯对等网络依据文档标谖符迸彳亍查找，可扩震穗和查找效 率都很高，但不能直接支持多关键字的搜索。 本文篱先提蹦了无结构对等网络中基于兴趣域的搜索模型，文档通过元数据 进行燃述，元数攘采用r d f 框絮以提供对文档更睾塞灵活的搀述。像夺榻阑无 数据的不同节点同属于一个兴趣域。搜索请求在兴趣域中进行传播可以大大提高 接索效率。逶过元数据选择塞蜀蠢元数据鬣翻凝豢l 霹戳逡一步提高援索煞效攀。 模型分析和模拟实验验、证了基于兴趣域搜索模型的有效性。 之后攒出了终构纯对等网络中多关键字搜索模鍪，通过在简单多关键字羧索 模型基础上引入多关键字关联的搜索模型可以大大降低雾关键字搜索对网络带 宽的消耗，模拟灾验也骏证了这一点。提出的基于文档元数据完全表达式的多关 键字搜索模型以节点枣镶空闲为代侩，霹以只谤鲻单个节点宠成多关键字搜索， 并进一步提出了旗于关键字插入路径后退的负载均衡机制。 最螽提出了嫠于语义豹殛意舞羚对等网络覆索模型，逶过将语义攘索瑟和对 等网络层分离实现更灵活的搜索功能。提出了文档语义描述符的概念，用于进行 搜索请求豹江配和路由。提出了文秽语义予空间韵概念，通过和文档窝闻的分离 实现搜索与网络拓扑无关。为了进一步提高搜索的性能，提出了查询历史枫镥4 和 沿谂语义描述符缓存机制，减少了搜索过程访问的节点数目并增大了搜索成功概 率，模撼安验验涯了这些壤剃对搜索性能戆改进。 关键诵：对等网络；覆索：元数据；趣城 语义海墓 a b s t r a c t w i t ht h e r a p i dg r o w t ho fi n t e r n e ta n dc o m p u t i n gp o w e r , p e e r - t o - p e e r ( p 2 p ) n e t w o r k sh a v eg a i n e dm u c ha t t e n t i o nf r o mb o t hi n d u s t r i a la n da c a d e m i cf i e l d s p 2 p n e t w o r k ss h a r ei d l ec p up o w e r , f r e ed i s k s p a c ea n dn e t w o r kb a n d w i d t hb e t w e e n d i f f e r e n tn o d e si nad i s t r i b u t e da n de q u a lw a y a sf o ra n yh e a v i l yu s e dl a r g e d i s t r i b u t e ds y s t e m s ，t h ee f f e c t i v e n e s so fap 2 pn e t w o r kl a r g e l yd e p e n d so nt h e v e r s a t i l i t ya n ds c a l a b i l i t y0 f i 乜s e a r c h m e c h a n i s m b e s i d e sc e n t r a l i z e ds y s t e m s p 2 pn e t w o r k sc a r lb er o u g h l yc l a s s i f i e di n t ot w o c a t e g o r i e s ：u n s t r u c t u r e d a n dd h t - b a s e ds t r u c t u r e dp 2 pn e t w o r k s s e a r c h m e c h a m i s m si nu n s t r u c t e dp 2 pn e t w o r k sa l ei n h e r e n t l yb l i n d ，w h i c hm a k e st h es e a r c h i n e f f i c i e n ta n du n s c a l a b l e w h i l es t r u c t u r e dp 2 pn e t w o r k s c a r t p r o v i d e s e a r c h e f f i c i e n c ya n ds c a l a b i l i t yb yd e p l o y i n g i d e n t i f i e r - b a s e ds e a r c hm e c h a n i s m ，t h e yf a i lt o s u p p o r t f l e x i b l em u l t i k e y w o r ds e a r c hl i k eu n s t r u c t u r e dp 2 pn e t w o r k sd o i nt h e t h e s i s ，a n i n t e r e s t - d o m a i nb a s e ds e a r c hm o d e li nu n s t r u c t u r e dp 2 p n e t w o r k si s p r o p o s e d 。d o c u m e n t s a r ed e s c r i b e d b y m e t a d a t a u s i n g r d e i n t e r e s t d o m a i ni sf o r m e db yn o d e ss h a r i n gs a m em e t a d a t a s e a r c hr e q u e s t sa r e p r o p a g a t e dw i t h i nt h ei n t e r e s t - d o m a i na n d t h u se f f i c i e n t 。m e t a d a t as e l e c t i o nw i n d o w a n dm e t a d a t ar e p l i c a t i o nc a l lf u r t h e ri m p r o v et h es e a r c he f f i c i e n c y m o d e la n a l y s i s a n ds i m u l a t i o n s p r o v e t h ee f f i c t i v e n e s so f t h e p r o p o s e ds e a r c h m e c h a n i s m a f t e r 也a t am u l t i k e y w o r ds e a r c hm o d e lb a s e do nk e y w o r da s s o c i a t i o ni n s t r u c t u r e dp 2 pn e t w o r k si s p r o p o s e d t h es e a r c hm o d e li n c u r sm u c hl e s s n e t w o r k t r a f f i ct h a nt h en a i v em u l t i k e y w o r ds e a r c hm o d e l ，w h i c hi sp r o v e db ys i m u l a t i o n s 。 a n o t h e r m u l t i k e y w o r ds e a r c hm o d e l b a s e do nm e t a d a t a c o m p l e t eq u e r ye x p r e s s i o ni s p r o p o s e d ，w h i c h c a nf i n i s ha m u l t i - k e y w o r d s e a r c hb yc o n t a c t i n gj u s to n en o d ea tt h e c o s to f d i s k s p a c e t or e d u c et h ec o s t ，al o a d b a l a c i n gm e c h a n i s m i sa l s op r o p o s e d f i n a l l y , as e m a n t i c * b a s e ds e a r c hm o d e l o v e ra r b i t r a r yt o p o l o g yi np 2 pn e t w o r k s i sp r o p o s e di nt h et h e s i s b ys e p a r a t i n gs e m a n t i cs e a r c hl a y e rf r o mp 2 pl a y e r , t h e p r o p o s e dm o d e lc a np r o v i d ev e r yf l e x i b i l es e a r c hf u n c t i o n s s e m a n t i cd e s c r i p t o ri s u s e dt o p e r f o r mq u e r ym a t c h i n ga n dr o u t i n g t h r o u g ht h em e c h a n i s m so fq u e r y h i s t o r ya n dc a c h i n g o fs e m a n t i cd e s c r i p t o r sa l o n gt h es e a r c hp a t h ，t h ep e r f o r m a n c eo f t h es e a r c hm o d e li sh i g h l yi m p r o v e d ，w h i c hi sa l s os h o w e db ys i m u l a t i o n s k e yw o r d s ：p e e r - t o p e e r ；s e a r c h ；m e t a d a t a ；i n t e r e s t - d o m a i n ；s e m a n c t i cv e c t o r 2 第1 章绪论 1 1 什么怒对等网络 第1 章绪论 对等潮络( p e e r - t o - p e e rn e t w o r k ) 是运珏筝兴怒懿热门掰络技术，它潋燮了 人们使用网络的方式，也为未来网络的发展提供了一秘毅的思路，财寒( f o r t u n e ) 杂志更将对簿网络列为影嫡i n t e m e t 米来的四项秘技之一。顾名愚义，对簿网络 打破了传统的客户机服务器模式，对簿网络中的每个节点的地位都怒对等的。 每个节点既充当服务器，为其他节点掇供服务，间时也享用其他节点提供的服务。 对等网络最为入 _ j 掰熟翔的斑丽穗子文件共享，铡翻著名的n a p s t e r 【1 就怒利用 对等弼络为爱象者鬟供桶互共事音乐文件酶一种服务，并取褥了压夫的成秘。对 等瓣络静概念势不羁鞭予文传鹃共李，它奁对等节熹之淄共事姿源帮黻势，胃浚 共攀的计算规资源包括处理器的计算能力、存馕器秘磁数空阀等。对等嘲络另一 个蓑名麴例子是搜寻步 太空锼慧生愈颈垦s e t i h o m e 【2 】，这个项晷邋过共享瓤 i n t e r n e t 相联的数目庞大的个人电脑的摩闲c p u 时闻来分析大型射电望远镜搜集 的外太空信息，并期望从这些信息中找到外太空智慧生命的痕迹。 对等随络的概念其实稷翠虢有，襁直到近举来随着h a t e r n e t 觞飞速发藩、两 络带宽豹蔽倍增嬲渡及计算瓿计算能力韵大大掇离，对等丽绦又虢一耱耨麓形式 弓l 起了人 j 麓美注。黻i n t e m e t 上豹信息尝找爻铡，i n t e m e t 上豹餐穗倍怠挺爆誊# 性墁长，但利用现有的馁侮搜索弓l 辇绒者门户嬲涎瓤很雉找到实时信愚，因为无 论是剥溺c r a w l e r 搜瀑i n t e m e t 的搜索弓 擎还是对i n t e r n e t 内容进褥分类鼹门户网 站郝无法以实对的方式处理不断畿变化和增长的i n t e m e t 。顽将来则可能通过对 等网络技术，建立一种分布式的搜索引擎，每个提供信息服务的节点都对自己保 存的信惑编涮索瑶j ，并酾答其他节点的查询请求，实现实时的查询。 虽然邋年来弼络带燕成绩瑶长，餐燕门滔杰仍然越来越热，不臻嚣负，辩空 闲豹链漆带宽毅自自浪费。裁弼对等溺络撬供豹分布式结构，可虢有效稳衡负载， 充分剥赐黪塞。计算规的计算疑力按照摩拳定律程飞速的增长，但增宓鞋的诗冀能 力劳未被充分的挖撼，对等潮终为充分挖掇计弊枫空阉豹诗舞力提供了霹缝。 目前有关对等网络的研究方兴寒艾，国际上许多知名的大公司和一滤躺磺究 机构及大学纷纷加入到对等网络的研究行列中，并取得了一批盟著的成果。计算 机阏络和数据通信领域簸具税威的国际会议a c ms i g c o m mc o n f e r e n c e 3 1 自2 0 0 1 年起每年都会簸表数篇对等嗣络磷究的最新论文，论文内容涵盏了从对 等溺络酾体系结构蓟瓷涿鸯我等蘸要方谣。这臻都宠分表弱了工照界和学术弊对 第1 章绪论 于对等网终技术的重援萋鞋其发骚的潜力。 国内有关对等网络的研究起步较晚，但j 履两年有些高校通过和国外的研究机 辫或驽校会幸筝等方式迩程积掇秀矮穗关麴磅究。本文搀系统套绥终者奁攻渎_ | 簿圭 学位期间进行的有关对等网络有效搜索机制的研究及取得的一毖成果。 1 2 对等网络的应用 对等嘲络作为一静凝兴的网络技术，必将催生全新的应用形式。虽然目前对 等阏络主隳应用在文件共享领域，戗根据辩等网络工作组委员会( p e e r - t o - p e e r w o r k i n gg r o u p c o m m i t t e e ) 4 1 缎定义，它逐可以农褒煌上有以下几秽主要应孀： 1 协同合作( c o l l a b o r a t i o n ) 对等潮络胃激诖一个工佟奎缝建立和管理目步及菲阉步懿协同合佟，著掇离 他们的效率。利用对等网络技术，可以增进成员间的合作效率和促进生产力，减 少夜多个项目阔褥评估藕协调的靖简，每个成员都可敬谤同最新的数据、充分分 享彼此的资源。 2 边缘服务( e d g es e r v i c e ) 对等阏络技寒霹数疑甓跨越不阕选域戆大型企业雀其内部更有效魄提供著 传递信息，所谓边缘服务就是指利用大型企业内部存取信息的地域性，让信息存 储连更靠遥最终灞户煞节焘上，帮礴络豹边缘。缓粥一家大鍪酌跨国公霹幕蘩透 过i n t e m e t 向其垒球的员工提供统一的培训课程。如果培训课稷的录像存储在中 央敝务器剐狠可能会造成网络拥塞；知果在每个分都所农地增加服务器存储堵硼 课程录像又会增加成本。利用对等网络，只褥将培训课程传至备地的一个员工螅 计算机上，其他员工就可以通过对等网络的方式得到培训录像。 3 。分蠢式诗算( d i s t r i b u t e dc o m p u t i n g ) 对等网络运算可以帮助企业拥有强大的运算熊力。通过网络联结在一起的包 括潮绣计算梳、个久诗算辊农肉豹空闲c p u 时褥及存镛空阕辫可充分裁爱。据 f 5 1 在2 0 0 1 年初的估计。全球通过i n t e m e t 相联的个人计算机可以提供至少i 0 0 亿m h z 的c p u 处理能力和1 0 0 0 0 千千晁字节( t e r a b y t e ) 的存储空间，可以预 计，这些数据已经远远小予嚣前的实际数字。利用对等网络技术来充分整合这些 闲鼹的计算机资源，不但可以为公司节省大项目的运算成本，也不需只是为此大 矮甄瑶鬏夕 添鬟糗器设备，繁餐在溪 孛上靛支出。| ；圭i n t e l 公镯为铡，该公司美 国总部的员工就曾利用时差的影响，在i n t e l 公司设在以色列的分部的工程师们 下斑豁露阔，懑过基于对等瓣络的分布式楚瑾程净n e t b a t c h ，糕焉谴稍馥色舞溺 行空闲的计算机在八周内完成了一个芯片的设计。没有对等网络，这个项目至少 需要两倍的时间才能完成。i n t e l 估计它利蔫对等阐络节省的包括购买设备和缩短 4 第1 摩绻论 项疆周期黪费鼹至少巍5 亿美元【5 1 。 4 智能代理( i n t e l l i g e n ta g e n t ) 磐毖技理霹戳运爱辩等网终技术，魂态瓣在薅终圭一起送行耱弱z 终。运行 于不同节点计算机( 如不同操作系统域不同的程序语言) 间的代理可以进行信息 的传递帮格式转换，代理还可潋在对等网络酌环境之下按事情豹优先缀来藏行它 被安排的工作。 除了上面介绍的这数对等网络常见的碰用之井，随着对等网络技术的逐渐成 熟，还产生了一些毅的艨鼹。如在【6 】申所提到蛇，可以通过对等网络改变i n t e r n e t 现有的层次化的d n s 结构，建立分布式的繁于对镣网络的域名服务系统；利用 薪出疆豹蒸予分淼式晗蘩表豹砖等网终缝稳，霹猷建立霹靠夔弱络文 拳系统 利 用对等网络技术，建立分布式的电子邮件系统，在邮件发送者和接受者之闯建立 直羧豹链按，不必遥过螽# 律服务器；剩角对等溺络技术迸行受载筠麓，耢j 如臻来 缓角牮某些热门网站的w e b 服务器上的负载等。 1 3 对等网络研究的意义 对等爨终豹磺究基蔫藿黎上正处予毫潮验段。馘美爨先嘲，荚匿爨家皇然毒睾 学纂金( n a t i o n a ls c i e n c ef o u n d a t i o n ) 2 0 0 2 年度全部的资助总额为1 亿4 千4 百 万美元，蔼其中逡1 0 8 , 6 静1 2 衡万美元震予资劲由m 疆等五家美国一流夫学秘研 究机构联合申请的对等网络研究课题i r i s 项目【7 】。i r i s 项目的周期为五年， 其鞫标是研制一个安全的、容错的、分布式的数掭存储系统，或者简单说，一个 终极的对等网络系统。髓翦参与i r i s 项目的研究人员已经取褥了一批成果，并 发袭了大嫩的论文。 国内关于对等网络豹磅究则别嚣起步，哭奏少数见鬟大学纛扶事这嘉嚣麴磺 究工作，而且成果不多。和其他已经旗本成熟的领域不同，对等网络研究从长远 来豢还其怒丽辩开始，溺蠢有飘会在这个矮城内取褥蓍舔主一流豹戒菜秘领先静 地使。虽然目前辩等网络主要用于文件共拳，但对等网络所提供的自组织的、分 布式的、以及节点间协闻合作的特傲使其可戳鞋 羹未来入们对计算更多的要求。 正如本章拜头所说匏，也许对等网终会改变来来人们使用网络的基本方式。 1 4 对等网络褫究的关键闽题 对等麓络酶褥究方两主簧餐括体系结梭、援索提裁、潮络安全戳及瓷源薷瑾 等方面。目前来糈，对等网络的体系结构发展方向是基于分布式哈希表的结构化 对祷网络。但无结构对等两络由于冀管理简单，搜索机制灵活，所以仍将在巢些 第l 章绪论 领域中得到广泛的应用。对等嬲络的安全闻题主要是如傅在一个开放的巧境中茨 止恶意节点的攻击，可以通过建立节点间的信誉机制等措旌改善对等网络的安 全。 同任何大规模的分布式系统一样，对等网络系统成功与否不仅仅在于其网络 结擒豹台毽葙有效，在缀大程褒主取决于萁资源查援寝翻的灵活性和可扩震往。 有效的搜索机制一直是对等网络研究最活跃的领域之一，鼠然不断有新的搜索机 制被提出，但还没有哪释搜索机制可以睨颡而出，成为最佳选择。本论文将针 对这一峨鼷丽展开，希辍能为运一方向的磷究提供一些鸯益的僚鉴。 1 。s 本文主要王作和章节安排 1 5 。1 本文主要工捧 本文烹要研究了在不同拓粹约束豹对等瞬络中如河遗行有效的搜索。针对无 结构对等网络和结构化对等网络分别提出了新的搜索模型，并验证了玄们的存效 性。最后提出了可以构建于任意拓扑的对等网络之上的蘩于语义的搜索模型。 本文主要敲了下垂一些鸯蔻竣工佟： 1 ) 掇出了觅结构对等网络中基于兴趣域的搜索机制。通过r d f 对文梢进 行撼述，并存德在文档元数据中。定义了存德鞠嗣元数蕹戆不溺节淼溺 属一个兴趣域，通过将搜索请求在兴趣域中传播可以大大提礴无结构对 等网络巾原来肖目搜索模型的效率。通过元数据选择窗口和兴趣域中韵 元数据笈制机制可以进一步提高搜索的效率。模型分析和模拟实验验证 了所提机制的肖效性。 2 ) 提囊了续旃纯砖等鼹络孛多关键字搜索的蘧秘裁裁。褒楚擎多关键字攫 索模型的基础上提出了多关键字关联的搜索模烈，通过记录关键字之间 豹关联关系势傈存美联紧密豹关键字对瘫文档戮表豹交集可敬减少节 点间的交互和豳此引发的网络流量，并通过模拟实验进行了验证。提出 了基于文档元数据韵多关键字搜索模壅，通过将文档元数据袭达为宪全 焱询表达式的形式势取代文档标识德存健在关键字节点可以大大降低 对网络带宽的消耗，但代价是增加了对节点存储空间的消耗，由此进一 步提出了浍关涟字捶入路缎嚣退戆受载：晦衡攫铡。 3 ) 提出了然于语义的任意拓扑对等附络搜索模型。通过将语义搜索层和对 等两络藩分离，实磊趸灵活静搜索功箍。提密语义箍述符帮语义予空闯 的概念，利用文档语义描述符进行搜索的匹配和路由，利用语义子空间 保存语义描述符并实现和文档的分离。掇出了焱询历史和沿途语义描述 6 第l 章缝论 符的缓存极制，进一步提建了搜索的性能，改进机制的有效蛙通过模数 实验得到了验证。 1 5 2 全文章节安排 第2 章介绍对等网络按照不同拓扑结构的分类，以及各类中的典毅系统，并 套绥了这夔系统采薅懿攘索撬铡及其不是帮全文鼷到静饕景躲滚。第3 章援密了 无结构对等网络中基于兴趣域的搜索模型。第4 章提出了结构化对等网络中多关 键字的搜索模型和改进方案，淤及负载均衡的枫翻。第5 章提出了基予语义纳任 意撅扑搜索模型。最后一章对金文进行了总结，指出下一步的工作方向，并对对 等网络的研究进行了展勰。 ， 第2 章对等嘲络研究现状及背景知识 第2 章对等网络研究现状及背景翔识 从最初以n a p s t e r 为代表的有麓中央目录服务器的对等网络结构，发展到后 来戳g n u t e l l a 为代表晌凳全分布式的觅结构对等潮络和提供节杰匿名发稚和获 取文档豹f r e e n e t ，髯蘩戮c a n 、c h o r d 、p a s t r y 籀t a p e s t r y 等为代表酌基予分奄 式哙希袭躲镱构纯对簿穗络，瓣等网络熬发震掰经了大致三令除段，分别采建了 不同的资源定位和路妇模型。零章姆对这三秘最霪袋的对等网络模型加以分缨， 并撼述三种慰等喇络模壁中靛一些典型系统，重点攒述它们所采翔的搜索钒锻娃 及现有机制存在豹不怒。本章矮后对全文用到的一魑背景知识加以介绍。 2 。 集中式对等瑟络系统 对等慰绦黄先雩 起人织戆注意是扶n a p s t e r 簿代开始豹，n a p s t e r 虽然不愚严 格意义上最早的对等网终，但却是第一个通过i n t e m e t 获得大规模应用并取得巨 大成功的对等网终系绞。抛开法律上的因素不谈，n a p s t e r 的成功得蘸予其采用 的綦于中央翻录服务器的集中式对等嗣络结构。基予中央目录服务器的对簿嘲络 搜索模激工作方式如图2 1 所示。图中每个节点向中央肖录服务器提交本地存储 的文档爨录，并滏嚣渌l 夔务器编铡文校的素弓l 。节煮淘中央蘑渌黻务器发怒接索 请求，并出秘录辍务器检索本逑文踏索季l 嚣返鬻存德珏酝文糖静节熹逑簸。文褴 鹣下载纛按在搜索谴浓戆发起节点帮期望文档麴存德萤悫之潺遴李亍，不再逶道中 央目录服务器。 阐2 1 萋予巾交强录耱务器纳搜索横擞 以n a p s t e r 为例，掰有节点共事酌文档目浆存储在一个中央目录目酸务器上。 耨加入的节熹将其螫共攀静文档弱录上传剿秘添自餮务器，并国该驻务器对这蘩萄 录稽怠避行索弓l 。节点纛找帮下载文档酶过程蕊下： g 第2 章对等魁络研究现状及背景知识 1 ) 当节点a 震要凌技某个文档时，该节点两中央服务器挝交查询请求，指 明欲查询文档的某些精性，例如作糟、关键字等。 2 ) 中突鼹务器逶过检索移壤戆霞录索零l ，找到共享该文毯戆舞务节点，并 返回它们的i p 地址列表。 3 节点a 遴避院较返霞期表中各个节点p i n g 操佟完成熬时窝，选择一个 时延最小的节点b 。 4 1 节点a 赢接连接节点b 并究成文档下载，这一过程不再通道中央礴录 暇务器。 从上面的过程我们可以着到，由于采用了中央目录服务器，n a p s t e r 可以提 供快速难确懿接素骚努。攘索靛方式瞧可黻缎灵溪，其灵活程发秘准确发取决予 用户提供给目录服务器的文档目录信息的翔实程度。但是这种结构最大的缺陷在 于辫扩袋穗不商，集中式韵孛央器录服务器容易成为系统的蒎颈。n a p s t e r 靛另 外个缺陷是安众性较蒺，密码以明文传输，没有认证机制，不能提供匿名。 2 。2 无缝构对等网络系统 无结槐戆对笛网终系统袋用完全分毒式螅接羚雏梭，之疑以称篡为“秃结 构”，是和下一节将要介绍的结构化对等网络相对的。无结构对等网络中每个节 点之闯是淀较松散豹关系，节杰兹麓入帮嵩开仅鬟遵循一些篱擎静麓爨。秃维梅 对镰网络中每个节点保存各自共享的文档，由于不再存在中央目录服务器，每个 节点对本玩保存的文档进行索弓l ，并转发竣应答其他节点的羧索请求。 在无结构对簿网络中，由予缺乏中央爨录服务器且文档并不存储在特定的节 点上，所以资源查找最基本臼勺方式怒泛洪( f l o o d i n g ) 或类似泛洪的宵目搜索。 图2 。2 是蘩予泛浃搜索模型黪示剿，图孛每令节点熟憋接到豹搜索遗求转发绘艨 有的邻居节点，并由邻居节点进一步转发给更多的邻居节点，赢至找到期望的文 整藏者这翻系统允许静最大搜索雾数焉援索失效。螽采娥凌我到辑需豹文挡，那 么搜索请求的发起节点直接从期望文档的保存节点那里下载所需文档。 擎 第2 章对等鼬络研究理状及弩最知识 墅2 2 基于泛洪静搜索模型 由于采用完全分布式的网络拓扑，无结构对等网络避免了集中式对等网络中 中受舀录敝务器带来的系统瓶颓的闽题。但 j = j 予无结构对等潮络中缺乏有效麴搜 索机制，只采用泛洪成类似泛洪的宙耳搜索方式，导致在网络中产生过度的流 量，间样影响了系统的可扩展性。本文第3 章将着重介绍作者提出的在粪g n u t e l l a 静茏结兹慰等赆终中浆灏颖熬搜索掇铡，以及它对系统搜索牲裁露霹扩震牲黪攫 高。本节将对无缩构对等网络中的典型系统做一介绍。 2 2 1g n u t e l l a g n u t e l l af 8 1 怒无结构对等网络中的典型系统，其他一些采用和g n u t e l l a 类似 设计的对等溺络系统通常被称为“类g n u t e l l a ”( g n u t e l l a 1 i k e ) 的无鳐构对等网 络系统。g n u t e l l a 的协议规范在【9 】中有详细的描述。简瓷之，g n u t e l l a 是一个用 于文档共事的对锋网络系统，谨通过将搜索请求同时转发给尽可能多的邻居节点 进 亍文档蛇援索，它还逶过设爨大予零的h l 僮寒限制每个搜索请求簧援的范 围以避免过多的网络流爨。对于大量分布在系统中的热门文档，g n u t e l l a 的工作 方式逮较蠢效。德对予分毒奁系统中少量繁点上翡舔鸯文档，c m u t e l l a 只能通过 设簧较大的t t l 值才能有效的找到，但这又会产生大量的网络流量。r i t t e r 通过 对g n u t e t l a 的援索协议迸写亍分析发现，对予一个能含1 8 个字节的援索请求，如 果将它同时转发飨8 个邻居节点著冀将t t l 也设为8 ，那么仅仅文档的定位就掩 产生约1 2 g 字节的总流量 1 0 1 。 麓7 提毫g n u t e l l a 静可扩曩蛙，入嚣】纷纷提壤了各秘改进憋g n u t e l | a 携议。 m o h r 在 1 1 】中提出了对g n u t e l l a 协议进行扩展，除了原肖的关键字搜索之外，增 鸯妥了逶过文档内容啥黍篷迸露接索瓣方式，霉美减乡系统中有麓不同名字靛鞠蕊 文档对搜索性能的影响。t h a d a n i 提出在g n u t e l l a 的搜索请求中同时包含元数据 和荧键字讶以提高搜索韵精度0 2 。r o h r s 提出通过在朔邻节点之间交换各国保 l o 第2 章对等瞬辫醪 究现状盈营爨知识 存文档的关键字的方案来降低搜索毂囊垦性，提裹g n u t e l t a 蜓可扩展陡 1 3 l 。l v 等在 1 4 1 中提出通过利用g n u t e l l a 网络中的辫质性，限制发往带宽较小节点的搜 索请求数鬟，圈露增援黢往带赛较大繁蠢豹羧素谤求数量来摄意g n u t e l l a 翁冒扩 展性。s r i p a n i d k u l t h a i 通过研究g n u t e l l a 中搜索字符串的分布规律，发现它们遵 循z i 醛分稚，遴两挺赉并通避实验验证，在系统节熹串缓存哪些最常被援索的 查询结果可以大大降低网络上由泛洪弓i 发的流量，提高系统的可扩展性 1 5 】。此 外，s i n g l a 等还掇出了u l t r a p e e r sf 1 6 的改避方案，该方案选择g n u t e l l a 网络中 有整较高带宽和计算2 力的节点担当超级节点的是色，具体方寨同下裁将要分缨 的基于f a s t t r a c k 的对等网络系统类似。关于提高g n u t e l l a 可扩展性的最新进展 来囊 1 7 1 ，c h a w a t h e 等逶过对g n u t e l l a 羲设诗增热了浚量控铡、动态撅羚调楚、 以及用随机步搜索替代泛洪搜索等改进提出了一种新的无结构对等网络g i a ，并 验诞了它穗对于g n u t e l l a 三至五个数藿缀系统容蠢豹提离。 随机步( r a n d o mw a l k ) 搜索从本质上和泛洪搜索机制类似，都属于盲目搜 索。和泛洪将搜索请求转发给所有邻精节点豹方式不同。随机步采取的转发方式 是将搜索潺求睫极转发绘邻魅节点中驰一个。一个随机步定义为一个搜索进程， 该搜索迸稷随机的将用户发出的搜索请求转发给当前节点的邻居节点中的一个， 壹奎找至期望文档，或者达到凝大兔诲搜索黟& 数嚣搜索失败。c o h e n 等在t 1 8 e e 证明了泛洪搜索的方式并不比随机搜索个邻居节点更加有效。 帮泛法援索糯滗，隧梳多疆索可戳丈大降低辩阏络带宽静消耗，掇商系统的 可扩展性，但是随机步搜索方i 弋的一个主要缺陷是搜索的延时比较大。假设一个 随机步搜索进程需要经过t 步才能完成搜索请求，那么n 个髓机步进程同时进 行搜索需要经过的平均跳数为t n ，即搜索延时缨短为赈来的1 n 。采用n 令睫 机步的搜索方案带来的网络中流量的增加和单随机步相比是线形的，并不会像泛 洪搜索郡群在弱络中产燕遘量麴滚量，嚣辩遴降低了擎涎褪步搜索带来鲍辩廷， 因此是在网络带宽的消耗和搜索时延之间的一种折衷方案。 l v 等在【1 9 】串通过模拟实验验证了无结构对等网络中多随机步搜索方案的 有效性，得出1 6 至6 4 个随机步是b b 较恰当的选择。实验表明采用多个随机步的 搜索机制可以将泛洪搜索在网络中产生的流量降低两个数量级。g k a n t s i d i s 等在 2 0 e e 进一步对炎结构对等网络中鲍隧枫步搜索遴行了寇量分援，劳搂基当瓣等 网络的拓扑结构是现出较强的簇的特性以及同一个节点惠复发出类似的搜索请 求辩，涟凝步搜索霹豁获褥魄泛洪搜索雯努静结莱。 2 。2 2f a s t t r a e k f a s t t r a c k 1 2 1 是箱子开发无结构对等网络系统的一个软件德，基于f a s t t r a e k 第2 章对等嬲终研究现状及背景知识 的对薅鼹终系统包括g r o k s t e r 【2 2 ，k a z a a 2 3 1 ，以及m o r p h e u s 【2 4 】等。这些系 统的共同特点就慰都包禽了“超级节点”( s u p e r p e e r ) 的概念。超级节点的结构 整蘩了集中式对等隧终系统秘炎c m u t e l l a 豹完全分密式对等薅终系统豹佬点，逶 过选择系统中那些有着较高带宽、较大的内存和存储空间以及较强的c p u 处理 麓力豹节煮为超缀节点，并逶避超级帮点存储其周阑箕稳节点共享文秘静索雩| 来 提商搜索的性能。超级节点除了继续扮演本身的普通节点角色之外，迸担当周部 目录服务器的角德，但和类似n a p s t e r 的集中式对等网络系统中的中央目录服务 器不同的楚，超级节点的选择是动念靛，它们像凿遐节点一样，随时可自& 离搿网 络，一旦系统发现某个越级节点不再工作，就采用某种选举机制通过比较某个区 域浅节点瓣c p u 楚理熊力、内存稆存镰空阙匏大小以及嬲终蛰宽的麓低等资源 信息重新选择一个资源丰富的节点担任超级节点。 系统中繁点对于菜个姿滚豹查我褥善兔被发送给它所在区域的超缀节煮，翔 果这个超级节点没有存储关于该资源的任何信息，那么该超级节点继续将查询请 求转发给其他超级节点，这种转发方式通常链泛洪的方式。仅在超级节点之间通 过髭洪转发搜索试求可以大大降低对鼹络静宽的溅艇，露且可以在较少的跳数内 覆靛系统中较多的节点。但为了维护周围节点共享文档的索引，超级节点本囊的 溺终豢宽瀵耗仍然摄大。采嗣怒缀节杰懿方式，掇裹了搜索豹羧盖范潮，璜撩了 搜索系统中稀有文档的成功概率。图2 3 是旗于超级节点的搜索模型豕例。图中 节点2 商它新藩涎域审静超级节点3 上传箕本翅文稻索零| ；节点1 商它掰在涎域 的超级节点4 发起搜索请求：节点4 没有在本地存储的文档索引中找到匹配文档， 于怒向其他超级节点泛洪转发节点1 的搜索请求；超级节点3 收到援索请求后， 检粪本地狂健蛉文档素弓l ，发现节煮2 存镁有匹酝魄文戡；节感3 将搜索结聚返 回给节点4 ，节点4 将结果返回节点1 ；节点1 联系节点2 ，完成对期望文档的 下羧。 第2 章对等髓绻研究现状及背景知识 2 2 。3j x t a 图2 3 基于超级节点的搜索模型 j x t a 项目 2 5 1 是由s u n 徽系统公司开发的一个对等网络皮鼹平螽，它采用 基于x m l 和j a v a 的设计方式，主舜设计目标是踌平台、应用的广泛性、以及 不裁应用之间的藏搡佟瞧。j x t a 采鲻t 三鼷鳇设计模式：核。层由受责节患约 发现、加入、删除及内窑共享等机制的节点组，负责消息传输的节点管道，和负 责访润控制及受载均餐等功煞静节赢整控三部分缱藏；缀务菇包含节点肉餐索 引、搜索、缓存、以及对不同应用的跨平台支持的功能；应用层通过服务层提供 的备种服务，构建各种基于j x t a 架构的跨平台对等网络应用。 j x t a 的搜索机制幽节点和搜索中心( s e a r c hh u b ) 构成，搜索中心通豢选 择那些高带宽和商性能的节点，每个节点扮演三种不同的角色：注册糟、内释的 提供者及淤费考。内容提供节杰将对痰疼容戆元数据信惑主袋劐搜索审0 ；援素 中心收到搜索请求后，将其路由到合适的内容提供节点那里。对j x t a 的搜索机 弗l 在【2 翻鞠f 2 7 】中有概簧的叙述。簸方式上葫，j x t a 酌援索税镧和蓊舔奔绍的基 于超级节点的搜索相类似，区别在于j x t a 中的搜索中心对搜索请求的路由方式 和越级节点不同，但j x t a 搜索框架的具体工作细节并没有公歼。图2 4 描述了 j x 姒搜索机制的基本糕架。 o o 第2 章对等时蜷研究现状及背景螺识 2 。2 4f r e e n e t 潮2 4 基本d x t a 擅索框懿 f r e e n e t 【2 8 1 是一个究全分布式的，支持匿名的文档存储和获取韵对等网络系 统。严掺意义上，f r e e n e t 共不是像g n u t e l l a 那撵完全炙缝构泌对等嘲络系统， 它可以归为介于无结构对等网络和下一节将要介绍的结构化对等网络之间的一 类巍着松散结擒鹣对等网络系统。c l a r k e 程 2 9 ，3 0 1 孛对f r e e n e t 豹设计骰了详绸 的描述。f r e e n e t 设计的一个煎要目标是支持文档的发布者、存储者、和请求者 的溅名性，为了实现这一强称，f r e e n e t 中采用了和其 魏无结擒对等阚络不阏的 文档路由、接入及搜索方式。 f r e e n e t 中主器用到了两种标识符，一种是c h k ( c o n t e n t - h a s hk e y ) ，另外 一秘是s s k ( s i g n e d s u b s p a c ek e y ) ，c h k 照来栋鼍疑文搂本身，覆s s k 则羁寒爨 识存储c h k 的文档。c h k 通过对文档全文进行哈希变换得到，而s s k 则通过 对发奄文糨蠲户靛公钥虢及恭述文撩瓣文本信惑避行晗希交换褥到，埝蔫交换算 法采用的是s h a - 1 【3 1 1 ，s h a - 1 可以保证对于不同输入而生成相同哈希值的概率 几乎为零。c h k 和s s k 在f r e e n e t 中有着不同韵作用：c h k 怒面向系统的，系 1 4 第2 章对等卿辫研究理状盈背景妇识 统邋过c h k 路由、插入秘搜索文档；薅s s k 里4 楚主要蘑向熙户的，用户可以逯 过对文档简要的描述找到自己感兴趣的内容，并通过s s k 找到c h k ，最终在系 绞中找到爨霉文撼。失了黠文搂内骞提供缳护，f r e e n e t 在文秽发毒之蓠逶道随 机产生的加密密钥对文档内容进行加密，c h k 随同解密密钥一同存储在s s k 所 标谈的文耥中。 f r e e n e t 通过s s k 为每个用户创建一个瓤有的文档名空间，可以更好的管理 不间用户备自发布的文档，只有名空问的所有者可以向其中写入文档，其他确户 只能读取名空闻中的文档。为了生成s s k ，姆个用户首先髓枧生成一对公钥积私 钥，私钥用来对s s k 标识的文档签名，以提供某种程度的文档完整性。对于将 要发毒熬每个文档，蠲户提供一个燕短懿撰述，铡翔 t e x t p h i l o s o p h y c o n f u c i u s a n a l e e t s ，通过对公钥和描述文本分别进行哈希变换，并 将结果连羧起来嚣次进行猞希嶷换，最终褥蠲该文档鹣s s k 。s s k 蠲来菰谖存 储文档c h k 值和解密镦钥的文档。关于文档的简骚描述和用户的公钥一起以带 外( o u t o f - b a n d ，例如公布在菜个w e b 服务器上) 的方式发布出去。粥户对一个 文档的请求需要经过鼹个步骤；酋先遇过文档蛇描述信息和公钥褥到s s k ，势通 过s s k 得到包含文档c h k 和解密密钥的文档；然后通过该文档中的c h k 和解 密鬻镑褥到最终瓣蜜豹文档。这耱对文档翔按谤阉熬努楚在予文挡豹嚣瑟变褥更 加容易，由于文档更新通常只是内容的改变，而其描述信息是不变的，即s s k 绦掩不变，所以哭需将羹新焘文档生成韵新c h k 静氇替换籀应s s k 搿标识文档 中的旧c h k 值即可，这对文档的请求者是透明的。 f r e e n e t 中文档的搜索请求是基于文档标识符进行路由的，和在类g n u t e l l a 的笼结构对等网络中的囊曩搜索不同，f r e e n e t 采用靛是一罩申基于节点路l j 羟袭中 “掇示”信息的深度优先搜索方式。所谓“提示”信息指的是存储在节点路由表 中的形掘( 振识霉孥，节纛遮蛙) 豹二嚣缝。每令节患逶道魄较| | 芟裂戆文档标谖符 和路由表中的各个标识符，选择一个数值最接近的表项，并将收到的文档标识符 路港翻该袭顼串对应靛节点。翔栗莱个节赢我不掰台适的节熹来转发搜索请求， 则将搜索请求返阐前一个节点，前一个节点继续将搜索请求转发给路妇表中搬向 的下一个最接近节点。德一过程直持续到找到存储匹配文档的节点，或者达到 最大搜索跳数最搜索失败。 如果搜索成功，目的节点将所请求的文档沿着搜索请求的来路原路返回，途 孛经过戆每个萤悫都臻窝该文攫豹一个戮本，劳遴遘添鸯鬟蘸一个苓点籀返基文档 的标识符更新其路由表，直至返回搜索请求的发起节点。由于搜索请求和文档返 回的路径都是通过途中多个节点串联起来的，每个节点都保留了文档的副本并谎 称融己是搜索的发起者戏者文档的持有者，所以很难确定哪一个节点发起了搜索 1 5 第2 章对等嚼络研究现状及背景知识 请求以及哪一个节点存鼹了赝请求敕文搂，扶恧实现了黢名。搜索过程如图2 5 所示。图中节点1 发起搜索请求，并转发给节点2 ；节点2 将搜索请求转发绘路 由表中露繁熹 袭来文楼据识德最接送懿表壤对黢懿苇煮3 ；节熹3 没有匹酝文 档，返回节点2 ；节点2 继续将搜索请求转发给下一个最接近节点4 ；节点4 将 援索请求转发给节赢l ，节点1 没有疆配文档