（计算机应用技术专业论文）一种新型的双层p2p体系结构研究.pdf

江虾j i - 西华大学学位论文独创性声明 illlllll1lllltllllllllllllllllllllllly7 5 0 2 71 5 帅 1 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 菩芸笺尝照谴紫麓黟 日期：抄fo 6 日期如0 石。2 。 西华大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，在校 攻读学位期间论文工作的知识产权属于西华大学，同意学校保留并向国家 有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西 华大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复印手段保存和汇编本学位论文。( 保密的论文在解 密后遵守此规定) 学位论文作者签名：誓冬 日期：知c o 乙 指导教师签名： 日期加口- 6 哆 f 每渗 西华大学硕士学位论文 摘要 对等计算( p e e r - t o p e e rc o m p u t i n g ，p 2 p ) 是在互联网上实施网络计算的一种新的 计算模型。p 2 p 打破了传统的c l i e n t s e r v e r ( c s ) 模式，网络中的每个节点是逻辑对等 的，拥有对等的功能与责任，每个节点既充当服务器，为其它节点提供资源，同时也享 用其它节点提供的资源；节点之间通过直接交互共享资源，无需依赖集中式服务器的支 持；任何节点可以随时自由地加入或离开，形成一个真正动态的网络环境。与传统的 c s 模型相比，p 2 p 在可扩展性、自组织性、隐私性、动态性、鲁棒性、以及去中心化 消去服务器瓶颈、系统资源利用率等多方面有明显的优势。因此，p 2 p 蕴涵着巨大的商 业和技术潜在价值。 对等网络应用的一个重要问题就是如何构建高效的、能支持语义查询的p 2 p 系统。 为解决这个问题，本文设计了一种基于相似度聚类的双层p 2 p 系统c t l p 2 p 。c t l p 2 p 是结构化拓扑和非结构化拓扑的结合；其中通过兴趣和行为相似度节点聚类形成若干个 簇；簇内是非结构化拓扑，每个簇内选择了一个性能较好的节点作为本地服务器，称之 为超级节点，超级节点组成了高层结构化拓扑；从理论分析和仿真结果表明，与传统的可 支持复杂查询的非结构化p 2 p 网络相比，c t l - p 2 p 具有更高的查全率、较低的带宽负载、 更好可扩展性、以及更稳定的网络通信量。主要取得以下研究成果： ( 1 ) 提出一种新型的基于相似度聚类的双层p 2 p 系统结构。该结构首次将节点异 质性和面向语义级的兴趣相似度和行为相似度的节点聚类同时应用到p 2 p 结构化拓扑 和非结构化拓扑的融合中去，并结合二者优点。 ( 2 ) 重点对双层结构中的下层非结构化节点聚类问题的研究。针对聚类在p 2 p 网 络结构方面的应用，提出了基于潜在语义索引理论的p 2 p 网络节点模糊聚类方法。利用 t f i d f 加权技术对网络节点资源特征的进行描述，提取节点特征向量；综合考虑面向语 义的兴趣和面向用户行为的节点聚类算法；构造模糊相似矩阵，求截矩阵完成节点聚类。 ( 3 ) 在( 1 ) 提出的双层p 2 p 系统结构的基础上，重点对簇定位算法、节点加入算 法、节点动态更新聚类算法、簇分离策略以及查询转发算法展开了研究。 ( 4 ) 设计并完成一个仿真实验，通过该仿真实验数据对我们提出的双层系统结构 在查询准确率、带宽负载、可扩展性、稳定性方面带来的有效性予以佐证。仿真结果表 明，这种新型的基于相似度聚类的双层p 2 p 系统结构具有较高的查全率、较低的带宽负 载，较为良好的可扩展性和稳定性。 总之，本文详细论述了实现基于相似度聚类的双层p 2 p 系统结构的关键技术和测试 结果。本文的工作是建立在对相关理论和已有技术的详尽分析以及大量的实验测试结果 一种新型的双层p 2 p 体系结构研究 之上的。实验结果表明，我们提出的基于对等计算的信息检索技术不但能够支持语义丰 富的信息检索与共享，而且能高效地利用系统资源并有效地满足用户需求。 关键词：对等网络；语义；模糊聚类；系统结构；特征向量；模糊相似矩阵；潜在 语义索引；带宽负载 西华大学硕士学位论文 a b s t r a c t p e e r - t o p e e rc o m p u t i n g ( p 2 p ) i san e wn e t w o r km o d e lt h a th a sb e e ns w e e p i n gt h r o u g ht h e c o m p u t i n gi n d u s t r yo v e rt h ep a s ty e a ro rs o b e i n gs u p p o r t e db yd i s t r i b u t e dc o m p u t i n g t e c h n o l o g y ，p 2 ph a ss e v e r a ls p e c i a lf e a t u r e s i nap 2 p - b a s e ds y s t e m ，e a c hp e e rh a se q u a l f u n c t i o n a l i t i e sa n dr e s p o n s i b i l i t i e s ：e a c hp e e rc a l la c tb o t ha ss e r v e rt os u p p l yr e s o u r c e ，a n da s c l i e n tt ou t i l i z er e s o u r c ep r o v i d e db yo t h e rp e e r s f u r t h e r m o r e ，t h ei n t e r a c t i o na m o n gp e e r sc a l l b ed i r e c ta n ds y m m e t r i cw i t h o u tr e l y i n go nt h ec e n t r a l i z e ds e r v e r i na d d i t i o n ，p e e r sc a nj o i ni n o rl e a v ef r o mt h es y s t e ma ta n yt i m et of o r md y n a m i cn e t w o r ke n v i r o n m e n t c o m p a r e dw i t h t h et r a d i t i o n a lc l i e n t s e r v e rm o d e l ，p 2 ph a sm a n ya d v a n t a g e s ，s u c ha ss c a l a b i l i t y , s e l f - o r g a n i z a t i o n ，a n o n y m i t y ，d y n a m i c i t y , r o b u s t ，t h ee l i m i n a t i o no f b o t t l e n e c kc a u s e db y c e n t r a l i z e ds e r v e r sa n dt h eh i g h e ru t i l i z a t i o no fn e t w o r kr e s o u r c e s f o rt h e s er e a s o n s ，t h e r ei s g r e a tp o t e n t i a lt oa p p l yp 2 pt e c h n o l o g y af u n d a m e n t a lp r o b l e mt h a tc o n f r o n t sp e e r - t o - p e e r ( p 2 p ) a p p l i c a t i o n si st oc o n s t r u c ta n e f f i c i e n ts y s t e mw h i c hc a ns u p p o r ts e m a n t i cs e a r c h t h i sp a p e rp r e s e n t sc t l - p 2 p ，a c l u s t e r - b a s e dt w o l a y e r e dp 2 pa r c h i t e c t u r em o d e lt h a ta d d r e s s e st h i sp r o b l e m c t l - p 2 pi sa c o m b i n a t i o no fs t r u c t u r e dt o p o l o g ya n du n s t r u c t u r e dt o p o l o g y i tu t i l i z e si n t e r e s ta n d b e h a v i o u r a lp e e rc l u s t e r i n gt of o r mc l u s t e r s e a c hc l u s t e ri sa nu n s t r u c t u r e dt o p o l o g y ，u s e h e t e r o g e n e i t yt os e l e c ts u p e r - p e e r sa sl o c a ls e r v e r so fc l u s t e r s s u p e rp e e r sc o n s t i t u t et h e h i g h l e v e ls t r u c t u r e dt o p o l o g y r e s u l t sf r o mt h e o r e t i c a la n a l y s i sa n d s i m u l a t i o n ss h o wt h a t c t l - p 2 pi ss c a l a b l e ，w i t hl o wm a i n t e n a n c ec o s t ，h i g hs e a r c he f f i c i e n c ya n ds t a b l en e t w o r k t r a 伍c t h em a i nc o n t r i b u t i o n sa r ea sf o l l o w s ： ( 1 ) t ot h eb e s to fo u rk n o w l e d g e ，o u rr e s e a r c hi st h ef i r s ta t t e m p tt ot a k ei n t o c o n s i d e r a t i o no fh e t e r o g e n e i t ya n dc l u s t e r i n gt oc o n s t r u c tat w ol a y e rp 2 pn e t w o r kw h i c hi s c o m p o s e do fs t r u c t u r e dl a y e ra n du n s t r u c t u r e dl a y e r i tc o m b i n e st h eb e n e f i t so fe a c ha s p e c t ( 2 ) f o c u so nt h en o d ec l u s t e r i n gp r o b l e m ，t h i sp a p e rp r e s e n t san e wt h e o r yb a s e do n l a t e n ts e m a n t i ci n d e xi np 2 pn e t w o r kn o d ef u z z yc l u s t e r i n g i tu t i l i z e st f i d fw e i g h t i n g t e c h n o l o g yt od e s c r i b et h er e s o u r c e so f n o d e sa n dt h e nr e t u r ne i g e n v e c t o r s a f t e rt h a t ， c o m b i n eo ft h es e m a n t i c o r i e n t e di n t e r e s t sa n du s e rb e h a v i o rf o rc a l c u l a t i n gt h es i m i l a r d e g r e eb e t w e e nn o d e s ，t h i sm e t h o dc o n s t r u c t sf u z z ys i m i l a rm a t r i x ，f i n dt h ec u t - o f fm a t r i xt o c o m p l e t et h en o d ec l u s t e r i n g ( 3 ) b a s e do nt h et w o l a y e r e dp 2 pn e t w o r k , t h i sp a p e rh a sd o n es o m e r e s e a r c hw o r ko n t h ec l u s t e rl o c a t i o na l g o r i t h m ，n o d ej o i n i n ga l g o r i t h m ，c l u s t e rd y n a m i cu p d a t i n ga l g o r i t h m ， c l u s t e rs p l i t t i n gm e t h o da n dq u e r yf o r w a r d i n ga l g o r i t h m ( 4 ) b a s e do nt h ek e yt e c h n i q u e sd e s c r i b e da b o v e ，w eh a v ei m p l e m e n t e dc t l - p 2 p ：a p r o t o t y p eo fc l u s t e r - b a s e dt w o l a y e r e dp 2 ps y s t e m r e s u l t sf r o ms i m u l a t i o n sa n d t h e o r e t i c a l i 一种新型的双层p 2 p 体系结构研究 a n a l y s i ss h o wt h a tc t l p 2 pi ss c a l a b l e ，谢t hl o wl o a do fb a n d w i d t h ，h i g l ls e a r c he f f i c i e n c y a n ds t a b l en e t w o r kt r a 伍c i naw o r d ，t h i st h e s i sh a sd e t a i l e dt h ed e s i g n ，k e yt e c h n i q u e sa n de x p e r i m e n t a lr e s u l t so f ac l u s t e r - b a i ：e dt w o 1 a y e r e dp 2 pn e t w o r k , w h i e l lh a v eb e e nr e a l i z e di nc t l p 2 p a 1 lt h e s e c o n t r i b u t i o n sa r ea c h i e v e dt h r o u g hac o m p r e h e n s i v es t u d yo nt h er e l a t e dt h e o r i e s ，e x i s t i n g t e c h n o l o g i e sa n de x p e r i m e n t a lr e s u l t s m o r e o v e r ，t h ee x p e r i m e n t a lr e s u l t sh a v ev e r i f i e ds u c h ap 2 p - b a s e di n f o r m a t i o nr e t r i e v a ls y s t e mc a l lr e a l i z ef u l l ys e m a n t i ci n f o r m a t i o nr e t r i e v a la n d s h a r i n go ff i n eg r a n u l a r i t y ，a n de f f i c i e n t l y u t i l i z et h es y s t e m sr e s o u r c ea sw e l l k e yw o r d s ：p e e r - t o - - p e e rn e t w o r k ；s e m a n t i c ；f u z z yc l u s t e r i n g ；s y s t e ma r c h i t e c t u r e ； e i g e n v e c t o r ；f u z z ys i m i l a rm a t r i x ；1 a t e n ts e m a n t i ci n d e x ；b a n d w i d t h1 0 a d 西华大学硕士学位论文 目录 摘要i a b s t r a c t i i i 1 绪论1 1 1 研究背景1 1 2 国内外研究现状1 1 2 1 p 2 p 网络拓扑结构研究现状1 1 2 2 语义p 2 p 网络研究现状3 1 3论文主要内容4 1 4 理论意义与实际意义4 1 5 本文的组织5 2 相关理论及技术6 2 1p 2 p 网络及其特点6 2 2p 2 p 网络的系统结构7 2 2 1 集中式p 2 p 网络7 2 2 2 非结构化网络8 2 2 3 结构化网络9 2 2 4 层次化网络。1 0 2 - 3 模糊数学相关理论1 l 2 3 1 基本概念1 1 2 3 2 聚类分析13 2 4 语义p 2 p 网络与语义搜索技术1 6 2 4 1 语义p 2 p 网络1 6 2 4 2 语义搜索技术16 2 5 小结1 7 3 基于相似度聚类的双层p 2 p 系统结构18 3 1引言1 8 3 2 网络结构1 8 3 3 节点与路由表。1 9 3 4 节点特征向量计算2 0 3 5 节点加入2 2 3 5 1 簇定位算法2 2 v 一种新型的双层p 2 p 体系结构研究 3 5 2 节点相似度计算及其模糊聚类方法2 3 3 5 3 节点加入算法2 5 3 6 动态更新聚类策略2 6 3 7 簇分离策略。2 7 3 8 查询转发算法。2 8 3 9 性能要求2 9 3 1 0小结3 0 4 实验与仿真3 1 4 1 模拟实验环境。3 1 4 2 实验参数设置3 1 4 3评价标准。3 2 4 4 实验结果与分析3 3 4 5 d 、结3 6 总结与展望3 7 参考文献。3 8 致谢4 2 v i 西华大学硕士学位论文 1绪论 1 1研究背景 最近几年，互联网系统的计算模式正在发生从客户机) j r 务器( c s ) 模式到对等 ( p e e r t o p e e r ，p 2 p ) g 罨络模式的转变。p 2 p 网络的核心思想是所有参与网络的节点其地位 完全对等，没有客户机和服务器之分，每个节点既是客户机，也是服务器；它既向别人 提供服务，也享受来自别人的服务。p 2 p 系统广泛应用于文件共享、分布式存储、计算 能力共享、协同工作、数据搜索、数字娱乐、即时通讯等领域，其中文件共享是当前 p 2 p 系统中最主流的应用，其发展速度非常迅速。1 9 9 9 年开发的n a p s t e r 系统，达到同 时过6 , 0 0 0 ，0 0 0 用户在线。l i m e w i r e 系统2 0 0 5 年统计的每天同时在线的用户达到1 0 5 万【1 1 。e d o n k e y 在线用户超过1 0 0 万【2 1 。2 0 0 5 年2 月1 9 日，k a z a a 文件共享系统软件 下载累计达到3 8 4 ，1 9 1 ，3 3 4 次【3 】。在p 2 p 系统中，资源是分布在各个对等节点上的，而 不是集中保存在服务器上的，因此如何有效提供路由和资源定位的快速方法成为系统能 持续可靠发展的关键，同时规模的增长，应用的扩展对p 2 p 系统中的节点组织模式，服 务质量也提出了新的要求，因此，p 2 p 网络的系统结构及其路由与搜索算法成为了影响 p 2 p 系统发展的重要因素。 1 2 国内外研究现状 近年来，p 2 p 技术在资源共享方面的应用越来越广泛，网络中的p 2 p 用户以及p 2 p 资 源越来越多，这一趋势对p 2 p 系统在可扩展性、查询高效性、低维护代价和支持复杂查 询方面的要求越来越高。目前针对p 2 p 网络研究主要集中在网络拓扑结构、p 2 p 搜索算法、 p 2 p 社区形成及自组织。 1 2 1p 2 p 网络拓扑结构研究现状 国内外在p 2 p 结构方面研究成果很多，p 2 p 拓扑结构大致可以分为三种1 4 ：集中目录 式拓扑，分布式结构化拓扑、分布式非结构化拓扑。最典型的集中目录式拓扑是 n a p s t e r i 引，这种结构最大的优点是维护简单、发现效率高。由于资源的发现依赖中心化 的目录系统，因此发现算法灵活高效并能够实现复杂查询。但是这种结构存在着c s 模 式的机制，即一个或数个中央服务器维护所有的对等节点信息，所以存在c s 模式的一 些局限性，容易造成单点故障、访问的“热点 现象和法律等相关问题。n a p s t e r 首先实 现了文件查询与文件传输的分离，有效地节省了中央服务器的带宽消耗，减少了系统的 一种新型的双层p 2 p 体系结构研究 文件传输延时。这种方式最大的隐患在中央服务器上，如果该服务器失效，整个系统都 会瘫痪。当用户数量增；o f i 至u 1 0 5 或者更高时，n a p s t e r 的系统性能会大大下降。 分布式非结构化系统结构如g n u t e l l a 6 1 ，是一种纯粹的p 2 p 模式。节点的查询请求都 是通过洪泛方式发送给与它直接相连的节点。这些相邻节点又把消息转发给各自的相邻 节点，直到应答这个请求或达到一定的跳数。这种洪泛的方式将造成网络流量急剧增加， 从而导致网络中部分低带宽节点因网络资源过载而失效。所以在初期的g n u t e l l a 网络中， 存在比较严重的分区，断链现象。也就是说，一个查询访问只能在网络的很小一部分进 行，因此网络的可扩展性不好。但是这种拓扑结构容错性很高，便于维护。 分布式结构化拓扑是一种具有高扩展性、高查询效率的系统结构，最典型的有 c h o r d 7 t t l 、c a n 7 8 1 、k a d e m l i a 9 t 9 1 、t a p e s t r y t l0 1 、p a s t r y t l l 和v i c e r o y 1 2 】等。这类网络 都是采用了分布式哈希表( d h t ) 算法，每个节点都有固定的编址，整个网络具有相对 稳定而规则的拓扑结构。节点只需要o ( 1 0 9 n ) 其他节点信息就可以实现高效的路由查 找，但是d h t 是对网络波动相对敏感的拓扑结构【1 3 1 ，当这些路由信息未及时更新时，路 由查找的性能会下降。现实中这一点很重要，因为节点可以任意加入和离开网络， o ( 1 0 9 ) 节点信息的一致性也是很难维持的，需要间歇性地发送o ( 1 0 9 2 忉条消息来维 持路由表的一致性。同时这种拓扑结构只提供精确的匹配而缺乏语义查询。 根据以上三种基本机构，国内外研究人员提出了许多新的p 2 p 系统。最常见的方式 是节点聚类，网络中包括不同的簇，在每个簇内选中一个超级节点作为本地服务器来负 责簇内其它节点的索引管理工作。簇与簇之间的通信以及跨簇查找都是通过超级节点。 超级节点组成了簇间的覆盖网络。通常簇间结构就是非结构化的，如k a z a a 和最近版本 的g n u t e l l a 【1 4 1 ，类似的超级节点构造方法在文献【1 5 】【1 5 1 里面讨论得比较多，包括超级节点 占总节点数的比例、超级节点的出度等。 上述方法只是构建了一层覆盖网络，普通节点并没有构成另一层覆盖网络。许多系 统中用到第二层覆盖网络来辅助查询。b r o c a d e 1 6 6 】在结构化覆盖网络上增加了一个结 构化覆盖网络来提高查询速度，超级节点都是一些网络接入点，如路由器、网关等； e x p r e s s w a y l l 7 】结合物理位置远近构建了一个辅助覆盖网络；h o n e t 1 8 】使用了相同的方 法，但是低层覆盖网络是由簇组成，每个簇内的拓扑结构都是结构化的，簇头组成了第 二层覆盖网络，同样也是结构化的。同时，各簇成员之间的随机连接作为捷径附加在网 络中来提高路由效率。 与前面利用异质性的方式来索引和路由不同，c h o r d 2 1 9 1 利用异质性来来降低d h t 方 式的维护代价。低层覆盖网络是一些普通的c h o r d 环，高层覆盖网络则是负责维护路由 2 西华大学硕士学位论文 表的一致性的。低层覆盖网络中的节点只需要间歇性地发送一个消息就可以维护自身的 后继。当网络中有改变时，只需要发送o ( 1 0 9 ) 个消息给相关节点就可以更新路由表。 因此，低层覆盖网络的维护代价只有o ( 1 0 9 ) 。 1 2 2 语义p 2 p 网络研究现状 h t m l 语言的发明者t i mb e r n e r s l e e 提出了语义网( s e m a n t i cw e b ) 的概念，语义 网所要达到的目标是网络资源的计算机理解。 目前，基于文本的关键字处理的文档共享与查询的p 2 p 网络已经研究得比较深人， 形成了许多被实验证实可行的方法。但基于语义的p 2 p 网络还是研究热点，尚没有公认 的通用的方法。典型项目有m e t o r s t 2 0 】等等。有些学者对专用的基于语义的p 2 p 网络 结构进行了研究。美国g e o r g i a 大学的l s d i s 实验室在其主持的项目m e t o r s 中，为 w e b 服务的u d d i 注册服务器构造了专用的p 2 p 网络，每个u d d i 服务器均按知识领域 进行了分类，然后映射到共享本体的一个或多少节点之上，映射到相同节点的p e e r s 构 成p e e r 组。用户提交查询之后，将查询也映射到本体上的一个或多个概念，然后快速路 由到相应的p e e r 组进行推理匹配。与m e t o r s 采用的方法类似的p 2 p 网络还有 b i b s t e r t 2 1 】【2 2 1 ，它用于计算机领域内的论文交互，所有p e e r s 共同遵守a c m 的分类规范， 各p e e r 根据其存储的论文内容映射到a c m 的某个节点，查询同样映射到a c m 的某个 节点，然后根据节点之间的相似度来路由查询请求。m e t o r s 和b i b s t e r 中的p 2 p 网络 的共同缺点是所有p e e r s 必须共享某个上层本体，而且p e e r 上的内容必须能映射到本体 上的一个或多个节点，由于共享本体的限制，这些p 2 p 网络都不具有通用性。 欧盟主持的e d u t e l l a 2 3 】【2 4 】项目中也构造了基于r d f 的p 2 p 网络，采用超立体的拓扑结 构，但该项目的消息转发是基于洪泛机制的，拓扑的建立也没有充分利用内容的语义信 息。k i y o h i d e n a k a u c h i l 等在文献【2 5 】中介绍了另一种基于语义的p 2 p 网络，但该网络只是 在基于文本关键字处理的p 2 p 网络基础之上，对关键字之间的相似度计算进行了基于语 义的扩充，网络的建立并没有利用p e e r 上存储内容的语义信息。m l c h o r d 2 6 】提出了一 个多层p 2 p 资源共享系统，所有的资源通过本体的概念被分成若干个类别，每个类组成 一层覆盖网络。因为每个资源可能属于几个类，拥有这个资源的节点就会与几个层连接。 每层的节点都以c h o r d 的方式组成覆盖网络。文献【2 7 】提出混合结构化和非结构化拓扑的 p g r o u p 系统，提高了搜索效率和扩展性。在非结构p 2 p 系统结构上，引入语义相似度开 发了语义化的信息检索系统p e e r l s 。c a s t a n o 设计了一个语义p 2 p 网络环境下基于本体的 知识发现、知识共享和社区自组织通用型系统框架h e l i o s 2 引。但在语义p 2 p 网络p e e r 节点 管理机制方面缺乏深入研究。 一种新型的双层p 2 p 体系结构研究 国内在语义p 2 p 网络的理论及应用方面也有一定成果。以中国科学院计算技术研究 所诸葛海研究员为首席专家的国家“9 7 3 计划“语义网格的基础理论、模型与方法研 究”【2 9 1 ，基于p 2 p 、本体、语义网等技术，开展了本体自动和半自动生成、语义资源空 间模型语义关联存储模型、支持产品创新设计的知识供应、知识共享与服务、网络信息 检索方面的研究。华中科技大学陈汉华、金海研究了基于语义网格的语义关联存储模型 及管理和通信的问题【3 0 1 ，并开发了满足文献元数据共享的系统s e m r e x 。黄理灿提出了 种新型的p 2 p 网络语义p 2 p 网络v i r g o 3 1 】。在此语义p 2 p 网络中，节点被类似 d n s 域名标识。节点动态地形成虚拟树拓扑，并与随机缓存的节点组成网络状拓扑结构。 1 3 论文主要内容 通过对现有p 2 p 基础系统结构的研究，结合各自的优缺点。本文提出了一种新型的 双层p 2 p 系统结构。它是非结构化洪泛机制和结构化分布式机制的结合，基本原理为： 在较高的层次上为了避免出现网络风暴并能够准确定位，采用结构化分布式机制。在较 低的层次为了取得较快的查找速度以及支持语义查询，采用非结构化洪泛机制。将多个 物理节点组成一个虚拟节点，称为簇，每个簇中有一个节点作为中心节点，称之为聚集 点，其余的节点称为边缘节点。聚集节点通常是比较稳定的节点；相反，边缘节点本质 上是易变的，有可能频繁地加入和退出。聚集节点组成了较高层次的结构化系统结构， 本课题以c h o r d 协议为基础；边缘节点组成了较低层次的非结构化系统结构，以g n u t e l l a 协议为基础。 本文对现有的模糊数学相关理论、聚类分析方法以及潜在语义索引方法进行了研 究，提出了基于潜在语义索引的p 2 p 节点特征向量计算方法、节点相似度计算方法以及 基于模糊相似矩阵的模糊聚类方法。并在c h o r d 节点加入算法的基础上，提出了簇定位 算法、节点加入算法、以及节点动态更新聚类策略。并对超级节点的选择和备份机制以 及簇的分离提出了一些建议，最后，对查询消息的路由算法做了详细介绍。 最后，本文详细地介绍了模拟实验的软硬环境，说明了模拟环境与实际环境的差异， 以及p c 机上完成大规模网络模拟的局限性，具体说明了模拟环境的一些参数及其参数 值，莺点介绍了实验方案的评价指标；最后，对实验结果进行了具体分析，论证了仿真 结果表明，本文提出的基于相似度聚类的双层p 2 p 系统结构具有良好查询的准确性、较 低的带宽负载、较高系统可扩展性和系统网络流量的稳定性。 1 4 理论意义与实际意义 自2 0 0 0 年以来，p 2 p 技术迅速成为计算技术的研究热点，而且大多数研究和开发 几乎集中于数据共享应用。把语义级的数据共享与p 2 p 网络拓扑结构研究相结合的还是 4 西华大学硕士学位论文 一个新兴的研究课题，面临着许多新的理论和技术挑战，仅仅采用传统的理论、方法和 技术是难以应对这些挑战的，必须进行创新性研究，这一课题将会在理论方面取得一些 创新性的突破。 在实际应用方面，基于相似度聚类的p 2 p 双层系统结构的研发，对于充分发掘p 2 p 计算的技术优势，拓展p 2 p 技术的应用范围以及p 2 p 技术的潜在优势，具有重要的实际 意义；并且，这种新型的技术还具有广阔的应用前景，如能够应用于虚拟协作研究平台、 信息检索，大型企业的知识共享、电子图书馆等领域。因此，将在很大程度上提高了工 作效率，节约了生产成本。 1 5 本文的组织 本文共分5 章，第一章总体介绍了本文的研究背景，研究现状、研究的主要内容以 及取得的研究成果。第二章概述了p 2 p 网络的定义和特点、p 2 p 网络的基础系统结构及 其优缺点，介绍了模糊数学的相关基础理论、聚类分析及其具体聚类方法、语义搜索技 术方法等。第三章本文的核心部分，主要介绍了基于相似度聚类的p 2 p 系统结构的研究 内容。介绍了p 2 p 搜索方面遇到的一些难题和解决这些难题的思路；在网络结构、节点 路由表等特点、节点特征向量计算、簇定位、节点相似度计算以及模糊聚类算法、节点 加入算法和动态更新策略、查询消息的转发等方面作了详细介绍。并描述了系统的性能 要求。第四章是针对第三章提出的基于相似度聚类的双层p 2 p 系统结构实行仿真实验， 验证其查询路由算法的准确性和高效性、系统高可扩展性与稳定性。最后为总结与展望， 总结全部研究工作，展望未来的研究方向。 一种新型的双层p 2 p 体系结构研究 2 相关理论及技术 2 1p 2 p 网络及其特点 p 2 p 网络是一种分布式网络，也称为对等网络，网络中每个节点都具有相同或相似 的职能，不存在传统的客户端和服务器，因此每个节点既是资源的提供者，同时也是资 源的获取者。p 2 p 网络能够充分利用网络边缘资源协同完成相关工作，这些资源包括节 点运算能力、存储能力、网络带宽等。 p 2 p 技术的特点主要体现在以下几个方面【3 2 】： 非中心化( d e c e n t r a l i z a t i o n ) ：网络中的资源和服务分散在所有节点上，信息的传 输和服务的实现都直接在节点之间进行，可以无需中间环节和服务器的介入，避免了可 能的瓶颈。p 2 p 的非中心化基本特点，带来了其在可扩展性、健壮性等方面的优势。 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的 资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。整个系统是全分布 的，不存在瓶颈。理论上其可扩展性几乎可以认为是无限的。 健壮性：p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在各个节点之 间进行的，部分节点或网络遭到破坏对其它部分的影响很小。p 2 p 网络一般在部分节点 失效时能够自动调整整体拓扑，保持其它节点的连通性。p 2 p 网络通常都是以自组织的 方式建立起来的，并允许节点自由地加入和离开。p 2 p 网络还能够根据网络带宽、节点 数、负载等变化不断地做自适应式的调整。 高性能价格比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术的发 展，个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。采用 p 2 p 架构可以有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到 所有节点上。利用其中闲置的计算能力或存储空间，达到高性能计算和海量存储的目的。 通过利用网络中的大量空闲资源，可以用更低的成本提供更高的计算和存储能力。 隐私保护：在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过某个 集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决i n t e r n e t 隐私问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的网络实体之 中。在传统的一些匿名通信系统中，实现这机制依赖于某些中继服务器节点。而在 p 2 p 中，所有参与者都可以提供中继转发的功能，因而大大提高了匿名通讯的灵活性和 可靠性，能够为用户提供更好的隐私保护。 6 西华大学硕士学位论文 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多个节点，更好的实现了 整个网络的负载均衡。 2 2p 2 p 网络的系统结构 拓扑结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关系，节点之间 的拓扑结构一直是确定系统类型的重要依据。 早期的p 2 p 网络采用集中式拓扑结构，称为集中式p 2 p 网络，后期的p 2 p 网络则 一般是完全分布式的网络拓扑结构。分布式p 2 p 网络又可以分为三种类型：非结构化网 络、结构化网络和层次化网络。p 2 p 网络的分类关系如图2 1 所示： 图2 1p 2 p 分类关系 f i g 2 1t a x o n o m yo fp 2 pn e t w o r k s 2 2 1 集中式p 2 p 网络 集中式p 2 p 网络也称为“集中目录式 的p 2 p 网络，网络以目录服务器为中心形成 星型结构。如图2 2 所示，节点维护自身的资源，目录服务器负责节点查找和资源搜索。 节点通过在目录服务器上注册完成加入p 2 p 网络过程，并将自身的位置信息和资源信息 上传到目录服务器上：节点查找和资源搜索由目录服务器集中进行，但节点之间的资源传 递无需经过目录服务器，而是直接在两个节点之间完成。集中式网络包括n a p s t e r t 5 1 、 m a g i t 3 3 1 、s o f t w a x t 3 4 】和i m e s h 3 5 1 等。 一种新型的双层p 2 p 体系结构研究 工作站 工作站 图2 2 集中式p 2 p 网络 f i g 2 2c e n t r a l i z e dp 2 p n e t w o r k 集中式p 2 p 网络是p 2 p 网络的初始形态。避免了大量节点进行资源传递时对服务器 产生的网络流量压力，最大的优点是维护简单发现效率高；同时由于资源的发现依赖中 心化的目录系统，发现算法灵活高效并能够实现复杂查询。但因为节点查找和资源搜索 由目录服务器集中完成，集中式p 2 p 网络模型存在很多问题，主要表现为： ( 1 ) 目录服务器的瘫痪容易导致整个网络的崩馈，可靠性和安全性较低； ( 2 ) 随着网络规模的扩大，对目录服务器进行维护和更新的费用将急剧增加，因此所 需成本过高，缺乏可扩展性； ( 3 ) 目录服务器的存在引起共享资源在版权问题上的纠纷，并因此被攻击为非纯粹意 义