（计算机应用技术专业论文）p2p环境下基于节点位置的语义覆盖网络的研究.pdf

c l a s s i f i e di n d e x u d c ad i s s e r t a t i o nf o rt h ed e g r e eo f m e n g s e m a n t i co v e r l a yn e t w o r kr e s e a r c h b a s e do nn o d ep o s i t i o nu n d e rp 2 p e n v i r o n m e n t c a n d i d a t e g u o x u s u p e r v i s o r a s s o c i a t e p r o f g a ow e i a c a d e m i cd e g r e ea p p l i e df o r m a s t e ro fe n g i n e e r i n g s p e c i a l i t y c o m p u t e ra p p l i e dt e c h n o l o g y d a t eo fs u b m i s s i o n d e c e m b e r 2 0 0 9 d a t eo f o r a le x a m i n a t i o n m a r c h 2 0 1 0 u n i v e r s i t y h a r b i ne n g i n e e r i n gu n i v e r s i t y r 哈尔滨工程大学 学位论文原创性声明 本人郑重声明 本论文的所有工作 是在导师的指导下 由 作者本人独立完成的 有关观点 方法 数据和文献的引用己在 文中指出 并与参考文献相对应 除文中已注明引用的内容外 本论文不包含任何其他个人或集体已经公开发表的作品成果 对 本文的研究做出重要贡献的个人和集体 均已在文中以明确方式 标明 本人完全意识到本声明的法律结果由本人承担 作者 签字 融 日期 刀 年孑月扩日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定 即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学 哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索 可采用影印 缩印或扫描等复制手段保存和汇编本 学位论文 可以公布论文的全部内容 同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学 涉密学位论文待解密后适用本声明 本论文 妊授予学位后即可口在授予学位1 2 个月后口解 密后 由哈尔滨工程大学送交有关部门进行保存 汇编等 和 作者 签字 魂旭导师 签字 r 勃飞易 日期 2 d 份年 月y 日捌d 年 月扩日 f u 飞 哈尔滨t 稃大学硕十学他论文 摘要 在互联网时代p 2 p 有着突飞猛进的发展 p 2 p 技术在发展过程中遇到了 网络资源消耗过大 管理过于困难 信息垃圾过多 安全系数过低等多方面 的问题 为更好地解决这些问题 人们一直在设法改进p 2 p 的网络结构以及 相应的策略 近年来为提高全分布式p 2 p 结构的资源定位效率 研究人员提出了语义 覆盖网络拓扑结构 语义覆盖网络拓扑结构综合了多种拓扑结构的长处 具 有查找速率快 查找结果精确 系统资源消耗少 管理方便等优点 成为新 的研究热点 为改善网络带宽 时间消耗 系统综合指标等方面的性能 对基于语义 的覆盖网络进行了深入的研究 首先设计了管理者选择算法c w m g s 采用 选取综合权值大的节点为管理者的办法 来解决系统瓶颈问题 其次 设计 了消息通告算法c w a i g 和n d a e g 采用选取一定数量的特殊的节点进行 消息通告 来减少网络流量 再次设计了节点的加入算法r j g 新节点将加 入到节点数最少的组 这样不但可以均衡负载 而且可以有效减少信息通信 量 最后设计了节点离开算法a p l g 从主动和被动两方面设计了节点的离 开行为 以上设计的算法的仿真实验表明各算法在网络带宽的消耗 系统总 的通信量 时间的延迟等方面都有不同程度的降低 提高了p 2 p 网络的整体 性能 方便了p 2 p 网络的管理 在实际应用中具有一定的应用价值 而且可 作为进一步理论研究的参考 有效地推动p 2 p 网络的发展 关键词 p 2 p 环境 语义覆盖网络 节点异构性 综合权值 哈尔滨t 稃大学硕十学付论文 a b s tr a c t w i t ht h er a p i dd e v e l o p m e n to fp 2 pi nt h ei n t e m e te r a i th a sr a i s e dm a n y q u e s t i o n s s u c h a sn e t w o r kr e s o u r c ec o n s u m p t i o n a d m i n i s t r a t i v em a n a g e m e n t i u n ki n f o r m a t i o n a n ds a f e t yf a c t o r t oa d d r e s st h e s ei s s u e s n u m b e ro fr e s e a r c h h a sb e e nc o n d u c t e dt o i m p r o v e t h ep 2 po v e r l a yn e t w o r k 弱w e l l 弱t h e c o r r e s p o n d i n ga l g o r i t h mi nw h i c h r e c e n t l y i no r d e rt oi m p r o v et h es t r u c t u r eo ff u l l yd i s t r i b u t e dp 2 pr e s o u r c e l o c a t i o ne f f i c i e n c y t h es e m a n t i co v e r l a yn e t w o r kt o p o l o g yi sp r o p o s e db y r e s e a r c h e r s e m a n t i co v e r l a yn e t w o r kt o p o l o g yc o m b i n e st h es t r e n g t h so fa v a r i e t yo ft o p o l o g i e sw i t haf a s ts e a r c hs p e e d s e a r c hr e s u l t sa r ea c c u r a t e l o w c o n s u m p t i o no fs y s t e mr e s o u r c e s e a s ym a n a g e m e n t e t c b e c o m e t h en e w h o t s p o t i no r d e rt o i m p r o v en e t w o r kb a n d w i d t h t i m ec o n s u m p t i o n s y s t e m s i n t e g r a t i o n i n d i c a t o r sa n do t h e ra s p e c t so ft h ep e r f o r m a n c e o v e r l a yn e t w o r k b a s e do ns e m a n t i cc o n d u c t e di n d e p t hs t u d y f i r s t l y d e s i g n e dt h em a n a g e r s e l e c t i o na l g o r i t h mc w m g s w h i c hs e l e c tt h er i g h t so ft h ev a l u ei nal a r g e i n t e g r a t e dn o d em a n a g e m e n t t os o l v et h es y s t e mb o t t l e n e c k s s e c o n d l y d e s i g n e d t h em e s s a g en o t i f i c a t i o na l g o r i t h mc w a i ga n dn d a e g w h i c hs e l e c tt h e n u m b e ro fs p e c i a ln o d e sm e s s a g en o t i f i c a t i o n i no r d e rt or e d u c en e t w o r kt r a f f i c t h i r d l y b ya d d i n gn o d e sj s ga l g o r i t h md e s i g n e d t h en e wn o d ea d d e dt o t h e g r o u po f n o d e si nt h el o w e s tg r o u p y o uc a r lb a l a n c et h el o a d r e d u c i n gt h ef l o wo f i n f o r m a t i o nc i r c u l a r f i n a l l y d e s i g n e dt h ea p l ga l g o r i t h m f r o mb o t ha c t i v ea n d p a s s i v en o d ei sd e s i g n e dt o l e a v et h ea c t a b o v ea l g o r i t h ms i m u l a t i o nr e s u l t s s h o w sn e t w o r kb a n d w i d t hc o n s u m p t i o n t o t a ls y s t e mt r a f f i c t i m ed e l a yh a sb e e n r e d u c e dt o v a r y i n gd e g r e e s w h i c hi m p r o v e st h e o v e r a l lp e r f o r m a n c eo fp 2 p n e t w o r k s f a c i l i t a t e s t h e m a n a g e m e n t o fp 2 pn e t w o r k s a n di n p r a c t i c a l a p p l i c a t i o n sh a v es o m ev a l u e i tc a nb eu s e da sar e f e r e n c ef o rf u r t h e rt h e o r e t i c a l r e s e a r c hw h i c he f f e c t i v e l yp r o m o t e st h ed e v e l o p m e n to fp 2 pn e t w o r k s 哈尔滨t 程大学硕十学何论文 k e y w o r d s p 2 pe n v i r o n m e n t s e m a n t i co v e r l a yn e t w o r k n o d eh e t e r o g e n e i t y c o m p r e h e n s i v ew e i g h t 哈尔滨丁稃大学硕十学何论文 目录 第1 章绪论 1 1 1课题背景及研究意义 1 1 2国内外研究现状 2 1 3论文的主要工作 3 1 4 论文的结构 4 第2 章p 2 p 网络综述 5 2 1p 2 p 网络的概念 5 2 2p 2 p 网络的特点 6 2 3p 2 p 网络的应用 7 2 4p 2 p 网络的拓扑结构 8 2 5本章小结 1 2 第3 章语义覆盖网络管理技术的研究 1 3 3 1语义覆盖网络管理技术综述 一 1 3 3 2 基于节点位置的语义覆盖网络管理者选择改进算法 一1 5 3 2 1t p g m s 算法的分析 15 3 2 2 基于综合权值的组内管理者选择算法c w m g s 16 3 2 3c w m g s 算法的描述 18 3 2 4t p g m s 算法与c w m g s 算法的性能比较 2 l 3 3 基于节点位置的语义覆盖网络消息通告改进算法 2 2 3 3 1i g a 与e g a 消息通告算法的分析 2 2 3 3 2 改进的通告算法c w a i g 和n d a e g 2 4 3 3 3c w a i g 算法与n d a e g 算法的描述 2 6 3 3 4c w a i g 算法与n d a e g 算法的性能比较 2 8 3 4 本章小结 3 0 第4 章语义覆盖网络节点处理技术的研究 3 1 4 1语义覆盖网络节点处理技术综述 3 1 4 2 基于节点位置的语义覆盖网络节点加入改进算法 3 2 i 一 一 哈尔滨t 程大学硕十学何论文 4 2 1l u g 算法的分析 3 2 4 2 2 最小组加入算法j s g 3 4 4 2 3j s g 算法的描述 3 5 4 2 4r j g 算法与j s g 算法的性能比较 3 7 4 3 基于节点位置的语义覆盖网络节点离开改进算法 3 8 4 3 1a l g 算法的分析 3 8 4 3 2 主被动离开算法a p l g 3 9 4 3 3a p l g 算法的描述 4 0 4 3 4a l g 算法与a p l g 算法的性能比较 4 l 4 4 本章小结 4 2 第5 章仿真实验与结果分析 4 3 5 1 设计仿真实验 4 3 5 2 实验结果的性能分析 4 5 5 3本章小结 4 8 结论 4 9 参考文献 51 攻读硕士学位期间发表的论文和取得的科研成果 5 5 赘 谢 5 6 哈尔滨t 稃大学硕十学位论文 第1 章绪论 随着计算机性能的提升 网络技术的进步 人们对互联网应用的需求日 益增多 同时网络中大量可用的存储 计算等资源也在不断增多 这就给现 有的计算机模式提出了挑战 引发了各界对它的思考 p 2 p 网络的诞生摆脱 了传统的c s 模式 有效地改善了网络的现状 使网络中大量可用的闲置资 源得以有效利用 而且解决了传统模式中服务器是系统瓶颈的问题 因而激 发了人们对p 2 p 技术研究的热情 获得了广泛的关注 1 1 课题背景及研究意义 p 2 p 即p e e r t o p e e r 在英语里p e e r 是地位能力的同等者 因此称p 2 p 网络为对等网络 p 2 p 通过互联网将人们联系起来直接进行交流 而现阶 段对p 2 p 并没有十分准确严格的定义 大多数的定义还是突出了p 2 p 与传统 c s 模式的区别 即它无专门的服务器 每个节点兼具客户机和服务器的双 重功能 且各节点是对等的 p 2 p 真正实现了把权力交还给用户 而不是像 从前那样必须是中心服务器来提供 因此使文件共享 协同工作 即时通讯 分布计算成为可能 使网络中用户的沟通更加的方便快捷且容易实现 p 2 p 网络的分类方式有很多种 从拓扑结构角度来分类 p 2 p 覆盖网络 有四种形式 集中式 全分布式非结构化 全分布式结构化和混合式 从发 展历程方面分类 p 2 p 覆盖网络有非结构化和结构化网络两种形式 因为p 2 p 中的节点是动态加入和离开网络的 所以覆盖网络组织结构的合理性至关重 要 它关系到网络的稳定性和可扩展性 除此之外还要考虑带宽资源 响应 时延等网络维护所要付出的代价 因此如何组织p 2 p 覆盖网络 改进其中的 算法 使网络能够更好的适应节点的动态变化 为路由的选择 资源的共享 定位等方面提供方便 管理好网络系统 同时还能最大限度的节省网络带宽 避免单点失效等问题 成为研究的热点 哈尔滨丁程大学硕十学佗论文 1 2 国内外研究现状 1 9 9 9 年诞生了n a p s t e r 1 1 文件共享系统 它是最早的p 2 p 实用系统 参与 系统的每个用户提供愿意共享的文件资源 而且还可以下载其他用户提供的 共享文件资源 n a p s t e r 采用的是集中式的服务器 这种方式容易出现单点失 效 系统瓶颈等方面的问题 特别是版权问题迫使它停止了运行 为更好的 解决上述问题 完全分布式网络相应建立起来 代表是g n u t e l l a 3 f r e e n e t t 4 等 g n u t e l l a 采用洪泛和t t l 的查询方式来搜索网络中的节点从而共享资源 g n u t e l l a 被认为是纯粹p 2 p 的代表 e d i n b u r g h 大学的i a nc l a r c k 设计并开发 了f r e e n e t 系统 经典p 2 p 网络n a p s t e r 和g n u t e l l a 都是采用非结构化的覆盖 网络 它无集中的服务器 各节点完全对等 具有良好的容错性 但这种网 络结构无规则 各节点随意连接 当需要请求某节点共享资源时 就设 定t t l 以广播方式查找 搜索半径会无穷大 消息数量也会随网络规模 的不断壮大呈对数级别增长 而且可能存在也找不到 因此促使p 2 p 继 续向前发展 结构化的p 2 p 覆盖网络应运而生 这种网络中的节点彼此 相互连接形成具有某一特定结构的拓扑 依照此拓扑结构寻找 如果网 络中存在就一定可以找到 基于分布式哈希表 d h t 的结构化p 2 p 覆盖 网络 它对资源进行唯一的哈希编码 当搜索资源时快速的定位 保证了搜 索的时效 有效控制了消息的数量 典型代表有c a n t s l c h o r d t 6 1 t a p e s t r 3 a n 和p a s t r y s c a n 是基于d 维笛卡儿空间来组织数据和查询数据 它将一个d 维的笛卡尔空间分区 然后尽可能将所有节点动态映射到每一个区域中 每 个节点分配的区域空间独立且不相交 2 0 0 1 年麻省理工大学提出了的一种基 于环形结构的p 2 p 系统c h o r d 通过相容哈希函数c h o r d 把每个节点和文档 都映射到这个环形空间中 节点依据标识的大小按照顺时针方向排成一个环 这种算法简单 性能良好 搜索速度快 但同时维护它的开销也比较大 t a p e s t r y 算法是基于p l a x t o n 技术 它目标是提供一种新型的分布式容错路由 以及定位的基础架构 各节点只需要维护系统的一部分视图 t a p e s t r y 的冗 余邻居和复制等技术使它具有良好的容错性 而且与底层的物理网络能较好 的匹配 邻居节点之间的物理延迟较小 p a s t r y 是对等网络的定位和路由算 法 网络中的每一个节点都有自己唯一的标号 所有的节点标号组成一个环 2 哈尔滨t n 大 学硕十学何论文 形的标号空间 当有消息时 节点会将这条消息路由到最近的那个节点1 9 最近几年p 2 p 覆盖网络优化技术层出不穷 其中比较流行的是语义与 p 2 p 技术的结合 语义p 2 p 网络的理论及应用方面都有一定成果 中科院计 算机研究所专家诸葛海的国家 9 7 3 计划 还有在语义资源空间模型 语义 关联存储模型 中医药知识共享与服务 网络信息检索方面的研究 华中科 技大学金海开发了满足文献元数据共享的系统s e m r e x c a s t a n o 设计了一个 语义p 2 p 网络环境下基于本体的知识发现 知识共享和社区自组织通用型系 统框架h e l i o s 但在基于语义的p 2 p 网络中节点的管理技术和处理机制方面 缺乏深入研究 1 3 论文的主要工作 在分析国内外p 2 p 覆盖网络结构的基础上 比较语义覆盖网络中管理技 术和节点处理技术的优点和缺点 在基于节点位置信启 的语义覆盖网络模型 中设计了新的管理者选择算法 消息通告算法 节点加入算法 节点离开算 法 论文工作内容包括以下6 个方面 1 阐述了p 2 p 网络的概念 分析了p 2 p 网络的特点 研究了p 2 p 网 络的应用现状 以及p 2 p 覆盖网络拓扑结构的发展概况 2 详细分析了p 2 p 覆盖网络中存在的问题 以及各种优化技术 比 较语义覆盖网络中管理技术和节点处理技术各自的优缺点 在此基础上设计 了新算法 3 不合理的管理者选择算法选择出的管理者节点很可能成为系统的瓶 颈 造成系统多次更换管理者 为了使选择的节点能更胜任管理者这个角色 提高组管理者的稳定性 避免频繁地更换组管理者 从而增强网络系统的稳 定性 使组管理者不再是系统的瓶颈 设计了c w m g s 算法 4 通告算法多采用全通告 网络流量过大 浪费带宽资源 为减少组 内 组间消息通告总的通信量 进而降低网络带宽的消耗 设计了算法c w a i g 和n d a e g 5 采用随机加入满足条件的组的方法加入节点 而不考虑加入后通信 量的多少 这样可能会造成组内通信量非常大 为节省系统的时间 提高资 哈尔滨丁程大学硕十学何论文 源共享的效率 设计了j s g 算法 6 节点离开采用在规定时间内无通告就认为离开的方法 这种离开算 法导致网络中可能存在着仅索取资源而不提供资源的节点 使组的整体性能 下降 为整体上提高组的性能 减少消息通告耗费的时延 设计了a p l g 算 法 1 4 论文的结构 论文的组织结构安排如下 第l 章阐述了课题背景及研究意义 分析了国内外的研究现状 最后介 绍了论文的主要工作和内容安排 第2 章阐述了p 2 p 网络的概念 特点 应用情况 研究了p 2 p 网络的拓 扑结构及其发展现状 第3 章研究了p 2 p 环境下基于语义的覆盖网络管理技术 这种管理技术 存在着作为管理者的节点可能因为自身能力的不足而成为系统瓶颈的问题 覆盖网络与实际的拓扑结构一致性的问题 以及节点异构性的问题 为解决 上述问题设计了新的管理者选择算法和消息通告的算法 并对其进行了性能 分析 第4 章分析了p 2 p 环境下基于语义的覆盖网络中节点的处理技术 有两 个主要问题影响整个网络的性能 一是不考虑各域的实际情况而加入节点 将会产生负载不均衡的问题 二是搭便车的问题 为更好地维护网络设计了 节点处理算法 并且综合比较了各算法的性能 第5 章为论文中设计的新算法 搭建了仿真实验验证环境 并进行了验 证和实验结果分析 实验结果表明新算法从整体上减少了系统资源的消耗和 时间的损耗 提高了p 2 p 覆盖网络的整体性能 最后 总结了论文的研究内容 指出了目前工作中存在的一些问题和不 足 并确定了未来工作的研究方向 4 哈尔滨t 程大学硕士学位论文 第2 章p 2 p 网络综述 传统的客户机 n 务器模式下 客户机和服务器的性能有很大的差别 但 随着个人计算机的使用越来越普及 它的性能变得越来越强大 从性能方面 来看客户机相对于服务器已经没有太大的差距 完全可以分担服务器的任务 而且客户机的数量也在呈指数级增长使得服务器不堪重负 如何使用网络中 闲置的资源 如何构建一个负载均衡并且可以直接分享客户机拥有资源的系 统模式成为了研究的主要方向 p 2 p 系统一种新的应用模式应运而生了 2 1p 2 p 网络的概念 p 2 p 有以下几个广为接受的概念 p 2 pw o r k i n gg r o u p 定义p 2 p 节点间相互交换资源 共享服务 1 2 n e l s o nm i n a r 定义p 2 p p 2 p 是利用资源 周期 内容优势存储的一种应 用技术 人们可以利用i n t e m e t 边缘的资源 因为利用这些边缘的资源意味 着处于一个连续不稳定和不可预测的i p 地址的环境 网络中的节点必须是运 行在d n s 外并且有中央服务器的自主权i c l a ys h i r k 的定义p 2 p p 2 p 利用因特网边缘的各个节点 共享它们的资 源 具有一定的自治性 a b e r e r 定义p 2 p 系统 p 2 p 节点是自治的 p 2 p 节点及其相互之间的连 接都是不可靠的 p 2 p 网络中的每一个节点都不具有整个系统的全局视图 p 2 p 系统不需要集中的数据库 不需要集中的协调中心 全局的行为依赖于 局部的相互作用 i b m 公司认为 p 2 p 系统依存于非中央式服务器的相互协作 以无中心 的方式使用共享资源 每个成员既是服务器又是客户机 系统中的用户能够 意识到彼此的存在 构成一个虚拟或实际的群体 不从服务器中受益 而从 其它成员受益 虽然不同的学者和企业给出p 2 p 不同的定义 但这些定义都共同表明 哈尔滨t 程大学硕十学位论文 p 2 p 打破了传统的c s 模式的限制 p 2 p 网络中的每一个节点既是服务器 又是客户端 节点相互之间的地位对等 运行相同的软件功能 同时相互共 享和利用包括处理器资源 存储器资源 网络资源等资源 2 2p 2 p 网络的特点 p 2 p 系统作为新兴的网络应用模式正在不断地发展和变化 但从已有的 研究和实践来看 p 2 p 具有如下特点陋m l 1 非中心化 p 2 p 不像传统的网络 需要连接到服务器上才能浏览与 下载资源 它将资源与服务分散到各个节点上 利用终端设备的处理能力 在资源和服务的提供者和使用者之间直接进行交互 而无需借助中间媒介 因此使得各计算机之间的沟通变得更加容易 避免了可能的系统瓶颈 增强 了它的健壮性 2 动态性 p 2 p 网络中的各个节点是自治的 它可以随机地加入和离 开p 2 p 网络 因此 p 2 p 网络具有极强的动态性 3 可扩展性 在p 2 p 网络中 节点可以随意的加入和离开 系统根 据自身的协议对节点进行管理 以保证p 2 p 系统的正常运行 而全分布的系 统结构使得系统理论上没有瓶颈 并且具有无限的可扩展性 4 健壮性 p 2 p 网络的节点可以随时加入和离开 各节点都有一定的 资源 都可以提供一些服务 因此部分节点失效或离开网络时 并不会给系 统带来很大的破坏 p 2 p 网络的自适应能力使得该系统可以根据带宽 节点 数 负载等因素的变化自动调节诸如拓扑结构 连通性等方面 表现出极强 的健壮性 5 高性能 价格比 p c 机硬件的飞速发展使得客户机具备了强大的数 据处理能力 超大容量的存储空间 从而使得p 2 p 网络中的节点完全可以分 担其他节点的计算或存储任务 进而有效的利用网络闲置资源 提高了计算 效率 扩充了存储空间 真正实现了高性能的计算和海量存储的目标 6 隐私保护 一些传统的匿名通信系统 某些服务器节点负责中继转 发 而p 2 p 则是将信息的传输分散在各节点之间 将通信的参与者隐藏在众 多的网络节点中 而无需经过某一服务器 因此使用户的隐私信息更加的安 6 哈尔滨t 稗大学硕十学位论文 全 用户的隐私保护更加的可靠 7 负载均衡 p 2 p 有别于传统的c s 模式或是m s 模式 网络中的 资源和服务分散在所有节点上 使整个网络的负载更加的均衡 2 3p 2 p 网络的应用 目前 p 2 p 网络的应用主要包括 分布式存储系统 计算能力共享 协 同工作 搜索引擎 即时通信 应用层组播等 1 分布式存储系统 该系统中的节点可以将自己的部分资源存储到其它节点上 并为其它的 节点提供高效率的文件存储 数据定位 数据复制 数据缓存 访问控制等 服务 它的研究包括如p a s t l r 等 2 计算能力的共享 除了可以共享存储空间 对等网络中的节点同样可以共享中央处理器的 处理能力 将大量闲置的计算能力聚合 庞大的任务分块后分配各个计算机 处理 并将结果返回 获得与超级计算机相媲美的计算能力 s e t i h o m e l 9 2 0 d i s t r i b u t e d n e t 都是基于对等网络的计算共享系统 3 协同工作 协同工作是指系统中的多用户利用协同计算平台来共同完成一项任务 p 2 p 的出现使得网络中的任意两台计算机都可以建立起实时的连接 形成一 个安全的可共享的空间 使协同工作不再需要中心服务器 减小了服务器的 压力 方便了团队协作 比较著名的p 2 p 协作系统包括g r o o v e m a g i 等 4 搜索引擎 p 2 p 搜索技术开发出强大的搜索工具 而且这种搜索不需要通过服务器 也不受信息文档格式 资源提供者设备的限制 它为互联网的信息搜索提供 了全新的解决之道 使用户能够达到相当深的文档深度 目前 比较流行的 搜索引擎有g o o g l e 百度等 而且著名的搜索引擎公司g o o g l e 宣布要采用 p 2 p 技术来改进其搜索引擎 5 应用层组播 组播技术是一种针对多点传输和多方协作应用的组通信模型 它在应用 哈尔滨 稗大学硕十学伉论文 层实现 无需网络层的支持 具有高效的数据传输效率 应用层组播协议将 组中的成员节点自组织成重叠网络 构建成可扩展 容错的应用层组播树 为数据多点并发的传输提供服务 而且支持事件通知 p 2 p 视频点播等多种 应用1 2 2 典型的系统包括c o o l s t r e a m i n g 3 j 等 6 其它 此外在电子商务 系统平台 自动化发售 智能代理等方面也都有应用 2 4p 2 p 网络的拓扑结构 p 2 p 系统中各个节点的物理或逻辑的联系构成了拓扑结构 拓扑结构直 接决定了系统的类型 p 2 p 网络拓扑结构在它的发展历史上大致经历了4 次 变革1 2 蚰5 1 集中式拓扑结构 集中式拓扑是第一代p 2 p 所采用的拓扑结构 它是最早出现的纯资源分 享的对等网络 但它实际上并不是纯粹的p 2 p 系统 它存储的是所有节点共 享资源的索引信息 如对等节点上的数据 用户的信息 以及各个用户所共 享的文件构成的文件列表 而且节点是通过和中央服务器的交互来获得查询 资源的定位信息 从而实现查找资源的 2 6 集中式拓扑结构的优点 避免了许多p 2 p 系统的查询路由和索引的问题 易于网络维护 方便管 理 支持简单灵活的搜索条件 搜索效率高 搜索速度快 集中式拓扑结构的缺点 它容易产生单点失效 与传统的c s 模式相类似 当中央服务器故障或 是离线时 将导致整个系统无法运作 网络面临崩溃 可靠性和安全性都比 较低 而且在用户数量较多的情况下 维护的成本代价 更新的费用等都急 剧增加 服务器会因无法负担而瘫痪 集中式拓扑结构的典型代表 音乐下载软件n a p s t e r 它采用专门的索引服务器来存放系统中各个节点 共享的资源对象的索引信息 当新节点加入网络时 必须到索引服务器上注 册所共享的资源对象的索引信息 当搜索资源时 节点只需向中心服务器发 哈尔滨t 程大学硕十学何论文 送一个查询请求 就可以得到拥有该文件的节点信息 中央服务器成了它最 大的隐忧 一旦中央服务器失销 整个系统将面临瘫痪 虽然它还不是一个 完全纯粹的p 2 p 系统 但它的出现还是让人们看到了p 2 p 巨大的潜力 为了 解决集中式拓扑存在的问题 p 2 p 向前发展 纯分布式拓扑结构应运而生 提出了全分布式非结构化拓扑结构 2 全分布式非结构化拓扑结构 全分布式非结构化拓扑采用了随机图的方式来组织网络中的节点 取消 了集中的中央服务器属于纯粹的p 2 p 系统 节点可随机加入网络 它们之间 直接建立起连接 进行交互通信 构成一个逻辑覆盖网络1 2 厶2 s 全分布式非结构化拓扑结构的优点 因为没有中央服务器 所以能有效的避免单点失效 从而具有良好的健 壮性 并且它能够较快的发现目标 节点会记录搜索的路由轨迹 从而防止 环路的产生 由于没有一个节点知道整个网络的拓扑结构 所以受节点频繁 加入和离开网络的影响小 全分布式非结构化拓扑结构的缺点 网络中的搜索采用洪泛算法 随着网络规模的壮大 其发送消息的数量 呈指数增长 为控制消息的泛滥需要消耗大量的网络带宽 容易形成网络的 拥塞 全分布式非结构化拓扑的典型代表 g n u t e l l a 没有中央服务器 网络中联网的计算机都是对等的 没有客户 机和服务器之分 当新节点想要加入网络时 通过g n u t e l l a 系统中已知的几 个节点得到更多的节点 选择其中的几个节点作为邻居 每个节点的资源文 件都保存在本地 不发布到其它节结点上 g n u t e l l a 采用受限t t l 的泛洪技 术来进行文件搜索 通常采用t t l 减值的方法来控制消息呈指级数的增长 这种泛洪的搜索方式造成网络流量急剧增加 但它是真正意义上的p 2 p 网络 随后大量的研究工作主要集中在构造一个高度结构化的拓扑结构上 3 全分布式结构化拓扑结构 为避免类似n a p s t e r 的中央服务器 同时最大程度上消除g n u t e l l a 在负载 平衡 网络风暴等方面的缺点 提出了全分布式结构化拓扑 目前 最新的 研究成果是基于d h t 的分布式发现和路由算法 通过散列函数的计算将关键 哈尔滨t 挥大学硕十学位论文 字对应惟一的一个节点 然后同该节点建立起相应的连接 也就是说网络中 所有的节点一起维护一张散列表 并将这个散列表分割 每个节点负责一个 散列块f 2 9 3 0 全分布式结构化拓扑的优点 因为网络采用了确定性的拓扑结构 所以能够保证精确查找 而且全分 布式的结构能够自适应节点的动态加入和节点的动态离开 有着良好的自组 织的能力 可扩展性和鲁棒性 全分布式结构化拓扑的缺点 维护d h t 较为复杂 尤其是当网络波动较大时 需要付出高昂的维护代 价 而且它只支持精确查找 对于现阶段的复杂查询不能够支持 因此在一 定程度上限制了d h t 的发展 全分布式结构化拓扑结构的典型代表 c a n 是由加州大学伯克立分校和a t t 共同设计的 它是由多维的标识 符空间来实现的散列算法 c a n 利用散列函数 对关键字进行计算 对应确 定笛卡尔空间中的某一节点 并且它采用直接的路由算法 确定目标节点的 位置后将请求传给当前节点相邻的最近的目标节点 3 l c h o r d 诞生于美国麻省理工大学 它主要贡献是提出了一个适合于p 2 p 环境的分布式查找协议 网络中的每一个节点按照一定的规则被唯一分配一 个标识 逻辑上可以认为是所有的节点按照哈希值排列的环 所以路由算法 采用了类似二分查找的方法 并且将资源存储在相近的节点上 3 2 t a p e s t r y 是由伯克利的k u b i a t i w i c z 和j o s e p h 共同提出的 它的思想源于 方案p l a x t o n t a p e s t r y 提供了查找和路由的平台 任何用户都可以加入 它 具有自适应性 容错性和自我优化等特性 更适于动态的p 2 p 网络 而且它 的缓存和复制技术 提高了它的查找效率 3 3 p a s t r y 是莱斯大学和微软研究院共同提出的 它是一种对等网络匿名存 储的环形系统 每一个标识符对应一个节点 它可用于构建大规模的p 2 p 系 统 虽然它和t a p e s t r y 有许多相似之处 但在对象的复制 路由的算法等方 面还是体现了一定的差异性 4 混合式化拓扑结构 混合式拓扑结构不但吸取了集中式拓扑的优点 而且还吸取了全分布式 1 0 哈尔滨 1 2 稃j 7 硕十学何论文 非结构化拓扑的优点 它利用节点的异构性选取性能优良的节点作为超级节 点 并且将一些节点的信息存储于超级节点中 查询请求只在超级节点之间 进行 由超级节点决定将消息发给哪个叶子节点 从中可以看出混合式拓扑 具有层次性 由超级节点和普通节点构成若干个层次瞰 混合式拓扑结构的优点 它充分考虑了节点的异构性 选择性能相对较好的节点充当超级节点 查询效率会大大提高 查询消息只在超级节点之间传播 类似于集中式的搜 索 提高了它的效率 还解决了洪泛搜索存在的问题 从而提高了网络的整 体性能 混合式拓扑结构的缺点 存在一种可能 节点处于相同的自治域 但覆盖网络相距很远 这就会 在搜索过程中造成不必要的网络流量 而且如果超级节点失效 那么网络会 面临瘫痪等问题 超级节点成为了系统的瓶颈 混合式拓扑的典型代表 k a z a a 2 是当今比较流行的p 2 p 文件共享软件 具不完全统计它在全球 的下载量超过2 5 亿次 它的文件传输占用了网络4 0 1 j j 带宽 它吸取了 n a p s t e r 和g n u t e l l a 共同的优点 自动的将性能优良的节点作为超级节点 并 且采用了全分布式非结构化的拓扑结构 使系统不但易于管理 而且具有良 好的可扩展性 但同时它对超级节点的依赖也决定了它易于受到攻击 成为 系统瓶颈 5 四种典型的拓扑结构综合性能比较 四种典型的拓扑结构其性能各有优缺点 集中式拓扑的资源发现效率高 可支持复杂查询 可维护性好 但可扩展性差 可维护性差 全分布式非结 构化拓扑的资源发现率较高 可支持复杂查询 可维护性最好 可靠性好 但可扩展性差 全分布式结构化拓扑的资源发现率高 可扩展性好 可维护 性好 可靠性好 但可扩展性差 混合式拓扑的资源发现效率较高 可支持 复杂查询 可扩展性较好 可维护性较好 可靠性较好 四种典型拓扑结构 性能比较如表2 1 所示 哈尔滨t 程大学硕十学f f 7 论文 表2 i典型拓扑结构性能比较 全分布式全分布式 比较方面集中式 混合式 非结构化 结构化 发现资 最高较高 高较高 源效率 复杂 支持 支持不支持支持 查询 可扩 差差好较好 展性 可维 最好最好好较好 护性 可靠性差好好较好 2 5 本章小结 本章主要阐述了p 2 p 网络的概念 p 2 p 网络的特点 以及p 2 p 网络的应 用 对四种典型拓扑结构阐述了各自的优缺点及典型代表 并对这四种典型 拓扑结构的资源发现效率 查询复杂性 可扩展性 可维护性 可靠性进行 了性能的比较 哈尔滨丁程大学硕士学何论文 第3 章语义覆盖网络管理技术的研究 语义覆盖网络的基本思想是把主题相近的节点资源组织在一起构成一个 组 从而提高全分布式p 2 p 系统的资源定位效率 语义覆盖网络具有查找速 率快 查找结果精确 系统资源消耗少 管理方便等优点 在语义覆盖网络 中管理者的选择 消息的通告 节点加入和离开的方式直接决定了整个网络 的稳定性 健壮性 可扩展性以及它的整体性能是否优越 因此对语义覆盖 网络中的管理技术和节点处理技术要进行深入的研究 3 1 语义覆盖网络管理技术综述 文献 3 7 按照层次结构来组织网络中的域和聚类 并利用域和聚类对网 络进行双重管理 域中的每个节点都有自己所扮演的角色 有的充当普通节 点 有的充当超级节点 超级节点尽量选取位于域的中心位置的节点 每个 超级节点存储本域中节点的信息 还要存储其它域的超级节点的信息 管理 整个网络 由于超级节点的任务重大 它一但失效或离开网络 后果不堪设 想 虽然根据网络状况设定一个时间周期来确定超级节点的状态 但在这个 时间周期内 仍有不可预料的后果发生 文献 3 8 采用了双层的网络结构 底层是由普通节点构成的 顶层是由 超级节点构成的 每个超级节点和一些普通节点组成一个语义簇 超级节点 作为管理节点 存储本簇中节点数据的索引信息和邻居超级节点的路由信息 语义簇内的每个节点可直接交互通信 而簇间的通信由本簇的超级节点负责 转发 文献 3 9 网络分为两层 上层为超级节点 下层为普通节点 开始时所 有的节点都是普通节点 随着普通节点兴趣相关节点的不断聚集 它的域值 也会不断增加 超过了设定的域值普通节点就成为超级节点 超级节点存储 域内所有节点的向量信息 负责管理和通信 文献1 4 0 1 提出了基于节点位置的语义覆盖网络 它将语义覆盖网络中的 哈尔滨t 稗大学硕十学位论文 节点依据物理位置分组 每组依据节点到达时间选出主管理者和副管理者 每个节点都建立一个成员列表记录着各个节点的信息 管理者负责维护本组 成员节点的信息并与相邻组的管理者保持实时的通信 文献 3 7 3 9 都是采用了超级节点的方法对网络进行管理 选取的超级节 点一般是各方面综合性能非常优良的节点 这种方法具有搜索高效 管理方 便等优点 但不可避免的存在着系统瓶颈的问题 而且以上三种覆盖网络还 忽略了与实际的拓扑结构一致性的问题 节点本身的特点即节点的异构性的 问题 相对于以上三种语义覆盖网络中的管理技术来说 文献 4 0 在分组时 考虑了节点本身的异构性 考虑了组中节点所处的位置 使物理位置相距较 近的节点组成一个组 并设定了主管理者和副管理者 从而避免了系统瓶颈 的产生 并且这种主备份的方式 保证了p 2 p 这个动态网络相对的稳定性 但它依据节点到达组的顺序选择管理者 可能将综合性能差的节点选为管理 者 节点的异构性也只考虑了所处位置的不同 节点其它方面的特性并未考 虑 文献 3 7 4 0 1 在管理技术上各有优缺点 其技术特点比较如表3 1 所示 表3 1四种典型语义覆蔷网络管理技术比较 有无副节点异 是否考虑 比较方面系统瓶颈 系统稳定性 管理者构性节点位置 基于语义聚 类的层次化存在无考虑相对稳定没考虑 语义覆盖网 基于语义的 存在无考虑相对稳定没考虑 s u p e r p e e r 网络 基于语义的 动态超节点存在 无 考虑 相对稳定没考虑 网络 基于节点位 置的语义覆不存在有没考虑不稳定考虑 盖网络 1 4 哈尔滨t 程大学硕士学 c 论文 3 2 基于节点位置的语义覆盖网络管理者选择改进算法 3 2 1t p g m s 算法的分析 上述各语义覆盖网络经过比较 文献 4 0 基于节点位置的语义覆盖网络 是最优的 所以以它为研究基础 但文献中的管理者选择算法存在缺陷 因 此对其中的管理者选择算法进行改进 文献 4 0 提出了一种全新的p 2 p 网络 结构来组织节点及其资源 该结构对网络中节点的共享资源按照潜在的语义 进行分类 组织了具有不同语义的覆盖网络 而且每个语义覆盖网络还利用 了节点的位置 将物理位置相近的节点组成一个组 作为结构的基本单元 这个语义覆盖网络中的每个组都有主管理者和副管理者 负责维护组内节点 的信息 并保持与相邻组的通信 管理者选择的依据是节点到达组的先后顺序 节点根据到达顺序的不同承担 不同的工作任务 可将这种算法叫做基于时间优先的组管理者选择 t i m e b a s e dp r i o r i t yg r o u pm a n a g e rs e l e c t i o n t p g m s