（计算机应用技术专业论文）基于p2p的web文件共享系统的研究与实现.pdf

华北电力大学硕士学位论文 摘要 如何更方便 更高效的进行信息共享已经成为新一代互联网研究的热点之一 作为真正意义上的分布式计算技术 p 2 p 在高效资源共享方面拥有强大的优势 本文通过对国内外大量文献的深入研究 总结了当前p 2 p 应用的研究现状 分 析了各种p 2 p 共享系统的优缺点 在此基础上设计并实现了一个基于p 2 p 的w e b 文件共享系统 即w i s 系统 本文首先对p 2 p 技术进行了概述 总结了研究现状 并给出了系统的总体设计 方案 然后对系统进行了详细设计 给出了节点搜索和文件摘要提取的解决办法 实现了文件信息的共享 最后对本文所有技术难点进行了总结 并对系统进行了测 试 测试结果表明 本系统对于共享文件信息有很好的实用价值和应用前景 关键词 p 2 p 共享 文件摘要提取 a b s t r a c t h o wt os h a r ei n f o r m a t i o nm o r ec o n v e n i e n t l ya n de f f e c t i v e l yh a sb e c o m eo n eo ft h e h o tt o p i c so ft h er e s e a r c ho nt h en e x tg e n e r a t i o no fi n t e r n e tt e c h n o l o g i e s a sar e a l d i s t r i b u t e dc o m p u t i n gt e c h n o l o g y p 2 ph a sp o w e r f u la d v a n t a g e sa b o u te f f i c i e n ts h a r i n g r e s o u r c e s b a s e do nt h ed e t a i l e ds t u d yo fl o t so fd o m e s t i ca n df o r e i g np a p e r sa b o u tt h ep 2 p t e c h n o l o g y t h i sp a p e rs u m m a r i z e st h ec u r r e n ts t a t u so fs t u d yo np 2 pt e c h n o l o g yf o r i n f o r m a t i o ns h a r i n g a n a l y z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e so fa l lk i n d so fp 2 p i n f o r m a t i o ns h a r i n gs y s t e m s b a s e do nt h i s d e s i g na n di m p l e m e n tap 2 pb a s e dw e b i n f o r m a t i o ns h a r i n gs o f t w a r es y s t e m e g w i ss y s t e m t h i sp a p e ri n t r o d u c e st h es u m m a r yo fp 2 pt e c h n o l o g yf i r s t l y s u m m a r i z e st h e c u r r e n ts t a t u so fs t u d y a n dp r o v i d e st h eh i g h l e v e ls y s t e md e s i g n s e c o n d l yt h ep a p e r a c h i e v e st h ed e t a i ld e s i g no ft h es y s t e m g e t st h es o l u t i o nf o rn o d es e a r c h i n ga n df i l e a b s t r a c te x t r a c t i o n a n di m p l e m e n t st h ei n f o r m a t i o ns h a r i n go ff i l e a tl a s ts u m m a r i z e t h em o s td i f f i c u l tt e c h n o l o g i e sa n dt e s tt h es o f t w a r es y s t e mi nd e t a i l t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h i ss y s t e mh a sg r e a tp r a c t i c a lv a l u ea n da p p l i c a t i o np r o s p e c t sf o r i n f o r m a t i o ns h a r i n g f e n gw e i c o m p u t e rs c i e n c ea p p l i c a t i o n d i r e c t e db yp r o f z h e n gl i n g k e yw o r d s p 2 p i n f o r m a t i o ns h a r i n g f i l ea b s t r a c te x t r a c t i o n 华北电力大学硕士学位论文 摘要 如何更方便 更高效的进行信息共享已经成为新一代互联网研究的热点之一 作为真正意义上的分布式计算技术 p 2 p 在高效资源共享方面拥有强大的优势 本文通过对国内外大量文献的深入研究 总结了当前p 2 p 应用的研究现状 分 析了各种p 2 p 共享系统的优缺点 在此基础上设计并实现了一个基于p 2 p 的w e b 文件共享系统 即w i s 系统 本文首先对p 2 p 技术进行了概述 总结了研究现状 并给出了系统的总体设计 方案 然后对系统进行了详细设计 给出了节点搜索和文件摘要提取的解决办法 实现了文件信息的共享 最后对本文所有技术难点进行了总结 并对系统进行了测 试 测试结果表明 本系统对于共享文件信息有很好的实用价值和应用前景 关键词 p 2 p 共享 文件摘要提取 a b s t r a c t h o wt os h a r ei n f o r m a t i o nm o r ec o n v e n i e n t l ya n de f f e c t i v e l yh a sb e c o m eo n eo ft h e h o tt o p i c so ft h er e s e a r c ho nt h en e x tg e n e r a t i o no fi n t e r n e tt e c h n o l o g i e s a sar e a l d i s t r i b u t e dc o m p u t i n gt e c h n o l o g y p 2 ph a sp o w e r f u la d v a n t a g e sa b o u te f f i c i e n ts h a r i n g r e s o u r c e s b a s e do nt h ed e t a i l e ds t u d yo fl o t so fd o m e s t i ca n df o r e i g np a p e r sa b o u tt h ep 2 p t e c h n o l o g y t h i sp a p e rs u m m a r i z e st h ec u r r e n ts t a t u so fs t u d yo np 2 pt e c h n o l o g yf o r i n f o r m a t i o ns h a r i n g a n a l y z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e so fa l lk i n d so fp 2 p i n f o r m a t i o ns h a r i n gs y s t e m s b a s e do nt h i s d e s i g na n di m p l e m e n tap 2 pb a s e dw e b i n f o r m a t i o ns h a r i n gs o f t w a r es y s t e m e g w i ss y s t e m t h i sp a p e ri n t r o d u c e st h es u m m a r yo fp 2 pt e c h n o l o g yf i r s t l y s u m m a r i z e st h e c u r r e n ts t a t u so fs t u d y a n dp r o v i d e st h eh i g h l e v e ls y s t e md e s i g n s e c o n d l yt h ep a p e r a c h i e v e st h ed e t a i ld e s i g no ft h es y s t e m g e t st h es o l u t i o nf o rn o d es e a r c h i n ga n df i l e a b s t r a c te x t r a c t i o n a n di m p l e m e n t st h ei n f o r m a t i o ns h a r i n go ff i l e a tl a s ts u m m a r i z e t h em o s td i f f i c u l tt e c h n o l o g i e sa n dt e s tt h es o f t w a r es y s t e mi nd e t a i l t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h i ss y s t e mh a sg r e a tp r a c t i c a lv a l u ea n da p p l i c a t i o np r o s p e c t sf o r i n f o r m a t i o ns h a r i n g f e n gw e i c o m p u t e rs c i e n c ea p p l i c a t i o n d i r e c t e db yp r o f z h e n gl i n g k e yw o r d s p 2 p i n f o r m a t i o ns h a r i n g f i l ea b s t r a c te x t r a c t i o n 声明尸 只月 本人郑重声明 此处所提交的硕士学位论文 基于p 2 p 的w e b 文件共享系统的研究与 实现 是本人在华北电力大学攻读硕士学位期间 在导师指导下进行的研究工作和取 得的研究成果 据本人所知 除了文中特别加以标注和致谢之处外 论文中不包含其他 人已经发表或撰写过的研究成果 也不包含为获得华北电力大学或其他教育机构的学位 或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意 学位做作者躲 玛午 日期 删 w 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留 使用学位论文的规定 即 学校有权保管 并 向有关部门送交学位论文的原件与复印件 学校可以采用影印 缩印或其它复制手段 复制并保存学位论文 学校可允许学位论文被查阅或借阅 学校可以学术交流为目 的 复制赠送和交换学位论文 同意学校可以用不同方式在不同媒体上发表 传播学位 论文的全部或部分内容 涉密的学位论文在解密后遵守此规定 导师签名 日 期 以 即硝 华北电力大学硕士学位论文 1 1 引言 第一章绪论 传统的c s 网络 网络的能力和资源全部集中在中央s e r v e r 上 在这种网络结 构下 随着用户数量的增多 就会出现带宽瓶颈 网络扩展困难和用户体验感变差 等一系列问题 但未来的网络必将呈现大规模 分布式和全球性等特点 显然c s 结构的网络模型很难满足如此大规模的网络需求 因而在一定程度上制约了互联网 的进一步发展 p 2 p 1 1 是p e e r t o p e e r 的缩写 可以理解为 伙伴对伙伴 的意思 或称为对等 网 他的优势在于高效资源共享和去中心化 可避免中间服务器介入而产生的瓶颈 系统整体资源和服务能力高 可扩展性强 系统架构强健 部分节点失效时能自动 调整架构拓扑 并且允许节点自由加入与离开 信息的分散性也提高了存储的安全 性 有效的利用了网络的闲散资源 充分体现了互联网的 人人为我 我为人人 的精神 p 2 p 网络结构p 2 p 结构充分利用了网络中众多的终端节点所蕴涵的处理能力和 潜在资源 并且随着节点数量的增加 系统整体资源和服务能力也会相应的增强 使得p 2 p 结构比传统的c s 结构更能适应未来网络的需求 因此 p 2 p 技术必将成 为下一代互联网发展的重要研究领域 结合中国的国情 积极推进p 2 p 的应用和创 新 对于中国互联网的发展具有十分重要的意义 1 2p 2 p 技术概述 1 2 1p 2 p 基本概念 随着互联网应用的进一步普及 集中提供资源与服务的c s 网络架构在功能上 的缺陷正逐渐暴露出来 该架构使每一个中央s e r v e r 支持的网站成为 个个的数字 孤岛 网络的能力和资源全部集中在中央s e r v e r 2 1 在这种体系架构下 各个中央 s e r v e r 之间也难以按照用户的要求进行透明的通信和能力的集成 它们成为网络开 放和能力扩展的瓶颈 而与c s 网络结构 如图1 2 相比 p 2 p 是一种新的网络 架构 如图1 1 在节点进行通信时 网络中不存在中心节点 每个p e e r 之间是 1 华北电力大学硕士学位论文 对等的 既是c l i e n t 又是s e r v e r 都可以进行对等的通信 p 2 p 结构充分利用了网 络中众多的终端节点所蕴涵的处理能力和潜在资源 消除了服务器瓶颈 p 2 p 技术 的应用使得业务系统从集中向分布演化 特别是服务器的分布化 克服了业务节点 集中造成的瓶颈 大大降低系统的建设和使用成本 提高网络及系统设备的利用率 p 2 p p e e rt op e e r 即对等计算机或对等网络 通常简称为p 2 p 可以简单的定 义成通过直接交换来共享资源和服务 在p 2 p 网络环境中 成千上万台彼此连接的 计算机都处于彼此对等的地位 网络中的每一台计算机即能充当网络服务的请求 者 又能对其他计算机的请求做出响应 提供资源与服务 通常这些资源和服务包 括信息的共享与交换 计算资源 如c p u 的共享 存储资源 如缓存和磁盘空间 的使用 等 p 2 p 网络 3 的参与者共享他们所拥有的一部分硬件资源 这些共享资源需要由 网络提供服务和内容 能被其它对等节点 p e e r 直接访问而无需经过中间实体 相对于传统的c s 结构或b s 结构 p 2 p 网络不存在中心节点 中心服务器 系统 中的各个节点不再区分服务器和客户端的角色关系 每个节点 p e e r 既是服务端 又是客户端 节点之间可以直接交换资源和服务而不必通过服务器 因此节点从中 央服务器了获得极大的自主权 信息流不需要汇聚到中央服务器 因此网络信息流 量的负担将得到极大减轻 p 2 p 是一种分布式网络 4 1 网络的参与者共享他们所拥有的一部分硬件资源 处 理能力 存储能力 网络连接能力 打印机等 网络参与者能被其他对等节点 p e e r 直接访问而无需经过中间实体 因此 p 2 p 网络的参与者既是资源 服务和内容 的提供者 s e r v e r 又是资源 服务和内容 的获取者 c l i e n t p e e rp e e r 攀 辫 j 一 s e r v e r p e e r p e e r 攀 图卜1p 2 p 的网络拓扑结构图卜2c s 网络的拓扑结构 2 华北电力大学硕士学位论文 1 2 2p 2 p 主要特征 p 2 p 是一种具有较高扩展性的分布式系统结构 其对等概念是指网络中的物理 节点在逻辑上具有相同的地位 而并非处理能力的对等 以n a p s t e r l 4 j 为代表的p 2 p 技术其实质在于将互联网的集中管理模式引向分散管理模式 将内容从中央单一节 点引向网络的边缘 从而充分利用互联网中众多终端节点所蕴涵的处理能力和潜在 资源 相对于传统的客户 服务器模型 p 2 p 网络结构弱化了服务器的概念 系统中 的各个节点不再区分服务器和客户端的角色关系 每个节点既可请求服务 也可提 供服务 节点之间可以直接交换资源和服务而不必通过中央服务器 p 2 p 系统最大的特点就在于用户之间直接共享资源 其核心技术就是分布式对 象的定位机制 这也是提高网络可扩展性 解决网络带宽被吞噬的关键所在 迄今 为止 p 2 p 网络已经历了三代不同网络模型 各种模型各有优缺点 有的还存在着 难以克服的缺陷 因此在目前p 2 p 技术还远未达到成熟的阶段 各种网络结构依然 能够共存 甚至呈现相互借鉴的形式 p 2 p 网络结构具有以下几个主要特点 5 j 1 分散性 网络中的资源和服务分散在所有结点上 信息的传输和服务都直接 在结点之间进行 可以无需中间环节和服务器的介入 避免了带宽 速度等瓶颈 2 可扩展性 在p 2 p 网络中 随着用户数量的增多 不仅服务的需求增加了 系统整体的资源和服务能力也在同步地扩充 始终能比较容易地满足用户的需要 其可扩展性理论上几乎可以认为是无限的 3 健壮性 p 2 p 架构天生具有耐攻击 高容错的优点 由于服务是分散在各个 结点之间进行的 部分结点或网络遭到破坏对其它部分的影响 l l d p 2 p 网络一般 在部分结点失效时能够自动调整整体拓扑 副 保持其它结点的连通性 p 2 p 网络通 常都是以自组织的方式建立起来的 并允许结点自由地加入和离开 4 高性能 性能优势是p 2 p 被广泛关注的一个重要原因 随着硬件技术的发 展 个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长 采 用p 2 p 架构可以有效地利用互联网中散布的大量普通结点 将计算任务或存储需求 分布到所有结点上 利用其中闲置的计算能力或存储空间 达到高性能计算和海量 存储的目的 目前 p 2 p 在这方面的应用多在学术研究方面 一旦技术成熟 能够 在工业领域推广 则可以为许多企业节省购买大型服务器的成本 5 隐私保护 在p 2 p 网络中 由于信息的传输分散在各节点之间进行而无需 经过某个集中环节 用户的隐私信息被窃听和泄漏的可能性大大缩小 此外 目前 解决i n t e r n e t 隐私问题主要采用中继转发的技术方法 从而将通信的参与者隐藏在 众多的网络实体之中 在传统的一些匿名通信1 7 l 系统中 实现这一机制依赖于某些 华北电力大学硕士学位论文 中继服务器节点 而在p 2 p 中 所有参与者都可以提供中继转发的功能 因而大大 提高了匿名通讯的灵活性和可靠性 能够为用户提供更好的隐私保护 6 负载均衡 p 2 p 网络环境下由于每个节点既是服务器又是客户机 减少了 对传统c s 服务器计算能力和存储能力的要求 同时因为资源分布在多个节点 更 好的实现了整个网络的负载均衡 1 2 3p 2 p 网络模型 1 集中目录式结构 早期的对等网络使用一个中央目录服务器来维护整个网络正常运行所需的信 息 因为仍然具有中心化的特点也被称为非纯粹的p 2 p 结构 8 这种集中目录式的 p 2 p 结构 见图1 3 也是最早出现的p 2 p 应用模式 比如用于共享m p 3 音乐文件的 n a p s t e r 他的中央服务器保存用户提供的所有文件的元数据信息 同时也保存着当 前在线用户的链接信息 当用户接入n a p s t e r 网络后 向目录服务器提供自己的共 享资源以在服务器上形成可链接的资源索引 当某个用户需要进行一次文件查询的 时候 向目录服务器发送查询请求 目录服务器根据用户的要求和资源索引进行匹 配 返回具有该资源的网络用户的列表 随后用户向资源宿主发送文件传送请求 建立数据传送通道 由于使用集中式索引目录服务器 可以快速有效的找到资源宿 主的位置 建立连接 搜索范围很广 几乎可以搜索接入网络的所有匹配的资源 分析 这种集中式的p 2 p 网络模型 具有结构简单 搜索速度快的优点 并显 示出了p 2 p 系统信息量巨大的优势 但同时也揭示了集中式p 2 p 模型本质上所不可 避免的两个问题 那就是法律版权问题和资源浪费问题 s e r v e r p e e rp e e r 图卜3 集中目录式的p 2 p 网络模型 2 华北电力大学硕士学位论文 2 分布式索引模式 本模式也称为纯p 2 p 模式 见图1 4 它取消了集中的中央服务器 每个节点 随机的接入网络 并与自己相邻的 组邻居节点通过端到端连接构成一个逻辑覆盖 的网络 g n u t e l l a 系统便使用了这种网络结构 每一个接入网络的用户是一个独立 的个体 在这个系统中没有集中的中央索引服务器 每个节点仅保存一部分网络资 源的索引目录以及本机共享资源的列表 用户通过查询和消息直接在网络中交换文 件信息 当用户要查询某一个资源的时候 首先在本机的目录中进行匹配 如果没 有找到匹配的信息则向邻近的节点广播查询请求 收到查询请求的节点对自己的资 源列表以及维护的索引目录进行查询 如果没有找到匹配的信息 则继续向邻近的 节点发送查询要求 依此类推直到发现匹配的结果 返回查询结果消息 查询结果 消息依原路返回 它经过的所有节点都向自身索引目录记录该结果信息 查询结果 消息返回查询源后 该查询源则向拥有该资源的节点发送文件传送请求 建立传输 通道 分析 使用这种结构不需要中央服务器 查询可以快速在系统中流传 理论上 可以很快的覆盖整个网络 避免了单一中央服务器的单点瓶颈问题 而且有很大的 容错性 任何一个节点接入或退出网络都不会影响系统的运行 但是该网络结构的 搜索算法以泛洪的方式进行 控制信息的泛滥消耗了大量带宽并很快造成网络拥塞 甚至不稳定 同时 局部性能较差的节点可能会导致该网络被分片 9 从而导致整 个网络的可用性较差 另外这类系统更容易收到垃圾信息 甚至是病毒的恶意攻击 p e e r 尚多笠 亏裂 简 l 厂 j 一 瞽 x 多昌 多乏 p e e r p e e r 图1 4 纯p 2 p 网络模型 3 华北电力大学硕士学位论文 3 混合式p 2 p 模型 混合式p 2 p 模型1 1 0 见图1 5 在纯p 2 p 分布式模型基础上引入了超级节点的 概念 综合了集中式p 2 p 快速查找和纯p 2 p 去中心化的优势 在该模型中 将节点 按能力不同 计算能力 内存大小 连接带宽 网络滞留时间等 区分为普通节点 和超级节点两类 也有的进一步分为三类节点 其思想本质相同 其中超级节点 与其i 临近的若干普通节点之间构成一个自治的簇 1 1 j 簇内采用基于集中目录式的结 构 而整个p 2 p 网络中各个不同的簇之间再通过分布式的索引方式将超级节点连接 起来 甚至也可以在各个超级节点之间再次选取性能最优的节点 或者另外引入一 新的性能最优的节点作为索引节点来保存整个网络中可以利用的超级节点信息 并 且负责维护整个网络的结构 分析 由于普通节点的文件搜索先在本地所属的簇内进行 只有查询结果不充 分的时候 再通过超级节点之间进行有限的泛洪 这样就极为有效地消除分布式索 引结构中使用泛洪算法而带来的网络拥塞 搜索迟缓等不利影响 同时 由于每个 簇中的超级节点监控着所有普通节点的行为 这也能确保一些恶意的攻击行为能在 网络局部得到控制 并且超级节点的存在也能在一定程度上提高了整个网络的负载 平衡 总体来看 基于超级节点的p 2 p 网络结构比以往有较大程度的改进 s e r v e r p e e r p e e r 图1 5 混合式的p 2 p 网络模型 华北电力大学硕士学位论文 1 3 研究背景及目标 传统的c s 网络 网络的能力和资源全部集中在中央s e r v e r 上 在这种网络结 构下 随着网络用户的增多 就会出现带宽瓶颈 网络扩展困难和用户体验感变差 等一系列问题 但未来的网络必将呈现大规模 分布式和全球性的特征 显然c s 网络结构很难满足如此大规模的需求 因此在一定程度上制约了互联网的进一步发 展 p 2 p 是p e e r t o p e e r 的缩写 可以理解为 伙伴对伙伴 的意思 或称为对等 网 他的优势在于高效资源共享和去中心化f 1 2 l 可避免中间服务器介入而产生的瓶 颈 系统整体资源和服务能力高 可扩展性强 系统架构强健 部分节点失效时能 自动调整架构拓扑 并且允许节点自由加入与离开 信息的分散存放也提高了存储 过程中的安全性 有效利用了网络中的大量闲散资源 充分体现了互联网的 人人 为我 我为人人 的精神 p 2 p 网络结构p 2 p 结构充分利用了网络中众多的终端节点所蕴涵的处理能力和 潜在资源 并且随着节点数量的增加 系统整体资源和服务能力也会相应的增强 使得p 2 p 结构比传统的c s 结构更能适应未来网络的需求 因此 p 2 p 技术必将成 为下一代互联网发展的重要研究领域 结合中国的国情 积极推进p 2 p 的应用和创 新 对于中国互联网的发展具有十分重要的意义 p 2 p 是一场新革命 尽管其特征还未完全显现 但他一定会给我们一个全新的 互联网 种种迹象表明 p 2 p 技术已经初步脱离草莽 正在迈向前所未有的成功 正是基于这种思想和p 2 p 技术的发展方向 我选择了 基于p 2 p 的w e b 文件共享 系统的研究与实现 这个题目 在阅读了大量的国内外相关文献以及参考了相关的软件设计思路的基础上 本 文主要研究在w i n d o w s2 0 0 0 以上环境下 实现一个能够快速搜索信息的p 2 p 软件 系统 研究内容涉及多线程协作编程技术f 1 3 文件摘要提取算法 数据库技术 1 4 l s o c k e t 编程 t c p u d p 应用 w i n d o w s 服务程序编写技术 程序的分层架构模型技 术 设计目标为实现一个基于p 2 p 的文件共享系统 以下简称w i s 系统 能够实 现信息的高效快速搜索 并以w e b 的形式展现出来 w i s 系统主要分为三个模块 即文件搜索模块 文件操作模块和数据库模块 文件搜索模块的主要功能是搜索本地文件信息和网络共享信息 建立索引并分类写 入数据库 文件操作模块的主要功能是实现对本机资源的浏览器管理 包括文件管 理和文件查看 并提供下载功能 数据库模块为应用程序和数据库提供接口 包括 数据的插入 修改 删除 查询等功能 2 华北电力大学硕士学位论文 要实现w i s 系统 必不可少的要建立服务器软件 同时也会涉及到很多的网络 协议以及协议的规范和操作 因此如何建立起自己的服务器软件和保证良好的协议 支持和扩展性就变得尤为重要 因此 本文选择了著名的b o r l a n d 公司的产品c b u l i d e r6 0 作为开发平台 1 4 本章小结 本文绪论部分首先介绍了p 2 p 的基本概念 指出了传统c s 网络存在的弊端 并且对p 2 p 网络结构和c s 网络结构进行了对比 总结了p 2 p 结构的基本特征和典 型结构 并进行了分析 在此基础上 提出了本文的研究目的 然后对研究内容与 目标进行了说明 3 华北电力大学硕士学位论文 2 1 应用分类 第二章p 2 p 研究现状 由于p 2 p 网络模式的特殊结构 为我们带来了崭新的科技体验和丰富便捷的网 络服务 因此对于互联网的发展具有深远的意义 目前p 2 p 技术已经应用到很多领 域 并且取得了很多研究成果 具体分类如下 1 p 2 p 分布式存储系统 p 2 p 分布式存储系统 文件共享与下载 是一个用于对等网络的数据存储系统 1 5 l 它可以提供高效率的 鲁棒的和负载平衡的文件存取功能 对于存储系统 用 户关心数据的定位 搜索以及路由的效率 安全性也是重要的因素 集中方式在很 多情况下不再适用这种大规模数据存储的要求 这就需要一个新的体系来管理系统 中的数据 而p 2 p 分布式存储系统就是解决这样的问题 这些研究包括全分布式存储系统 o c e a n s t o r e p a s t 和f r e e h a v e n 等 其中 基 于超级节点结构的半分布式p 2 p 应用如k a z a a e d o n k e y m o r p h e u s 和b i tt o r r e n t o j 等也属于p 2 p 共享存储的范畴 并且用户数量急剧增加 2 p 2 p 计算能力的共享 加入对等网络的结点除了可以共享存储能力之外 还可以共享c p u 处理能力 目前已经有了一些基于对等网络的计算能力共享系统 比如s e t i l h o m e 是由加州 伯克利大学开展的寻找外星生命的研究计划 它使用p 2 p 技术串联所有参与研究计 划的闲置的计算机来执行复杂的运算 用来分析行星的无线电讯号 寻找宇宙可能 存在其他外星文明的证据 这些电脑每天平均发挥的效能超过了全球造价最高 运 算最快的超级电脑 这种计算能力共享系统还可以用于进行基因数据库检索和密码 破解等需要大规模计算能力的应用 3 p 2 p 流媒体技术1 1 6 j 传统的流媒体系统一般是基于客户 服务器模式 服务器以单播的方式和每个用 户建立连接 由于流媒体服务具有高宽带 持续时间长等特点 随着用户数量的增 加 服务器的带宽很快被消耗完 所以以前的网络电视在观看的过程中经常出现断 断续续 需要不断进行数据缓冲 为了解决系统的可扩展性 许多研究提出了相应 的解决办法 然而由于i p 组播存在很难实现可靠性组播和拥塞控制等限制 因此i p 组播技术并没有得到广泛的应用 而由于p 2 p 网络本身的可扩展性 基于p 2 p 方式 4 华北电力大学硕士学位论文 的流媒体技术很好的这些问题 4 p 2 p 协同工作环境 协同工作是指多用户之间利用网络中的协同计算平台互相协同来共同完成计算 任务 共享信息资源等 通过采用p 2 p 技术 个人和组织可以随时采用多种方式建 立在线 非在线的协同应用环境 协同应用 般包括实时通信 聊天室 文件共享 语音通讯等基本功能 此外 用户之间还可以共享自板 协同写作 视频会议等 另外 协同有时候还包括工程人员的协作开发软件 例如j b u i l d e r 2 0 0 6j a v a 集成开 发环境就增加了p 2 p 协同开发的属性 采用p 2 p 技术使协同工作不再需要中心服务 器 参与协同工作的计算机可以点对点建立连接 5 p 2 p 搜索技术 p 2 p 搜索技术使用户能够深度搜索文档 而且这种搜索无需通过w e b 服务器 也可以不受信息文档格式和宿主设备的限制 可达到传统目录式搜索引擎无可比拟 的深度 目前 集中式搜索引擎谷歌 雅虎 百度是人们在网络中检索信息资源 的主要工具 但这种集中式的搜索引擎远远无法涵盖所有互联网内的共享内容 而 p 2 p 搜索技术正好是这种集中式检索的一种良性互补 6 p 2 p 应用层组播 组播技术 m u l t i c a s t 是一种针对多点传输和多方协作应用的组通信模型 有 高效的数据传输效率 是下一代i n t e r n e t 应用的重要支撑技术 早期的组播技术研 究试图在i p 层提供组播通信功能 但i p 组播1 1 7 的实施涉及到对现有网络基础设施 的调整 因此大规模应用受到限制 随着p 2 p 研究的兴起 基于应用层的组播技术 逐渐受到广泛关注 应用层组播协议将组成员节点自组织成重叠网络 o v e r l a y n e t w o r k i s 在主机节点实现组播功能 为数据多点并发传输提供服务 应用层 组播是在应用层实现组播功能而不需要网络层的支持 这样就可以避免出现由于网 络层迟迟不能部署对组播的支持而使组播应用难以进行的情况 2 2 当前研究现状 针对以上几种p 2 p 应用的主要方面 国内外开展了多项研究并取得了一定成果 1 当前国外的研究现状 国外开展p 2 p 研究的学术团体主要包括p 2 p 工作组 p 2 p w g 全球网格论坛 g g f 以及各高校的研究小组 其中 p 2 p 工作组成立的主要目的是希望加速p 2 p 计算基础设施的建立和相应的标准化工作 m i c r o s o f t 公司成立了p a s t r y 项目组 主要负责p 2 p 计算技术的研究工作 目前 开发了基于p a s t r y 的s c r i b e p a s t s q u i r r e l 1 9 等多种应用 在新一代的 气 华北电力大学硕士学位论文 w i n d o w sv i s t a 操作系统中 也增加了最新的p 2 p 研究成果来支持协同工作 2 0 0 0 年8 月 i n t e l 公司宣布成立p 2 p 工作组 正式开展p 2 p 的研究 工作组成 立以后 积极与应用开发商合作 开发p 2 p 应用平台 2 0 0 2 年i n t e l 发布了 n e t 基 础架构之上的a c c e l e r a t o rk i t p 2 p 加速工具包 和p 2 p 安全a p i 软件包 从而使 得微软 n e t 开发人员能够迅速地建立p 2 p 安全w e b 应用程序 i b m 公司也开展了基于p 2 p 技术的研究 提出了s m a r tn e t w o r k i n g s u n 公司以j a v a 技术为背景 开展了j x t a 项目 j x t a 是基于j a v a 的开源p 2 p 平台 任何个人和组织均可以加入该项目 2 国内科研机构的研究现状 m a z e 2 0 是北京大学网络实验室开发的一个中心控制与对等连接相融合的对等 计算文件共享系统 在结构上类似n a p s t e r 对等计算搜索方法类似于g n u t e l l a 网 络上的一台计算机 不论是在内网还是外网 可以通过安装运行m a z e 的客户端软 件自由加入和退出m a z e 系统 每个节点可以将自己的一个或多个目录下的文件共 享给系统的其他成员 也可以分享其他成员的资源 该软件支持基于关键字的资源 检索 也可以通过好友关系直接获得 g r a n a r y 是清华大学自主开发的p 2 p 存储服务系统 所谓p 2 p 存储服务系统是 指存储服务的提供者在i n t e r n e t 中部署一定数量的存储服务器 为用户提供数据存 储服务 确保数据的可靠性 可用性 安全性和访问效率 存储服务的使用者按照 所存储数据的容量和质量付费 它以 对象 格式存储数据并且支持属性级的数据 查询 a n y s e e 是华中科大设计研发的视频直播系统 它采用了一对多的服务模式 支 持部分n a t 和防火墙的穿越 提高了视频直播系统的可扩展性 同时 它利用近播 原则 分域调度的思想 使用l a n d m a r k 路标算法直接建树的方式构建应用层上的 组播树 克服了e s m 等一对多模式系统由联接图的构造和维护带来的负载影响 w o n g o o 2 l 是中科院计算所研制的一套p 2 p 技术平台 该平台主要为信息安全 网格计算提供支撑技术和试验环境 同时w o n g o o 的基础部件将在开发完善之后以 开放源代码的方式向社会公开 基于i p v 6 的p 2 p 内容存取应用系统是由北京大学 清华大学 上海交通大学 浙江大学 华中科技大学 华南理工大学和北京世纪鼎点软件有限公司共同承担的 国家c n g i 项目的一部分 它主要研究基于智能节点弹性重叠网络技术的内容存取 应用中间件系统 在c n g i 上建设可管理 可控制和可运营的智能节点弹性重叠网 络 开发内容存取类应用 3 国内企业的研究现状 国内企业在p 2 p 的应用领域研究一直与世界同步 开发了众多使用广泛的p 2 p 产品 这些产品主要集中在文件共享与下载 网络流媒体电视等方面 6 华北电力大学硕士学位论文 p o c o t 2 2 是中国领先的免费电影 音乐 动漫等多媒体分享平台 同时在线人 数突破数七十万人 是中国最大的电影音乐动漫分享平台 是有流量控制力的 没 有中心服务器的p 2 p 资源交换平台 p o c o 提供多点传输 断点续传等技术 来保 障传输过程的高效和稳定 o p 又称为o p e n e x tm e d i ad e s k t o p l 2 3 一个网络娱乐内容平台 n a p s t e r 的后继 者 它可以最直接的方式找到您想要的音乐 影视 软件 游戏 图片 书籍以及 各种文档 随时在线共享文件容量数以亿计 十万影视 百万音乐 千万图片 o p 整合了i e w i n d o w sm e d i ap l a y e r r e a l o n ep l a y e r 和a c d s e e 是国内的网络 娱乐内容平台 非常著名的p p l i v e 是一款用于互联网上大规模视频直播的共享软件 它使用 网状模型 有效解决了带宽和负载有限的问题 用户越多 播放就越流畅 其他的商业软件还包括p p 点点通 e m u l e b t 客户端软件等等 2 3 面临的问题 p 2 p 技术以其优越的性能迅速博得了广大互联网用户的喜爱 与此同时 由p 2 p 带来的的信息安全问题也引起了社会广泛的关注 主要包括以下几种 1 p 2 p 信息共享与知识产权保护 2 路由攻击 3 存取攻击 攻击者正确地执行查找协议 但否认在它节点上保存有数据 也可以向外界宣 称它保存有这些数据 但却拒绝提供 使其他节点无法得到数据 4 行为不一致攻击 攻击者对网络中距离比较远的节点进行攻击 而对自己邻近的节点却表现出一 切正常的假象 远方节点能发现这是一个攻击者 但邻近节点却认为这是一个正常 的节点 5 目标节点过载攻击 攻击者通过向某些特定目标节点发送大量的垃圾分组消息 耗尽目标节点的处 理能力 这是一种拒绝服务类型的攻击 在一段时间之后 系统会认为目标节点已 经失效退出 从而将目标节点从系统中删除 6 穿越防火墙 p 2 p 网络节点既可以位于公网 也可以处在内部局域网 p 2 p 软件经过特殊设 计 能够通过防火墙使内外网用户建立连接 这就像是在防火墙上开放了一个秘密 通道 s e c u r i t yh o l e 使得内网直接暴露在不安全的外部网络环境下 7 华北电力大学硕士学位论文 7 p 2 p 带来的新型网络病毒传播问题 在p 2 p 网络中 每个节点防御病毒的能力是不同的 只要有一个节点感染病毒 就可以通过内部共享和通信机制将病毒扩散到附近的邻居节点 在短时间内可以造 成网络拥塞甚至瘫痪 甚至通过网络病毒可以完全控制整个网络 随着p 2 p 技术的 发展 将来会出现各种专门针对p 2 p 系统的网络病毒 利用系统漏洞 达到迅速破 坏 控制系统的目的 因此 网络病毒的潜在危机对p 2 p 系统安全性和健壮性提出 了更高的要求 迫切需要建立一套完整 高效 安全的防毒体系 综上所述 p 2 p 技术拥有很多优势但也同时面临很多问题 因此 要想开发好 的p 2 p 应用 有很多东西因素需注意 现总结如下 首先 对于互联网上众多计算机 p 2 p 应用比其他应用要更多考虑那些低端p c 的互联 它们不具备服务器那样强的联网能力 同时对于以往的p 2 p 应用技术 现 在的硬件环境已经更为复杂 这样在通信基础方面 p 2 p 必须提供在现有硬件逻辑 和底层通信协议上的端到端定位 寻址 和握手技术 建立稳定的连接 涉及的技 术有i p 地址解析 n a t 路由及防火墙 其次 在应用层面上 如果两个p e e r 分别代表两个不同的节点 而且它们已经 通过互联网建立连接 那么一方的信息就必须为另一方所识别 所以当前互联网上 关于数据描述和交换的协议 如x m l s o a p u d d i 等都是一个完善的p 2 p 软件 所要考虑的 最后 有通信就要有安全保障 如何加密 如何设置中心服务器 如何控制网 络规模等因素都是需要考虑的 2 3 本章小结 本章从p 2 p 的应用分类开始介绍 总结了当前国内外的企业和科研机构所开展 的p 2 p 项目和科研成果 概况了当前p 2 p 应用所面临的安全问题 同时总结了p 2 p 开发所应注意的问题 为接下来的系统设计和实现奠定了理论基础 8 华北电力大学硕士学位论文 3 1wls 系统架构的设计 第三章系统总体设计 w i s 系统 即w e bi n f o r m a t i o ns h a r es y s t e mb a s e do np 2 p 中文全称为基于p 2 p 的w e b 文件共享系统 该系统具有对网络文件信息的快速检索 文件上传和下载 等功能 并最终以w e b 浏览器的形式展现出来 采用s h a 1 算法进行文件摘要提 取 保证文件内容的一致性 系统主要由文件信息搜索 文件操作和数据库三大模 块组成 w i s 系统总体架构如图3 一l 图3 1w i s 系统总体架构 9 华北电力大学硕士学位论文 w i s 系统主要分为三个模块 即文件信息搜索模块 文件操作模块和数据库模 块 文件搜索模块的主要功能是搜索本地文件信息和网络文件信息 建立索引并写 入数据库 文件操作模块的主要功能是实现对本地资源的管理 包括文件显示和文 件操作等 并提供下载功能 数据库模块为应用程序和数据库提供接口 包括数据 的插入 修改 删除 查询等功能 要实现基于p 2 p 的文件共享及下载系统 必不可少的要建立服务器软件1 2 引 同 时也会涉及到很多的网络协议以及协议的规范和操作 因此如何建立起自己的服务 器软件和保证良好的协议支持和扩展性就变得尤为重要 本文选择了著名的b o r l a n d 公司的产品c b u l i d e r 6 0 t 2 5 j 作为开发平台 3 2w l