（计算机应用技术专业论文）基于p2p的离线文件传输机制的研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 目前，国内外的即时通信软件( i n s t a n tm e s s a g e 。i m ) 能够为用户提供即时消息、语音、 视频，以及文件传输等多样化服务，几年来已成为互联网用户的重要通信方式，如m s n 、 a i m 、s k y p e 、q q 等。但是它们都过分依赖中心服务器，而且要求用户必须实时连接i n t e m e t 才能互相通信。这样就使得他们的应用受到很大的限制，尤其是文件传输。本文正是基于 这一前提，提出了基于p 2 p 的离线文件传输机制的研究。 本文首先研究了p 2 p 技术原理、i m 工具( 如l a v a - - l a v a ) 和电子邮件的文件传输方式 以及文件分片和冗余算法。在研究分析之后，本文针对互联网用户离线的情况，提出基于 p 2 p 的离线文件传输的方法，通过文件分片算法将待发送文件分片，并采用冗余算法和p 2 p 技术原理将分片存放于不同的p e e r ，实现离线文件的传输过程。 本文通过对p 2 p 技术原理、文件分片、分片冗余等的研究，提出了本文的文件分片算 法和冗余算法等，并阐述其合理性，最后设计并实现了基于p 2 p 的离线文件传输系统。实 验结果形象的表明了所提方案的可行性。 关键词：p 2 p ，文件传输，文件分片，文件冗余 南京邮电大学硕：研究生学位论文 a b s t r a c t a b s t r a c t p r e s e n t l y ，i n s t a n tm e s s a g eh a sb e c o m ea l li m p o r t a n tc o m m u n i c a t i o nm e a n sf o rp e o p l e b e c a u s ei tc a l lp r o v i d ed i v e r s i f i e ds e r v i c e s ，s u c ha si n s t a n tm e s s a g e 、v o i c ea n dv i d e o c o m m u n i c a t i o n 、f i l et r a n s m i s s i o na n ds oo n f o re x a m p l e ，m s n 、a i m 、s k y p e 、q q b u ta l l o ft h e ma r ef u l s o m er e l yo nc e n t e rs e r v e r s ，a n du s e r sh a v et oc o n n e c tt oi n t e r a c t t oc o m m u n i c a t e a l lt h et i m e f o rt h e s er e a s o n s ，t h e ya l er e s t r i c t e dt oa p p l i c a t i o n ，e s p e c i a l l yi nf i l et r a n s m i s s i o n b a s e d0 1 1t h i sp r e c o n d i t i o n ，t h i sp a p e rp r o p o s e st h es t u d yo no f f - l i n ef i l et r a n s m i s s i o nb a s e do l l p 2 p a n dw eh a v ed o n er e s e a r c ho np 2 pt e c h n o l o g y ，i m ，f i l et r a n s m i s s i o nw a yo fe m a i l ，f i l e s l i c ea n dr e d u n d a n c y b e h i n dt h ea n a l y s i ss t u d y i n g ，t h em a i nb o d yo ft h i sp a p e rb r i n g sf o r w a r d t h em e t h o dt h a tt h ef i l et r a n s f e r sb a s e do np 2 po f f l i n es p e c i f i c a l l yf o ro f f l i n ec o n d i t i o no f i n t e r a c tc o n s u m e r a n dw ea d o p tt h er e d u n d a n c ya l g o r i t h ma n dp 2 pt e c h n o l o g yt od i s p a t c ht h e f i l ep i e c e sa n ds t o r ei nd i f f e r e n tp e e r s ，t or e a l i z et h i sm i s s i o nt h a tt h ef i l et r a n s f e r st h o u g hu s e r s a l eo f f l i n e a f t e rt h er e s e a r c ho f p 2 p t e c h n o l o g y 、f i l es l i c e 、f i l er e d u n d a n c y ，w ep r o p o s eo u ra l g o r i t h m s o ff i l es l i c ea n df i l er e d u n d a n c ye r e ，a n de x p o u n dt h e ya l er e a s o n a b l e a tl a s t ，w ed e s i g na n d i m p l e m e n tas y s t e mo ff i l et r a n s m i s s i o nb a s e do np 2 p e x p e r i m e n th a sv i s u a l i z ei n d i c a t e dt h a t t h es c h e m ei sf e a s i b i l i t y k e yw o r d s ：p 2 p ，f i l et r a n s m i s s i o n ，f i l es l i c e ，f i l er e d u n d a n c y i i 南京邮电大学硕士研究生学位论文 致谢 缩略词 。十 ，。j 。t 7 _ 一v ；5 “、，t一。一 。 - 缩略词英文全称，。二，；| 、译文 ， _ ， a l ma m e r i c a no n l i n ei n s t a n tm e s s a g e r美国在线即时通信软件 a p i a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e应用程序接口 b tb i t t o r r e n t 比特涡流 c f c a s c a d i n gf a i l u r e 级连故障 c f s c o o p e r a t i v e f i l es y s t e m 合作文件系统 c p uc e n t r a lp r o c e s s i n gu n i t 中央处理器 c sc l i e n t s e r v e r客户f 服务器 d c 。n e td i r e c tc o n n e c t i o nn e t w o r k直连网络 d h td i s t r i b u t e dh a s ht a b l e 分布式哈希表 f t f i l et r a n s m i s s i o n 文件传输 h a s hh a s hh o u s eh a r r i e s 散列算法 i c n i n t e m e tc o n t r o lm e s s a g ep r o t o c o l 因特网信报控制协议 i mi n s t a n tm e s s a g e 即时消息 i pi n t e m e tp r o t o c o l 因特网协议 m d 5 m e s s a g ed i g e s ta l g o r i t h m5 信息摘要算法 m s nm i c r o s o f tn e t w o r km e s s a g e r微软网络信息服务 n a tn e t w o r ka d d r e s st r a n s l a t i o n 网络地址转换 p 2 pp e e r - t o p e e r 点到点网络技术 p c p e r s o n a c o m p u t e r个人电脑 r 订 r o u n dt r i pt i m e往返时间 t c pt r a n s m i s s i o nc o n t r o lp r o t o c o l传输控制协议 u d pu s e rd a t a g r a mp r o t o c o l 用户数据报协议 5 8 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生铭鲞叠芝二魄萼盥沙 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：弓潍久导师签名研究生签名：弓呲久导师签名 期：啦 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 研究背景 第一章绪论 首先解释一下本文用到几个词语的意思，离线：用户没有与互联网连接；在线：用户 正与互联网连接着。离线文件是指，用户不在线时，当有联系人发送文件给用户时，所 发送的文件会暂存起来，当用户登陆时文件会自动收取至所发送文件的联系人。用户也 可以直接打开该文件，文件会自行运行，或者打开收取文件的文件夹，查看文件。 目前i n t e r n e t 迅猛发展，信息化正不断深入社会的各个方面，并在不同层面上促进社 会的加速发展和变革。人们方便的使用m s n 、q q 等i m 【l 】( i n s t a n tm e s s a g e ，即时通信) 软件在互联网上自由的交流与沟通，进行语音聊天、网络会议发起、电子邮件收发、文 件传输等。 i m 软件所提供的功能，使得人们交流沟通更方便、有效。但是它们也有一定的局限 性，比如过分的依赖中心服务器，共享空间容量小，上传下载速度慢等等。尤其是在文 件传输方面，i m 软件要求用户双方必须实时在线才能进行传输，也就是说现在的i m 软 件无法为用户提供处于离线状态下的文件传输。这一问题造成用户使用极大的不方便。 虽然现在也有一些方法可以解决实时在线等问题，但是这些方法本身也存在着缺陷。 例如电子邮件可以通过附件方式来发送文件，解决用户双方必须实时在线问题，但是它 也有一个附件容量小的缺点。国内最近也有人开发了基于w e b 2 0 1 2 1 技术的i m 软件 l a v a 1 a v a l 3 】，在一定程度上解决了用户离线传输文件的问题。可是它依然是依赖于中心服 务器模式的，存在单点故障风险问题，而且传输的文件大小也有限制等等。 目前计算机网络技术研究的热点之一对等网络( p e e r t o p e e r ，p 2 p 1 4 ) 可以很好 的解决前面所述i m 软件所存在的一些技术难题。对等网络是一种用于信息共享的网络架 构，在这种架构中，各节点既是网络服务提供者服务器，又是网络服务申请者 工作站。服务申请者和服务提供者之间进行直接通信，可充分利用网络带宽，减少网络 的拥塞状况，使得资源的有效利用率大大提高( 包括各种计算资源和存储资源) 。同时 由于没有中央节点的集中控制，系统的伸缩性较强，也能避免单点故障，提高系统的容 错性能。从这个角度看p 2 p 带来了几个改变：首先，客户不再需要将文件上传到服务器， 南京邮电大学硕：t 研究生学位论文第一章绪论 而只需要使用p 2 p 将共享信息提供出去；其次运行p 2 p 的个人电脑不需要固定i p 地址和 永久的互联网连接，这使得那些拨号上网用户也可以享受p 2 p 带来的变革：最后，p 2 p 完全改变过去控制互联网的客户栅服务器模式，消除客户机和服务器二者之间的差别。 在p 2 p 技术的推动下互联网的存储模式将由现在的“内容位于中心 模式转变为“内容 位于边缘 模式【5 】。 本文在此基础上提出一种融合p 2 p 网络模型优势，在现实网络下切实可行的p 2 p 文 件传输系统模型( 本文称为f t ，f i l et r a n s m i s s i o n ) ；并对该模型实现方案和重要算法及 过程进行详细描述；最后给出结论。 1 2 作者主要工作及论文组织 在“基于p 2 p 的离线文件传输机制的研究 的研究课题中，本文开发了一个离线文 件传输的模型，通过采用文件分片、分片冗余等技术措施来完成离线文件传输，改善了 文件传输的方式，为提供用户更好的网络通信工具，极大的满足了用户的需求。 本论文共分为六章。 第一章介绍了研究背景以及作者所作的工作。 第二章首先介绍了p 2 p 的关键技术，包括p 2 p 主要特点、p 2 p 文件共享存储以及p 2 p 协同工作和在线交流：然后介绍文件分片和分片冗余技术。最后从研究的结论中，提出 基于p 2 p 的离线文件传输机制的研究。 第三章先分析现在p 2 p 网络拓扑及其健壮性的情况，接着给出本文设计的基于p 2 p 的离线文件传输机制模型的系统框架，并分别从系统通信实体和系统软件架构的两个层 面来讲述系统各个实体的功能职责。最后详细描述了本文设计的通信实体之间的通信过 程。 第四章对涉及的算法和策略进行了深入的讨论，并提出本文的设计方案。因为这是系 统实现的主要依据，也是工作的重点，所以在本章内作了比较详尽的描述。介绍了几个 方面的内容，主要包括文件分片技术，分片信息的描述方法，信息哈希算法；分析了分 片冗余的原因，提出分片冗余的策略：从微型计算机的性能影响因素，提出超级用户选 择策略，并对选择算法进行了详细的描述：根据系统的需要，设计了存储资源的回收机 制，以实现资源的重用。 第五章给出了本文设计的f t 消息类型及其格式( 用于通信实体之间的消息交互) ，并 2 南京邮电大学硕士研究生学位论文第一章绪论 分别进行了描述；接着给出了系统实现中相关的一些数据结构；然后给出了系统原型的 实现，包含消息处理总接口的实现，文件分片和冗余的实现，客户端用户程序的实现。 最后根据系统测试的需要，给出在实际的网络环境中离线文件传输溺试的结果图。 第六章总结本文的贡献和对下一步工作的归纳及展望。 3 南京邮电大学硕士研究生学位论文 第二章基于p 2 p 的离线文件传输系统的技术原理 第二章基于p 2 p 的离线文件传输系统的技术原理 本章介绍基于p 2 p 的离线文件传输系统涉及的主要技术原理，包括p 2 p 技术、文件 分片技术、分片冗余技术。 2 1p 2 p 技术特点及应用 p 2 p 计算是指不同系统之间通过直接交换，实现计算机资源和服务共享、进行信息 处理的过程。这里，资源可以是处理器、缓存和磁盘空间等；服务包括信息交换、数据 计算等。p 2 p 模式与传统客户朋艮务器模式的关键区别在于p e e r 与p e e r 在通信过程中，可 以完全摒弃服务器的角色，完成一种直接通信，来获得共享资源或服务。下面详细介绍 p 2 p 技术的特点，以及p 2 p 技术在文件共享和分布式存储的应用。本文正是从p 2 p 在这 些方面的应用，引出研究课题基于p 2 p 的离线文件传输的研究。 2 1 1p 2 p 主要特点 p 2 p 的技术特点体现在以下六个方面： 非中心化：网络中的资源和服务分散在所有结点上，信息的传输和服务的实现都 直接在结点之间进行，可以无需中间环节和服务器的介入，避免了可能的瓶颈。 即使是在混合p 2 p 6 中，虽然在查找资源、定位服务或安全检验等环节需要集中 式服务器的参与，但主要的信息交换最终仍然在节点中间直接完成。这样就大大 降低了对集中式服务器的资源和性能要求。p 2 p 的非中心化基本特点，带来了其 在可扩展性、健壮性等方面的优势。 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体 的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。即使在诸 如n a p s t e r l 7 等混合型架构中，由于大部分处理直接在节点之间进行，大大减少了 对服务器的依赖，因而能够方便地扩展到数百万个以上的用户。而对于纯p 2 p 来 说，整个体系是全分布的，不存在瓶颈。理论上其可扩展性几乎是无限的。 健壮性：在互联网上随时可能出现异常情况，网络中断、网络拥塞、节点失效等 各种异常事件都会给系统的稳定性和服务持续性带来影响。在传统的集中式服务 4 南京邮电人学硕士研究生学位论文第二章基十p 2 p 的离线文件传输系统的技术原理 模式中，集中式服务器成为整个系统的要害所在，一旦发生异常就会影响到所有 用户的使用。p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在各个 结点之间进行的，部分结点或网络遭到破坏对其它部分的影响很小。p 2 p 网络一 般在部分结点失效时能够自动调整整体拓扑，保持其它结点的连通性。p 2 p 网络 通常都是以自组织的方式建立起来的，并允许结点自由地加入和离开。p 2 p 网络 还能够根据网络带宽、结点数、负载等变化，不断地做自适应式的调整。 高性能价格比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术的发 展，个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。 采用p 2 p 架构可以有效地利用互联网中散布的大量普通结点，将计算任务或存储 资料分布到所有结点上。利用其中闲置的计算能力或存储空间，达到高性能计算 和海量存储的匿的。通过利用网络中的大量空闲资源，可以用更低的成本提供更 高的计算和存储能力。 隐私保护：在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过某 个集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决 i n t e r n e t 隐私问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多 的网络实体之中。在传统的一些匿名通信系统中，实现这一机制依赖于某些中继 服务器节点。而在p 2 p 中，所有参与者都可以提供中继转发的功能，因而大大提 高了匿名通信的灵活性和可靠性，能够为用户提供更好的隐私保护。 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对传统 c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多个节点，更 好的实现了整个网络的负载均衡。 2 。1 。2p 2 p 文件共享和分布式存储 由于2 1 1 所述的这些特点，p 2 p 在许多方面都得到了应用。到目前为止最引人注目 的p 2 p 应用是内容共享和文件交换。高效大规模的内容共享直接推动了p 2 p 技术研究的 热潮。基于p 2 p 的内容共享包括p 2 p 文件共享、p 2 p 分布式存储。 lp 2 p 文件共享 这一类应用中每个对等的节点都提供文件内容的共享，同时也可以在整个点对点 网络中检索获得其他的节点上存储的资源。这类系统可以分为三类： 南京邮电大学硕士研究生学位论文第二章基于p 2 p 的离线文件传输系统的技术原理 非结构化p 2 p 系统：这类系统的特点是文件的发布和网络拓扑松散相关。该类方 法包括n a p s t e r ，k a z a a 8 1 ，m o r p h e u s l 9 ，g n u t e l l a 姗。n a p s t e r 是包含有中心索引 服务器的最早的p 2 p 文件共享系统，存在扩展性和单点失败问题。g n u t e l l a 、 m o r p h e u s 是纯p 2 p 文件共享系统，后者如今并入前者中；k a z a a 是包含有超级 节点的混合型p 2 p 文件共享系统。k a z a a 、m o r p h e u s 、c r n u t e l l a 等系统采用广播 或者受限广播来进行资源定位，具有较好的自组织性和扩展性，适用于互联网个 人信息共享。缺点是稀疏资源的召回率低。 结构化p 2 p 系统：这类系统的特点是文件的发布和网络拓扑紧密相关。文件按照 p 2 p 拓扑中的逻辑地址精确的分布在网络中。这类系统包括c a n 】、 t a p e s t r y 1 2 1 、c h o r d i l 3 】、p a s t r y 。4 1 ，以及基于这些系统的一些其它文件共 享和检索方面的研究实验系统。在这类系统中每个节点都具有虚拟的逻辑地址， 并根据地址使所有节点构成一个相对稳定而紧致的拓扑结构。在此拓扑上构造一 个存储文件的动态哈希表【l s 】( d i s t r i b u t e dh a s ht a b l e ，d h t ) ，文件根据自身的 索引存储到哈希表中。每次检索也是根据文件的索引在d h t 中搜索相应的文件。 生成文件的索引的方法有三种：根据文件的信息生成的哈希值( h a s h ) ，如 c f s t l 6 1 ，o c e a n s t o r e 1 7 1 ，p a s t 1 耵，m n e m o s y n e l l 9 】等：根据文件包含的关键字 生成关键字索引；还有根据文件的内容向量索引，如p s e a r c h 2 0 1 。 松散结构化p 2 p 系统：此类系统介乎结构化和非结构化之间。系统中的每个节点 都分配有虚拟的逻辑地址，但整个系统仍然是松散的网络结构。文件的分布根据 文件的索引分配到相近地址的节点上。随着系统的使用，文件被多个检索路径上 的节点加以缓存。类似的系统包括f r e e n e t l 2 1 1 ，f r e e h a v e n 2 2 1 等。相关系统非常强 调共享服务的健壮性( 安全性) 。 2p 2 p 分布式存储 p 2 p 分布式存储系统具有类似于上一类p 2 p 文件共享系统的功能和构造，但侧重于 分布式系统中文件系统管理。此类系统主要包括两个类型： 非结构化p 2 p 系统：例如f a r s i t e 2 3 1 就属于此类系统。f a r s i t e 通过使用密钥加密文 件的内容，并把密文的备份发布到可信任的节点上。每个节点根据获得的文件内 容，组织成编目的文件系统。 结构化p 2 p 系统：此类分布式文件系统基于d h t 的思想，将文件发布到d h t 上， 并组织成树状的文件系统。每个目录都组织成一个描述块的形式，每个描述块都 6 南京邮电大学硕士研究生学位论文 第二章基于p 2 p 的离线文件传输系统的技术原理 对应一个块的h a s h 值，每个块中包含有所有子目录描述块的h a s h 值，叶子节点 是文件的描述块，所有这些描述块分布在d h t 中以供检索。此类系统包括基于 c h o r d 的c f s 、基于t a p e s t r y 的o c e a n s t o r e 等。 3 资源共享的新境界 采用p 2 p 方式实现信息的共享和高速下载蕴含着巨大的商机。n a p s t e r 由于一开始的 知识产权问题而暂时陷入低谷之后，c m u t e l l a 紧随其后推出了更具有p 2 p 架构的文件服 务模式。为了激发更多的人来提供内容，随后的e d o n k e y 2 4 1 和e m u l e 2 5 】定义了更方便的 交互协议。为了充分利用分布在全球的网络带宽，实现大数据量的信息能够快速大面积 下载，由美国旧金山的软件工程师布莱姆科亨( b r a i nc o h e n ) 开发的b t ( b i t t o r r e n t l 2 6 ， 比特涡流) 系统2 0 0 3 年一经推出就产生了很大影响。有人预言b t 将领导p 2 p 资源共享 的新潮流。 p 2 p 文件共享技术自身在快速发展的同时，相关的应用机会将越来越大。包括基于 各种目的的网络内容分发、在线流媒体服务、游戏或其它软件分发等等都开始引入这种 新的技术。同时，新应用的引入也将进一步推进p 2 p 文件共享技术的创新步伐。 2 1 3p 2 p 协同工作和在线交流 除了文件共享和分布式存储，p 2 p 另外两个较好的应用就是协同工作和在线交流。 协同工作依托在网络之上，但以传统的w e b 方式实现，往往给服务器带来极大的负担， 并造成了昂贵的成本支出。而采用p 2 p 技术，可以在互联网上任意两个用户之间建立实 时的联系和信息传输，避免了中央服务器产生的网络和处理延迟及性能瓶颈，因而能够 更方便、高效地实现用户之间的协同。 最近几年的即时通信工具正是实现了用户之间的直接交流，受到了互联网用户的极 大欢迎，可以说已经是无处不在。目前很多公司正努力将这种方式应用到企业级的协同 工作平台中来，已经推出了一些产品。由于其具有成本低廉、平均事务处理能力较高、 可动态扩展等优良品性，并能够有效地提高信息交流和沟通效率，未来p 2 p 技术在企业 级协同工作领域有着很好的应用前景。本文提出的文件传输机制的研究，将来也应该运 用到即时通信工具中。 7 南京邮电大学硕士研究生学位论文第二章基于p 2 p 的离线文件传输系统的技术原理 2 2 文件分片技术 在文件传输应用中，文件的大小是随机的，有些是采用一种自适应的传输策略。传 输任务经传输分配策略将文件分为大文件、普通文件、小文件。大文件采用分片并行传 输方式传输，普通文件采用通用的传输方式，批量小文件则采用通道复用方式传输。同 时，自适应传输系统对这三种传输方式进行状态监控，以确保传输的可控性和可靠性。 对于大文件的传输，可以采用分片传输策略。传输文件时，首先依据文件分片策略将 文件分为多个文件分片，通过传输控制模块将这些文件分片定向到特定的存储服务器上， 从而实现了文件的并行传输。下载文件时，向资源管理器提出请求，得到文件分片的位 置信息，然后建立多个连接进行传输，最后将文件分片重组为完整的文件。 2 3 分片冗余技术 为了避免拥有单一分片的节点离线的情况，本文采用分片冗余存放策略，将同一个分 片存放到不同的节点上。因此，分片文件冗余和放置方法对整个系统性能的好坏也有相 当大的影响。通过对网络节点能力的统计特性进行分析，分片冗余策略将用户的文件分 片放置在性能比较好的网络节点。另外，为了保证在系统出现故障时的容错能力，本文 在用户传输文件时采用服务器备份策略，对整个文件进行备份存放。 8 南京邮电大学硕士研究生学位论文第三童董王踞p 随i 堑垡蛐传输薹堕! 里堂的垦堡堡盐 第三章基于p 2 p 的离线文件传输系统平台的总体设计 本章首先分析p 2 p 网络拓扑特性及其健壮性等问题，然后给出基于p 2 p 的离线文件 传输系统平台的网络拓扑结构，接着在网络拓扑结构的基础上，阐述了本文所设计的平 台中所有设备的主要功能模块的划分，以及各个模块的相关功能内容。 3 1 网络拓扑及其健壮性分析 随着p 2 p 网络内部节点数不断增多，系统的运行情况和组织方式逐渐成为影响网络 发展的主导因素。因此有必要对p 2 p 网络的整体拓扑结构和网络行为进行深入的了解、 分析，并根据网络的变化，分析发展趋势，对网络效率和运行情况做出评价。 目前通常采用的是基于t c p i p ( t r a n s m i s s i o nc o n t r o lp r o t o c o l i n t e r n e tp r o t o c 0 1 ) 协议的 主动测量方式，通过连续性、周期性地向目标网络发送i c m p ( i n t e m e tc o n t r o lm e s s a g e p r o t o c o l ，因特网信报控制协议) 数据，观察网络的丢包率、r 1 盯( r o u n dt r i pt i m e ) 值、 路径的平均跳数等性能参数来研究网络的运行情况。同时在分析大量测试数据的基础上， 生成p 2 p 系统的拓扑连接图。通过p 2 p 方式建立有效的网络拓扑图具有如下价值： 直观的了解系统中各个节点的逻辑连接关系、负载情况，可以为对等节点间的负 载平衡、拥塞避免等提供第一手资料； 发现并抵御恶意攻击，及时处理级连故障( c a s c a d i n gf a i l u r e ，c f ) ； 为积极防御提供数据依据： 以此构建仿真环境，提供网络信息安全试验平台。 文献2 7 中指出，由于对p 2 p 网络进行拓扑发现实时性要求较高，探测频率往往很大， 但必须保证不要对目标网络造成较大的额外负荷。 p 2 p 由于其完全分布式架构，网络中的节点既可以获取其它节点的资源或服务，同 时又是资源或服务的提供者，不依赖于少数集中控制节点，具有比传统的c l i e n t s e r v e r 网络更好的健壮性和抗毁性，成为搭建健壮网络的有效方式。 要建立健壮的p 2 p 网络，需要解决以下问题： 故障诊断 9 南京邮电大学硕士研究生学位论文 第三章基于p 2 p 的离线文件传输系统平台的总体设盐 在一般的p 2 p 网络中，由于没有集中控制节点，主要的故障最终都归结为节点失效， 失效的原因可能是该用户退出网络或是相关网络中的路由错误等。发现节点失效的方法 通常比较简单，可以在发起通信时检测，或采用定时握手的机制。 一些系统进一步监测网络通信状态，如通信延迟、响应时间等，以此来指导节点自 适应地调整邻接关系和路由，提高系统性能。 在要求更高的场合，有时还需要发现网络攻击和恶意节点等安全威胁。由于p 2 p 网 络中节点的加入往往具有很大的自由性，而且缺少全局性的权限管理中心或信任中心， 对恶意节点的检测一般通过信誉机制来实现。 容错 在节点失效、网络拥塞等故障发生后，系统应保证通信和服务的连续性。最简单的 办法是重试，这在暂时性的网络拥堵时是有效的。对于经常出现的节点失效问题，则需 要调整路由以绕开故障节点和网络。在h y b r i d 型的p 2 p 网络中，中心索引节点可以提供 失效节点的替代节点；在c m u t e l l a 等广播型的p 2 p 网络中，部分节点的失效不会影响整 个网络的服务；在c h o r d 、f r c c n e t 等内容路由型p 2 p 网络中，其路由中的每一步都有多 个候选，通过选择相近的路由可以很容易地绕过故障节点，由于其以n 维空间的方式进 行编址，中间路径的选择不会影响最终到达目标节点。 除了通信外，一些p 2 p 网络还提供内容存储和传输等服务，这些服务的容错能力通 过信息的冗余来保证。与广播机制或内容路由算法相结合，可以在目标节点失效后很快 定位到相近的、存储有信息副本的节点。 自组织 自组织性指系统能够自动地适应环境的变化，调整自身结构。对于p 2 p 网络来说， 环境的变化既包括节点的加入和退出、系统规模的大小，也包括网络的流量、带宽和故 障，以及外界的攻击等影响。 目前的p 2 p 系统大都能够适应系统规模的变化。典型的方法是以一定的策略更新节 点的邻接表并将邻接表限制在一定的规模内，使整个网络的规模不受节点的限制。 在一些对邻接关系有一定要求的网络中，则需要随节点的变更动态调整系统拓扑。 如c l i q u e n e t 2 8 】和h e r b i v o r e 2 9 等基于d c n e t l 3 0 l 的匿名网络，通过自动分裂合并机制将邻 接节点限制在一定数量范围内以保证系统的性能。 1 0 南京邮电大学硕士研究生学位论文 第三章基于p 2 p 的离线文件传输系统平台的总体设计 3 2 离线文件传输系统平台的网络拓扑结构 针对第一节对网络拓扑及其健壮性的分析，本文设计的系统网络拓扑图如图3 1 所 示。 超级用尸超级用户 图3 - i 最简单情况的系统平台网络拓扑图 该图给出的是网络中最简单的用户离线文件传输情况，有关网络中可能会出现的各种 文件传输情况将在功能模块中进行介绍。系统平台主要包含用户服务器、文件服务器、 存储服务器和用户等等。系统的设计思路是：当一般用户给离线用户传输文件时，由于 离线用户无法当时接收文件。因此首先一般用户按照分片算法将待发送文件分片，并根 据分片冗余算法策略将分片发送到不同的超级用户，同时通告文件服务器所有有关文件 分片和分片所处超级用户的信息；等到该离线用户上线成为一个一般用户时，由文件服 务器告诉它获取文件所需的信息；该用户根据获得的信息，分别连接不同的超级用户， 并下载所有的文件分片，最后重组得到完整的文件。 如图3 1 ，当一般用户要给某一个已经离线的用户发送文件，他会先将文件进行分片， 然后将分片传给在线的超级用户l 、超级用户2 ，超级用户n ；并通告文件服务器 所有有关文件的信息。离线的用户再次上线时，用户服务器与文件服务器交互获知该用 南京邮电大学硕士研究生学位论文第三章基于p 2 p 的离线文件传输系统平台的总体设计 户有待下载的文件，并告诉这个用户让他下载这个文件。刚上线的这个用户与文件服务 器连接获取下载文件所需要的元信息文件( 元信息文件将在第四章第一节文件分片中详 细讲述) ，用户根据这个元信息文件知道这个文件的分片分别存放在哪些超级用户，并 与这些超级用户连接下载文件的分片，取得所有分片后重组出完成的文件。 3 3 离线文件传输系统的通信实体 本文设计的基于p 2 p 的离线文件传输系统，从应用层面来划分，主要包含服务器组 和用户组通信实体。下面详细介绍服务器组和用户组。 3 3 1 服务器组 服务器组是指网络中的服务器，主要负责管理用户、协助用户间建立连接等，包括用 户服务器、文件服务器、存储服务器和备份服务器。下面详细阐述服务器组中各个服务 器所承担的角色及功能。 1 用户服务器 用户服务器，主要是管理系统中所有用户的信息情况以及与文件服务器交换文件 传输的信息，主要包括用户注册、登录和注销的情况，也可以称为登录服务器。它是 集中式服务器，用来存储用户信息、保证用户唯一性。每次用户登录时都要到用户服 务器登录，并通过身份确认才能登录成功。用户服务器与其他角色交换的情况如图 3 2 所示。 1 2 南京邮电大学硕士研究生学位论文第三章基于p 2 p 的离线文件传输系统平台的总体设计 用户服务器 用尸 图3 - 2 用户服务器 用户服务器的主要功能如下： 用户注册、登录和注销，管理用户的基本信息； 通知用户是否有别人传送给他的文件需要下载，并询问用户是否要下载； 与文件服务器交互获取文件传输的信息； 与存储服务器交互，并让其删除用户已经下载完的文件； 协调各个服务器，以保持各种服务器中信息的一致性。 2 文件服务器 文件服务器负责所有与文件传输相关的工作。因为每一分片可能有多份冗余的备 份，并存放在不同的超级用户节点，防止超级用户下线后，文件无法传输，以保障文 件的正确传输。所以必须有一个存放用户传输的文件分片( 每一分片) 所在超级用户 节点的列表。文件服务器中有一个数据库，该数据库记录用户所传输的文件及其文件 分片的信息，同时也记录着分片所在超级节点的列表。文件服务器与其他角色交互的 情况如图3 3 所示。 南京邮电大学硕士研究生学位论文堑童董至丝丝塞垡塞笪堡塑壅堡! 鱼笪望签亟生 用户服务器 用尸 图3 - 3 文件服务器 文件服务器的主要功能如下： 接收一般用户传来的文件及分片的信息； 与用户服务器交互文件传输的信息； 告诉用户所需要的下载文件的信息( 各分片所在超级用户的列表) ； 通知超级用户删除用户已经下载完的分片； 3 存储服务器 存储服务器的作用是：在网络上的超级用户较少，没法进行文件的分片存储，即 不能实现p 2 p 的文件存储方式，而采用的默认文件的存储策略( 由用户服务器决定) 。 存储服务器与其他角色交互的情况如图3 - 4 所示。 1 4 南京邮电人学硕士研究生学位论文第三章基于p 2 p 的离线文件传输系统平台的总体设计 用户服务器 用户 图3 4 存储服务器 存储服务器的主要功能如下： 与用户服务器交互，协调传输文件存储的信息； 在最后默认策略中，接收用户上传、下载文件； 4 备份服务器 备份服务器的作用是为了防止平台中的服务器出现单点故障时，导致网络中断。 备份服务器提供与同类服务器一样的功能，在其崩溃时，自动切换致备份服务器。系 统中的服务器应该尽可能的设置有自己的备份服务器。不同备份服务器有其不同的功 能实现。 3 3 2 用户组 用户组是指网络中所有的用户，主要分为超级用户和一般用户两类。下面详细阐述用 户组中两种用户所承担的角色及功能。 1 超级用户 超级用户是负责离线文件传输过程中，分片传输的中转工作。主要包括到用户服 务器注册、登录和注销的情况，以及与文件服务器交换文件传输的信息。超级用户与 其他角色交互的情况如图3 5 所示。 南京邮电大学硕士研究生学位论文第三章董王墼里自塑舅垡塞堡堡塑丕堕兰鱼笪篁签亟盐 超级用户 图3 5 超级用户与其他角色交互 超级用户的主要功能如下： 登录服务器或者注销； 询问服务器是否有需要下载的文件； 与文件服务器交互获取文件传输的信息； 与其他用户上传、下载文件或者文件分片； 到存储服务器下载文件； 2 一般用户 一般用户只是普通用户，除了不能作为文件分片的中转站以外，具有超级用户一 样的正常功能。包括文件传输等等。 3 4 离线文件传输系统的软件架构 本文设计的基于p 2 p 的离线文件传输系统，从软件架构来划分，是由多个服务器和 客户端组成。客户端为了得到网络服务必须连接到一个服务器，只要客户端用户没有离 线，它到用户服务器的连接就一直打开。用户服务器提供一个相对集中的用户管理服务， 1 6 南京邮电大学硕士研究生学位论文第三章基于p 2 p 的舅缓塞件传输系缍垩鱼笪壁堡亟盐 并且用户服务器同时也与其他服务器通信。用户服务器的主要工作是协调网络行为。 3 4 1服务器端 整个系统中，服务器端与客户端是实现用户身份认证，按用户登录信息进行控制的部 分，也是文件传输的关键。服务器端和客户端软件的设计应该以对用户透明，不影响服 务器性能为原则。 由于服务器一般都按照自己的方式进行用户连接信息的处理，所以在设计本系统服务 器端软件时，服务器端的实现应该能及时检测到用户的实时连接性。服务器端应该能够 在接收到用户发往服务器的登录信息后，对用户信息进行分析，并作出相应的处理。如 果用户是有文件需要下载的，则向用户发送下载询问，并告诉文件服务器。文件服务器 使用了一个内部数据库，用来存储关于客户端和文件的信息。一个文件服务器不存储任 何文件，它为关于文件位置的存储信息作集聚索引。 在启动开始时，客户端用t c p 连接到一个服务器。建立连接之后，文件服务器给客 户端发送它想下载的文件的其他客户端列表( 这些客户端是超级用户) 。从这点起，客 户端开始与其他客户端建立连接。注意，在整个客户端会话期间，客户端和服务器端连 接一直保持连接状态。初次握手后主要是用户活动激发事务，如客户端发送文件和下载 文件等等。在3 。5 节提供了客户端和服务器信息交换的详细描述。 3 4 2 客户端 与服务器端不同，客户端的功能满足用户的使用需求。在设计客户端时，主要是考虑 使用需求。客户端软件在不影响网络正常通信的情况下，完成与服务器的认证交互。客 户端必须连接到一个服务器来取得网络服务，只要该客户端在系统中，服务器连接保持 打开状态。 每个客户端都配置一个服务器列表。客户端用单独的t c p 连接到一个服务器登录到 网络中，获得想得到的文件信息和与其他客户端交互。客户端也用t c p 连接到其他客户 端进行下载文件。每个客户端对它的每个共享文件都维护着一个上传队列。要下载的客 户端先加入到队列的底部，然后逐渐前进直到到达队列的顶部并开始下载它的文件。一 个客户端可以从几个不同的客户端中下载同一个文件的不同的文件分片。客户端也可以 上传它还没有完成的文件的文件块。注意，客户端和服务器的交流是基于t c p 的。这部 1 7 南京邮电大学硕士研究生学位论文第三章基于p 2 p 的离线文件传输系统平台的总体设计 分在第五章实现中讲述。 3 5 离线文件传输系统通信实体的通信过程 在这一节中，将介绍本文所设计的离线文件传输系统通信实体的通信机制，其中包括 客户端和服务器端的连接、服务器端和服务器端的连接、客户端和客户端的连接。 3 5 1 客户端和服务器 用户注册后，服务器为客户端分配一个客户i d 。只要客户端一启动登录，就会和一 台服务器建立连接。连接建立以后，服务器更新它的共享文件列表。客户端会发送它的 下载列表，其中包含了他想要下载的文件信息。然后，服务器向客户端发送一个列表， 里面包含了拥有它需要下载的文件的那些客户端的信息。从这里开始，客户端开始和其 他客户端建立连接。下面是对f t 协议过程的描述( 协议符号的含义详见5 1 节) 。 1 建立连接 在准备建立与服务器的连接时，客户端会根据配置表的信息与服务器连接。图3 6 是描述了客户端与服务器建立连接的报文序列图。在这里，抛弃其他的连接用例不谈， 本文仅仅描述成功登录的序列图。 e n dt i m e u s e l s e r v e r 图3 - 6 客户端与用户服务器建立连接的序列图