（计算机软件与理论专业论文）基于p2p对等网络流媒体服务系统技术的研究.pdf

摘要 摘要 对等网络流媒体技术可以合理地利用客户端的计算机能力和带宽资 源，使用户实现下载的同时播放流媒体节目，也可以利用自身的计算机空 闲资源为其它用户提供服务。因此，p 2 p 流媒体系统成为p 2 p 技术领域内重 要应用之一，也是当前分布式系统领域的一个研究热点。本文着重从以下 几个方面进行了深入研究和探讨。 首先，在分析对等网络技术研究现状的基础上，设计适合广域网中的 底层网络平台g - n 及其算法。g n 平台采用了两阶段搜索策略、基于多点延 迟的m p r 技术和随机走步算法，将在一定程度上改善系统搜索效率和时问 延迟，为研究更实用的p 2 p 流媒体系统提供构建网络平台的关键技术。 其次，在充分研究p 2 p 流媒体系统的传输和分配的特点后，设计了媒体 控制层，并将聚类思想应用到该层当中，使请求节点尽可能的选择与自己 同属于一个聚类的节点为其提供资源。 再次，提出数据分配策略及数据控制协议。根据每个节点意愿提供的 不同带宽，将节点划分为不同的等级。在数据发送节点间，根据对方服务 能力等因素来分配每个数据发送节点所发送的数据数量，从而可以减少数 据接收的时间延迟。 然后，为了保证媒体文件的连续播放，同时使系统具有快速扩充系统 的能力，提出数据缓存模块。系统可以根据请求节点的请求，数据缓存模 块缓存一些媒体文件片段，以备节点间的传输中断。节点也可以选择需要 的文件进行存储。 最后，使用网络仿真模拟器n s 2 对系统的底层网络平台和系统性能进 行验证。 关键词p 2 p 对等网络；流媒体技术：p 2 p 流媒体；g - n 系统；多播；带宽 燕山大学工学硕士学位论文 a b s t r a c t p e e r - t o p e e rm e d i as t r e a m i n gt e c h n o l o g i e sc a l lb s ec o m p u t i n gc a p a c i t ya n d b a n d w i d t ho fc l i e n te n de f f e c t i v e l y f u r t h e r m o r e ，i tc a nm a k et h eo t h e rc l i e n t s p l a yaf i l ew h i l ed o w n l o a d e d s o ，p 2 pm e d i as t r e a m i n gs y s t e mi sn o to n l yo n e o f t h ea p p l i c a t i o n so f p 2 pt e c h n o l o g y , b ma l s oo n co f h o tr e s e a r c h e si nf i e l do f d i s t r i b u t i o ns y s t e m - i nt h ep a p e r , s o m eo fi s s u e so fp 2 pm e d i as t r e a m i n g r e s e a r c hw i l lb es t n d i e d f i r s t l y , o nt h eb a s i so fa n a l y z i n ga c t u a l i t i e so np 2 pt e c h n o l o g i e s t h e n e t w o r kp l a t f o r m ( g - n ) a n di t sa l g o r i t h m st h a ta r ef i tf o r q d ea r e an e t w o r k a r ed e s i g n e d o nt h eg - np l a t f o r m , t w op h a s e ss e a r c hs t r m e g y , m u l t i p o i n t r e l a y ( m p r ) t e c h n o l o g i e sa n dr a n d o mw a l ka l g o r i t h m f i r ea d o p t e d w h i c hc a n i m p r o v es e a r c h i n ge f f i c i e n c yo fp 2 pm e d i as y s t e ma n dr e l a yi naw a y t h e s e p r o v i d em a i nt e c h n o l o g i e st h a tu s e dt ob u i l db o t t o mp l a t f o r mf o rr e s e a r c h i n g m o r ea p p l i e dp 2 pm e d i as t r e a m i n gs y s t e m s e c o n d l y , b a s e do ns u f f i c i e n tr e s e a r c h e so nc h a r a c t e r i s t i c so ft r a n s m i s s i o n a n dd a t aa l l o t t i n gt h a tp 2 pm e d i as t r e a m i n gs y s t e mh a s ，m e d i ac o n t r o ll a y e ri s d e s i g n e da n d u s et h ei d e ao f c l u s t e ro nt h el a y e r t h j sc a nm a k er e q u e s t i n gp e e r s u s er e s o u r c eo ft h es u p p l y i n sp e e r st h a tb e l o n gt ot h es a _ r r l ec l u s t e r 嬲t h e r e q u e s t i n gp e e r s t h i r d l y , d a t a 嬲s 远i l i l l gs t r a t e g ya n dd a t ac o n t r o lp r o t o c o la r ep r o p o s e d ， w h i c hc a nm a k ep e e r sc o n t r i b u t et h e i rd i f f e r e n tb a n d w i d t hi nt e r mo f t h e i rd e s i r e f u r t h e r m o r e ，t h e s ep e e r sc a nb es e p a r a t e di n t od i f f e r e n tc l a s s e s d u r i n gd a t a t r a n s m i t t i n g s y s t e mc a l la s s i g nt h em a g n i t u d et h a te v e r ys u p p l y i n gp e e rs h o u l d t r a n s m i ta c c o r d i n gt h e i rs e r v i n gc a p a c i t i e s ，e ta 1 t h i sc a nm a k ed a t ar e c e i v e d e l a yr e d u c e f o u r t h l y ，i no r d e rt og u a r a n f e et h a tm e d i af i l e sa l ec o n t i n u o u s l yp l a y e da n d t h a ts y s t e mc a nb ee x p a n d e dc a p a c i t yo fs y s t e mf a s t ，d a t ac a c h i n 4 ；m o d u l em u s t c a c h es o m em e d i as e g m e n t si nt h el i g h to ft h er e q u e s t so fr e q u e s t i n gp e e r si n a b s t r a c t o r d e rt oa v o i di n t e r m i t t i n gd u r i n gt r a n s p o r t a t i o np e e r sc a l ls e l e c tf o n ds e g m e n t t os t o r e ，t o o f i n a l l y , t h es i m u l a t i o ne x p e r i m e n tt h a tn s 一2 ( n e t w o r ks i m u l a t i o nv e r s i o n2 ) i si n t r o d u c e di sd e p l o y e d k e y w o r d sp 2 pn e t w o r k ；m e d i as t r e a m i n g ；p 2 pm e d i as t r e a m i n g ；g - ns y s t e m m u l t i c a s t ；b a n d w i d t h m 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于p 2 p 对等网络流媒 体服务系统技术的研究，是本人在导师指导下，在燕山大学攻读硕士学位 期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分 外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡 献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全 由本人承担。 作者签字王聊棼日期：伽；年：弓月目 燕山大学硕士学位论文使用授权书 基于p 2 p 对等网络流媒体服务系统技术的研究系本人在燕山大学 攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果 归燕山大学所有，本人如需发表将署名燕山大学为第一完成单位及相关人 员。本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校保 留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。 本人授权燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以 公布论文的全部或部分内容。 保密口，在 年解密后适用本授权书。 本学位论文属于 不保密留。 ( 请在以上相应方框内打4) 作者签名：盖翻棼日期：训辟弓月细 导师签名 南n h 7 日期年5 月尹 第1 章绪论 第1 章绪论 p 2 p 1 1 - 4 即是p e e r t op e e r 的缩写，称为对等连接或对等网络。它不仅能用 服务器的资源，同时能够合理地使用用户计算机的空闲资源。用户在享受 流媒体节目的同时，也在利用自身计算机所空闲的资源为其它用户提供服 务。而且整个流媒体服务系统的资源不仅仅是服务器资源，同时还包括用 户的空闲计算机资源。用户数量增多，消耗的资源也随之增多，但是新增 加的用户又可以提供新的资源。所以，使用p 2 p 技术提高质量和大容量的流 媒体服务系统成为可能，而且p 2 p 模式的流媒体服务系统并不改变现有的流 媒体传输协议。 本文主要的研究动机为：结合流媒体技术与p 2 p 传输技术的优点，来改 善网络的处理负载及网络带宽使用量，减少时间延迟，快速扩充系统能力。 并针对所使用的网络环境做最佳化的设定，改善以往主从式多媒体传播模 式的缺点。本论文所设计的p 2 p 流媒体系统及其底层网络平台的性能，应用 在多媒体文件传播上可以达到的预期效果，将经过仿真实验测试证明。 1 1 研究背景 由于传统的影音数据被转化成为数字数据后，其数据量将极其庞大。 随着计算机硬件与网络技术的进步，有越来越多的实时影音资料可以利用 实时流媒体技术通过网页在网络5 1 上取得，即使用户在很远的地方，仍然可 以根据需求实时接收影像与声音文件。 实时流媒体技术【6 i 从9 0 年代开始逐渐流行，根据统计超过3 5 万小时的运 动、音乐、新闻与娱乐的影音数据在因特网上不断被广播。虽然有许多流 式系统被发展，但主要分为两种形式，一种通过超文本传输协议w e b j 匣务器 提供下载功能，另一种则是使用主从式架构的流媒体服务器来达到目的。 但是超文本传输模式是针对文字与静态文件而设计，对于实时流式传输影 音文件并不是特别适合。所以针对实时多媒体影音数据的传输提出了 r e a l a u d i o 的技术，通过使用网际协议t c p ( t r a n s p o r tc o n t r o lp r o t o c 0 1 ) 或者 燕山大学工学硕士学位论文 u d p 7 ( u s g td a t a g r a r np r o t o c 0 1 ) 传送数据。 p 2 p 对等网络技术已经被应用在文件共享系统 8 - 1 1 1 上一段时间了，但是 对于p 2 p 模式应用在多媒体实时传播上仍有很大的发展空间，而且多媒体影 音文件通过网际通讯协议 1 2 , 1 3 】使用广播模式是不可行的，所以本研究将针 对多媒体数据的流式传输，使用p 2 p 模式来寻求解决的方法。 p 2 p 流媒体系统与文件共享系统最大的区别在于节点间数据共享的模 式不同：传统文件共享系统是“下载后播放”( p l a y - a r e r - d o w n l o a d i n g ) 模式， 而流媒体系统采用“下载同时播放”( p l a y - w h i l e d o w n l o a d i n g ) 。对于一个高 效的p 2 p 实时流媒体系统来讲，需要解决以下问题。 ( 1 1 不对称性由于节点上传带宽和下载带宽的不对称性，提供节点所 提供的上传带宽可能小于媒体数据的播放速率。解决这个问题的方法是， 是用多个数据发送节点为接收节点的每个实时流媒体会话提供服务。 ( 2 ) 动态性在一个高度动态异构的网络中，如何为每个流媒体服务会 话选择和监控适当的数据发送节点，从而得到满足应用要求的流媒体服务 质量。这些动态性和异构性来自于节点能力和节点间的网络连接 1 4 】主要表 现为以下情况：对等网络系统中的节点可以随时加入或退出系统或网络故 障随时断开，因此流媒体数据发送节点随时可能加入或停止流媒体服务会 话；节点的带宽可能随时改变，而且与多个数据发送节点间的连接具有不 同的端到端带宽、丢包率和失效率：就丢包率和失效率而言，底层网络拓 扑结构决定了数据接收节点和多个数据发送节点间的连接存在相关性。 1 2 研究现状及领域 随着n a p s t e r 、g n u t e l l a 、k l t z s a 、b i t t o r r e n t 等软件得到日益广泛的应用， 对等网络技术在文件共享方面已经取得巨大的成功。本节将从流媒体系统 中组播树构建、组管理以及网络检测和多播组调挨三个方面介绍目前在p 2 p 流媒体系统领域内的研究现状。 1 2 1 组播树构建 组播树 1 5 , 1 6 】的构建就是在覆盖网络上构造和维护一棵高效的和容错的 2 第1 章绪论 生成树的问题。应用层组播或i p 组播技术1 1 ”1 】成为当前的一个研究热点， 提出了许多可扩展的组管理和可扩展的、可靠的消息传播【2 2 】。为了超越单 棵树的简单结构，近来的对等网络技术方面的研究进一步利用树中兄弟之 间的“垂直链路”来克服构造树的难题。 1 2 1 1o v e r c a s to v e r c a s t e 2 3 】是由一个中心的源节点、散布于网络的许多 o v e r c a s t 内部节点以及许多具有标准h t t p ( h y p e r t e x tt r a n s f e rp r o t o c 0 1 ) 连接 的客户机组成。o v e r c a s t 利用一个简单的树构建协议，把内部节点构建成以 源节点为根的散发树。o v e r c a s t 的树构建算法的目标是使每个节点到根节点 的带宽最大化。这通过把一个新的节点放置在一个离根节点最远，但又不 牺牲到根节点带宽来获得。一个节点一旦初始化，它就开始了一个从根出 发的与其它节点一起的自我组织的过程。通过这个方法，这个新的节点可 以离根节点尽可能的远，同时保证可获得的带宽。因此，树构建算法倾向 于把一个新的节点挂在位于同一个网络内的父节点身上。o v e r c a s t 组播树利 用了节点的转发能力，使得带宽利用率最大化。 虽然组播树路由算法在解决带宽合理利用方面很有效，但基于树的组 播协议存在一些固有的缺点，并且有时难以充分利用协作环境中的可用资 源。造成这个问题的原因是：在任何的组播树中，承担复制和转发组播数 据的节点只是组播树中的内部节点，这些内部节点只占所有参与节点的小 部分。大部分节点是叶子节点，没有贡献任何资源。这个结果和希望所有 节点都承担转发负载的初衷相违背。另外在树的结构中，从上到下，带宽 一般是单调递减的。尽管许多技术被提出来恢复丢失的数据，提高可取得 的带宽，但是，一个节点获得的带宽只由它的父亲节点所决定的。 为了克服树的天然缺陷，近来的研究提出使用“垂直链路”来增大带 宽，j t l l b u l l e t 2 4 】；或者使用多棵树取代单一的树，如l s p l i t s t r e a m 2 5 2 6 。基本 上，这些技术具有一个共同点：应当利用覆盖网络中的每一个节点来增强 数据的传输，而不是仅仅利用单棵树中的内部节点。 1 2 1 2 s p l i t s t r e a m 这个系统的思想是把内容分成n 个带( s t r i p e ) ，并且每 个带对应一棵独立的多播树。节点根据它们愿意接收到的带的个数加入具 有同样多带数的组播树集合中，每个节点同时还给定一个它们愿意转发的 燕山大学工学硕士学位论文 带的上限。这确保转发负载散布到所有参与的节点上。 s d l “s 仃e a m 利用p a s t r y 的路由和s c r i b e 2 6 ，27 】的组成员管理来辅助内部节 点正交树集合的构建。p a g t r y 通常把一个消息转发给节点标识和消息标识共 享最长前缀的节点。由于一棵s c r i b e 树是由组成员到组标识的路由形成的， 因此所有的内部成员与组标识共享某些前缀。由此，只要组播树的组标识 最显著的位不同，就可以保证n 棵s c r i b e 树有正交的内部节点集。一个s t r i p e 组的组标识也称为这个带的带标识。为了限制节点的出度，还应用了s c r i b e 的内建的“p u s h - d o w n ”方法。当一个已达到最大度的节点收到另外个节 点要求接纳为前者的孩子节点的时候，前者把当前孩子节点的列表给后者； 后者接着寻求一个有最小延迟的孩子成为它的父亲节点。这个过程从上到 下递归进行，直到遇到一个可以接纳后者成为它的孩子的节点为止。为了 充分利用一些强节点的空闲带宽，这些强节点被组织成s c r i b e 的一个独立的 组，称为能力空闲组。所有s p l i t s t r e a m 的节点，只要它的孩子的数目少于它 转发的带的数目都属于这个组。当一个转发请求不能提供时，s p l i t s t r e a m ：将 在能力空闲群中找一个能满足要求的节点。 1 2 1 3 b u l l e t 这个系统主要应用在面向高带宽的组播数据发送方面。它 可以不用把相同的数据流发送给所有的节点，b u l k 提出在组播覆盖网络中 的节点协作传送正交的数据集。节点仍然从父节点那里接收到一组数据， 但它们还必须寻找能给它们提供它们缺少的数据的节点。b u l l e t 采用了分布 式的算法使得数据可以均匀地散布在所有参与的节点当中。这个方法避免 定位最后一个数据块的问题，取得持续的高带宽的数据发送。 1 2 2 多播组管理 除了组播树的构建之外，还需要管理参与的节点，特别是把节点根据 它们的特性组织成不同的组以及把消息发送给一些特定组中的所有成员。 组管理是覆盖网络的一个基本服务，也常常是许多组播程序的一个必要的 组成部分。s c r i b e 提出一个面向大规模组的成员管理的分布式的应用层组播 结构。一个s c r i b e 组包括唯一的组标识、节点标识和会合点( r e n d e z v o u s l 。 任何s c r i b e 节点都可以创建一个组，其它节点可以加入这个组，或者把消息 4 第1 覃绪论 广播给组中有恰当的证书的成员。因此，组管理机制对组的规模大小不同 的组来说都是高效的。p a s t r y 的随机的特性确保树是平衡的，并且转发的负 载均匀散布在所有的节点中。这种平衡使得s c r i b e 可以支持许多有非常多成 员组。更进一步来说，加入请求以一种分布的方式就地被接受了。特别是， 会合点不用处理所有的加入请求。 c o o p n e t l 2 8 0 9 l 面向现场直播的流媒体的应用。这个应用把一个服务器的 内容发送给许多可能高度动态的接收节点。c o o p n e t 使用客户端的组播来减 轻流媒体服务器的负载，并且帮助服务器克服瞬间冲击的问题。c o o p n e t 没有使用纯粹的p 2 p 方式。因此，c o o p n e t 受益于一个比分布方式更高效的 中心的管理。c o o p n 畦有一个指定的工作站负责管理节点的加入和离开。工 作站把组播树的整个结构存储在内存中。当一个节点开始接收现场直播的 流媒体时，这个节点与工作站接洽加入的操作。工作站从保存在内存的组 播树中找到一个合适的位置，把这个节点的父节点返回给这个节点。因此， 在实际应用中可以扩展到大规模系统中。 1 2 3 网络检测与组调整 众所周知，互联网是一个高度动态的环境，很容易发生不可预测的分 割、拥塞、和突发冲击。除了组播的构建和管理外，一个覆盖网络应用程 序还必须不停地调整自身来适应多变的互联网环境。所以，底层网络应当 通过反复的检测感知底层的变化，相适应地调整自身的结构。目前有很多 基于检测的技术来检测网络。这些技术使用轻量的消息检测来估计节点间 的延迟与带宽。尽管检测消息和轻量的估计不能完全勾画出连接的特性， 但是它们在故障检测和路径选择方面非常有效。通常，覆盖网络把节点间 的连接看作“黑盒”，而黑盒测试对基于覆盖网络的组播系统已经足够了。 许多覆盖网络的设计采用了组播结构的局部调整：允许节点动态地选 择能够提供更好服务的节点。例如o v e r c a s t 为了获得移动数据时观察到的近 似带宽，协议检测下载1 0k b 花费的时间。这个方法给出的结果好于使用底 层带宽测量，例如p i n g ，得出的结果。除此，节点可以周期性地检测当前兄 弟节点、父亲节点、和祖父节点的带宽来估计自身的位置。节点直接测量 s 燕山大学工学硕士学位论文 祖父节点的带宽，作为对先前做出的当前父亲节点的孩子节点是否正确的 一个测试。如果必要，节点向上移动一层，成为它原来父亲节点的兄弟节 点。所以，o v e r c a s t 可以内在地容纳除了根节点外的节点失效和网络阻塞。 在人们的不断研究和努力下，将p 2 p 应用于流媒体技术的产品首先在实 验室中诞生，女1 p e e r c a s t 组织的p e e r c a s t 系统，微软的c o o p n e t 系统等等都已 经日趋成熟。目前，p 2 p 模式的流媒体技术，已经走进市场，走进公众的娱 乐和信息服务的基础设施中。美国c h i a n c a s t 网络公司提供的c c d p 平台、美 国a l l c a s t 公司的a l l c a s t 系统、美 c e n t e r s p a n 公司的c s t a r o n e 系统都利 用了p 2 p 模式的流媒体服务技术。 1 3 研究内容 本文研究如何基于p 2 p 对等网络在动态多样的底层网络基础上构建可 以可扩展的、高效率的、高可用的流媒体服务，为p 2 p 技术开辟更广阔的应 用领域。研究内容如下： 首先，研究支持流媒体应用的底层对等网络平台，及与之相关的数据 信息搜索算法。从基础平台来看，p 2 p 分为结构化p 2 p 和非结构化p 2 p ，这两 种系统在数据存放、搜索条件、路由和一致性维护方面差别非常大，但具 有很强的互补性。p 2 p 底层协议能够更好的支持上层流媒体应用，这个重要 的研究课题并没有得到研究界应有的重视。结合流媒体应用的特点和需求， 本文提出了一种p 2 p 底层网络平台，非结构化p 2 p 网络g n 平台，并讨论支 撑流媒体上层应用时的在节点成员维护，数据存放、路由策略和搜索算法 等核心算法和相应的性能评价。 其次，本文研究在动态的环境下，如何利用底层p 2 p 网的拓扑结构和性 能信息来合理选择数据发送节点，并利用底层网络协议的相关功能调用监 控邻居节点及与邻居节点间网络连接的状态，并根据状态的变化来动态调 度并调整邻居节点的选择。从而合理利用底层网络协议的功能，在节点和 网络状况不可靠的环境中构造高可用性的流媒体服务。 再次，本文采用多个数据发送方提供流媒体数据，多个数据发送方无 法保证媒体数据按照播放时的顺序依次到达，因此，播放延迟成为影响p 2 p 6 第1 章绪论 流媒体可用性的重要因素。为了解决这个问题，本文设计了一个优化的数 据分配算法，解决给定一个媒体数据接收节点和一组媒体上载带宽各异的 数据发送节点，如何适当地为每个数据发送节点分配媒体数据子集，从而 保证在多个数据发送节点之间合理地调度数据的发送，尽量减少媒体数据 的传输延迟。 最后，为了保证媒体文件播放的流畅性，应付网络传输过程中出现的 网络拥塞或连接突然中断等情况，通过对这个领域的潜心研究，本文设计 了一个数据缓存算法。根据请求节点的请求，系统为媒体文件的播放缓存 有效的多个副本，这样可以应付在系统传输期间出现的突发事件，如机器 故障、突然断电等，保证系统播放的连续性。 1 4 论文结构 本文由五部分组成： 第1 章是全文的绪论，叙述了本文的研究背景、研究内容、研究意义以 及研究现状及领域。 第2 章是相关的关键技术研究，包括p 2 p 对等网络技术概述和流媒体技 术概述。 第3 章主要研究p 2 p 流媒体系统底层网络系统及其算法，并在此基础上 设计了系统的底层网络平台g - n ，并针对g - n 系统的特点设计了相应算法。 第4 章这章是全文的核心之，是对p 2 p 流媒体系统核心部分重点研究。 首先，将整个流媒体系统在逻辑上分成三个层次，提出每个层的主要负责 的功能；其次，对系统核心层( 媒体控制层) 作了具体研究，并将其功能模块 化；最后，针对各个模块的功能，提出相应的核心算法。 第5 章采用实验平台一网络模拟器n s 2 对系统的性能和底层网络平台 的性能进行了评价分析。 最后是本文的结论，总结了全文的工作，指出了系统需要继续完善的 地方，并给出了应用前景。 燕山大学工学硕士学位论文 第2 章相关技术研究 p 2 p 流媒体传输系统将p 2 p 对等网络技术和流媒体技术完美的结合在一 起，改变了传统多媒体服务系统中客户端被动的局面，使得用户可以在观 看影音文件的同时，利用自身的空闲资源为系统中的其它用户服务。 2 1p 2 p 对等网络技术基础 p 2 p 计算引导网络计算模式从集中式向分布式偏移，这使人们在i n t e m e t 上的共享行为被提到了一个更高的层次，使人们以更主动深刻的方式参与 到网络中去，正如第二代互联网之父d o u g v a nh o u w e l i n g 所说的：“下一代 互联网民们将真正参与到网络中来，每个人都能为网络的资源和功能扩展 做出自己的贡献”。随着p 2 p 研究的进一步深入，p 2 p 技术及应用将为信息社 会带来更多的机遇与挑战。 2 1 1对等网络技术的主要应用 p 2 p 技术引导网络应用的核心从中央服务器向网络边缘的终端设备扩 散，对等网络的应用【3 2 l 主要体现在如下几个方面。 2 1 1 1 对等计算对等计算是分布式计算的思想在广域网上的延伸，目的 是将网络上的c p u 资源共享，把网络中众多的普通计算机中暂时不用的计 算能力累计起来，用以执行以往需要超级计算机来完成的任务。任何需要 大量数据处理的行业都可从对等计算中获利，如天气预报、动画制作、基 因组成的研究等，有了对等计算之后，就不再需要昂贵的超级计算机了。 就对等网络的本质而言，对等计算就是网络上c p u 资源的共享。 2 1 1 2 协同工作协同工作依托在网络之上。但以传统的w e b 方式实现， 往往给服务器带来极大的负担，并造成了昂贵的成本支出。而采用p 2 p 技术， 可以在互联网上任意两个用户之间建立实时的联系和信息传输，避免了中 央服务器产生的网络和处理延迟及性能瓶颈，因而能够更方便、高效地实 现用户之间的协同。 2 第2 章相关技术研究 2 1 1 3 在线交流最近几年兴起的即时通信i m 0 n s t a n tm e s s a g i n g ) 正是实 现了用户之间的直接交流，受到互联网用户的极大欢迎，可以说已经是无 处不在。目前很多公司正努力将这种方式应用到企业级的协同工作平台中 来，已经推出了一些产品。由于其具有成本低廉、平均事务处理能力较高、 可动态扩展等优良品性，并能够有效地提高信息交流和沟通效率，未来p 2 p 技术在企业级协同工作领域有着很好的应用前景。 2 1 1 4 搜索引擎p 2 p 技术使用户能够深度搜索文档，而且无需通过w e b 服务器，也可以不受信息文档格式和宿主设备的限制，达到传统目录式搜 索引擎( 只能搜索到2 0 3 0 的网络资源) 无可比拟的深度。 2 1 1 5 文件交换可以说文件交换的需求直接引发了p 2 p 技术热潮。传统 的w e b 方式中，要实现文件交换需要w e b 服务器的大力参与，要先通过文件 上传，然后才能下载。虽然，电子邮件方便了个人之间文件传递，却没有 办法解决大范围的交换，这也是w e b 的重要缺陷。而p 2 p 技术可以使用户利 用基于p 2 p 网络协议的客户端软件脱离服务器，直接从含有所需文件的对等 节点机下载文件。 2 1 1 6 网络游戏基于p 2 p 方式的网络游戏是一个很有前景的应用。目前 已经有一些公司开始关注这方面的研发工作。 此外，还有诸如边缘服务、智能代理、实时通信技术和广域网络存储 系统等其它几种应用方式。另外，美国c y b i k o 及瑞典p o c i tl a b s a b 等公司正 试图将p 2 p 技术应用到无线通信中，使得不必经过基站就可连接具有无线通 信功能的移动终端，实验性p 2 p 产品已经问世。 2 1 2p 2 p 技术面临的典型问题 p 2 p 对等网络技术所面临的典型问题【3 4 j 分别体现在网络体系结构、元数 据的组织与描述、资源搜索和安全问题等方面，下面将进行讨论。 2 1 2 1 p 2 p 网络体系结构拓扑结构是指分布式系统中各个计算单元之间 的物理或逻辑的互联关系，节点之间的拓扑结构一直是确定系统类型的重 要依据，目前互连网络中广泛使用集中式、层次式等拓扑结构，i n t e m e t 本 身是世界上最大的非集中式的互联网络。集中式拓扑结构系统目前面临着 9 燕山大学工学硕士学位论文 过量存储负载、d o s 攻击等一些难以解决的问题。层次式拓扑结构是一种应 用比较广泛的分布式拓扑结构，域名服务系统d n s ( d o m a i nn a m es e r v i c e ) 是其最典型的应用。p 2 p 系统一般要构造一个非集中式的拓扑结构，在构造 过程中需要解决系统中所包含的大量节点如何命名、组织及确定节点的加 入、离开方式、出错恢复等问题。 2 1 2 2 元数据的组织与描述p 2 p 网络面向的是异构网络与操作系统，这 样就需要在这些系统之间交换数据资源，但是因为这些系统的数据表示并 不都是完全相同的，这样就需要一个能够在多个系统之间确定一个通用的 元数据表示方案。元数据的组织应该包括数据资源的表示、消息通信协议 等。很多系统都支持目前存在的协议，如何利用现有的协议和技术有效地 解决元数据的组织和描述是网络中研究的一个热点。 2 1 2 3 资源搜索在典型的p 2 p 网络中数据资源分布在各个独立的节点 上，如何高效地索引、查找、定位以及访问这些数据信息资源是另一个需 要关注的重要问题，在分布式系统中这些问题同样也是正在研究的热点问 题。一般来说在p 2 p 共享应用中所采用的检索方式是采用关键字来查询自己 所需的信息资源，同时人们也期望能够将数据资源的索引信息存放在系统 中的每一个节点上，在数据的访问过程中则期望能够采用流水、并行或选 择传输路径的方式来加快数据的访问速度。 2 1 2 4 安全问题安全问题永远能跟上互联网的发展节奏，像美国在线的 “即时信使”和眼下的几种p 2 p 软件对源代码的加密并不可靠，很容易就会 被反向汇编得出源代码，这些源代码最终像开放源代码软件一样在网上随 处可得。一方面会有利于人们针对不同的操作系统平台和功能需求重新编 译这些程序。另一方面，一些居心不良的黑客也能借机篡改软件源代码。 安全性确实是一个很大的问题，但是随着资源访问控制策略、多种授权、 利用数字签名进行身份认证、携带证明代码段、加密等安全技术的不断发 展，将会得到有效的解决。 2 2 流媒体技术基础 p 2 p 流媒体系统实质上是多媒体计算机与通讯网络技术相结合的产物。 t 0 第2 章相关技术聊f 究 多媒体通讯与一般的数据通信不同：多媒体通讯要求能够综合地传输、交 换各种信息类型，而不同的信息呈现出不同的特征。p 2 p 流媒体系统能够忍 受分组丢失造成的差错和反常，也可以忍受由于无重传或纠错机制而导致 的分组丢失，但是无法忍受显示不连续或显示混乱，即不能忍受任何的延 迟；而对于数据传输来说，则可以忍受延迟，但不能有错，因为即便是一 个字节的错误都会改变数据的意义。 2 2 1 流媒体技术 流媒体口5 l ( s t r e a m i n gm e d i a ) 是一种新兴的网络传输技术，在互联网上实 时顺序地传输和播放视音频等多媒体内容的连续时基数据流，流媒体技术 包括流媒体数据采集、视，音频编解码、存储、传输、播放等领域。 一般来说，流包含两种含义，广义上的流是使音频和视频形成稳定和 连续的传输流和回放流的一系列技术、方法和协议的总称，习惯上称之为 流媒体系统；而狭义上的流是相对传统的下载回放( d o w n l o a dp l a y b a c k ) 方式 而言的一种媒体格式，它能从i n t e m e t 上获取音频和视频等连续的多媒体流， 客户可以边接收边播放，使时延大大减少。 2 2 2 流式传输方式 一般影音文件都较大，所以需要的存储容量也较大，同时由于网络带 宽的限制，下载常常要花数分钟甚至数小时，所以这种处理方法延迟也很 大。流式传输时，声音、影像或动画等各种媒体由音视频服务器向用户计 算机连续、实时传送，用户不必等到整个文件全部下载完毕，而只需要经 过几秒或十几秒的启动延时即可进行观看。当声音等各种媒体数据段在客 户机上播放时，文件的剩余部分将在后台从服务器继续下载，流式传输不 仅使启动延时成十倍或百倍地缩短，而且不需要太大的缓存容量。实现流 式传输【3 6 】有两种方法：实时流式传输和顺序流式传输。 2 2 2 1 顺序流式传输顺序流式传输是顺序下载，在下载文件的同时用户 可观看在线媒体，在给定时刻用户只能观看己下载的部分，而不能跳到还 未下载的部分。顺序流式传输不像实时流式传输在传输期间根据用户连接 1 1 燕山大学工学硕士学位论文 的速度做调整。由于标准的h t t p 民务器可发送这种形式的文件，也不需要 其它特殊协议，它经常被称作h t t p 流式传输。顺序流式传输比较适合高质 量的短片段，由于该文件在播放前观看的部分是无损下载的，这种方法保 证电影播放的最终质量。 顺序流式文件时放在标准h t t p 或f t p ( f i l et r a n s f e rp r o t o c 0 1 ) j 艮务器上， 易于管理，基本上与防火墙无关。顺序流式传输不适合长片断和有随机访 问要求的视频，它也不支持现场广播，严格来说，它是一种点播技术。 2 2 2 2 实时流式传输实时流式传输可以保证媒体信号带宽与网络连接 匹配，使媒体可被实时观看到。实时流与h t t p 流式传输不同，实时流需要 专用的流媒体服务器与传输协议。 实时流式传输是实时传送，特别适合现场事件，也支持随机访问，用 户可快进或后退以观看前面或后面的内容。实时流式传输必须匹配连接带 宽，这意味着在以调制解调器连接时图像质量较差。而且，由于出错丢失 的信号被忽略掉，网络拥挤或出现问题时，视频质量很差。 2 2 3流媒体播放方式 2 2 3 1 单播方式在客户端与媒体服务器之间需要建立一个单独的数据 通道，从一台服务器送出的每个数据包只能传送给一个客户机，这种传送方 式称为单播。在单播连接中，用户通过选择内容项目来初始化客户端连接。 用户可以开始、停止、后退、快进或暂停流。单播连接提供了对流的最大 控制，但是这种方式由于需要建立可靠连接，这样会迅速用完网络带宽。 所以这种方式的优缺点是：与用户的交互性强，但对网络带宽要求高，而 且响应需要很长时间，甚至有时会停止播放，管理人员也被迫购买硬件和 带宽来保证一定的服务质量。 2 2 3 2 组播方式i p 组播技术构建一种具有组播能力的网络，允许路由器 一次将数据包复制到多个通道上。采用组播方式，一台服务器能够对几十 万台客户机同时发送连续数据流而无延时。媒体服务器只需要发送一个信 息包，而不是多个；所有发出请求的客户端共享同一信息包。信息可以发 送到任意地址的客户机，减少网络上传输的信息包的总量。网络利用效率 1 2 第2 章相关技术研究 大大提高，成本大为下降。 2 2 3 3 点播和广播方式点播连接是客户端与服务器之间的主动的连接。 在点播连接中，用户通过选择内容项目来初始化客户端连接。用户可以开 始、停止、后退、快进或暂停流。点播连接提供对流的最大控制，但这种 方式由于每个客户端各自连接服务器，会迅速用完网络带宽。广播指的是 用户被动接收流。在广播过程中，客户端接收流数据，但不能控制流数据。 2 2 3 4 几种方式的比较广播方式中数据包的单独一个拷贝将发送给网 络上的所有用户。使用单播发送时，需要将数据包复制多个拷贝，以多个 点对点的方式分别发送到需要它的那些用户，而使用广播方式发送，数据 包的单独一个拷贝发送给网络上的所有用户，而不管用户是否需要，上述 两种传输方式非常浪费网络带宽。组播吸收上述两种发送方式的长处，克 服了上述两种发送方式的弱点，将数据包的单独一个拷贝发送给需要的那 些客户。组播不会复制数据包的多个拷贝传输到网络上，也不会将数据包 发送给不需要它的那些客户，保证网络上多媒体应用占用网络的最小带宽。 2 2 4 流媒体传输协议 流式传输的实现需要合适的传输协议。目前使用的流媒体传输协议【”1 主要有：实时传输协议r t p ( r e a lt i m et r a n s p o r tp r o t o c 0 1 ) ，实时传输控制协 议r t c p ( r e a lt i m et r a n s p o r tc o n t r o lp r o t o c o o ，实时流协议r t s p ( r e a lt i m e s t r e a m i n gp r o t o c o o 和资源预留协议r s v p ( r e s o u r c er e s e r v ep r o t o c 0 1 ) 。 2 2 4 1 实时传输协议实时传输协议提供具有实时特征的、端到端的数据 传送服务，可以用来传送声音和运动图像数据。它是专门用做支持多媒体 数据流传输的。r t p 使用u d p 装载数据在网上传输。它被用于以无确认方式 单向发送数据。每一个r t p 数据报报头都包含使接收者可以恢复原始数据时 序的时间标记，描述了包的净载负荷的( p a y l o a d ) 性质，以及使接收方可以 处理丢失、重复或错误的数据报的顺序号。r t p 既适合于向一个接收方f 单 播) ，也适合于向多个接收方( 多播) 发送音频和视频流。 2 2 4 2 实时传输控制协议实时传输控制协议r t c p 是r t p 的一个姊妹协 议，用来支持r t p 协议功能。r t c p 允许应用软件检测和调整网络中变化的 1 3 燕山大学工学硕士学位论文 通讯量( t r a f f i cl o a d s ) 。通过与i m 结合，多媒体应用软件能够监视网络环 境参数并作恰当的调整。 一个r t c p 消息有许多可堆积式分组( s t a c k a b l ep a c k e t s ) 构成，其中每个 分组均有自己的类型码和长度指示。r t c p 消息格式与数据分组非常接近。 r t c p 分组周期性地向接收地址发送报告。 2 2 4 3 实时流协议实时流协议【38 是由r e a l n e t w o r k s 和n e t s c a p e 共同提出 的，该协议定义了一对多应用程序如何有效地通过i p 网络传输多媒体数据。 r t s p 在体系结构上位于r t p 和r t c p 之上，它使用t c p 和r t p 或u d p 完成数 据传输。h t t p 和r t s p 相比，h t t p 传送h t m l ，而r t s p 传送的是多媒体数 据。h t t p 请求由客户端发出，服务器做出响应；使用r t s p 时，客户端和服 务器端都可以发出请求，即r t s p 是双向的。r t s p 提供了一个可扩展的框架， 使实时数据的受控、点