（计算机应用技术专业论文）基于p2p的流媒体代理服务系统的设计与实现.pdf

基于p 2 p 的流媒体代理服务系统的设计与实现 基于p 2 p 的流媒体代理服务系统的设计与实现 摘要 随着i n t e m e t 互连网络的飞速发展，流媒体技术已经被广泛应用。 流媒体的访问流量在i n t e r n e t 的访问中占据了越来越重要的地位。在 有限的资源条件下，如何满足快速增长的用户需求，并在确保服务质 量的同时，降低单条流的服务成本，成为流媒体技术研究中的一个挑 战性的课题。 本文首先比较了现有的三种代表性的解决方式，包括使用代理服 务器，c d n ，基于客户端的p 2 p 网络。根据这三种技术的不同特点， 得出其各自存在的不足。然后，研究和比较了各种p 2 p 传输技术，以 及流媒体缓存和分发技术。针对p 2 p 覆盖网选用c h o r d 协议，提出了 以多环方式实现的拓扑相关性改进算法。在此基础上设计和实现了同 时融合p 2 p 覆盖网与代理服务器节点的流媒体服务系统。 本论文主要有以下工作成果： 研究和分析了各种主要的p 2 p 传输技术； 研究和分析了各种主要的流媒体缓存策略和分发技术； 利用节点的拓扑关系，提出基于c h o r d 的改进算法； 在j x t a 框架下实现流媒体代理服务器及客户端程序。 最后，对新型流媒体代理服务系统进行7 n 试，得出结论：该代 理服务系统可以达到提高服务质量、降低传输时延、降低媒体源服务 器负载等良好效果。 关键字：p 2 pj x t ac h o r d 流媒体代理缓存 基于p 2 p 的流媒体代理服务系统的设计与实现 ad e s i g na n di m p l e m e n to fp 2 p b a s e d s t r e a m 【n gm e d i ap r o x ys y s t e m a bs t r a c t w i t ht h eq u i c kd e v e l o p m e n to ft h ei n t e r n e t ，t h es t r e a m i n gm e d i a t e c h n o l o g yi su s e dw i d e l y t h et r a f f i co fs t r e a m i n gm e d i ah a st a k e na l l i m p o r t a n tp a r ti ni n t e m e ta c c e s s i nc o n d i t i o n so fl i m i t e dr e s o u r c e s ，t h e p r o b l e mo fh o wt om e e tt h ef a s t - g r o w i n gu s e rd e m a n da n dk e e pt h e q u a l i t yo fs e r v i c ew h i l er e d u c i n gs i n g l es t r e a mc o s to fs e r v i c e s ，h a s b e c o m eac h a l l e n g ef o rs t r e a m i n gm e d i a t e c h n o l o g y i nt h i sp a p e r , f i r s t l yw ec o n t r a s tt h ec h a r a c t e r i s t i c so ft h r e ee x i s t i n g s o l u t i o n si n c l u d i n gp r o x ys e r v e r , c d na n dc l i e n t b a s e dp 2 pn e t w o r k s t r e a m i n gm e d i ai nt r a f f i c ，g e tt h e i ri n d i v i d u a ll i m i t a t i o n s b a s e do nt h e c h a r a c t e r i s t i co f s t r e a m i n gm e d i a ，w er e s e a r c ho nk i n d so fp 2 pp r o t o c o l s ， c a c h i n ga n dd i s t r i b u t i o ns t r a t e g i e s t h e nw em a k es o m ei m p r o v e m e n to n c h o r d p r o t o c o lb ys e t t i n gu pm u l t i c i r c l e su s i n g t h e t o p o l o g i c a l c o r r e l a t i o ni np e e r s a tl a s t ，w ed e s i g na n di m p l e m e n tas t r e a m i n gm e d i a s y s t e mi n c l u d i n gb o t hp 2 po v e r l a yn e t w o r ka n dp r o x ys e r v e r t h ec o n t r i b u t i o no ft h i sp a p e ri sa sf o l l o w s ： s t u d ya n da n a l y z et h ed i f f e r e n tp 2 pp r o t o c o l s ； s t u d ya n da n a l y z et h ed i f f e r e n tc a c h i n gs t r a t e g i e sw h i c ha r ef i tf o r s t r e a m i n gm e d i a ； i m p r o v et h e c h o r d a l g o r i t h mb yc o n s i d e r t h e t o p o l o g i c a l c o r r e l a t i o ni np e e r s ； i m p l e m e n tt h ec l i e n ta n dp r o x yb a s e do nj x t a ： f i n a l l y , w et e s tt h ep e r f o r m a n c eo ft h en e wk i n do fs t r e a m i n gm e d i a s y s t e m ，a n dc o n c l u d et h a ti th a sag o o de f f e c ti ni m p r o v i n gt h eq u a l i t yo f s e r v i c e ，r e d u c i n gt r a n s m i s s i o nd e l a ya n dl o a do fs t r e a m i n gm e d i as e r v e r k e yw o r d s ：p 2 pj x t ac h o r ds t r e a m i n g m e d i ap r o x y - c a c h i n g 2 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：丝丝二：! 旦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 适用本授权书。 日期： 日期： 基于p 2 p 的流媒体代理服务系统的设计与实现 1 1 课题背景 第一章绪论 流媒体系统通过流媒体技术实现视频、音频等信息的实时传输。相对传统的 下载一播放技术而言，流媒体技术就是把连续的多媒体信息通过编码压缩后保存 到媒体服务器上，浏览者可以一边下载一边浏览节目，而不需要等待整个多媒体 文件全部下载到本地再观看收听。流媒体技术的出现使得在窄带带宽网络中传播 多媒体信息成为可能。 在i n t e r n e t 产生的相当长的一段时间内，网络多媒体一直局限于下载完整文 件然后播放的使用模式。但随着1 9 9 5 年由r e a ln e t w o r k 公司推出第一个流媒体 产品和技术以后，i n t e r n e t 上各种流媒体新应用迅速涌现，逐渐成为了网络多媒 体的首选和主流技术。其中，远程教育、视频点播、现场直播、视频会议等等应 用极大的改变人们获取信息的方式，为人们广泛接受。随着流媒体技术不断发展 和成熟，越来越多的应用采用流式技术作为传播多媒体信息的方式，从而使 i n t e m e t 正在完成从最初的静态网页应用到现在网络多媒体应用的悄然转变，使 i n t e r n e t 世界更加丰富多彩。 尽管网络带宽不断扩张，但用户数增长速度远快于带宽增长。以我国为例， 据中国互联网信息中心( c n n i c ) 最新发布的第2 3 次中国互联网络发展状况统 计报告统训，截至2 0 0 8 年1 2 月3 1 日，中国网民规模达到2 9 8 亿人，网民规 模较2 0 0 7 年增长8 8 0 0 万人，年增长率为4 1 9 。在各种接入方式中，宽带网民 规模达到2 7 亿人，占网民总体的9 0 6 。这意味着上网条件进一步改善，更多 的网民可以通过较快的网速、较稳定的带宽连接畅游互联网。同时，该报告调查 和统计了各种互联网应用的使用情况，调查表明：网络音乐使用率达8 3 7 、网 络影视使用率达6 7 7 ，二者都高于电子邮件( 5 6 8 ) 等传统应用。其中流媒 体的数字音乐和影视比例非常高，尤其是网络影视，基本都采用了流媒体技术。 另据艾瑞( i r e s e a r c h ) 的预测，2 0 1 0 年中国网络视频市场规模有望达到3 4 亿元， 未来五年的复合增长率约为6 0 t 列。 总而言之，流媒体技术已在国内外获得了广泛应用并可以预计在未来几年间 将获得空前成长。 基于p 2 p 的流媒体代理服务系统的设计与实现 1 2 课题的目的与意义 随着流媒体应用被广泛接受，越来越多的i n t e m e t 用户访问流媒体数据。传 统的流媒体应用主要采用c s ( c l i e n t s e r v e r ，客户端服务器端) 网络结构，如 图1 1 服务器以单播的方式和每个客户建立连接。 流 体客户靖1 流媒体客户靖2 体客户靖3 图1 - 1 流媒体服务结构示意图 尽管网络带宽不断提高，但由于流媒体服务具有高带宽、持续时间长等特点， 随着用户数目的快速增加，服务器端的资源如网络带宽、处理能力等很快被消耗 完成为系统瓶颈。这就产生了骨干网络流量激增拥塞严重、流媒体服务器负载过 大、终端客户传输时延大服务质量下降等不良现象，严重影响了流媒体业务的发 展。 如何解决这些问题，现在主要有以下三种代表性的技术，它们都各有优势但 也都存在一定的局限性： 流 体客户靖l 流媒体客户靖2 体客户端3 图1 - 2 代理服务器结构示意图 代理服务器系统：采用代理技术的架构如图l 一2 所示。其实早在h 1 v r p 的服 务架构中，代理服务已经成为了一种重要技术。代理技术为网络应用提供了高效、 稳定、安全的内容和应用的分布式服务。正是由于这种分布式服务显著的降低了 网络带宽的流量和服务器的负载，代理服务市场前景广阔，越来越多的内容提供 * fp 2 p 的流媒体r 4 服务i 坑的啦* o 琅现 商和信息服务商) r 始关注和进入这领域。同时由于代理服务具有较好的安全 性，在企业用户中也获得了很快的发展。流媒体的广泛应用和传统代理服务技术 的成功促使人们考虑如何利用代理服务技术来解决流媒体当前面临的问题。但是 代理服务有限的存储空间限制了它可以缓存的媒体数据量。另外由于采用中心控 制的结构咀及每个代理服务器的处理能力的局限性，使得整个系统不具有较好的 可扩脬作 婴f 1 翟勉 强 露 图卜3c d n 结构示意图 c d n 1 ( c o n t e n td d i v e r y n e t w o r k ) ：采用c d n 技术的架构如圈1 - 3 所示。 通过在现有的i n t e r a c t 中增加一层新的网络架构，将网站的内容发布到最接近用 户的网络”边缘”使用户可以就近取得所需的内容，解决i n t e r n e t 网络拥挤的状 况，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访 问量太、网点分布不均等原因所造成的用户访问网站响应速度慢的问题。 但c d n 核心仍然足基于集中服务器的架构，而且跟地域化管制紧密相连， 凼此很难降低其扩展的成本，而且c d n 技术在高峰时期对突发流量的适应性、 容错性等方面仍然存在一定缺陷。另外流媒体业务在到达一定规模后，就需要大 规模扩充带宽、服务器和内容分发系统卧满足需求，这些举措无疑都会大大增加 扩展成本，阻碍其大规模部署。 基于客户端的p 2 p 网络：p 2 p 4 】( p e e r - t o 。p e e r ) 技术能够利用i n t e r n e t 中的 各个节点进行对等计算，充分挖掘了网络上空闲资源。把p 2 p r 入到流媒体服 务中，每个对等文体既是服务的提供者又是服务的享用者，将服务器的负载分 敞到p e e rr f l ，从而有效地减轻了服务器的负载和对网络带宽的占用，极大地提 高了系统的可扩展性。 但是冈为辞个节点e 媒体内容的缓存和替换都是独立的，导致可提供的媒体 瓣。鼠 基于p 2 p 的流媒体代理服务系统的设计与实现 数据不可预知。即使节点上的数据一直可用，但因为节点可能随时离开，因而它 所能提供的服务也是不确定的。对于节点变化很大或者媒体流请求突发的情况， 多点协作方式所提供的服务质量也是不够的。 因此，在有限的资源条件下，如何满足快速增长的用户需求，并在确保服务 质量的同时，降低单条流的服务成本，成为流媒体技术研究中的一个挑战性的课 题。 1 3 课题的主要工作 本课题需要解决的问题是如何在现有网络环境中，同时解决可扩展性和可靠 性的问题，提出一种高效的流媒体缓存和分发方式。课题重点是研究和设计p 2 p 传输协议及流媒体缓存传播策略，设计和实现基于p 2 p 的流媒体代理服务系统。 该系统能够完成对流媒体数据的缓存、终端用户的交互以及和源流媒体服务器的 交互和数据传输。 主要的研究内容包括： 1 相关传输协议的研究和实现。包括d h t 路由原理，结构化的p 2 p 网络 协议c h o r d ，基于j x t a 的开源p 2 p 协议框架。阅读理解协议原理，参 考相关开源项目，实现协议。 2 研究代理服务器的对流媒体的缓存策略。对代理服务器策略的选择决定 了代理服务器功能和性能。参考国内外发表的相关文献和最新进展，比 较各种缓存策略，选择合适的缓存策略，设计代理服务器的结构和功能。 3 在j x t a 框架下实现流媒体代理服务器及客户端程序。 4 针对本系统实现，对系统进行测试并对测试数据统计分析，着重分析终 端用户时延和服务器负载等关键数据，为进一步改进提供基础。 1 4 论文章节的安排 本论文章节安排如下： 第一章绪论介绍了课题背景和课题意义、目的等。 第二章相关技术主要介绍本课题用到的流媒体相关技术和协议，以及p 2 p 传输算法和协议，目前国内外研究的各种流媒体缓存替换和分发算法，并对它们 进行了详细分析和研究。 第三章系统设计主要阐述了代理服务系统的设计思路、算法改进、原理和 架构，同时给出了各个模块的详细设计。 第四章系统实现主要介绍了代理服务系统各部分的具体实现。包括编程模 基于p 2 p 的流媒体代理服务系统的设计与实现 型、算法实现以及流程等。 第五章测试与展望对实现的流媒体代理服务器进行测试和对比，总结论文 并给出本课题中的不足之处以及需要继续进行的工作。 参考文献 致谢 硕士期间发表的论文列表 基于p 2 p 的流媒体代理服务系统的设计与实现 2 1 流媒体传输方式 第二章相关技术 目前通过i n t e m e t 传输音视频多媒体信息主要包括直接下载和流式传输两种 方式【5 1 。下载方式就是先将媒体文件下载到本地然后播放本地文件。由于音视频 文件一般比较大，受网络基础设施的限制，下载通常速度缓慢，花费时间较长。 流式传输主要是指通过网络，服务器向客户端连续、实时传输数据，用户不必等 待整个媒体下载完成，而只需较短的缓冲时间就可以收看。流式传输优点包括： 实时传输和实时播放：流媒体客户端在缓冲小部分数据后就可以播放， 边收看边接收后续数据，从而可以接收现场数据和提高用户体验。 节省大量系统资源：一方面客户端不需要缓存整个媒体文件，另一方面 流媒体通常经过了优化编码，这样就节省了大量的存储空间和减轻了客 户端性能要求。 当前有顺序流式传输和实时流式传输两种方法实现流式传输，二者都获得了 广泛应用。 2 1 1 顺序流传输 顺序流式传输，即服务器将媒体文件通过顺序流发送，客户端顺序下载媒体 文件。对于已经下载的数据，用户可以立即收看。但是用户不可以往后跳过尚未 下载的部分，进行后续收看。此外，顺序流式传输不能在传输期间根据用户带宽 进行调整，无法获得传输质量反馈信息。常见的h t t p 和f t p 等协议可以进行 顺序流式传输。顺序流式传输的优点是实现简单，适用于高质量、持续时间较短 的媒体。同时，它的缺点也是明显的：不支持用户交互、不支持传输质量反馈以 及管理功能较弱等。 2 1 2 实时流传输 针对顺序流式传输的缺点，实时流式传输能保证媒体被实时观看。不但支持 随机访问，而且支持现场数据的传输。一般实时流式传输依赖特殊的网络协议。 因此，流媒体服务器一般不同于w e b 服务器或f t p 服务器，而是针对网络流媒 体进行设计，具有更大的优势，主要包括： 基于p 2 p 的流媒体代理服务系统的设计与实现 实时流拥有更高的网络传输效率：实时流一般通过u d p ( u s e rd a t a g r a m p r o t o c 0 1 ) 传输。u d p 不提供传输质量保证，没有拥塞控制和差错控制，包头简 化。此外u d p 还支持组播。相反，提供可靠传输的t c p ( t r a n s f e rc o n t r o lp r o t o c 0 1 ) 却由于不必要的重传和流量控制反而不适合流媒体的传输。 实时流拥有更好的系统资源利用率：实时流的实现专门为多媒体传输进行了 优化。流媒体服务器对磁盘、内存以及网络进行实时调度，使得系统资源利用效 率大为提高。一个设计良好的实时流媒体服务器支持的并发用户数目一般比直接 使用w e b 服务器性能提高2 3 倍。 实时流给用户带来更好的服务质量：实时流具有流控功能，服务器能够自动 调整媒体的质量等级。比如，在网络状况比较拥塞的情况下，服务器能自动丢弃 一些非关键音视频帧。对于节目的收看者，仍然能够收看质量下降的媒体节目， 而不至于被中断。 2 1 3r t s p 实时流协议 在现有i n t e r n e t 网络架构上，多媒体应用越来越多，需要能控制多媒体传输 的协议。i n t e r n e t 最主要的协议是h r i p 协议。它是标准的w e b 服务器和客户端 通信协议。但是主要由于以下原因，导致h t t p 不能满足控制流媒体传输的需求： 1 流媒体服务器需要维持通信状态，而h t r p 服务器是一个无状态服务器； 2 流媒体服务器和客户端可能都需要发送请求，而h 1 f r r p 仅支持单向请求； 3 流媒体资源标识使用绝对u r i ，而h t r p 有时仅使用相对u r l 。 在此背景下，由哥伦比亚大学、n e t s c a p e 和r e a l 网络公司等共同发起， i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c e ，互联网工程任务组) 制定了r t s p ( r e a lt i m e s t r e a m i n gp r o t o c o l ，实时流协议) ，定义于r f c 2 3 2 6 6 1 。r t s p 是一个应用层协议， 不依赖特定的传输层传输，控制实时数据的传送。该协议目的在于控制多个数据 发送连接，选择发送通道。r t s p 提供了一个可扩展框架，使实时数据，如音频 与视频的受控、点播成为可能。形象地说，在通信双方间，r t s p 扮演着“远程遥 控器”的角色，利用这个“远程遥控器”，用户可以对音视频提出播放、暂停、录 制等操作。 r t s p 主要提供以下功能： 1 从媒体服务器上获得媒体，并控制传输； 2 邀请一个媒体服务器加入一个会话； 3 向已有节目中添加媒体。 基于p 2 p 的流媒体代理服务系统的设计与实现 2 1 3 1r t s p 语义 r t s p 采用客户端一服务器模型，使用请求一应答通信方式。 r t s p 请求主要指客户端向服务器端请求，包括能力查询、媒体查询和媒体 操作。主要的请求方法包括： 1 o p t i o n s ：一般为第一个请求报文，查询服务器端支持的方法。 2 d e s c r i b e ：查询服务器端的节目信息，节目的u r i 一般为非r t s p 方 法获得。 3 a n n o u n c e ：客户端和服务器端都可以发出。客户端发出请求用于将 节目信息通告给服务器端，服务器端发出请求用于在一个已有节目中更 新媒体。 4 s e t u p ：让服务器端为连接分配资源，s e t u p 商定双方r t p r t c p 端口。 5 p l a y ：向服务器端发出播放指定节目的命令。 6 p a u s e ：向服务器端发出暂停指定节目的命令。 7 t e a r d o w n ：向服务器端发出终止指定节目的命令，拆除连接。 r t s p 响应主要是指服务器端向客户端响应，包括能力描述、媒体描述和操 作响应。响应消息由响应码标识，响应码出现在响应消息的开始处。大部分消息 响应码和h t t p 的响应码类似，主要的响应码分为以下几类： 2 x x 含义：请求成功响应，例如2 0 0 响应码表示成功响应。 3 x x 含义：请求被重定向，例如3 0 0 响应码表示请求被重定向。 4 x x 含义：请求错误，例如4 0 5 响应码表示服务器不支持该请求方法。 2 1 3 2r t s p 语法 r t s p 报文采用i s o1 0 6 4 6 t 7 1 字符集，u t f 8 8 】编码方案。 r t s p 请求报文语法格式如图2 1 ： 图2 - 1r t s p 请求报文格式 基于p 2 p 的流媒体代理服务系统的设计与实现 r t s p 响应报文语法格式如图2 - 2 ： 图2 - 2r t s p 响应报文格式 其中s p 为空格，c r 为回车，l f 为换行标识；头域为一些可选参数或必选 参数，用于提供该请求或响应的详细信息；主体实体可以是s d p g j 等信息，消息 主体实体和头域之间用空行间隔；目前r f c 2 3 2 6 规定的v e r s i o n 为r t s p 1 0 ；消 息结束以c rl f 空行作为标识。 2 1 3 3r t s p 时序 r t s p 时序主要是请求一响应顺序。一般采用t c p 传输，保证可靠传输，应 用层无需考虑计时器超时重传。但应用层可以多次发送相同请求，进行多次尝试。 一次成功的r t s p 通信时序如图2 3 所示： 图2 - 3r t s p 消息交互时序图 基于p 2 p 的流媒体代理服务系统的设计与实现 2 1 4s d p 会话描述协议 最新版本的s d p ( s e s s i o nd e s c r i p t i o np r o t o c o l ，会话描述协议) 在2 0 0 6 年 定义与r f c 4 5 6 6 t 9 】中。s d p 定义了会话描述的统一格式，但并不定义多播地址分 配和s d p 消息的传输，也不支持媒体编码方案的协商，这些功能都由下层传送 协议完成。s d p 采用一种称为“o f f e r - a n s w e r 的模型进行通信。典型的，s d p 作 为一种消息实体封装在r t s p 报文中。当用户通过r t s p 请求某节目时，r t s p 响应消息中包含了该节目的相关信息描述。这些信息包括：会话名称和意图，用 于标识和区分不同的会话；会话持续时间( 会话开始时间、结束时间、时间段相 关信息) ；构成会话的媒体( 媒体类型、传送协议、媒体格式以及媒体地址端口) ； 有关接收媒体的信息( 地址、端口、格式等) 。s d p 的接收者根据这些信息自行 处理。比如，如果本地不支持该媒体类型，就可以重新协商或终止连接。 s d p 描述信息为文本信息，采用i s o1 0 6 4 6 字符集的u ，r f 8 编码。描述部 分有多个文本行组成。每个文本行格式均为“ = 的形式。从描述信 息的用途上看，可以将描述部分分为会话级描述部分和媒体级描述部分。 会话级描述部分给出适用于整个会话和所有媒体流的信息。主要的会话级描 述包括： v = ( 协议版本 目前版本号为0 ，无子版本号； = 给出了会话发起者( 由用户名和用户主机地址确定) 以及会话标识和会话版 本号： s = 字符表示的会话名称。每个会话描述必需有且仅有一个会话名； c = 给出连接信息。一般为一个m v 4 的地址。可以是单播或组播地址。如果是 组播地址，同时提供t r l 值。如果会话级和媒体级描述部分都有本字段，仅一 个有效； a = ： 或 第一种形式的属性为数值属性；第二种形式的属性为二进制属性。一个会话 描述种可以包括零个或多个会话属性行。它是s d p 扩展的基本手段。可以出现 在会话级描述，也可以出现在媒体级描述部分。 媒体级描述部分给出只适用于该媒体流的信息。它以m = 文本行开始。格 式为：m = 。目前定义了五种媒体类型： 音频、视频、应用、数据和控制。一个会话描述可以包含零个或多个媒体级描述。 基于p 2 p 的流媒体代理服务系统的设计与实现 其中，媒体类型为i e t f 对不同类型的媒体赋予的不同编号。端口为该媒体在网 络传输时出现的端口，从而告知本s d p 的接收者从该端口上读取数据。传送层 以r t p 1 0 1 和u d p t l l l 常见。如果为静态净荷，即媒体编码方式已由类型号完全确 定，则只需媒体格式即可以完全确定，称为静态绑定。如果是动态净荷，即媒体 编码方式并没有完全确定，则尚需要属性行进一步给出信息。 2 2p 2 p 技术简介 p 2 p ( p e e r - t o p e e r ，点对点技术) 又称对等互联网络技术，可以简单地定义 为通过直接交换，共享计算机资源和服务。这种网络技术，依赖网络中参与者的 计算能力和带宽，而不是把依赖都聚集在较少的几台服务器上。网络中的每一台 计算机既能充当网络服务的请求者，又能对其它计算机的请求作出相应，提供资 源与服务。通常这些资源和服务包括信息的共享与交换、计算资源的共享使用、 存储资源的使用等。因此，当有节点加入且对系统请求增多，整个系统的容量也 增大。这是具有一组固定服务器的客户端服务器结构不能实现的，因为在上述 这种结构中，客户端的增加意味着所有用户更慢的数据传输。 p 2 p 网络通常用于通过a dh o c 连接来连接节点。这类网络可以用于多种用 途，各种文件共享软件已经得到了广泛的使用。p 2 p 技术也被使用在类似v o m 等实时媒体业务的数据通信中【1 2 】。 p 2 p 技术的特点体现在以下几个方面： 非中心化：网络中的资源和服务分散在所有结点上，信息的传输和服务 的实现都直接在结点之间进行，可以无需中间环节和服务器的介入，避 免了可能的瓶颈。p 2 p 的非中心化基本特点，带来了其在可扩展性、健 壮性等方面的优势。 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了， 系统整体的资源和服务能力也在同步地扩充，始终能较容易地满足用户 的需要。整个体系是全分布的，不存在瓶颈。理论上其可扩展性几乎可 以认为是无限的。 健壮性：p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在 各个结点之间进行的，部分结点或网络遭到破坏对其它部分的影响很小。 p 2 p 网络一般在部分结点失效时能够自动调整整体拓扑，保持其它结点 的连通性。p 2 p 网络通常都是以自组织的方式建立起来的，并允许结点 自由地加入和离开。p 2 p 网络还能够根据网络带宽、结点数、负载等变 化不断地做自适应式的调整。 高性能价格比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件 基于p 2 p 的流媒体代理服务系统的设计与实现 技术的发展，个人计算机的计算和存储能力以及网络带宽等性能依照摩 尔定理高速增长。采用p 2 p 架构可以有效地利用互联网中散布的大量普 通结点，将计算任务或存储资料分布到所有结点上。利用其中闲置的计 算能力或存储空间，达到高性能计算和海量存储的目的。通过利用网络 中的大量空闲资源，可以用更低的成本提供更高的计算和存储能力。 隐私保护：在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无 需经过某个集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。 此外，目前解决i n t e m e t 隐私问题主要采用中继转发的技术方法，从而 将通信的参与者隐藏在众多的网络实体之中。在传统的一些匿名通信系 统中，实现这一机制依赖于某些中继服务器节点。而在p 2 p 中，所有参 与者都可以提供中继转发的功能，因而大大提高了匿名通讯的灵活性和 可靠性，能够为用户提供更好的隐私保护。 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了 对传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布 在多个节点，更好的实现了整个网络的负载均衡。 2 2 1p 2 p 网络的分类及特点 2 2 1 1 集中式p 2 p 网络 集中式p 2 p 网络( 如图2 _ 4 ) 形式上有一个中心服务器来负责记录共享信息 以及回答对这些信息的查询。每一个对等实体对它将要共享的信息以及进行的通 信负责，根据需要下载它所需要的其它对等实体上的信息。这种形式具有中心化 的特点，但是它不同于传统意义上的c s 模式。c s 模式采用的是一种垄断的手 段，所有资料都存放在服务器上，客户端之间不具有交互功能。 吲磁毒 一 一 黧毪7 秀孓气。” 。 峨徽： 图2 - 4 集中式p 2 p 网络结构n 2 1 基于p 2 p 的流媒体代理服务系统的设计与实现 这种结构的网络最大的优点是维护简单发现效率高。由于资源的发现依赖中 心化的目录系统，发现算法灵活高效并能够实现复杂查询。最大的问题与c s 结 构类似，容易造成单点故障，访问的“热点”现象和法律等相关问题。这是第一 代p 2 p 网络采用的结构模式，其代表性软件为n a p s t e r t l 3 l 。 2 2 1 2 完全分布式非结构化p 2 p 网络 i 豫e a d o 、 ( p ) s e r v e n tl o o k i n gf o ra 他燃 _ 、 u s c r v e n t $ w i l l i n gt oo f f e rt h er e q u e s t e dr e s o q l r e e 图2 - 5g n u t e l l a 的查询流程n 引 分布式非结构化的p 2 p 网络采用了随机图的方式来形成一个松散的网络， 这种结构对网络的动态变化有较好的容错能力，因此具有很好的可用性。这种网 络形式的典型代表o m t e l l a 【1 5 】，它和n a p s t e r 的最大区别在于没有中心服务器， 采用了基于完全随机图的洪泛( f l o o d i n g ) 发现和随机转发( r a n d o mw a l k e r ) 机 制。为了控制搜索消息的传输，通过t t l ( t i m et ol i v e ，生存时间) 减值的机 制来决定是否继续转发消息。其查询流程如图2 5 。 由于没有确定拓扑结构的支持，这些系统一般不提供性能保证，查询的结果 也可能不完全，查询速度较慢，采用广播查询的系统对网络带宽的消耗非常大， 并由此带来可扩展性差等问题。 m 十p 2 p 的”代p f * 最& “ij q m 2 21 3 完全分布式结构化p 2 p 网络 为了达到g n u t e l l a 的非中心化以及n a p s t e r 的效率与查询结果的确定性， 人们丌始研究如何构造一个高度结构化的系统，并能提供有效地盘找信息。最新 的成果就是基于d h t 【l “( d i s t r i b u t e d h a s h t a b l e ，分布式散列表) 的分布式发现 和路由算法。 分布式散列表是由广域范围的人量节点共同维护的巨大散列表。散列表被分 割成不连续的块，每个节点都被分配个届于自己的散列块，并负责维护浚散列 块。d h t 的节点既是动态的，也是数量巨大的，因此非中心化和白组织成为两 个重要的设计目标。通过散列曲数节点的标识荷和资源的关键字分别被映射到一 l - - it d a t a k e y w a t k sa c r o s sl _ d i s t r i b u t e d n e t w o r k 图2 - 6d h t 示意图” 如图2 - 6 ，d h t 通过散列函数( h a s hf u n c t i o n ) 由输入数据( d a t a ) 得到的 关键字( k e y ) ，再将其唯一映射到分布式系统中的某个节点( p e e r s ) 上，然后 进行一些特定的路由算法与泼节点建立连接，有效地将信息转存到唯个拥有 查询者提供的关键字的节点。这里的节点类似敞列表中的储存位置，具有固定的 地址，整个刚络具有相对稳定而规则的拓朴结构。依赖拓朴结构，可以给网络的 每个节点指定一个逻辑地址，并把地址和节点的位置对应起米。对于给定的某个 地川，拓扑结十勾保证只需要通过有限的跳数能够路由到具有相应地址的节点上。 在实际的系统- i ，p 2 p 网络的逻辑地址通常足由敞列函数得到的，每个宵点都保 存一张d h t 进行路由，所以结构化p 2 p 网络通常也叫做d h t 网络。 这种算法避免了类似n a p s t e r 的中央服务器，也不是像g n u t e l l a 那样基于广 播进行盘找，因而可以用以建立更复朵的服务。分稚式散列表也有个缺点，就是 只能作精确搜寻，而不能只提供部份的关键字，但这个功能可以在分布式散列表 的上层实做。 ) 氲 堆十p 2 p m 嫜* 1 r 月醴* 系* * ! j # 现 目前典型的d h t 网络包括c h o r d e l ”、c a n c ”、k a d e m t i a t l 、p 拈h v “i 、 t a p e s t 一2 ”、等网络，它们的主要区别在于采用了不同的d h t 路由算法，这也决 定了再类网络在逻辑拓扑上的不同。 2 2 14 半分布式p 2 p 网络吲 圆 圆 圆 要 圆 少 彭7 7 、y b 仁= 爿警 s 惑 惑 枣 如图2 7 ，半分布式p 2 p 网络吸取了集中式结构和完全分布式非结构化拓扑 的优点，选择性自较高( 处理、存储、带宽等方面性能) 的结点作为超级点，在 各个超级点上存储了系统中其他部分结点的信息，发现算法仪在超级点之问转 发，超级点再将查淘请求转发给适当的叶子结点。半分布式结构也是一个层次式 结构，超级点之间构成个高速转发层超级点和所负责的普通结点构成若干层 次。最典型的应用就是k a z a a 口”。半分布式结构的优点是性能、可扩展性较好， 较容易管理，但对超级点依赖性犬，易r 受到攻击，容错性也受4 影响。 表2 一l 四种p 2 p 网络结构的性能比较 集中式完全分布非结构化 完全分布式结构化半分布式 可扩展性差差 好 由 可靠性差弱好 由 可维护性最好最好好 由 发现算法效率最高中局 由 复杂查询支持支持不支持 支持 基于p 2 p 的流媒体代理服务系统的设计与实现 2 2 2 搜索和路由算法 2 2 2 1 非结构化p 2 p 搜索算法 按照搜索策略，可以分为两大类：盲目搜索和信息搜索。盲目搜索通过在网 络中传播查询信息并且把这些信息不断扩散给每个节点。通过这种洪泛方式来搜 索想要的资源。而信息搜索在搜索的过程中利用一些已有的信息来辅助查找过 程。由于信息搜索对资源的存储有一些知识，所以信息搜索能够比较快的找到资 源。 1 盲目搜索( b l i n ds e a r c h ) - f l o o d i n g 在最初的g n u t e l l a 协议中使用的方法。如图2 5 ，在网络中每个 节点都不知道其他节点的资源。当它要寻找某个文件，把这个查询信息传递给它 的相邻节点，如果相邻节点含有这个资源，就返回一个q u e r y h i t 的信息给 r e q u e s t e r 。如果它相邻的节点都没有命中这个被查询文件，就把这条消息转发给 自己的相邻节点。这种方式像洪水在网络中各个节点流动一样，所以叫做 f l o o d i n g 搜索。由于这种搜索策略把消息传播给所有的邻接点，它消耗了大量的 网络带宽，使消息堵塞严重，效率比较低，扩展性不好。 i t e r a t i v ed e e p e n i n g ：这种搜索策略是在初始阶段，给t t l 一个很小的值， 如果在t t l 减为0 ，还没有搜索到资源，则给t t l 重新赋更高的值。这种策略 可以减少搜索的半径，但是在最坏的情况下，延迟很大。 r a n d o mw a l k ：在随机漫步中，请求者发出k 个查询请求给随机挑选的k 个相邻节点。然后每个查询信息在以后的漫步过程中直接与请求者保持联系，询 问是否还要继续下一步。如果请求者同意继续漫步，则又开始随机选择下一步漫 步的节点，否则中止搜索。 2 信息搜索( i n f o r m a t i o ns e a r c h ) ： c a c h em e t h o d ：这种方法不同于盲目搜索很大的地方在与它在每个节点上， 不管是中央节点还是简单节点都存有路径信息。这就是c a c h e 的思路。新的搜索 并不需要直接达到资源的存储地，只要在搜索的路径中找到以前搜索的记录也就 是在它以前的搜索的基础上找到源i p 地址，就可以把请求消息返回。这样可以 极大的减少搜索的消息，提高效率。 m o b i l ea g e n tb a s e dm e t h o d ：移动a g e n t 是一个能在异构网络中自主地从一 台主机迁移到另一台主机，并可与其他a g e n t 或资源进行交互的程序。a g e n t 非 常适合在网络环境中来帮助用户完成信息检索的任务。 基于p 2 p 的流媒体代理服务系统的设计与实现 2 2 2 2d h t 路由原理1 2 4 l 在结构化p 2 p 网络中，网络中的客户端主机称为节点，数据项称为对象。 名字空间指系统的一个名字域，在名字域中所有的名字是独一无二的名字用来 标识节点，一个节点可以有几个名字，每个名字基于不同的尺度。但总的来说， 每个节点在一个名字空间中只能有一个名字。对于一个节点来说，典型的名字就 是它的因特网口地址。标识符是指在某个整数名字空间中的独一无二的整数。 在p 2 p 系统中，标识符可以通过对一个节点的名字进行散列来获得，例如标识 符p = h a s h ( i p ) 。关键字k e y 是一个对象独一无二的标识符，它可以通过对对象 名进行散列来获得，k = h a s h ( v ) 。 散列函数可以将k e y 映射到整数，通常可以在一个更小的值的集合上获得 一个离散分布。散列函数是不可逆的。散列表( h a s ht a b l e ) 是一个字典，在这 个字典中k e y 通过一个散列函数被映射到一个数组位置上。如果有多个k e y 被 映射到一个位置上叫做冲突。完美的散列函数是一个没有冲突的散列函数，每个 不同的k e y 被映射到不同的整数上。使用完美的散列函数的散列表没有冲突。 最小的完美散列函数映射每个不同的k e y 到不同的整数，并且可能的整数的数 目和可能的k e y 数目相同。 在基于d h t 的p 2 p 系统中，文件被关联到k e y ( 由文件名的散列产生) ；系 统中的每个节点拥有一部分散列空间，它负责保存某个范围的k e y 。在对一个 k e y 进行查询后，系统将返回一个保存具有k e y 的对象的节点的标识符( 如口 地址) 。d h t 的功能允许节点基于文件的k e y 来存入和取出文件，这已经被证明 是在分布式系统中的一种有用的底层基础。 基于d h t 的搜索实现主要包括4 个关键点，如表2 2 所示。 基于p 2 p 的流媒体代理服务系统的设计与实现 表2 - 2d h t 搜索实现关键点 关键点细节描述 散