（计算机软件与理论专业论文）基于对等网络流媒体技术的研究与应用.pdf

摘要 摘要 目前，基于c s 模式的流媒体技术，正承受着资源服务器负载过大，容易造 成瓶颈带宽等问题的困扰。而正在兴起的p 2 p 技术，与传统的c s 模式相比，占用 的服务器资源较少，占用的带宽比较低、对异构网络适应力强、部署的成本和复 杂度低。因此，把p 2 p 技术和流媒体技术相结合，应用于远程视频教学中，不仅 能提高视频教学的服务质量，而且还能有效的利用系统节点上的共享资源。 本文研究了p 2 p 流媒体的关键技术，分析了目前典型的流媒体模型，针对构 建负载均衡的p 2 p 覆盖网络、减小节点失效后系统的恢复时间以及数据调度时间 这三个问题，提出了以下改进策略：首先，提出了基于树状分级结构的p 2 p 底层 覆盖网拓扑结构，通过限制节点的度来维护组播树的平衡，避免单个节点上的负 载过大；其次，提出一种在节点加入系统时的主动控制策略，预先选定该节点的 备用父节点；最后，针对多个节点给单个节点提供数据，给出了节点发送数据时 的自适应调度策略及超时紧急调度策略。在数据发送节点间，通过数据调度的历 史经验自动地适应伙伴节点的数据服务能力，并根据对方服务能力及数据带宽等 因素来分派每个数据发送节点所发送数据的次序。 通过仿真实验证明，本文设计的负载平衡的p 2 p 底层覆盖网能有效维护系统 中节点的平衡组织结构；流媒体系统中节点加入时的主动恢复策略与被动控制策 略相比，能有效减小节点失效后系统的恢复时间；自适用及超时紧急调度策略不 仅能使服务器上的数据调度量很小，还能获得较小的数据接收延迟。最后论文围 绕为远程学生提供一个“以学习者为中心”的实用教学环境，深入探讨了在远程 视频教学中应用该系统的相关问题，并给出了具体的实现思路、方法及系统结构 等。 关键词：p 2 p ，流媒体，应用层组播，覆盖网 a b s t r a c t a b s t r a c t n o w a d a y s , t h em e d i as t r e a m i n gt e c h n o l o g i e sw h i c hb a s e do nt h ec sm o d ea r e e n d u r i n gt h ee m b a r r a s s m e n tw i t hs o m ep r o b l e m s ，s u c ha se x c e s s i v es e r v e rl o a d sa n d t h eb o t t l e n e c kb a n d w i d t h c o m p a r e dw i t ht h ec o n v e n t i o n a lc l i e n t s e r v e rm o d e ，t h e p e e r - t o - p e e r ( p 2 p ) t e c h n o l o g yh a ss o m ea d v a n t a g e s ，i n c l u d i n gl o w e rb a n d w i d t ha n d r e s o u r c er e q u i r e m e n t s ，a n dam u c hl e s sm a i n t e n a n c ec o s t t h i st e c h n o l o g yc o u l d a d a p tt oh e t e r o g e n e o u s n e t w o r kw e l l ，f o ri t sl o wd e p l o y m e n tc o s ta n dg o o d c o m p a t i b i l i t y t h e r e f o r e ，i ti sag o o di d e at oi n t e g r a t et h et w ot e c h n o l o g i e s a n dt h e c o m b i n a t i o nt e c h n o l o g yw h i c hu s e si nt h er e m o t ev i d e oe d u c a t i o nc o u l dn o to n l y e n h a n c et h eq u a l i t yo f s e r v e r , b u ta l s om a k ef u l lu t i l i z a t i o n o f e n d - p e e r s r e s o u r c e s m o t i v a t e db yi m p r o v i n gh i 曲q u a l i t yr e a l - t i m ev i d e oi nr e m o t ee d u c a t i o ns y s t e m ， t h i st h e s i ss t u d i e st h ep 2 pm e d i as t r e a m i n g t e c h n o l o g i e s ，a n da n a l y z e ss o m e r e p r e s e n t a t i v ep 2 pm e d i as t r e a m i n gm o d e l b a s e do np 2 pt e c h n o l o g y , ar e m o t ev i d e o e d u c a t i o nm o d u l eh a sb e e nd e s i g n e da n di m p l e m e n t e d t h e r ea r ct h r e em a i ni s s u e s a p p l i e dt ot h i ss y s t e mt os o l v et h ep r o b l e m sa b o u tt h eo v e r l a yn e t w o r kt o p o l o g y , t h e s y s t e mr e c o v e r yt i m ea n dt h ed a t at r a n s m i s s i o nd e l a y f i r s t l y , an e wt o p o l o g yf o rt h e p 2 po v e r l a yn e t w o r kw h i c hb a s e do nt h et r e eo f h i e r a r c h i c a ls t r u c t u r ei sp u tf o r w a r d e d n o d e s d e g r e e si nt h i st o p o l o g ya r er e s t r i c t e df o ra c h i e v i n gb a l a n c ei nam u l t i c a s t t r e e ，t h i ss o l u t i o nc o u l db a l a n c et h el o a do ft h eu n d e r l y i n go v e r l a yn e t w o r kw i t h i n o n em u l t i c a s tt r e eb ya v o i d i n ge x c e s s i v eo d ep e e r sl o a d s s e c o n d l y t h ep r o a c t i v e r e c o v e r ys t r a t e g yi sp r o p o s e df o rr e d u c i n gt h es y s t e mr e c o v e r yd e l a y w h e nan o d e j o i n st h es y s t e m ，t h ep r o a c t i v es t r a t e g yw i l lc h o o s eac a n d i d a t ef a t h e rf o ri t f i n a l l y , a i m i n gt os o l v em a n y - t o - o n ed a t as c h e d u l i n gi s s u ei nt h es y s t e m ，an e ws c h e d u l i n g s t r a t e g yw h i c hi n t e g r a t e sas e l f - a d a p t i v es c h e d u l i n gs t r a t e g yw i t ht i m e o u tu r g e n t s c h e d u l i n gs t r a t e g yi si n t r o d u c e d w h e nap e e rr e q u e s td a t af r o mp a r t n e r s ，t h i s s t r a t e g yc a r la d j u s tp a r t n e r s c a p a b i l i t yo fs e r v i n gd a t aa n db a n d w i d t hb a s e do n i i a b s 打a c t p a r t n e r s h i s t o r i c a ls c h e d u l i n gr e c o r d si nas e l f - a d a p t i v ew a y i nt h i st h e s i s ，t h es i m u l a t i o nr e s u l t sv e r i f yt h ep 2 p o v e r l a yn e t w o r kw h i c hh a st h e c a p a b i l i t yt om a i n t a i nt h eb a l a n c et o p o l o g y ，as h o r t e rs y s t e mr e c o v e r yt i m ew i l lg a i n i nt h ep r o a c t i v es t r a t e g yo n c et h en o d e sf a t h e rl e a v e s ，a n das e l f - a d a p t i v es c h e d u l i n g s 缸a t e g yw i t l lt i m e o u tu r g e n ts c h e d u l i n gs t r a t e g yw i l lr e m a i nl o ws e i v e rl o a da n d r e d u c et h ed a t at r a n s m i s s i o nd e l a yb e t w e e np e e rp a i r f i n a l l y ，h o wt oa p p l yt h ep 2 p m e d i as t r e a m i n gs y s t e mt ot h er e m o t ev i d e oe d u c a t i o ni sd i s c u s s e dt op r o v i d ear e a l 1 e a r n e r c e n t e r e dw e b - b a s e de d u c a t i o nc i r c u m s t a n c ef o rr e m o t es t u d e n t s 。a n dt h e r e a l i z a t i o ni d e a l s m e t h o d sa n dt h es y s t e ma r c h i t e c t u r ea r eg i v e ni nd e t a i l k e y w o r d s ：p 2 p ，m e d i as t r e a m i n g ，a p p l i c a t i o nl a y e rm u l t i c a s t ，o v e r l a y n e t w o r k i i i 西北大学学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期 间论文工作的知识产权单位属于西北大学。学校有权保留并向国家有关部门或机 构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存和汇编本学位论文。同时，本人保证，毕业后结合学位论文研究课 题再撰写的文章一律注明作者单位为西北大学。 萎差姜妻羹：三霎亍三二主薹鱼一指导教师签名：巡 学位论文作者签名：坐! !指导教师签名：i 垒 渺。7 年月膨日 山口) 年月归 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文 不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： z 刁寸 ? 年6 月f 垆 第1 章引言 第1 章引言 目前互联网上的基于服务器，客户机模型的流媒体服务还远没有达到可以与 传统的w w w 、f t p 等应用相比拟的服务质量，尤其是对多媒体资源和用户数量 的可扩展性、中心多媒体服务器的容错性等方面，还远不能满足用户的需要。研 究人员和工业界曾提出了几种解决方案，如内容分发网络( c o n t e n td e l i v e r y n e t w o r k s ，c d n ) 和口组播技术，但都不太理想。c d n - _ z 台首先需要在全球部署 c d n 服务器，这些集中式服务器既负责资源的存储，又负责发送客户端请求的资 源，这样要求提供多媒体服务的计算机系统提供巨大的存储空间；其次，流媒体 服务比普通的文本和图片服务需要更高的计算资源和带宽资源，这使得为了能够 支持大量的同时在线用户，必须花费很大的代价以避免服务嚣端的瓶颈带宽问 题。而疋组播技术不但需要部署具有组播能力的路由器并且要修改目前的i n t e m e t 路由机制，其本身又不适合多用户共享的播放视频【9 i 如今，p 2 p 技术的出现为流媒体服务提供了新的发展方向p 2 p 技术不经过 中继设备直接交换数据或服务，打破了传统的c s 模式。p 2 p 网络中各节点的地位 相同，既可以作服务使用者又可以作服务提供者，这一特性很适合于流媒体的共 享传播且基于p 2 p 技术的流媒体系统具有自配置、自适应，自组织的特点，它 聚集了大量来自不同区域的对等终端节点，终端节点之间可以进行数据流的发送 及接收。它不仅解决了c d n 集中式设计的服务器端的瓶颈带宽问题，而且它克服 了m 组播难以动态管理新加资源的问题 1 1p 2 p 流媒体系统的发展现状 随着p 2 p 流媒体技术的发展，p 2 p 应用也正迈向一个新的发展阶段p 2 p 技术 的最初应用是文件交换。它最早起源于美国，当时主要用于给用户之间互相交换 共享音乐m p 3 文件，但由于其始终无法解决版权问题，p 2 p 的鼻祖n a p s t e r 也因此 被迫关闭。而国内的p p 点点通、百宝：p o c o 等也受同样因素的困扰，并未如原 先预计的一样将p 2 p 的文件交换应用推向顶峰。b t 与e d 的出现，将p 2 p 应用推向 第1 章引言 了一个高潮，由于没有了文件交换时代的注册帐号限制，用户之间的资源通过 w e b 方式得以更广泛的传播与共享一时间b t 联盟与e d 联盟纷纷涌现，用户也 是越聚越多。可以讲下载共享类的p 2 p 应用在短期内将p 2 p 应用进行了传播与普 及但是由于b t 等应用在技术上有导致网络堵塞的可能，使得下载共享类的p 2 p 应用也没有达到大家预想中的良好状况。 p 2 p 流媒体的推出最早流行于校园网络，通过校园内部网络架设服务器，借 助p 2 p 流媒体的技术，使得校园学生可以在观看网络视频的同时，相互共享流资 源，减少服务器压力，有效提高在线视频的流畅度。于是一夜之间，p 2 p 流媒体 就火爆开来，用网络收看直播节目( 体育比赛、大型活动) 、收看影视剧、综艺 节目，把p 2 p 应用推向了一个新的高峰。 2 0 0 5 年，是中国p 2 p 流媒体技术起步的一年，p p l i v e 的首先诞生，以及随后 的p p s t r e a m 、q q l i v e 、u u s e * 等p 2 p 流媒体系统的产生，使得p 2 p 流媒体技术得到 肯定，这些系统自诞生开始，就受到了大家，尤其是年青朋友的追捧有调查报 告表明，2 0 0 6 年，日均每百万用户中有2 万用户访问使用流媒体系统，随着这些 应用系统的完善和普及，p 2 p 流媒体的用户会越来越多 1 2p 2 p 流媒体在远程教育中的应用 目前，流媒体技术已经广泛用于新闻出版、证券、娱乐、电子商务、远程 培训、视频会议、远程教育，远程医疗等互联网信息服务的方方面面，它的应用 将为网络信息交流带来革命性的变化，它改变了传统互联网的呆板形象，丰富 了互联网的功能。成为一种有强大吸引力的新媒体建立一个基于p 2 p 技术的 流媒体教学系统无疑能够充分利用其特点，有效的解决在远程教育中的如网络 带宽不够、服务能力不足等一系列突出的问题。它与基于c s 的远程教学平台 相比具有如下优势： ( 1 ) 视音频流不需全部下载到客户端就可播放，延时时间很短 ( 2 ) 使远程教育平台更具有扩展性，能够容纳更多同时在线的用户，避免 了服务器端由于访问量过大造成的拥塞问题。 ( 3 ) 系统中的客户端既是服务器提供者，又是服务的使用者。有效的减轻 2 第1 章引言 了资源服务器的负载，更有效的利用了系统中的资源。 1 3 论文组织结构 第一章描述了p 2 p 流媒体系统的发展现状以及p 2 p 流媒体系统在远程教育 中应用的优势。 第二章分析了p 2 p 技术及流媒体技术的研究进展。 第三章分析研究了现有的典型p 2 p 流媒体模型。 第四章设计了一种基于树状分级结构的p 2 p 流媒体模型：改进了树状分级 的p 2 p 底层覆盖网拓扑结构，通过控制节点的度，建立负载均衡的组播树。在 该拓扑结构基础上，提出了一种主动恢复机制，减小节点失效后系统的恢复时 间。并且给出自适应传输调度策略及超时紧急调度策略，目的在于合理分配节 点上的带宽资源，减轻服务器的负载。 第五章描述p 2 p 流媒体系统在远程教育中的应用实现，介绍了该系统中各 主要功能模块的设计。 第六章是论文内容进行了总结，提出了进一步的研究方向。 第2 章对等网络及流媒体技术研究 第2 章对等网络及流媒体技术研究 p 2 p 流媒体( m e d i as t r e a m i n g ) 是基于p 2 p 技术的一种应用，指视频、声音 数据通过实时传输协议以连续流方式顺序从源端向目的端传输，目的端只需接收 到一定数据缓存，就可以立即播放的多媒体应用。在采用流式传输的系统中，用 户不必等到整个声音或视频文件全部下载完毕，而只须经过几秒或十数秒的启 动延时，即可进行观看，与此同时文件的剩余部分将在后台从服务器内继续下载。 与传统的由客户端从服务器下载完整的文件后再进行播放的机制相比，流媒体 技术不仅使启动延时成十倍、百倍地缩短，而且不需要很大的缓存容量。p 2 p 流 媒体通过利用普通节点( p e e r 节点) 的带宽、存储等资源为其它节点提供服务，能 够减少对服务器带宽等资源的占用，可以缓解服务器的负担。 p 2 p 流媒体系统是在p 2 p 覆盖网上，通过合理的拓扑结构和协作算法，运用 应用层组播技术，均衡地利用各个节点的资源来实现的，它能尽量保证每个节点 的负载都不超过其有限服务能力。且针对流媒体服务，人们提出了b a t c h ， p a t c h i n g - 1 3 , 1 4 ，p e r i o d i cb r o a d c a s t 等传输调度策略来满足异步的服务请求。本章分 析了p 2 p 覆盖网络的结构和p 2 p 流媒体系统相关的研究结果，及在p 2 p 研究领域与 构建流媒体系统相关的一些核心问题和关键技术。 2 1 p 2 p 覆盖网系统结构 p 2 p ( p e e r - t o p e e r ) 技术又称为对等计算，是建立在网络应用层上的一种特殊 的分布式系统，每一个对等节点都可以通过各自的路由相互通信。在传统的c s 模式中，如图2 1 ，整个网络是由独立的客户端和服务器端组成的，网络中的 节点要么是客户端，要么是服务器端。客户端向服务器端请求服务，服务器端向 客户端提供服务，两者在功能上有着明确分工。而在p 2 p 模式中，如图2 2 ，每 一个节点既可以作为客户端向其它节点请求服务，同时也可以作为服务器端为其 它节点提供服务，从而有效的利用分布在终端计算机上的边缘性网络资源，包括 计算资源、带宽资源、内容资源等，以降低对中央服务器资源的消耗需求【3 1 。 4 第2 章对等网络及流媒体技术研究 图2 1c l i e n t s e r v e r 模式图2 2p e e r - t o - p e e r 模式 2 1 1 集中式的p 2 p 系统 n a p s t e r 】是集中式p 2 p 系统的代表。从时间上来看，它也是最早的p 2 p 系 统之一，它为人们提供了m p 3 格式音乐文件的下载，使得p 2 p 成为人们关注的 热点之一。在该系统中，需要维护一个不断更新的存放着资源目录的服务器，节 点登陆到该系统中，向服务器提交自己所拥有的资源列表，要下载资源时，必须 先向服务器发送查询请求，通过服务器返回的地址，再与该地址的节点建立连接， 下载存储在该节点上的资源。虽然我们可以部署多个并行的服务器，但是n a p s t e r 系统中，服务器端瓶颈带宽以及服务器的单点失效问题仍然存在。 2 1 2 非结构化分布式系统 g n u t e l l a 2 3 ，4 是非结构化分布式系统的代表。在n a p s t e r 系统之后，g n u t e l l a 是 第一个真正采用非集中式结构的p 2 p 文件共享系统。g n u t e l l a 中每个节点维护了一 个邻居表，记录了与之相关联的节点的坤地址。 g n u t e l l a 主要支持三类操作：拓扑维护、文件搜索和文件下载。拓扑维护通 过在相邻节点之间彼此交换邻居节点信息来保持拓扑图的连通性，并替换因节点 离线而失效的连接。节点定期向邻居节点发送p i n g 消息，收到p i n g 消息的节点 则回应一个p o n g 消息并附带了当前所拥有的邻居信息。收到邻居列表后节点按 照一定规则进行邻居替换，保证自身具有一定数量的有效邻居。当新的节点加入 系统时( 它需要知道系统中另一个节点的i p 地址) ，它向系统已有的节点发送 5 第2 章对等网络及流媒体技术研究 p i n g 消息而获得足够的邻居节点从而加入系统【1 郇7 l 。 每个节点共享一些文件，并提供基于文件名的本地查询操作。g n u _ t e l l a 使用 消息洪泛( f l o o d i n g ) 的方式搜索其它节点上的文件。发起搜索操作的节点向所 有邻居节点发送q u e r y 消息，而接到q u e r y 消息的节点进行本地查询，并把查 询进一步转发给自己的所有邻居。这一消息广播的过程重复进行，直到满足一定 的结束条件为避免无穷递归，每个搜索消息都有一个订l ( t i m e - t o - l i v e ) 域， 它随着转发的进行而递减。t 几为0 的消息则不再被转发。另外节点对近期接收 到的消息进行缓存，以避免重复处理同样的消息。搜索操作结束后，发起搜索的 节点会收到一些查询结果，记录了满足条件的文件及其存放的节点i p 。节点可从 中选择一些节点来下载所需文件。由于路由的非收敛性，c r n u t e l l a 式的搜索又被 称作盲目搜索( b l i n ds e a r c h ) 或随机搜索( r a n d o ms e a r c h ) 这种搜索一方面无 法保证在所需文件存在时必然搜索到，另一方面则产生了大量无价值的转发消 息，造成了严重的网络负担【1 6 1 。 2 1 3 结构化分布式系统 在前面我们讨论的n a p s t e r 和g - n u t e l l a 系统都属于早期的p 2 p 系统，我们可 以把它们归为第一代的p 2 p 系统，它们在路由拓扑结构及文件搜索等方面还存在 很多缺陷 以下介绍的结构化分布式系统，属于第二代或者第三代p 2 p 系统。p l a x t o n 、 t a p e s u y 、p a s t r y 、c h o r d 、c a n 为代表的第二代p 2 p 系统，通过使用d h t ( d i s t r i b u t e dh a s h i n gt a b l e ) 技术，使得这些系统建立在确定性拓扑结构的基础 上，从而实现对网络中路由的向导和对网络中节点与数据的管理。也实现了有效 的搜索查询策略，并且改善了第一代p 2 p 系统的非结构化特性，增强了系统对节 点的管理能力，降低了节点随机出错的能力 l o w - d i a m e t e r 、b u t t e r f l y 为代表的第三代p 2 p 系统，在第二代p 2 p 系统的基 础上，更进了一步，在提高系统本身性能的同时，增强了系统的安全性，尽可能 避免系统遭受攻击耳前，些研究人员还在探索其他的p 2 p 拓扑结构和搜索算 法以提供系统更好的容错性。 6 第2 章对等网络及流媒体技术研究 p l a x t o n l 5 】：在p l a x t o n 系统结构中，使用t p l a x t o n m e s h 静态数据结构每个 节点既是存放资源的服务器端，又是转发信息的路由节点，还是发送请求的客户 端。另外，对象和节点的标识符用某种固定长度的位串采用随机方式确定，并与 他们的位置及具体内容无关。系统假定通过哈希算法可以使对象和节点的标识符 在整个名字空间中是均匀分布的，但在该系统中没有节点的插入和删除。 p l a x t o n 定位和路由机制具有简单的错误处理和可扩展性好等优点，但是 p l a x t o n 构造p l a x t o nm e s h 时需要知道全局信息，这会导致节点的加入和离开操作 相当复杂。另外，每个对象的根节点实际上成了一个单点失效，如果该节点失效， 则该节点保存的对象可能无法被访问到。 v l a x t o n 中的每个节点都保存了邻居映射表采用“前串匹配”的路由模式。 每一步路由，都会把信息传送到前串更加匹配目标的节点去例如从”2 的节 点到+ 5 2 到* 1 5 2 到 6 1 5 9 ( + 表示通配符) ，最后到目的节点4 6 1 5 2 的查询请求， 它与目标节点i d 前串有两位是匹配的，那么它将会把该请求发送到与目标i d 前 串有3 位匹配的节点去，以次类推，直到发送到目的节点上 p l a x t o n 中的定位机制允许一个客户端定位一个保存于服务器中的命名对象 并给该对象发送消息。服务器s e ：v e r 通过给对象的根节点r o o t 发送消息来通知该 节点它保存着对象o b j e c t 在消息传播路径上的节点，都会保存一个对象与服务 器之间的映射信息 。在资源定位时，客户端r o o t 发送o b j m 的请求消息。在向r t 转发消息的过程中，如果碰到存储了对象与服务器之阊映 射信息的节点，则直接把请求信息转发给包含该资源对象的服务器当价节点 之间的两两延迟是已知的情况下，p l a x t o n 可以选择一个延迟最小的路径 t a p e s t r y 嘲：是一个基于p l a x = t o n 组织路由转发和资源定位的系统，它的 核心路由和定位机制与p l a x t o n 相似，但是t a p e s 时通过持续更新缓存的内容来提 高系统发现节点以及错误恢复的能力在检测正常操作过程中的链路和服务器失 效时，可以使用t c p 连接超时机制。此外，每个t a p e s t r y 节点都有一个后继指针， 周期性的发送“心跳”u d p 分组给自己的邻居节点每个节点可以根据自己收到 的心跳分组来决定自己的邻居是否失效。在邻居节点表中，除了离自己最近的邻 居节点外，每个路由项还保存了备份的邻居节点，当检测到最近的邻居节点失效 后，邻居节点表将顺序选择备份邻居节点这就解决t p l a x t o n d p 节点的单点失效 7 第2 章对等网络及流媒体技术研究 问题。 p a s t r y 趣蛳：是微软研究院提出的可扩展的分布式对象定位和路由的p 2 p 系 统。在p a s t r y 中，每一个节点都被分配了一个1 2 8 位的节点标识( n o d e l d ) ，范围从 o 到2 ”7 ，用于确定该节点在环状标识空间中的位置每一个节点的节点标识是 在节点加入系统时随机分配的。当节点收到一条含1 2 8 位k e y 的消息时，节点能高 效地将消息发送到在当前邻居节点中m 最接近k e y 的节点。在p a s t r y 网络中，发送 步骤的复杂度是o ( 1 0 9 n ) ，在每个p a s t r y 节点中，路由表要维护节点数量的复杂 度是o ( 1 0 9 n ) 。在消息传递经过每个p a s t r y 节点时，会通知回调函数，应用程序 即可对这条消息进行处理。每个p a s t r y 节点监视和它d 值最接近的l 个节点( 这个 集合叫做l e a fs e t ，其中比当前节点i d 大及小的节点各占l 2 ) ，应用程序可以通 过回调知道l e a f s e t 中新节点的加入、失效和恢复。p a s t r y 网络是分散的、灵活的、 自组织的，当出现新节点、死节点，节点失败时它会自动配置。 c h o r d 【3 5 , 4 4 1 ：采用了完全分布的一维环形拓扑结构，c h o r d 使用一致的哈希函 数，给定一个关键字( k e y ) ，将关键字( k e y ) 均匀的映射到各个节点由此可见， 如果每个数据都分配t k e y ，那么对等网络中的数据搜索问题通过c h o r d 就可以 顺利的解决了。并且c h o r d 会自动调整它内部队路由来反映新节点的加入和节点 的失效，除非下层网络出现大量错误，否则c h o r d 总能找到负责某关键字的节点。 c h o r d 路由模型路由过程为每个节点只需要知道在c h o r d 环中它的后继节点查询 过程是给定的关键字沿c h o r d 环通过后继节点的指针传递，直到遇到一个节点的 标识符数值超过这个关键字标识符。这种查询方法在网络中有价节点的情况下， 在查找关键字与节点的映射关系时就需要跨越n 个节点，为了改进查询的速度， c h o r d 增加了额外的路由表来加快查询速度把查询过程由原来的一个节点一个 节点的查询，变成了一次跨越2 。一1 个节点的查询为了使节点的加入和退出机 制变得简单。每个节点中都加入了一个前继指针这个前继指针包含c h o r d 标识 符和这个节点的直接前驱节点的标识符这样，当一个节点加入系统的时候需要 执行3 个任务： ( 1 ) 初始化节点n 的p r e d e c e s s o r 指针和路由表： ( 2 ) 更新现存节点的p r e d e c e s s o r 指针和路由表来反映节点n 的加入； ( 3 ) 通知上层应用 s 第2 章对等网络及流媒体技术研究 c a n 3 6 ( c o n t e n ta d d r e s sn e t w o r k ) - c a n 采用的标识是从一个多( 假设为 d ) 维环状空间中选择的。与前面几种算法不同，c a n 中每个节点维护大小为d 的路由表，同时，每一次路由都在d w ) 步内完成，特别的当庐d ( 1 0 9 ”) 时， c a n 的路由表和路由长度将与其它系统相似 c a n 采用了一个多( 假设d ) 维的直角坐标系结构。这个坐标空间被超矩形 划分，称为区域( z o n e ) 每个在系统的节点负责一个立方区域( z o n e ) ，每个节点 由它的区域( z o n e ) 边界来标识。一个关键字映射到直角坐标系上的一点，相应坐 标系点对应一个区域，并将关键字存储在负责这个区域的节点内。每一个节点都 与其对应的标识周围的一个立方区域相关联，同时，它的邻居就是拥有和它相邻 的立方区域的节点路由时，消息一直是从一个节点传输到它的拥有与目标标识 最接近的n o d e i d 的邻居 查询操作通过在d 维直角坐标系空阆中转发查询消息被执行，转发是从查询 初始化点沿着坐标系上最接近直线的路径到达存储关键字的节点。当收到一个查 询请求，一个节点转发请求到与存储关键字节点在坐标系中最接近的节点上每 个节点维护o p ) 个状态，查询代价是d ( 讲归1 为了加入c a n 两络，一个新节点首先在坐标空问中选择一个随机点p 新 加入节点可以很容易的初始化其路由表，因为和它相邻的所有节点除了n 节点之 外，都在n 节点的邻居表中这也允许邻居用新节点更新路由表。 当一个节点离开时，这个节点上交它的区域给它的邻居。如果两个区域能合 并成一个大的区域，则产生一个新的有效区域如果两个区域不能合并，那么邻 居节点就会暂时处理两个区域。当一个节点夫效时，c a n 会执行一个协议允许 拥有最小区域的邻居来接管这个区域 l o w - - d i a m e t e r 5 1 ：以上所介绍的方法都是基于d h t 的第二代p 2 p 网络， l o w - - d i a m e t e r 在他们的基础上，构造了一个p 2 p 的随机图，该随机图满足以下 两点条件：一是直径只有d 【l o g ”) 大；二是节点加入和退出时，节点的度在该模 型下是有限的。这两个特性保证了节点的搜索查询路径为最短路径，并且能够有 效减少控制消息的开镑。该模型中，每个节点都保持着随机的连通性，。可以避免 一些随机的攻击该模型中的通信协议需要每个节点都设置一定容量的存储空 间，为了使每个节点能够连接上服务器，服务器也需要设置一个存储器 9 第2 章对等网络及流媒体技术研究 b u t t e r f l y s ：假定网络中存在1 1 个节点，在访问n 个节点的数据时，b u t t e r f l y 是一个能够提供可靠的审查机制的p 2 p 体统。它具有以下的特性： ( 1 ) 在网络中搜索一个数据条目时所耗费的时间是0 0 0 9 ”l ，至多需要发送 o e l 0 9 2n j ； ( 2 ) 每一个节点仅仅需要o t l o g ”l 大小的存储容量； ( 3 ) 在出现恶意的大规模节点退出网络之后，系统中的节点仍然能找到除了 恶意节点上的数据之外的其他数据。 2 2p 2 p 流媒体技术分析 目前应用的流媒体系统大体都可以分成四部分：媒体编码器、媒体文件存储 器、媒体服务器和媒体播放器。各部分功能如下； ( 1 ) 媒体编码器：将原始的媒体文件或摄像头采集进来的实时媒体数据制作 成适合网络传输的文件格式( 流格式) ，然后将流文件存储在媒体文件存储器中， 或直接送到流媒体服务器； ( 2 ) 媒体文件存储器：存储流格式的媒体文件，一般采用s c s i 硬盘或磁盘 阵列 一 ( 3 ) 媒体服务器：响应调度服务器从w e b 服务器转过来的用户请求，通过 网络传输协议将流格式的文件传到用户桌面； ( 4 ) 媒体播放器：接收网络媒体数据，并在本地播放。 提供流媒体的服务器称为流媒体服务器，又称连续媒体( c o n t i n u o u sm e d i a c m ) 服务器，广泛应用在流媒体新闻点播、远程教育、电子商务以及商业培训 等方面。实际应用中的流媒体服务器，多采用w e b 服务器+ 媒体服务器的形式。 图2 3 是一个简单的单服务器示意图，用户通过客户端的w e bb r o w s e r 访f c w e b s e r v e r 上的连接，发出控制信息，再由w e b s e r v e r 将此控制信息发给媒体服务器 在流式传输中，一般采用h 丌p 仃p 来传输控制信息，而用r t p u d p 来传输实 时数据w e b 服务器和w e b 浏览器通过m i m e 标记媒体类型，浏览器通过m i m e 识别出流媒体类型后，再调用p l 醇i n 或助手应用程序( h e l p e r ) 进行处理。 l o 第2 章对等网络及流媒体技术研究 2 2 1 编码，解码器 图2 3w e b 上的流式传输示意图 流媒体系统中的编码用于创建、捕捉和编辑多媒体数据，形成流媒体格式。 影响音视频流的编码性能的因素很多：首先是编码效率。要求在保证音，视频质 量的前提下，媒体流的码流速率尽量低。以达到压缩流媒体文件的目的；其次是 编码的冗余性和可靠性与普通多媒体文件压缩编码不同的是，流媒体文件需 要在网络上实时传输，因此必须考虑传输中数据丢失对解码质量的影响在 i n t e r a c t 环境下，最典型的方法是多描述编码( m d c ) m d c 把原始的视频序歹l j 压缩成多位流，每个流对应一种描述，提供可接受的视觉质量，多个描述结合起 来提供更好的质量；最后需要考虑速率调节的能力种方法是采用可扩展的层 次编码，生成多个子位流( s u b s t r e a m ) 其中一个位流是基本位流，它可以独立 解码，输出粗糙质量的视频序列，其他的子位流则起质量增强的作用，所有的予 位流一起还原出最好质量的视频序列。当网络速率变化时，可以通过调节流输出 的层次来控制码流的速率，从而适应网络速率的变化。流媒体的编码，解码最近 几年来得到蓬勃发展，其中以i s o ，i e c 颁布的p e g 系列标准和i t u 颁布的h 系列标准为代表，它们越来越多地考虑了以。流”为特征的网络应用需求 加p e g 系列标准包括枷p e g 1 7 旧e g - 2 m p e 6 - 4 m p e g - 7 ，它们对网络传输 的重视逐渐得到加强。m p e g - i 用于码率约为1 s m b p s 的数字视频及其伴音的编 码；m p e g - 2 在此基础之上为了满足日益增长的多媒体分辨率和传输率等方面的 技术要求，首次定义了传输流( t r a n s p o r ts t r e a m ) ，并支持多路m p e g - 2 码流在网 络中的传输复用；m p e g - 4 标准旨在为流媒体的传输、存储及其应用环境提供一 1 1 第2 章对等网络及流媒体技术研究 个基于“对象”的编码方案，并在时域和空域具有灵活的扩展性以利于动态码 率的调整：m p e g - 7 棱称作是多媒体内容描述接口( m u l t i m e d i ac o n t e n t d e s c r i p t i o ni n t e r f a c e ) ，它将不同类型的多媒体信息进行标准化的描述，并将这种 描述与媒体的内容联系起来，以实现基于内容的有效检索。 h 系列标准主要用于视频电话和电视会议：h 2 6 1 ，又称为p 6 4 ，其中p 为 6 4 k b s 的取值范围，是l 到3 0 的可变参数，用于视听服务；h 2 6 3 适于低码率 的视频编码。最新的技术进展是r r u 提出的h 2 6 l 它在实验室内的性能可以达 到m p e g - 2 的两倍。另外，h 3 2 3 、h 3 2 4 等系统标准则直接地面向网络应用 2 2 2 流媒体服务器 流媒体服务器功能主要有： ( 1 ) 响应客户的请求，把媒体数据传送给客户流媒体服务器在流媒体传送 期问必须与客户的播放器保持双向通信( 这转通信是必需的，因为客户可能随时 暂停或快放一个文件) r ( 2 ) 响应广播的同时能够及时处理新接收的实时广播数据，并将其编码 ( 3 ) 提供其他额外功能。如数字权限管理( 】p r m ) ，插播广告、分割或镜像其 它服务器的流。 流媒体系统中的媒体服务器用于存放和控制流媒体的数据随着流媒体规模 的扩大，流媒体服务器的性能成为制约流媒体服务扩展能力的重要因素。流媒体 服务器性能的关键指标是流输出能力和能同时支持的并发请求数量。影响流媒体 服务器性能的因素很多，包括c p u 能力、i o 总线，存储带宽等。通常单个流媒 体服务器的并发数都在几百以内，因此为了具有更好的性能，目前的高性能流媒 体服务器都采用大规模并行处理的结构，例如采用超立方体的结构将各个流媒体 服务单元连接起来还有一种方法是采用简单的p c 集群的方式。这种方式下多 个p c 流媒体服务器用局域网连接，前端采用内容交换，负载均衡器将流媒体服务 的请求分布到各个p c 媒体服务单元。后一种方式的性能不如前一种方式，但是 成本低，容易实现， 1 2 第2 章对等网络及流媒体技术研究 2 2 3 流媒体播放器 流媒体播放器是接收来自服务器的r t p 封装的流媒体数据，完成数据的缓 冲和以正确的时间顺序完成数据的回放。现在流行的流媒体播放器有r e a l n e t w o r k s 公司的r e a l p l a y e r ，微软公司的m e d i a p l a y e r 和a p p l e 公司的q u i c k l i m e 。 q u i c k l i m e 文持两种类型的流：实时流和快速启动流。使用实时流的q u i c kt a n e 影片必须从支持q u i c l d