（通信与信息系统专业论文）p2p流媒体的节点选择策略研究.pdf

摘要 摘要 随着计算机和信息技术的发展，用户对多媒体内容的需求也日益增大。在传统 的c s 模式中，随着用户规模的扩大，这种模式难以提供服务质量保证，无法满足 广大用户的需求。p 2 p ( p e e rt op e e r ) 技术的出现解决了这一难题，p 2 p 流媒体的应用， 能够充分利用网络中节点的空闲资源，每个节点既是客户端又是服务端，既能为其 他节点提供数据又能接受数据。但是p 2 p 系统的异构性和动态性的特点，也给p 2 p 流媒体系统带来了问题与挑战，p 2 p 网络中节点的随时加入和退出行为会导致服务的 中断和不稳定。如何才能保证其稳定的服务质量，是p 2 p 流媒体面临的主要问题。 基于上述问题，本文对节点的稳定性进行分析，在原先的数据统计中得出节点 在视频播放的开始的部分节点离线概率比较大。本文根据这一特点设计两个特征参 数：在线时长和播放流畅度，并设定相应阈值给出具体的算法预测节点的离线行为 和播放流畅度，从而选择离线概率小的节点和播放流畅性较好的节点。基于这种选 择策略本文详细介绍了系统设计和算法流程。优先选择历史离线概率较小的节点为 节点提供服务，这样大大提高了节点的稳定性，保证了流媒体的服务质量。 为了评价本文提出的节点选择策略的方法，我们在p 2 p 流媒体原型系统中仿真 离线预测算法，并同基于随机选择的算法作对比，最后对两个性能参数播放延时和 播放流畅度进行比较分析，说明该节点选择策略有一定的优越性。 关键词p 2 p ；流媒体；节点选择；稳定性；离线行为预测 a b s t r a c t ；_ _ | i j = 目_ _ _ 目_ _ i - _ # _ 自l - l ；目i 自= ；自目_ _ - 目| l 自目目e 。 _ - _ 日- _ e _ a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e ra n di n f o r m a t i o nt e c h n o l o g y ，t h eu s e r sd e m a n d f o rm u l t i m e d i ac o n t e n ti s i n c r e a s i n g i nt h et r a d i t i o n a lc sm o d e l ，t h i sm o d e lc a nn o t p r o v i d es e r v i c eq u a l i t ya s s u r a n c ea n dm e e tt h en e e d so fc u s t o m e r s w i t ht h ee x p a n s i o no f t h eu s e r ，p 2 p ( p e e rt op e e r ) t e c h n o l o g ya p p e a r st os o l v et h i sp r o b l e m ，t h e a p p l i c a t i o n so f p 2 ps t r e a m i n gm e d i at h a tc a nt a k ef u l l a d v a n t a g eo ft h ei d l er e s o u r c e si nt h en e t w o r k n o d e s ，e a c hn o d ei sb o t hc l i e n ta n ds e r v e r , w h i c hc a np r o v i d ed a t at oo t h e rn o d e sa n d a c c e p td a t a h o w e v e r ，t h eh e t e r o g e n e i t ya n dd y n a m i cf e a t u r e so fp 2 ps t r e a m i n gs y s t e m a l s ob r i n g sp r o b l e m sa n dc h a l l e n g e s ，i nt h ep 2 p n e t w o r k , t h ej o i n i n ga n dl e a v i n gn o d e sa t a n yt i m em a yr e s u l ti ni n t e r r u p t i o na n di n s t a b i l i t yo fs e r v i c e h o wt og u a r a n t e et h es t a b l e q u a l i t yo fs e r v i c ei st h em a i np r o b l e mi np 2 ps t r e a m i n gm e d i as y s t e r m b a s e do nt h ea b o v e m e n t i o n e dp r o b l e m s ，t h i sp a p e ra n a l y z e st h es t a b i l i t yo fn o d e ， a n db a s e do nt h eo r i g i n a ld a t as t a t i s t i c s ，w ec a ns e et h a to f f l i n ep r o b a b i l i t yo ft h en o d ei n t h eb e g i n n i n go fv i d e oi s l a r g e ra c c o r d i n gt ot h i sc h a r a c t e r i s t i c ，w ed e s i g nt w o c h a r a c t e r i s t i cp a r a m e t e r s ：o n l i n ed u r a t i o na n db r o a d c a s tf l u e n c y w es e tu pc o r r e s p o n d i n g t h r e s h o l dv a l u ea n ds p e c i f i ca l g o r i t h mt o p r e d i c to f f l i n eb e h a v i o ro ft h en o d ea n d b r o a d c a s tf l u e n c y ，a n dw ec h o o s en o d e st h a to f f - l i n ep r o b a b i l i t yi ss m a l l e ra n db r o a d c a s t f l u e n c yi sb e t t e r b a s e do nt h i sk i n do fc h o i c es t r a t e g y ，i nt h i sp a p e ri ti n t r o d u c e si nd e t a i l t h es y s t e md e s i g na n da l g o r i t h mp r o c e d u r e s i tw i l ls e l e c tn o d et h a to f f l i n ep r o b a b i l i t y i s s m a l l e rt or e q u e s tn o d ef o rs e r v i c e t h a tc a n g r e a t l yi m p r o v et h es t a b i l i t yo fn o d e sa n d g u a r a n t e e dt h eq u a l i t yo fs t r e a m i n gm e d i as e r v i c e i no r d e rt oe v a l u a t et h ep r o p o s e dn o d es e l e c t i o n s t r a t e g y ，w eb u i l dt h es y s t e mi np 2 p s t r e a m i n gm e d i ap r o t o t y p es y s t e ma n di tc o m p a r e st h er a n d o ms e l e c t i o nw i t ho 铂i n e p r e d i c t i o ns e l e c t i o n a tl a s t ，w ea n a l y z ea n dc o m p a r et w op e r f o r m a n c ep a r a m e t e r s ( t h e p l a yd e l i v e r ya n dt h ep l a y i n gf l u e n c y ) ，t h a te x p l a i n st h i sn o d es e l e c t i o ns t r a t e g i e sh a sa c e r t a i ns u p e r i o r i t y k e yw o r d s ：p e e rt op e e r ；s t r e a m i n gm e d i a ；n o d es e l e c t i o n ；s t a b i l i t y ；p r e d i c t i o no fo f f l i n e b e h a v i o r l i 第1 章绪论 第1 章绪论 1 1 背景介绍 随着计算机技术、网络技术和信息技术的突飞猛进，互联网的使用已经全球化， 网络信息技术的发展正广泛而深入的影响着我们的生活和工作。随着网络功能的不 断开发，网络形式日益多样，网络带给人们的娱乐形式和信息形式也在更新升级， 人们已经不满足于传统的网页浏览、文件传输、聊天等呆板的表现形式。随着带宽 的提升，在线电影、网络电视等各种视频形式逐渐获得发展，多媒体技术逐渐兴起。 多媒体技术中的流媒体技术的发展尤为迅速，但是流媒体对带宽的要求更高了。观 众享受流媒体服务时，节点可以先下载一部分数据作为缓冲，就可边看边下载视频 了。在网络视频方面，流媒体技术发挥自身的优势，获得了广泛应用。现在的影视 直播、赛事直播、新闻发布会直播、视频点播、远程教育、视频会议等，都是基于 流媒体技术的发展而涌现出来的，这些新颖直观而且生动的流媒体形式已经成为网 络时代的重要组成和时代标记。 在传统的网络模式中，客户端朋艮务器( c s ) 模式占据统治地位，传统的多媒体系 统主要采用这种模式。在这种模式中，大部分节点都由服务器统一管理统一分配数 。据，服务器在网络中占据重要地位。由于流媒体服务具有高带宽、长持续时间等特 点，在这种模式下，一方面随着客户数目的快速增加，服务器的资源如带宽很快就 被消耗完，成为系统瓶颈：另一方面众多长距离的网络连接也可能导致网络的拥塞。 和其它传统的网络服务相比，基于c s 模式的流媒体系统无法提供较好的 q o s ( q u a l i t yo f s e r v i c e ，服务质量) ，无法满足大范围实时流媒体应用的性能要求，尤 其表现在可扩展性、适应性、容错和鲁棒性等方面。如何构建流媒体系统，使其服 务能力具有较强的可扩展性以应对日益增长的用户需求。 在这种情况下，p 2 p 技术应运而生，p 2 p 的英文含义是p e e r - t o p e e r ，即对等网 络【1 1 。在这种网络中，所有节点的地位都是对等的，每个节点既能像服务器一样上传 资源，又可以作为客户端接收资源。由此而生的p 2 p 网络文件共享系统广泛使用， 为人们解决流媒体系统的网络瓶颈带来了新的希望。在p 2 p 流媒体技术中，接收节 点既可以把自己存储空间的内容传给其他节点，又能从其他节点下载数据。从而实 现边看边下载的观看方式，提高了整个网络服务能力。在p 2 p 流媒体网络中随着用 户数量越大服务能力越强，有效地解决了传统网络模式的瓶颈，不仅可以满足r 益 增长的客户需求，还能提供良好的服务质量。因此p 2 p 流媒体技术是一种有发展前 景的应用技术。 河北科技大学硕士学位论文 现实中应用的p 2 p 流媒体系统，都已经实现了减轻服务器负载，同时开发利用 每个节点的网络资源，而且不需增加其他的网络设备并且支持用户的互动等，很大 程度上提高了流媒体服务的整体性能。但由于p 2 p 网络本身具有节点动态性大，不 稳定，不可预见等缺点，给p 2 p 流媒体系统带来很大挑战，对网络性能方面的要求 也提高了，如在带宽，传输延时网络拥塞控制方面。这些因素会导致在客户使用流 媒体系统时，观看节目缓冲时间较长，播放中断、停止这些都影响广大用户的使用 热情【2 】o 在一个p 2 p 覆盖网络中，网络中的节点来自各个不同的自治域，节点可以在任 意时间自由地加入或离开覆盖网络，导致覆盖网络具有很大的动态性和不可控性。 因此，如何在节点加入网络初期，确定一个相对稳定的可提供一定服务质量保证的 服务节点集合，也就是节点选择问题，是p 2 p 流媒体系统需要迫切解决的一个问题， 也是保证q o s 的关键技术之一【3 1 。 1 2 p 2 p 流媒体国内外相关研究现状 p 2 p 流媒体技术是上世纪9 0 年代首次被提出，在以后的应用过程中p 2 p 流媒体 系统巨大的优势在现实应用过程中表现出广阔的市场前景。当前网络最流行的是应 用p 2 p 技术的视频直播和点播系统。1 9 9 8 年，美国学者在i e e em u l t i m e d i a 杂志上 发表了一篇关于将p 2 p 技术来引入，是关于流媒体视频播放论文w e b c a s t 系统的应 用。w e b c a s t 的想法很简单只是利用一棵二叉组播树在用户之间进行实时多媒体数据 传输，它的优点是提高了网络的可扩展性和可靠性。至此，p 2 p 流媒体技术的研究进 入了萌芽阶段。 随着宽带网络接入技术的普及，个人电脑的计算能力和存贮能力不断增强，众 多研究人员都对基于p 2 p 的流媒体技术进行了研究并开发了许多p 2 p 流媒体直播系 统，如美国斯坦福大学在早期提出了s p r e a d i t 体系【4 】，通过建立单棵树形系统，把客 户端组织在一起，开发出边缘客户的闲置资源。美国一所马塞诸塞大学在早期研究 出并实现成功应用的d i r e c t s t r e a m l 5 】在这个系统中，以组播树的形式将所有节点组 织起来，通过设置一个索引服务器来存储所有客户端的信息和视频信息，当某个节 点新加入系统时，向索引服务器发送请求，由索引服务器反馈信息后，加入所需的 组播树；如果原有系统中的节点没有其所需信息，则由发布节点直接传输视频信息。 微软研究院在开发了c o o p n e t l 6 】系统，而后又以其为原型进行改造，将其升级为 s p l i t s t r e a m 【7 】系统，这个系统通过建立m e s h 网络，将所有的客户端组织在一起，分 为源节点、父节点、子节点。当发布视频信息时，视频信息被处理成流式数据，以 数据流的形式在覆盖网中传播，该系统实现尽可能的使网络负载均衡。 在进行p 2 p 流媒体直播过程中，节点间的交互较少，操作和使用起来比较简单 2 第1 章绪论 因此在直播过程中发展非常快。但是在点播过程中情况就不同了，一是它对节点间 交互的实施性要求非常高实现起来比较困难；二是节目的版权问题限制了p 2 p 点播 技术的发展。 2 0 0 0 年，美国普度大学研发的g n u s t r e a m i s j 系统是实现的第一个p 2 p 点播系统但 不能提供v c r 操作，可以认为是p 2 p 点播系统的第一个里程碑。这个系统通过 g n u t e l l a 网络将所有主机组织在一起，当一个节点向索引服务器发送请求后，索引服 务器经过检索各个节点上的视频信息反馈多个节点给请求节点，使请求节点可以同 时从多个服务节点处获取流媒体数据，增大了数据传输的稳定性。在网络拥塞方面， 利用一定的缓冲方法来减少拥塞，提高了请求信息的响应速度。 成功实现用户在观看过程中随意的快进或者后退，是p 2 p 流媒体点过中的一个 重大进步。在g n u s t r e a m 流媒体系统中，将多个节点的带宽聚集在一起为单个节点 提供服务。在处理网络拥塞方面使用了缓存的管理。在资源搜索机制上使用了泛洪 的机制来进行资源定位，这样会导致伸缩性比较差1 9 j 。 流媒体软件p e e r c a s t 加】由美国斯坦福大学研发设计，它采用树形拓扑，所有节 点以树的形式组织在一起，在媒体层，上一代节点为下一代传输流媒体数据，传输 效率高，容易管理；但是它的缺点是，一旦某个父节点突然离开，就会导致该树杈 上的用户重新定位，从而导致播放中断、延时等后果。然而对等网络的稳定性又普、 遍不理想，所以树形结构重在平衡树的宽度和深度，从而解决带宽瓶颈和节点的不 稳定性带来的问题。 z i g z a g t l l 】是一种基于对等网络的单源传输视频流媒体数据的技术，它构建了一 棵以服务器为根的应用层多播树。在这个流媒体系统中，构建了一个应用层组播树， 树的顶端为源节点，是一种从单一数据源传输给所有节点的技术。为了减少时延， 该系统选择合适的节点个数，建立适宜的深度，保持尽可能的均衡。其劣势在于最 下一级的用户资源没有得到开发，因为不是所有的用户都参与上传；其优势是容错 性好。z i g z a g 最大的贡献是在无法预知整棵树的变化情况下，通过一定的预先控制， 很好地维护了树。 美国普度大学提出的p r o m i s e l l 】是在单播树的结构上进行改进的，它从根本上 优化了在p 2 p 动态网络中如何选择优秀的服务节点的问题，并且还同时考虑了每个 节点能力上的差异，在这个基础上还对数据传输过程中的速率分配和数据的调度进 行了改进。 p 2 v o d 1 3 】节点采用变长队列缓存视频流数据，p 2 v o d 引入“代”( g e n e r a t i o n ) 的 概念，把存储空间中拥有相同数据块编号的节点组成为代，上代和下代之间在时 间上有联系，上代可以为下代提供服务，下代只能从上代获取数据块。但是这样缓 存方式是每个节点只能存储较少的数据块，不能使缓存能力强的节点发挥它的优势。 3 河北科技大学硕士学位论文 p e e r v o d 1 4 1 是在p 2 v o d 的基础上进行改进，和它不同的是采用了固定长度的缓存方 式来选择节点，但是这种方式不能适应p 2 p 网路中节点的异构特性。 来自于华中科技大学校园的p p l i v e 【1 5 】是在国内网上点播方面非常优秀并已经实 现成功的商业运作的软件。它是是基于g n u t e u a 协议开发的，采用洪泛方式进行资 源定位，可以实现点播功能，而且缓冲时间比较短，应对节点随机退出方面表现卓 越。但是由于采用f l o o d 方式，虽然用高流量换取优秀的性能，但是性价比比较差， 也降低了网络资源利用率。 1 2 1节点选择策略的研究现状 虽然在目前p 2 p 流媒体有很多优势，但是在实际应用中，p 2 p 流媒体系统仍面 临着很多问题，主要表现为播放质量不够优秀不够稳定。原因在于p 2 p 网络具有几 个本质的特点：网络中节点的异构性、用户随机加入和退出导致的动态性和用户行 为的不可控性。这些特点带来了播放过程中的很多问题，对系统的服务质量产生了 很多负面影响。例如，在服务节点正在给请求节点传输流媒体数据时，服务节点突 然更换频道了，就会导致用户重新定位数据块，重新选择服务节点，就会造成延迟 和甚至使观看中断，如果在数据传输过程中丢包率比较大，也会影响收看效果。所 以，一个良好的流媒体系统，应该做到挑选出有能力提供优秀的服务节点，那么优 秀的节点应该又有什么特性呢? 首先，拥有足够大的带宽，这是关键因素。其次， 请求节点和提供节点之间的延迟要小，延时大了用户的等待时间就长了。再次，稳 定可靠的节点，在整个播放过程中都不离开。一个好的服务节点应该长期在线或者 退出的概率比较小，能够看完完整的视频；具有足够的端到端的上行带宽，并能充 分利用带宽资源；与用户之间的传输延迟较小；传输过程中避免拥塞；丢包率也要 比较小【1 6 1 。 基于p 2 p 流媒体研究的早期工作是基于树状结构的，以源节点作为树根部分。 根据带宽选择父节点。基于树结构的节点选择一般都是根据带宽优先来选择父节点， 但是这样的组建算法实质上限制了节点的出度。当树中的节点没有达到带宽的要求 或者节点突然退出，就会造成视频流的中断，需要付出沉重代价来修补。 后来，在单播的基础上演变出了多播系统。p 2 p 多播系统克服了单播的一些缺点， 如节点随机退出时维护的成本降低了，新用户加入系统时可以加入多个树而获取多 个服务节点和服务路径，抗干扰性增强；对带宽异构也具有较强的应对能力；从而 使系统更加灵活和健壮。但是也有一些缺陷，带宽分配与用户不对称时，就会限制 传输带宽，影响传输性能；需要综合考虑多个因素多方面评选出服务节点或者接收 节点，而不能只考虑带宽因素：在多播系统中，多个树上的不同节点为同一个请求 用户发送数据块时，可能会狭路相逢，导致竞争同一个带宽。 4 第1 章绪论 为了提高流媒体系统的整体性能，很多的这方面的研究都是采用了相邻邻居选 取的方法，也就是说每个用户选择物理上临近的节点作为邻居节点，这样考虑是为 了解决覆盖网络结构和实际的网络结构不匹配的问题。这种不匹配导致一个搜索请 求会多次传播到同一个物理链路上，使网络的流量增加1 1 7 1 。c o o l s t r e a m i n g 中采用的 是每个节点都需要维护邻居节点的状态，和邻居节点周期性的交换各自的信息。邻 居获得的数据的多少依据邻居节点的上传服务能力。 随着研究者对p 2 p 流媒体的不断研究，科研人员开发出很多p 2 p 流媒体原型系统， 经过不断的优化改进，各系统间取长补短，形成了常用的一些比较典型的节点选择 方法：1 ) 基于随机的邻居节点选择算法；2 ) 基于最小延迟的节点选择算法；3 ) 基于最 大带宽的节点选择算法等；4 ) 在多播树系统中，基于最小深度的节点选择算法，这样 做的目的是为了使树的层次最小；5 ) 基于节点历史表现预测未来的节点行为节点的选 择算法；6 ) 基于路由跳数最小的节点选择算法。由于人们发现的评选指标越来越多， 有些算法兼具了多种评选指标，从而尽可能的使选出来的节点的综合性能最优。如 d i r e c ts t r e a m 策略是根据两个参数的比值，带宽和节点间延迟的比值，选择比值最大 的节点作为候选节点，如p 2 c a s t 系统中的最佳适应( b e s tf i t ，b f ) 节点选择算法1 1 6 1 。 1 3 论文研究的内容 本文在比较目前存在的p 2 p 流媒体节点选择策略基础上，查阅大量国内外文文 献，分析了p 2 p 流媒体系统中的资源选择搜索技术，数据调度，缓存策略关键技术 进行了深入的分析和研究，针对现存的节点选择策略在节点稳定性上考虑不足提出 了新的节点选择方法。主要做了如下几方面的工作： 1 )通过查阅国内外p 2 p 流媒体技术相关的资料，深入研究了p 2 p 流媒体网络 系统理论，包括p 2 p 网络基本技术和流媒体技术，p 2 p 网络几种关键技术研究，流 媒体服务质量研究。主要对其中的关键技术节点选择策略分析，找出其中的不足之 处，进行技术改进。 2 )通过对几种节点选择策略分析，本文主要从充分考虑节点稳定性入手。结 合节点历史行为分析，将节点的在线时间和播放流畅性来预测节点的退出行为，从 而来判断节点的稳定性。在原有算法的基础上在按照节点的在线时长阈值和播放流 畅度阈值的大小来选择服务节点，并以此作为节点选择的依据，既能保证服务质量， 又能保证流媒体播放的稳定流畅。 3 )根据提出的基于节点离线预测行为的节点选择策略，给出相应的具体算法， 并设计了系统的过程中的各个流程和管理模块。并仿真验证该方法的优越性。 1 4 本文的内容和组织结构 第一章主要介绍论文的研究背景和意义，介绍p 2 p 流媒体的研究现状和节点选 5 河北科技大学硕士学位论文 择的研究现状，分析存在的问题并指出本论文研究的重点及方向。 第二章主要回顾了p 2 p 流媒体系统中用到的相关技术，包括p 2 p 技术的特点， 流媒体技术的概念及技术特点，指出p 2 p 流媒体系统性能研究的重要性。 第三章介绍p 2 p 流媒体系统中的几种关键技术：节点搜索技术，节点组织策略， 节点选择策略，缓存技术。 第四章提出了p 2 p 流媒体系统的存在的问题，分析了节点离线行为特性。提出 了基于节点离线预测的节点选择策略，并对算法进行了详细描述。 第五章介绍了几种p 2 p 仿真工具，并针对提出的算法，在p 2 p 原型系统上进行 改进具体实现系统的设计和仿真实验并对结果进行比较分析。 结论对本文所作的工作和研究成果进行总结，指出文中还存在的问题，并以后 的工作进行展望。 6 第2 章p 2 p 流媒体系统相关技术概述 第2 章p 2 p 流媒体系统相关技术概述 将p 2 p 技术应用到流媒体技术当中，不但在硬件设备和基础设施上不用增加，而 且性价比会更高。因此，两者技术的结合可以随着用户规模的扩大，共享更多的媒 体资源1 1 7 j 。 2 1p 2 p 技术及原理 2 1 1p 2 p 技术概述 p 2 p ( p e e rt op e e r ) 即对等计算或对等网络。目前并没有一个统一的定义。下面是 几个常用的定义： 1 ) p 2 p 是一种i n t e m e t 网络，它使运行同一程序的多个计算机用户相互连接从 而可直接访问对方硬盘中的文件。 萄点对点对等网络( p 2 p ) 是一种应用程序。它运行在个人电脑，并使用户和因 特网上的其他同类用户共享文件。p 2 p 网络通过将个人电脑直接连接在一起的方式来 共享文件，而不必通过一个中央服务器。 3 ) p 2 p 是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源。 这些共享资源需要由网络提供服务和内容，能被其它对等节点( p e e r ) 直接访问而无需 经过中间实体。在此网络中的参与者既是资源( 服务和内容) 提供者( s e r v e r ) ，又是资源 ( 服务和内容) 获取者( c l i e n t ) 。 如图2 - 1 和2 2 所示可以明显对比出c s 模式完全依赖于服务器，会造成服务器 的瓶颈问题，而p 2 p 网络则将每个节点的能力发挥出来。因此p 2 p 技术理解为节点 之间通过消息的控制来分享服务和资源文件，在网络中每个节点用户都处于平等地 位，不再以集中的网络服务器为中心，每个节点既是请求方又是服务方，通过消息 的控制来交换和分享资源。p 2 p 技术的特点体现在以下几个方面： ( 1 ) 非中心化这是它的基本特点，打破了“用户”和“服务器 的绝对界线， 每个节点中都存储有网络中的资源，消息的控制和传输都是在节点之间传输。 ( 2 )可扩展性很强在实际应用中，网络的规模在不断扩大，用户也在增加， 那么服务的请求也逐渐增大，需要的资源和高效的服务能力也在扩展。这种可扩展 性几乎是无限的，能容易地满足用户的需要。 ( 3 ) 健壮性在p 2 p 网络中节点之间的依赖性要远小于传统模式客户对服务器 的依赖性。在部分节点失效时能够自动调整网络拓扑，不会对整体网络的性能产生 重大影响。使得p 2 p 结构具有耐攻击、高容错的优点。 ( 4 ) 高性价比性能这个特点是p 2 p 技术广泛应用的一个重要因素，在计算机 7 河北科技大学硕士学位论文 网络快速发展的这个时期，带宽在不断提升，这种网络结构可以有效的利用网络中 的普通节点，将网络请求任务和资源文件分布在各个节点上，充分利用空闲的网络 资源和空间，达到高效利用的目的1 1 8 , 1 9 。 客户客户 图2 - 1c s 模型 f i g 2 1 c l i e n t s c i v e tm o d e l 节点节点 图2 - 2p 2 p 网络i ：作模式 f i g 2 2 p e e rt op e e rm o d e l ( 5 ) 均衡负载由于在p 2 p 网络中资源不再集中在服务器上，而是均匀地分布 在整个网络中的每个节点上，各个节点的资源都能够得到充分的利用。因此而引发 的网络负载也均衡地分布在网络的各个节点上，不再出现网络负载集中在服务器上 的情况。 8 莎轳 ，呸 第2 章p 2 p 流媒体系统相关技术概述 2 1 2p 2 p 网络体系结构 p 2 p 网络体系结构一般有两种分类，一种是按照服务器的集成度，另一种是按照 p 2 p 网络的拓扑结构。本文主要介绍按照第一种分类方法，即看网络中是否有中央服 务器，于是p 2 p 网络划分为集中式p 2 p 网络、完全分布式p 2 p 网络和混合式p 2 p 网 络三种结构。 ( 1 ) 集中式p 2 p 网络这种网络结构有一个目录服务器，拓扑结构采用了星型 拓扑，如图2 3 所示。网络中的每个节点都与目录服务器相连，并向其发布共享的资 源列表。索引服务器负责管理和维护网络中所有节点的索引信息。网络中所有节点 的索引都存储在目录服务器中，节点自身的资源信息存储在缓存空间中。集中式p 2 p 网络的典型代表是n a p s t e r l 2 0 。 、 ( p e e r 3 j “ 王 图2 - 3 集中式p 2 p 网络 f i g 2 - 3 c e n t r a l i z e dp 2 pn e t w o r k i 一 ( 2 ) 完全分布式p 2 p 网络如图2 4 所示，该网络不同于集中式的结构，它没 有目录服务器，网络中的每个节点在功能和地位上都是对等的。每个节点通过与周 围的邻居节点交换信息来获取服务，不需要服务器的调节。完全分布式p 2 p 网络的 典型代表是g n u t e l l a l 7 1 2 2 j 。这种网络结构又可以分为：结构化完全分布式网络结构， 非结构化完全分布式网络。这两种结构的区别就是网络中的节点是否按照一定的组 织原则来进行管理的。 ( 3 ) 混合式p 2 p 网络如图2 5 所示，k a z a a 7 3 j 系统兼具以上两种网络的优势， 虽然没有处于中心的索引服务器，但是将节点分为了两大类超级节点和普通节点， 每一个超级节点管理几个普通节点，超级节点的结构拓扑是完全分布式的。它的状 态是动态更新的，当它不满足条件时，重新选择能力强，性能优秀的节点。这种结 9 河北科技大学硕士学位论文 构的特点不但提高了管理效率和搜索效率，又保障网络的安全性。 图2 _ 4 完全分布式p 2 p 网络 f i g 2 4c o m p l e t ed i s t r i b u t e dp 2 p n e t w o r k 图2 5 混合式p 2 p 网络 f i g 2 - 5h y b r i dp 2 pn e t w o r k 2 2 流媒体技术 流媒体能在网络上顺利并且快速的传输流媒体文件，是一种新兴的网络传输技 术，将多媒体的内容流的方式处理后，经过服务器让用户既能观看又能下载，没有 必要将整个文件完全下载。流媒体技术是在客户端创建一个存储空间，用来存放缓 冲数据。如果当前的网速小于流媒体速率时，就可以先从存储空间罩读取数据进行 播放，以免造成流媒体的中断。 1 0 第2 章p 2 p 流媒体系统相关技术概述 从技术含量角度来说，流式传输可分两种，一种是简单的顺序流式传输，一种 是复杂的实时流式传输。其中流式传输的延迟受媒体播放速率、网络状况、缓存大 小等因素的影响。 顺序流式传输仅仅是对流媒体格式文件的顺序下载，在下载文件的同时用户可 以观看，但是不支持拖动，通过功能的限制来减少网络的抖动。由于技术简单，目 前在网络上应用比较广泛。实时流式传输中，增加了对拖动功能的支持。在观看过 程中，用户可快进或后退。对技术的要求相当高，如果只是简单在顺序播放的基础 上增加这一功能，频繁的拖动将使服务器不堪重负，势必要通过更多的技术途径来 解决。 流媒体数据主要有三个特点：关键是因为数据量比较大，典型的m p e g 1 码率 为1 5 m b p s ，1 分钟m p e g 1 码流的数据量高达1 1 2 5 m b ，远远超出了传统媒体的数 据量。这些特点使网络负载远远超出了传统网络的承载能力。网络波动和动态随机 变化j 导致传输延迟和丢包率大等影响服务质量的问题，带给用户的收看体验比较 差。而p 2 p 技术的实现，可以很大程度上改善带宽迅速恶化的情况，提高网络的健 。壮性，抗扰动性，为流媒体的广泛应用带来了希望【1 q 。 2 2 1p 2 p 流媒体系统特点及应用 p 2 p 网络的基本原理是为了充分利用网络中地理位置不同，节点能力不同的节点 的闲置资源，使用了分布式管理的模式为网络中分各个用户提供不同的服务。基于 p 2 p 流媒体系统也是借助这种思想进行流媒体内容分发传播的，其设计目标是充分利 用众多客户机的空闲资源，构建一个成本低，扩展性好并有一定的q o s 保证的流媒 体分发传播系统【2 4 1 。 p 2 p 流媒体网络主要特点有： 1 ) 系统的整体能力( 包括容量和性能) 随加入节点的增加而增加； 2 ) 节点的资源有限，且差别较大； 3 ) 节点加入退出网络具有很强的随机性； 流媒体系统的服务器采用了边下载、边播放的媒体播放方式，非常适合采用p 2 p 的方式在网络上传输，这是因为：第一，流媒体文件一般占用容量比较大，带宽占 用高。第二，用户一般只关心自己正在观看的部分数据。第三，个人计算机的性能 和网络带宽的提升，使得流媒体数据的编码、解码、转发等功能可以在本机上实现。 所有这些都为p 2 p 流媒体提供了便利条件。 在直播领域，最著名的是伯克利大学的丌发了g o s s i p i 2 5 】协议，主要涉及两个方 丽：成员管理方面，在大规模的覆盖网络中用户的成员关系是动态变化的，成员管 理要具有可扩展性，随机性，避免网络分区；消息分发方面，考虑分发的可靠性， 河北科技大学硕士学位论文 可扩展性，避免过多的消息冗余。微软研发的c o o p n e 邪p l i t s t r e 锄【硐协议是基于应用 层多播的协议。g o s s i p 协议的可扩展性好，支持多对多传输，而且比较稳定，得到 了实际应用。香港大学基于g o s s i p 协议研发了c o o l s t r e a m i n g 2 7 l 系统，在控制层采用 g o s s i p 协议来传播控制信息，在媒体层传输流媒体数据。总之，这些协议的形成和 各种实际系统的使用都为p 2 p 流媒体技术的成功应用打下了基础。 2 3p 2 p 流媒体性能研究 2 3 1p 2 p 流媒体性能的重要性 虽然p 2 p 流媒体的出现让社会步入了视频时代，但是并不代表这些流媒体软件 的使用效果完全令人满意。随着网络和计算机的普及，点播和直播的用户数量也在 剧增，用户期望获得更好的体验，但是在播放过程中的一些问题，如启动延迟较长、 播放中断、画面模糊等，总会打击观众的积极性和兴致，导致节点频繁更换频道和 退出网络，从而引发网络扰动，降低网络服务性能，形成恶性循环。所以，如何提 高流媒体服务质量，用哪些指标来衡量质量好坏，如何改善这些指标就成了人们研 究的一个方向。 服务质量( q u a l i t yo fs e r v i c e ，q o s ) 常用于衡量一个流媒体系统服务的优良程 度，它是一个综合指标。目前常用的比较公认的q o s 指标有：可用性、吞吐量、时 延、抖动率和丢包率等。改善这些指标从而提高q o s ，成为了很多协议和算法的研 究方向。但是网络中节点异构性、节点随机加入和退出带来的扰动，用户的交互操 作的随机性等不利因素，使改善这些指标的工作更具有挑战性。 2 3 2p 2 p 流媒体的性能 p 2 p 流媒体系统有广阔的应用前景，因为减轻了服务器负载，并且支持大规模的 用户交互等。但是p 2 p 网络本身有很多缺点，如节点的动态性大，不能提前预测， 安全没有保证等。在这种情况下，p 2 p 技术对网络提出了更高要求，主要在带宽，启 动延迟，拥塞控制等方面。因此需要针对p 2 p 流媒体网络的特征分析其三方面的性 能详细介绍，并分析影响这三个性能的主要原因，从而引出以后需要研究的方向归 纳如下【2 8 j ： ( 1 ) 启动时延启动延时发生在用户收看节目的初期，在用户点击视频文件， 向点播网络发出视频数据请求信息后，资源定位机制开始启动，当找到所需资源在 节点上的分布情况后，将信息反馈给请求节点，请求节点与之建立连接，然后接收 一个或者多个服务节点发过来的媒体数据。当一个用户加入直播系统后，启动数据 调度算法，通过数据分发来获取数据块，当预存一定的长度的媒体数据后，就丌始 播放，当实现首次流畅播放后，这段时间即为启动延时时间。这就是丌始播放时的 1 2 第2 章p 2 p 流媒体系统相关技术概述 缓冲过程。 在这个缓冲过程中，包括了数据查找延迟、数据传输延迟和任务调度延迟。其 中任务调度延迟所用时间比较小，而前两方面的延时比较大。因此，可以通过改进 相应的算法搜索算法，选择距离近的节点，来提高传输速度来减小启动延迟，改善 用户体验效果。显然，当搜索延时和数据传输延时减小时，用户的等待时间就会减 少，用户能看到播放效果更佳的流媒体。 ( 2 ) 播放抖动性流媒体播放对时间的效率要求是很高的，因为他所传输的数 据特点决定的，实时性要求很强。数据的丢失和延时都会影响流媒体的播放质量。 但是由于p 2 p 网络本身的原因和服务保证的不健全，这种传输抖动时不可能没有的。 只能是在尽可能的减轻的抖动的程度。 播放抖动性主要是由于资源节点失效、网络拥塞和编码效率三方面引起的。改 善播放抖动性，可以从三方面着手：优选服务节点或者接收节点降低节点失效概率、 降低网络拥塞的概率和提高编码和解码效率。在采用“推或“拉 的数据分发方 式选择优秀的服务节点，都可以降低用户更换频道或者退出网络的概率；在多个节 点同时给一个请求节点传输媒体数据时，或者由源节点向多个节点分发数据的过程 中，导致网络拥塞和数据延迟，失效或者丢失，会造成客户端播放延迟或者停滞， 影响收看效果。通过在客户端征用一定的缓冲区，提前预存一些数据块，为数据重 传争取时间。 ( 3 ) 节点负载均衡性在流媒体系统中，负载均衡一个重要的问题。这是由于 网络中的用户位置比较分散，传输路径迥异，节点异构性比较突出，各个主机的内 存、处理能力、存储空间等不尽相同，接入带宽也有所差别，所以在源节点选择接 收节点的过程中，在请求节点选择服务节点的过程中，必然要优胜劣汰，以选择更 优的节点为目标，这就造成节点负载不均衡，有的节点性能优越，服务能力强，但 是没有所需资源，或者离请求节点较远，都会造成节点负载过轻。 从数据调度全局来看，服务距离的远近也是争取负载平衡需要考虑的一个因素。 如何准确获取和分析节点的性能，如何有效的进行数据调度，如何充分利用各个节 点的资源，最大化的保证节点负载均衡是非常关键的问题。 2 4 本章小结 本章主要对p 2 p 技术和流媒体技术相结合的应用进行详细介绍和分析，首先简 单介绍了p 2 p 技术的概念和特点，在流媒体技术中应用的优势所在。然后介绍了三 种最具代表性的p 2 p 网络的体系结构，其次介绍了流媒体技术的基本内容和特点， 分析p 2 p 流媒体系统的特点及应用，最后对针对p 2 p 流媒体网络的特征分析其性能 的重要性，并对三方面的性能进行阐述。 河北科技大学硕士学位论文 第3 章p 2 p 流媒体的核心技术研究 3 1 p 2 p 流媒体系统的拓扑结构的分析 上文中我们提到的p 2 p 网络结构有三种：集中式结构，完全分布式结构又可分 为：非结构化分布式p 2 p 网络和结构化分布式p 2 p 网络，混合式结构1 2 9 j 。 集中式p 2 p 网络中的一切信息都存放在发布该信息的客户机上，中央服务器就 和目录一样只保留每个资源的索引信息，资源搜索时只需要向服务器发送请求。服 务器与对等实体以及对等实体之间都具有交互能力来完成请求。这种类型的结构非 常容易造成单点失效。 非结构化分布式p 2 p 网络是不需要服务器和路由器的，每个节点只需要拥有一 定数目的邻居节点( p e e r - g r o u p ) 。当发出请求进行资源搜索时，只需向自己的邻居 节点发出请求查询数据消息。接受到此消息的节点先在本地搜索看是否存有查询的 数据。如果存有，向请求者回复一个查询响应。如果没有，将查询消息继续转发给 邻居节点。 非结构化对等网络也存在两个重要的问题： 1 )可扩展性：当用户节点不断加入到p 2 p 网络中时，网络规模也在不断扩大， 这种洪泛方式查询信息会使网络的流量猛增，对网络产生巨大压力。还会产生大量 的冗余信息，这样会导致部分带宽能力较差的节点会因为过重的负载而失效，甚至 导致网络阻塞。 2 )资源发现率低：因为节点之间在拓扑上没有逻辑性关系，技术满足要求的 节点存在也无法确保资源能顺利找到，不能保障发现资源的效率。 结构化分布式是一种纯分布式p 2 p 网络，在进行资源搜索时，只需要查找路由 表中的关键字，就可以获得共享资源所在的位置。结构化p 2 p 网络对于节点的动态 性变化具有很强的适应性，可扩展性行和健壮性。这种网络的优势所在是采用确定 的网络拓扑结构，这样会在资源查找过程中能快速的找到和定位资源的所在地，查 询的成功率很高。相比洪泛方式的资源搜索策略，这种结构化网络的资源查找和定 位，是由固定的路由算法快速找到和定位目标节点并下载资源，能大大减少带宽消 耗，但是不支持复杂的查询【3 0 j 。 混合式p 2 p 网络是集中式和分布式p 2 p 网络优势的集合。这种网络结构将网络 中的节点按能力进行分类，能力大的超级节点和一般的普通节点，超级节点承担了 大部分的资源搜索任务，路由的扩展功能。使普通节点的负载减轻，而且容易管理， 提高了扩展性。但是这种结构过分的依赖超级节点，就会使网络受到恶意攻击，导