（计算机应用技术专业论文）基于p2p和流媒体技术的网上学习系统.pdf

摘要 摘要 随着网络通信和多媒体技术的发展，人们对网上音、视频的多媒体教学内 容需求日益增长，基于流媒体技术的远程学习是未来人们受教育的新方法。然 而流媒体的质量并不能令人满意，主要原因在于传统流媒体系统建立在c i s 基 础上很容易导致服务器端的性能瓶颈，并不能有效地支持流媒体的大规模数据 分发。为了提高i n t e r n e t 上的流媒体的q o s ，基于p 2 p 方式的流媒体传输的研 究也逐步引起了人们的重视，研究人员提出了基于p 2 p 网络的媒体分发技术： p 2 p 流媒体技术。 本文介绍了p 2 p 流媒体及其关键技术，p e e r s t r e a m i n g 模型和体系结构，并 对p e e r s t r e a m i n g 组件进行了分析，在对相关理论研究的基础上，设计和实现了 一套p 2 p 技术和流媒体技术相结合的网上学习系统解决方案。该方案融合了p 2 p 技术和c s 技术的优点，通过集中式的策略管理节点，两通过p 2 p 的方式分发 数据。其主要特点为： ( 1 ) 易于管理和控制； ( 2 ) 扩展性好，通过p 2 p 的方式分发数据，用户越多，分发越快。 系统采用j a b b e r 协议实现用户注册，身份认证，用户在线状态，实现了对 用户的管理，也为以后系统中引入即时通讯功能打下了良好的基础。 本文中设计的网上学习系统通过使用应用层组播技术分发数据实现了视频 内容的大规模实时直播，满足大量用户实时收看视频内容的需要。同时系统中 的p o w e r p o i n t 演示功能让用户体验虚拟的教学环境。 关键词：p 2 p 、流媒体、应用层组播、p e e r s t r e a m i n g 、网上学习系统 成都理工大学硕士学位论文 a b s t r c t w i t ht h ed e v e l o p m e n to fn e t w o r kc o m m u n i c a t i o n sa n dm u l t i m e d i at e c h n o l o g i e s ， d e m a n df o rt h e m u l t i m e d i a - t e a c h i n g c o n t e n tw h i t c hi n c l u d e sv i d e o a u d i o i n f o r m a t i o ni n c r e a s e sq u i c k l y d i s t a n c el e a r n i n gw h i t c hb a s e do nt h es t r e a m i n g m e d i at e c h n o l o g yi san e wa p p r o a c ht oe d u c a t i o n h o w e v e r , t h es t r e a m i n gq u a l i t yi s g e n e r a l l yu n s a t i s f a c t o r y , m a i n l yd u et ot h et r a d i t i o n a ls t r e a m i n gm e d i as y s t e mb a s e d o nc sf r a m e w o r ke a s i l yl e a dt os e r v e r b a s e dp e r f o r m a n c eb o t t l e n e c k s ，a n dc a l ln o t e f f e c t i v e l ys u p p o r tt h el a r g e s c a l es t r e a m i n gd a t ad i s t r i b u t i o n i no r d e rt oi m p r o v e t h eq o so fs t r e a m i n go v e rt h ei n t e r n e t ，b a s e do nt h ep 2 pa p p r o a c hs t r e a m i n gm e d i a t r a n s m i s s i o ns t u d i e sh a v eg r a d u a l l ya t t r a c t e dt h ea t t e n t i o no fr e s e a r c h e r s ，a n dt h e n p r e s e n tb a s e do ap 2 ps t r e a m i n gm e d i ad i s t r i b u t i o nn e t w o r kt e c h n o l o g i e s ：p 2 p s t r e a m i n gt e c h n o l o g i e s 1 1 1 ep a g ei n t r o d u c e dp 2 ps t r e a m i n ga n di t sk e yt e c h n o l o g i e s p e e r s t r e a m i n g m o d e l sa n da r c h i t e c t u r e ，a n da n a l y s e dp e e r s t r e a m i n gc o m p o n e n t s ，o nt h eb a s i s o fr e l e v a n tr e s e a r c h ，d e s i g na n dr e a l i z a t i o no fab a s e do np 2 pt e c h n o l o g ya n d s t r e a m i n gm e d i at e c h n o l o g yn e t w o r ke d u c a t i o ns y s t e ms o l u t i o n t h ep r o g r a m m e c o m b i n e st h et e c h n i c a la d v a n t a g e so fp 2 pt e c h n o l o g ya n dc s ，t h r o u g hc e n t r a l i z e d p o l i c e sm a n a g e m e n tn o d e sa n dt h r o u g hp 2 pm a n n e rd i s t r i b u t ed a t a ，a n di t sm a i n f e a t u r e sa r e ：1 ) e a s yt om a n a g ea n dc o n t r o l ；2 ) e x p a n s i o n a r yg o o dw a yt h r o u g hp 2 p d i s t r i b u t e dd a t a ，t h em o r eu s e r s ，d i s t r i b u t e ds o o n e r u s e rm a n a g e m e n tc o m p o n e n to ft h e s y s t e md e s i g n a n dr e a l i z a t i o nw i t h j a b b e 似m p pp r o t o c 0 1 a l s of o rt h es u b s e q u e n ti n t r o d u c t i o no fi n s t a n tm e s s a g el a ya g o o df o u n d a t i o ni nt h es y s t e m t h ed e s i g no f t h en e t w o r ke d u c a t i o ns y s t e mt h r o u g ht h eu s eo f a p p l i c a t i o nl e v e l m u l t i c a s tt e c h n o l o g yd i s t r i b u t i n go fd a t ai m p l e m e n t i n gal a r g e s c a l er e a l - t i m el i v e ， t om e e tal a r g en u m b e ro fu s e r sr e a l - t i m ev i e w i n gv i d e oc o n t e n tn e e d s a tt h es a m e t i m et h ee d u c a t i o ns y s t e mt oa l l o wu s e r st o e x p e r i e n c ev i r t u a ld e m o n s t r a t i o n f u n c t i o n a lt e a c h i n ge n v i r o n m e n tt h r o u g hp o w e r p o i n td e m o n s t r a t i o n ， k e y w o r d s ：p 2 p ，s t r e a m i n gm e d i a ，a p p l i c a t i o nl e v e lm u l t i c a s t ， p e e r s t r e a m i n g ，n e t w o r ke d u c a t i o ns y s t e m i i 第1 章引言 第1 章引言 1 1 选题依据及可行性研究 “基于p 2 p 和流媒体技术的网上学习系统”是结合2 0 0 5 年度成都理工大学 研究基金项目“基于p 2 p 和流媒体技术的网络教学系统的设计与实现”课题进 行的。 远程学习是指教与学在时空分离的状态下所实施的教学活动，它的发展可 以使广大受教育者不必再受到传统教育模式的限制，即在不受时间和空间等条 件的约束下，可实现优秀教育资源和教育方法的共享。学习者可以根据自己的 兴趣和业务水平自由、自主地学习，真正做到了“个性化教育”，而这一点是传 统教育无法做到的。 使用流媒体进行远程网上学习是未来人们受教育的新方法。经济需要智力 型人才。从儿童时期到成年，甚至到退休，贯穿我们整个生命期的继续学习将 成为一种基本的生活技能。教育需要推动人们长大、自我控制、独立，并写下 自己的人生一页。在许多人看来，目前的学校体系也没有也不能胜任这一角色。 流媒体内容的网上学习能够潜在地使人们的学习更有效，因为这种学习令人兴 奋。 自我发展的主要途径是新鲜的体验。与最优秀的教师进行交流、用你自己 独特的方法并以你自己的节凑向知识的探索挑战，这正是流媒体学习所能提供 的。 现在，大量的学校和学院在w e b 上提供远程学习课程，使用流媒体传输一 些资料。在英国，开放大学( o p e nu n i v e r s i t y ) 有效地使用媒体技术已经有几 十年了，帮助成千上万的人取得了资格证明，否则他们可能不会取得这些资格 证明。流媒体提供了更灵活和更引人注目的内容选择。当然，已经开始使用流 媒体技术的课程只是挖掘出流媒体所能实现的表面，使用w e b 内容、同步图形 和混合的运动视频，可开发出来自最优秀的头脑的第一流的学习资料。更为重 要和独特的是，使用流媒体进行网上学习，使得学生和在线的对方或辅导教师 之间可以实时地进行丰富的协作和交互。遥现是在通信媒体环境中呈现的体验， 一种支持遥现的有效技术可以使用，这是流媒体远程学习优于使用旧的视听媒 体学习的重要特点。 流媒体技术为网上实现视音频的开发、传输提供了强大的支持。流媒体学 成都理工大学硕士学位论文 习系统让教学变得更加生动形象和有趣。然而，目前的i n t e r n e t 中流媒体应用 的q o s 并不能让人满意，因为i n t e r n e t 的原始设计主要是为满足端对端系统的 需求，传统的基于单播的传输方式很容易导致服务器端的性能瓶颈，并不能有 效的支持流媒体的大规模数据分发。p e e r t o - p e e r 技术的发展，为解决流媒体 服务器的瓶颈问题提供了新的途径。流媒体服务系统中重要的两种资源就是服 务器能力和网络资源。 首先，p 2 p 模式的流媒体服务技术解决了服务器自身资源的限制。通过合 理地使用用户计算机空闲的资源提供部分服务，使得整个系统的能力得到极大 的提高。c s 模式提供服务时使用的只是服务器资源，现在转变为服务器和所 有用户共同提供资源。 其次c s 模式下服务器端要支持多路用户必须要有巨大的网络带宽。而流 媒体数据带宽占用最大，服务器端的带宽严重限制了系统能提供的节目质量和 系统的容量。p 2 p 模式在合理利用用户计算机资源的同时，也自然合理地使用 客户端的带宽资源。带宽资源也随着用户数的增多而不断增大。 本文从理论和实践两个方面对p 2 p 网络流媒体学习系统进行深入研究。提 出了一个基于p 2 p 和流媒体技术的网上学习系统解决方案。这个系统，支持静 态的媒体文件直播；也可以通过音、视频采集设备进行现场实时采集( 可以将 著名教授的授课、演讲等过程在网上直播，让更多的学生自由观看；也可以将 学校的大型文艺等活动实时广播给全校师生。) 然后，把它们按一定的组织方式 通过网上学习系统将其在网络上以广播的方式发布。用户端只需要较小的缓存 区，等待很短的时间就可以观看流畅的多媒体节目了。 我们的设想是，首先在学校内部的局域网实现该功能，将学校开设的重要 课程、公共课程、著名教授的演讲等教学内容与教师音、视频流快速同步录制 合成，并在校园网上循环广播发布，供全校师生随时学习，充分提高教学资源 的利用率，降低教师工作强度，进而降低学校总体运行成本，提高教学质量。 并设想把该系统推广到整个i n t e r n e t 让家庭、社会的网络学习者享受到真正的 多媒体远程教学。 1 。2 国内外研究现状及发展趋势 近年来，对等网络( p e e r - t o p e e rn e t w o r k ) 的研究在文件共享、应用层组播方 面得到了广泛地关注，随着e m u l e 、b i t t o r r e n t 等p 2 p 应用软件的出现，对p 2 p 网络的研究已广泛展开。p 2 p 技术得以快速地发展，在p 2 p 网络中，每个对等 实体( p e e r ) 既是服务的提供者，又是服务的享用者。p e e r 为系统提供有限的计 2 第1 章引言 算或存储资源，p e e r 之间协作为其他p e e r 提供服务，将服务器的负载分散到 p e e r 中，这充分挖掘了i n t e r a e t 上被忽视的客户机资源，在利用率、扩展性、容 错等方面具有巨大潜力。由于p 2 p 模式可以在大规模的网络应用中有效地提高 系统的可扩展性，基于p 2 p 的流媒体服务体系已经引起了许多大学、研究机构 以及商业机构的重视。美国斯坦福大学、马塞诸塞大学以及微软研究院对单源 的p 2 p 流媒体传输展开了研究并取得了一定的成果，而伯克利大学和普度大学 则致力于对多源的p 2 p 流媒体传输的研究，其中普度大学提出了单源的p 2 p 流 媒体传输的模型及相应的激励机制。此外，也有一些研究机构将传统的流媒体 技术运用于p 2 p 系统，如i b m 中国研究院将层次式的流合并技术集成到p 2 p 视频点播系统中，而美国奥利根大学提出的p a l s ，则利用了媒体流的分层编 码技术，各个节点发送不同层的编码流，由接收者根据其能力选择接收若干层 的编码。 将p 2 p 应用于流媒体技术的产品已经在试验室中诞生如卡耐基梅隆大学的 e m s 系统、p e e r c a s t 组织的p e e r c a s t 系统、微软的c o o p n e t 系统等都已经日趋 成熟。e m s 系统在科学究和教育领域已有很多人在使用，p e e r c a s t 更是许多音 乐爱好者的选择。在商业应用上，也出现了一些商用p 2 p 流媒体传输系统，如 v t r a i l s ，a l l c a s t 以及c h a n n e lo n em e d i a 等，对p 2 p 流媒体传输系统的运行模 式进行了尝试。p 2 p 模式的流媒体技术已经走进市场。走进公众的娱乐和信息 服务的基础设施中。因此p 2 p 模式的流媒体服务系统正在解决目前所有流媒体 业务中面对的主要障碍。通过p 2 p 模式流媒体服务系统方案的部署用户将更快 更好地享受高质量的流媒体服务而服务提供商也能更省更快地为用户提供低成 本的优质服务。 目前，p 2 p 流媒体技术的研究才刚起步不久，还有许多问题需要解决。由 于p 2 p 流媒体系统中节点的行为具有a d h o c 性质，如何在动态的系统环境下保 证流媒体的服务质量，需要结合流媒体对q o s 的要求和网络流量分析等方面的 知识，研究高效率、低代价的q o s 保障机制。可研究的方向包括：服务节点的 选择、节点失效时如何保证流媒体服务的连续以及对多个发送端的传输调度等。 其次要建立一个合理的激励机制，鼓励参与的客户能最大化地共享其资源。这 需要对节点在p 2 p 系统中的行为和兴趣进行统计建模，理解激励机制和节点行为 的关系，以建立适当的激励机制、安全机制。由于参与服务的各个客户之间毫 无联系，要在互不信任的客户之间互相提供服务无疑需要一个有效的认证或授 权等安全机制，保证服务的完成。围绕如何评估共享资源的真实性和可靠性， 如何提供数字证书、对等节点认证、安全存储等具有重要的意义。我们有理由 相信，在不远的将来，p 2 p 流媒体传输的研究将取得很大的进展并成功应用于 3 成都理工大学硕士学位论文 商业系统中。 1 3 论文研究的内容和特色 本文从远程教学的实际应用着手，聚焦于网上学习系统中的视音频直播方 面，结合p 2 p 技术、流媒体技术、d i r e c t s h o w 技术以及w i n d o w sm e d i a 技术， 实现纯软件的网上学习系统。从技术上讲，基于p 2 p 网络和流媒体技术的网上 学习系统是建立在现代多媒体技术和网络技术基础上的多媒体应用系统，为了 让远端参与网上学习的学生具有身临其境的感觉，该系统需要通过i n t e r n e * 网络 将教师的图像、声音和电子教案等多媒体信息传送给学生，也可以根据需要将 学生的图像、声音等多媒体信息回送给教师，从而模拟出学校教学的授课方式。 使老师和学生之间能很好的互动。所以该系统需要解决两个基本问题：音频、 视频流信息在i n t e m e t 上的实时有效的传输和音频、视频流与电子教案 ( p o w e r p o i n t 等) 在学生端的同步播放。为此本文重点讨论了可提供q o s 保障 的基于p 2 p 网络的应用层组播流媒体传输技术，以及媒体文件与演示文稿同步 整合的方法。 文章研究的另外一个方面是系统的设计和实现部分。首先介绍设计实现系 统的技术基础p 2 p 流媒体技术、d i r e c t s h o w 技术，讨论了p 2 p 流媒体关键技术， 提出了p e e r s t r e a m i n g 模型和体系结构。然后介绍了d i r e c t s h o w 体系结构、基本 原理和基本构件，视音频采集。最后设计实现了网上学习系统。 本系统融合了p 2 p 技术、流媒体技术、j a b b e r 技术，采用p 2 p 技术分发流 媒体数据，有效地提高i n t e m e t 中流媒体应用的q o s 。使用j a b b e r 协议设计用 户管理和及时通信模块。j a b b e r 是一个源代码开放的协议，在不久的将来，j a b b e r 阵营会开发一个协议，此协议使得手持设备可以访问j a b b e r 服务，那时候就可 以把我们的应用程序从个人计算扩展到嵌入式系统。 本文的理论研究和实际开发有着重要的价值，以纯软件方式实现的远程教 学系统，降低了远程教育成本，增加了配置灵活性、兼容性以及扩展性。另外， 基于p 2 p 流媒体传输的理论部分研究，对于p 2 p 流媒体系统在其他行业中的应 用也有一定参考价值。 1 ，4 论文的结构 本文首先介绍了网上学习系统所要涉及的技术，然后分析了网上学习系统 的技术架构，在此基础上设计和实现了一个基于p 2 p 网络和流媒体技术的网上 4 第1 章引言 学习系统。最后全文总结，指出下一步要做的工作。 论文的结构安排如下： 第一章引言，简述论文的研究对象、研究的意义和所完成的工作等基本情 况。 第二章p 2 p 流媒体服务及其关键技术，介绍p 2 p 流媒体的基本概念及其关 键技术。 第三章系统的视音频开发技术，介绍了流媒体的基本概念，进行流媒体开 发的d i r e c t s h o w 技术，用d i r e c t s h o w 技术进行视音频捕捉、模拟电视接收、 w i n d o w sm e d i a 开发。 第四章网上学习系统的技术框架，分析了网上学习系统的技术框架，介绍 用于p 2 p 流媒体直播的核心组件以及应用层组播算法，以及网络协议，介绍了 流媒体和p o w e r p o i n t 同步演示的整合方法，最后介绍了系统中用到的网络编 程，多线程、数据库访问等相关技术。 第五章网上学习系统的实现，论述系统的设计思想和实现方法。 最后是结论和将来的工作，总结本文所做工作，计划将来的研究方向。 1 5 技术难点 论文中涉及的主要技术难点有： 1 流媒体的应用开发； 2 p 2 p 网络的控制，调整并监控网络中节点的动作( 节点的加入、离开、 重定向等) ，确保系统稳定性，降低多层节点转发的延迟，确保节点间可靠通 讯以及保证系统的良好扩展性： 3 缓存技术，为了保证平滑的观看效果，流媒体的应用要求更少的延迟、 更小的延迟波动。采用缓存技术可以提高流媒体的传输质量； 4 多线程技术； 5 基于c o m 的编程。 5 成都理工大学硕士学位论文 第2 章p 2 p 流媒体服务及其关键技术 2 1 传统的c s 架构 因特网上的传统流媒体系统是基于c s 模式的，一般包括一台或多台服务 器，若干客户机，服务器必须通过网络给每个客户机发送多份相同的数据。将 系统能同时服务的客户总数称为系统容量，c s 模式的流媒体系统容量主要是 由服务器端的网络输出带宽决定的，有时服务器的处理能力，内存大小， i o 速率也影响到系统的容量。在c s 模式下，由于传输流媒体占用的带宽大，持续 时间长，而服务器端可利用的网络带宽有限，所以即使是使用高档服务器，其 系统容量也不过几百个客户，根本就不具有经济规模性。另外，由于因特网不 能保k 正q o s ，如果客户机距服务器较远，则流媒体传输过程中的延迟、抖动、 带宽、丢包率等指标也将更加不确定，服务器为每一个客户都要单独发送一次 流媒体内容，从而网络资源的消耗也十分巨大。 针对这些问题，有如下的相应解决方案：1 使用服务器集群提高整个流媒 体服务系统的性能，网络方面，通过增加光纤提高出口带宽。服务器集群方式 是将多台同构或异构的计算机连接起来协同完成特定任务，它完善了传统意义 上的c s 架构，在一定程度上增大了流媒体服务系统的容量，但是仍然不能满足 目前庞大的用户群。而且这种方式都以昂贵的硬件成本和系统的复杂度为基础， 使得流媒体的成本太高；2 i p 组播技术，实现了i n t e m e t 上高效的一对多通信， 提高了系统的可扩展性，然而由于i p 组播存在的种种限制，如很难实现可靠性 组播和拥塞控制等，i p 组播技术并没有得到广泛的应用；3 而针对服务器提出 的批处理( b a t c l a i n g ) 技术、补丁( p a t c h i n g ) 技术、周期性广播以及流合并、流 搭载( p i g g b a c k i n g ) 等技术虽然在降低服务器的带宽需求和客户等待时间方面 取得了不错的效果，但仅仅在一定程度上缓解了服务器的压力；4 在网络边缘 部署代理缓存( p r o x yc a c h i n g ) 或内容分发网络( c o n t e n td e l i v e r yn e t w o r k s ) ，媒体 服务器将媒体内容以推( p u s h ) 的方式存放在代理缓存或c d n 服务器上，客户请 求媒体服务器时，可从代理缓存或c d n 服务器获得服务，而不必消耗服务器的 资源。但这种方案成本较高，只是部分地解决了可扩展性问题，因为此时代理 缓存或c d n 服务器很有可能成为系统瓶颈。 如何利用现有的计算机资源和宽带网络资源普及流媒体这种资源消耗严重 的业务，p 2 p 模式流媒体技术就是我们的答案。 6 第2 章p 2 p 流媒体服务及其关键技术 2 2p 2 p 模式的架构 2 2 1p 2 p 网络 p 2 p 网络的基本思想是充分利用因特网上分布在不同地理位置上的计算机 的空闲资源，采用分布式计算模式来为因特网上的用户提供各种服务。网络的 每一个节点( p e e r ) 既可以作为客户接受其它节点的服务，也可以作为服务器向其 它节点提供服务。 p 2 p 技术主要指由硬件形成网络连接后的信息控制技术，主要代表形式是 在应用层上基于p 2 p 网络协议的客户端软件。i b m 为p 2 p 下了如下定义：p 2 p 系统由若干互联协作的计算机构成，且至少具有如下特征之一：系统依存于边 缘化( 非中央式服务器) 设备的主动协作，每个成员直接从其他成员而不是从服务 器的参与中受益；系统中成员同时扮演服务器与客户端的角色；系统应用的用 户熊够意识到彼此的存在，构成一个虚拟或实际的群体。事实上p 2 p 网络是互 联网整体架构的基础，互联网最基本的t c p i p 协议并没有客户端和服务器的概 念，在通讯过程中，所有的设备都是平等的端。目前流行的p 2 p 网络模型主要 有三种：集中目录式对等网络模型、广播式对等网络模型和结构化覆盖对等网 络模型。 1 集中目录式对等网络模型 各节点之间可以直接建立连接，但网络的构建需要服务器，通过集中认证， 建立索引机制。然而这里的服务器仅用于辅助对等节点之间建立连接，一旦连 接成功，服务器不再起作用，对等节点之间直接进行通信。这不同于c s 模式 中的服务器，也可以认为是弱化了服务器的作用。这种p 2 p 网络模式和纯分散 式p 2 p 网络相比，易于发现网络节点，易于管理且安全性较好，但也有类似c s 模式的缺陷，如容错性较差等。较为典型的有n a p s t e r 等。 2 广播式对等网络模型 在广播式对等网络模型中，对等点通过与相邻对等点之间的连接遍历整个 网络体系，该模型中对等点定位原理如下：为了查找某个文件，对等点首先向 与之相邻的所有活动对等点发送一个查询请求包( q u e r y ) ，其他对等点在接收到 该查询请求包后，检查本地是否有符合查询请求的文件内容，如果有，则按查 询请求包的发送路径返回一个查询响应包( q u e r y h i t ) ，无论本地是否存在符合查 询请求的文件内容，其他对等点都会将该查询包通过广播方式继续在网络中传 递，直至查询包中t t l ( t i m eo fl i f e ) 属性值递减为0 时停止继续转发。这种模 型也存在很多弊端，主要表现在以下方面： 7 成都理工大学硕士学位论文 ( 1 ) 网络中对等点的查找和定位比较复杂。 ( 2 ) 随着网络规模的扩大，通过广播方式定位对等点的方法将造成网络流量 急剧增加，从而导致网络拥塞。 ( 3 ) 安全性不高，易遭受恶意攻击，如攻击者发送垃圾查询信息，造成网络 拥塞等。 3 结构化覆盖对等网络模型 在这种模型中，网络中的每个节点都会被赋予一个随机产生的i d ，并且每 个节点知道网络中的部分其他的节点，当一份文件在网络中发布( 共享) 时，会根 据该文件的内容和名字，用某种h a s h 算法生成一个文件i d ，然后文件发布的节 点会把该文件r o u t e 给它所知道的节点中，节点i d 最接近该文件i d 的节点，直 到当前节点就是最接近文件i d 的节点。所有参与r o u t e 的节点都会保存一份该 文件的拷贝。同样，当某个节点发出需要某个文件的请求时，请求会转发给节 点i d 最接近所请求的文件i d 的节点，直到找到真正具有该文件的节点，然后 该文件会传给最原始的请求者，所有参与这次r o u t e 的节点同样会保存一份该文 件的拷贝。在这种模型中，提出了一种分布式哈希表( d h t ) 算法。 图2 1 是集中式目录对等网络模型和无中心网络模型的比较。 鬃螺熬耀 图2 - 1 有中心对无中心的p 2 p 架构 22 2 基于p 2 p 的流媒体系统 基于p 2 p 的流媒体系统是借助p 2 p 网络的思想进行流媒体内容的分发传播 的，其设计目标是充分利用众多客户机的空闲资源，构建一个成本低、扩展性 好、并有一定q o s 保证的流媒体分发传播系统。系统的整体能力( 包括容量和性 能) 随加入节点的增加而增加。本章讨论了用于流媒体服务的基于树状的组播体 系结构的p 2 p 流媒体服务解决方案。这个解决方案是在每个对等点的应用层和传 输层之间加入了轻量级p e e r i n g 层。p e e r i n g 层的作用是使节点在不同的节点之间 调整自己的位置从而建立和维护一个组播树。) j 1 1 ) p e e r i n g 层后对等点的层结构 如图2 2 所示： 8 第2 章p 2 p 流媒体服务及其关键技术 应用层 p e e r i n g 层 t c pu d p 堕! 骂广瓦孬南而 应用屉 新的r t s p 置虽星卜丽i i i t c p | d d p 【j 一 _ 一i p 爰其以下屠 p e e r p e e r 图2 - 2 对等点的层结构 p 2 p 模式的流媒体服务系统并不改变现有的流媒体传输协议和流媒体服务 器系统的架构甚至可以不必改变现有的系统而只需在对等点中增 j 1 p e e r i n g 层即 可很便利地进行流的分发。一个服务器与一个客户之间的媒体流的数据部分和 控制部分合成的数据传输会话在节点的p e e r i n g 层之间建立，它用fs e r v e r i p a d d r e s s ，s e r v e rp o r t ，c l i e n ti p a d d r e s s ，c l i e n tp o r t ，s t r e a mu r l ) 标识； 应用层的会话是建立在p e e r i n g 层与终端应用之间，它与数据传输会话是不同 的。一个数据传输会话是指一个流从建立到结束的过程，但是在客户为了接受 特定的流而改变服务器的情况下应用层会话可以包含几个数据传输会话。当应 用层通过“g e ts t r e a m ”接口晦j p e e r i n g 层请求需要的流时，p e e r i n g 层根据u r l ( 假设每个l i v e 流只有唯一的u r l ) 确定可以提供流的服务器，与服务器建立数 据传输会话，并且建立传输层会话；当数据传输会话结束时，p e e r i n g 层确定新 的数据的源，开始新的会话。若没有发现可以提供数据服务的服务器，贝, u p e e r i n g 层通知应用层。这样可以保证只要找到服务器就可以确保数据传输，而且p e e r i n g 层还提供了一些传输层的功能。应用层会话是知道这些改变，但终端应用对组 播的拓扑改变是不知道的，因此组播的拓扑结构改变对终端应用是透明的。 2 3p 2 p 流媒体关键技术 2 3 1 p 2 p 流媒体传输技术 p 2 p 流媒体系统建立在应用层组播技术的基础之上，由一个发送者向多个 接收者发送数据，接收者有且只有一个数据源。服务器和所有客户节点组织成 组播树，组播树的中间节点接收来自父节点组播的媒体数据，同时将数据以组 播的方式传送给其子节点，如图2 3 所示： 9 成都理工大学硕士学位论文 曩 图2 - 3p 2 p 流媒体传输 在图2 3 中，p 1 ，p 2 ，p 3 ，p 4 ，p 5 请求同一媒体内容，服务器按某种策略将 其组织成一棵组播树，p 1 直接由服务器处获得数据，而p 3 ，p 4 由p 1 处获得 数据，p s n 由p 3 处获取数据。显然，以组播的方式传输媒体，源节点只需发送 一个媒体数据拷贝，数据在传输过程中根据需要自动复制，避免了单播方式下 为每个接收者单独发送信息的缺点，同时减轻了服务器的负载，节约了网络资 源。 但是，在这种方式下，由于节点既接收数据又转发数据，完成应用层的路 由功能，因此对节点的性能要求较高，如至少能发送一个完整的媒体流，即上 行带宽要足够大。s p r e a d i t ，s p l i t s t r e a r a 是几种典型的基于组播的p 2 p 流媒体传 输系统。p 2 p 流媒体传输系统，其本质都是充分利用系统中节点的能力，在接 受服务的同时向其他节点提供服务，极大地利用了网络上的闲散资源与传统的 流媒体系统相比，p 2 p 流媒体传输有其独特的特点，最突出的就是提供服务的 节点的不稳定性，这给p 2 p 流媒体的研究带来了许多需要解决的问题。下面本 文将从文件定位、q o s 保证以及激励机制等方面做详细的探讨。 2 3 2 媒体文件定位机制 流媒体服务的一个重要的特点是实时性强，为了保证q o s ，要求系统能够 快速准确定位客户所要求的媒体文件。目前p 2 p 流媒体系统的媒体定位技术基本 上可以分为三类。第一类基于中央服务器( 或服务器群) ，空n n a p s t e r 系统，中央 服务器维护系统中所有共享资源的位置索引，由中央索引服务器提供查询和定 位。该技术的优点是高效、易于实现，但存在单一故障点、可扩展性差等问题。 另外两种技术将共享资源的索引分散在系统中的节点上，根据资源定位机制是 否依赖特定的系统拓扑结构，分为非结构化和结构化定位技术。非结构化定位 技术，如g n u t e l l a ，以洪泛方式将定位请求发送给自己的邻居节点，直到满足 查询或超时，其优点是没有单一故障点，但存在带宽消耗大、可扩展性差等问 题。结构化定位技术基于分布式哈希表( d i s t r i b u t e dh a s ht a b l e ，d h t ) ，网络 1 0 第2 章p 2 p 流媒体服务及其关键技术 中的每个节点和资源经过h a s h 后都有唯一的标识符i d ，节点根据自己的i d 负责一 部分标识符空间，资源根据自己的i d 映射到相应的节点；节点维护一个路由表， 定位资源时通过路由表进行选择性转发，在一定的跳数内定位到资源。 g u o 等人提出的d i r e c t s t r e a r n 是一个基于目录的p 2 p 流媒体点播系统，其媒 体文件的查找方式是通过目录服务器来维护所有媒体服务器信息和客户信息 ( 包括i p 地址、缓冲大小等) 。当新客户的请求到达时，在目录中查找请求的媒 体文件，快速返回侯选节点，侯选节点可以是媒体服务器，也可以是可提供该 影片片段的客户，从而具有p 2 p 的特性。 2 33p 2 p 网络q o s 保障机制 对于p 2 p 流媒体系统而言，路由功能由覆盖网络中的节点的应用层来完 成，更适合采用基于端系统的方法来保证流媒体服务的q o s 。由于节点的不稳 定性以及节点能力的差异，使得p 2 p 流媒体系统中的q o s 问题更加突出。 1 节点的选择机制 在一个典型的p 2 p 覆盖网络中，网络中的节点来自各个不同自治域，因此 节点可以在任一时间自由的加入或离开覆盖网络，导致覆盖网络具有很大的动 态性和不可控性。因此，如何在服务会话初始时，确定一个相对稳定的可提供 一定q o s 保证的服务节点或节点集合，是p 2 p 流媒体系统需要解决的一个迫 切的问题。节点的选择可以根据不同的q o s 需求采取不同的选择策略。如果希 望流媒体服务的延迟小，可以选择物理邻近的节点作为服务的节点以快速建立 会话，如在局域网内有提供服务的节点，就不选择i n t e m e t 上的节点，这也可 以避免i n t e r n e t 上的带宽波动和拥塞；如果希望得到高质量的流媒体服务，则 可选择能够提供高带宽、c p u 能力强的节点，如在宽带接入的p c 机和a d s l 接入的终端之间选择前者；如果希望得到比较稳定的流媒体服务，则应选择相 对稳定的节点，如在系统中停留时间较长，不会频繁加入或退出系统的或正在 接受服务的节点。一般情况下，节点的选择是多种策略的折中，还有很多问题 值得研究。例如如何确定一个节点是相对稳定的，这需要该节点的一些历史数 据，如为其他节点提供服务的时间、登入退出系统的频度等来确定一个稳定的 指标。而p 2 c a s t 则是采用补丁( p a r c h i n g ) 技术的p 2 p 流媒体点播系统，后加入 的节点根据节点选择算法b f ( b e s tf i t ) 选择一个带宽最合适的父亲节点。此算法 较为简单，仅比较侯选节点及其予节点与请求节点之间的带宽大小，能提供最 大带宽的节点即为父亲节点。b f d e l a y 算法则对其做了一些改进，考虑了侯选 节点和请求节点之间的延迟。 成都理工大学硕士学位论文 2 容错机制 由于p 2 p 流媒体系统中节点的动态性，正在提供服务的节点可能会离开系 统，传输链路也可能因拥塞而失效。为了保证接受服务的连续性，必须采取一 些容错机制使系统的服务能力不受影响或尽快恢复。对于节点失效的问题，可 以采取主备用节点的方式容错。在选择发送节点时，应选择多个服务节点，其 中某个节点( 集) 作为活动节点( 集) ，其余节点则作为备用节点。当活动节点失 效时则由备用节点继续提供服务。值得研究的问题是如何快速有效地检测节点 的失效，以及如何保证在主备用节点切换的过程中流媒体服务的连续性。流媒 体服务的实时性较强，因此节点的故障检测时间应尽可能短，才能保证服务不 中断。如何缩短故障检测时间的研究也有不少，大都是采用软状态协议询问节 点的存在，需要考虑询问频度与询问消息开销之问的折中。而在多源的p 2 p 流 媒体系统中，若同时有两个以上的发送者失效，保证媒体流服务的连续性的问 题也更为复杂，值得进一步研究。 2 3 4 激励机制 通过对p 2 p 文件共享系统g n u t e l l a 的运行活动跟踪记录，发现系统7 0 的节 点未共享本身资源，1 的节点承担了系统4 7 的下载负载，2 5 的节点承担 了系统9 9 的下载负载。激励机制是保证p 2 p 流媒体系统正常运行的关键，但它 也是目前p 2 p 流媒体未能很好解决的问题，对于p 2 p 流媒体激励机制的经验多数 来p 2 p 文件下载系统。目前，p 2 p 流媒体的激励机制主要有两类。 1 物品交换( b a r t e r ) 征税( t a x a t i o n ) b a r t e r 是一种b i t f o r b i t 的激励机制。时下流行的b i t t o r r e n t 应用了这种激励 机制。b i t f o r - b i t 指把共享数据划分成固定大小的数据块，每个节点以自己拥有 的数据块作为与别人交换的筹码，节点下载数据块的同时必须提供上传。这种 物品交换的方法消除了系统的“f r e er i d e r ”。b a r t e r 虽简单易实现，但它严格地 限制了资源薄弱节点的接收带宽，故并不适用于p 2 p 流媒体系统。 线性征税激励机制是在b a r t e r 基础上提出的，它在p 2 p 流媒体系统的激励机 制中引入税收的概念，综合考虑网络中节点的带宽差异，提出资源充裕的节点 共享富余的资源，并帮助资源匮乏的节点。为了使所有节点享受资源达到最大 化，并实现资源的再分配，发布者拟订、发布并强制实旄“征税”方案，参与 系统的所有节点必须履行此方案，促进系统资源的再分配。方案在接收和上传 之间提供一种直接映射： f = m a x t + ( r g ) ，0 ( 2 - 1 ) 第2 章p 2 p 流媒体服务及其关键技术 其中伪上传带宽，r 为接收带宽，t 为边际税率( t 1 ) ，g 为补贴( d e m o g r a n t ) 。 g 和t 由发布者设置，节点负责选择f j f r ，每个节点接收到的资源至少为g 。为保 证p 2 p 流媒体系统的正常运行，必须保证共享资源大于等于接收资源，即f ； r 。当t = 1 且g = 0 n ，就回到了“b i t f o r b i t ”的激励机制。如果节点为“f r e e r i d e r ”( f = 0 ) ，它只能接收到系统给予的补贴g ( r = g ) ，这样就杜绝了“f r e e r i d e r ”节点只享受服务不提供服务的行为。 2 互惠机甫l j ( r e c i pr o c i t y ) 互惠机制有直接和间接之分。前者以循环机制为代表，后者以信誉机制为 代表。p 2 p 流媒体系统中节点角色的不对称性决定了直接互惠机制的不适用。间 接互惠机制鼓励节点合作以获取信誉值，信誉高的节点将得到优先对待。下面 讨论基于积分的激励机制，它建立在如下观点之上： ( 1 ) 节点间增进合作促进系统全部节点平均服务质量的提高； ( 2 ) 当一个节点上传过多时，c o s t ( 即节点耗费成本) 将影响其自身和远端接 收节点的服务质量： ( 3 ) 服务质量很大程度上依赖于选择什么样的节点提供服务。基于此，该激 励机制通过间接互惠鼓励合作。选择节点质量的差异性体现了积分的不同：贡 献大的节点允许它有灵活的节点选择权，相应地能得到高质量的视频服务，而 对于“f r e er i d e r ”则限制其节点选择范围，其只能收到低质量的视频，如图2 4 所示。 鲈昌分t 昌一鞠舀魏 共瞥一 妙酣 i l 震q n 0 8 屿虞本爿芝 图2 - 4 间接互惠机制 假设节点贡献资源x i ，可获得积分s i ，并映射为