（计算机系统结构专业论文）基于p2p的内容分发流媒体服务系统的研究与实现.pdf

摘要 摘要 当下网络基础设施和相关硬件技术的飞速发展，给予了流媒体技术相当的发 展空间。然而，由于现行的i n t e m e t 网络基础带宽仍然无法匹配日益庞大的流媒体 用户数和数据大小，传统的c s 服务模式已无法达到令人满意的服务质量，在此 情况下，p 2 p 流媒体技术应运而生。此项技术是把服务分散到网络中各个节点，利 用客户端的网络资源来进行服务。但是由于单纯的p 2 p 网络节点退出或加入频繁， 以及拓扑结构和路由机制复杂等原因，如何高效的利用客户端资源搭建高效、稳 定和高播放体验的流媒体服务体系成为了难点。与此同时，内容分发网络技术 ( c o n t e n td e l i v e r yn e t w o r k ) 通过把高热度的媒体内容缓存至网络边缘更靠近客户 的服务节点上，达到了服务的分散。然而传统的c d n 网络中的边缘服务节点仍采 用c s 方式与客户端进行交互，使得边缘服务节点的服务能力成为了系统的瓶颈。 因此，通过把p 2 p 技术与内容分发技术相结合，使边缘服务节点与客户端形成p 2 p 交互模式，便可以充分发挥两种技术的优势。 基于对上面两种技术的深入研究，本文提出了一个混合式的流媒体服务系统 p 2 p c d n 。通过对p 2 p 与内容分发模型的混合，构成一个高扩展性、高播放体验 的流媒体分发系统。p 2 p c d n 系统采用两层结构，上层搭建高性能的骨干覆盖分 发网络，再由与骨干网络相连的客户节点组成网状p 2 p 结构，来提供高性能的大 规模流媒体直播与点播服务。对于直播服务，通过对直播骨干分发网络拓扑的优 化，极大程度的减小了播放延时，保障了系统的q o s 。对于点播服务，系统采用 了推拉结合的混合分发方式来提高服务质量。推方式由服务端发起把高热度媒体 文件主动缓存至服务节点，而拉方式由客户端发起把媒体文件拉入边缘节点。系 统通过智能发布模块对核心网络中服务节点的负载控制，达到了较好的负载均衡， 从而高效利用了网络资源。 本文针对当前纯p 2 p 流媒体直播过程中的同步丢失延时较大的问题，提出了 新的基于模拟退火的遗传算法，来构建有出度限制的最小带权生成树。通过引用 模拟退火机制，对染色体的适应度进行了拉伸。同时提出了高效的交叉和变异算 法，避免了修补和惩罚机制的引入，以此来降低骨干网络上的传输延时。仿真实 验证明该算法具有较好的收敛性，并且生成的网络拓扑也较传统的贪婪算法有所 改进。 摘要 对于智能发布模块的负载均衡控制，本文提出了一个简单有效的动态预测算 法，即动态采集各覆盖网络节点的负载情况，混合考虑发布文件大小的因素，最 终决策出缓存节点，来达到点播服务中覆盖网络节点的负载均衡。仿真实验证明 了其可以达到良好的负载控制。 关键词：p 2 p ，内容分发，覆盖网络，负载均衡 a b s t r a c t a b s t r a c t t h er a p i dd e v e l o p m e n to ft h ei n t e m e ti n f r a s t r u c t u r ea n dt h e c o r r e s p o n d i n g h a r d w a r et e c h n o l o g i e sp r o v i d ea l li m p o r t a n to p p o r t u n i t yf o rt h ei m p r o v e m e n to ft h e s t r e a m i n gm e d i at e c h n o l o g y h o w e v e r , a st h e c u r r e n ti n t e r a c tb a n d w i d t hc a nn o t m a t c ht h ef a s ti n c r e a s i n gr e q u i r e m e n to fu s e ra n dt h em e d i af i l e s ，t h et r a d i t i o n a lc s m o d e lc a l ln o tp r o v i ds a t i s f a c t o r yq o s i nt h i ss i t u a t i o n , p 2 ps t r e a m i n gm e d i a t e c h n o l o g yw a sd e v e l o p e d i td e c e n t r a l i z e st h es e r v i c el o a dt oe a c hn o d ei nt h en e t w o r k b yu s i n gt h en e t w o r kr e s o u r c eo ft h ec l i e n t s h o w e v e r , i nap u r ep 2 pn e t w o r k ，s i n c et h e h i g hf r e q u e n c yo fe x i ta n dj o i no fn o d e s ，a sw e l la st h ec o m p l e xt o p o l o g y , i ti s c h a l l e n g i n gt of u l l yu s et h er e s o u r c ef r o mc l i e n t sa n dt ob u i l da l le f f i c i e n ta n ds t a b l e s t r e a m i n gm e d i as e r v i c es y s t e mw i t hp e r f e c tp l a ye x p e r i e n c e o nt h eo t h e rh a n d ， c o n t e n td e l i v e r yn e t w o r k ( c d n ) d e c e n t r a l i z e st h es e r v i c el o a db yr e p l i c a t i n gp o p u l a r c o n t e n to ns e r v e r sc l o s et ot h ec h e n t s ，w h e r e a st h et r a d i t i o n a lc d nw e bs e r v e r ss t i l lu s e c sm o d e lt oc o m m u n i c a t ew i t hc l i e n t s t h i sd e c r e a s e st h ec a p a c i t yo ft h es y s t e m ， b e c a u s et h ec a p a c i t yo ft h o s ew e bs e r v e r si sp r o b a b l yt h eb o t t l e n e c ko ft h ew h o l e s y s t e m t h e r e f o r e ，t h ec o m b i n a t i o no fb o t ht e c h n i q u e s ，w h i c hm e a n sb u i l d i n gap 2 p n e t w o r kb e t w e e nw e bs e r v e r sa n dt h ec l i e n t si nc d n s y s t e m s ，c a l lp r o b a b l ym a k ef u l l y u s eo ft h e i ra d v a n t a g e s b a s e do ni n d e p t hr e s e a r c hi nb o t ht e c h n i q u e s ，ah y b r i ds t r e a m i n gm e d i as e r v i c e s y s t e m ，i e p 2 p - c d ns y s t e m ，w h i c hc o m b i n e dt h ep 2 pa n dc d nt e c h n i q u e st os a t i s f y ah i g he x t e n d i b i l i t ya n da h i g hq u a l i t yo fp l a ye x p e r i e n c e ，w a sp r o p o s e di nt h i sr e s e a r c h t h es y s t e mh a dt w ol a y e r s ：t h eu p p e ro n ew a sab a c k b o n ed i s t r i b u t i o no v e r l a yn e t w o r k , a n dt h el o w e ro n ew a sap 2 pm e s hu s e dt oc o n n e c tt h ec l i e n t sa n dt 1 1 eb a c k b o n en e t w o r k i nt h i sc a s e ，t h es y s t e mc o u l dp r o v i d el a r g e s c a l el i v eb r o a d c a s t i n ga n dv i d e oo nd e m a n d s e r v i c e f o rt h el i v eb r o a d c a s t i n gs e r v i c e ，t h ep l a yl a t e n c yw a sm i n i m i z e da n dt h eq o s w a sg u a r a n t e e dt h r o u g ho p t i m i z i n gt h eo v e r l a yb a c k b o n e st o p o l o g y a sf o rt h ev i d e o o nd e m a n ds e r v i c e ，t h eq o sw a si n c r e a s e du s i n gb o t hp u s ha n dp u l ls t r a t e g i e s 。p u s h s t r a t e g ym e a n st h a tt h eo v e r l a ys e r v e r si n i t i a t et h ec a c h i n go fp o p u l a rf i l e ；w h i l ep u l l s t r a t e g yr e p r e s e n t st h a tt h ec l i e n t sp u l lt h ed a t af r o mt h es e r v e r s t h es y s t e mr e a l i z e da i i i a b s t ra c t b e t t e rl o a db a l a n c eu n d e rt h el o a dc o n t r o lo ft h ei n t e l l i g e n tp u b l i s h e r s i n c ea b i gs y n c h r o n i z a t i o nl o s tl a t e n c ye x i s t sd u r i n gt h el i v eb r o a d c a s t i n gi np u r e p 2 ps t r e a m i n gs y s t e m s ，an e ws i m u l a t e da n n e a l i n gg e n e t i ca l g o r i t h mw a sp r o p o s e dt o s o l v et h ed e g r e e c o n s t r a i n tw e i g h t e dm i n i m u ms p a n n i n gt r e ep r o b l e m i nt h i ss e n s e ，a s i m u l a t ea n n e a la r i t h m e t i cw a yw a sa p p l i e dt os t r e t c ht h ef i t n e s so fc h r o m o s o m e s f u r t h e r m o r e ，m o r ee f f i c i e n tc r o s s o v e ra n d m u t a t i o no p e r a t o r sw e r eu s e d t h i sp r e v e n t e d t h eo v e r h e a do f p e n a l t ya n dr e p a i rf u n c t i o n s a sar e s u l t ，t h et r a n s m i s s i o nl a t e n c yo nt h e b a c k b o n en e t w o r kw a sr e d u c e d t h es i m u l a t i o ne x p e r i m e n t sp r o v e dt h a tt h ea l g o r i t h m c r e a t e das h o r t e rl a t e n c yt h a nt h eg r e e d ya l g o r i t h md i d a n dag o o da s t r i n g e n c yw a s a l s oo b t a i n e d f o rt h el o a db a l a n c er e a l i z e di nt h ei n t e l l i g e n tp u b l i s h e rs u b s y s t e m ，as i m p l eb u t e f f i c i e n ta l g o r i t h m ，t h a ti s ，d y n a m i cf o r e c a s ta l g o r i t h mw a sp r o p o s e d t h i sa l g o r i t h m c o l l e c t e dt h el o a di n f o r m a t i o no fe a c ho v e r l a ys e r v e r sd y n a m i c a l l y , c o m b i n e dt h e mw i t h t h ei s s u eo ff i l es i z e ，a n df i n a l l yd i v i d e dt h ec a c h i n gn o d e u s i n gt h i sa l g o r i t h m ，t h e l o a db a l a n c ef o rv i d e oo nd e m a n ds e r v i c ew a sr e a l i z e d , w h i c hw a sp r o v e db yt h e s i m u l a t i o ne x p e r i m e n t s k e y w o r d s ：p 2 p , c o n t e n td e l i v e r y , o v e r l a y , l o a db a l a n c e i v 图表目录 图表目录 图2 1w e b 服务器和多流媒体服务器交互4 图2 2i p 组播与应用层组播示意图5 图2 3 单组播树示意图7 图2 4m c e 协议组织结构图8 图2 5d o n e t 系统框图。9 图2 - 6p p l i v e 网络结构示意图1 1 图2 。7 内容分发网络结构图- 1 5 图2 8 带负载均衡的c d n 结构1 5 图3 10 m m 框架示意图1 9 图3 2 混合c d n p 2 p 模型2 0 图3 3p 2 p c d n 系统框架图2 l 图3 4p 2 p c d n 服务结构框架图2 3 图3 5p 2 p c d n 点播流程2 5 图3 - 6i pp u s h 发布流程图2 8 图3 7i p 删除流程图2 9 图3 8i o 事件驱动业务架构3 0 图3 9i p 的a g e n t 类图3 1 图3 1 0d a t a b a s e 的线程池结构3 2 图3 1 1i p 的t a s k 类图3 3 图3 1 2d 的做种模块类图3 4 图3 1 3p a s t r y 路由表3 5 图3 1 4c l i e n t 搜索流程3 6 图3 1 5c l i e n t 下载流程3 7 图3 1 6 根据不同目标所进行的优化3 8 图3 1 7 生成随机网络拓扑模型4 0 图3 1 8 直播容量性能对4 1 图3 1 9 点播性能对比4 2 i 图表目录 表3 1p 2 p 与c d n 的对比表1 8 表3 2 流媒体文件分块示意图2 3 表3 3o p e n d h t 函数接口3 5 图4 1 遗传算法的基本思想4 5 图4 2 模拟退火算法的基本思想4 6 图4 3p 2 p c d n 中直播o m n 模型4 8 图4 4 基于模拟退火算法的遗传算法5 0 图4 5 初始化算法伪代码5 2 图4 - 6 交叉算法实例5 4 图4 7 交叉算法伪代码5 4 图4 8 变异算法伪代码5 5 图4 - 9 变异算法伪代码5 6 图4 1 0 最大时延对比图5 7 图4 1 1 平均时延对比图5 7 图4 1 2 模拟退火遗传算法的收敛性数据图5 8 表4 1 不同的延时问题4 4 表4 2 节点编码示例5 3 图5 1 动态负载均衡算法6 3 图5 2i p 负载均衡模块示意图6 4 图5 3i p 与c r 通信状态迁移图。6 5 图5 4r c 和e s p 间交互的数据格式6 5 图5 5e s p i n f o 示意图6 8 表5 1c r 与e s p 交互协议6 6 表5 2i p 与e s p 交互协议6 7 表5 3 口负载实验仿真6 8 v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特另a l ：d l ：i 以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 节j 月妒 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：量缓遂导师签 日期： 第一章绪论 1 1 研究背景 第一章绪论 从计算机网络兴起至今的半个世纪里，网络应用已从文件共享等传统应用急 速扩张，成为包罗万象的多媒体应用的中坚承载者，可以说计算机技术进入了以 网络计算为中心的时代。支持网络的硬件技术和相关网络应用不断完善和多样 化，促使i n t e m e t 所有的骨干网络和接入网络不断的向高速率迈进。于此同时，日 益先进的个人计算机处理技术和多样化的网络应用对网络的要求不断增高。单纯 的文本传输已完全不能满足当今大多数网络使用者的要求。视频聊天和各种各样 的在线点播、直播服务已深入千家万户。 虽然随着流媒体服务的普及，相关的网络基础设施与边缘硬件技术也得到了 飞速发展。但是采用传统的c s 服务模式仍无法满足流媒体高带宽需求，高实时 性要求和长时间转输的要求。大规模高并发的客户请求会给服务器带来巨大的i o 负载压力，使得系统的q o s ，用户播放体验都极速降低。 于是有学者提出了采用i p 组播1 】 2 】 3 】【4 技术来进行媒体数据分发。使用路由器 复制文件辅助服务器进行服务，能够有效降低服务器和网络的负载，但i p 组播在 拥塞控制、传输可靠性、和安全机制多方面存在问题，数年来仍然无法得到大规 模部署。 同时产生的另一种服务技术内容分发网络c d n t 5 】【6 】【7 】【8 ( c o n t e n td e l i v e r y n e t w o r k ) 得到了的广泛部署，它将文件内容扩散到距离用户更近的网络边缘节点， 把负载压力从中心的内容源服务器分散到这些边缘服务节点，改善了用户流媒体 使用体验。 但由于传统的c d n 边缘服务节点仍然采用c s 服务模式，为了避免它们成为 了网络并发容量的瓶颈，运营方必须部署大量网络带宽和高性能服务器来提供大 规模的商用流媒体服务。 综上所述，当前的流媒体分发技术和方案在为高并发大规模的用户请求时要 达到高容量，优良的播放体验与q o s ，在系统的可靠性和经济性方面均存在尚未 解决的难题。因此，如何在限制系统部署成本的前提下，为实际网络中大规模的 流媒体需求服务时达到高性能保障，高鲁棒性和扩展性，是目前研究的重要课题。 电子科技大学硕士学位论文 1 2 当前面临的问题 经过近几年的发展，p 2 p 流媒体技术已经在电话会议，网络直播，点播等应用 上有了广泛的应用，但是由于流媒体本身对带宽的高消费特质和p 2 p 系统的动态 特性，尚有很多问题需要改进和研究： 1 对于p 2 p 直播服务如何降低端到端延时，启动延时，提高播放连续性尚有 改进的空间。这个问题的改进关键在于如何建立优良的网络拓扑结构。如 果要采用基于核心覆盖组播网络来进行内容的分发，那么如何优化组播网 络拓扑结构，减小m s n 节点级的延时就成为研究的重点。现行的核心覆 盖分发网络尚未形成一个完善的理论体系。 2 各服务节点之间的负载均衡是影响整个系统q o s 、可扩展性与网络资源利 用率的一个重要指标。一个如何平均服务节点之间的负载均衡，在核心网 络引入怎样的负载均衡机制也是目前在各个流媒体应用与研究文献中未 能得到一个成熟的机制，不能够权衡负载均衡与网络延时两方面的优化。 1 3 本论文主要内容与贡献 本文系统的研究了基于p 2 p 网络的内容分发技术，深入探讨了流媒体分发网 络的直播体系的组播覆盖网络拓扑结构与搭建，做出如下主要贡献： 1 提出一种基于p 2 p 的大规模流媒体分发网络，采用混合式p 2 p c d n 流媒 体分发体系结构提供大规模p 2 p 直播和点播视频服务。在直播骨干网络分 发拓扑结构优化上进行了深入研究，提出该覆盖网络基于降低延时的拓扑 优化算法，提高了核心骨干传输网络的服务性能，使其可以为用户提供较 高播放体验。 2 使用基于模拟退火的遗传算法来实现组播覆盖核心网络的拓扑优化。该算 法可以有效的降低有带宽输出约束的覆盖网络的传输延时。在遗传算法的 适应度函数上引入退火方法进行拉伸，防止了种群的早衰，并且在染色体 交叉，变异算子中提出了自己的方法，避免了因为出现非法解而引入的修 补和惩罚机制的开销。仿真实验证明该算法有较好的收敛性和较小的平均 路径延时。 3 从组播覆盖核心网络的域间和域内级别负载平衡出发，引入了自己的负载 均衡机制，并对其进行了仿真实验验证其可行性。 第一章绪论 1 4 论文结构 本文共六章。 第一章为绪论，首先介绍了当前的研究背景，有针对性的指出了p 2 p 流媒体 内容分发研究所存在的问题，并在此基础上总结了本文的主要贡献和创新点。 第二章为基础知识的介绍。简明阐述了p 2 p 流媒体技术特点，然后分别按照 拓扑结构、播放类型和服务模式对p 2 p 流媒体技术分类和讨论。其次还介绍了c d n 内容分发技术与目前流行的覆盖网络技术。 第三章在讨论分析了传统c d n 网络以及混合式p 2 p 内容分发网络基础之上， 提出了一种混合式p 2 p 流媒体分发网络p 2 p c d n ，详细介绍了其中的智能发布模 块i n t e l l i g e n t p u b l i s h e r 和在d h t 网络中的内容路由模块c o n t e n t r o u t e r 。 第四章为p 2 p 直播组播覆盖网络拓扑优化研究，提出了基于模拟退火的遗传 算法来构建有出度限制的最小带权延时生成树。使用该算法来减小直播时的网络 时延，达到更好的播放体验。并通过仿真实验检验了该算法的性能与收敛性。 第五章为组播覆盖网络级的负载均衡机制，提出了动态预测算法来实现服务 节点的负载平衡，对其在智能发布模块对负衡机制进行了实现并进行了模拟仿真。 第六章对全文的工作进行了总结，并对进一步的研究做出了展望。 电子科技大学硕士学位论文 2 1 流媒体技术 第二章基础知识简介 流媒体是在互联网上使用流式传输技术的连续时基媒体。它本身不是一种新 的媒体格式，而是一种新的媒体传输方式：不必要下载全部文件，而是在播放时 超前下载部分内容到内存中，随传随播，这样只存在播放最初的少许延迟。 流媒体系统通常包括以下部分：编码系统，传输和流媒体播放系统。编码系 统首先把原始的媒体文件或实时媒体数据压缩成适合网络传输的文件格式( 流格 式) ，然后这些文件被存储在流媒体服务器中。流媒体传输系统包括流媒体服务器 和客户端，通过流媒体协议或普通协议传输流媒体数据交互。 近来的流媒体应用多采用w e b 服务器与流媒体服务器并行服务的模式。如图 2 1 所示，用户通过w e bb r o w s e r 与w e b 服务器建立联接，获取到媒体的基本信息 后启动相应的本地流媒体播放器，然后再连接相应的媒体服务器。一般控制信息 使用h t r p 1 c p 传输，而实时数据用u d p 传输。 a v 播放器s 仃僻控制* 一a v 服务器 图2 1w e b 服务器和多流媒体服务器交互 2 2p 2 p 流媒体分发技术 2 2 1 流媒体网络传输模式 当前的网络传输模式总体上可以分为单播( u n i c a s t ) 【9 】，组播( m u l t i c a s t ) 9 】【1 0 1 和广 摺 ( b r o a dc a s t i n 曲 9 1 。 4 第二章基础知识简介 1 ) 单播：客户端与服务端建立点对点的连接，服务器针对每条连接，即数据通 道发送唯一的数据拷贝给相应客户，而客户也必须每次都向服务器查询。缺点为 网络冗余较大，存在服务器带宽瓶颈。 2 1 广播：服务器与客户端建立起“一对所有”的服务模式，网络中每一节点都对 收到的文件进行无条件复制并转发，而且所有主机都必然接收到所有信息( 不管 是否需要) ，由于其不用路径选择，所以其网络成本可以很低廉，而且服务器流量 负载极低。但是网络中会出现大量冗余数据，出现数据风暴。 3 1 组播：服务器与客户端建立起对一组”或者一组对一组”的服务模式。 它的本质在于不是由服务器对数据进行拷贝，而是将转发任务分散到路由或客户 端。组播源把数据包发送到特定组播群组，而只有属于该组播群组的地址才能接 收到数据包。主机向路由器请求加入或退出某个组，网络中的路由器和交换机选 择性的只将数据传输给那些组内的主机。在组播传输中，某数据源向多个接收者 发送同一数据包，在每条物理链路上只有一份数据( 如果采用t c p 协议，那么物理 链路上将有多份数据传输) ，它能够提高数据传送效率，减少主干网拥塞出的可能 性。组播适用于那些在时间上具有集中性、而在空间上具有分布性的应用。 对于组播技术，应用较多的是i p 组播( i pm u l t i c a s t ) 和应用层组播( a l m ： a p p l i c a t i o nl a y e rm u l t i c a s t ) t ”2 】。i p 组播适用于实时、不可靠的应用。i p 组播主 要由路由器支持组播，而应用层组播则是使用i n t e r n e t 中原有的简单、可靠、单播 的转发模型，由端系统实现组播转发功能。i p 组播与应用层组播示意图如图2 2 所示。 ( b ) 虚崩层组描 图2 - 2i f 组播与应用层组播示意图 电子科技大学硕士学位论文 但是由于口组播需要网络中的路由器支持该技术，所以一直没能得到大规模部署。 最近的基于p 2 p 技术的应用层组播方法，在不改变i n t e m e t 现有基础设施的条件下 在应用层实现组播。虽然它的组播效率相对口组播较低，但是由于有良好的可扩 展性和经济效率，其在近年来得到了广泛的应用。目前应用层组播研究集中于流 媒体分发系统( 如视频广播) 、视频会议系统和订阅分发系统( p u b l i s h s u b s c r i b e s y s t e m ) 等。应用层组播主要用于实时的多媒体传输。这利用了多媒体信息在传输 链路质量下降时，用户仍可利用收到的低速率或者不完整的信息的特点，也利用 了组播“时间上集中、空间上分布 的特点【1 3 】 2 2 2p 2 p 应用层组播拓扑结构 近年来，媒体编码技术、p e e r - t o p e e r 和o v e r l a yn e t w o r k 1 0 】【1 1 】【l 刁( 覆盖网络) 等技术的发展对应用层组播的研究起了很大的促进作用。不断有新的应用方法被 提出，包括使用分布式哈希表( d h t ) 1 4 】 1 5 】【1 6 1 协议维护覆盖网络，用多组播树来代 替单组播树和使用g o s s i p 1 7 】【1 8 】协议来维护组播结构。目前已经有很多应用层组播 协议和系统问世，包括n a r a d a 19 1 ，n i c e 2 0 】【2 1 1 ，a l m - 2 2 1 ，s p r e a d i t 2 3 1 ，z i g z a g 2 4 1 ， s p l i t s t r e a m 2 5 1 ，c o o l s t r e a m i n g 2 6 1 ，a n y s e e 等。还有一些系统，不是纯粹的应用层组 播概念， 而是将p 2 p 和c s 的模式结合，例如c o o p n e t t 2 7 】等。按照应用层组播覆 盖网络的拓扑结构来划分，大体上有三种应用，单组播树结构，多组播树结构和 网络拓扑结构。 2 2 2 1 单组播树结构 单组播树结构是指在整个组播结构中，只构成一棵组播树来传输数据。组播 源为树的根结点，每个非叶子结点从自己唯一的父结点得到全部数据，再复制转 发给自己所有的子结点，叶结点只从父结点得到数据，不再复制转发。当组播树 中的非叶子结点退出时，它的子结点将暂时得不到数据，这时，系统需要尽快重 组连接，为其寻找新的父节点。在进一步的研究中，研究者们开始使用p 2 p 研究 中常用的d h t 协议来构造覆盖网络。下图2 3 是单组播树的模型图： 6 第二章基础知识简介 非叶节点2 退出或出错时，其子节点需要重颗加入 图2 3 单组播树示意图 早期的多媒体分发系统多采用基于单个应用层组播树的拓扑结构，较为典型 的代表有s p r e a d l t 、p e e r c a s t 、z i g z a g 、a l m i 、以及n i c e 等。这样的网络拓扑结 构数据分发方法的研究重点在于如何构造达到较高性能要求的组播树和组播协 议。此外如何增强系统的容错性，鲁棒性，如何有效的提出减少节点退出或失效 对系统的影响的机制。 印度学者b a n e r j e e 2 ”等提出了一种分层结构的分布式自适应组播树构造协议 n i c e ，支持带有大量接收者的低带宽数据流应用。它的优点在于根据建立的覆盖 ( o v e r l a y ) 网络来隐性的确定多播树，这样在覆盖网络的项部就不需要额外的路由 算法。n i c e 协议将多播成员集合安排到一个多层的层次结构中。这种层次结构通 过分配成员到不同的层来创建，层数用l 1 表示，从最底层l 0 开始逐层递加。每 层上的主机被划分为各个簇( c l u s t e r ) ，簇的大小在k 和3 k - i ( k 是常数) 。每个群 集都有领导( l e a d e r ) ，从图论的角度说，领导是群集的中心，也就是群集中到其它 节点的最大距离最小的主机。层l i 上各群集的领导组成l i + 1 层。源服务器存在于 最高层中。它作为分发过程中多播树的根节点，而每个节点都从自己所在簇的领 导上得到数据。节点要加入时搜索根节点，直到在最底层找到合适的簇加入。而 节点离开或失效时，则由同层簇内协商为其子节点找到父节点，而不需要通知根 节点。但是n i c e 协议中处于高层的节点负荷往往过重，且低层节点无需付出服务， 这样造成了非常严重的负载不均衡问题，也使高层节点成为服务瓶颈。图2 4 是 n i c e 的结构示意图： 电子科技大学硕士学位论文 图2 4n i c e 协议组织结构图 由于n i c e 协议对组播树的维护会导致负载不均衡，组播树的根节点会承受非 常高的负载压力，于是学者提出了新的分层组播构造协议z i g z a g ，它区别与n i c e 协议：在每个簇中定义下级( s u b o r d i n a t e ) 节点和外部下级节点，树中每个节点只向 其外部下属节点转发数据。这样一来可以降低簇的维护成本并使其独立于节点总 数，当节点失效或退出时组播树的重建将限制在簇内，降低了控制开销。 2 2 2 2 多组播树结构 多组播树结构是比单组播树更复杂的组播结构，它可以利用覆盖网络中的每 个结点的能力，而不是仅仅利用单组播树中的内部结点，这大大提高了系统的效 率和公平性。s p l i t s r e a m 协议它在源服务器端采用m d c 2 8 】编码对媒体数据进行编 码，并让每棵组播树对应传输一条m d c ( m u l t i p l ed e s c r i p t i o nc o d i n g ) 子流，且采 用m d c 编码的多个流在解码时不存在依赖关系。把需要传输的数据分成m 个 s t r i p e ，针对每个s t r i p e 构造一个组播树。s p l i t s t r e a m 使用d h t 协议s c r i b e 3 1 】和 p a s t r y 2 9 】【3 伽来构造组播树。 典型的多组播树结构还有c o o p n e t ，它也基于m d c 编码，把媒体分为多个 m d c 流分层传输与多棵树上。而每个节点会从它位于的多棵树上收集每层的m d c 流，再把它整合。一个节点收获的子流越多，它的播放效果就越好。当某棵树上 的父节点离开或失效时，其负责的m d c 子流转输中断，但是子节点还可以从其它 树上得到数据，只是播放效果会有所下降。整个网络拓扑由索引服务器来管理和 维护，某个节点加入均向其查询获得单个或多个父节点。多树结构缓解了单树结 构对稳定、可靠的网络环境的严重依赖性，但仍不是非常成功。互联网上的大多 数节点能力薄弱，上行带宽严重不足采用树形结构就会使每个中间节点只能支持 单个子结点的媒体服务，变成线条结构。而且多棵树的组播维护开销大，操作也 很复杂。 第二章基础知识简介 2 2 2 3 网状组播结构 网状结构中的任意节点可以从多个逻辑邻居节点来获取媒体数据，这个特征 可以极大的提高系统的稳定性和服务成功率。典型的网状结构有p r o m i s e e 3 2 】， c o o l s t r e a m i n g ，g r i d m e d i a e 3 3 】等系统。这些系统都采用伯克利大学的g o s s i p 协议来 构造一个随机的网络拓扑。在g o s s i p 协议中，节点首先将消息发送给周围的一组 随机选择的邻居节点，而这些节点再执行相同的操作，直到数据传遍整个网络。 为了改善直接使用g o s s i p 协议进行组播传输所产生的大量冗余数据，香港科 技大学研究生张欣研提出了c o o l s t r e a m i n g 系统。它实际上是基于g o s s i p 协议的 应用层组播覆盖网：g o s s i p 协议不是作为组播分发协议，而是作为覆盖网络的维 护协议。图2 5 是c o o l s t r e a m i n g d o n e t 系统框图： 图2 5d o n e t 系统框图 它主要含有三个关键模块：( 1 ) 成员管理模块( m e m b e r s h i pm a n a g e r ) 。节点用它 来维护其它的部分覆盖网节点。( 2 ) 伙伴管理模块( p a r t n e r s h i pm a n a g e r ) ，负责于其 他节点建立伙伴关系。( 3 ) 调度者模块( s c h e d u l e r ) 用于管理和调度数据的传送。对 于媒体流的每个s e g m e n t ，任意d o n e t 节点都可以是一个接收者或媒体源，这动 态的依赖于在节点和其伙伴间定期交换的可用性信息。在数据调度过程中，优先 调度副本数相对较少的内容分片，并且在多个拥有这个分片的提供者中，以拉 ( p u l l ) 的方式优先向可用带宽高和在线概率较大的节点请求并获得数据。 c o o l s t r e a m i n g d o n e t 这种组播结构的最大优势是具有良好的容错性和可扩展 性，在网络动态变化、结点频繁加入退出的条件下受影响比较小，在系统规模比 较大时也能使用。另外，这种结构算法比较简单，不需要维护复杂结构，便于实 现。但是，系统中数据传输的延迟还是比较多，相当于占用了更多的网络带宽， 9 电子科技大学硕士学位论文 并造成较大的数据延迟。与单组播树和多组播树的方案相比，基于网状拓扑的传 输方案具有更高鲁棒性( r o b u s t ) ，在节点频繁的退出和加入的情况下，对播放的平 稳效果影响较小，但是上层传输覆盖网络的拓扑不匹配问题依然存在。 2 2 3 直播与点播 上文谈到的单播与组播是针对数据的传送方式而言的，而点播与直播则是针 对网络应用而言的。点播时客户端与服务节点之间建立主动的连接，在点播连接 中，用户通过选择内容项目来初始化客户端连接，一个客户端从服务器接收一个 媒体流( 这个连接是唯一的，其它用户不能占用) ，并且能够对媒体进行开始、停 止、后退、快进或暂停等操作，客户端拥有流的控制权。 2 2 3 1 直播技术 目前的流媒体直播技术多是基于p e e rt op e e r 网络的应用层组播的实时同步无 时移的流媒体技术。基于i n t e m e t 的直播系统与2 1 节中谈到的流媒体系统结构没 有太多差别，编码系统即直播源负责a f v 数据的采集和编码，把压缩好的数据p u s h 到所在的覆盖网络即传输系统中。每个覆盖网中的节点既可以作为中间传输者， 可以作为播放系统对收到的数据解码播放。整个过程对于实时同步的要求非常高， 因为太长的时延往往导致数据到达节点时已无效，造成极大的带宽浪费。 其q o s 的几个重要因素包括时延，丢包，失序，抖动，最大和最小网络利用 率，瞬间流动率，媒体丢失率等。时延指得是媒体数据媒体数据包从发送到接收 所消耗的时间。媒体丢失率指的是单位时间内( 秒) 丢失的或出错的媒体数据包 数