（计算机应用技术专业论文）基于kad协议的p2p流媒体点播系统.pdf

南京邮电人学颂i j 研究生学位论文 摘要 摘要 p 2 p 技术的迅速发展，使其成为构建广域网中大型分布式系统的强有力工具。p 2 p 采 用完全分布式结构，网络中的节点既充当客户端角色获取其他节点的资源或服务，同时又 充当服务器角色向其它节点提供资源或服务。使用p 2 p 技术的系统具有比传统的c s 系统 更好的健壮性和可扩展性。p 2 p 流媒体系统作为p 2 p 技术的重要应用之一，已成为当前分 布式系统领域的一个研究热点。使用p 2 p 技术进行流媒体点播能有效降低服务器资源和带 宽资源，降低运营成本，提高网络效率，更好地适应异构网络，减少部署成本和复杂度。 目自玎基于p 2 p 的流媒体点播系统己有多种实现方案，但仍然存在一些共性的问题有待解决， 这些问题包括：传输延时大、网络的不可控、节点上下行带宽不对称等。 本文针对大规模p 2 p 流媒体点播中存在的问题进行了深入的研究，从覆盖网结构、节 点管理与维护、数据调度策略以及异常处理等方面对现有的几种典型p 2 p 流媒体系统模型 进行了对比分析。对于当前系统中已存在的组播结构不稳定、异构节点适应性差、数据调 度效率低、控制丌销大等问题，引入k a d e m l i a ( 文中简称k a d ) 路由算法进行文件传输， 并在此基础上设计了一种p 2 p 网络流媒体点播系统。 k a d 通过异或算法( x o r ) 度量节点间的距离，使用“k 桶”路由表，建立一种全新 的d h t ( d i s t r i b u t e dh a s ht a b l e ) 拓扑结构，与现有算法相比大大提高了路由查询的效率。 该系统以分布式哈希技术为基础，引入地域感知( 1 0 c a l i t ya w a r e n e s s ) ，高效内容路由和节 点选择算法等，使系统具有良好的可扩展性及q o s 保障，能够以较小的服务器代价实现大 规模的点播应用。实验结果表明，该系统能有效降低流媒体数掘的传输延迟和带宽，具有 控制开销小、延迟低、可靠性高和不依赖服务器等特点，对提高p 2 p 网络安全性和稳定性 等具有显著效果。 关键词：p 2 p ，k a d ，流媒体点播，传输调度 a b s t r a c t t h er a p i dd e v e l o p m e n to fp 2 pt e c h n o l o g ym a d ei ta so n eo ft h em o s tp o w e r f u lt o o l sf o rt h e c o n s t r a c t i o no fl a r g e s c a l ed i s t r i b u t e ds y s t e mo v e ri n t e m e t 。p 2 pn e t w o r ku s e st h ec o m p l e t e l y d i s t r i b u t e ds t r u c t u r e ，i nw h i c hn o d e sn o to n l y g a i nr e s o u r c e so rs e r v i c ef r o mo t h e r s ，b u ta l s o c o n t r i b u t et h o s et oo t h e r s t h ep 2 pn e t w o r ki sm o r er o b u s ta n de x t e n d i b l et h a nt r a d i t i o n a l c s s y s t e m t h e r e f o r e ，a so n eo ft h em o s tp e r s p e c t i v ea p p l i c a t i o n s ，p 2 ps t r e a m i n g s y s t e mh a s b e c o m eo n eo ft h eh o t s p o t so fp 2 pr e s e a r c h p 2 pb a s e dl i v es t r e a m i n gs y s t e mc a nr e d u c et h e s e r v e rr e s o u r c e s ，b a n d w i d t hr e s o u r c e sa n dr e d u c ed e p l o y m e n tc o s t i t i sm o r ea d a p t i v et o h e t e r o g e n e o u sn e t w o r ka n dc a nr a i s et h en e t w o r ke f f i c i e n c y , a sw e l la sr e d u c ed e p l o y m e n tc o s t a n dt h eo r d e ro fc o m p l e x i t y t h ee x i s t i n gs y s t e m ss t i l lh a v es o m ec o m m o np r o b l e m st os o l v e ， i n c l u d i n gl o n gs c h e d u l i n gd e l a y , u n c o n t r o l l a b l en e t w o r k ，a s y m m e t r i c a lt r a n s m i s s i o na n d s oo n 。 d e e pr e s e a r c ho ns e v e r a lb a s i ci s s u e so np 2 pl i v es t r e a m i n gs y s t e mi sp r e s e n t e di n t h i s t h e s i s ，i n c l u d i n gt h ed e s i g n o fo v e r l a yn e t w o r k ，m a n a g e m e n ta n dm a i n t e n a n c eo fn o d e s ， s c h e d u l i n go f d a t as e tb e t w e e nd a t as e n d i n gn o d e st oo b t a i nm i n i m u md e l a y ，a n de t c w i t h i nt h e a b o v ei s s u e s ，ap 2 pm e d i as t r e a m i n gs y s t e mw a sd e s i g n e dt od e m o n s t r a t eaw e l l o r g a n i z e d ，w i t h t h ek a d ( k a d e m l i a ) r o u t i n ga l g o r i t h mi n t r o d u c e dt oc a r r yo nt h ef i l et r a n s f e r k a dm e a s u r e st h ed i s t a n c eb e t w e e nn o d e sb yt h ex o ra l g o r i t h m ，a n de s t a b l i s han e w t o p o l o g i c a ls t r u c t u r ew i t ht h e “kb u c k e t ”r o u t i n gt a b l e c o m p a r e dw i t he x i s t i n ga l g o r i t h m s ，k a d c a ng r e a t l yr a i s et h ee f f i c i e n c yo fr o u t eq u e r y b a s e do nt h ed i s t r i b u t i v eh a s ht e c h n o l o g y , t h e n e ws y s t e mi n t r o d u c e dt h ec o n c e p t i o no f “l o c a l i t ya w a r e n e s s ”，e f f i c i e n tc o n t e n tr o u t i n ga n dn o d e c h o o s i n ga l g o r i t h m a l lt h e s eh e l pt or a i s et h ee x p a n s i b i l i t yo ft h es y s t e ma n dp r o v i d eq o s g u a r a n t e e ，a n de n a b l et h es y s t e mt or e a l i z eap r o g r a m m eo r d e r i n ga p p l i c a t i o no nal a r g es c a l e w i t hl o ws e r v e rc o s t e x p e r i m e n t a ld a t as h o w e st h a tt h i ss y s t e mc a l lr e d u c et h eo v e r h e a do f c o n t r o la n dd a t as c h e d u l i n gd e l a y ，i m p r o v et h er e l i a b i l i t ya n di si n d e p e n d e n to fs e r v e r i th a s r e m a r k a b l ee f f e c to ne n h a n c i n gt h ep 2 pn e t w o r ks e c u r i t ya n ds t a b l i l i t y k e y w o r d s ：p 2 p ，k a d ，s t r e a m i n gm e d i ao nd e m a n d ，t r a n s m i s s i o ns c h e d u l i n g 南京i 蟾电大学硕十研究生学位论文 墅堕! l - _ - _ _ _ _ _ 一。一一一一 缩略词 缩略词 英文全称 译文 a l m a p p l i c a t i o nl a y e rm u l t i c a s t 应用层组播 a s fa d v a n c e ds t r e a mf o r m a t 高级流格式 b g pb o r d e rg a t e w a yp r o t o c o l s 边界网关协议 c a nc o n t e n ta d d r e s s a b l en e t w o r k s 内容寻址网络 c d nc o n t e n td e l i v e r yn e t w o r k s内容分发网络 d h t d i s t r i b u t e dh a s ht a b l e 分布式散列表 d o s d e n i a lo fs e r v i c e 拒绝服务 i 呵pf i l et r a n s f e rp r o t o c o l 文件传输协议 i e t ft h ei n t e r n e te n g i n e e r i n gt a s kf o r c e互联网工程任务组 i s pi n t e r n e ts e r v i c ep r o v i d e r互联网服务提供商 q o sq u a l i t yo fs e r v i c e 服务质量 r p cr e m o t ep r o c e d u r ec a l lp r o t o c o l 远程过程调用协议 r s v p r e s o u r c er e s e r v a t i o np r o t o c o l 资源预留协议 r t c pr e a l - t i m et r a n s p o r tc o n t r o lp r o t o c o l 实时传输控制协议 r t pr e a l - t i m et r a n s p o r tp r o t o c o l 实时传输协议 r t s pr e a lt i m es t r e a m i n gp r o t o c o l 实时流协议 s d d ss c a l a b l ed i s t r i b u t ed a t as t r u c t u r e s 可扩展的分布式数据结构 t c p t r a n s m i s s i o nc o n t r o lp r o t o c o l 传输控制协议 t t l t i m et o l i v e 生存时i b j u d pu s e rd a t a g r a mp r o t o c o l 用户数据报协议 v o dv i d e oo nd e m a n d 视频点播 6 4 南京邮电大学颀_ 1 ：研究生学位论文 图表清单 图表清单 图2 1 流式传输的基本原理9 图2 2p a s t r y 的消息路由1 3 图2 3c h o r d 的拓扑结构1 3 图2 4n a p s t e r 的拓扑结构1 5 图2 5g n u t e l l a 的拓扑结构1 6 图2 6 基于超级节点的混合式p 2 p 网络结构1 6 图2 7d o n e t 中节点的架构- 2 1 图3 1节点o o11 的子树划分2 4 图3 2 通过i d 值定位目标节点一2 4 图3 3k 桶结构- = 2 5 图3 4g n u t e l l a 网络中在线时长和继续在线的概率关系一2 6 图3 50 【= 1 时的查询过程2 8 图3 6 节点o lo o 的路由表生成演化2 9 图3 7 节点0 1 0 0 的k 桶分裂过程3 0 图3 8 流媒体数据传输过程3 2 图4 1节点i d 3 6 图4 2 资源发布流程图3 8 图4 3资源查找流程3 9 图4 4 模块结构图4 4 图4 5 节点管理器工作流程：4 5 图5 1 系统框架4 9 图5 2 界面1 5 2 图5 3 界面2 一5 2 图5 4 界面3 5 2 图5 5 界面4 5 5 图5 6 基于k a d 协议的p 2 p 架构点播实验拓扑图5 8 图5 7 节点在稳定后的上下行速率变化曲线5 9 表5 1 不同在线人数情况下的系统性能对照表5 8 6 5 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的 研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究 成果，也不包含为获得南京邮电大学或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示了谢意。 研究生签名 嗍：丝p 。 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权 保留本人所送交学位论文的复印件和电子文档，可以采用影印、 缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文 的内容相一致。除在保密期内的保密论文外，允许论文被查阅和 借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公 布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签 导师签名：燃期：二二乙生，l 南京邮l 乜人学硕j ：研究生学位论文 第一章绪论 第一章绪论 伴随着大规模存储、高性能工作站以及宽带网络等技术的突飞猛进，传统影视媒体市 场与计算机网络应用服务相融合，产生了网络v o d 、在线音乐、远程教育、宽带网络电视 等新的应用，也使得种类繁多的多媒体通信( m u l t i m e d i ac o m m u n i c a t i o n ) 服务在技术上和 经济上成为可能。流媒体技术【卜3 】的出现，使得声音、影像或动画等可以由音视频服务器向 用户计算机连续、实时传送，用户不必等到整个文件全部下载完毕就可观看到媒体，从而 满足了实时交互的需要。但是，随着流媒体服务应用的不断普及和用户数目的不断增加， 过多的用户数目经常会造成服务器带宽或网络带宽的耗尽，系统资源仍然无法满足实际应 用的需求。互联网上的流媒体服务在可扩展性( s c a l a b i l i t y ) 和容错性等方面还远没有达到 可以与w w w ，f t p 等传统应用相比拟的服务质量( q u a l i t yo f s e r v i c e ，q o s ) 。 1 1 研究背景和意义 流媒体服务系统的核心是如何实现一个经济、高效的流媒体通信传输系统。传统的分 布式多媒体系统主要使用c s ( c l i e n t s e r v e r ) 模式，服务器以单播的方式和每个客户建立 连接。由于流媒体服务具有高带宽、持续时问长等特点，随着客户数目的快速增加，服务 器的资源( 如带宽) 很快就被消耗完，成为系统瓶颈所在，导致系统的可扩展性极差。为 了解决系统的可扩展性问题，许多研究都提出了相应的解决办法。如i p 组播技术1 4 儿5 | ，实 现了i n t e r n e t 上高效的一对多通信，提高了系统的可扩展性。此外，在此基础上提出的补 丁( p a t c h i n g ) f 6 1 、周期广播( p e r i o d i cb r o a d c a s t ) 【7 】【8 】以及流合并( s t r e a m i n gm e r g e ) 【9 】 等技术也极大地减少了服务器带宽的消耗。然而，由于i n t e r n e t 中多数i s p 不支持i p 组播， 并且存在许多技术难题( 如很难实现可靠性组播和拥塞控制等) ，i p 组播技术没有真正得 到广泛的应用。另种方案就是在网络边缘部署代理缓存( p r o x yc a c h i n g ) 1 0 】或内容分发 网络c d n ( c o n t e n td e l i v e r y n e t w o r k s ) i 】，媒体服务器将媒体内容存放在代理缓存或c d n 服务器上，客户请求媒体服务器时，可从代理缓存或c d n 服务器获得服务，而不必消耗 服务器的资源。但此时代理缓存或c d n 服务器很有可能成为系统瓶颈，所以这种方案只 是部分地解决了可扩展性问题。 p 2 p 网络( p e e r - t o p e e rn e t w o r k ) 【1 2 1 5 1 的研究在文件共享、应用层组播方面得到了广 南京邮 乜人学硕二j ：研究生学位论文 第一章绪论 泛的关注，p 2 p 技术得以快速地发展。在p 2 p 方式下，每个对等实体( p e e r ) 既是服务的 提供者，又是服务的享用者。p e e r 为系统提供有限的计算或存储资源，p e e r 之间协作为其 他p e e r 提供服务，将服务器的负载分散到p e e r 中。加入系统的p e e r 越多，p e e r 贡献的资 源也越多，整个系统总的服务能力就越强，从而有效减轻了服务器的负载，极大提高了系 统的可扩展性。随着n a p s t e r t l 6 1 ，g n u t e l l a t l7 1 ，k a z a a t l8 1 ，b i t t o r r e n t l l 9 和p p l i v e 等软件同益 广泛的应用，对等网络技术在文件共享方面已经取得巨大的成功。将p 2 p 引入流媒体服务， 将打破传统的c s 模式，使服务分散化，从而减轻服务器负载并支持更大范围流媒体发布。 在p 2 p 网络模式下，如何实现一个经济、高效的流媒体传输系统，仍然是一个核心问 题。国内外许多研究机构和学者对流媒体服务系统进行了广泛地研究，取得了积极的成果。 由于宽带接入技术、媒体压缩技术的发展及宽带多媒体业务需求的增加，未来的几年 内，流媒体业务将保持强劲的增长势头，具有广阔的市场前景。流媒体技术不仅可以广泛 应用于互联网多媒体新闻发布、在线直播、网络广告、网络视频广告、电子商务、视频点 播、远程教育、远程医疗、网络电台、实时视频会议等互联网信息服务领域，还可以应用 于移动通信领域的3 g 业务中。 i n t e r n e t 上已有超过1 8 0 0 家广播电台和电视台实现了网上点播1 2 0 】，世界上几大有影响 的媒体，如b b c ，c n n ，a b c ，v o a 等等，都在网上丌通了自己的网上广播。国内一些 广播电台和电视台，例如c c t v c o m ，b t v c o m 和c a t v n e t ，虽然已经在自己的网站上丌 始了试验性的视音频点播，但其视音频点播系统平台无例外采用的都是外国公司的核心 技术，系统规模不大，安全性也没有保证，很难大规模开展这方面的业务。随着网络宽带 化的飞速发展，作为第四媒体的i n t e r n e t 必将超过另外三种媒体成为主流的信息交换平台， 从而对流媒体业务平台安全性的认识需要上升到国家安全的高度来认识，独立自主丌发安 全可靠、具有自主知识产权的流媒体增值业务平台己经成为国家的当务之急。 在我国，以中央电视台、中国国际广播电台等为代表的主要传播机构，早在七八年前 即开始关注流媒体技术的发展及应用，并积极尝试流媒体在网络直播、视音频新闻播出、 视频广告等领域的应用，为推动流媒体在我国新闻传播等领域的大量应用打下了峰实的基 础。流媒体应用目自仃处于一个快速发展的阶段，网络电视( i p t v ) 、无线流媒体、数字家 庭等流媒体应用都将蓬勃发展，改善人类生活方式。在现有网络架构中，优化和改进流媒 体传输技术，突破传统的流媒体服务瓶颈，使用户主观体验到高品质的流媒体节目具有巨 大的现实意义。 本课题研究的目的就是要建立相关的流媒体系统模型，改进、优化现有的传输算法， 利用文件传输技术设计p 2 p 网络模式下的流媒体系统传输方案，构造一个良好的适合于当 南京邮电大塑研究生堂垡笙壅 笙二至 笙堡 _ _ _ - - ，_ _ - _ _ _ - _ _ _ _ - _ _ _ _ _ - _ - _ _ _ _ _ 一。 今网络条件的流媒体传输系统，为提供优质的流媒体服务作贡献。 1 2 国内外研究现状 在p 2 p 流媒体中，引入了应用层组播a l m ( a p p l i c a t i o nl a y e rm u l t i c a s t ) 的概念，即 将服务器和参与服务的节点组织成组播组，数据是通过组播组中节点之间建立的p 2 p 覆盖 网络( o v e r l a yn e t w o r k ) 来传送的。在基于a l m 的p 2 p 流媒体传输中，各个p e e r 之间在 提供的带宽、存储空间以及c p u 能力等方面通常存在着很大的异构性，有些p e e r 所提供 的出口带宽不能支持一个完整的媒体流的传送，因此常常需要几个p e e r 同时对一个p e e r 进行服务。a l m 克服了i p 组播的缺陷，无需更改网络协议和网络设备的配置，在客户机 间复制和转发数据，数据报沿逻辑链路转发，客户机间建立了一个叠加在i p 网络上、实现 组播业务逻辑功能的网络。但如何构建有效的基于a l m 的p 2 p 覆盖网络仍是个难点。 目前，可以按照不同方式给p 2 p 流媒体模型进行分类。按数据分发特点主要可以分为 两大类【2 1 】：基于树状拓扑的协议及扩展( t r e e b a s e dp r o t o c o la n de x t e n s i o n s ) 和基于g o s s i p 的协议( g o s s i p b a s e d p r o t o c 0 1 ) 。按流媒体传输方式可以分为两种：基于应用层组播 a l m ( a p p l i c a t i o nl a y e rm u l t i c a s t ) 【2 2 埘】的p 2 p 流媒体传输和基于单播( u n i c a s t ) 的p 2 p 流 媒体传输。按覆盖网络的节点组成又可以分为三类【25 】：由特定服务器所组成的架构式 ( i n f r a s t r u c t u r e b a s e d ) 、纯粹由组播组内成员所组成的p 2 p 式( p e e r - t o p e e rb a s e d ) ，以及 由服务器与组播组内成员共同组成的混合式。 由于p 2 p 流媒体服务的优越性，近年来，基于p 2 p 的流媒体传输方法得到极大关注。 国外特别是欧美在流媒体系统研究取得了良好的研究成果，推动了p 2 p 流媒体技术的发展。 下面简要介绍一些国外典型的p 2 p 流媒体系统。 s p r e a d l t l 2 6 】体系采用p e e r c a s t 2 7 】协议将p e e r 组织成单一的组播树，利用p e e r 的资源转 发媒体流。在该体系中，根节点s 为源服务器，当新节点加入时，从s 丌始搜索，直到发 现某个非饱和的节点，并把新节点作为其子节点加入。缺点是一旦父节点失效，子节点需 要从根节点开始重新启动搜索加入过程，从而导致服务中断的时间太长。在下一章中的树 型直播模型中将对其做进一步介绍。 文献【2 8 提出了一种利用b g p ( b o r d e rg a t e w a yp r o t o c o l s ) 路由表构造多播树的协议， 该协议以b g p 路由表中的信息为基础，把参与活动的节点划分为多个簇( c l u s t e r ) ，并建 立中心索引服务，以记录和维护每个簇及簇内节点的带宽、缓存等信息。该协议的优点是 简单，并可以就近找到对等服务节点，缺点是依赖中心索引维护整个多播树，不适应大规 模的p 2 p 流媒体应用，同时也存在单点失效的隐患。 南京i i i i j t 匕人堂顾i ：f 巫塑! 堂垡堡塞 笙二童竺丝 _-_。+。!一一一。一一 p r o m i s ee 2 9 3 机制采用c o l l e c t c a s t 协议【3 0 】，利用n e t w o r ky o m o g r a p h y 技术预测网络的 拓扑结构，并将估测的结构进行优化，然后采用t o p o l o g y a w a r e s e l e c t i o n 算法选出最佳的 发送节点组和备选组。p r o m i s e 解决了如何根据动态变化的网络状况和拓扑选取最好的 服务提供者的问题，同时提出了如何在各个服务提供者分配传输的数据以及传输速率的算 法。其缺点是网络拓扑推测和优化技术难度很复杂。 根据层次簇的思想，研究人员提出了二种分布自适应的多播树构建协议，称为n i c e 协议。其优点在于节点的维护负载较轻，并且节点的退出只影响局部节点，不影响根节点。 缺点是层次越高节点负载越重，当系统规模很大时可能成为系统的瓶颈。有关n i c e 协议， 在下一章中的树型点播模型中将做进一步介绍。 鉴于n i c e 协议的不足，研究人员又提出了一种新的基于层次簇思想的多播树构建协 议z i g z a g t 3 。它将p e e r 组织成层次式的集群，按照一定的规则建立组播树，弥补了n i c e 的缺陷，实现了大规模的组播应用。这个模型为树的深度和宽度均衡提供了很好的解决方 法，但是这种模型没有解决叶子节点没有参与数据分发的问题，资源利用率不高。 c o o p n e t 3 2 】【3 3 1 和s p l i t s t r e a m t 3 4 1 是针对叶子的利用率提出的解决方案，它们部署多重描 述编码m d c 35 1 ，将媒体源文件划分成多个码流，使得在树中的每个叶子节点在其他树中 为非叶子节点，同时也提高了系统的稳定性。s p l i t s t r e a m 基于s c r i b e t 3 6 】协议，s c r i b e 协议 的主要作用是把p 2 p 网络中的邻近节点连接在一起，减少了应用层组播的延时，但是每个 参与组播的节点必须转发其不感兴趣的视频流。c o o p n e t 和s p l i t s t r e a m 解决了叶子节点的 利用率问题，但是引入了冗余的编码，实际上是用网络效率来换取可靠性。 d i r e c t s t r e a m 3 7 1 是一个基于目录的流媒体系统，影片索引信息及组播树中所有p e e r 的 信息都由目录服务器进行维护。新的p e e r 加入时查找目录，若存在满足其请求服务的组播 树则加入相应的组播树，否则从服务器处取得服务并创建新的组播树。 p 2 v o d l 3 8 是一种仅使用网络层单播策略的p 2 p 流媒体系统，利用客户端的资源来处理 用户的异步的请求。p 2 v o d 中的每个客户端采用一个可变长的f i f o 缓存来保存它接收到 的最近的视频流，并引入“代”的概念，允许客户端在不同时刻加入到p 2 p 网络中，并且 存储接收到的视频。 此外，也有一些研究机构将传统的流媒体技术运用于p 2 p 系统。如i b m 中国研究院 将层次式的流合并技术集成到p 2 p 视频系统中。而美国奥利根大学研究的p a l s l 3 9 】自适应 分层媒体流框架，利用了媒体流的分层编码技术，各个p e e r 发送不同层的编码流，由接收 者根据其能力接收若干层的编码。工业界也提出了以实时流为目的的a l l c a s t 4 0 1 、v t r a i l s 4 1 1 和b l u e f a l c o n 【4 2 1 ，目前由于还缺少相关的发布信息，因而无法对它们作比较。 4 南京邮电人学硕士研究生学位论文 第一章绪论 - - - _ - - _ _ _ 1 。”。：i ：一 在国内，香港中文大学张欣研等人提出了基于g o s s i p 4 3 协议的d o n e t 】模型f 4 4 】。基于 g o s s i p 的算法是当前p 2 p 系统中比较流行的消息分发算法。一个典型的g o s s i p 算法中，节 点随机的给系统中的部分节点发送消息，每个接收到消息的节点继续向其它节点发送消 息，重复这个过程，直到消息被发送给系统中的所有节点。d o n e t 是一个数据驱动的重叠 网络，其核心操作非常简单：每一个节点与一组伙伴周期性地交换数据和可用性信息，从 一个或多个伙伴那罩接收自己所需要的数据，并把自己所拥有的数据提供给需要的伙伴。 d o n e t 并不显式的构造节点之间的拓扑结构，而是通过g o s s i p 协议，每个节点维护系统中 部分其他节点的视图，每个节点动态的和其它节点交换缓存信息，并根掘缓存信息交换节 点之间的媒体数据，在这种系统中，通常需要比较大的缓存，系统的启动延迟相对比较大。 目前，国内基于p 2 p 的流媒体系统的研究及应用发展迅速，并已经出现一批具有领先 水平的应用成果，比如a n y s e e 4 5 1 ，p p l i v e 4 6 1 ，p p s t r e a m l 4 刀，p 2 p i p t v l 4 引，g r i d m e d i a l 4 9 】以及 t v a n t s 5 0 j 等。 a n y s e e 是华中科技大学设计研发的流媒体系统，它采用了一对多的服务模式，支持部 分n a t 和防火墙的穿越，提高了流媒体系统的可扩展性；同时，它利用近播原则和分域调 度思想，使用l a n d m a r k 路标算法直接建树的方式构建应用层上的组播树，克服了一对多 模式系统由联接图的构造和维护带来的负载影响。p p l i v e 是一款用于互联网上大规模视频 直播的共享软件，使用网状模型，有效解决了当前网络视频服务的带宽和负载有限问题。 p p s t r e a m 是一套完整的基于p 2 p 技术的流媒体超大规模应用解决方案，包括流媒体编码、 发稚、广播、播放和超大规模用户直播，能够为宽带用户提供稳定和流畅的视频直播节目。 p 2 pi p t v 是c c i p t v 网络电视自主开发的基于i n t e r n e t 的p 2 p 流媒体传输系统，采用了最 新的h 2 6 4 编解码标准，并对h 2 6 4 标准进行优化和扩展。g r i d m e d i a 是国内第一个基于网 格技术的流媒体系统，采用d r m 框架，能够保证媒体内容的版权以及用户的权益。t v a n t s 是一种全新的流媒体播放软件，其核心技术类似于现在非常流行的b i t t o r r e n t ，使得带宽的 占用达到最大化，获得最佳的播放效果。 1 3 本文研究内容和组织结构 基于p 2 p 网络的流媒体系统，同时涉及到资源分配和资源定位两方面的问题，也就是 况，在资源发布之初需要合理地将流媒体资源分发到部分节点上，并且其他节点可以通过 一定算法定位这些含有流媒体资源的节点。在已有的p 2 p 流媒体服务中，这种分发和定位 都是由服务器完成，并没有完全充分利用p 2 p 网络的优点，在大规模服务时很容易造成服 务器瓶颈问题，而且目前的资源分发和定位算法也有待改进，往往为了保证播放流畅性而 - 5 堕皇坐坐生叁登硕j j 研究生学 兰堡兰 笙二主笪堡 _ _ - _ _ _ _ - - _ - _ - - 一 一 存在很大的延迟，所以新算法需要在不影响流畅性的前提下尽可能减少延迟时间。 本文研究的重点，在于使用合理的p 2 p 网络拓扑结构解决流媒体资源的分发和定位问 题。本文研究的预期目标是：通过采用一种新的p 2 p 网络拓扑结构，充分利用客户端系统 资源，解决服务器存在的瓶颈问题以及高延迟问题。本文研究的主要内容包括： ( 1 ) 采用分布式哈希表( d i s t r i b u t e dh a s ht a b l e ) 技术构建p 2 p 网络，提高流媒体点 播系统在大规模应用情况下的可扩展性，同时在保证流畅性情况下降低播放延迟； ( 2 ) 采用合理的资源分配和资源查找算法，便于流媒体数据的发布和查找； ( 3 ) 基于适合流媒体传输的路由算法构建流媒体系统模型，并使用可靠的数据分组 传输方法和调度方法，使系统具有良好的可扩展性及q o s 保障。 论文全文共分五章，各章节内容组织安排如下： 第一章为绪论。介绍课题的研究背景和意义，着重对国内外各种流媒体数据分发技术、 研究现状进行综述和对比，最后指出论文的研究内容和组织结构安排。 第二章对p 2 p 流媒体系统的相关理论和p 2 p 研究领域内的一些核心问题和关键技术进 行研究。分析了传统流媒体系统中可供借鉴的技术，主要是传输质量控制、传输协议等。 最后分类阐述并对比现有p 2 p 流媒体的研究成果，找出存在的不足。 第三章主要围绕k a d 网络节点问的组织和路由原理等方面展开，分析了其在流媒体点 播中的可用性。把在k a d 路由技术中使用关键字、文件的散列值分发和定位索引信息的方 法应用于流媒体数据的分发和定位过程，为下一步构建基于k a d 的p 2 p 流媒体系统打下理 论基础。 第四章以k a d 协议的分布式哈希技术为基础，引入地域感知、成长优先的高效内容路 由和节点选择算法等，设计了一种适用于p 2 p 环境下的流媒体点播系统模型。重点论述了 系统所采用的节点调度算法和数据传输策略，包括k a d 路由表的建立，通过优先选择服务 能力强的节点获取数据并通过积极的转发数据来减轻服务器的负载，使系统的整体的扩展 性、可靠性和稳定性提高，并减少播放延时。 第五章对所设计的流媒体点播系统进行了实现，并在统一参数的情况下，对系统主要 性能进行了对比分析，证明了本文设计的系统在稳定性、高效性、减轻服务器负载和缩短 播放延时等方面都达到很好的效果，达到了预定设计目的。 最后对全文的研究工作进行总结，并对进一步的工作进行了展望。 南京邮电大学硕士研究生学位论文 第二章p 2 p 流媒体技术综述 第二章p 2 p 流媒体技术综述 流媒体技术主要涉及到媒体格式、播放方式、传输协议等几个方面。在单纯的流媒体 系统中用户之间是没有任何联系的，当采用p 2 p 技术进行流媒体传输时，每个流媒体用户 是p 2 p 中的个节点，用户可以根据他们的网络状态和设备能力与一个或几个用户建立连 接来分享数据，这种连接能减少服务器的负担并提高每个用户的视频质量。采用p 2 p 技术， 即使是大量的用户同时访问流媒体服务器，也不会造成服务器因负载过重而瘫痪。此外， 对于多用户之间的多媒体实时通信，p 2 p 技术也会对网络状况和音视频质量带来很大改进。 这是由于可伸缩性码流本身具有可加性，媒体数据不用全部传输给每个用户，而是把它们 分散传输给每个用户，再通过用户之间的连接，每个用户就可以得到合在一起的媒体数据。 即使每个用户与服务器的连接带宽是有限的，应用p 2 p 技术，每个用户依然可以通过流媒 体系统享受高质量的多媒体服务。作为本文后续章节的基础，本章主要阐述p 2 p 技术和流 媒体技术的基本原理，着重介绍p 2 p 拓扑结构，以及目前p 2 p 网络流媒体模型的典型代表 及其关键技术。 2 1 流媒体技术 所谓流媒体是指采用流式传输的方式在i n t e m e f f i n t r a n e t 播放的媒体格式，如音频、视 频等多媒体文件。一般说柬，流媒体包括两种含义：广义上的流媒体是指音频、视频等 多媒体内容稳定、连续的传输流和回放流的一系列技术、方法、协议的总称，习惯上称之 为流媒体系统：狭义上的流媒体是相对于传统的下载回放模式而言的_ 种新的媒体播放 模式，在这种模式中，用户不用等待漫长的下载时间，就能快速的从网络上获耿音频、视 频等连续的多媒体内容，最终实现边下载边播放的目标。 2 1 1 流媒体文件格式 目前采用流媒体技术的音视频文件，主要有微软公司的a s f 5 2 】【5 3 1 ( a d v a n c e ds t r e 锄 f o r m a t ) 、r e a l n e t w o r k s 公司的r e a l m e d i a 和a p p l e 公司的m o v 三种格式。 微软公司的a s f 格式文件，其后缀是a s f 和w m v ，与它对应的播放器是微软公司的 m e d i ap l a y e r 。用户可以将图形、声音和动画数据组合成一个a s f 格式的文件，也可以将 南京邮 乜人学硕l ：研究生学位论文 第- 二章p 2 p 流媒体技术综述 其他格式的视频和音频转换为a s f 格式，而且用户还可以通过声卡和视频捕获卡将诸如麦 克风、录像机等外设的数据保存为a s f 格式。 r e a l n e t w o r k s 公司的r e a l m e d i a 5 3 】格式文件包括r e a l a u d i o 、r e a l v i d e o 和r e a l f l a s h 三 类，其中r e a i a u d i o 用来传输接近c d 音质的音频数据，r e a l v i d e o 用来传输不间断的视频 数据，r e a l f l a s h 则是r e a l n e t w o r k s 公司与m a c r o m e d i a 公司联合推出的一种高压缩比的动 画格式。r e a l m e d i a