（计算机科学与技术专业论文）基于网络感知的流媒体分发服务网络关键技术研究与实现.pdf

国防科学技术大学研究生院硕士学位论文 摘要 随着流媒体应用在互联网中主导地位的确立，人们对基于互联网的流媒体传 输提出了更高的要求，更高的传输效率、更好的流媒体效果始终是流媒体用户孜 孜不倦的追求，然而当前流行的流媒体传输技术仍然存着许多问题和挑战，比如 网络服务质量问题、安全问题、可扩展问题以及可部署性弱等。在此背景下，我 们将流媒体传输技术研究与下一代互联网的发展结合起来，试图通过改进当前流 媒体传输网络的构建方法来解决当前流媒体传输遇到的挑战。 本文的主要工作包括： 1 ) 对流媒体传输相关技术进行了广泛而深入的研究和探讨，指出了目前各 种流媒体传输技术中存在的问题和未来的研究方向。 2 ) 提出了一种基于网络感知的流媒体分发服务网络体系结构，该体系将网 络设备作为流媒体传输网络中的承载节点，承载节点具有数据缓存、网络感知功 能和节点状态管理功能，能够提供大量的存储空间来存储流媒体数据，能够利用 网络感知获得的网络信息来优化节点选择，可以实时地动态管理节点资源，优化 整个系统的资源分配。 3 ) 提出了一种适用于流媒体分发服务网络的路由请求机制，建立了基于链 路延迟、距离( 跳数) 以及丢包率等q o s 参数的承载节点选择框架，并在此基础上 提出并实现了一种路由请求算法，该算法利用模糊数学的层次化分析方法，将影 响流媒体传输质量的q o s 参数与用户的需求进行匹配，为用户选择能够满足用户 需求的承载节点。 4 ) 设计并实现了基于流媒体数据分发服务网络的直播系统，通过仿真测试 表明在该平台上部署网络视频直播服务在数据传输效率和传输质量上都有很大提 古 闻0 主题词：流媒体分发网络，分发服务，路由算法，体系结构 第i 页 国防科学技术大学研究生院硕士学位论文 m l a b s 丁r a c t a ss t r e a m i n gm e d i aa p p l i c a t i o n sb e i n gm o r ea n dm o r ep o p u l a ro nt h ei n t e r a c t ， p e o p l ep u tf o r w a r dh i g h e rr e q u i r e m e n t so nt h ei n t e r n e t - b a s e ds t r e a m i n gm e d i a t r a n s m i s s i o n h i g h e rt r a n s m i s s i o ne f f i c i e n c ya n db e t t e re f f e c to fs t r e a m i n gm e d i aa r e a l w a y st h ep u r s u i to fs t r e a m i n gm e d i au s e r s ，h o w e v e r , t h ep o p u l a rs t r e a m i n gm e d i a t r a n s m i s s i o ns y s t e ms t i l le x i s tm a n y p r o b l e m sa n dc h a l l e n g e s ，s u c ha sn e t w o r kq u a l i t y o fs e r v i c ei s s u e s ，s e c u r i t yi s s u e s ，s c a l a b i l i t yi s s u e sa n dw e a kd e p l o y m e n tc a p a b i l i t i e s a n ds oo n i nt h i sc o n t e x t , w eh a v ea d o p t e dt h e s t r e a m i n gm e d i at r a n s m i s s i o n t e c h n o l o g ya n dt h ed e v e l o p m e n to fn e x t g e n e r a t i o ni n t e r n e tc o m b i n e da t t e m p tt o c h a n g et h ec u r r e n ts t r e a m i n gm e d i at r a n s m i s s i o ns y s t e ma p p r o a c ht or e s o l v i n gt h e c u r r e n ts t r e a m i n gm e d i ac h a l l e n g e s t h i sp a p e r sw o r ki n c l u d e s ： 1 ) w ed oab r o a da n di n d e p t hs t u d ya n dd i s c u s s i o no nt h es t r e a m i n gt e c h n o l o g y ， p o i n t i n go u tc u r r e n ts t r e a m i n gm e d i at r a n s m i s s i o nt e c h n o l o g y sp r o b l e m sa n df u t u r e r e s e a r c hd i r e c t i o n s 2 ) p r o p o s e dan e t w o r ka r c h i t e c t u r em o d eb a s e do nn e t w o r k - a w a r e ，f a c i n gt ot h e s e r v i c eo ft h es t r e a m i n gm e d i ad i s t r i b u t i o ns e r v i c e s i nt h i sm o d e l n e t w o r kd e v i c e so r h i g h - p e r f o r m a n c es t r e a m i n gm e d i as e r v e ri sak e yn o d et h a th a sad a t ac a c h e ， n e t w o r k a w a r es t a t em a n a g e m e n tf u n c t i o n sa n dc a np r o v i d eal o to fs t o r a g es p a c et o s t o r es t r e a m i n gm e d i ad a t a i tc a l lt a k ea d v a n t a g eo fn e t w o r k a w a r e ，a c c e s st on e t w o r k i n f o r m a t i o nt oo p t i m i z et h en o d es e l e c t i o n i ta l s oc a nm a n a g et h en o d er e s o u r c e s r e a l t i m ea n dd y n a m i c ，o p t i m i z i n gt h ea l l o c a t i o no fr e s o u r c e st h r o u g h o u tt h es y s t e m 3 ) p r o p o s e dar o u t i n gm e c h a n i s mt h a tm a t c ht ot h es t r e a m i n gm e d i ad i s t r i b u t i o n p l a t f o r m b u i l daf r a m eb a s e do nt h eq o sp a r a m e t e r s ，i n c l u d i n gl a t e n c y ，d i s t a n c e ， p a c k e tl o s sr a t es u c ha sl o a d b e a r i n gn o d es e l e c t i o nf r a m e w o r k ；a n do nt h i sf r a m ew e p r o p o s e da n di m p l e m e n t e da na l g o r i t h mf o rr o u t i n gt h er e q u e s tm o d e l ，t h ea l g o r i t h m m a k e su s eo ff u z z yh i e r a r c h i c a la n a l y s i sm e t h o d s ，m a t c ht h es t r e a m i n g q u a l i t yo f s e r v i c ef a c t o r sa n dt h en e e d so fu s e r s t h eu s e r sc h o o s eb e a r i n gn o d e st h a tm e e tt o u s e r sr e q u i r e m e n t st h r o u g ht h ea l g o r i t h m 4 ) d e s i g na n di m p l e m e n tal i v es y s t e mb a s e do nt h es t r e a m i n gm e d i as e r v i c e n e t w o r k t h es i m u l a t i o nt e s t ss h o wt h a td e p l o y i n gi n t e r n e tv i d e ob r o a d c a s ts e r v i c e so n t h ep l a t f o r mc a l li m p r o v et h ed a t at r a n s m i s s i o ne f f i c i e n c ya n dt h et r a n s m i s s i o nq u a l i t y k e yw o r d s ：s t r e a m i n gm e d i ad i s t r i b u t i o nn e t w o r k s ，d e l i v e r ys e r v i c e ，r o u t i n g a l g o r i t h m ，a r c h i t e c t u r e 第i i 页 国防科学技术大学研究生院硕士学位论文 表 目录 表3 1 各约束标度等级2 5 表3 2 流媒体业务差分服务级别2 7 表3 3 约束打分标准。2 8 表3 4 模拟的流媒体数据的各项参数。2 9 表3 5 客户端参数2 9 表4 1 数据驱动协议中的概念3 5 表5 1m p c 配置信息4 5 表5 2 承载节点配置信息。4 5 第1 v 页 国防科学技术大学研究生院硕士学位论文 图1 1 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图目录 流媒体传输技术发展历程2 传统层叠网与流媒体分发服务网模型比较1 0 流媒体分发网络整体结构一1 1 承载节点整体结构1 3 节点管理单元示意图15 数据流示意图1 6 流媒体分发服务网管理体系1 7 用户加入流程21 流媒体分发网络简化示意图2 4 算法1 求解候选节点数目2 6 算法2 确定候选节点2 7 端到端延迟3 0 数据传送成功率3 0 g o s s i p 协议消息标准转发算法3 3 消息处理流程一3 5 定理1 证明过程。3 8 改进的传输模式转换机制。3 8 流媒体分发网络构建中的主要类静态结构图4 0 数据传输层的类静态结构图4 1 管理中心配置信息4 2 管理中心界面4 2 承载节点配置信息4 2 流媒体分发流程4 3 测试环境拓扑图4 4 不同返回节点数目下的客户端延迟4 6 不同链路丢包率的客户端延迟4 7 不同链路延迟的客户端延迟4 7 c p u 、内存监控实时图4 8 c p u 使用率4 8 内存占用情况4 8 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使厨过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王圈签盛纽的速搓佳金发腿盘圈终羞鳇拉丕班究生塞趣 学位论文作者签名：塞选日期： 勘口7 年p 月；j 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：基王豳终盛短的速搓堡金发月匿盔圈缝差链技苤盟究皇塞趣 学位论文作者擀：蔓缒 作者指导教师擀：7 斗 日期：萨口。夕年f 乏月罗。日 醐：1 卸嗍弘日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 研究背景及其意义 互联网给人类社会带来了巨大的变革，随着互联网技术的不断发展，互联网 这个“基因 ，将继续影响并决定着人类未来的生活方式。目前的互联网担负着 信息传输的重要角色，而这个角色越来越倾向于借助流媒体来完成，更加追求信 息的实时性，更侧重于通过人与人之间的实时交流来传递准确的信息。根据2 0 0 8 年中国互联网大会所提供的数据【1 1 ，网络电视、网络影院、网络游戏，网络会议以 及网上商品交易等已经成为互联网的主要应用，这些应用已经占据了将近8 0 的 互联网用户，更有高达9 0 的互联网用户通过互联网下载音乐、视频。可见，流 媒体应用已经成为当今互联网的主流应用，是互联网上实现快速、实时交互的主 要手段。虽然流媒体应用越来流行，但是基于互联网的流媒体传输仍然存在不少 问题： 一、基于互联网的流媒体传输始终面i 临着网络服务质量( q o s ) 问趔2 1 、安全 问题以及可扩展问题的挑战。流媒体应用对网络的带宽、丢包、延迟和抖动等都 有严格要求，而目前的互联网难以提供q o s 保证，这使得流媒体的大规模商业应 用难以满足用户对服务质量的需求；流媒体应用的安全问题也亟待改进，需要加 强数字版权保护，提高数据传输的安全性；流媒体传输系统的可扩展问题需要解 决大规模流媒体应用中的服务质量保证。 二、大规模流媒体应用服务的可部署性弱。究其原因有- - ：一是技术原因， 原有的t c p i p 网络体系并不具备很好的开放性和扩展性，大规模的流媒体服务很 难在原有的基础上扩展和部署；二是经济原因，传统网络经过长期沉淀，已经是 一个庞然大物，大规模流媒体的部署需要对现有网络进行改造，而要彻底替换现 有的网络基础，需要庞大的经济支持，这显然是不现实的。此外，当今互联网运 营商各立山头，人为设置障碍，这无疑加大了流媒体应用的部署难度。 三、流媒体传输技术的难以突破。现有的流媒体传输技术，包括i p 组播、应 用层组播、c d n 、p 2 p 以及p 4 p 等，无论是哪种技术都存在着缺陷，难以完美 解决流媒体传输遇到的问题。 四、流媒体传输技术的研究没有与下一代互联网的研究紧密相连。下一代互 联网的将层叠在现有的网络之上，强调从控制的效率、控制的能力、管理的精细 度、运营的适应性等多方面来改进传统的互联网结构，而这些改进的思想，在流 媒体分发服务中同样重要。下一代互联网体系结构希望在网络基础设施层面实现 突破，据了解，面向下一代网络的可重构路由器设备研究目前已经获得了很大的 第1 页 国防科学技术大学研究生院硕士学位论文 进展。因此，将流媒体传输技术的研究与下一代互联网的研究紧密相连有助与实 现流媒体传输技术的突破。 针对目前流媒体传输技术的面临的挑战，本文提出了基于网络感知的流媒体 分发服务网络体系，为解决流媒体传输问题提供借鉴。 1 2 相关技术 流媒体传输技术是把连续流媒体数据压缩后以“流”的方式通过服务嚣发送 给客户。流媒体数据超大容量的特点使得传统的基于“单播”的c s 模式在提 供流媒体服务时的可扩展性非常差。为了建立高效的流媒体数据分发网络，i p 组 播、c d n 、应用层组播、p 2 p 以及p 4 p 等传输方式相继成为实现这一目标的手段， 图11 显示流媒体传输技术的发展历程。 12 1 l p 组播网络 * f i r 月# 体棒轴幕统谊* # # 图1 1 流媒体传输技术发展历程 i p 组播网络解决流媒体数据传输问题的思路是【3 】：通过建立组播组进行一 点对多点的通信，数据只需要在特定的组播组中进行传输，从而有效减小网络带 宽的消耗以及服务器负载。【p 组播中，数据在路由分叉处进行复制，因此必须需 要网络设备的支持，虽然目前的大多数路由器都支持基本的m 组播枷议，但是i p 组播在管理以及传输技术上都存在问题。管理问题包括路由器设备的管理以及运 营管理，前者主要指的是对于复杂的支持i p 组播的路由协议的管理，后者指的是 对于分布在不同网络运营商中的组播成员的管理。在数据传输问题上，由于数据 的复制和传播都依靠路由器，使得路由器负载很难满足太规模组播组的需求。尽 管如此，在网络视频、网络游戏等应用中，l p 组播作为一种基于网络设备支持的 第2 页 黼 鬻 豁 燃 国防科学技术大学研究生院硕士学位论文 组播技术，在定条件下，其数据传输速率以及数据传输质量都有优势，因此许 多成熟的系统都借鉴了口组播技术来提高系统效率。 1 2 2c d n 分发网络 i p 组播在推广上的难度使得c d n ( c o n t e n td e l i v e r yn e t w o r k ) 网络的概念应运 而生【4 】【5 】【6 】。c d n 的核心思想是通过将内容从中心推到网络边缘，将原来c s 模式 单一的中心结构变成分布式的结构。c d n 在网络边缘设立若干服务器，这些服务 器使得用户的请求可以在本地得到响应，用户的请求延迟大大缩短，同时，c d n 采用负载均衡技术，有效的解决了服务器的单点失效问题。从网络结构上看，c d n 网络实际上是一个覆盖在互联网之上，由分布在不同区域的节点服务器集群组成 的虚拟网络。c d n 从技术上了解决了由于网络带宽小、用户访问量大、网站分布 不均等对用户访问效果的影响，这对于流媒体传输来说，具有重大的意义。因此 c d n 很快被用来进行流媒体数据的分发。到目前为止，一些比较成熟的c d n 系 统已经进行了大规模的商业化运营，a 】( 锄a i 【7 】和l i m e l i g h t 8 】是全球最大的c d n 服 务提供商，许多多媒体服务都是通过a k a m a i 和l i m e l i g h t 提供的c d n 网络在全 球范围内进行运行。 c d n 的关键技术包括内容分发技术、路由请求技术以及负载均衡技术等等 【蚓【4 3 1 。虽然c d n 技术目前十分成熟，但是也存在一个致命缺陷高昂的成本， 包括提供计算、存储等资源的成本以及大规模部署的成本。此外，当用户规模逐 渐增大时，c d n 系统中单台服务器的可扩展性也不好。因此对于一般的流媒体服 务提供商来说，c d n 只是一个可望而不可及的空中楼阁。 1 2 3 应用层组播 应用层组播网络是组播的继承和发展，它与p 2 p 几乎是同时出现的。应用 层组播通过在应用层节点上构建覆盖网络( o v e r l a y ) 来实现组播协议【9 】【l o 】【1 1 1 ，它 与i p 组播的主要区别包括： ( 1 ) 报文转发位置。应用层组播数据转发节点是覆盖网络中的终端主机，而i p 组播的报文转发必须由核心路由器来完成。 ( 2 ) 网络拓扑的创建方法。应用层组播的覆盖网络是由节点间直连而成的一个 虚拟图( 有向图或无向图) ，完全隐藏了底层的物理网络拓扑。这种覆盖网络拓 扑是完全可控的，可以利用一些额外的知识或特定的度量对网络拓扑进行优化。 而在i p 组播中，路由器是预先部署的，因此网络拓扑难以控制和改变。 ( 3 ) 组成员关系维护。i p 组播的组成员关系信息分布于组播路由器，而应用层 组播的成员关系由系统中的会聚点集中控制或完全分散于各个节点。同样，应用 第3 页 国防科学技术大学研究生院硕士学位论文 层组播也存在一些问题：无法有效利用网络带宽；协议控制开销大，可扩展性不 强。 1 2 4p 2 p 流媒体分发网络 p 2 p ( p e e r - t o p e e r ) 技术【1 2 】【1 3 】【1 4 1 1 5 】的出现是在2 0 0 0 年左右，将p 2 p 技术应用 到流媒体服务中，对于p 2 p 技术的发展无疑是最具有里程碑意义的。目前互联网 上基于p 2 p 的流媒体应用已是不胜枚举。比如我们熟悉的p p l i v e 【1 6 1 、p p s t r e a m 1 7 1 、 s o p c a s t 1 引、u u s e e 1 9 1 、t v a n t s l 2 0 】等等。p 2 p 是一种分布式网络，网络中的节点即 是资源的提供者，同时也是资源的使用者。p 2 p 技术具有以下几个特点 1 ) 对等性高。节点之间具有相同的责任和能力，网络中的节点通过直接连接 来共享计算资源和存储资源，相比与传统的c s 模式，p 2 p 网络不再依赖于中心服 务器的计算资源和存储资源，而是把各个节点有机的连接，通过负载均衡技术来 实现网络带宽的有效利用。 2 ) 扩展性强。p 2 p 网络中，节点提供了网络中的资源，网络规模越大，其可 利用的资源就越多，因而可以支持更多的节点的加入。理论上，p 2 p 网络的可扩展 性是无限的。 3 ) 健壮性高。传统的c s 模式，服务器的各种资源有限，随着网络规模的扩 大，很容易造成服务器的单点失效。另外网络拥塞、网络中断都会给系统的稳定 性带来影响。p 2 p 网络中的节点分布在网络中，节点之间保持直接的通信，但又不 依赖于单个节点，因此节点动态的加入和退出并不影响网络中其他节点的正常工 作。 以上的几个特点，使得p 2 p 技术从最初的文件系统很快扩展到流媒体的应用 上来，并且由于p 2 p 系统部署成本极低，因此p 2 p 流媒体分发网络得到飞速发展。 目前，p 2 p 流媒体流量已经占到了互联网网络流量的8 0 以上，并且创造了巨大 的商业利润。当前，对于p 2 p 流媒体分发网络技术的研究主要集中在以下几个方 面： ( 1 ) 可扩展性。这里的可扩展性指的是理想状态下，p 2 p 系统的性能应该随 着用户的增加而提高。文献【2 1 】的研究表明，当使用数据驱动协议或者混合推拉协 议时，系统的可扩展性和请求窗口的大小以及上行带宽有关。 ( 2 ) 带宽利用率。带宽利用率指的是终端的带宽利用率，终端提供的带宽资 源是有效的，能否有效的利用这一资源是一个p 2 p 系统性能的是否有优良的评判 前提。 ( 3 ) 丢包与拥塞。丢包和拥塞直接影响流媒体的观看的效果，当丢包率达到 一定大小的时候，流媒体视频甚至不能顺利播放。p 2 p 系统构建与互联网之上，并 第4 页 国防科学技术大学研究生院硕士学位论文 且大多数流媒体数据的传输都是基于u d p 协议的，因此如何避免丢包与拥塞也是 一个p 2 p 流媒体系统需要考虑的问题。 ( 4 ) 延迟。延迟在流媒体直播系统中指的是数据从服务器发送到达客户端的 时间。延迟的大小同样影响流媒体视频的观看效果 对p 2 p 流媒体系统的研究还包括流媒体数据调度机制的改进和优化。虽然当 前p 2 p 流媒体系统已经十分成熟，但以上几个方面仍然有许多需要改进地方，而 要真正解决以上几个方面的问题来提高流媒体的服务质量仍然是一个难题。 1 2 5p 4 p 系统 2 0 0 8 年，美国耶鲁大学的谢海永博士提出了p 4 p 理论【2 2 】，并完成了系统设计。 p 4 p 是p r o a c t i v en e t w o r kp r o v i d e rp a r t i c i p a t i o nf o rp 2 p ( 电信运营商主动参与p 2 p 网络) 的简称，可被视为p 2 p 协议的改进版本，是目前为止，在降低骨干网络传 输压力和运营成本，并提高改良的p 2 p 文件传输的性能最有效的解决方法。与p 2 p 随机挑选p e e r ( 对等节点) 不同，p 4 p 协议可以协调网络拓扑数据，能够有效选择节 点，从而提高网络路由效率，通过p 4 p 系统进行流媒体传输可以极大的提升用户 的流媒体下载速度，节约电信运营商的运营成本。 p 4 p 的主要原理是就是让p 2 p 服务能够了解并和底层网络对话，保证自己的性 能不受影响。p 4 p 实际上是一个服务器，在这个服务器中保存着运营商的一些策略 信息，服务器动态更新，并对外提供一个公用的接口，p 2 p 可以通过这个接口获取 运营商信息，p 2 p 可以依据这些信息来调整它的网络资源使用效率，而网络的运营 商也不受影响。因此，从这个意义上将，p 4 p 不仅是一种技术，更是一种新的理念， 它提供了一个平台和框架协议，让i s p 运营商和p 2 p 以某种形式来进行对话。 从理论上讲，p 4 p 可以很好的解决目前基于p 2 p 网络的流媒体传输的问题， 但是，p 4 p 需要互联网服务供应商i s p 和文件客户端开发者共同开发，而事实上， 大部分的p 2 p 公司不愿也不主动与i s p 供应商交谈，也不愿开发基于p 4 p 的网络 客户端。因此，p 4 p 技术的普及可能遥遥无期。 1 2 - 6 流媒体分发中的网络感知技术 “网络感知指的是通过下层网络提供的路由支持来感知下层网络拓扑信息， 针对物理网络拓扑进行优化。典型研究项目有b e r k e l e y 大学的“r o u t i n ga sa s e r v i c e ”，允许用户显式地请求网络的路由服务，获取网络的路由信息，用户再 根据自身的决策，主动选择合适的传输路径。 为提高网络应用的管理控制和数据传输的效率，不同应用对网络行为的期望 各不相同。在流媒体分发中，包括p 2 p 、c d n 或者应用组播等应用，都不希望只 第5 页 国防科学技术大学研究生院硕士学位论文 是能够简单的使用网络的透明传输服务，而是希望更多的了解网络状态，按照自 身的需求特点来对网络控制施加影响。因此，流媒体分发网络中的“网络感知” 并不是一个全新的概念。 回顾目前出现的p 2 p 、c d n 以及组播流媒体分发的系统，大多数已经实现了 “网络感知，但是“网络感知的内涵和本文所提出的网络感知又有所不同。 p 2 p 无结构网络的构建中，一部分比较早的p 2 p 系统主要基于结构网络的数 据驱动、基于“网络”、基于蜂群算法或者基于“拉 式的策略，采用随机选择 邻居节点的策略来构建覆盖网络，在后来的p 2 p 技术中，出现了基于主动测量的方 法来获得底层网络的信息来协助构建覆盖网络的做法。这些方法主要是通过在应 用层上利用“p i n g 、“t r a c e r o u t e 等工具来间接获得网络状态信息。例如在 i g d d m e d i a 2 1 q b ，节点利用“p i n g 来获取网络端到端延迟和带宽；在t r a c k e r 服 务器利用“t r a c e r o u t e 来获取精确的节点位置信息。然而，这种和应用绑定的“网 络感知不仅效率低，而且给网络中增加大了大量的冗余流量，使得网络的性能 下降。 在c d n 中【2 3 1 ，为了将用户的请求路由到合适的代理，使用户能够选择更好的 代理服务器为用户提供数据下载服务，a n d r e w s 使用基于客户端服务器网络延迟 的自适应算法；c i s c o 的d i s t r i b u t e d i r e c t o r 使用一种考虑了包括i n t e r - a s 距离、 i n t r a - a s 和端到端延迟的三个参数的自适应路由请求算法。但无论是a n d r e w s 还是 c i s c o ，实际上也都是利用代理服务器通过一些应用层的工具来完成的主动“感知 网络状态。 从网络感知的角度来看，p 4 p 更加强调网络感知的作用。因此p 4 p 要求i s p 为p 2 p 提供实时、准确的网络拓扑信息，从而提高p 2 p 系统的性能。但是，这种 网络感知的服务是( 单方面) 面向p 2 p 应用的，如果运营商不参与，p 4 p 需要的 信息就无法获得，最终p 4 p 还是要通过现有的应用层工具来获得这些信息。 根据以上的论述，不难看出：无论是基于p 2 p 、c d n 技术还是p 4 p 的流媒体 传输系统在“网络感知 方面都难以实现高效、准确，从而真正为实现流媒体的 高质量分发提供帮助。那么，如何才能实现高效准确的网络感知呢，我们不得不 把目光转向网络中的设备路由器或者交换机。 在传统的网络，路由器等网络交换设备是网络核心的“十字路口 ，能够直 接感知设备上各个网络接口的带宽、时延和利用率等因素，并在第一时间对网络 中发生的各种事件做出反应。然而很少有研究试图在路由器进行“网络感知 为 应用进行服务。路由器作为一种固定的刚性功能执行平台，只是按部就班的根据 固定模式利用预定的功能单元完成单一任务，不允许用户以不同的方式动态组合 功能组件来完成多种复杂任务或者动态添加新的业务类型功能组件。因此，研究 第6 页 国防科学技术大学研究生院硕士学位论文 在网络设备平台上部署流媒体数据传输代理，直接对流媒体数据进行缓存、存储、 基于内容的路由和快速分发，具有较高的理论意义和实际应用价值。 1 3 研究目标及主要内容 基于网络感知的流媒体分发服务网络关键技术研究与实现必须解决以下几个 问题： 1 )多种流媒体传输技术的有机融合。自从流媒体技术出现以来，流媒体数 据传输经历了口组播、应用层组播、c d n 、p 2 p 以及p 4 p 等解决方案。应用层组 播是对i p 组播的扩展和延伸；c d n 实际上是利用服务器集群，将服务器部署在离 用户最近的网络边缘来实现流媒体传输；p 2 p 技术是应用层组播的扩展；p 4 p 是改 进的p 2 p 。因此融合多种技术的优势来实现一个高效的流媒体传输网络一直是流媒 体传输技术的发展方向，未来的流媒体传输系统同样需要遵循这条路线。 2 ) 流媒体分发服务网络体系的定义。“面向服务”是流媒体分发网络主要 特点；在遵循面向服务原则的基础上定义网络体系结构的层次划分、节点功能要 求、网络资源管理体系以及流媒体服务的动态部署流程等。 3 ) 高速流媒体传输模块的设计与部署。设计和部署应该重点考虑如何提高 流媒体数据调度的效率以及质量，在保证数据传输质量的同时达到全局负载均衡。 4 ) 流媒体分发服务网络中基于内容的路由请求机制以及算法。需要解决如 何根据流媒体的具体业务需求和用户分布特点构建既能够满足用户要求同时又具 有流量优化能力和负载均衡能力的流媒体分发服务网络。 1 4 课题的研究成果 1 ) 本文对流媒体传输相关技术进行了广泛而深入的研究和探讨，指出了目 前各种流媒体传输技术中存在的问题和未来的研究方向。 2 ) 提出了一种基于网络感知的流媒体数据分发服务网络体系结构，该结构将 网络设备作为流媒体传输中的关键节点，节点具有数据缓存、网络感知功能和节 点状态管理功能，能够提供大量的存储空间来存储流媒体数据，能够利用网络感 知获得的网络信息来优化节点选择，可以实时地动态管理节点资源，优化整个系 统的资源分配。 3 ) 设计了一种适用于流媒体分发平台的路由请求机制，建立了基于承载节 点带宽、链路延迟、距离以及丢包率等q o s 参数的承载节点选择框架；并在此基 础上提出并实现了a h r 路由请求算法，该算法利用模糊数学的层次化分析方法， 将影响流媒体服务质量的因素与用户的需求进行匹配，为用户选择能够满足用户 第7 页 国防科学技术大学研究生院硕士学位论文 需求的承载节点。 4 ) 设计并实现了基于流媒体数据分发服务网络部署的直播系统，通过仿真测 试表明在该平台上部署网络视频直播服务在数据传输效率和传输质量上都有较明 显的提高。 1 5 本文的组织结构 本文第一章为导论。介绍了本课题的研究背景和意义，对流媒体传输相关技 术作了深入的分析和总结，并介绍了本课题所取得的研究成果，最后给出了本文 的组织结构。 第二章，介绍了基于网络感知的流媒体分发服务的网络体系结构，包括网络 的设计原则、整体结构、承载节点以及网络管理体系等。 第三章，提出并实现了流媒体分发服务网络中的路由请求机制，设计了路由 请求a h r 算法，通过对该算法的性能进行测试，证明了该算法的有效性。 第四章，介绍了流媒体分发服务网络的实现与部署，包括各个模块关键技术 的设计和实现等。 第五章，通过在流媒体分发服务网络上部署一个视频直播系统，对流媒体分 发服务网络的性能进行了测试和分析。 第六章，总结了本文的工作，并对未来的研究方向作了展望。最后是致谢和 参考文献。 第8 页 国防科学技术大学研究生院硕士学位论文 第二章流媒体分发服务网络的体系结构 本章将根据第一章中提到的流媒体分发技术的各自优势以及存在的问题，提 出和构建一种面向流媒体分发服务的网络体系结构，该网络体系结构综合考虑了 可扩展性、抗毁性、流媒体数据传输效率以及q o s 保证等因素。网络中的节点由 网络设备担当，具有网络感知功能，能够对网络中的资源进行管理，能够提供大 容量的存储空间来存储流媒体数据，是一个能够动态部署流媒体服务的平台。本 章第一节首先介绍流媒体分发网络的设计原则；第二节将介绍面向流媒体分发的 网络的整体结构；第三节介绍面向流媒体分发网络的承载节点；第四节介绍面向 流媒体分发服务网络的管理体系。 2 1 流媒体分发服务网络的设计原则 作为一种面向流媒体分发服务的网络，在设计的时候必须保持设计的简单性， 尽量采用模块化设计，同时避免更改现有的底层物理网络基础设施，因此它应该 是一种基于现有基础网络的层叠网。流媒体分发需要有严格的q o s 保证，因此流 媒体分发网络必须是一个能够提供高性能分发服务的平台，开放、安全、可扩展、 可管理也是必须追求的设计目标。此外，作为一种网络体系结构，考虑到可持续 的发展，它的设计还要符合下一代互联网【2 4 】【3 9 】f 4 0 4 1 】的设计原则。本文根据以上要 求，将流媒体分发网络的设计思想总结如下： 1 ) 面向服务 目前人们对基于互联网的视频会议、视频点播、远程教学以及在线游戏等流 媒体应用的需求越来越大，而现有的网路包括电路交换网络和互联网均不能满足 这样的需求。流媒体分发服务网络体系结构的研究应该面向多样的流媒体服务，既 允许用户根据自己的喜好对流媒体服务类型和服务方式进行选择，同时还允许在尽 可能保持服务功能不变的情况下，面向各种流媒体应用需求支持各种类型流媒体应 用，并适应各种应用环境。在面向服务原则指导下设计流媒体分发服务网络体系 结构，将有助于解决流媒体应用部署过程中由于传统网络体系结构固定、功能耦合 太紧带来的协议标准化缓慢、难以定制服务、部署成本昂贵等问题。 2 ) 模块化、可扩展、易维护、易管理 为了将流媒体分发服务网络设计成一个公共的流媒体应用部署平台，平台的 模块化、可扩展、易维护、易管理是必须要考虑的。随着用户和网络规模的发展， 如果可扩展性不强，就会给用户和性能带来极大的不便，尤其是在网络的承载节 点上。流媒体分发网络的维护在整个网络使用过程中占有相当大的分量，系统的 第9 页 国防科学技术大学研究生院硕士学位论文 可维护性好坏主要取决于网络的系统结构是否合理。随着网络规模的增加，管理 和故障排除也越来越困难，因此在网络管理方面，必须有完善的软、硬件系统来 提高管理的效率。 3 ) 开放性 流媒体分发服务网络的开放原则既包括网络开放也包括上层业务开放。业务 的开放主要指通过将流媒体应用与网络分离，使流媒体应用的开发与控制相互独 立，从而使流媒体服务运营更加开放。网络的开放性主要指通过网络控制与承载 分离，使网络控制独立于具体的承载网络和承载技术。在开放原则下，流媒体分 发服务网络设计的时候应避免了对核心网络的改造，降低了服务开发成本，增加了 服务部署的灵活性，提高了服务定制的能力。开放性原则使得服务提供和承载网络 分离开来，将有利于激励技术创新和鼓励第三方服务供应商参与竞争。 2 2 流媒体分发服务网络的整体结构 我们将流媒体分发服务网络构建于底层网络之上，但是与传统的层叠网又有 所不同。如图2 1 所示，传统的层叠网利用应用层节点，也就是普通主机在网络边 缘构建层叠网，而流媒体分发网络的节点是分布在传统网络中的具有大量计算资 源和存储资源的网络设备，是构建在网络核心上的层叠网。 流嫘体分发服务网多 流媒体分发服务网 传统层庭网模型络的层盎网模型 ， 图2 1 传统层叠网与流媒体分发服务网模型比较 流媒体分发服务网络的整体结构如图2 2 所示，流媒体分发服务层位于流媒体 分发网络的最上层，对于这一层，我们又将之分为数据传输层和控制层。控制层 通过网络适配层来获得底层网络的信息。网络适配层定义了与流媒体分发网络和 底层网络的通信接口。承载节点的层与层之间的通信仅仅局限在本地，而所有承 载节点上的同层单元之间的连接关系形成了流媒体分发网络的三层体系结构。 第l o 页 国防科学技术大学研究生院硕士学位论文 2 2 1 承载节点 流媒体分发服务网 图2 2 流媒体分发网络整体结构 承载节点是分布在网络中的具有大量计算资源和存储资源的网络设备，是流 媒体分发服务网络中的基本单元，为流媒体分发服务网络提供了硬件平台。承载 节点还要根据流媒体传输的特点，实现底层软件环境和流媒体网络服务协议，提 供各种流媒体应用的服务抽象、服务原语定义及开放接口规范，包括拓扑发现技 术( 节点分布、节点路径关系、跨层的拓扑信息服务等) 、节点( n o d e ) 的状态 描述等。特别重要的是，承载节点通过使用虚拟化技术把一台物理机器虚拟成若 干台虚拟机并且保证架设在虚拟机上的不同流媒体应用服务之间的性能隔绝，提 高系统安全性，支持多种不同流媒体服务( 例如视频会议、视频点播、视频直播 等) 的动态部署和运行。承载节点涵盖了流媒体分发服务网络的大部分关键技术， 因此在本章第2 3 节将做专门介绍。 2 2 2 网络感知层 网络感知层是建立在底层物理网络之上的虚拟层，它能根据应用服务的不同 需求从底层物理网络抽取网络拓扑信息，用来寻找不相交路径、找到距离最近的 节点、端到端时延等，并根据这些感知结果来优化流媒体分发网络拓扑、建立内 容分发树以及为用户选择承载节点等。本地性成为其基本的路由策略，这个原则 意味着流媒体流量应该最大限度地留在本地，这是因为基于本地的路由策略将带 来更少的路由跳数，更小的时延，更高的带宽利用率以及更强的可靠性等，使得 流媒体传输有更高的质量，同时也能够优化网络中的数据流量。对于流媒体分发 网络来说，网络感知层是流媒体分发网络进行网络拓扑优化以及流量优化的基础。 第11 页 国防科学技术大学研究生院硕士学位论文 2 2 3 流媒体分发服务层 流媒体分发服务层由控制层和数据传输层组成。 ( 1 ) 控制层 控制层的主要功能是构建和维护流媒体分发服务网络，共三个模块，包括信 息交互控制模块、网络结构维护模块和服务监视模块。控制层需要定义与网络感 知层的交互接口，同时需要定义网络通信接口和协议，用于网络结构的维护，同 时还要提供接口供数据传输层进行路由信息查询。控制层是实现网络拓扑结构优 化的关键，一方