（计算机应用技术专业论文）流媒体内容分发网络的设计与实现.pdf

流媒体内容分发网络的设计与实现 摘要 摘要 随着宽带网络的飞速发展，网络媒体正在成为继报纸、广播、电视之后的 第四媒体，并对人们的生活产生巨大的影响和冲击。作为网络媒体传播的技术 之一，流媒体技术受到越来越多的关注。流媒体应用被认为是未来互联唰的主 流应用，并将推动互联网整体架构的革新。 作为流媒体应用推广的基础，内容分发网络( c d n ) 是在现有的i n t e m e t 网络上构建一层新的网络它的主要原理是通过负载均衡和就近访问机制，结 合完善的内容管理、主动分发和高速缓存技术，将多媒体信息发布到最接近用 户的网络”边缘”，使用户可以就近取得所需的内容，解决i n t e m e t 网络拥塞状况， 提高用户访问网站的响应速度。 本文的贡献如下： 1 以上海电信的流媒体c d n 总体规划项目为背景，结合实际调研过程发 现的问题，对传统的c d n 设计和实现方法进行仔细的剖析 2 针对原有c d n 系统的缺陷，从“可管理、可运营”的角度出发，提出 符合宽带流媒体技术和网络技术的未来发展趋势，满足高质量、大容量 数据访问，全新的c d n 系统设计思想，即基于软件的流媒体c d n 的 设计方案。 3 详细描述c d n 系统的用户请求路由、内容管理和分发策略、运营支撑 系统、网络监控系统等软件模块的功能要求和实现逻辑，并对系统支持 的业务模式作了详细的介绍 4 通过实际的项目案例，描述如何在保护投资、平滑过渡的基础上，实施 建设流媒体c d n ，并由此来验证设计的有效性和正确性。 5 对流媒体c d n 将来与p 2 p 技术的结合，进行了有益的探索，拓展了流 媒体c d n 的发展方向，为c d n 进一步推广提供新的思路。 关键词：流媒体，内容分发网络，负载均衡，内容路由 流媒体内容分发网络的设计与实现 摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fb r o a d b a n dn e t w o r k ，n e t w o r km e d i ai sb e c o m i n g t h ef o u r t hm e d i a f o l l o w i n gn e w s p a p e r , b r o a d c a s ta n dt e l e v i s i o n ，a n di ti m p o s e sg r e a t e f f e c to nt h ed a i l yl i f eo fp e o p l e a so n eo ft h et e c h n o l o g i e so fn e t w o r km e d i a ， s t r e a m i n gm e d i at e c h n o l o g yi sg o t t e nm o r ea n dm o v ea t t e n t i o n t h ea p p l i c a t i o no f s t r e a m i n gm e d i a i sr e g a r d e d 船t h em a i nd i r e c t i o no f t h ei n t e r a c ti nt h ef u t u r e 。a n di t w i l lp r o m o t et h er e n o v a t i o no f t h ei n t e g r a t e df r a m e w o r ko f i n t e r a c t a st h ef o u n d a t i o no ft h ep r o m o t i o no fs t r e a m i n gm e d i aa p p l i c a t i o n ，c o n t e n t d e l i v e r yn e t w o r k ( c d n li san e w n e t w o r ko nt h eb a s i so fc u r r e n ti n t e r n e t c d n s p r o v i d e a l a r g en u m b e r o fc a c h e sa n ds t o r a g ed e v i c e sa tt h ee d g eo fn e t w o r k t op u s h c o n t e n tc l o s e rt ot h eu s e lb yp e r f e c tc o n t e n tm a n a g e m e n t ，i n i t i a t i v ed e l i v e r ya n d h i g h - s p e e dc a c h i n gt e c h n o l o g y , c d n ss e r v et os p e e dc o n t e n td e l i v e r y , c i r c u m v e n t b o t t l e n e c k sa n dp r o v i d ep r o t e c t i o nf r o ms u d d e nt r a f f i cs u r g e st h a tb r i n gd o w n s e r v e r sa n dr e n d e rw e bs i t e su n r e a c h a b l e t h en o v e l t ya n dc o n t r i b u t i o n so ft h i sd i s s e r t a t i o nc a nb es u m m a r i z e d a s f o l l o w i n g ： 1 b a s e do nt h ec d n p r o j e c to fs h a n g h a it e l e c o m ，t h er e q u i r e m e n ta n a l y s i s h a sb e e nd o n e a f t e r w a r d st h ed e s i g na n di m p l e m e n t a t i o no ft r a d i t i o n a l c d nw e r ea n a l y z e da n dc r i t i c i z e d 2 t h i s p a p e rp r e s e n t sa n e wc d n s y s t e m a r c h i t e c t u r ef r o mt h ep o i n to fv i e w o f “m a n a g e a b l ea n do p e r a t i o n a l ”t h es y s t e m i sas o f t w a r ei m p l e m e n t a t i o n o f t h es t r e a m i n g m e d i ac d n 。 3 t h ec d n s y s t e mp r o p o s e dh e r ei sd e s c r i b e di nd e t a i l ，t h e f i m c t i o nm o d e l s s u c ha su s e r r e q u e s tr o u t i n g ，c o n t e n tm a n a g e m e n t ，d e l i v e r y s t r a t e g y , o p e r a t i o ns u p p o r ts y s t e m ，n e t w o r km a n a g e m e n ts y s t e m ，a n de t c ”a n d t h e i r i m p l e m e n t a t i o nl o g i ca r ed e p i c t e da n di l l u s t r a t e d i na d d i t i o n ，t h ep o s s i b l e o p e r a t i o nm o d e l o ft h es y s t e mi sd i s c u s s e da sw e l l 4 t h r o u g h t h ea n a l y s i so fo n ep r a c t i c a l u ps t r e a m i n gm e d i ac d n o nt h e c a s e ，t h i sp a p e rp r e s e n t saw a y t os e t b a s i so fi n v e s t m e n tp r o t e c t i o na n d 流媒体内容分发网络的设计与实现 摘要 s m o o t h u p g r a d e ，s o t h a tt ov e r i f yt h ev a l i d i t ya n dc o r r e c t n e s so f t h e s y s t e m 5 c o m b i n i n gs t r e a m i n gm e d i ac d n w i t hp 2 pc o m p u t i n gp a r a d i g m ，t r yt o e x p a n dt h ed e v e l o p m e n t d i r e c t i o na n dp r o v i d eo n en e wi d e ao fc d n p r o m o t i o n k e y w o r d s ：s t r e a m i n gm e d i a , c d n ，l o a d b a l a n c e ，c o n t e n tr o u t i n g 流媒体内容分发网络的设计与实现 引言 第一章 引言 本章主要阐述本文的研究背景，介绍上海电信的流媒体应用现状，引出本 文的研究目的、研究内容，并与国内外流媒体内容分发网络的研究进行比较。 本章最后给出了本文的组织结构。 1 1 研究背景 流媒体应用在i t 业界已经获得一致认可，被认为是未来互联网的主流应 用，并将推动互联网整体架构的革新。m i c r o s o f t 董事长比尔盖茨说：“流媒 体是微软真正看好的方向，它必将成为个人电脑和网络设备应用的主流。”雅虎 的创始人杨致远也对流媒体技术给予高度评价，他认为，“从早期发展想大规模 应用的过渡已基本完成。我们相信通过网络传播多媒体信息的条件已经成熟， 流媒体技术腾飞的时刻已经到来。” 6 流媒体在中国的宽带建设中已经被列为最主要的应用之一，越来越多的提 供网络在线服务的运营商也意识到流媒体业务中包含的巨大商机，纷纷开始采 用网络视频媒体服务解决方案，以增强在网络服务上的优势 3 。 h 海电信作为上海本地最大的i n t e r n e t 服务提供商，从上世纪九十年代 起，就积极开展宽带城域骨干网的建设，并对流媒体技术积极跟踪，适时进行 宽带视频点播的试验。初期，上海电信提供基于在s g l0 2 0 0 0 平台上的4 m 高速 o v s 流服务，和提供小于1 m 的r e a l 流服务。实验网设置两个中心节点提供流 媒体服务，分别服务指定区域的宽带用户。两个服务中心系统相对独立，不能 进行统一的管理和信息发布。 随着宽带网络建设的发展，基于多媒体形式的内容将越来越多，因此，多媒 体流服务系统将成为大多数应用系统的基础应用平台，例如互动媒体点播，k o d 点播教育点播等；同时，随着f t t b + l a n 、a d s l 等宽带接入技术的成熟和推广， 宽带用户急剧增加，原有的试验网络根本无法满足商业用户的需要。由此，上 流媒体内容分发刚络的设计与实现引言 海电信开始采用内容分发网络技术，建设宽带信息源平台，提高流媒体服务的 质量，推进流媒体服务的商用化。 上海电信宽带信息源平台项目 1 。2 一期从2 0 0 1 年8 月份开始建设，于2 0 0 2 年3 月份初步建成并投入试运行。在建设初期，设计人员充分考虑了在宽带接 入、宽带信息源平台( 流服务平台、海量存储和内容分发) 和宽带内容提供商之 间建立一个良好的管理和合作模式，提出了如下的平台架构，如图l l 所示， 即整个平台是建立在上海电信基础网络之上( a t m 、热线骨干、宽带骨干网) 的 分布式架构，提供更大的网络访问分布能力，提供给用户的各种信息源服务是 建立在高速和中低速流技术平台的基础上( 选用m m s 1 4 ，2 9 和r e a l 2 2 的结 合) ，通过后台的海量的存储结构和宽带内容分发平台为内容服务提供了可靠、 稳定的物理平台保证。 图卜1 上海电信宽带信息平台框架 信息源平台内容分发网络建设架构为1 + 4 ，即一个核心节点和四个边缘节 点，如图卜2 所示其中核心点为c d n 系统的管理和控制中心，完成把中心点的 内容( m m s 、r e a l 等) 分批、定时、按计划分发到各个分中心节点，同时中心点 的四层交换机和各个分中心的四层交换机构成了一个全局城域负载均衡网络 ( g s l b ) ，当客户通过本地宽带接入服务器( b a s ) 接入到城域网中访问某个节目 源时，将根据用户与各个中心点的物理距离和当前的设备负载情况，重定向到 最合理的访问点。 流媒体内容分发网络的设计与实现 引言 图1 - 2 内容分发网络拓扑图 核心层通过四层交换机连接中心内容分发服务器和所有的应用服务器( 包 括流媒体平台) 。通过中心内容分发服务器完成对中心流媒体服务平台中提供 的内容定时、分类地分发到区域点的内容分发器；同时，核心的四层交换机通 过和区域的交换机的配合完成对用户访问的定向；考虑到宽带应用的存储量非 常大，应用种类繁多，所以所有的应用数据通过中央统一存储系统进行数据读 写，便于统一管理和资源的合理应用。 四个边缘( 分中心) 节点的作用包括：流媒体平台的缓存节点，提供分区 高速内容缓存：广播业务的分布点，提供两级应用广播服务；部分应用前端分 布节点。每个节点与宽带i p 骨干网节点重合，通过千兆光纤网络端口与宽带 i p 骨干网节点的路由器连接，利用宽带i p 骨干网的拓扑结构与宽带信息源核 心节点连接。 一期项目建成运行后，上海电信宽带用户的数量迅速增长，据保守的预计， 2 ( 0 4 年上海本地的宽带用户将达到一百万，因此在现有c d n 平台的基础上进一 步扩容，丰富网络服务内容，提高并发用户接入能力，全面提升服务质量已经 成为当务之急。新的c d n 平台将作为上海本地宽带多媒体内容分发平台，不仅 对上海热线i i 开放，同时也要成为提供流媒体服务众多i c p 公用基础平台，为 最终用户带来互联网多媒体新闻发布、在线直播、网络广告、电子商务、视频 流媒体内容分发网络的设计与实现 引言 点播、远程教育、远程医疗、网络电视、实时视频会议等互联网的信息服务， 给运营商、内容提供商、服务提供商等整个宽带产业价值链带来丰厚的利润。 c d n 平台的总体目标是建设一个大容量、高性能、易维护、有服务质量保 证的电信级c d n 平台。具体目标如下： 支持一万并发用户访问流媒体信息，并发数据流量达到1 0 g b 以上。 全面支持w i n d o w s m e d i a 9 的“5 f ”特性，同时兼容w i n d o w s m e d i a4 1 、 r e a ls e r v e r 以及q u i c k t i m e 等流媒体服务器 支持w i t i v 、r r n 等主流流媒体文件的分发和点播。 针对不同应用实现c d n 平台资源的全局管理。如全局并发数控制、全 局带宽控制、全局存储空间控制等 统一业务支撑系统，支持多种业务和运营方式的开展。 多种内容调度策略，保证用户访问流媒体内容时有较高的命中率，提 高服务的q o s 。 完善的用户服务流程，采用统一的用户认证授权计费模式。 开放的体系架构，高度的可扩展性，c d n 基础网络、运营支撑系统和 业务应用系统之间采用标准接口方式。 良好的兼容性，保护现有投资，保证系统平稳过渡、平滑升级。 强大的网管功能，统一管理系统硬件设备，包括配置管理、性能管理、 告警管理、拓扑管理、安全日志管理、消息跟踪等。 为此，上海电信专门成立了项目组，研究确定流媒体内容分发网络的中长 期发展规划，用以指导上海宽带信息应用平台的升级扩容。 1 2 本文的贡献 本文的主要工作是：以上海电信的流媒体c d n 总体规划项目为背景，结合 实际调研过程发现的问题，对传统的c d n 设计和实现方法进行仔细的剖析。通 过前期的调研活动，我们了解到现有的流媒体c d n 系统存在诸多问题，比如流 媒体服务质量难以保证，缺乏完整统一监控系统，广告发布插播功能亟待加强 等。有些问题是传统c d n 技术无法克服的，具体原因本文将在第三章重点阐述。 流媒体内容分发网络的设计与实现 弓i 吉 本文针对原有c d n 系统的缺陷，从“可管理、可运营”的角度出发，提 符合宽带流媒体技术和网络技术的未来发展趋势，满足高质量、大容量数据访 问，全新的c d n 系统设计思想，即基于软件的流媒体c d n 的设计方案。这一方 案借鉴了当前国内外c d n 相关的设备厂商和系统集成商的成功经验，充分考虑 上海电信的网络运行环境，扬长避短，另辟蹊径，以通用的p c 服务器作为硬件 平台，采用软件实现流媒体c d n 的主要功能。设计方案详细描述c d n 系统的用 户请求路由、内容管理和分发策略、运营支撑系统、网络监控系统等软件模块 的功能要求和实现逻辑，并对系统支持的业务模式作了详细的介绍。通过上海 郊县的实际项目案例，描述如何在保护投资、平滑过渡的基础上，实施建设流 媒体c d n ，并由此来验证设计的有效性和正确性。 本文还对流媒体c d n 将来与p 2 p 技术的结合，进行了有益的探索，拓展了 流媒体c d n 的发展方向，为c d n 进一步推广提供新的思路。 1 3 本文的组织结构 本文一共分六章，第一章介绍本文的研究背景，第二章总体介绍流媒体技术 和c n d 技术的基本概念及其技术发展过程，说明了流媒体服务与c d n 技术两者结 合的必然性。第三章分析比较传统c d n 的各种实现方式，指出其缺陷与不足。第 四章提出基于软件的流媒体c d n 设计思路。第五章以实际的工程项目为例，描 述了流媒体c d n 的实现方式。最后，在第六章中，作者提出应用p 2 p 技术改进 现有的内容分发方式，并在此基础上提出对流媒体c d n 今后发展的展望。 流媒体内容分发网络的设汁与实现 流媒体与c d n 技术 第二章 流媒体与c d n 技术 本章主要介绍流媒体和内容分发网络( c d n ) 的基本知识，流媒体技术和 c d n 技术原本是互不相干、独立发展，并不存在承继关系。但是，在实际应用 过程，两者自然而然的紧密结合在一起，成为宽带互联网应用的基础。本章第 一节简要说明流媒体的起源、技术原理以及对互联网的挑战；第二节介绍c d n 的概念，引入了高速缓存、负载均衡、就近访问等专业术语；第三节说明流媒 体服务和c d n 技术结合的必然性，进一步表明本文的研究意义。 2 1 流媒体技术概述 “流媒体”作为专业术语，或许并不为普通人所熟悉，但实际上流媒体在 当今的互联网上已经无处不在。无论是欣赏在线音乐、观看网上电影，还是在 网上实时收看体育赛事直播，甚至是第一时间感受伊拉克战争实况，所有这些 都离不开流媒体技术。正是流媒体技术改变传统互联网静态、呆板的形象，极 大地丰富了互联网的功能，拓展了互联网实时传播的价值，使多媒体这一网络 媒体的优势得以凸现。 流媒体 5 可以认为是采用流技术在网络传输的多媒体文件，而流技术就是 将连续的视频音频数据流经过压缩和特殊的编码处理，生成的流文件遵循特定 的协议由服务器端向客户端连续传送时，用户不必等整个文件全部下载完毕， 只需要经过几秒或几十秒的启动时延，就可以进行连续播放，未下载的剩余部 分文件数据在播放的同时继续下载。因此，流媒体服务具有以下的特点： 网络资源利用率高，流媒体文件的传输速率基本上是固定的，避免因 为i p 网络缺乏流量控制，“尽力而为”而导致的网络局部拥塞。 服务实时性强，流媒体技术实现在线播放，基本忽略下载等待的时间， 提高了服务质量。 流媒体内容分发网络的设计与实现 流媒体与c d n 技术 服务终端的要求低，流式传输虽然仍需要少量缓存，但是流媒体在播 放过程中，并不保留文件内容，大大节约了终端的存储空间。 服务更合理，由于启动时延很少，用户对于不满意的媒体内容可以及 时中止播放，从而避免了无谓的资源浪费。 2 1 1 流媒体的兴起 流媒体技术起源于窄带互联网时期，当时互联网的通信网络建设还比较落 后，用户仪能以非常低的连接速率，通过网络获得静态的图文。如果用户想通 过网络传输音频、视频等多媒体信息，传统方法是采用下载一回放 ( d o w n l o a d p l a y b a c k ) 方式。视音频文件一般都较大，所以需要的存储容量也 较大，同时由于网络带宽的限制，下载常常要花数分钟甚至数小时，所以这种 处理方法延迟也很大。随着互联网络的普及，它已变成一个跨区域、跨国界、 跨文化的信息传播平台，人们通过互联网，不但要求传播文字图像信息，还希 望能通过互联网实时传播一些重要的影视、新闻节目，如实况转播新闻、重要 会议、球赛、领导人讲话等等。由于这种传播的实时性非常重要，原先通过完 全下载后再收看的方式已无法适应，一种新兴技术应运而生，这就是遵守特定 网络协议的流媒体( s t r e a m i n gm e d i a ) 技术 5 。 所谓s t r e a m i n g ( 流) ，也称“流式”或“串流”，是一种传输数据信息 的方式。流式传输表示声音、影像或动画等媒体由音视频服务器向用户计算机 的连续、实时传送。由于数据在发送过程中几乎即时开始播放，因此解决了多 媒体播放时数据下载的时间延迟问题。从广义上讲，流技术是使音频和视频形 成稳定和连续的传输流和回放流的一系列技术、方法和协议的总称。保证连续 媒体实时应用中服务质量的各种方法和策略实际上都可以归结为流技术。 在采用流式传输的系统中，多媒体数据文件不是一次读取、发送所有的数 据，而是首先在网络中发送音频或视频剪辑的一部分数据。在一部分开始播放 的同时，数据的其余部分源源不断地流出，及时到达目的地以供播放。为保证 在阻塞造成网络速度下降的情况下播放不会发生中断，播放器在开始播放前先 采集- - 4 , 部分所谓“缓冲”的预备数据。如果数据流动速度保持足够快的话， 播放是连续的。无论文件长3 0 秒还是长3 0 分钟，用户只用在观看文件前等上 几秒钟生成这个缓冲数据即可。流式传输不仅使多媒体播放的启动延时成十倍、 百倍地缩短，而且不需要太大的缓存容量。 流媒体内容分发嘲络的设计! j 实现 流媒体与c d n 技术 2 1 2 流媒体的技术原理 所谓流媒体，可以概括为在网络中使用流式传输技术，在时间上具有连续 性的媒体，例如音频、视频或其他多媒体文件。流媒体实现的关键技术是流式 传输。流媒体传输技术是一种基于时间的连续实时传输技术，其关键在于网络 数据传输和客户端播放的并行性。 流式传输的实现需要有缓存。因为i n t e r n e t 以包传输为基础进行断断续续 地异步传输，对一个实时音、视频源或存储的音、视频文件，在传输中它们要 被分解为许多包。出于网络是动态变化的，各个包选择的路由可能不尽相同， 所以到达客户端的时间延迟也就不等，甚至先发的数据包还有可能后到。为此， 在流式传输中使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序f 确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播放出现停顿。 通常高速缓存所需容量并不大，因为高速缓存使用环形链表结构来存储数据： 通过丢弃已经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚 未播放的内容。 在流式传输的实现方案中，一般采用h t t p t c p 协议来传输控制信息，而用 r t p 2 7 u d p 来传输实时声音数据。流式传输的过程一般是这样的：用户选择 某一流媒体服务后，w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息， 以便把需要传输的实时数据从原始信息中检索出来；然后客户机上的w e b 浏览 器启动a vh e l p e r 程序，使用h t t p 从w e b 服务器检索相关参数对h e l p e r 程序 初始化。a vh e l p e r 程序及音、视频( a v ) 服务器运行r t s p ( 实时流控制协 议) 2 8 ，以交换a v 传输所需的控制信息。与c d 播放机所提供的功能相似， r t s p 提供了操纵播放、快进、快倒、暂停及录制等命令的方法。a v 服务器使 用r t p u d p 协议将a v 数据传输给客户程序( 一般可认为客户程序等同于h e l p e r 程序) ，一旦a v 数据抵达客户端，客户程序即可播放输出。 2 1 3 流媒体对互联网的挑战 由于流媒体传输对网络带宽、延迟、丢失率等都有很高的要求，而基于无 连接的包交换i p 网络对带宽资源和服务质量的控制能力都比较弱，因此，在 i p 网络上进行流媒体传输需要采用一些应用层的质量控制机制来解决传输中 流媒伴内容分发网络的设计与实现 流媒体与c d n 技术 的问题。这些质量控制机制可以分为几个层次：最常用的方式是采用速率适应 机制，基本的方法是通过一定的速率反馈机制，利用媒体流的速率层次编码能 力，在媒体服务器端动态地调节流媒体的传输速率，保证客户端在网络可用带 宽变化的时候也能够正常地收看流媒体内容。速率适应机制附以差错控制和冗 余控制能够有效地保证流媒体的正常收看。 由于流媒体服务提供商一般是在一个或少数几个地方建立视频服务站点， 向城域或更大范围的互联网用户提供内容服务，而互联网的分级结构和松散互 连特性造成网络用户访问流媒体业务站点的时延长，效率低，严重影响了流媒 体应用的服务质量，甚至导致客户流失。其次，与其它业务类型相比，流媒体 业务占用的带宽更多，单个业务流持续的时间更长，对承载网络造成了很大压 力。因此，在流媒体应用的发展过程中，网络服务提供商先后采用了集群媒体 服务器 1 5 ，2 1 ，2 6 、分布式媒体服务器 2 4 、i p 网络广播等方式 1 2 ，1 3 ，1 7 ，3 0 改进流媒体服务质量，但效果都无法尽如人意，因为这些方式都有其本身无法 克服的、却又是致命的缺点。 首先，当大量用户的访问请求集中台中心的流媒体服务器时，对服务器 的性能和互联网骨干带宽都提出很高的要求，流媒体服务运营商最初想到的办 法是采用集群服务器提高服务质量。采用群集系统虽然能够提供高可用性和服 务器扩展性，但在这种方式下，缺点也是显而易见的。随着服务器数量的增加， 集群的价格变得越来越昂贵，管理越来越复杂，而且集群中的服务器性能非线 性增加，而是单台服务器的平均性能在逐步下降，因此它的服务器可扩展性不 能达到原有的期望值；采用集群媒体服务器并没有降低对互联网骨干带宽的要 求，反而由于服务器增多，更进一步加剧了网络拥塞的可能；集群系统与操作 系统密切相关，并且需要上层应用软件的支持( 如并行数据库软件等) ，可移 植性较差，因此每台服务器不是可独立选择软硬件平台的，整个集群系统必须 是在彼此相同的操作系统和群集软件的协调下紧密配合才能工作，系统与软硬 件平台处于紧耦合状态。 其次，部分服务提供商采取分布式媒体服务器方式来为了解决大并发量环 境下，用户流媒体访问质量无法保证的难题，即在服务需求集中的互联网节点 中安放媒体服务器，分流用户的服务请求，降低骨干网的数据传输量，但这种 方式同样有许多缺点：如果采用服务器镜像技术，大量服务器及存储设备的投 资将非常昂贵；如果不做镜像，就无法控制源内容服务器和各节点媒体服务器 之间内容同步：对应不同格式的媒体服务器都需要建立同样的服务系统，成本 太高。 流媒体内容分发嘲络的设计与实现 流媒体与c d n 技术 随着千兆位、十千兆位的高速路由器和交换机的出现，也有部分运营商采 用i p 广播的方式进行媒体内容的发布。但是广播方式也有技术弱点：广播方式 预先制定的节目单和节目库，减少了用户互动的可能，失去v o d 服务的特点； i n t e r n e t 对广播的限制使得媒体内容不能做跨网多播路由；内容在传送时缺乏 保密机制，不适合内容运营服务的开展；既不可以限制内容传送至特定用户， 也没有端到端内容管理方案；系统无法针对用户的不同访问记录进行个性化的 计费。 要解决流媒体服务商用过程中碰到的种种问题，克服以上技术的不足，必 须要有新技术的支持，c d n 技术适时地出现在网络运营商的视野中。 2 2c d n 的概念 c d n 的全称是c o n t e n td e l i v e r yn e t w o r k ，即内容分发网络。其目的是通 过在现有的i n t e r n e t 中增加一层新的网络架构，将网站的内容发布到最接近用 户的网络”边缘”，使用户可以就近取得所需的内容，解决t n t e r n e t 网络拥塞状 况，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户 访问量大、网点分布不均等原因，从根本上解决用户访问网站的响应速度慢的 问题。 c d n 技术也是起源于窄带互联网时期，早期的w e b 访问遵循h t t p 协议 1 6 ， 用户直接向w e b 服务器发出h t t p 请求，服务器给予响应。随着w e b 应用越来越 丰富，人们在享受互联网给工作和生活带来极大便利的同时，对互联网的服务 品质和访问速度要求越来越高，虽然带宽不断增加，用户数量也在不断增加， 受w e b 服务器的负荷和传输距离等因数的影响，响应速度慢还是经常抱怨和困 扰。解决方案就是在网络传输上利用缓存技术使得w e b 服务数据流能就近访问， 是优化网络数据传输非常有效的技术，从而获得高速的体验和品质保证。 网络缓存技术 8 ，9 ，1 1 ，2 3 ，2 5 ，其目的就是减少网络中冗余数据的重复传 输，使之最小化，将广域传输转为本地或就近访问。互联网上传递的内容，大 部分为重复的w e b f t p 数据，c a c h e 服务器及应用c a c h i n g 技术的网络设备， 可大大优化数据链路性能，消除数据峰值访问造成的结点设备阻塞。c a c h e 服 务器具有缓存功能，所以大部分网页对象( w e bp a g eo b j e c t ) 9 ，2 0 3 ，如h t m l ， h t m 。p h p 等页面文件，g i f ，t i f ，p n g ，b m p 等图片文件，以及其他格式的文件， 在有效期( t t l ) 内，对于重复的访问，不必从原始网站重新传送文件实体，只 1 0 流媒体内容分授网络的设计与实现 流媒体与c d n 技术 需通过简单的认证( f r e s h n e s sv a l i d a t i o n ) 一传送几十字节的h e a d e r ，即可 将本地的副本直接传送给访问者。由于缓存服务器通常部署在靠近用户端，所 以能获得近似局域网的响应速度，并有效减少广域带宽的消耗。据统计， i n t e r n e t h 超过8 0 的用户重复访问2 0 的信息资源，给缓存技术的应用提供 了先决的条件。缓存服务器的体系结构与w e b 服务器不同，缓存服务器能比w e b 服务器获得更高的性能，缓存服务器不仅能提高响应速度，节约带宽，对于加 速w e b 服务器，有效减轻源服务器的负荷是非常有效的。 高速缓存服务器( c a c h es e r v e r ) 是软硬件高度集成的专业功能服务器， 主要做高速缓存加速服务，一般部署在网络边缘。根据加速对象不同，分为客 户端加速和服务器加速，客户端加速c a c h e 部署在网络出口处，把常访问的内 容缓存在本地，提高响应速度和节约带宽；服务器加速，c a c h e 部署在服务器 前端，作为w e b 服务器的前置机，提高w e b 服务器的性能，加速访问速度。如 果多台c a c h e 加速服务器且分布在不同地域，需要通过有效地机制管理c a c h e 网络 】8 ，1 9 ，3 1 ，引导用户就近访问，全局负载均衡流量，这就是c d n 内容传 输网络的基本思想。 狭义地讲，内容分发布网络( c d n ) 是一种新型的网络构建方式，它是为能在 传统的i p 网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度，c d n 代表了一种基于质量与秩序的网络服务模式。简单地说，内容发布网( c d n ) 是一 个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向 和内容管理4 个要件，而内容管理和全局的网络流量管理( t r a f f i c m a n a g e m e n t ) 是c d n 的核心所在。通过用户就近性和服务器负载的判断，c d n 确保内容以一 种极为高效的方式为用户的请求提供服务。总的来说，内容服务基于缓存服务 器，也称作代理缓存( s u r r o g a t e ) ，它位于网络的边缘，距用户仅有”一跳 ”( s i n g l eh o p ) 之遥。同时，代理缓存是内容提供商源服务器( 通常位于c d n 服 务提供商的数据中心) 的一个透明镜像。这样的架构使得c d n 服务提供商能够 代表他们客户，即内容供应商，向最终用户提供尽可能好的体验，而这些用户 是不能容忍请求响应时间有任何延迟的。据统计，采用c d n 技术，能处理整个 网站页面的7 0 9 5 的内容访问量，减轻服务器的压力，提升了网站的性能 和可扩展性。 流媒体内容分发脚络的设计与实现 流媒体与c d n 技术 2 3 流媒体应用与c d n 的结合 与目前现有的内容发布模式相比较，c d n 强调了网络在内容发布中的重要 性。通过引入主动的内容管理分发功能和全局负载均衡，c d n 从根本上区别于 传统的内容发布模式。在传统的内容发布模式中，内容的发布由i c p 的应用服 务器完成，而网络只表现为一个透明的数据传输通道，这种透明性表现在网络 的质量保证仅仅停留在数据包的层面，而不能根据内容对象的不同区分服务质 量。此外，由于i p 网的”尽力而为”的特性使得其质量保证是依靠在用户和应用 服务器之间端到端地提供充分的、远大于实际所需的带宽通量来实现的。在这 样的内容发布模式下，不仅大量宝贵的骨干带宽被占用，同时i c p 的应用服务 器的负载也变得非常重，而且不可预计。当发生一些热点事件和出现浪涌流量 时，会产生局部热点效应，从而使应用服务器过载退出服务。这种基于中心的 应用服务器的内容发布模式的另外一个缺陷在于个性化服务的缺失和对宽带服 务价值链的扭曲，内容提供商承担了他们不该干也干不好的内容发布服务。 采用c d n 传输流媒体的优点主要包括三个方面：第一是通过应用层的内容 分发降低了主干网络的流媒体流量，实现了基于应用层的组播仿真( 即利用主 机构建独立于网络层的逻辑组播树，并采用主机上的应用层软件进行组播转 发) 。第二是通过分布在网络边缘的流媒体服务器，避免了拥塞链路，提高了流 媒体传输的性能和响应时间。最后，通过c d n 能够有效地提高整个流媒体系统 的扩展性，降低对每个流媒体服务器的性能要求。目前，利用c d n 传输流媒体 是大规模流媒体应用的发展趋势 4 。 通过前面几节的介绍分析，我们看到，流媒体服务作为宽带互联网的主要 应用之一，必将在今后几年得到大力发展。在流媒体技术渐趋成熟后，网络运 营商将更加关心流媒体的服务质量和运营维护系统，而c d n 技术被认为是提供 大规模流媒体服务的重要保证。因此，对流媒体内容分发网络的研究，无论在 理论研究领域还是对于实际运营应用都具有重要的现实意义。 婆塑塑：堕! 茎塑丝塑堡生皇壅翌 ! 里型垫查坌堑 第三章 c d n 技术分析 传统的内容分发网络建设方案主要由一个中心节点和若干个边缘节点组 成，中心的作用是提供流媒体内容的集中存储、流媒体服务、内容路由、认证 计费、网管等服务，实现系统负载均衡，而在边缘节点主要采用高速缓存服务 器( c a c h es e r v e r ) 软硬件高度集成的专业功能服务器向用户就近提 供服务，以提高系统的整体服务性能。 在内容分发网络中，内容路由系统负责将用户的请求指引到最合适的代理 服务器上，使内容服务质量得到最大的保证，因此，请求路由过程在内容分发 i 】c = 4 络的运行中具有非常重要的作用。请求路由过程需要综合参考多种指标，并 要兼顾重定向的效率。一般来说，请求路由过程分为两类，全局路由和本地路 由。前者解决如何把用户的请求定向到最合适的内容分发网络的站点上，后者 则在站点内把用户的请求分配到代理服务器的某个物理服务器中，以分担负载。 为了实现以上功能，请求路由过程采用了多项技术，从总体上看分为三类：基 于d n s 重定向 7 ，1 0 ；利用四层交换机进行负载均衡：采用三角重定向。 3 1d n $ 服务器轮询技术 d n s ( d o m a i nn a m es y s t e m ) 是“域名系统”的英文缩写，是一种组织成域 层次结构的计算机和网络服务命名系统，它用于t c p i p 网络时，通过在“域 名”和“i p 地址”之间提供相互的映射或翻译，可以让网络环境中所有设备之 涮通过人们容易识别的域名来定位和访问任何资源设备( 包括计算机) 。它的 工作原理如下： 1 用户若访问“w w w c d n t o m ”一浏览器将向本地d n s 服务器发出地 址解析请求； 2 用户的本地d n s 服务器先检查c a c h e ，若没有，请求将发送到它的上 一层d n s 服务器，直到“c o m ”的顶级d n s 服务器( “c o i n ”o w n e r 一一“c d n c o m ”o w n e r 一一“w w w c d n c o m ”o w n e r ) ： 3 “w w w c d n c o m ”对应的d n s 服务器收到请求后，将返回逐层一个相应 的i p 地址或地址列表，直到本地d n s 服务器； 流媒体内容分发网络的设计与实现 c d n 技术分析 4 用户本地的d n s 服务器将发送“w w w c d n c o l l ”所对应的i p 地址或 地址列表给用户，同时在本地c a c h e s 这些i p 地址或地址列表： 5 如果本地d n s 服务器在c a c h e 中有“w w w c d n c o i n ”对应的i p 地址， 它将立即返回该i p 地址到发出请求的用户： 6 如果本地d n s 服务器在c a c h e 中有“w w w c d n c o m ”对应的一列i p 地址表，根据需要本地d n s 服务器可以配置成循环返回该i p 地址表中 的某一i p 地址到发出请求的用户； 7 用户在得到了服务站点“w w w v o d c o l l ”主机i p 地址后，立即与该主 机进行网络通讯，并实施相关的应用服务。 从以上的d n s 访问过程可以看出，如果在分布式网络环境中有多套 “w w w c d n c o m ”对应的主机系统，用户每次访问时，具体与哪一套系统实旋通 讯，完全取决于本地d n s 服务器返回的i p 地址。因此在采用d n s 服务器轮询技 术实现分布式应用负载均衡时，d n s 服务器可以根据各分布式节点应用服务系 统的总体服务能力，配置成从这些节点应用服务系统的i p 地址列表中按比例循 环选择每一i p 地址返回。这样各分布式节点应用服务系统可以对全局网络环境 中提供相对比较均衡的负载。 d n s 负载均衡是一种简单而有效的方法，但是存在不少问题。首先域名服务 器无法知道服务结点是否有效，如果服务结点失效，余名系统依然会将域名解 析到该节点上，造成用户访问失效。其次，由于b n s 的数据刷新时间t t l ( t i m e t ol i v e ) 标志，一旦超过这个t t l ，其他d n s 服务器就需要和这个服务器交互， 以重新获得地址数据，就有可能获得不同i p 地址。因此为了使地址能随机分 配，就应使t t l 尽量短，不同地方的d n s 服务器能更新对应的地址，达到随机 获得地址。然而将t t l 设置得过短，将使d n s 流量大增，而造成额外的网络问 题。最后，它不能区分服务器的差异，也不能反映服务器的当前运行状态。当 使用d n s 负载均衡的时候，必须尽量保证不同的客户计算机能均匀获得不同的 地址。o n s 服务器无法动态地判断用户与各应用服务系统之间的网络通讯状况， 以及全局网络环境下各分布式节点应用服务系统的动态负载能力。例如，缓存 服务器a 可能因为用户流媒体服务连接时间较短，导致并发用户少，而缓存服 务器b 可能因为有多个用户欣赏长时间的流媒体内容，导致夫在较重，由于域 名系统没有合适的负载策略，仅仅是简单的轮流均衡，很容易将新的用户请求 发往负载轻的站点。因此，在动态平衡特性上，动态d n s 轮询的效果并不理想。 这种技术所实施的负载均衡是统计意义上的负载优化，并不是实际运行环境之 下的实时全局负载均衡 1 4 流媒体内容分发网络的设计与实现 c d n 技术分析 3 2 四层交换机负载均衡 第四层交换机在核心网络系统中，担负服务器间负载均衡是一项非常重要 的应用。第四层交换机所支持的服务器负载均衡方式，是将附加有负载均衡服 务的i p 地址，通过不同的物理服务器组成一个集，共同提供相同的服务，并将 其定义为一个单独的虚拟服务器。这个虚拟服务器是一个有单独i p 地址的逻辑 服务器，用户数据流只需指向虚拟服务器的i p 地址，而不直接和物理服务器的 真实i