（通信与信息系统专业论文）cdn管理标准化及分发策略研究.pdf

复旦大学硕士学位论文 摘要 目前，很多内容服务提供商虽然各自在一定范围内( 如城域网、校园网、宽 带小区内) 提供了多种宽带内容服务，相继建立了内容分发网络( c d n ) ，但由于 采用的技术和设备缺乏统一的标准，开放性弱，在一个国家范围的广域网和各个 城域网内形成了很多孤立的内容服务系统，人为造成了一个个分隔的“c d n 孤 岛一，各个运营商的内容无法跨越其所在的内容分发网络( c d n ) 。即使在同 一内容分发网络( c d n ) ，由于各缓存服务器都来自于不同的厂商，而厂商设 备暴露的都是各自的私有接口，操作系统和系统状态等参数各不相同，管理员需 要采用多种特定于各自环境、产品的不同工具和软件来达成管理目标，这导致了 管理效率低下，管理成本巨大，产品投资回报比不高等一系列问题。 为了实现各个内容分发网络( c d n ) 之间的互联互通及内容分发网络( c d n ) 内部节点管理的标准化，本文把w s m a n a g e m e n t 标准和c i m 建模引入到c d n 管理中，实现c d n 系统管理的标准化。其设计目标为：使用基于w s - m a n a g e m e n t 标准和c i m 建模实现对缓存节点管理、内容管理的标准化，从而降低c d n 的运 营管理成本及实现各c d n 系统之间的互联互通。 本文致力于实现各个内容分发网络( c d n ) 之间的互联互通及内容分发网络 ( c d n ) 内部节点管理的标准化，把w s - m a n a g e m e n t 标准和c i m 建模引入到 c d n 管理中。本文首先对w s m a n g e m e n t 标准和c i m 模型进行了简单的介绍。 接着提出用w s m a n g e m e n t 标准和c i m 模型来实现c d n 管理的标准化，对边 缘节点管理及内容的管理实现标准化，对单缓存服务器和缓存服务器集群分别进 行建模实现标准化的管理，并提出了一种基于w s - m a n g e m e n t 标准的纯软件实 现c d n 网络的构架。最后，论文探讨了一种自适应的c d n 内容分发策略，从 核心网的宽带流量消耗最小化与用户时延最优化的角度，实现了对服务内容的自 适应调整，并与目前比较流行的内容分发策略进行了比较分析。 关键字：内容分发网络( c d n ) ，w s - m a n a g e m e n t ，c i m ，分发策略 中图分类号：t p 3 堡呈奎堂堡主兰垡堡奎 a b s t r a c t n o w a d a y s ，m a n a g e m e n t - s y s t e mb a s e d o nw s - m a n a g e m e n ts t a n d a r dh a sb e e na h o t s h o tb o t hd o m e s t i c a l l ya n da b r o a d , w h i l en or e s e a r c ha b o u ti t sa p p l i c a t i o no nc d n i sf o u n d t i l ln o w , t h ec d ni nc h i n ai ss e tu p b ys w i t c h e sa n db u f f e r i n gd e v i c e sf r o m f o r e i g nm a n u f a c t u r e s sl e a d st oh i g hp d o fh a r d w a r e ，p o o rc o m p a t i b i l i t ya n d d i f f i c u l t yt om a n a g e b e s i d e s , c d ns 既v 懿a r em a n u f a c t u r e ds e p a r a t e l yb ys e v e r a l m a n u f a c t u r i n g , s o 硼v a t ei n t e r f a c e ，d i f f e r e n to sa r ep r o v i d e d d i f f e r e n tt o o l sa r e r e q u i r e dt or e a c ht h em a n a g e m e n tt a r g e t t h i sa g a i nl e a d s t os e r i e so f p r o b l e m s ，s u c h 嬲l o we f f i c i e n c y , h i 曲c o s ta n dr e l a t i v e l yl o wc o s t - b e n e f i tr a t i o n - t os o l v et h ep r o b l e m so fc d ns u c ha sl a c ko fs t a n d a r d , p o o rc o m p a t i b i l i t ya n dp o o r a v a i l a b i l i 锣，w s - m a n a g e m e n ta n dc i ma l ef i r s ti n t r o d u c e di n t oc d nm a n a g e m e n t a r e & lt os o l v et h o s ep r o b l e m s i nt h i sa r t i c l e ，w er a i s ean e ws o l u t i o n ：ac o m p l e t e l y w s - m a n a g e m e n ta n dc b a s e dc d n 佬a i mt op r o v i d ec d ni n t e r f a c em o d e l e d b yc i m o ms ot h a ti t sm a n a g e m e n tc a l lb es t a n d a r d i z e d t h i sm o d e li m p r o v e st h e m l a b i l i t y ，a v a i l a b i l i t y , f a u l t - t o l e r a n c ea b i l i t ya n dp e r f o r m a n c e - c o s tr a t i oo fc d n m a n a g e m e n l n 璩r e s u l to fs i m u l a t e de x p e r i m e n t si n d i c a t e st h a tt h es y s t e mh a sq u i t e g o o dp e r f o r m a n c e k e y w o r d s ：c d n ，w s - m a n a g e m e n t ，c i m ，c i m o m ，d i s t r i b u t i o ns t r a t e g y c l c ：t p 3 2 复旦大学硕士学位论文 第一章引言 1 1研究背景 互联网的高速发展，给人们的工作和生活带来了极大的便利。尽管带宽不断 增加，但用户数量也在不断增加，受w e b 服务器的负荷和传输距离等因数的影响， 往往不能提供令客户满意的服务。接入速度慢、带宽拥塞、网站响应速度慢等因 素已开始成为互联网行业发展的阻碍。而采用高效率、安全稳定、投人成本低的 c d n ( c o n t e n td e li v e r yn e t w o r k ) 系统，无疑可以使有限的网络基础硬件设施发 挥出更高的效率，缓解大流量访问而造成的压力。互联网应用的变迁使得c d n 业 务功能不断更新，从网页加速、应用加速、网络存储到流媒体加速、下载性能提 升、流量管理服务等。 随着c d n 技术的不断完善，电信运营商的网络建设不断的加大投入，以及国 际知名厂商、s p 、c p 和企业用户纷纷进入市场，在w e b 2 0 、流媒体网站、电子 商务、游戏类网站等互联网业务发展的带动下，全球c d n 的市场规模从1 9 9 9 年 正式商用的2 5 0 0 万美元到2 0 0 8 年已超过1 0 亿美元，其中2 0 0 4 2 0 0 8 年的复合 年均增长率达到了5 4 2 。尤其从2 0 0 6 年开始的3 年内，互联网视频应用的爆发 式增长极大地带动了c d n 服务的成长促使c d n 市场一扫低迷状态，驶入高速发展 轨道。预计在未来几年全球c d n 市场将迎来发展的黄金时期。 图1 - 1 全球c d n 市场规模 3 一 复旦大学硕士学位论文 c d n 系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的 距离和响应时间等综合信息将用户的请求重新导向最佳的服务节点上，以避开互 联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更 稳。对用户来说，通过c d n 系统，得到响应的时间被大大缩短，数据传输的稳定 性被大大提高，从而提高了网络服务的总体性能。 1 2 课题的提出 由d m t f ( d i s t r i b u t e dm a n a g e m e n tt a s kf o r c e ) 推出的w s - m a n a g e m e n t ( w e b s e r v i c e sf o rm a n a g e m e n t ) 标准嘲和c i m 模型已经逐渐成为主流的基于w e b s e r v i c e s 管理的国际标准。它描述了适用于管理w e bs e r v i c e s 、软件应用系统、 个人电脑、服务器、以及其他硬件设备和应用系统的一个通用的规范。目前，基 于w s - m a n a g e m e n t 标准和c i m 建模的单机系统管理已经成为国内外的热门，但还 没有发现基于w s m a n a g e m e n t 标准和c i m 建模的在c d n 网络应用方面的研究。 国内目前的c d n 建设方案几乎都是用主要来自国外厂商的第四层交换机和缓 存硬件设备等加以构建，因此带来硬件设备价格高、各厂商设备兼容性差以及多 种设备管理难度大等问题。很多内容服务提供商虽然各自在一定范围内( 如城域 网、校园网、宽带小区内) 提供了多种宽带内容服务，相继建立了内容分发网络 ( c d n ) ，由于采用的技术和设备缺乏统一的标准，开放性弱，在一个国家范围的 广域网和各个城域网内形成了很多孤立的内容服务系统，人为造成了一个个分隔 的“c d n 孤岛一，各个运营商的内容无法跨越其所在的内容分发网络( c d n ) 。即使 在同一内容分发网络( c d n ) ，由于各缓存服务器都来自于不同的厂商，而厂商设 备暴露的都是各自的私有接口，操作系统和系统状态等参数不各不相同，管理员 需要采用多种特定于各自的环境、产品的不同的工具和软件来达成管理目标，这 导致了管理效率低下，管理成本巨大，产品投资回报比不高等一系列问题。 为了实现各个内容分发网络( c d n ) 之间的互联互通及内容分发网络( c d n ) 内 部节点管理的标准化，本文把w s - m a n a g e m e n t 标准和c i m 建模引入到c d n 管理中， 实现c d n 系统管理的标准化。其设计目标为：使用基于w s - m a n a g e m e n t 标准和c i m 建模实现对缓存节点管理，内容管理的标准化，从而降低c d n 的运营管理成本及 实现各c d n 系统之间的互联互通。 另外一方面，传统的内容分发( c o n t e n td i s tr i b u t e ) 技术主要通过主动推 送( p u s h ) 和被动推拉( p u l l ) 的方法从中心节点进行内容的分发操作，所有的内 容资源都需要各个边缘服务节点通过中心节点进行主动或被动的获取。因为各节 点间不具备数据交互能力，所以多节点的内容数据访问增加了对中心节点的服务 负担，从而导致分发效率低下，严重时会产生通讯瓶颈，造成传输延时或网络关键 节点瘫痪，且不宜于大范围的内容分发应用。如何最优化资源配置，实现一种自 4 复旦大学硕士学位论文 适应的c d n 网络，也成为c d n 的一个重大问题。自适应c d n 网络会根据对c d n 网 络访问状况，自动地实时动态调整c d n 网络中的资源分配，让每个用户都能通过 最优的资源配置，来获得最好访问质量。 1 3论文的研究重点和结构 第一章是引言，提出了论文的研究背景及课题的研究意义。 第二章主要对c d n 及相关技术进行了简要的介绍，并指出了目前c d n 网络中 存在的一些问题。 第三章对w s - m a n g e m e n t 标准和c i m 模型进行了简单的介绍。 第四章研究用w s - m a n g e m e n t 标准和c i m 模型来实现c d n 管理的标准化，对 边缘节点管理及内容的管理实现标准化，对单缓存服务器和缓存服务器集群分别 进行建模实现标准化的管理。另外，还提出了一种基于w s - m a n g e m e n t 标准的纯 软件实现c d n 网络的构架及简单介绍。 第五章根据数学模型提出了一种自适应的c d n 内容分发策略，从核心网的宽 带流量消耗最小化与用户时延最优化的角度，实现了对服务内容的自适应调整， 并于目前比较流行的内容分发策略进行了比较分析。 第六章是基于w s - m a n a g e m e n t 标准和c i m 模型实现的c d n 管理标准化的真实 环境的实现与分析。 第七章是本文的结论及下一步的研究方向。 5 复旦大学硕士学位论文 第二章c d n 及相关技术介绍 2 1c d n 概述 随着现代互联网络技术和多媒体技术的不断发展，图像、音频、视频服务所 占的比重越来越大，虽然带宽不断增加但随着网民数量激增，w e b 服务器的负荷， 网络访问距离过长，从而导致了网络负载迅速增加，进而使用户的访问质量受到 严重影响。传统的缓存技术对交互性强和比较大的文件并不支持，因此迫切需要 一种新的传输结构来解决这一问题。此外当用户与网站之间的数据链路被突发的 大流量数据拥塞时对于异地互联网用户急速增加的地区来说访问质量不良更是 一个急待解决的问题。而应运而生的内容分发网络技术正是针对带宽响应速度， 扩展性，可靠性等问题来对网络进行改善的。它不仅能优化网络性能，提高应用 效率，整合内容资源，而且可以为多种应用提供服务，特别是多媒体应用服务。 c d n 通常被称为内容分发网络( c o n t e n td f s t r i b u t i o nn e t w o r k ) ，有时也 被称作内容传递网络( c o n t e n td e l i v e r yn e t w o r k ) 。内容分发和传递一方面可 以看作是c d n 的两个阶段，分发是内容从源分布c d n 边界节点的过程，传递是用 户通过cdn 边界节点获取内容的过程；另一方面，分发和传递可以看作是c d n 的两种不同的实现方式，分发强调c d n 作为透明的内容承载平台，传递强调c i ) n 作为内容的提供和服务平台。c d n 最初被用于分发w e b 内容，即主要实现w e bc a c h e ( 高速缓存) 的功能。随着宽带接入的普及以及基于流媒体的宽带应用的迅速发 展，c d n 是一种能够有效缓解流媒体传输的高吞吐率对骨干网络带宽带来的压力， 同时也是提升流媒体服务质量的有效手段。c d n 的核心思想是将内容从中心推到 边缘靠近用户的地方，这样，不但有效提高了用户访问内容的性能，而且有效减 轻了中心设备和骨干网络的压力。通过c d n ，可以将内容服务从原来的单一中心 结构变为分布式的结构。c d n 提供了一种传送内容的新型体系结构，c d n 设立若 干分支节点，尽量将用户请求的内容存储到距离用户“最后一公里 的边缘节点 上，使得用户请求可以在本地进行，改善用户的访问效果。c d n 是一个建立并覆 盖在互联网之上，由分布在不同区域的节点服务器群组成的虚拟网络，它通过实 现用户对网站的就近访问及网络流量智能分流，从技术上全面解决由于网络带宽 小、用户访问量大、网站分布不均等对用户访问效果的影响，大大提高了网络的 响应速度。 狭义地讲，内容分发网络( c d n ) 是一种新型的网络构建方式，它是为能在传 统的网络上发布丰富媒体而特别优化的网络覆盖层：而从广义的角度，c d n 代表了 一种基于质量与秩序的网络服务模式。简单地说，内容分发网络( ( c d n ) 是一个经 6 复旦大学硕士学位论文 过策略性部署的整体系统，它包括负载均衡和内容分发两个主要部分。其中内容 分发是c d n 的核心所在，是负载均衡的前提和基础。通过用户就近性和服务器负 载的判断，c d n 确保内容以一种极为高效的方式为用户的请求提供服务。总的来 说，内容服务基于边缘服务器，它位于网络的边缘，距用户仅有“一跳一( s i n g l e h o p ) 的距离，也称作代理服务器( s u r r o g a t e ) 。同时，边缘服务器是网络内容提 供商( i c pi n t e r n e tc o n t e n tp r o v i d e r ) 的源服务器( 通常位于c d n 服务提供商的 数据中心) 的一个透明镜像。这样的架构使得c d n 服务提供商能够代表他们客户， 即i c p ，向最终用户提供尽可能好的服务。据统计，采用c d n 技术，能处理整个 网站页面的7 0 - 9 5 的内容访问量，减轻服务器的压力，提升了网站的性能和可 扩展性。 在全球c d n 市场发展中，部分国家高度发达，部分国家尚处发展中。其中美 日韩三国发展较好，美国c d n 业务在网站的渗透率已经达到9 0 ，正趋于饱和， 韩国和日本的c d n 业务在网站的渗透率均超过了8 0 。目前主要有三类服务商活 跃在c d n 市场上，一类是完整解决方案提供商，包括a k a m a i 、l i m e l i g h tn e t w o r k s 等领先者，其方案广泛涉足各种应用领域；第二类是提供各种应用类加速的c d n 服务商，他们涉足流媒体业务加速、数据库加速、游戏应用加速等领域：第三类 是大量的p 2 p 公司，主要提供下载类的c d n 服务。市场细分还伴随着产业的频繁 并购，c d n 市场的领先者在近几年均有通过并购的方式来获取技术和目标市场的 行为。市场高度细分和频繁并购在c d n 最发达的美国市场上表现得淋漓尽致。 2 2c d n 网络的构架 2 2 1c d n 的组成 c d n 是以现有互联网为基础的专业化综合应用平台，它由分布在网络边缘的 应用服务器群组成，通过应用层的内容智能路由，自动保证用户实现就近访问， 为网站提供高效、稳定、安全的内容和应用的分布服务。一个典型的c d n 由以下 三要素组成： 1 内容管理系统：内容管理分发系统主要负责整个c d n 系统的管理，特别 是内容管理，如内容的注入和发布、内容的实时分发、内容的审核、内容的服务 等。集中式的内容分发管理和网络管理，并对用户和内容提供商的c d n 使用情况 进行统计和计费，同时还需要对各个分支节点进行管理。 2 内容分发系统：负责将媒体内容主动地“推 到边缘的各分支节点，并 通过一定的策略协调各节点的内容存储，降低对源服务器的带宽需求。 3 内容路由系统：内容路由系统负责将用户的请求调度到适当的设备上， 内容路由通常通过负载均衡系统来实现，分为全局负载均衡( g s l bg l o b a ls e r v e r 7 复旦大学硕士学位论文 过策略性部署的整体系统，它包括负载均衡和内容分发两个主要部分。其中内容 分发是c d n 的核心所在，是负载均衡的前提和基础。通过用户就近性和服务器负 载的判断，c d n 确保内容以一种极为高效的方式为用户的请求提供服务。总的来 说，内容服务基于边缘服务器，它位于网络的边缘，距用户仅有“一跳一( s i n g l e h o p ) 的距离，也称作代理服务器( s u r r o g a t e ) 。同时，边缘服务器是网络内容提 供商( i c pi n t e r n e tc o n t e n tp r o v i d e r ) 的源服务器( 通常位于c d n 服务提供商的 数据中心) 的一个透明镜像。这样的架构使得c d n 服务提供商能够代表他们客户， 即i c p ，向最终用户提供尽可能好的服务。据统计，采用c d n 技术，能处理整个 网站页面的7 0 - 9 5 的内容访问量，减轻服务器的压力，提升了网站的性能和可 扩展性。 在全球c d n 市场发展中，部分国家高度发达，部分国家尚处发展中。其中美 日韩三国发展较好，美国c d n 业务在网站的渗透率已经达到9 0 ，正趋于饱和， 韩国和日本的c d n 业务在网站的渗透率均超过了8 0 。目前主要有三类服务商活 跃在c d n 市场上，一类是完整解决方案提供商，包括a k a m a i 、l i m e l i g h tn e t w o r k s 等领先者，其方案广泛涉足各种应用领域；第二类是提供各种应用类加速的c d n 服务商，他们涉足流媒体业务加速、数据库加速、游戏应用加速等领域：第三类 是大量的p 2 p 公司，主要提供下载类的c d n 服务。市场细分还伴随着产业的频繁 并购，c d n 市场的领先者在近几年均有通过并购的方式来获取技术和目标市场的 行为。市场高度细分和频繁并购在c d n 最发达的美国市场上表现得淋漓尽致。 2 2c d n 网络的构架 2 2 1c d n 的组成 c d n 是以现有互联网为基础的专业化综合应用平台，它由分布在网络边缘的 应用服务器群组成，通过应用层的内容智能路由，自动保证用户实现就近访问， 为网站提供高效、稳定、安全的内容和应用的分布服务。一个典型的c d n 由以下 三要素组成： 1 内容管理系统：内容管理分发系统主要负责整个c d n 系统的管理，特别 是内容管理，如内容的注入和发布、内容的实时分发、内容的审核、内容的服务 等。集中式的内容分发管理和网络管理，并对用户和内容提供商的c d n 使用情况 进行统计和计费，同时还需要对各个分支节点进行管理。 2 内容分发系统：负责将媒体内容主动地“推 到边缘的各分支节点，并 通过一定的策略协调各节点的内容存储，降低对源服务器的带宽需求。 3 内容路由系统：内容路由系统负责将用户的请求调度到适当的设备上， 内容路由通常通过负载均衡系统来实现，分为全局负载均衡( g s l bg l o b a ls e r v e r 7 复旦大学硕士学位论文 l o a db a l a n c i n g ) 和本地负载均衡( s l bs e r v e rl o a db a l c a n c i n g ) 。全局负载 均衡负责通过静态或动态的方式为用户的请求选择最佳的访问站点。本地负载均 衡位于c d n 接入点中，除配合完成全局的负载均衡之外，负责内容服务引擎的负 载平衡及业务服务的访问控制。 4 缓存服务器网络：缓存服务器网络是c d n 的业务提供点，是面向最终用 户的内容提供设备。位于c d n 接入点中的一组分布式的服务代理，通常选择缓存 服务器来实现，可缓存静态的w e b 内容和流媒体内容，提供边缘服务，使得用户 的请求能绕过i n t e r n e t 的拥塞区域。 l 一一一一一一一j 图2 - 1c d n 的组成 其中源服务器一般是一个流媒体服务器或由多个流媒体服务器组成的服务 器集群，用于保存多媒体信息，并可实现对多媒体内容进行编码、打包、请求调 度和传输等工作。 2 2 2c d n 的关键技术 c d n 网络的关键技术主要有内容路由技术、内容分发技术、内容存储技术、 内容管理技术等等。 ( 一) 内容路由技术 内容路由技术实现将用户的请求转发到最优的边缘分支节点。边缘节点的选 择要依据多种因素，如用户的距离、请求的内容、节点的负载情况及节点的服务 固 复旦大学硕士学位论文 质量等。负载均衡可以通过多种方法实现，主要的方法包括d n s 、应用层重定向、 传输层重定向等等。负载均衡方法的准确性和效率将直接影响整个c d n 网络的性 能。常见的路由方法有动态d n s 的全局请求路由、传输层的全局请求路由以及应 用层的全局请求路由，从网络的不同层次实现负载均衡。 通常负载均衡可以分为两个层次：全局负载均衡( g s l b ) 和本地负载均衡 ( s l b ) 。全局负载均衡( g s l b ) 主要的目的是在整个网络范围内将用户的请求定 向到最近的节点( 或者区域) 。因此，就近性判断是全局负载均衡的主要功能。 本地负载均衡( s l b ) 一般局限于一定的区域范围内，其目标是在特定的区域范 围内寻找一台最适合的节点提供服务，因此，c d n 节点的健康性、负载情况、支 持的媒体格式等运行状态是本地负载均衡进行决策的主要依据。 对于全局负载均衡而言，为了执行就近性判断，通常可以采用两种方式，一 种是静态的配置，例如根据静态的i p 地址配置表进行i p 地址到c d n 节点的映射。 另一种方式是动态的检测，例如实时地让c d n 节点探测到目标i p 的距离( 可以 采用r r t ，h o p s 作为度量单位) ，然后比较探测结果进行负载均衡。当然，静态 和动态的方式也可以综合起来使用。 对于本地负载均衡而言，为了执行有效的决策，需要实时地获取c a c h e 设备 的运行状态。获取的方法一般有两种，一种是主动探测，一种是协议交互。主动 探测针对s l b 设备和c a c h e 设备没有协议交互接口的情况，通过p i n g 等命令主 动发起探测，根据返回结果分析状态。另一种是协议交互，即s l b 和c a c h e 根据 事先定义好的协议实时交换运行状态信息，以便进行负载均衡。比较而言，协议 交互比探测方式要准确可靠，但是目前尚没有标准的协议，各厂家的实现一般仅 是私有协议互通比较困难。 ( 二) 内容分发技术脚 内容分发技术主要实现从内容源到c d n 边缘的c a c h e 的过程。从实现上看， 有两种主流的内容分发技术：p u s h 和p u l l 。p u s h 是一种主动分发技术，在用户 请求到来之前预先将内容分发到边缘服务器。分发的内容主要是一些请求次数多 的热点内容，加快了对特定用户请求的响应速度。采用p u s h 方法时，需要对近 期用户访问的情况进行统计，将以后可能会访问的内容预分发到边缘服务器。 p u l l 是一种被动分发技术，即按需分发，当有请求到来时才开始内容的分发。在 进行内容分发时，一般是混合使用两种方法。首先对多媒体内容的历史访问记录 进行统计，并预测以后的访问量，对访问量可能较大的内容采用p u s h 方法预分 发，其他的内容在有请求时再分发。 p u s h 是一种主动分发的技术。通常，p u s h 由内容管理系统发起，将内容从 源或者中心媒体资源库分发到各边缘的缓存服务器。分发的协议可以采用 9 复旦大学硕士学位论文 h t t p f t p 等。通过p u s h 分发的内容一般是比较热点的内容，这些内容通过p u s h 。方式预分发( p r e l o a d ) 到边缘c a c h e ，可以实现有针对的内容提供。对于p u s h 分发需要考虑的主要问题是分发策略，即在什么时候分发什么内容。一般来说， 内容分发可以由c p ( 内容提供商) 或者c d n 内容管理员人工确定，也可以通过智 能的方式决定，即所谓的智能分发。它根据用户访问的统计信息，以及预定义的 内容分发的规则，确定内容分发的过程。 p u l l 是一种被动的分发技术，p u l l 分发通常由用户请求驱动。当用户请求 的内容在本地的边缘c a c h e 上不存在( 未命中) 时，c a c h e 启动p u l l 方法从内容 源或者其他c d n 节点实时获取内容。在p u l l 方式下，内容的分发是按需的。 在实际的c d n 系统中，一般两种分发方式都支持，但是根据内容的类型和业 务模式的不同，在选择主要的内容分发方式时会有所不同。通常，p u s h 的方式适 合内容访问比较集中的情况，如热点的影视流媒体内容；p u l l 方式比较适合内容 访问分散的情况。 在内容分发的过程中，对于c a c h e 设备而言，关键的是需要建立内容源u p & 、 内容发布的u r l 、用户访问的u p & ，以及内容在c a c h e 中存储的位置之间的映射 关系。 ( 三) 内容存储技术 对于c d n 系统而言，需要考虑两个方面的内容存储问题。一个是内容源的存 储，一个是内容在缓存服务器中的存储。 对于内容源的存储，由于内容的规模比较大( 通常可以达到几个甚至几十个 t b ) ，而且内容的吞吐量较大，因此，通常采用海量存储架构。如n a s 和s o n 对于在缓存服务器中的存储，是c a c h e 设计的一个关键问题。需要考虑的因 素包括功能和性能两个方面：在功能上包括对各种内容格式的支持、对部分缓存 的支持，在性能上包括支持的容量、多文件吞吐率、可靠性、稳定性。 其中，多种内容格式的支持要求存储系统根据不同文件格式的读写特点进行 优化，以提高文件内容读写的效率，特别是对流媒体文件的读写。 部分缓存能力指流媒体内容可以以不完整的方式存储和读取。部分缓存的需 。 求来自用户访问行为的随机性，因为许多用户并不会完整地收看整个流媒体节 目，事实上，许多用户访问单个流媒体节目的时间不超过1 0 分钟。因此，部分 缓存能力能够大大提高存储空间的利用率，并有效地提高用户请求的响应时间。 但是部分缓存可能导致内容出现碎片问题，需要进行良好的设计和控制。 c a c h e 存储的另一个重要因素是存储的可靠性，目前，多数存储系统都采用 了p a i d 技术进行可靠存储。但是不同设备使用的p a i d 方式各有不同。 ( 四) 内容管理技术 复旦大学硕士学位论文 内容管理在广义上涵盖了从内容的发布、注入、分发、调整、传递等一系列 过程。在这里，内容管理重点强调内容进入c a c h e 点后的内容管理，我们称为本 地内容管理。 本地内容管理主要针对一个c d n 节点( 由多个c d nc a c h e 设备和一个s l b 设 备构成) 进行。本地内容管理的主要目标是提高内容服务的效率，提高本地节点 的存储利用率。通过本地内容管理，可以在c d n 节点实现基于内容感知的调度， 通过内容感知的调度，可以避免将用户重定向到没有该内容的c a c h e 设备上，从 而提高负载均衡的效率。通过本地内容管理还可以有效地实现在c d n 节点内容的 存储共享，提高存储空间的利用率。 在实现上，本地内容管理主要包括如下几个方面。 一是本地内容索引。本地内容管理首先依赖于对本地内容的了解。包括每个 c a c h e 设备上内容的名称、u r l 、更新时间、内容信息等。本地内容索引是实现基 于内容感知的调度的关键。 二是本地内容拷贝。通常，为了提高存储效率，同一个内容在一个c d n 节点 中仅存储一份，即仅存储在某个特定的c a c h e 上。但是一旦对该内容的访问超过 该c a c h e 的服务提供能力，就需要在本地( 而不是通过p u s l 的方式) 实现内容 的分发。这样可以大大提高效率。 三是本地内容访问状态信息收集。搜集各个c a c h e 设备上各个内容访问的统 计信息，c a c h e 设备的可用服务提供能力及内容变化的情况。 可以看出，通过本地内容管理，可以将内容的管理从原来的c a c h e 设备一级， 提高到c d n 节点一级，从而大大增加了c d n 的可扩展性和综合能力。 综上所述，c d n 作为一种支持大规模高质量的流媒体服务的关键技术，目前 已经基本成熟，具备了广泛应用的能力。 2 3 目前c d n 网络中存在的问题 目前c d n 网络中存在一下几个问题： 1 各内容服务提供商虽然各自在一定范围内( 如城域网、校园网、宽带小区 内) 提供了多种宽带内容服务，相继建立了内容分发网络( c d n ) ，由于采用的技术 和设备缺乏统一的标准，开放性弱，在一个国家范围的广域网和各个城域网内形 成了很多孤立的内容服务系统，人为造成了一个个分隔的“c d n 孤岛一，各个运营 商的内容无法跨越其所在的内容分发网络( c d n ) 。 2 c d n 网络中的缓存服务器可能都来自于不同的厂商，各厂商设备都暴露的 都是各自的私有接口，操作系统和系统状态等参数不各不相同，管理员需要采用 多种特定于各自的环境、产品的不同的工具和软件来达成管理目标，这导致了管 理效率低下，管理成本巨大，产品投资回报比不高等一系列问题。 1 1 复旦大学硕士学位论文 3 目前国内主要的c d n 建设方案几乎都是采用四层交换机和缓存设备等加 以构建，这就带来硬件设备价格高、各厂商设备兼容性差以及设备管理难度大等 一系列问题。 4 传统的内容分发( c o n t e n td i s tr i b u t e ) 技术主要通过主动推送( p u s h ) 和被动推拉( p u l l ) 的方法从中心节点进行内容的分发操作，所有的内容资源都 需要各个边缘服务节点通过中心节点进行主动或被动的获取。因为各节点间不具 备数据交互能力，所以多节点的内容数据访问增加了对中心节点的服务负担，从 而导致分发效率低下，严重时会产生通讯瓶颈，造成传输延时或网络关键节点瘫 痪，且不宜于大范围的内容分发应用h 】。如何最优化资源配置，实现一种自适应的 c d n 网络，也成为c d n 的一个重大问题。自适应c d n 网络会根据对c d n 网络访问 状况，自动地实时动态调整c d n 网络中的资源分配，让每个用户都能通过最优的 资源配置，来获得最好访问质量。 1 2 复旦大学硕士学位论文 第三章w s - m a n a g e m e n t 标准及c i m 模型研究 3 1w s - m a n a g e m e n t 标准 由d m t f ( d is t r i b u t e dm a n a g e m e n tt a s kf o r c e ) 推出的w s - m a n a g e m e n t ( w e b s e r v i c e sf o rm a n a g e m e n t ) 标准已经逐渐成为主流的基于w e b 服务管理的国际标 准。它描述了适用于管理w e bs e r v i c e s 、软件应用系统、个人电脑、服务器、以 及其他硬件设备和应用系统的一个通用的规范。w e b 服务管理标准体系结构是以 一套具有丰富功能且能满足不同服务需求的标准为基础建立的。它基于s o a p 协 议，通过指定一组核心的w e b 服务规范和使用需求来暴露一组通用的系统管理核 心操作。目前w s - m a n a g e m e n t 规范家族得到越来越多的厂商产品支持，如：微 软公司，i b m 公司、i n t e l 公司、a m d 公司、戴尔公司、s u nm i c r o s y s t e m s 公司、 b m c 公司、c a 公司、n o v e l l 公司等。 w s - m a n a g e m e n t 标准促进了管理应用软件和被管理资源之间的交互性。通过 确定一套核心w e b 服务标准和使用要求，来暴露一套以通用资源管理功能为中心 的公共操作集。如：获取，设置( 更新) ，创建和删除独立的被管理资源，动态 地获取资源的实时监控值，遍历容器内容，以获取如日志、表格，向被管理资源 产生的事件进行订阅等。 通过使用w e b 服务来管理i t 系统，部署、支持w e b 服务管理，使i t 资源管 理者可以从网络上远程访问设备，包括桌面和手提设备，服务器和大型数据中心， 单个的w e b 服务、服务组合以及s o a 系统，甚至横跨整个i t 基础设施的访问和 交换管理信息。 3 1 1w s - m a n a g e m e n t 管理标准层次结构 w s - m a n a g e m e n t 采用松耦合的方式，实现分布式管理。它主要有四个底层支 撑协议，分别是：资源寻址模型( w s - a d d r e s s i n g ) ，w e b 服务传输( w s - t r a n s f e r ) ， w e b 服务遍历( w s - e n u m e r a t i o n ) 和w e b 服务事件( w s - e v e n t i n g ) 。资源寻址模 型( w s - a d d r e s s i n g ) 定义了消息的寻址信息模型。w e b 服务传输( w s t r a n s f e r ) 定义了资源的创建( c r e a t e ) ，删除( d e l e t e ) ，获取( g e t ) ，赋予( p u t ) 等操作。w e b 服务遍历( w s - e n u m e r a t i o n ) 定义了用于建立枚举会话和检索数据序列的协议。 w e b 服务事件( w s - e v e n t i n g ) 定义了某一服务可以提供的支持订阅创建和管理的 操作。 在如图3 - i 安全配置层的主要作用是使管理的操作和回应应该受到保护，免 受在传输过程中的窥探，拦截，重现和修改等攻击。而且，为了决定是否通过控 1 土 复旦大学硕士学位论文 第三章w s - m a n a g e m e n t 标准及c i m 模型研究 3 1w s - m a n a g e m e n t 标准 由d m t f ( d is t r i b u t e dm a n a g e m e n tt a s kf o r c e ) 推出的w s - m a n a g e m e n t ( w e b s e r v i c e sf o rm a n a g e m e n t ) 标准已经逐渐成为主流的基于w e b 服务管理的国际标 准。它描述了适用于管理w e bs e r v i c e s 、软件应用系统、个人电脑、服务器、以 及其他硬件设备和应用系统的一个通用的规范。w e b 服务管理标准体系结构是以 一套具有丰富功能且能满足不同服务需求的标准为基础建立的。它基于s o a p 协 议，通过指定一组核心的w e b 服务规范和使用需求来暴露一组通用的系统管理核 心操作。目前w s - m a n a g e m e n t 规范家族得到越来越多的厂商产品支持，如：微 软公司，i b m 公司、i n t e l 公司、a m d 公司、戴尔公司、s u nm i c r o s y s t e m s 公司、 b m c 公司、c a 公司、n o v e l l 公司等。 w s - m a n a g e m e n t 标准促进了管理应用软件和被管理资源之间的交互性。通过 确定一套核心w e b 服务标准和使用要求，来暴露一套以通用资源管理功能为中心 的公共操作集。如：获取，设置( 更新) ，创建和删除独立的被管理资源，动态 地获取资源的实时监控值，遍历容器内容，以获取如日志、表格，向被管理资源 产生的事件进行订阅等。 通过使用w e b 服务来管理i t 系统，部署、支持w e b 服务管理，使i t 资源管 理者可以从网络上远程访问设备，包括桌面和手提设备，服务器和大型数据中心， 单个的w e b 服务、服务组合以及s o a 系统，甚至横跨整个i t 基础设施的访问和 交换管理信息。 3 1 1w s - m a n a g e m e n t 管理标准层次结构 w s - m a n a g e m e n t 采用松耦合的方式，实现分布式管理。它主要有四个底层支 撑协议，分别是：资源寻址模型( w s - a d d r e s s i n g ) ，w e b 服务传输( w s - t r a n s f e r ) ， w e b 服务遍历( w s - e n u m e r a t i o n ) 和w e b 服务事件( w s - e v e n t i n g ) 。资源寻址模 型( w s - a d d r e s s i n g ) 定义了消息的寻址信息模型。w e b 服务传输( w s t r a n s f e r ) 定义了资源的创建( c r e a t e ) ，删除( d e l e t e ) ，获取( g e t ) ，赋予( p u t ) 等操作。w e b 服务遍历( w s - e n u m e r a t i o n ) 定义了用于建立枚举会话和检索数据序列的协议。 w e b 服务事件( w s - e v e n t i n g ) 定义了某一服务可以提供的支持订阅创建和管理的 操作。 在如图3 - i 安全配置层的主要作用是使管理的操作和回应应该受到保护，免 受在传输过程中的窥探，拦截，重现和修改等攻击。而且，为了决定是否通过控 1 土 复旦大学硕士学位论文 制规则处理请求，验证发出该请求的用户也是必要的。这个部分定义了最低互操 作标准和预定义的配置文件( p r o f i l e s ) ，使用传输层安全控制。以及在w e b 服 务管理标准层次结构中各部分的可能安全防御措施、建议。 ，i ：w e b m 务管理应用以及扩展：。i 1 o 。， - 。，、：一 “” 7 ，“。l 兰堂i ! 垒兰兰兰茎壅兰l 篁塑剿蔓：! 墨壁刊 资涿寻- 燃1w e b 服务传输1 1w e b 服务遍历1w e b 服务事倒 0 ，1l _ j 一一二_ 二二竺!