（计算机应用技术专业论文）分布式vod系统视频代理技术研究.pdf

摘要 近年来i n t e m e t 有了蓬勃的发展。主干网和接入网的不断发展，为视频点播 f v o d ) 技术创造了良好的条件。然而由于v o d 系统需要大量的磁盘i o 和网络 带宽，在面对大量用户时，服务器和网络带宽将成为系统的瓶颈。代理是一种降 低互联网流量和终端用户等待时恻的新兴网络技术，它在w 曲应用中取得良好 的效果。然而因为流媒体文件巨大，且视频的传输具有实时性要求，传统的w e b 代理技术不适用于流媒体领域，视频代理技术面临更多新的挑战。 本文的工作是在前期分布式v o d 原型系统的基础上进行的，对视频代理技 术进行研究，主要完成的工作包括： l 、本文借鉴集群技术的思想，提出了一个分布式视频代理系统。该系统使用一 组服务器统一为用户服务，系统具有良好的扩展性。 2 、设计并实现了一个基于节目分段缓存的缓存接纳控制和缓存替换策略。提高 了用户接收的媒体质量，降低了用户端的启动延时，节约了主干网络的数据 传输量，同时电降低了原始服务器的负载。 3 、提出了一个新的负载均衡方案。该方案采用基于节目分段的分布式存储技术， 将i 0 负载和网络负载均分在不同服务器上。该方法解决了如何实现多个服 务器协同工作和对外服务的问题，使整个v o d 系统可以有效地服务大量用 户。 本文设计实现的分布式代理系统是对原来分布式v o d 系统一个有力的补 充，提高了整个系统覆盖的范围和服务用户的数量。 关键字： 视频代理、替换算法、负载均衡、分布式v o d a b s t r a c t t h ei n t e r n e th a sg r o w nr a p i d l yi nr e c e n ty e a r s t h ed e v e l o p m e n t so fb o t hb o n e n e t w o r ka n dl o c a la c c e s sn e t w o r kb r i n gv o da p p l i c a t i o n sab r i g h tf u t u r es i n c et h e b a n d w i d t h sn e e d so fd i s ki oa n dn e t w o r ka r ev e r yi m m e n s e ，w h e nf a c i n gal a r g e a m o u n to fu s e r s ，s e r v e r s1 1 3a n dn e t w o r k sb a n d w i d t hb e c o m et h eb o t t l e n e c ko ft h e s y s t e m p r o x yi san e wt e c h n i q u et or e d u c ec l i e n t ss t a r td e l a ya n dn e t w o r kt r a f f i c w h i c hg a i n sag o o dr e s u l ti nt h ew e bd o m a i n b e c a u s eo fv e r yl a r g ef i l es i z ea n dr e a l t i m er e s t r i c t i o n s ，t r a d i t i o n a lw e bp r o x yt e c h n i q u e sa r en o ts u i t a b l ef o rs t r e a m i n g m e d i aa p p l i c a t i o n s v i d e op r o x yt e c h n i q u e sh a v et of a c em o r en e w c h a l l e n g e s t h i sp a p e ra r eb a s e do nt h ed i s t r i b u t e dv o dp r o t o t y p es y s t e m 、r e s e a r c h e si n v i d e op r o x yt e c h n i q u e s ，m a i nw o r k sa r ea sf o l l o w ： f i r s t l y , d e s i g na n dr e a l i z ea d i s t r i b u t e dv i d e op r o x ys y s t e m w ea d o p tc l u s t e r t e c h n i q u e s ，ag r o u po fc o m m e r c i a lp c sw o r k e da sas e r v e rt os e r v et h ec l i e n t s t h e p r o x ys y s t e mh a sg o o ds c a l a b i l i t y s e c o n d l y , d e s i g na n dr e a l i z eas e g m e n t b a s e dc a c h i n gr e p l a c e m e n tp o l i c y i tc a n r e d u c et h ec l i e n t s i n i t i a ld e l a y ，s a v et h ec o n s u m p t i o no fn e t w o r k sb a n d w i d t h ，a tt h e s a m et i m ed e c r e a s et h eo r i g i n a ls e r v e r sl o a d st oe x t e n d t h i r d l y ，p r o p o s eap r o x yv i d e os e r v e r sl o a db a l a n c es c h e m e ，i tb a s e do nv i d e o s e g m e n t e dd i s t r i b u t e ds t o r a g et e c h n i q u e s i tc a ns c a t t e rd i s ki 0a n dn e t w o r k sl o a d s a m o n ga l lt h es e r v e r s t h i sm e t h o dc a nl e a dt oc o o p e r a t i o no fa l lt h es e r v e r si nt h e s y s t e m ，e v e r yp r o x ys y s t e mc a ns e r v el a r g eq u a n t i t yo fu s e r s t h ep r o x ys y s t e mo ft h i sp a p e ri sas u p p l e m e n tt ot h eo r i g i n a ld i s t r i b u t e dv o d s y s t e m ，t h es y s t e mc a ns e r v ee v e nl a r g e ra m o u n to fu s e r ss p r e a d i n ga r o u n da ne v e n w i d e ra r e am a l lb e f o r e k e y w o r d ： v i d e op r o x y r e p l a c e m e n t ，l o a db a l a n c e ，d i s t r i b u t e dv o d 两北t 业人学硕f j 学位论立： 分布。cv o d 系统视频代理技术酬- 究 1 1课题背景 1 1 1 流媒体技术 第一章绪论 随着宽带主干网络和宽带按入网络的建设，用户对网络的使用，己不仅仅停 留在信息查询上，用户对宽带网络的使用开始向娱乐，影视欣赏等方向转移，对 流媒体的应用需求也从简单的了解信息向视听欣赏上转变。人们希望通过宽带网 络获得交互式的影视感受，因此方面要加大对网络环境的建没同时对流媒体 节目内容的编解码( 制作与回放) 技术和方式，也提出了更高的要求。 近年来，流媒体技术在世界范围内已有广泛应用，i n t e m e t 流媒体应用有了 爆炸性增长。据统计，目前i n t e m e t 上每周约有4 5 0 0 0 小时的广播节目，5 8 个美 固电视台提供w e b 广播，3 4 个电视台提供点播服务。有近半数的跨国企业公司 在内部使用流媒体实现w e b 广播| ：2 】。互联网的发展更是决定了流媒体市场的广阔 前景。流媒体应用正处于高速持续增长时期，流媒体市场呈现出巨大的收入潜能。 这样巨大的市场吸引越来越多的企业参与竞争。一个全球化的流媒体市场和竞争 格局已经初步形成。 近几年来中国互联网业飞速发展，中国互联网络信息中一已, ( c n n i c ) 2 0 0 4 年1 月发布的第1 3 次“中国互联网络发展状况统计报告”显示：截止到2 0 0 3 年1 2 月3 lr ，大陆地区的上网人数已经达到了7 9 5 0 万【i l o 其中宽带上网人数约为4 9 0 0 乃。 这些统计资科表明，流媒体应用拥有广大的客户群体。流媒体在中国的宽带 建设中将成为最主要的应用之一。 1 1 2 分布式v o d 系统 目前主流的流媒体应用包括视频点播( v o d ) 、视频会议、远程教学、远程 医疗等。主要的形式是v o d 和在线电视，远程教学和视频会议也得到了极大的 关注。 两北丁业人学彻i 学位论立：分布av o d 系统视频代删挫术刊究 v o d 的本质是信息的使用者根据自己的需要主动获得多媒体信息，它与信 息发布和广播的最大不同在于主动性和选择性。从某种意义上浼是信息的接受者 根据自身需要进行自我完善和自我发展的方式，这种方式越来越符合信息资源消 费者的深层需要，它彻底改变了广播电视的强制信息灌输方式。可以浣v o d 是 未来的信息获取的主流方式在多媒体视音频方面的表现，相信v o d 的模式会在 信息领域得到快速发展。 v o d 课题组经过深入而广泛的研究，提出了一种由节目中心、点播中心及 代理服务器构成的分布式视频点播系统模型1 3 1 ，以便可以有效地在大范围内部 署。根据这个分布式视频点播系统模型，2 0 0 1 年课题组已经完成了系统结构设 计，并在j a v a 虚拟机环境下，实现了一个基本原型系统f 4 】，取得了阶段性成果。 2 0 0 2 年课题组在l i n u x 环境下对原型系统进行进一步的优化设计【钉。本文的主要 研究内容是设计并实现一个代理系统，完善分布式视频点播系统的结构。 1 2 代理技术 1 2 1w e b 代理技术简介 a 、代理的需求 近年来，互联网应用以前所未有的速度增长，大规模的终端用户对带宽提出 更高的要求，这种带宽要求不管是对住宅小区、企事业单位、高校、互联网服务 提供商( i s p ) ，还是对互联网内容提供商( i c p ) 、互联网数据中心( i d c ) 和内容分 发网络商( c d n ) 束浼都意味着昂贵的费用。此外，数据请求将会导致大量不可估 量的延迟如此缓慢的响应速度使得互联网应用变得令人厌烦和不切实际。 代理缓存技术就是针对这些问题提出的，它是一种降低互联网流量和降低终 端用户等待时间的新兴网络技术。它的观念来自于计算机和网络的其他领域，如 目前流行的i n t e l 架构的c p u 中就存在缓存，用于提高内存存取的速度：各种操 作系统在进行磁盘存取时也会利用缓存柬提高速度：分布式文件系统通常电通过 缓存束提高客户机和服务器之涮的速度。代理在终端用户和整个互联网之叫扮演 一个中间媒介角色，一个有效的代理缓存服务器尽可能地直接响应终端用户的请 求减少通过互联网传递的请求数量或者直接发给最终提供服务的服务器的请求 两北_ r 业人学坝 一学位论文：分布式v o d 系统视频代璀投术训究 数量。 代理缓存服务系统可以提供两种关键的益处： l 、节省互联网带宽使用： 2 、减少终端用户的响应时间，提高互联网服务品质( q o s ) 。 带宽节约对所有用户来说可迅速产生实质上的物质节省，减少终端用户的响 应时问，提高互联网服务品质则可以有效改善用户对整个互联网的应用体验。 b 、影响w e b 访问速度的因素 用户发出一个h t t p 请求开始，所经历的等待时间主要决定于d n s 和网站的 响应时恻。网站域名首先必须被d n s 服务器解析为i p 地址，h t t p 的延时则由在 客户端和服务器问的若干个往返时间所决定。平均往返时削取决于三个方面： 1 网站服务器的排队延时； 2 由路由器、网关、代理服务器和防火墙引入的排队和处理延时； 3 网络设各间的数据传输延时。 c 、解决延迟的办法 传统的解决办法是建立镜像服务器来达到缩短距离的目的。但这个办法存在 很大的不足，对于某个站点而言，不可能在离每个用户群较近的地方都建立镜像 站点，同时管理和维护镜像站点是一项非常困难的工作。 代理是一种独立的应用层网络服务。代理处于客户端与网站服务器之间，当 代理收到客户端的请求时，它首先检查所请求的内容是否已经被缓存。如果没有 找到，代理必须以客户端的名义转发请求，并在收到服务器发出的文件时，将它 以一定的形式保存在本地硬盘，并将其发送给客户端：如果客户端请求的内容已 被缓存，这时缓存会立即将已保存的内容送给客户端。这样降低了客户等待时阳j ， 同时减少了主干网络地数据传输。 d 、代理缓存实现的分类 目前有两种广泛使用的实现w e b 缓存的方法：带缓存功能的代理和透明缓 存。第一种方法中，w e b 内容存在代理服务器本地的硬盘或内存中。这种方式地 主要缺陷是所有的客户机都需要单独配置，来指明代理服务器的地址，从而将请 求发给特定的代理服务器。 透明的缓存要比基于代理的缓存更方便。在采用透明缓存的网络中，缓存装 两北t 业人学顺【j 学位论文： 分布lv o d 系统视频代理技术研究 置截取所有通向外部的网络流量。因为所有的h t t p 流量都经过w e b 缓存，所 以用户不需要在客户端进行单独配置束指示w e b 流量如何流向代理服务器。这 种方式地一个不足之处足代理容易成为系统的瓶颈。 e 、代理系统结构演变 w e b 高速缓存最初是单一服务器系统，它包含了高速缓存的全部数据。虽然 这是有效的，但单一服务器会因不断存储被请求的网页而用完磁盘空间，或者不 能足够快地处理输入请求。 单一高速缓存服务器每次只能处理固定的请求数目。处理大量请求的更好的 方法是使几台高速缓存服务器并行运行，以处理来自相同客户机或不同组客户机 的各种请求。这些并行高速缓存服务器通常包含完全相同的数据，并彼此沟通来 维护缓存的一致性。 多层高速缓存将高速缓存的数据内容分布到网络中的几个不同服务器上。顶 层高速缓存服务器保存最常访问的网页，最低层的高速缓存服务器保存访问最少 的网页。高速缓存服务器网络中的各层组合称为w e b 高速缓存网络。高速缓存 使用h t t p 和专用的高速缓存协调协议相互通信，以适当分配内容并维护服务器 之间的一致性。 f 、多代理缓存的技术难题 在多个代理缓存服务器之间协调高速缓存的内容是一个挑战。会遇到以下问 题：如果多个服务器应该包含相同的数据，如何维护多个服务器之间的一致性 呢? 如果添加多层高速缓存服务器，就必须回答两个问题：如何才能知道其他高 速缓存包含什么内容，以及如何将请求重定向到适当的高速缓存? 高速缓存协议f 是用来解决这些问题的。高速缓存协议必须具有以下功能： 查询协议将消息发送给多层系统中的其他高速缓存，以查看它们是否包 含所需的数掘。 重定向协议将客户机请求转发给多层系统中包含所需数据的高速缓存 服务器。 多点传送协议使用多点传送网络通信将查询协议和重定向协议组合在 一起。 g 、w e b 代理成熟产品 两北f j 业人学坝i 哗位论文：分布武v o d 系统视频代耻救术死 经过多年的研究和应用，w e b 代理缓存技术已经得到广泛的使用，目前成熟 的代理系统产品主要有：a p a c h ew e bs e r v e r 、b o r d e r b a n a g e rf a s t c a c h e 、c a c h e e n g i n e 、c a c h e f l o ws e r i e s 、d e l e g a t e 、h t t p dp r o x yc a c h e 、i n t e r n e tc a c h i n g s y s t e m 、s q u i d 、w e bt r a f f i ce x p r e s s 等。它们大多能支持些常见的操作系 统，如w i n d o w s 、l i n u x 、u n ix ，有些使用专用的硬件。 1 2 2 视频代理技术面临的挑战 视频代理技术起源于w e b 代理技术，影q a j w e b 访问速度的因素同样影响着用户 对视频的点播。它们的目的都是来降低用户等待时间和主干网络的数据传输量， 提高用户的服务质量。解决延时的思想都是把服务器尽量的推到距离用户较近的 网络末梢。视频代理技术的许多方面要借鉴w e b 代理技术，例如：视频代理是实 现为带缓存功能的代理还是透明缓存的代理，视频代理采用哪种系统结构，多层 视频代理之间如何协调，分布式代理之间如何进行负载均衡等。 视频应用有其独特的一面，现存的w e b 代理技术不适应于流媒体领域。视频 文件巨大( 9 0 分钟的m p e g 一1 格式的节目为1 2 g 字节) 、持续时间长、具有实时性。 传送实时的视频，需要很大的带宽( 例如：m p e g i 需要1 5 m b p s ) 。传统的w e b 代 理缓存技术无法解决视频缓存代理的问题。视频文件有以下的特点： 1 、互联网上视频文件的大小l l h t m l 文件大的多，播放时间一般都在几分钟 到几十分钟。 2 、视频文件的特性是w o r m s ( 写入一次多次读取) ，一旦一个视频文件上 线，一般不会再修改。所以，在视频代理系统中，缓存一致性不是主要的问题。 3 、随着网络带宽增加和低比特率的流媒体协议的应用，网上视频文件越来 越多。 4 、用户经常只观看视频的开始部分来确定是否真的对它感兴趣。如果他们 感兴趣就继续观看，否则就停止。 阻碍v o d 发展的因素主要是带宽问题，包括磁盘带宽和网络带宽，它们之 l 目的相对较小者决定了v o d 系统服务用户的数目。视频代理系统对用户来说也 是一个v o d 系统，所以同样要面临带宽的问题。 由于视颁代理技术要面临这么多的挑战，它目前正处于研究阶段。包括许多 两北r 业人学倾l ：学位论史： 分布v o d 系统税顺代理技术圳究 流媒体行业处于领先的厂商如m i c r o s o f t 、r e a l n e t w o r k 、 a p p l e 、i b m 等都没 有视频代理的成熟产品。国内在视频代理方面更落后于国外，在视频代理产品方 面更是空白。 1 3 研究内容及思路 本论文的研究工作是在己经设计并经过初步优化的分布式v o d 系统的基础 上进行的，重点是设计并实现一个能与我们分布式v o d 系统协同工作的视频代理 系统，具体内容如下： 1 、 研究视频代理的系统结构，设计一个合理的代理系统结构。 2 、 研究视频代理系统的缓存接纳控制和缓存替换算法。 3 、 实现一个具有良好扩展性的视频代理系统。 本论文的章节安排如下： 第一章主要介绍了视频代理研究背景、目的和意义，研究领域的发展现状及 存在的问题。 第二章首先概述视频代理技术研究现状，并设计了一个分布式代理系统体系 结构模型。 第三章详细描述基于视频分段分布式存储的缓存接纳控制和替换算法。 第四章讲述了分布式代理系统的负载均衡问题。 第五章是代理系统的设计和实现。 两北t 业火学硕l 学位论文： 分布式v o d 系统视频代理技术研究 第二章视频代理技术 2 1 视频代理技术研究现状 视频代理技术是流媒体研究领域的重要课题，随着流媒体技术近年柬在互联 网上的广泛应用，对视频代理技术的研究也逐步深入。 视频代理技术的研究主要集中于代理缓存策略( c a c h i n g p o l i c y ) 、代理体系 结构、流媒体调度算法、缓存替换算法以及代理缓存结合原始服务器流调度技术。 其中缓存替换算法是视频代理管理缓存的主要方法，因此也是决定代理服务器性 能的核心因素。 代理视频服务器的磁盘i 0 带宽和网络带宽不能无限制的提高，这决定了代 理系统能服务用户的最大数目，所以流媒体调度算法也是影响代理系统服务用户 舰模的重要因素。 2 1 1 流媒体调度算法研究现状 在统计分析过程中，人们发现节目点播情况服从z i p f ( 齐夫) 法则，即对n 部电影按访问概率从大到小进行排序为m i ，m 2 ，m 。，第i 部电影的访问概率 p i ：p x = m i fi = 1 2 ，n ) 满足： p = ( 1 埘) ( 1 广9 ) ，0 0 l 歹= i 针对v o d 的统计表明，用户对9 2 个节目的点播服从a = 0 2 7 1 的z i p f 分布。 以g = 0 2 7 1 的z i p f 分布为例，设v o i ) 系统有2 0 0 个节目，则最热f 1 的2 0 个节 目( 1 0 节目) 将吸引7 2 1 的用户，这说明大量用户的点播往往集中在少数热门 节目上。当大量用户点播相同节目时，可以把用户的请求合并，通过组播通道传 输媒体流，从而节约视频服务器磁盘i 0 带宽和网络带宽。这种合并用户点播请 求的思想匝是流媒体调度技术的基础f 6 】a 传统的v o d 服务器为每一个用户分配一个流，在面对大量用户时，这种方 法将很快耗尽服务器的网络和磁盘的有效带宽。解决的办法有很多，般都足基 两北t 业大学坝f 学位沦殳：分布式v o d 系统视频代理手盘术驯究 于组播或类似组播的流调度算法。 流媒体调度算法分两类：静态调度算法和动态调度算法。静态调度是指服务 器主动把节目在一系列组播通道中播放媒体流。动态调度算法是指用户点播驱 动，服务器根掘调度算法柬为用户调度媒体流。 1 ) 静态调度算法 流媒体静态调度算法主要包括阶段广播( s t a g g e r e db r o a d c a s t i n g ) 算法、周期性 广播( p e r i o d i c a lb r o a d c a s t i n g ) 算法、会字塔( p y r a m i d ) 、p e r m u t a t i o np y r a m i d 算法、 摩天大楼( s k y s c r a p e r ) 算法、分段广播( s e g m e n t i z e db r o a d c a s t i n g ) 等。它们的思 想大致相同，都是把节目分段( 或者不分段) ，在固定组播通道中循环播放媒体 流，用户观看节目时需要加入组播通道来取得数据。这些调度算法都能极大的降 低服务器负载和网络带宽，同时它们的缺点也很明显，为了提高组播流的利用率， 这些算法都强迫用户端增加延时，来聚集一定数量的请求。它们一般只使用于高 点播率的节目，并且这些算法很难支持用户的v c r 功能f 快进、后退、拖动等交 互功能) 。在节目流行度低时这些算法效率不高川。 目前更多的研究集中在能实现用户零延迟的动态调度算法上。 2 ) 动态调度算法 流媒体动态调度算法包括f c f s ( f i r s tc o m ef i r s ts e r v e ) 算法，b a t c h i n g 算法、 a d a p t i v ep i g g y b a c k i n g 算法、s t r e a mt a p p i n g 7 1 、补丁( p a t c h i n g ) 算法【8 l 、受控组播 ( c o n t r o l e dm u l t i c a s t ) 算法【9 】、c a t c h i n ga n ds e l e c t i v ec a t c h i n g l l0 1 、b a n d w i d t h s k i m m i n g t l ”、s m p ( s p l i ta n dm e r g ep r o t o c 0 1 ) 、层次型组播流聚合( h i e r a r c h i c m u l t i c a s ts t r e a mm e r g i n g ) 1 3 1 1 等。这些动态调度算法一般都能实现用户零延迟， 并且也可以高效地利用服务器和网络带宽资源。 最简单的动态调度剪法是f c f s 算法，泼算法按照用户请求“先柬先服务” 的原则，可以实现简单的t v o d ( t r u ev o d ) 系统，算法简单实用，可以支持v c r ( 拖动、前进、后退等交互功能) 功能。但是该算法资源消耗过大。 在b a t c h i n g 算法中，服务器把一定间隔的点播请求聚合在一起，绑定到一 个组播流中。b a t c h i n g 算法可以有效的利用系统资源，模拟结果表明在支持5 0 0 0 个并发流的大型v o d 系统中，可以节约7 0 的带宽资源。但是它增大了用户的 启动延时，且陔算法不能支持用户v c r 功能。 两北t 业大学硕l j 学位沦立：分布武v o d 系统视频代挫技术研究 在u v o d ( 0 n i f i e dv o d ) 系统中中把服务器通道分为组播和单播通道，组 播通道使用b a t c h i n g 算法，单搔通道使用f c f s 算法。使用b a t c h i n g 技术束节约 带宽，使用单播来支持v c r 功能。该技术中设定一个等待延迟阂值，如果用户 需要等待的时间小于这个阈值就分配组播通道，否则分配单播通道。 a d a p t i v e p i g g y b a c k i n g 算法中，节目的播教速度调节为原柬的5 这样两个 流爿能聚合成一个流，一旦两个流到达节目的同一个点，其中一个流被释放，它 的用户切换到现存的流中。它的一个缺点是，两个流要经过很长时问才能聚合。 如果两个流开始相距d 分钟，要经过t o d 分钟才能聚合。另外一个缺点是需要 服务器的能力足够商来改变节目传输速度。 s t r e a mt a p p i n g 算法中，利用客户缓冲区，客户可以共享服务器现存的流， 可以从多个流中取得数据。使用这种方法节约服务器带宽资源，降低客户延时， 但是它要求客户有足够接收带宽可以同时接收多个流。模拟结果表明在各种负载 情况下与b a t c h i n g 相比它能获得较小的启动延迟。 b - j - ( p a t c h i n g ) 算法的基础是b a t c h i n g 算法，利用组播媒体流服务多个用户。 它的主要思想是用户一边缓存组播流，一边向服务器请求补丁流。补丁算法结合 了b a t c h i n g 算法和客户端缓冲区算法的优点。用户可以利用本地缓冲同时从两个 或多个组播流中取得数据，用户没有启动延时。同时系统可以尽可能的台并用户 请求，来提高系统的效率。补丁算法明显优于其它动态调度算法，但是它受客户 缓冲区的限制，补丁流的大小不能大于缓冲区长度。 受控组播算法与p a t c h i n g 相似，允许多个点播同个节目的客户共享同一个 组播通道。受控组播算法对p a t c h i n g 技术的改进是使用一个闽值来控制何时开辟 一个新的组播会话。优化的阈值可以最小化服务器的通道数目。受控组播在节目 流行度低时提供较好的性能。然而，在节目流行度高时性能有所下降，特别在文 件巨大时。 s m p 是个在b a t c h i n g 基础上支持v c r 功能的算法。当用户执行交互功能 时，他将从组播通道中退出，系统重新为他分配单播通道来进行服务，直到它能 和现有的组播流聚合。浚算法中在服务器和客户之问使用一个同步缓冲区r 用束 缓存附近组播通道的数掘。最终当单播通道的数据到达缓存的数据点时，咳用户 重新加入组播通道，此时单播通道被释放。 p q ：l e t 、世人学坝f 。学位论义：分布式v o d 系统钏频代理救术川宄 c a t c h i n g 这个技术比较适合热播节目。这个技术的高效性足通过智能地结合 服务器推和客户拉的发送模型来取得。在这个技术中，一个视频节目在一些通道 中循环组播。想要观看该节目的用户立即加入合适的组播通道，无需等待下一个 广播周期。同时客户向服务器发送请求来取得错过的节目丌始部分的数据( 丽 缀) 。自u 缀通过单播通道发送，客户可以马上观看。另一方面，从组播通道取得 的数掘暂时缓存在客户端，直到它们回放结束。这样通过客户拉和服务器推的模 式c a t c h i n g 策略可以最小化启动延迟。通过使用巧妙的组播策略，例如g d b ( g r e e d yd i s k c o n s e r v i n gb r o a d c a s t ) ，可以最小化需要的服务器和网络通道数目。 为了能适合各种节目的点播分布，一个策略口qs e l e c t i v ec a t c h i n g 它结合c a t c h i n g 和受控组播技术( c o n t r o l l e d m u l t i c a s t ) 。受控组播技术采用客户拉的模式，比较 适合冷门节目。s e l e c t i v ec a t c h i n g 能适用于各种系统负载和各种流行度的节目。 c a t c h i n g 是一个基于参数的策略，它的服务器通道需求数目为点播率和文件大小 乘积的对数。在点播率被f 确估计的情况下。可以选择系统参数来提供比静态调 度算法更好的性能。这个策略的主要缺点是点播率参数需要预先知道，在点播率 变化时需要调整参数。 保留带宽 b a n d w i d t hs k i m m i n g ) 技术，关键思想是对媒体编码使它的流速 略低于客户端的接收带宽。客户端保留的带宽用来执行近似优化层次型流聚合。 该算法中一些通道以正常的速度播放节目，用户接收数据的速度大于播放速度， 当用户接收的数据追赶上正常速度通道的时数据时，此后用户切换到正常速度通 道中接收数据。这个算法结合了a d a p t i v ep i g g y b a c k i n g 和层次型组播流聚合算 法的优点。这个算法的优点在于它只要求用户的接收带宽略高于节目的传输带 宽。其它动态调度算法一般都假设用户可以同时接收两个甚至多个流。 层次型组播流聚合企图兼容动态摩天大楼，a c t i v ep i g g y b a c k i n g ，s t r e a m t a p p i n g p a t c h i n g 的优点。它的思想是1 、对同一个节目的点播请求不断的聚合 为越来越大的组，形成层次型聚合结构。( 与摩天大楼，a c t i r ep i g g y b a c k i n g 算法类似) 2 ，客户请求通过补丁流聚合( 类似于s t r e a mt a p p i n g 和p a t c h f n g ) 而不是传输集合或调节传输速度。 两北t 业大学钡 j 学位论史：分布式v o d 系统视频代理技术研究 2 1 2 缓存策略 视频代理的缓存策略多种多样，主要包括全部缓存、部分缓存( p r e f i x s u f f i x o rs e l e c t i v e ) 、滑动窗口技术、针对分层编码的缓存技术，此外还有从媒体传输网 络方面考虑的缓存策略c a c h i n ga g e n t 等。 全部缓存策略，它缓存整个流行度高节目数据，这种方法效率不高，特别是 在代理缓存空间有限时尤为突出，缓存需要频繁的换入换出，缓存一个巨大的节 目代价是昂贵的，特别对于流行度低的节目。它很难提高点播的命中率。同时也 很难降低代理到服务器之间的网络流量。正在进行的流不能被删除，这会使缓存 替换算法替换掉本来不应该被替换的节目，进而偏离优化的操作点。由于以上原 因，目前这种策略很少在视频代理上使用。 部分缓存策略，包括日口缀缓存( p r e f i xc a c h i n g ) 、部分缓存( p a r t i a lc a c h i n g ) 和选择性缓存( s e l e c t i v ec a c h i n g ) 。缓存前缀可以降低用户点播的启动延时，也可 以利用缓存的前缀来做一些提前平滑、丢包重传的处理，但是由于大量后缀数据 要从服务器取得，它不能从本质上降低代理到中心服务器之问的网络流量和服务 器的负担。这中策略的着重点是解决服务延时，为了降低服务器负载和网络带宽 的利用，代理需要巨大缓存空问，这要么是不可能的，要么是代价十分昂贵。部 分缓存燕略除了缓存前缀还缓存部分后缀数据，这样可以降低网络带宽利用。文 章【1 6 】研究了缓存前缀和在线平滑的问题。由于一些压缩算法压缩后产生可变比 特率( v b r ) 的文件，选择性缓存技术【 1 把具有较大比特率的帧整个缓存在代理上， 这样减小了剩余数据的比特率变化范围。代理负责把服务器发送的数据和代理缓 存的数据合成后发给用户。前缀缓存相当于选择性缓存的个特例，它缓存节目 ! r 【= 始部分一组相临的的帧。 v i d e os t a g i n g t l s 】策略，它定义一个剪切率( c u t o f f r a t e ) ，把突发性高的帧的部 分数据预先缓存在代理上。与选择性缓存的区别是v i d e os t a g i n g 策略缓存帧的部 分数据，而不是整个帧。点播时，代理把接收到的从原始服务器发来数掘与缓存 的数据合成后转发给用户。这样通过广域网传输的是固定比特率的数据。这两种 策略的主要目的是调节代理和原始服务器之间的网络，而不是为了降低了主干网 络的带宽利用率。 滑动窗口策略【tg l ，起初在没有用户点播请求时，代理不缓存任何数扼。当第 两北t 业人学颂 学位论史：分布式v o d 系统视频代理拽术j i j | 究 个用户请求到达时，代理向原始服务器请求数据，数据到达代理后，代理缓存 w 分钟( 窗口大小) 的数据，数据的生命期就是窗口的大小，所以从第一一个请求开 始，w 分钟内到达的请求都可以用这个窗口的数掘来服务，这个窗口之外的晴求 将要再次启动网络传输。这种策略通过代理能聚合部分用户的请求，在节目点播 人数较多时可以节约一定的网络传输。缺点是数据的尘命期固定，它没有充分利 用代理的缓存资源，总的柬况不能从根本上节约网络带宽，并且实现起来有一定 的难度。它很难实现v c r 等功能，并且只适用于流行度高的节目。对于冷门节目， 很难在窗口范围内聚合足够多的用户请求。 分层编码视频的缓存策略 z 1 1 1 2 2 】【2 3 】，互联网的流媒体应用应该能进行质量自 适应，在这些应用中，服务器应能自动调整视频质量束适应平均可用的带宽。发 送的视频质量受到服务器到客户路径上的带宽瓶颈制约。该缓存策略针对分层编 码的流媒体，来决定哪一个节目，哪一层应该被缓存，才能最小化传输代价。该 策略中的预取算法和适合分层编码的缓存替换算法，能根掘节目的流行度对缓存 状态进行调整。理想的效果是缓存替换和预取策略使缓存状态汇聚在一个有效的 状态，即缓存的媒体流的质量与流行度成正比，媒体流质量之间的变化与流行度 成反比。它的主要目的也是来调节网络，而不是为了最小化网络带宽利用。 此外还有从媒体传输网络方面考虑的视频传输解决方案，如e a c h i n ga g e n t 策略【2 0 】、内容分发网络( c d n ) 等。c a c h i n g a g e n t 策略中，缓存服务器安放在网络 中，组成了一个视频传输的虚拟主干网络。与传统的p r o x y 不同，c a c h i n ga g e n t 作为虚拟路由器，智能地缓存通过的数据。a g e n t 可以协同工作，当某个a g e n t 没有命中时，这个请求可以被附近的其他a g e n t 满足。与传统的p r o x y 策略相比， 这个策略避免了使服务器成为瓶颈的可能，同时降低了网络流量和服务延时。 c a c h i n g a g e n t 策略中的代理，它们共享服务器发送的流，这些代理( 或叫缓存服 务器) 安放在网络中间柬组成一个视频传输的虚拟主干网络。这个网络可以是 s p 的网络或视频分发的网络，建立在互联网之上。当用户点播的数据在这个网 络j 二传输时，它们被每个中问接点截获，分级存储在缓存服务器上。这个数据路 径上的缓存延时清除缓存的老数掘，并且延伸当前的流以满足将来的服务。随后 而束的淆求( 同一个节目) 可以被重定向到这个主干网络，来获得数据。这个方 法的优点有两方面。第一：服务器的负载降低了。二、网络交通减少了，因为许 两北t 业人学坝i j 学位论义：分布，l _ i = v o d 系统视频代理拙术珂究 多客户节点的请求通过这个传输网络上j 下在( 已经) 保存的流来满足，不象部分缓 存技术中那样，必须从远端的服务器上直接取回大量的视频数据。这个策略可以 被看作动念组播技术。与传统的组播技术不同的地方是，这个策略中组播树是在 数据传输过程中动态产生和扩展，传统的组播树是在数据传输之前已经建立好 了。客户可以随时加入这个组播树，可以享受完全的服务。 这些策略中出发点各不相同，前缀缓存主要用来降低客户启动延迟，前缀缓 存一般要结合原始服务器的流调度在零延迟的情况下，高效利用服务器和网络资 源。v i d e os t a g i n g 、选择性缓存主要用来调节网络，使用c b r ( 固定比特率) 求 传输v b r ( 可变比特率) 节目。滑动窗口策略实际上是种聚合用户请求的策略， 来减少主干网络的传输。分层编码视频的缓存策略使用代理束提供自适应流。 c a c h i n ga g e n t 、c d n 等策略从提供媒体服务全局来考虑如何使用代理，这种思路 起点更高。 2 1 3 代理缓存前缀结合服务器流调度 缓存前缀有许多优点，例如：掩盖代理到服务器之间的抖动、启动延时、减 少网络传输，可以在线平滑。中心服务器使用组播和广播技术可以降低服务器负 载和网络传输量。通过结合前缀缓存和中心流调度的策略，这些技术能显著降低 服务器和网络带宽需求，并提供零延迟服务。 一个闭环( 点播驱动) 控制的方法，叫m u l t i c a s tw i t hc a c h i n g ( m c a c h e ) ”。 m c a c h e 的中心思想是结合b a t c h i n g 、p a t c h i n g 和代理阿缀缓存技术。把补丁的请 求聚合是本策略的独特特点。m c a c h e 策略中，组播开始后的请求仍旧可以聚合 起来，通过组播补丁柬满足，该策略中用户没有启动延迟。m c a c h e 高效的使用 代理组播补丁，来提供t r u ev o d 服务，它的性能达到一些著名的开环( 服务 器驱动) 控制方法，在高点播率时，使用较少的带宽。另外使用组播和缓存技术， 克服了些策略要预先知到客户点播率，和需要客户端存储空剐的缺点。这使 m c a c h e 适合互联网这个异构的环境，这些参数在这个环境中很难预知。 文章【2 5 】没计了 系列代埋辅助的传输策略，假定服务器和代理之削路径上 只支持单播，代理和客户路径上最多支持组播。文章【2 6 】研究了在这些策略中代 理空间优化分配的问题。 丽北t 业人学顺 ：学位论义： 分布式v o d 系统视频代理技术研究 l 、单播后缀结合b a t c h i n g ( u n i c a s ts u f f i xb a t c h i n g ，简称s b a t c h ) ， s b a t c h 足 一个简单的b a t c h i n g 策略，它能利用代理缓存的前缀进行立即服务。这个策 略是为代理到客户路径上只支持单播设计的。假定第一个用户的请求到达时 间为0 ，前缀长度为t ，s b a t c h 尽可能晚的从服务器调度后缀的传输，也就是 使后缀的第一帧在t 时刻到达代理。这样任何在【o ，t 】到达代理的请求被聚合在 一起，代理只向服务器请求一次后缀。与传统的b a t c h i n g 相比s b a t c h 没有服 务延迟。 2 、单播补丁结合前缀缓存( u n i c a s tp a t c h i n g w i t h p r e f i xc a c h i n g ，简称 u p , t d a ) ，通过使用补丁算法传输后缀可以改进s b a t c h ，该策略在单播环境中 使用补丁算法，这是因为代理可以为许多用户发送次请求。如图2 - 1 ，假定 第一个用户请求在0 时刻到达，后缀到达代理的时问为v ，另一个请求在，：到 达v ； f ： l 。，代理可以在f ：+ v ，时刻调度完整的后缀。另外一种选择是调度 【v ，：】的后缀补丁。这个策略中客户也需要同时接收两个流a 传输完整后缀 或后缀补丁的选择由后缀阈值g 。决定，t 2 g 时调 度整个后缀。 肘间_ 岜铲鹄瞄器 一翠嚣一 p 一d 一1 图2 - l 单播补丁结合前缀缓存( u p a t = h 1 ) 3 、组播补丁结合前缀缓存( m u l t i c a s tp a t c h i n gw t hp r e f i xc a c h i n g ，简称 m p a t c h 【1 ，如果代理到客户路径上支持组搔，代理也可以使用组播传输策 略。如图2 - 2 ，假定第一个请求在时刻0 到达，代理在0 时刻丌始组播前 缀，后缀在v ，时刻到达代理