（计算机应用技术专业论文）基于代理服务器的高效流媒体缓存技术研究.pdf

华东师范大学基于代理服务器的高效流媒体缓存技术研究 摘要 流媒体代理服务器技术能有效降低流媒体访问的网络传输量，由于持续数据 流访问给代理服务器缓存带来了巨大的挑战，因而如何能在保证媒体流服务质量 的前提下，既能保证媒体服务性能又能使磁盘及带宽消耗最低成为了当下流媒体 代理服务器领域的重要研究问题。现今主流基于流行度的缓存替换算法中一般对 于内容流行度缺少定量的分析和估算，而主流分段算法中抽象分段因子时又缺少 对于用户行为特征等因素定量的分析和考虑，精细粒度缓存算法又需要巨大的额 外存储空间，实用价值太低。本文针对以上问题，研究流媒体代理缓存技术，对 内容流行度进行定量分析，提出了基于内容流行度和分段适应性的流媒体缓存技 术。 本文通过收集实际日志文件，引入基于k 变化下的z i p f - l i k e 模型分析用户行 为特征，在对影片内部流行度定量分析中提出两点流行度的思想，排除了内部流 行度扰动现象，提出了精确的内容流行度收集及估算策略。在媒体分段时，提出 基于分段因子矽的媒体分段策略，基于该分段策略，提出媒体块主动预取机制、 缓存准入策略以及基于内容流行度等因素的缓存价值估算函数，基于该估算函数， 又提出基于该分段算法的替换策略和释放策略，至此形成完整的流媒体缓存机制。 通过自行研发的p r o x y e r 模拟器进行模拟仿真实验，分别通过对本文提出的 基于流行度和分段适应性缓存算法，指数分段缓存算法和l r u 等长分段缓存算法 进行仿真，通过选取字节命中率和骨干网带宽消耗节省率作为算法性能的评价指 标，得出本文算法在相同的网络配置情况下可以获得比指数分段缓存算法和l r u 等长分段算法都要优越的算法性能。 本文是对基于代理服务器的高效流媒体缓存技术的研究，其中针对流媒体对 象的内容流行度分布特征，引入了k 变换下的z i p f - l i k e 模型对其进行描述，纳入 两点流行度思想，定量地估算了内容流行度。在分段策略中，抽象分段因子矽时 将基于k 变换下的z i p f - l i k e 模型下精确的内容流行度的估算方式作为其首要因 素，提出一种针对媒体流行度分布特征的分段机制，并在该分段策略的基础上形 成包含预取、准入、替换和释放策略的完整的流媒体缓存机制。本文基于流行度 和分段适应性的流媒体缓存机制，很好的平衡了分段缓存算法在缓存利用率和算 法精度获取上的矛盾，同时提高了流媒体代理服务器的缓存效率。 关键词：流媒体，代理缓存，内容流行度，分段算法 华东师范人学基于代理服务器的高效流媒体缓存技术研究 a b s t r a c t s t r e a m i n gm e d i ap r o x yc a c h i n gm e t h o dc a nr e d u c et h en e t w o r kt r a n s m i s s i o n c a p a c i t yo fs t r e a m i n gm e d i ae f f e c t i v e l y h o w e v e r , b e c a u s et h ec o n t i n u o u sd a t as t r e a m w i l lb r i n gg r e a tc h a l l e n g e st ot h ep r o x yc a c h i n g ，i ti sa ni m p o r t a n tr e s e a r c hp r o b l e m t h a th o wt og u a r a n t e et h es e r v i c ep e r f o r m a n c ew i t ht h el o w e s td i s ka n db a n d w i d t h c o n s u m p t i o ni nt h es i t u a t i o no fe n s u r i n gh i g hs e r v i c eq u a l i t y n o w a d a y s ，t h e m a i n s t r e a mc a c h er e p l a c e m e n ta l g o r i t h m sb a s e do nt h ep o p u l a r i t y g e n e r a l l yl a c k q u a n t i t a t i v ea n a l y s i sa n de s t i m a t e f o rt h ec o n t e n tp o p u l a r i t y w h e na b s t r a c t i n g s e g m e n t a t i o nf a c t o r , t h e m a i n s t r e a m s e g m e n t - b a s e da l g o r i t h m s a l s ol a c kt h e q u a n t i t a t i v ea n a l y s i sa n dc o n s i d e r a t i o nf o rt h ec l i e n tb e h a v i o rc h a r a c t e r w h i l et h e d e l i c a t eg r a n u l a r i t yc a c h ea l g o r i t h mr e q u i r e dh u g ea d d i t i o n a ls t o r a g es p a c e ，i th a sv e r y l o wv a l u ei np r a c t i c e a i m e da tt h ep r o b l e m sa b o v e ，a f t e ri n v e s t i g a t i n gt h es t r e a m i n g m e d i ap r o x yc a c h et e c h n o l o g y , c o n t e n tp o p u l a r i t ya n ds e g m e n t - b a s e da d a p t a b i l i t y s t r e a m i n gm e d i ac a c h i n gt e c h n o l o g yb a s e do nt h eq u a n t i t a t i v ea n a l y s i so ft h ec o n t e n t p o p u l a r i t yw a sp r o p o s e di nt h i sp a p e r i nt h i sp a p e r , b yt h ec o l l e c t i o no fa c t u a ll o gf i l e s ，k - t r a n s f o r m e dz i p f - l i k em o d e l w a si n t r o d u c e df o ra n a l y s i so fc l i e n tb e h a v i o rc h a r a c t e r i nt h eq u a n t i t a t i v ea n a l y s i so f i n t e r n a lp o p u l a r i t y , t w o p o i n tp o p u l a r i t yi d e aw a si n t r o d u c e ds ot h a ti n t e m a lp o p u l a r i t y d i s t u r b a n c e sc o u l db ep r e v e n t e d ，p r e c i s ec o n t e n t sp o p u l a r i t yc o l l e c t i o na n de s t i m a t e s s t r a t e g i e sw e r ea l s op r o p o s e d d u r i n gt h em e d i as e g m e n t a t i o n ，m e d i as e g m e n t a t i o n s t r a t e g y b a s e do ns e g m e n t a t i o nf a c t o r 矽w a sp r o p o s e d o nt h eb a s i so ft h e s e g m e n t a t i o ns t r a t e g y , m e d i ab l o c kp r e f e t c h i n gs t r a t e g y , c a c h ea c c e s ss t r a t e g ya n d c a c h ev a l u ee s t i m a t i n gf u n c t i o n sb a s e do nt h ec o n t e n tp o p u l a r i t yw e r ep r o v i d e d a c c o r d i n gt ot h e s ef u n c t i o n s ，r e p l a c e m e n tp o l i c ya n dr e l e a s es t r a t e g y w e r ea l s o s u g g e s t e dt of o r mac o m p l e t es t r e a m i n gm e d i ac a c h i n gm e c h a n i s m ap r o x y e rs i m u l a t o rw a s d e v e l o p e di n d e p e n d e n t l y r e l a t e d s i m u l a t i o n so f p o p u l a r i t y a n d s e g m e n t b a s e da d a p t a b i l i t yc a c h i n ga l g o r i t h m s ，e x p o n e n t i a l s e g m e n t - b a s e dc a c h i n ga l g o r i t h m ， a n dl r ui s o m e t r i c s e g m e n t - b a s e dc a c h i n g a l g o r i t h mh a v eb e e nc o n d u c t e do ni t t h eb y t eh i tr a t ea n dt h eb a c k b o n eb a n d w i d t h c o n s u m p t i o ns a v i n g sr a t ew e r es e l e c t e da st h ea l g o r i t h mp e r f o r m a n c ee v a l u a t i o ni n d e x t h er e s u l t ss u g g e s t e dt h a tw i t ht h es a m en e t w o r kc o n f i g u r a t i o n ，a l g o r i t h mp r o p o s e di n 华东师范大学基于代理服务器的高效流媒体缓存技术研究 t h i sp a p e rg o ts u p e r i o ra l g o r i t h mp e r f o r m a n c et h a nl r ui s o m e t r i cs e g m e n t b a s e d a l g o r i t h ma n de x p o n e n t i a ls e g m e n t b a s e dc a c h i n ga l g o r i t h m b a s e do nt h er e s e a r c ho ft h ep r o x yb a s e dh i g h - p e r f o r m a n c es t r e a m i n gm e d i a c a c h i n gt e c h n o l o g y , k t r a n s f o r m e dz i p f - l i k em o d e lw a si n t r o d u c e dt od e s c r i b et h e d i s t r i b u t i o nc h a r a c t e r i s t i c so fs t r e a m i n gm e d i ac o n t e n t p o p u l a r i t yi n t h i s p a p e r t w o p o i n tp o p u l a r i t yi d e aw a si n t r o d u c e d ，a n dc o n t e n t sp o p u l a r i t yw a se s t i m a t e d q u a n t i t a t i v e l y i n t h es e g m e n t a t i o ns t r a t e g y , p r e c i s ec o n t e n t sp o p u l a r i t ye s t i m a t e s s t r a t e g i e so fk t r a n s f o r m e dz i p f - l i k em o d e lw e r es e t a st h ep r i m a r yf a c t o rw h i l e a b s t r a c t i n gt h es e g m e n t a t i o nf a c t o r as e g m e n t a t i o nm e c h a n i s mf o rt h ed i s t r i b u t i o n c h a r a c t e ro fm e d i ap o p u l a r i t yb a s e do nt h es e g m e n t a t i o ns t r a t e g yw a sp r o p o s e ds ot h a t a ni n t e g r a t e ds t r e a m i n gm e d i ac a c h i n gm e c h a n i s m si n c l u d i n gp r e f e t c h ，a c c e s s ，r e p l a c e ， a n dr e l e a s es t r a t e g i e sw e r ef o r m e d i nt h i s p a p e r , b a s e do n p o p u l a r i t y a n d s e g m e n t b a s e da d a p t i v es t r e a m i n gm e d i ac a c h i n gm e c h a n i s m ，ag o o db a l a n c eo f s e g m e n t b a s e dc a c h i n ga l g o r i t h mi nt h ec a c h eu t i l i z a t i o na n da c c u r a c yo fa l g o r i t h m s w e r ec r e a t e d ，w h i l ei m p r o v i n gt h es t r e a m i n gm e d i ap r o x ys e r v e r sc a c h ee f f i c i e n c y k e yw o r d s ：s t r e a m i n gm e d i a ，p r o x yc a c h e ，c o n t e n tp o p u l a r i t y , s e g m e n t a t i o n a l g o r i t h m 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及 取得的研究成果。据我所知，除文中已经注明引用的内容外，本论文 不包含其它个人已经发表或撰写过的研究成果。对本文的研究做出重 要贡献的个人和集体，均已在文中作了明确说明并表示谢意。 作者签名：扬聋聋日期：塑辟! 圣目蛰 学位论文授权使用声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电子 版和纸质版。有权将学位论文用于非赢利目的的少量复制并允许论文 进入学校图书馆被查阅。有权将学位论文的内容编入有关数据库进行 检索。有权将学位论文的标题和摘要汇编出版。保密的学位论文在解 密后适用本规定。 学位论文作者签名：栖本摒 导师签名：i ，尊磐丢 日期：丝里翌釜! 兰日砷 基于代珲服务器的高效流媒体缓存技术研究绪论 1 1 研究背景 第1 章绪论 由于宽带i n t e m e t 的飞速发展，使其成为了社会基础信息的载体。网络上的静 态信息已经不能满足人们的需要。日益成熟的数字多媒体技术使得在i n t e m e t 上展 开各种多媒体应用如v o d ( v i d e o o n d e m a n d ) 、i p t v ( i n t e m e tp r o t o c o lt e l e v i s i o n ) 、 远程教育、视频会议等已逐步成为现实，流媒体数据传输流量已经成为当今互联 网络业务流量的主要组成部分。浏览网络多媒体文件的途径存在流媒体访问和h t t p ( h y p e r t e x tt r a n s m i s s i o np r o t o c 0 1 ) 访问两种。在h t t p 访问方式中，所有内容必须全 部下载完毕之后用户才可以观看。在流媒体访问方式中，用户可以边接收边观看 多媒体内容。相比h t t p 访问方式而言，使用流媒体访问方式的用户不需要经历长 时间的下载等待，也不需要提供存储网络多媒体文件的空间。随着以视频点播、 视频会议、远程教育等典型应用为代表的流媒体系统的普及，流媒体数据传输量 已经成为当今网络业务流量的主要组成部分【l 】。然而视频等流媒体体积较大，传 输时流媒体消耗更多的网络带宽【2 】。用户对流媒体的启动延时和抖动比较敏感， 而且根据自身不同环境对接收媒体流有不同的质量要求。因此流媒体应用系统对 通信网络和流媒体本身都提出了新的压力和挑战。 1 2 流媒体技术 流媒体技术包括实时数据传输技术和流媒体编码技术，它覆盖网络技术和多 媒体技术的两个类别，是计算、压缩、存储设备、网络带宽几方面技术进步的产 物。流媒体访问是指通过流媒体技术访问网络多媒体文件的行为。支持流媒体访 问的网络多媒体文件被称为流媒体对象【3 】。 流媒体技术可分为视频压缩及编码、应用层q o s ( q u a l i t yo f s e r v i c e ) 控制、分 发服务、流媒体服务器、媒体同步以及流媒体协议六个部分【4 1 ，如图1 1 所示。 基于代理服务器的高效流媒体缓存技术研究绪论 施跺体缀务器 铎户瑞? 缓收端 1 2 1 视频压缩及编码 图1 - 1 流媒体技术 传统的不可扩展性视频编码以将视频压缩成适合一个或者几个固定码率的码 流为目标，只面向存储，不适合网络传输。面向传输的可扩展性编码的思想随网 络带宽的变化应运而生。可扩展性编码就是将多媒体数据压缩编码成多个码流， 其中一个成为基本层，它可以独立解码，产生粗糙质量的视频序列，能够适应最 低的网络带宽；其它的码流按层为单位可以在任何地点截断，称为增强层，用来 覆盖网络带宽变化的动态范围。增强层不可以单独解码，只能与基本层和在它之 前的增强层一同联合解码，用来获得更好的图像质量。因此，可扩展性编码具有 一定的网络带宽适应能力。 2 基于代理服务器的高效流媒体缓存技术研究绪论 1 2 2 应用层q o s 控制 目前的i n t e m e t 只提供尽力服务( b e s t e f f o r t ) ，因此需要通过应用层的各种机 制来实现q o s 控制。不同用户的播放能力或者网络条件存在差异，q o s 控制就是 应对这种差异的传输技术。q o s 控制主要可以分为两类：拥塞控制技术和差错控 制技术。拥塞控制是用来避免丢包和降低延迟，差错控制是当丢包时用来保证图 像的质量。 1 2 3 分发服务 连续媒体分发服务包括网络过滤、应用层组播、内容复制等，其目的是在 i n t e m e t 尽力服务的基础上提供q o s 控制和高效的音视频传输。连续媒体分发服务 是降低流媒体传输访问延迟和丢包率的重要技术。 1 2 4 流媒体服务器 提供流媒体服务的主体就是流媒体服务器，它通常包括通信器、操作系统和 存储系统三个部分，流媒体服务器需要响应用户的请求、提供连续的数据传输并 支持播放、暂停等操作控制。 1 2 5 媒体同步 媒体同步是正确展现多媒体内容的关键技术，它是指保持一个数据流或者不 同媒体流之间的时间关系。同步控制通常分为三类：流内同步、流间同步和对象 间同步。当出现网络延时而导致媒体流在传输过程中失去同步关系时，媒体同步 机制可以确保客户端能够正确恢复媒体流的同步。 1 2 6 流媒体协议 流媒体协议是指流媒体服务器与客户端之间的通信标准。它包括寻址、传输 以及会话控制等描述。 1 实时传输协议( r t p ) 与实时传输控制协议( i 汀c p ) r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 和r t c p ( r e a l t i m ec o n t r o lp r o t o c 0 1 ) 都是基 3 基于代理服务器的高效流媒体缓存技术研究绪论 于i p 的应用层协议。r t p 为实时音视频数据提供端到端的传送服务，提供时间信 息和实现流同步。r t c p 用来监视服务质量和在会议过程中交换信息，提供q o s 反馈、参与者标识、媒体间同步等服务。 2 实时流协议( r t s p ) r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 是由r e a l n e t w o r k s 和n e t s c a p e 共同提出 的一个应用层协议。它可以在媒体服务器和客户端之间建立和控制连续的音视频 媒体流，协同更低层协议r t p 、r s v p 等一起来提供基于i n t e r n e t 的整套流式服务。 3 资源预留协议( r s v p ) r s v p ( r e s o u r c er e s e r v ep r o t o c 0 1 ) 是运行于传输层的个网络控制协议。 r s v p 允许主机在网络上请求特殊服务质量用于特殊应用程序数据流的传输。 1 3 流媒体技术现状 网络技术加快了信息传输，硬件水平的日益提升以及多媒体数据的压缩、存 储、检索技术的逐渐成熟，促使多媒体技术进入到了一个高速发展的阶段。 随着经济的发展，起源于窄带互联网时期的流媒体技术迫切渴求种可以进 行远程信息传输的网络技术。1 9 9 4 年美国公司p r o g r e s s i v en e t w o r k s 成立，标志着 流媒体技术正式在互联网上登场亮相，他们推出了c s 架构的音频接收系统r e a l a u d i o ，随后几年一直引领网络流式技术的潮流。后来，该公司更名为r e a l n e t w o r k s ，并相继发布非常流行的流媒体播放器r e a lp l a y e r 系列。鼎盛时期，其 市场份额曾一度超过8 5 。2 0 0 0 年下半年，随着互联网在全球范围内的升温和宽 带网的普及，美国r e a ln e t w o r k s 、m i c r o s o f t 、a p p l e 等流媒体技术的倡导者和发 起者几乎同时向世界宣布了他们最新的流媒体技术宽带解决方案。流媒体技术在 短短的几年时间里取得了飞跃性的发展。 到2 0 0 3 年，流媒体数据占据了i n t e m e t 服务器5 0 的存储空间【5 】。流媒体的 应用系统、国际标准和基础研究已经成为目前产业界和科研机构密切关注的焦点。 v o d 系统、视频会议系统、远程教育系统、数字图书馆等是最典型的流媒体应用 系统。目前，多媒体及网络领域的相应国际标准和协议充分考虑了流媒体的应用。 在多媒体领域，m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 系列标准( m p e g i m p e g 2 m p e g 一4 ) 逐渐加强了对网络传输的重视。m p e g 2 定义了传输流，支持 多路m p e g 2 码流在网络中的传输复用：m p e g 4 标准中精细的可扩展性编码 f g s ( f i n eg r a n u l a rs c a l a b l e ) 和渐进的精细可扩展性编码p f g s ( p r o g r e s s i v ef i n e 4 基于代理服务器的高效流媒体缓存技术研究绪论 g r a n u l a rs c a l a b l e ) 均针对网络中码率变动的特性而制定。h 系列协议包括h 2 6 1 ， h 2 6 3 ，h 2 6 l 等视频编码标准，h 3 2 3 ，h 3 2 4 等系统标准更直接地面向网络应用。 在网络领域，i n t e r n e t 专家任务组( i n t e r n e te x p e r tt a s kf o r c e ) 锘l j 定了实时传输协议 实时传输控制协议( r t p r t c p ) 协议族。 流媒体研究的发展受到流媒体应用的极大推动和促进。流媒体技术的研究包 括流媒体编解码技术、流媒体服务器技术、端到端流媒体技术和流媒体系统技术 等。流媒体编解码技术以传统的多媒体编解码技术为基础，最近5 年发展迅速。 最具有代表性的流媒体编解码技术为可扩展性编解码技术f g s 和p f g s 6 1 。典型 的流媒体服务器技术包括数据放置策略、磁盘调度算法、内存缓冲区管理算法等。 流媒体服务器技术是流媒体早期研究的重点，它对传统文件服务器进行了一系列 的扩展和改造，使之能够有效地支持流媒体应用。端到端流媒体技术用来解决流 媒体在两个端系统之间传输的相关问题，典型的研究包括流媒体拥塞控制策略、 差错控制、速率整形策略等。端到端技术的研究以提高流媒体应用的q o s 为目标。 而流媒体系统技术在关注流媒体q o s 的同时，还注重提高流媒体的系统效率。典 型的流媒体系统技术包括流媒体调度技术、多媒体代理服务器缓存技术、流媒体 的应用层组播技术等。由于流媒体系统技术不仅要综合其他三类技术，还要优化 系统的综合性能，因此该类研究具有很大的挑战性，同时也是今后流媒体技术研 究的重点和趋势。 1 4 流媒体服务质量保证 最终用户评价流媒体服务质量，可以由诸多元素共同进行，包括：媒体质量、 启动时延、抖动、分组丢失率等，媒体质量是衡量流媒体服务的重要指标，对于 视频或音频数据，可用峰值信噪比p s n r ( p e a ks i g n a ln o i s er a t i o ) 等进行衡量； 启动延时( s t a r t u pl a t e n c y ) 是指终端用户发出请求到接收到服务之间的延时：抖 动( j i t t e r ) 是流媒体服务中特有的q o s 问题。流媒体的时间相关性很强，帧间的 时间限制必须严格遵循，否则用户将明显感觉到视频不连贯；用户交互也是流媒 体的一个特征，v o d 系统有必要为用户提供v c r ( v i d e oc a s s e t t er e c o r d e r ) 操作 支持。 影响流媒体服务质量的重要因素还包括网络带宽。由于自身平均码率比较大， 传输时间也比较长，因而流媒体传输时要求有足够胃稳定的网络带宽作保障。目 前，由于现有骨干网络只提供“尽力服务，因此网络服务质量研究已经成为通信 5 基于代理服务器的高效流媒体缓存技术研究 绍论 网络研究领域最为活跃的课题，人们提出了包括资源预留、区分服务网络 ( d i f f e r e n t i a t e ds e r v i c e s ，d i f f s e r v ) 、保证转发服务( a s s u r e d f o 州a r d i n g ，a f ) 3 j 等多种 技术来为多媒体业务提供网络服务质量保证。然而，在现有实际网络设备技术的 使用情况下，仅对骨干网络提供服务质量保证研究，并不能满足流媒体端到端有 效带宽的需求，伴随着更多的多媒体分发应用的部署，流媒体传输系统的扩展性 问题也成为关注的焦点。这种情况下，以代理缓存为代表的中间构件【j 7 】成为改善 网络通信服务质量的重要于段之一。 1 5 。用户行为和网络环境差异性对流媒体传输的影响 流媒体应用系统所面临的重要挑战之一是差异性。该挑战主要来自于两个方 面，首先，由于网络模型和设备配置的差异性，网络中不同的用户对相同的流媒 体对象在传输速率和编码格式上存在不同的需求 s l 。为了适应这种需求，目前流 媒体商业应用系统中广泛采用的是在服务器上对相同媒体存储多份不同速率和格 式的版本，每个版本只对部分用户提供服务。这样一来就大大消耗了存储空间， 降低了系统的效率。另外还可以根据用户的不同需求，采用动态编码转换的方法 实时地将原始的流媒体对象编码成用户需要的格式和速率。但是这种方法不但对 系统的计算能力提出了较高的要求，而且限制了系统的服务规模。其次，由于流 媒体的播放时间较长，即使是相同的媒体对象，不同用户的操作也可能会有很大 的差异性，除了大部分用户会在不同的时间开始浏览相同的流媒体对象外，另外 很多用户不等到播放完毕就提前终止了观看。目前研究人员提出了包括周期广播 ( p e r i o d i c a lb r o a d c a s t i n g ) 、【9 】金字塔( p ) ，r 锄i d ) 算法【i o 】、b a t c h i n g 算法【l l 】和补丁 ( p a t c h i n g ) 算法【1 2 】在内的多种静态和动态的调度算法来应对这种用户行为的差异 性。但是，如何同时针对网络环境和用户行为差异性，设计出高效的流媒体传输 策略仍然是需要解决的难题。 1 6 本文工作及贡献 全文分为六章，具体工作和组织如下： 第一章为绪论，介绍本文的研究背景流媒体技术及其发展现状，为后续 章节的研究做有力的铺垫。 第二章为流媒体缓存综述，从流媒体对象及特征、流媒体访问及规律等方面 6 基于代理服务器的高效流媒体缓存技术研究绪论 详细介绍了流媒体，同时又在基于体系结构的基础上引入了流媒体代理服务器缓 存技术，然后综合对现有的各种流媒体代理缓存策略进行了分类比较，重点介绍 了彳i 同缓存策略面临的问题，解决的思路和局限性。 第三章为内容流行度特征分析，本章通过对用户访问记录日志文件的分析， 针对流媒体对象的内容流行度分布特征，引入了k 变换下的z i p f - l i k e 模型对其进 行描述，摒弃了传统的z i p f - l i k e 模型，提出精确的内容流行度估算方式。而后在 单个影片内部，纳入了两点流行度的思想，揭示了排除内部流行度扰动现象对于 提高代理缓存算法效率的意义。为后续章节的缓存替换算法做铺垫。 第四章提出基于流行度和分段适应性的流媒体缓存算法，本章首先指出现有 缓存算法的不足，在媒体分段策略中，提出媒体块主动预取机制，随后将内容流 行度纳入分段因子的计算中，提出基于分段因子的媒体分段策略。随后基于该 分段策略提出基于内容流行度等因素的缓存价值估算函数，基于该估算函数，又 提出基于该分段算法的替换策略和释放策略，至此形成包含预取、准入、替换和 释放策略的基于流行度和分段适应性算法的完整的流媒体缓存机制。为后续章节 对算法的仿真模拟完成了理论工作的研究和分析。 第五章为p r o x y e r 缓存模拟器及其仿真结果分析，p r o x y e r 模拟器是着眼于现 有缓存趋势以及模拟性能而研发的流媒体缓存模拟器，在实验仿真阶段，本文基 于流行度和分段适应性的缓存算法，在相同的网络配置情况下，与各经典算法比 较均获得较好的性能表现。 第六章为总结和展望，首先介绍了本文所做的工作和主要研究成果，然后对 本文后续的研究工作进行了积极地展望。 7 基于代理服务器的高效流媒体缓存技术研究 流媒体缓存综述 第2 章流媒体缓存综述 本章围绕着现有的流媒体缓存的相关知识，如流媒体对象的特征、流媒体访 问及规律、流媒体代理服务器缓存技术、现有的流媒体缓存算法等展开讨论，为 开发和设计高效的代理缓存算法做准备。 2 1 流媒体对象及特征 流媒体对象是由一系列带有时间标记的帧组成的支持流媒体技术的网络多媒 体文件，具体由一系列带有时间标记的帧组成。时间标记表示帧的播放时刻，帧 之间存在依赖关系，与传统的数据有着显著的区别。具有以下特性【”】： 数据量大 传统的w e b 对象大小在1 k b 至1 0 0 k b 之间，代理服务器只需要决定是否缓 存。而多媒体对象具有较高的比特率和较长的播放时间，因此它包含的数据量很 大。1 小时标准m p e g 1 视频大概有6 0 0 m b ，把它完整地缓存在代理服务器上显 然是不切实际的。一种解决方案是只缓存它的某些部分，这就要求客户端的播放 器能够整合分别从代理和原始( 内容) 服务器发送过来的数据。具体缓存对象的 哪些部分是需要仔细研究的，但是这种方案所带来的收益要远远高于数据整合所 付出的代价。 带宽要求高 流媒体对象的传输需要很高且持久的磁盘和网络i o 带宽。以小时为单位的 播放时间和大于1 0 k b p s 3 皤放码率 1 4 1 使得流媒体访i - j 会带来可观而持续的网络传输 负载和服务器负载以及高服务负载。因此，很小的带宽损耗都成为代理缓存管理 所需要考虑的因素，很多情况下其重要性甚至超过了对启动延时的降低。此外， 带宽瓶颈还限制了代理能够同时支持的客户数量，因此部署多播通信和多代理协 作受到了流媒体应用的广泛关注。另外，多媒体有媒体质量属性，如视频、音频 均可用峰值信噪i j ( p s n r ) 来衡量媒体的质量，部分丢失媒体数据会导致媒体质量 下降。 访问过程交互性强 用户对多媒体数据有特殊操作，用户在长时间的观看的过程中会执行不同的 基于代理服务器的高效流媒体缓存技术研究流媒体缓存综述 访问动作。有日志的分析研究表明有3 0 5 0 的播放会中途终止。在v o d 系统中， 用户交互包括暂停、恢复、前跳、后跳等，v c r 1 i k e 技术使得不同位置的内容具 有不同的访问率。这些操作都是多媒体应用所特有的。这都增加了缓存管理的复 杂度。 在具有以上不同特性之外，已有日志分析1 4 , 1 5 1 也总结了与流媒体对象相关的 主要属性： 持续时间 流媒体对象的体积大小是由播放时间和传输码率两个因素决定的。其中播放 时间决定了全部浏览的时间跨度，等同于服务器负载和网络负载的持续时间。不 同的流媒体对象种类是影响播放时间的首要因素，新闻类的时间长度基本在几分 钟到十几分钟之间，电影类的时间长度通常保持在数十分钟到几个小时之间。 码率状况 流媒体码率存在固定码率( c o n s t a n t sb i tr a t e ，c b r ) 和变动码率( v a r i a b l e b i tr a t e ，v b r ) 两种。目前互联网上绝大多数流媒体对象均使用固定码率的编码 格式。流媒体对象的固定码率大小通常为5 6 k b p s 、1 2 8 k b p s 等。 访问热度 大量访问集中在少量文件是互联网的热点问题。流媒体访问的热点现象表现 在用户请求和流媒体对象之间存在z i p f 分布的管理关联属性。 存活时间 流媒体对象具有很强的时效性，大量访问集中在流媒体对象刚出现的一段时 间之内，随后访问请求将逐渐减少。 出现频率 在实际中，服务器的负载状况会随着新的流媒体对象的出现发生明显改变。 由于热点流媒体对象具有热点现象和存活时期，因此当其刚出现在服务器上时就 会带来大量且集中的访问。 2 2 流媒体访问规律 流媒体访问包括查询和观看两个阶段。h t t p 访问是浏览互联网的主要途径。 用户看到自己感兴趣的内容后，即可通过相应的u r l ( u n i f o r mr e s o u r c el o c a t o r ) 进入观看阶段。u r l 指向存放流媒体对象的服务器，并会触发用户端的流媒体播 放器启动。在播放的过程中，服务器通过数据传输通道持续地向用户发送播放的 9 基于代理服务器的高效流媒体缓存技术研究流媒体缓存综述 实时数据。图2 1 是流媒体访问过程的示意图。 1i n p , t c p h 例络涮凝器列络般务器 i r l s p1 1 c l ，r i c p ， u 【) i f 嫒体猾放器 气 v 。 媛体缀务器 图2 - 1 流媒体访问过程 存在数据传输通道是流媒体访问和传统网页访问的主要区别。围绕传输通道 的建立、控制、传输，有一系列的网络协议，其中最重要的是 p t s p r t c p r s v p 】r t s p 协议族，如图2 2 所示： r t p 协议 r t p 是一种提供端到端传输服务的实时传输协议，它被用来支持在单目标广 播和多目标广播网络服务中传输实时数据，而r t c p 协议对实时数据的传输进行 监视和控制。r t p 协议包括：数据类型、时间戳、序列号、同步源标识等几种在 流媒体传输中有重要作用的数据域。r t p 本身并不能为按顺序传送数据包提供可 靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务，但 r t p 分组中具有序列号，为接收方按顺序重组信息提供了可能性。 r t c p 协议 r t c p 为应用程序提供会话质量或者广播性能质量的信息，它用于统计、管理 和控制r t p 数据包的传输。r t c p 通过发送和接收r t c p 报文实现信息传递，每 个报文有其特定的长度标识和类型码。r t c p 在流媒体传输中的作用为： a ) q o s 管理与控制 r t c p 报文含有q o s 信息，在组播环境下，会话各方有必要知道其它会话主 机的数据传输情况。音频或视频数据的发送主机应定期播发包括媒体同步信息、 己经发出的信息包数目和比特数目在内的发送方报告，这些信息可用于计算发送 速率。而会话的接收主机定期播发接收报告，包括接收信息包的最大序列号、丢 1 0 皋于代理服务器的高效流媒体缓存技术研究流媒体缓存综述 失包数目、媒体流的抖动情况等，这些数据用来计算从发送方到接收方的回路延 迟。 b ) 媒体同步 r t c p 发送方报告中的时间戳用来同步不同的媒体流。 c ) 附加信息传递 r t c p 有一类称为s d e s ( s o u r c ed e s c r i p t i o n ) 的报文，内含标志名、用户名称、 电话号码、e m a i l 等信息，其中标志名是会话中每个参与者的唯一标志，这些附 加信息用于会话管理。 r t p r t c p 为媒体流化技术提供了网络承载平台，如果基于组播，r t p r t c p 非常适合传输媒体数据。r t c p 协议为媒体流化的管理提供了平台，其数据结构可 以很好地监控媒体传输q o s 和其他方面。 r s v p 协议 在业务流传送之前，资源预留协议预约一定的网络资源，建立静态或动态的 传输逻辑通路，为每一业务流都有足够的“独享”带宽提供了保障，克服了由于 网络信息包过多导致的拥塞、丢失和重传，提高了网络传输的q o s 性能。r s v p 协议是一个i n t e m e t 的控制协议，位于传输层，建立在i p v 4 或i p v 6 之上，提供 对单工数据流的控制，并支持单播和多播的信息传送。 r s v p 具有以下特征： a ) 接收方执行资源预留； b ) 支持不同的预留类型( 无滤包器形式、固定滤包器形式和动态滤包器形式) ； c ) 维护网络的“实时状态”： d ) 协议的过载控制。 r t s p 协议 实时流协议是由r e a l n e t w o r k s 和n e t s c a p e 共同提出的应用层协议，它提供了 一个可伸缩的框架，建立并控制一个或几个时间同步的连续流媒体。它的主要目 标是支持不同厂家提供的客户机和服务器之间的协同工作能力，以及为单目标广 播和多目标广播上的流式多媒体应用提供牢靠的播放能力。 r t s p 使用t c p 或r t p 完成数据传输，它在体系结构上位于r t p 和r t c p 之 上。h t t p 较之于r t s p ，h t t p 传送h t m l ，而r t s p 传送的是多媒体数据。h t t p 请求由客户机发出，服务器做出响应；而使用r t s p 时，客户机和服务器都可以 发出请求，即r t s p 可以是双向的。图2 2 是传输通道中r t s p 等协议的交互的示 摹于代理服务器的高效流媒体缓存技术研究 流媒体缓存综述 意图 r t p i r t c p r is p s 可在任意时刻发出o p t i o n s 请求，如 用户打算尝试非标准