（计算机软件与理论专业论文）分布式vod系统的研究与实现.pdf

摘簧 摘要 随着计算机网络通信与多媒体技术的飞速发展和用户对信息需求的不断 漯纯，多媒蒋绩惫l 受务萼| 起了人靛的广泛关注。疰l 予d 系统箍够按照耀，审 孺要提供媒体服务，因此近年来倍受青睐。然而随着用户规模越来越大，对 予高质纛的褫额点播鼗务逛提高了更大豹撬战。分布式v o d 技术正是在这一 背景下发展起来的，它不仅改善了单服务器的服务能力，而且具有很好扩展 健和容铺性，因而成为现今人们研究的热点问题之一。 本文对v o d 系统聪涉及到的媒体文f f 牛的存锉、控制援放等技术进行深入 的研究。针对分邗 式v o d 系统中媒体文件分块存储在不问播放服务器的特点， 靼媒体滚戆控翻秘接簸襁分囊熬特点，零文设诗劳实瑗7 一秘分毒式蚤系 统原型。本课题研究的煎点主要包括以下几个方面： 首先，深入轿究了媒体文彳孛分害l 与藏务器箍务桷应攀的关系，分毒厅媒体文 件分割存储是否能够提商服务器的服务响应率；弓i 入r a i d 技术对媒体数据进 行存储，并针对分布式数据存储中的几种放置策略进行了研究和评价；分析 f 1 1 p 的文件传输枧制，并利用该协议的原理实现了媒体数据存镣系统。 其次，分布式v 0 d 系统并不像单服务器系统那样只是单纯的客户端与服 务器关系，恧是感窖户端、控篱鼹务器秘撵敖擞务器三誊组成。因戴，本文 改进和扩展r t s p 协议，使之成为三方协议，其中r t s p 控制服务器与攒放服 务器之鬻携议麓薄瓣裁定敷及在一个点撩流程中三者乏瓣豹漭谲关系藏为本 文研究的重点。根据分布式视频服务器摭制与播放相分离的特点，设计一种 分布式橇颓服务器翡模黧并翻醵实现。 最后，沦文对课题取得的主要成果逃毒亍了概括和总结。同时，也对今后进 步的研究工作进行了展望。 美键词视频点播；实时流协议；流媒体 a b s t r a c t a b s t r a c t w i t h r 印i dd e v e l o p m e n t i nn e t w o r kc o m m u n i c a t i o na n dm u l t i 。m e d j a t e c h n o l o 酉e sa i l du s e i s i n c r e a s i n gn e e d sf o ri n f o r m a t i o n ，m u l t i m e d i ai n f o 瑚a t i o n s e r v j c ea t t r a c t st 0l a r g ej n t e r e s to fp e o p l c v i d e o 0 n d e m a n ds y s t e mc o u l dp r 0 v i d e m u l t i m e d i ai n f o n i l a t i o ns e r v i c ea c c o r d i n gt op e o p l e sd e m a n d t h e r e f o r c ，i th a s d r a w nal o to fa t t e n t i o ni nr e c e n ty e a r s b u tw i t ht h es c a l eb e c o m i n gl a 唱e ra n d l a r g e r ，i tp o s e sm a n yc h a l l e n g e sf b rh i g hq u a l i t yo f v i d e 0s e r v i c e s t h ed i s t r j b u t e dv o dt e c h n o l o 西e sc o u l dn o to n l yi m p m v es i n 舀es e e r s s e i c ea b i l i t y b u ta l s oh a v eg o o ds c a l a b i l “ya n df a u l t t o l e r a n c e ，s ot h e yb e c o m e t h eh o tt o p i cj nm u l t i m e d i af i e l d f o rt h ec h a r a c t e f i s t i c so fv o ds y s t e m ，t h e d i s s e n a t i o ni n v e s t i g a t e sd e 印l ys t o r a g et e c l l n o l o g yo fm e d i a f j l e s ，c o n t r o la n d t r a n s f e fo fm e d i as t r e a m s f b rt h ec h a r a c t e r j s t i c st h a tm e d i af l l e si nd j s t r i b u t e dv o ds y s t e ma r ed i v i d e d i n t os u b f i l e sa n ds t o i ei nd i f f e r e n tp l a y i n g s e e r s ，t h a ti st h es c p a r a t i o nb e 柳e e n c o n t m la n dt m n s f c ro fm e d i as t r e a m s ，t h ea u t h o rd e s i g n sas o no fd i s t r i b u t e dv o d a r c h i t e c t u r e t h e r e f o r e ，t h ee m p h a s i sa u t h o rp r o b e si n t o c a l lb ei n c l u d e da s f o l l o w s ： f i r s t l y ，i tp t o b e si n t ot h er e l a t i o n s h i pb e t w e e nr e s o u r c ef i l ep a r t i t i o n sa n d r e s p o n s er a t e o fs e r v i c e ，a a l y s e st h a tf i l e p a n i t o n u l do fn o ti m p r o v et h e e f f i c i e n c yo fs e e lt 1 l e ni ti n t r o d u c e sr a i dt e c h n o l o g i e st os t o r em e d i a - f i l ed a t a ， s t u d i e sa i l de v a l u a t e ss e v e r a lk i n d so fp l a c e m e n tp o l i sf o rs t o r i n gd a t a t h e d i s s e n a t i o na l l a l y s e st r a i l s m i s s i o nm e c h a n i s mo ff j l et r a i l s f c rp r o t o c o l ，a n du s e si t s p r i n c i p l et oi m p l e m e n tm e d j a - s t o r es y s t e m s e c o n d l y ，d i s t r i b u t e dv o ds y s t e mi sas y s t e mc o n t a i n e dt h r e ep a r t st h a ti s d i e n t ，c o n t r o l s e r v e r ，p l a y s e r v e t ，w h i c hi sn o ts a m ea ss i 西ev o ds y s t e mt l l a ti s t w o p a n s p r o t o c o lc r i t e r i o nb e t w e e nc o n t m l s e n ，e ra n dp l a y i n g - s e e ra n d r e l a t i o n s h i pa m o n gt h r e ep a n si nap l a yn o w a r et h ee m p h a s i st i l a tw ei v e s t i g a t e t h ed i s s e r t a t j o ni n l p r o v e sa n de x t e n d sr e a l t i i n es t r e a m i n gp r o t o c 0 1 a c c o r d i n gt o t h ec h a r a c t e r i s t i c so ft h ed i s t r i b u t e dv o d s y s t e m ，t h ed i s s e r t a t i o nd e s i g n sak i n do f d i s t r i b u t e dm e d i a s e r v e r sm o d u l e ，a j l dj m p l e m e n t si t f i n a l l y ，t h ed j s s e r t a t i o ns u m su pa n ds u m m a r i z e st h em a i np r o d u c t i o no f s u b j e c t a t l h es a m et i m e ，i te x p e c t st h en e x tr e s e a r c hw o r k 1 1 1 北京工业大学工学硕士学位论文 k e y w o r d s d e o o n d e m a n d ；r e a l - t j m es t r e a m i n gp m t o c o l ；s t r c a m i n gm e d i a i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：砖它如日期：签名：7 寸畅1日期： 关于论文使用授权的说明 珈、3 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的 全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：蛰导师签名：弛日期：庐多、扩 第1 章绪论 1 1 课题背景 第1 章绪论 电视以其及时、直观、形象生动、单位时间信息量大等特点，成为备受人们 欢迎的第大媒体。同时，电视作为家庭娱乐的主要方式，在家庭生活中具有不 可替代的作用。但传统的电视系统是单向广播式的，人们只能被动地按时收看节 目。随着互联网和w c b 技术的发展，人们可以主动、及时地从互联网上获得所需 要的信息，包括多媒体信息，因此，互联网逐渐发展成为继电视之后覆盖最人的 一个新兴媒体。但由于受网络结构、网络带宽等因素的制约，人们获取的多媒体 信息目前也主要是文字、图片等静态信息。人们迫切需要能够像获取文字图片信 息一样，随时、主动地从嗍上获取自己所需的动态图像信息，观看视频节目l l 】。 冈此，v ( ) d m d e o o n d e m a n d ，视频点播1 技术应运而生。v o d 系统是计算机 网络技术、通信技术、多媒体信息处理技术、分布式计算技术、数据压缩技术等 众多技术相互结合的产物。它将远程视频服务器上的媒体信息，通过计算机网络 或其它通信设施传送到本地的媒体处理器或媒体终端上，用户可以在电视机或计 算机上随意点播自己喜爱的视频节目，并可以控制节目的暂停、快进、倒退、循 环等，就像控制v c d 一样方便。它手j - 破了传统电视只能广播的局限，增强了用户 的主动性，已经被应用于诸如娱乐、教育、办公、新闻、出版等众多领域。v o d 的本质是让信息的使用者根据自己的需求主动获取多媒体信息，它与传统信息发 布的最大不同有两点：一是主动性、二是选择性。在当今的信息社会中，这种媒 体获取方式将越来越符合信息资源消费者的深层需要，可以说v o d 是未来信息获 取的主流方式在多媒体视频音频方面的表现；冈而必将得到普及，其市场前景十 分广阔。 v 0 d 不同于一般的计算机网络应用，其交瓦性是非对称的。即服务器要向终 端实时传送大量的视频音频数据，而终端仅向服务器传送少量的请求信息。因此 v o d 对服务器的性能提出了许多新的要求。分布式v 0 d 系统是通过将资源有效 分割来提高系统性能的，它依赖诸多相关技术，即：分布式存储技术、流媒体技 术、服务调度技术、容错技术等，来解决当前v o d 系统的负载平衡、i ，o 瓶颈、 町扩展性等问题，因此需要在这一。领域做大量的研究。 町扩展性等问题，因此需要在这一。领域做大量的研究。 北京工业大学工学硕士学位论文 1 。2 国内外研究现状 鉴于流媒体广阔的市场前景，国外许多著名厂商都推出自己的v o d 产品，如 m i c r o s o f t 的w i n d o w sm e d j a 、r e a l n e t w b r k 的r e a l s y s t e m 、a p p l e 的q u i c k t i m e 、 i b m 的v i d e o c h a r g e f 等。这些产品各有特色，均有自己的技术优势。w i n d o w s m e d i a 和w i n d o w s 紧密集成，易于管理；r e “s v s t 锄利用其优秀的编码方式提供较高质 量的低速率媒体流；q u i c k t j m e 适用于多种平台，支持国际标准协议：d e o c h a r g e r 建立于i b m 专有的操作系统a i x ( 对多媒体应用做了优化) 上，提供了更好的性 能。这些系统除了i b m 的v j d e o c h a r g e r 外均建立在w i n d o w s 、u n i x 平台上，没 有采用专用的多媒体操作系统，系统性能没有得到充分的发挥；而m m 的a i x 也 只与其系列服务器捆绑销售，价格昂贵。 构，不同的服务器采用不同的点播地址， 没有对整个系统进行统一管理。 更重要的是，它们均采用集中式系统结 用户必须自己选择提供服务的服务器， 国内也有一些厂商如世纪珠穆朗玛、曼德科技等提供v o d 系统。它们一般通 过集群技术提高并发流的数目；少数使用引进的专用服务器，采用专用硬件，因 此价格昂贵：虽然个别厂商宣称其采用了分布式的体系结构，支持城域级应用， 但是否可以扩展到更大的服务范围还不明确。 总之，当前v o d 系统按结构划分主要分为两大类，一类是单服务器结构，这 类结构最突出的优点是实现和管理简单，服务器可采用普通的微机，也可采用功 能较强的小型机，还可采用高性能的并行计算机。但是，单服务器结构的v 0 d 系 统存在许多很难克服的缺陷。其中最突出的一点是可扩展性，当客户需求超出系 统容限( c p u 处理能力、存储容量、网络带宽等) 时需要将数据备份到新的服务 器上，开销非常大，影响对用户的响应速率。另外如果服务器出现故障将会影响 整个v o d 系统的运行，容错性能很低。另一类是分布式多服务器结构，与单服务 器结构的v o d 系统不同，媒体文件将被切分存储于不同的服务器上，客户端播放 一个媒体文件将与多个服务器交互，避免了单服务器结构服务端的网络带宽瓶颈、 i o 瓶颈等问题，并且服务端可以很容易得到扩展，某个服务器的故障也不会影响 到整个系统的运行【2 】。 目前对v o d 系统的研究主要集中在分布式多服务器结构的v o d 系统上。从 理论上讲，理想的分布式多服务器结构v o d 系统要解决以下几个关键问题： ( 1 ) 播放提供不同的q o s ( q u a l i t yo f s e r v i c e ) 。不同的用户会根据应用的需求、 网络负载、配置环境等需要不同的播放速率，v o d 系统应该满足这一需求。 ( 2 ) 解决热点影片的点播问题。由于某些影片在一段的时期内可能很流行，点 播率很高，对服务器压力过大，造成不能实时的响应用户点播，因此分布式v o d 第l 章绪论 系统要解决这种热点影片的点播问题。 ( 3 ) 保持负载平衡。v o d 系统应该具有良好的流调度策略，使每个服务器的 负载量尽量的均衡，避免一些服务器负载过重而另一些却空闲的情况发生。 ( 4 ) 具有一定的容错能力。v o d 系统中某些服务器可能会因为软件或硬件的 故障而不能工作，v o d 系统应该能够在不影响客户端正常点播的情况下，将故障 服务器上执行的任务转移到f 常工作的服务器上。 本课题的研究内容主要集中在热点影片的点播问题、负载平衡和具有一定的 容错能力这几个方面。 1 3 v o d 系统概述 1 3 1v 0 d 系统分类 目前，根据不同的功能需求和应用场景，市场上主要有三种v o d 系统：n v o d 、 t v o d 和i v o d 。 n v o d ( n e a rv i d e o o n d e m a n d ) ，称为就近式视频点播。这种视频点播的方式 是：多个视频流依次间隔一定的时间启动发送同样的内容。比如，十二个视频流 每隔十分钟启动一次发送同样的两小时的电视节目。如果用户想看这个节目需要 等待，但最长不会超过十分钟，他们会选择距他们最近的某个时间起点进行收看 p j 。在这种方式下，一个视频流可能为许多用户共享。 t v o d ( 1 m ev j d e o - 0 n - d e m 柚d ) ，称为真实视频点播，它真正支持即点即放。 当用户提出请求时，视频服务器将会立即传送用户所要的视频内容。若有另一个 用户提出同样的需求，视频服务器就会立即为他再启动另一个传输同样内容的视 频流。不过，一旦视频流开始播放，就要连续不断地播放下去，直到结束。在这 种方式下，每个视频流专为某个用户服务吼 i v o d ( i n t e r a c t i v ev i d e o 一0 n d e m a n d ) ，称为交互式视频点播。它比前两种方式 有很大的改进。它不仅可以支持即点即放，而且还可以让用户对视频流进行交互 式的控制。这时，用户就可像操作传统的录像机一样，实现节目的播放、暂停、 快倒、快进和自动搜索等【3 】0 由三种视频点播方式的特点可知，对于n v o d 、t v o d 方式用户更多的只是 被动的观看，系统与用户的交互性不强，本文研究的视频点播系统属于i v 0 d ， 这种点播方式可以使用户具有更强的主动性。 北京工业大学工学硕士学位论文 1 3 2v 0 d 系统的结构 作为一个v 0 d 系统，无论其功能、用途多么复杂，主要由三部分构成：服务 端系统、网络系统、用户终端系统。 图l 一1 v o d 系统结构框图 f 幢u r e1 - 1a r c h i t c c f u r eo f v o ds y s t e m 如图1 1 所示的v o d 系统包括服务器、网络传输、用户终端和节目制作中心 几个部分。对于规模较大的v 0 d 系统，节目制作中心和服务器之问也由网络连接， 对于规模较小的v o d 网络，节目制作中心和服务器可以合并在一起。下面对各部 分的功能和组成进行描述。 1 f 3 2 1 服务器系统 服务器系统主要功能是为用户提供良好的视频点播服务。它主要由视频服务 器、内部通讯子系统和网络接口组成。内部通讯子系统主要完成服务器间信息的 传递、后台影视材料和数据的交换。网络接口主要实现与外部网络的数据交换和 提供用户访问的接口。视频服务器主要由存储设备、控制管理单元组成，其目标 是实现对媒体数据的压缩存储，以及按请求进行媒体信息的检索和传输。视频服 务器与传统的数据服务器有许多显著的不同，需要增加许多专用的软硬件功能设 备，以支持该业务的特殊需求【3 】。例如：媒体数据检索、信息流的实时传输以及 信息的加密和解密等。对于交互式的v o d 系统来说，服务端系统还需要实现对用 户实时请求的处理、v c r ( v j d e oc a s s e t t er e c o r d e r ) 功能( 如快进、暂停、重绕) 的模 拟，这一方面正是本文研究的重点。 1 3 2 2 网络系统 剐络系统包括主于和本地网络两部分。| 兰；i | 为它负责视频信息流的实时传输， 所以是影响连续媒体网络服务系统性能极为关键的部分。同时，媒体服务系统的 第1 章绪论 网络部分投资巨大，故而在设计时不仅要考虑当前的媒体应用对高带宽的需求， 而且还要考虑将来发展的需要和向后的兼容性。当前，可用于建立这种服务系统 的网络物理介质主要是：c a t v ( 有线电视) 的同轴电缆、光纤和双绞线，而采用的 网络技术主要是：快速以太网、f d d i 和a r m 技术。 1 3 2 3 用户终端系统 用户终端系统通常有两种实现方式。一种是由个人计算机及相应的播放软件 构成，如r e a l p l a y e r 、m e d i a p l a y e f 等；另一种是由电视机加机顶盒( s t b ) 构成。相 比之下，后者操作更简便，更易于被广大观众接受。 1 3 2 4 节目制作中心 节目制作中心是控制管理v o d 系统服务器端的平台，提供多种管理功能，如 增加、删除媒体节目；查看系统的运行状况是否良好等。它是为后台节目制作人 员提供一个系统平台，本论文中的数据存储系统就是该总控平台实现的基础。 1 3 3v o d 系统的发展趋势 v o d 在许多领域都具有广阔的应用前景，它可以广泛应用计算机局域网、广 域网、宽带综合接入网、有线电视网等领域。 v o d 视频点播技术的出现，在某种意义上讲是视频信息技术领域的一场革命， 有巨大的潜在市场，因而世界主要发达国家都投入了大量的资金，加速开发和完 善这一系统。v 0 d 技术的功能远远超出人们的想象，它极大地改善了人们的生活 质量、提高了工作效率【3 j 。用户可在家中的电视机前，利用遥控器按照自己的意 愿来实现点播电视、信息查询、家庭购物、远程医疗、电视教育、电子函件、旅 游指南、定票预约、股票交易等活动。 美国市场调查公司( y a n k e eg r o u p ) 针对视频点播的趋势与选择发展趋势的调 查显示，v o d 已成为有线网络商为使其服务有别于卫星电视和电信网络公司提供 的多频道视频服务而掌握的“杀手锕”之一。根据美国市场调查公司i d c 的报告指 出，在高达1 亿台的家用电脑市场中，将有2 1 5 的用户，会借用“电脑以外的设 备”来浏览各类网上资讯；同时美囤另一家产业分析专家机构m c x a n d e r 也调查发 现，预计有1 2 8 0 个家庭会考虑在未来购买可以让电视连接上网的机顶盒。这些市 场调查公司所出的结果，正显示出即使是非电脑用户，也渴望享受v o d 的服务， 因此可连接上网的机顶盒已经成为可让互联网深入普及大众的重要推力。可以预 见，在不久的将来，个人计算机将不再是唯一的数字多媒体源。 在我国，数字电视产业的发展使得v o d 的概念逐步深入民心。老百姓对于按 自己需要享受视频服务的愿望越来越强烈。目前，很多新开发的小区已经把能提 北京工业大学工学硕士学位论文 供视频点播服务作为吸引广大消费者的一个亮点。在家中通过视频点播享受家政、 医疗、购物等服务已经不再是梦想。随着国内宽带网络建设的不断发展，视频点 播这项应用在今后智能化生活建设中必将大显身手。 1 4 课题来源及主要研究内容 1 4 1 课题来源 随着网络和多媒体技术的发展，计算、通信、存储和视频压缩技术得到了迅 速发展，使得数字视频所要求的高带宽和大存储空间成为可能，实时的多媒体系 统由概念变为现实。在各种网络多媒体应用中，最富有吸引力的一项应用就是 v 0 d 。但即使是拥有足够带宽，磁盘输入输出带宽、服务器计算能力和服务器的 可扩展性仍是阻碍该系统广泛应用的主要瓶颈，因此需要对v o d 系统做大量的研 究工作。 正是上述背景产生了本课题。它来源于“航天新世纪公司”委托“北京时代 互动传媒技术有限公司”丌发的“数字电视互动增值平台”的v o d 视频点播部 分。 1 4 2 主要研究内容 课题研究的分布式v o d 系统属于i v o d ( 交互式v 0 d ) 系统，主要是针对v 0 d 系统视频服务器技术中的流媒体技术和数据存储技术而开展研究工作的。本文首 先设计了一种分布式v o d 系统，并且针对分布式v o d 系统中媒体文件的分布式 存储、控制与传输相分离的特点，对流媒体技术中的r t s p 协议( r e a l t i m e s t r e 砌i n gp r o c t o l ，实时流传输协议) 作了扩展，应用扩展后的r t s p 协议实现了 该系统。其中主要研究内容如下： ( 1 ) 研究媒体文件分割与服务器服务响应率的关系；引入r a i d ( r e d u n d a n t a r r a yo f i n e x p e s i v ed i s k s ，廉价磁盘冗余阵列) 技术中的算法和一些分布式数据存 储算法进行媒体数据的分布式存储；实现了媒体数据存储系统，该系统利用兀 p 协议( f i l et r a i l s f c rp m t o c 0 1 ，文件传输协议1 的数据传输机制进行媒体数据传输，并 使存储的媒体数据达到了系统级容错。 ( 2 ) 研究r t s p 协议，根据分布式v 0 d 系统的特点对该协议进行扩充，使原来 客户端与服务端的两方咖议改造成了客户端、控制服务器和播放服务器三方之间 的协议。 ( 3 ) 利用改进后的r t s p l 办议实现了控制播放系统，使整个点播系统支持d e o 第1 章绪论 c a s s e t t er e c o r d e r 功能f 即播放、暂停、快进、后退) 。 1 5 本章小结 本章首先介绍了v o d 系统应用的社会背景、研究现状：接着简述了v o d 系 统的分类、系统结构及发展趋势；最后确定本论文研究的范畴属于交互式v o d 系 统，并且主要是针对流媒体技术和数据存储技术展开研究的。 第2 章媒体数据存储技术的研究 第2 章媒体数据存储技术的研究 目前大多数v 0 d 系统都使用单服务器结构，即媒体数据都存储在单个服务器 上，采用的视频服务器可以是标准微机，也可以是具有上千个处理器的并行计算 机。但单服务器系统由于其系统结构的原因，在磁盘吞吐量、扩展性和容错性等 方面受到了限制，因此人们提出了分布式并行视频服务器f d i s t 曲u t e dp a r a l l e l v i d e os e n ，e r ，简称d p v s ) 结构1 4 j 。这种结构的关键是将视频数据按带状( s 砸p p i n 曲 存储在多个服务器上，使用这种数据存储方式设计的视频服务器不仅打破了单个 服务器的服务能力限制、提高系统的容错能力，而且也容易实现服务器的负载平 衡，具有较高的性价比和可扩展性。而视频数据的分布式存储算法有仍待深入研 究，本课题正是在媒体数据分布式存储的背景下展开研究工作的。 2 1 媒体文件的分割、文件块带状分布与服务器响应率的关系 2 1 1 服务器响应率的研究 用户向视频服务器请求视频服务时被接受的概率，称为服务器响应率。这里 首先考察一个最简单视频点播系统，即视频服务器中仅包含一个支持条流的磁 盘，且磁盘中仅存储一个播出时长为t 的媒体文件，用户随机请求服务，服务时 长为r 。假设第f 个用户的请求时刻为f i ，f = 1 ，2 ，则前个用户发出请求后，便 能立即得到服务。当第+ 1 个用户请求时，必须等待第1 个用户完成服务。第1 个用户服务完毕时间是 + r ，如果第1 个用户的服务完毕时刻为f ，+ re f 。，那 么第+ 1 个用户的请求可以得到响应；否则，在o ，+ 丁) 时间内被拒绝。在时 刻 + r 后，第一个用户离去，系统就可以响应新的请求。 考察用户请求服务这一随机事件：首先，不重叠的时间区间内的请求数是相 互独立的。其次，在一个充分小的时间区问j f ，f + fi ( 血一o ) 内，一个用户请求的 概率a ( ，f + 出) 与f 无关，而与出约成正比，所以有 n p ，f + 缸j = f + o ( 出j 协 o ) 其中a 表示单位时问内一个请求的概率( a 的单位是“次数时间”) 。第三，m 当充 分小时，在p ，f + 出j 内有2 个或2 个以上请求的概率接近o 。以上分析表明，用户 清求服从泊松分布1 5 】。 由于用户接受服务的时间均为常数r ，因此在j o ，f 。l 时间内的请求被接受，而 存( f ，f 。+ 丁) 时问内的请求被拒绝；在1 2 x f 】+ r ，f 】+ f 。+ 丁l 时间内，用户以a 的概 率离开和到达系统，l 。+ r ，+ “+ 丁】的时间内的请求可以接受，同时， o l + f + 丁，f 1 + 2 丁 请求被拒绝；依此类推，可知l f 1 + i 丁，f f l + f + f 丁j 内 的请求被接受， f f 。+ r + f 丁，( f + 1 ) f 。+ g + 1 ) r 】内的请求被拒绝，如图2 - 1 所 示。 坠十竺十芦1 坠冉 。呵寸i 暇i 蔫i 习盯吒 蔷i 高二。，r 图2 1 服务器响应率 f i g u f e2 - ls e r v e rr e s p o n s er a t e 可以总结规律如下：视频点播由连续的周期组成，每一周期时长为 + z ，可分 为“接受”和“拒绝”两个阶段，接受阶段的时长为0 ，拒绝阶段的时长为r 。+ r 一0 。 因此，可以估计其服务器的服务响应率。假设服务器响应率为卢，它表示服务时 间占总访问时间的比例，表示为： 卢= f p 1 + 丁) ( 2 - 1 ) 根据泊松分布规律可得：f 。平均值为a ，有f 。= a ，f 。= 1 ，代入公式( 2 1 ) 得： 卢= 【1 + a t ) ( 2 2 ) 对于公式f 2 2 ) ，若把节目文件分段为k 份，则服务器向用户传送的节目文件 分段的时间为州k ，代入公式( 2 2 ) 整理得： 反= k 。志”k “卢 ( 2 3 ) 由公式( 2 3 ) 可见，服务器的服务响应率提高几乎k 倍。因此，如果我们把节 目文件进行分割，则能够提高服务器的服务响应率。但随之而来的问题是：对文 件进行分割，提高服务器的服务响应率的同时，用户向服务器的请求频率增加为 原来的k 倍，因此对单服务器而言，系统的性能实质上并无改善。而对于分布式 服务器群组而言，我们可以通过一定的存储策略来提高系统的性能。 由服务器响应率公式( 2 3 ) 可知，媒体文件的播放时间t 越短，响应率凤越高： 因此把媒体文件分块，减小播放时间能够提高服务器的响应率。假设把媒体文件 分成k 块按带状存储到不同服务器上，当一个用户点播这个文件时，播放第f 块后， 马上转到存储第f + 1 个文件块的服务器上进行播放，这样就减轻了存放第i 个块的 服务器响应时的负担，依次循环下去就实现了负载平衡。 2 1 2 分带策略 从2 + 1 _ 1 小节可知，在分布式视频服务器中，可以将媒体文件数据按条带状分 第2 章媒体数据存储技术的研究 布在多个服务器上来提高系统服务能力，并通过数据冗余提高可靠性。那么分布 式服务器就存在两种数据的存储方式：一种是时间分带，另一种是空间分带。 时间分带是以帧( f r a m e ) 为单位将视频流按带状分布到多个服务器上，假定一 个带单元( s t r i p i n g u n i t ) 包含l 帧，视频流以恒定的帧率f 进行播放，服务器的数量 为，那么在，x 工归秒的周期内，将从每个服务器上回取l 帧传送到客户【羽。 但由于视频流中包含各类帧所含数据量不一致，因此会产生各服务器负载不一致 的现象。例如按m p e g 2 压缩的视频流含有i 帧、p 帧和b 帧，i 帧含有较大的数 据量，存储较多i 帧的服务器负载当然较重，因此，时间分带不适合数据节点阵 列，本课题在进行媒体数据存储时没有采用这种方法。 空间分带就是将一个视频流分成固定大小( 字节) 的带单元。因为空间分带所有 的带单元大小相同，简化了服务器存储和缓冲的管理，同时也使得视频流能够独 立于编码格式和帧界限分布到服务器上。对于空间分带，一个固定大小的带单元 可能包含不同数量的帧，带单元的大小相同可以是几十k ，也可以是几百k ，大 小是根据实际的系统环境选择的，过大将影响并行度，阻塞网络，缓冲区要求高； 过小将使读盘过于频繁，增大读盘开销，并且控制信息较多。由于空间分带比较 适合数据节点阵列，因此本文在第4 章媒体数据存储系统的设计时均采用该方法。 这一方法实现较简单，并且带单元大小可调，一般取网络带宽的1 1 0 0 0 。 2 2r a l d 技术的研究 2 2 1r a j d 技术简介 近几年来，c p u 和存储系统性能的改善远远超过了i o 性能的改善。如果这 种趋势继续下去，c p u 和存储系统性能的改善就会因为i o 性能的限制而变得毫 无意义。为了克服这种加危机，r a j d ( 廉价磁盘冗余阵列1 技术应运而生。 r a i d 采用许多小的廉价磁盘来代替一些大容量昂贵的磁盘，以取得更高的性 能( 包括传输率和i o 率) 和更低的功耗。但是对于如此多的磁盘，阵列的可靠 性成为一个严重的问题。r a 采用对数据的奇偶检验编码来提高阵列的可靠性。 r a i d 可以分为以下六级，这里将r a i d n 级简称为r a i d n ( n = l ，2 ，3 ) ： r a i d o ：无冗余磁盘队列，仅支持数据分块。 r a i d 一1 ：镜象磁盘阵列，它采用数据重复存放来提高可靠性。 r a i d - 2 ：汉明编码磁盘阵列。 r a i d 一3 ：数据位交叉奇偶校验磁盘阵列，读操作访问除奇偶校验磁盘以外的 所有磁盘，写操作访问所有磁盘，对每个奇偶校验磁盘每次只有一次i o 请求。 北京工业大学工学硕士学位论文 r a l d 4 ：数据块交叉奇偶校验磁盘阵列，小规模的读操作访问仅一个数据磁 盘，而小规模的写操作访问一个数据盘和一个奇偶校验磁盘。每个奇偶校验磁盘 可以同时处理几个读操作和一个写操作。 r a i d 5 ：数据块交叉分布式奇偶校验的磁盘阵列，它与r a i d 4 不同的是奇 偶校验分布在所有的磁盘中，每个奇偶校验块可以同时处理几个读操作和写操作 吼 奇偶校验信息的放置策略是多种多样的，这里仅考虑满足以下特征的放置策 略： ( 1 ) 属于同一奇偶校验块的分块单元不能映射到同一列。具有这种特性的 r a i d 称为正交r a i d ，它使得在同一列中的出错不至于导致数据的不可用。 ( 2 ) 在每个奇偶校验块有n 个分块单元的r a i d 中，第i 个奇偶校验块单元应 当同分块j 相对应，使得jd i v n = i 。这保证了对于与奇偶校验块有关的任何写请求， 其奇偶校验的计算，可以利用被写入的数据而不需要读取以前的数据。 ；舶 ， 3 4 ；s 6 耩蛰 ； f j 11 2l3】4 晒 6l 了 l 簿 1 畸 1 01 1 主s2 肆 ， - 一 i 舔 j3 轴 尊 靠 了 l ：s 哮 l ( )1 |驴2 i2】31 4 15 ，3 1 】了1 辩 峥 瑙 | 虿l 3护t * | l b9i ，21 0| | 1 2p ji31 4l5 疆q1 6j 71 8 1 9 r a i o + 0f t a l d of a i d 一5 图2 2 校验信息的不同放置策略 f i g l l r e2 2v a r i o u sp l a c e m e n tp o l i c i e so fp a r i t yi n f o r i i l a t i o n 图2 2 列出三种奇偶校验块放置策略，下面分别加以简单介绍。 r a i d - o ：它来源于对数据的n 分块模式，在此提出这种方案仅仅为了进行比 较。 r a i d 一4 ：它是在r a i d 一0 放置策略的每一行后加一个奇偶校验块而得到的。 对于每行具有n 个磁盘的r a - 4 的读性能与每行具有n 一1 个磁盘的r a i d 0 的 读性能相同。r a i d 一4 放置策略的不足之处在于对于小规模的写操作，奇偶校验磁 盘将成为瓶颈，因为每次写操作都要修改每行一个的奇偶校验磁盘；并且每行只 有n - 1 个磁盘可用来进行读操作，因为第n 个磁盘不包含数据。 r a i d 一5 ：它是在奇偶校验块插入后将r a i d 一0 放置的数据分块单元水平地往 后推产生的。对每一个后继的奇偶校验块的插入点是向左旋转一个块而得到的。 第2 章媒体数据存储技术的研究 2 2 2 媒体数据存储中几种放置策略的研究与评价 由于r a j d 技术是针对磁盘i o 性能( 磁盘吞吐能力) 有限而出现的技术，而 v o d 系统中同样存在i o 瓶颈问题，我们可以很自然地把r a i d 技术引入到分布 式媒体数据存储中来。按照r a 【d 技术中的算法来把媒体数据存储到不同的服务 器节点上，每个数据节点( 服务器) 则对应磁盘阵列中的每一列，这样就可以得到多 种数据放置策略。下面本文就几种黜u d 技术中的算法及一些分布式数据存储算 法所对应的放置策略进行一下分析和评价： 不同的数据放置策略要求不同的冗余容错机制，但大体上都是把媒体带单元 按顺序循环放置在各个服务器上，为了使存储平衡，可将放置的开始点设为不同 的服务器，可以用伪随机数取代放置顺序。假设媒体带单元用u o 、u 。、u n 表示，数据节点( 服务器) 用n i 表示，i = 1 ，2 ，3 ，； 2 2 2 1r a d o 算法 ；。一一一一一一一一。j n 1n 2n 3n 4； i 固回圈回i ；回田园田i ；回回固回； 一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一j 图2 3r a j d 0 放置策略图 f i g u i e2 - 3p l a c e m e n ip o l i c yo fr a i d - 0 r a i d - o 算法是u d 一0 中数据块的存储算法。图2 3 是采用r a i d o 算法作为 带单元放置策略的示意图，它把带单元按顺序循环放置在各个数据节点上。 r a j d o 算法的最大优点就是放置方法简单易行，并且在带单元分割上没有时间分 带和空间分带的限制。但是它没有数据的冗余机制：如果一个数据节点出现了故 障，则整个系统将无法正常运行。 2 2 2 2r a i d 一5 算法 为了弥补r a i d 0 的不足，在分布式视频数据存储中可以采用r a d 5 算法。 r a i d 一5 算法是r a i d 一5 中数据块的存储容错算法。图2 4 是采用r a i d 5 算法作 为带单元放置策略的示意图。 北京工业大学工学硕士学位论文 ：一一一一一一一。一一j n 。n 2 n 3n 4 l 田园回国l l 回回圈回l ：l 回图回固l l 图固固回i i 一一一一： 图2 4 r a l d - 5 放置策略 f i g u r e 2 - 4p l a c e m e n tp o l i c yo fr a i d _ 0 其中u i 为数据带单元；p i 为奇偶校验单元，它是同一个条带其它带单元的奇 偶校验和，例如：p 1 = u 3 由u 4 0 u 5 。如果某一个节点有故障，那么该节点上数据的 读取是通过其余正常节点上数据单元与奇偶校验单元异或来完成数据还原的。 r a j d 5 算法具有较好容错机制，并且它把奇偶校验单元放在不同的数据节点上， 这样当读取一个数据文件时，它将自动的轮循每一个数据节点，进而实现负载平 衡，因而本文认为r a m 5 可以在分布式媒体数据存储中广泛的应用。但系统某 节点有故障的时候，系统读数据丌销增加了1 0 0 。由于该算法是通过奇偶校验来 实现容错机制的，因此必须采用空间分带的方法。 2 2 2 3c h a i n e dd e c l u s t e r i n g 算法 c h a i n e dd e c l u s t e r i n g 算法是一种分布式数据存储的算法。该算法的基本思想 是：将每一个带单元的两份拷贝放置到相邻的两个数据节点上，如图2 5 所示。 当一个数据节点出现故障时，与它相邻的两个节点就能够为其提供服 第2 章媒体数据存储技术的研究 ! 一一一一一一一一一一一一1 n ln 2n 3n 4 图2 5c h a i n e dd c c l u s t e 血g 算法放置策略 f i g u r e 2 5p l a c e m e n tp o l i c yo fc h a i n