（计算机科学与技术专业论文）大规模vod及其支撑技术的研究.pdf

国防科学技术大学研究生院学位论文 摘要 僻算和通信技术的进步使得通过网络访问多媒体信息成为可能，v o d 就是 一种典型的网络多媒体信息服务。提供大规模的v o d 服务对服务提供商和用 户都有强烈的吸引力，然而连续媒体对带宽和存储容量的巨大需求阻碍了v o d 的推广和应用。要使v o d 实用化、市场化。提供大规模的v o d 服务，需要解 决系统在可扩展性和经济性方面的一些问题。1 7 针对目前v o d 系统可扩展性，经济性方面的不足，我们对大规模v o d 的 体系结构和支持技术做了专门的研究。从整个系统结构的角度研究v o d 系统 的可扩展性；用共享的观点研究热门节目的存储和通信机制。 f 文中提出一种在容量和带宽两个方面都具有良好的可扩展性的分布式层次 化体系结构做为大规模v o d 服务的基础。大规模v o d 的可扩展性能支持大规 模的用户和存储大量的节日。本文提出了和系统具体结构无关的抽象节点模型， 并在此基础上提出了层次化的v o d 系统设计方法，在系统的代价模型之下的 代价最小化设计原则。层次化的v o d 可以在扩展中综合考虑存储和通信的代 价，使系统的总体成本最小化。 利用v o d 系统的访问局部性，将节日存储在层次化的存储系统存储中( 磁 盘只作为热门节目的c a c 髓使用) 以节省系统的存储费用。文中提出了两种 磁盘c a c h e 替换算法。算法是基于访问频率的，但又结合了访问的时间信息。 算法用周期逐步更新法淘汰过时的信息，并能够对访问概率的变化做出预测， 从而将热门节目和将要变为热门的节目替换到磁盘c a c h e ，提高磁盘c a c h e 的命中率。 每个用户独占条数据流会造成统资源紧张，难以支持大规模的用户。本 文提出了热门节目共享的方法和提供即时v o d 服务的流共享算法。算法使用 部分特殊流和共享流相结合的方法提供即时的v o d 服务，并用忍耐的方法优 化算法。 在广义v o d 概念的基础上，我们提出了通用v o d 的概念和实现框架。利 用以前的研究成果和我们研究的共享服务机制，使通用v o d 系统可以提供从 t r u e v o d 到n e a r - v o d ，甚至是数据广播等各种类型的v o d 服务。通用v o d 要根据用户的需要用不同的服务策略提供相应类型的服务。我们使用基于 a g e n t 的方法简化系统设计，a g e n t 结合用户的服务需求，使用拉技术和推 技术相结合的方法提供v o d 的拉服务。 提供大规模的v o d 服务是个非常难的课题。本文的工作提出服务质量 和资源耗费代价、之间的折衷的方法，对降低v o d 系统费用，提高系统的经济 性有重要的意义。、 。 关键词：大规模信息服务系统、视频点播、磁盘c a c h e 、流共享 第l 页 a b s t r a c t r e c e n ta d v a n c e si nc o m p u t i n ga n dc o m m u n i c a t i o nt e c h n o l o g i e sh a v em a d ei t f e a s i b l et op r o v i d em u l t i m e d i a ( m 岣i n f o r r n a t i o ns e r v i c e st h r o u g hn e t w o r ks u c ha s v i d e o o n 。d e m a n dr v o d ) l a r g e s c a l ep r o v i s i o no fv o d s e r v i c e si sa t t r a c t i v ef o r e n du s e r sa sw e l l a ss e r v i c e p r o v i d e s h o w e v e r , e x c e s s b a n d w i d t ha n d s p a c e r e q u i r e m e n t so f c o n t i n u o u sm e d i a ( c m ) h a v eb e e nas e r i 0 u si m p e d i m e n tt ot h ew i d e u s a g eo fv o ds e r v i c e s ，e s p e c i a l l y i nt h ec o m m e r c i a le n t e r t a i n m e n tm a r k e t t h e p r o b l e m l i e si n 也el a c ko fs c a l a b i l i t ya n de c o n o m i co fe x i s t i n gv o ds y s t e m s ，w h i c h i sw h a to u rw o r k sf o c u so n i nt h i sd i s s e r t a t i o n ，w e p r o p o s e ak i n do fd i s t r i b u t e dh i e r a r c h i c a i s t o r a g e a r c h i t e c t u r ea sab a s eo f p r o m i s i n g s o l u t i o nt oc o s t - e f f e c t i v es e r v i c ep r o v i s i o n i n g t h e a r c h i t e c t u r ei ss e a l a b l eo nb o t hs t o r a g ea n db a n d w i d t h ，b e i n ga b l et os u p p o r tl a r g e s c a l ev o du s e r sa n dp r o g r a m ss t o r i n g n l ea d v a n t a g eo fa d o p t i n gh i e r a r c h i c a l s t o r a g ea r c h i t e c t u r ei si t sa b i l i t yt oa s s i g nt h ea p p r o p r i a t es t o r a g eh i e r a r c h yt oe a c h p r o g r a mb a s e d o ni t sa c c e s s 丘e q u e n c y w ep r o p o s et w od i s kc a c h er e p l a c e m e n t a l g o r i t h m s t op u tt h er e a l l yp o p u l a rp r o g r a m si n t ot h ed i s kc a c h e t h ea l g o r i t h m su s e a c c e s sf r e q u e n c yi n f o r m a t i o na sw e l la st i m ei n f o r m a t i o nw h i c hs u i t i n gl a r g es c a l e v o d e n v i r o n m e n t a l g o r i t h ma d o p t sp e r i o d i cs t e p w i s eu p d a t i n gt or e p l a c eo u t d a t e d i n f o r m a t i o na n dc a n p r e d i c tt h ec h a n g eo f a c c e s sp r o b a b i l i t y , s oh o ta n df o r t h c o m i n g h o tp r o g r a m sw i l lb e r e p l a c e d t od i s kc a c h et oi m p r o v et h eh i tr a t eo fc a c h e i ti sh a r dt os u p p o r t l a r g es c a l eu s e r si fe v e r yu s e rs o l e l yu s e so n e d a t as t r e a m s o w ep r o p o s et h em e t h o d so fs h a r i n gh o tp r o g r a ma n dt h ea l g o r i t h m so fp r o v i d i n g i n s t a n tv o ds e r v i c e o u ra l g o r i t h m sp r o v i d ei n s t a n tv o ds e r v i c e sb yi n t e g r a t i n g p a r t i a ls p e c i a ls t r e a ma n ds h a r i n gs t r e a m w eu s et o l e r a n tm e t h o dt oo p t i m i z eo u r a l g o r i t h m w ea l s op r o p o s et h ec o n c e ：p to f g e n e r a lv o d a n di t sr e a l i z 越o nf r a n l e w o r kb a s e o nt h eb r o a ds e n s ev o dc o n c e d lm a k i n gu s eo ff o r m e rr e s e a r c hr e s u l t sa n do u r s h a r i n gs t r e a m ss e r v i c em e c h a n i s m ，g e n e r a ly o ds y s t e mc a np r o v i d e 甜1k i n d so f v o ds e r v i c e s ，s u c ha st r u e v o d ，n e a r v o da n dd a t ab r o a d c a s t a c c o r d i n gu s e r s r e q u i r e m e n t s ，g e n e r a lv o dm u s tp r o v i d ed i f f e r e n tt y p e s s e r v i c e u s i n g d i f f e r e n t s e r v i c ep o l i c i e s w jc o u l ds i m p l i f yt h es y s t e md e s i g nu s i n gt h em e t h o d sb a s e do n a g e n t t a k ei n t oa c c o u n to fu s e r s s e r v i c er e q u i r e m e n t s 。a g e n tc a n1 5 r o v i d ep u s hv o d s e r v i c e su s i n gt h e t e c h n i q u e so f i n t e g r a t i n gp u s ha n dp u l l i ti sav e r yd i f f i c u l tt a s kt o p r o v i d el a r g e s c a l ev o ds e r v i c e s w ep r o v i d ea m e t h o dw h i c ht a k eo f fb e t w e e ns e r v i c eq u a l i t ya n dr e s o u r c ec o s t o u rw o r kw i l l b e n e f i ti nt h ed i g r e s s i o no f s y s t e m sc o s ta n di m p r o v e m e n to fs y s t e m se c o n o m i c s k e yw o r d s ：l a r g e 。s c a l ei n f o r m a t i o ns y s t e m ，v o d ，d i s k c a c h e ，s t r e a n ) | 一s h a r i n g 第1 i 页 ：墼些墼塑塑堕塑箜鍪垒一 第一章绪论 随着社会的发展，我们已经步入信息时代。获取信息的途径越来越集中在 一个通用的平台i n t e m e t 上了。i n t e r n e t 还在飞速地发展着，正进入我们每 一个人的生活，“网络时代”也许是我们这个时代最生动的表述。通过网络提供 信息服务是我们时代的特征和要求。 计算机技术的发展使得我们对信息的搜集、处理、储存、传播和使用的能 力得到极大的提高，信息的表示已经从单一媒体发展到多种媒体的综合。多媒 体信息服务已经成为计算机应用中一个具有强烈吸引力的领域。分布式多媒体 是多媒体和网络技术的结合，是提供信息服务的最好的技术手段。v o d 是分布 式多媒体领域的一类重要的应用，是2 l 世纪的信息服务技术。 。 1 1v o d 的应用背景和技术背景 1 1 1 多媒体与多媒体应用 v o d ( v i d e o o n d e m a n d ) 是多媒体应用中的典型范例，它和多媒体一样吸 引了众多厂商，媒体和公众的广泛关注。也许就是这个原因使得这两个名词的 使用非常混乱。由于现在没有多媒体和v o d 严格的定义，我们要对本文使用 的术语做个简要的说明。 多媒体从字面理解就是是多种媒体的组合体。这里的媒体指的是信息的表 现形式，如文本、声音、图形、图象、音频和视频等。但通常理解的多媒体要 包括两种或两种以上的连续媒体。连续媒体是具有时间约束性的媒体，般指 音频和视频，但动面也是连续媒体f i 2 j 。不包括连续媒体的组合，如文本加图象 的组合就不叫多媒体了。 多媒体的魅力在于它丰富了信息的表现方式，能提高人和机器或人和人之 间的信息交流效率。因为人有多种感觉器官，人的感知能力是由多种感官综合 效果决定的( 即所谓的感觉相乘效应) 。这方面在教育学上得到了充分的重视。 有研究表明我们能掌握阅读内容的l o ，听到内容的1 5 ，亲身经历内容的 8 0 i ”。多媒体能够利用多种表现形式，营造种虚拟的信息空间 ( c y b e r d a p c e ) ，改善人民的娱乐、学习和日常生活。它的出现受到了热烈 的欢迎，得到迅速地普及和发展。 多媒体应用在初期主要是在单机上。得益于媒体压缩技术的成熟和c d r o m 的普及，还有微机性能的提高和价格的快速下降。主要有视频游戏，教育娱乐 第1 贯 ： ：皇墼塑婆墼塑鎏些塑堡一 材料等。以光盘为载体的音乐和电影等普及得非常快，其中v c d 成为我国一大 家电类支柱产业。 通信，网络技术的发展使人们看到了提供低价格传送带宽的可能，自然期 望将多媒体应用从单机系统转移到网络系统上，这无疑会大大拓宽多媒体的应 用范围。在本文中网络上的多媒体和分布式多媒体是同一个意思，下面列举几 种分布式多媒体最典型的应用： 远程学习，学生不用集中在同个地点，在一个班上课。将课堂上老师的 授课内容和过程录象通过网络传输到各地，大大扩展了教育范围。学习的 内容存储起来，学习的时间也不必统一。学生可以选择他喜欢的内容，他 方便的时间和适合他的学习进度。 即时( j u s t i n t i m e ) 培训，也是教育的一种形式。网络多媒体的应用会大 大提高培训的效率。培训内容的更换，员工接受培训在时间和地点上的自 由度是即时培训的含义。 数字化图书馆，将图书馆的图书资料以数字媒体的形式存储起来实现远程 访问，会大大提高图书馆的服务范围和图书的利用率。如i b m 有个v a t i c a n l i b r a r yp r o j e c t 计划将罗马v a t i c a n 图书馆的1 5 万本手册( 包括一些早期的 珍本，如a r i s t o t l e ，d a n t e ，e u c l i d ，h o m e r , a n dv i 魄i i ) 作成数字拷贝，向全世 界的学者开放。这是非常有意义的事情，现在每年只有大约2 0 0 0 学者能够 亲自到罗马查阅v a t i c a n 图书馆的资料。 影视点播，这是类比影像出租业的服务。用户不用跑到出租店，而是在家 中通过网络“租用”节目，在电视机上播放。电视机要通过机顶盒和通信 网络相连，节目存放在网络上的服务器中。和租用录象带在家中观看一样， 人们也期待这种服务可以提供快进，快退，慢放和倒带等功能，就是所谓 达到v c r 控制。而所有的操作都是通过遥控器完成的。当然这里的“录象 带”的内容也可以是卡拉o k ，新闻等内容( 这是影像出租店无法做到的) 。 类似地，这种服务和特殊的电视服务( p a yp e rv i e w ) 相似，所以又叫“视 频点播”( 这正是引起混乱的地方，见下文) ，指人们可以选择视频，用户 具有控制权而不是被动地接受。这种服务又有一个别名“交互式电视”。 虚拟现实，通过声音和视觉效果为用户提供一个非常逼真的图景，同时允 许用户和虚拟世界交互作用。由于视觉效果基本上是现场计算机产生的， 这种强交互性要求及时响应和强大的计算能力。有一种全景视频技术实现 的虚拟现实并不局限于计算机产生的图象，也利用数字照片或视频进行合 成，这种方法减少对计算能力的需求，增加了对存储的要求。 家庭购物和其他家庭信息服务，一旦用户在家中将他的电视和网络相连接， 就可以接受其他交互式家庭服务。最简单的联想就是购物，当然用户也可 以查询其他信息，安排他的假日生活。 网络游戏，上述结构也可以提供网络游戏。用户下载游戏自娱自乐没有什 么新奇的地方。网络提供的方便是多个用户可以一起玩，个人之间对抗或 第2 页 ：一星墼笪堑垄墼墼塑塑坚：一 玩小组游戏。网络游戏对网络的延时要求较高。 1 1 2 广义的v o d 和它的分类 在中文文献中v o d ( v i d e o - o n - d e m 吼d ) 一般按字面意思翻译为“视频点 播”，但这并没有完整地表达出v o d 的含义，容易引起误解。为了准确地介绍 本文的工作，有必要先对v o d 的概念做一些说明。 v o d 有两种理解：狭义上的v o d 视频点播就是“电影点播”或“交互式 电视”。正如前面所列举的分布式多媒体应用中的第一类应用。这类应用是旧有 的应用的扩展和延续，很容易理解，容易得到传媒和大众的接受，所以这种含 义广泛流传。但这在学术界却不能被完全接受，我国学者对v o d 的中文译名 “视频点播”就颇为不满【1 。 在广义上我们将v i d e o o n d e m a n d 等同于m u l t i m e d i a - o n d e m a n d 使用，实 际上v o d ( v i d e o 。0 1 1 d e m a n d ) 中的v i d e o 是一个代表，它代表的是多媒体数 据，而不只是字面上的“视频”的意思，准确地讲，v o d 应该叫m o d ( m u l t i m e d i a - o n d e m a n d ) 才合适。多媒体中最重要的成分是连续媒体，连续 媒体通常指的是视频( v i d e o ) 和音频( a u d i o ) 。视频数据量比音频数据量大一个 数量级，所需的资源最多，所以用视频做多媒体的代表也是合适的。国外的一 些文献 5 就是将v o d 等同于m o d ( m u l t i m e d i a - o n - d e m a n d ) 使用的。我们的 研究是面向广义的v o d 的，但鉴于t h ee l e c t r o n i cv i d e os t o r ep a r a d i g m 概念的优 越性，以及免于无谓的术语之争，我们在本文不定义新的概念，而是借用了狭 义的v o d 中的一些术语，如p r o g r a m ，v i d e os e r v e r 等，只在此声明我们的研究 并不局限于狭义的v o d 。论文中的内容有的是面向狭义的v o d ，有的是面向 广义的v o d ，如“节目”在本文中可以是多媒体课件，培训录象，购物节目和 新闻等，并不局限于“电影”，请读者根据上下文理解。 广义的v 0 d 虽然等同于“m u l t i m e d i a o n d e m a n d ”，但m o d ( m u l t i m e d i a - o n d e m a n d ) 不容易区分m o d ( m o v i e o n d e m a n d ) ，所以我们在论文中仍然使用 v o d 来代替m o d 。 这样v o d 就不仅仅指i t v ( 交互式电视) 和m o d ( 电影点播) 了，前面 所列举的家庭信息服务( 新闻、卡拉o k ) 、电视购物、远程学习、及时培训和 数字化图书馆等都可以列入v 0 d 的应用范畴。d a v iw b m b e c k 【。】将v o d 系统 分为两类：企业v o d ( e n t e r p r i s ev o d ) 和交互式电视( i t vv o d ) 。前者是指 内容多用户少的应用，如数字化图书馆( d l ) ；后者是指用户相对密集的应用， 如交互式电视。我们认为这是两个极端的例子，在它们的中间还有许多其他类 型，这些应用组成一个完整的谱系才能准确概括v o d 应用的含义，但i t v 和 d l 是两个最典型的应用示例。 v o d 是指一种多媒体网络服务，它使用户能够在任何时间通过网络从服务 器中访问到任何多媒体数据内容。这里可以看出v o d 应用有三个特点：一是 第3 页 国防科学技术大学研究生院学位论文 它提供的内容是用多媒体数据表示的；二是它采用c l i e n t s e r v e r 结构，多媒体数 据来自于网络上的服务器；三是用户可以访问服务器中的数据，可以对数据流 加以控制，但是用户不允许修改或更改文件内容，即文件是只读的。由于用户 只对服务器发控制命令不回写文件内容，而服务器向客户端发送的是数量巨大 的视频文件数据，所以这是一种非对称通信模式，这是v o d 的一个比较特殊 的地方。这里的“按需服务”的含义是用户可以选择信息服务的内容和时间， 对数据流有一定的控制权。 v o d 的多媒体信息服务使它区别于其他的客户服务器( c l i e n t s e r v e r ) 应 用。v o d 是非对称通信模式，区别于电视会议等对称通信模式。v o 的信息 服务基本上提供的是存储信息，一些现场的和生成 d ( l i v e ) ( o nt h ef l y ) 的信息服务似乎被排斥在v o d 之外。但有时候界限会变得越来越模糊。如现 场新闻发布的信息不是存储信息，但网络上的新闻发布或直播节目在播放的同 时进行实时压缩，存储到服务器供用户“异步”使用，又可以纳入v o d 范畴 了。如虚拟现实的信息是计算机生成的，但新的实现方法如全景视频方法的虚 拟现实的视觉效果是利用存储的数据拼接后产生的，这和v o d 又靠得越来越 近了。 在本文中广义的v o d 是客户，服务器模式下的多媒体信息服务的应用。我 们将应用范围界定为非对称的多媒体通信模式，即连续媒体数据流的流向是单 向的，从服务器到客户端，当然控制信息是双向的，是交互式的应用。在这个 范围之下我们将这一类分布式多媒体应用分成三个小类：一是同步的多媒体广 播服务，服务器向所有和它建立连接的客户按连续媒体数据流的方式广播数据， 客户端接受数据进行播放( 如网上直播节目) ，用户没有选择内容和时间的自由。 二是异步的下载一播放应用，多媒体数据从服务器下载到客户端设备再播放。 用户在数据下载后有充分的自由( 如w w w 超媒体文档浏览服务) ，但下载整 个节目在现有的网络条件下延时太长，限制了用户在时间上的自由度。三是交 互式应用。客户端请求数据，服务器将数据按连续媒体特点周期性地发送给客 户端播放。这是一般意义上的v o d 应用，下面还要讨论这类应用的详细分类。 i i 3v o d 服务系统的结构、技术和特点 v o d 系统由三部分组成( 如图1 1 所示) ：服务器，客户端和将它们连接起 来的通信网络。在v o d 中，用户通过客户端设备点播。用户在服务器上选择 一个视频文件( 如电影，广告，一段新闻等) ，服务器将视频文件数据通过网络 传送到用户端设备上。数据一般是压缩过的，用户端设备解压数据并将它播放 出来。数据播放过程中，用户可以对数据进行交互式控制如快进、慢放、倒放、 定位和暂停，恢复等f i m 。 第4 页 一一= 塑璧塾垄型堂堂蹩圣：一 v o d 是综合性的应用，涉及到很多技术，下面简要介绍一些主要的技术b i 2 i ： 数据压缩和解压技术：应用最为广泛的是m p e g l 、m p e g 2 标准。压缩分 为实时压缩和离线压缩两种，解压从硬解压向软解压转变。 视频服务器：负责存储多媒体数据和发送连续的数据流。和一般的服务器 不同，视频服务器存储的数据容量大，要求的吞吐率高，更重要的是服务 器要保持数据流的连续性，这涉及到服务器数据的存放分布、访问的调度 等。视频服务器要求高性能i o 和视频文件系统的支持。 通信网络：可以利用现有的网络实现v o d 数据的传输。计算机网络最适合 交互式应用，但现在使用的网络带宽较窄，a t m 技术先进但价格昂贵。a d s l 技术可以利用现有的电话线( 双扭线) 做为v o d 的通信网络。c a b l e m o d e m 可以使有线电视网用在v o d 系统中。 客户端设备有多种，如机顶盒( s e t - t o p b o x ) 加电视，多媒体计算机或工 作站等。客户端设备要完成数据流的接收、解压和播放任务。在特殊的应 用情况下，还要有多流接收和缓存功能。 v o d 应用包括的范围非常广泛，它们在以下方面的性质有所不同，这些性 质在系统设计中非常重要1 1 0 ”。 1 用户的d e m a n d 特性。包括三个方面：请求达到的过程，每次达到的规模 ( 即每次请求的视频文件个数) 和用户占线时间h o l dt i m e 。用户达到过 程在大规模视频点播( l s v o d ) 中近似地用p o i s s o n 过程表示。用户“占 线”时间即使用视频流的时间是随机变化的，但对某些特定的应用如 m o v i e o n d e m a n d 占线时间就比较确定，它的请求规模一般为每次一个 文件。 2 视频文件特性：包括带宽、数据量、文件数目和文件流行度。在m o d 中文 件数目多，文件尺寸大，文件要求连续的带宽，这对系统的资源需求提出了 挑战。在v o d 中，视频文件的访问概率很不均匀，表现出极强的局部性。 第，页 ：= ：坠些型鎏丝些墅塑坚：一 一般用z i f f 法则和几何分布来表示视频文件的访问概率分布。这种访问局 部性对系统设计非常重要，本文在后续章节将用到a 3 用户交互特性：包括交互类型，交互的频率和交互的局部性在m o d 中， 主要区分用户有无v c r ( 暂停、快进、快退等) 要求。 4 性能要求：包括启动延迟、可交互性( 响应时间、交互粒度) 、流的服务能 力、低阻塞率及其他( 如图象质量、调度的公平性) 。启动延迟和交互延迟 不一样，启动延迟根据用户“占线”时间会有所变化，可能比较长。而交互 延迟指系统对用户的交互式命令的响应时间，它要求不能过长。比较之下， 启动延迟有较大的回旋余地，可以和系统资源的利用做一定的折衷。在m o d 中系统的性能体现在流的服务能力和存储能力两个方面。即可以同时支持 的用户数目和系统存储的节目数目。 1 1 4 大规模v o d 的可扩展性和经济性 v o d 提供的是多媒体数据，其中的连续媒体数据是由一系列的等时数据单 元( 视频f r a m e 音频s a m p l e ) 组成。连续媒体数据的等时性是p 最大的特 点，这也使得连续媒体数据对带宽和存储容量的要求非常高。这些特i 使v o d 系统的资源需求矛盾非常突出。 v o d 的规模并没有严格的规定。文献 6 对视频服务器的规模做了如表1 1 所示的分类。表中的客户数目和流的数目相同，访问延时比较小，是标准的 t r u e v o d ，访问的数据流的传输率为5 m b p s 的m p e g 的压缩流。这种划分 没有考虑存储容量问题并规定用户数和数据流数目一样多，这种方法是有局限 性的，对大规模v o d 系统来说不是好的解决方案( 本文后面对此有详细的论 述) 。 表1 1 视频服务器的分类 规模客户数目并发流数目访问延时吞吐率 小规模 2 52 5 约1 秒1 5 5 m b p s ( o c - 3 ) 中规模 1 0 01 0 0 约1 秒6 2 2 m b p s ( o c - 1 2 ) _ 中大规模 1 0 0 01 0 0 0 约1 秒5 g b p s 大规模 1 0 0 0 01 0 0 0 0 约1 秒5 0 0 b p s 我们所说的大规模v 0 d v l s v o d ( v e r y - l a r g e s c a l ev i d e o o n - d e m a n d ) 是指具有相当大的规模( n a t i o n a lw i d e 川) 的v o d 系统，大规模在这里有三方 面的含义，是指网络覆盖的面积广大，至少是城域网( m a n ) ，或覆盖全国 的广域网( w a n ) 甚至是全球的i n t e m e t ；二是指提供的节目( 即信息资料) 比较多，般认为系统的存储系统包含上千小时以上的连续媒体数据。三是指 系统服务的用户数量巨大，这不但和网络的覆盖范围有关，而且和用户的聚集 纂鹰页 国防科学技术大学研究生院学位论文 度有关，上表中对用户数的约定就是1 0 0 0 0 个。 在本文，我们不具体限制v l s v o d 系统的规模，而是强调系统的可扩充性。 大规模的v o d 系统具有i n t e m e t 一样的可扩充性，它的规模可以从一个城市到 全球范围，这就是大规模的含义，它和可扩展的v o d 系统等同使用。 大规模的系统容易实现资源共享和优化，无疑具有巨大的吸引力，无论对 用户还是对服务提供商来说。但是这种服务具有很大的挑战性。其主要原因是 多媒体信息包含有音频和视频这样的连续媒体。连续媒体具有三大特点：连续 性或实时性，储存需要巨大的空间，传输需要巨大的带宽。如何用经济的手段 为用户提供有效的多媒体信息服务，是研究者面临的十分有价值，但又十分困 难的问题。 可扩展的v o d 可以“成长”为大规模的v o d ，系统的成长性也和系统的 经济性密切相关。成长经济学表明，当一个系统发展到个临界点后，成长为 其本身的延续铺平了道路。如i n t e r n e t 的发展正是这样，当它的发展超越了 一个临界点后，使用它的能力不再是一种选择而是一种必须p l 。成长对经济产 生了巨大的冲击。由此我们可以推断，v o d 的可扩展性是解决v o d 经济性的 关键因素之一。 可扩展性( s c a l a b i l i t y ) 在不同的场合有不同的解释。在大规模v o d 中，可扩 展性包括系统的可扩展性和服务的可扩展性。系统的可扩展性主要指增加用户 和资源而不明显降低系统的性能或增加系统酌管理复杂度。如，随v o d 系统 范围的扩大，用户响应时间会增加，如何使这种性能的下降减少到不被察觉的 地步，就是可扩展性要解决的问题。服务的可扩展性指系统能处理大量的突发 性的用户，而不要增加多少资源。 大规模v o d 的主要挑战是它的可扩展性和经济性，也就是能够以足够的资 源提供足够的性能为大规模的用户服务而且系统的造价和运行费用低廉。可扩 展性包括资源的可扩展性和服务的可扩展性。如果系统的资源不增加的情况下 系统能在峰值时为用户提供保证一定服务质量的服务，系统就不需要为用户提 供最坏情况下的资源预留，这样的系统也是经济的系统，所以服务可扩展性等 同于系统的经济性。 在本文中，可扩展的v o d 系统包含了大规模v o d 和系统的经济性两方面 的意思。 1 2 v o d 研究现状和问题 1 2 1 大规模v o d 要解决的问题 v o d 系统和般的c l i e n t s e r v e r 系统有所不同，设计v o d 系统要解 第7 页 国防科学技术大学研究生院学位论文 决以下几个问题： 1 连续媒体的实时特性要求数据访问和数据传输要有q o s 服务质量保证。 先前对v o d 的研究主要集中在这一方面。服务质量保证是通过允许控制和资 源预留来实现的。简单地说，就是为一个用户服务的数据流必须是连续的，不 能断流，系统是通过为用户服务进程预留系统资源来保证的。允许控制则是保 证新加入的用户不影响先前系统已经接纳用户的服务质量。 问题的复杂性在于这种服务质量保证和资源预留要涉及到数据流的全部路 径：从服务器到网络到客户端，所有的服务部件都要有资源预留策略，实现服 务质量保证。大规模v o d 有成千上万条并发的数据流，允许控制变得相当复 杂。在视频服务器一方，数据在磁盘的分布存放和数据访问的调度设计上要保 证资源预留的有效性。网络和操作系统要支持实时操作等。 2 大规模v o d 要求大容量的存储系统，应在t e r a p e r a 数量级。存储系统 的结构、组织和管理是要解决的一个重要问题。 3 系统支持成千上万个独立的用户，如何提供足够的带宽资源，如何经济 地提供服务，是一个具有挑战性的问题。 4 系统的可扩展性和经济性。根据问题2 、3 ，系统要提供足够的带宽和存 储容量资源，系统能够根据需要扩展其资源，而且这种扩展要维护系统的经济 性，要在用户能够支付的范围内进行。 1 2 2 研究和产品已解决的问题 以前的研究大都着重于系统对连续媒体的实时性的支持，利用现有的技术支 持连续媒体的存储、访问、传输和回放。研究的目标基本上是t u r e v o d ，即 为每一个用户提供一条可交互的视频流【l 一1 。这种方式实现简单，用户的灵活性 也大，但会造成系统资源的巨大浪费，实现的系统造价太高。目前没有成功运 营的商用v o d 系统即和这种实现方法有关。 已有的v o d 系统基本上是基于磁盘的t r u e v o d 系统，系统的规模在几 百条流以内。下面列举几个典型的商业系统。 1 c o n c u r r e n t 公司的m e d i a h a w kv i d e os e r v e r ，该系统是模块化设计，由 交互式视频模块( i v m ) 构成，每个c p uc h a s s i s ( 4o r8 m ) 支持2 0 0 条 3 m b p s 的m p e g 2 数据流。单个机柜的系统就可以扩展到1 0 0 0 条数据流。 2 微软的分布式容错实时文件服务器t i g e rv i d e of i l e s e r v e r ，该系统是用高速 网络将多台带有相同类型和配置的磁盘的计算机连接起来构成的。数据分 布在所有的计算机和磁盘上，用轮转的方式( r o u n d r o b i n ) 读取数据。有台 服务器作为系统主控时钟，做系统的记录，并和客户交互作用。系统采用 镜象数据的方式提高可靠性。 。 3 o r a c l e 和c u b e 公司。n c u b e 是基于超立方体结构的大规模并行处理机，可 第8 页 以扩展到上千个磁盘上，具有t b 级的存储容量。视频服务器采用模块化设 计，由模块m e d i a h u b 组成，每个m e d i a h u b 可以支持1 7 2 条3 m b p s 的 m p e g 2 数据流。理论上服务器能支持4 4 0 0 0 条数据流，但通过实验测试的 只有5 0 0 0 条数据流。每个处理节点由内存、i o 通道、网络通道组成。o r a c l e 媒体服务器建立在n c u b e 平台之上，可以为大量的并发用户服务。它使用 一种非连接的客户服务器通信协议，依靠应答、重传和超时机制实现数据 传送的可靠性。 4 i b m 的t i g e r s h a r k v i d e os e r v e r ，系统由一个创作系统，一个能支持几百个 并发用户的视频流单元和机顶盒组成。系统中，用户的控制信号是通过x 2 5 协议发送的，视频文件则通过高速d s 。1 线传递。为提高系统的吞吐率，服 务器使用较大的磁盘块( 2 6 5 k ) 并分布在多个磁盘上。这些服务器在b e l l a t l a n t i c h kt e l e c o m ，c o xc a b l ea n dj a p a n 的现场实验中得到应用。 1 2 3 研究的不足存在的问题 先前对v o d 的研究大都集中在t r u e v o d 上，即系统为每一个用户都提 供一条独立的视频流。研究取得了一定的成果，并实现了一些实验系统和原型。 但v o d 还是没有走向实用化，依然是期望中的市场。这和只针对t u r e v o d ， 为每一个用户分配一条独立的数据流的实现方法有关。这种方法虽然最简单， 但是也最昂贵。v o d 系统对带宽的要求是荡i 人的，使得v o d 系统造价高昂得 我们支付不起。 c a t v 公司调查发现。v o d 服务是很受欢迎的，有4 4 的用户愿意为这种 服务付费，但只有1 4 的用户愿意付比现有的c a t v 服务更多的费用。这样v o d 的资费问题就显得很严重了。值得注意的是，被调查者中有三分之二的人拥有 个人计算机，他们很清楚v o d 服务和现有的服务之间的差别。服务提供者对 v o d 的获利情况也心存疑虑。统计数据显示c a t v 业务中每个月只有8 1 0 个 节目是用户所喜欢的热门电影。节目出租公司的统计数据也显示其9 7 的收入 来源于2 0 2 5 部的热门节目1 7 。但是，v o d 业务不可避免地要提供上千个节目 的推送服务。这种需要巨大投资的服务能否带来经济效益，服务提供商对此多 有争论。所以就目前的市场情况来看，c a t v 行业中，t 烈j e v o d 很难找到合 适的利润空间。 再看电话公司。t r u e v o d 每一个用户占用一条独立的数据流和现有的电 话公司的全交换业务也有一定的相似之处。电话公司没有提供v o d 服务的主 要原因是v o d 和原有的话音服务所需资源是不可同日而语的。除了视频比音 频需要更高的带宽外，v o d 长时服务也给系统资源提出了更高的要求。电话网 是以3 分钟为基数设计的，v o d 的服务则是8 0 一1 8 0 分钟。根据e r l a n g 效应， 较长的“占线”时间会影响系统的集中率1 9 1 ( c r ：c o n c e n 删i o nr a t i o 即系统支 持的用户数和系统提供的流数之比) 。数字音频的集中率可以高达1 6 ：1 ，而v o d 业务的集中率只有4 ：1 。这就意味着为同样数目的用户开展v o d 业务，电话 第9 页 ：= ：墼塑塑鳖墅墼垒篓塑二：一 公司的交换机要扩容4 倍! 这样巨大的投资也是v o d 难以在电话公司中开展 的一个重要的原因。 以前研究的目标t r u e v o d 对资源的苛刻要求是一个方面，另一方面，计 算机技术发展不平衡，造成所谓的“i o 瓶颈”，使得v o d 系统所需的高带宽 很难在低价格平台上满足。下面分析计算机系统的i o 瓶颈问题。 1 存储i o 瓶颈 存储技术如磁盘技术因为涉及机械操作，它和处理机与内存之间的速度有 很大的差距，而且由于发展速度的不平衡，这种差距还在加大，加剧了存储i o 的瓶颈问题。存储技术内部发展也不平衡：虽然存储密度加大，存储容量上升 很快，但存储器的速度上升较慢。原有操作系统对视频支持不力，使得v o d 应用中i o 效率低下，i o 瓶颈问题更加突出。 2 网络i o 瓶颈 网络接口卡( n i c ) 受制于外部网络环境，外部巨大的网络由上百万的部件 组成，改变起来非常困难。计算机内部总线发展很快，两者之间的差距越来越 大。总线扩展能力有限，n i c 数量不可能太多。c r o s s b a r 互连网类型的高端 服务器可扩展性好，可以容纳很多n i c ，但价格昂贵。虽然新的网络技术发展 很快，但价格昂贵，如a t m 、h i p p i 到桌面都还有很长的路要在，短期内提供 廉价的高带宽还不现实。还有一个现实问题是公司不可能象更换计算机系统那 样频繁地更换网络系统。 一方面对资源的巨量需求，另一方面系统资源供应不足。两方面的原因造 成现有的v o d 系统规模小，造价高，可扩展性不好。 以前对v o d 可扩展性的研究有一个重要的方向是图象质量的可扩展性：采 用层次化的编码方法，根据需要访问不同层次的编码数据f l ”。这样的方法利用 存储空间来提高网络传输和服务的可扩展性。因为涉及到特殊的编码方案，在 本文中没有讨论这种方法。 以前对v o d 系统部件的可扩展性，对视频服务器的可扩展性研究较多 9 1 ， 但对系统的可扩展性研究不够。这种系统的可扩展性总是受到系统其他部件的 限制，不是真正的可扩展的v o d 系统。如单服务器模式v o d