（通信与信息系统专业论文）视频点播服务器技术的研究与应用实现.pdf

摘要 视频点播服务器技术的研究与应用实现 摘要 随着人们对交互式多媒体娱乐的需求的迅猛增长，借助视频点播 技术的不断发展，视频点播业务逐渐普及。巨大的市场潜力和应用 空间推动网络运营商加入到提供视频点播服务的行列中。视频点播 成为信息时代中娱乐与信息传播的重要工具将是大势所趋。 在一个视频点播系统中，视频点播服务器的功能决定了系统可以 提供何种质量的服务，它的性能决定了整个系统的性能。视频点播 服务器技术涵盖了数据压缩、宽带网络、操作系统以及数据库管理 等多个方面。本文的内容以视频点播服务器技术的研究为基础，以 视频点播服务器的设计与实现为重点，并始终以提高系统的用户容 量、减小用户的等待延时、降低系统的成本为主要目标。 拥有单一视频点播服务器的视频点播系统虽然性能有限，但便于 控制管理，易于实现，可以作为设计视频点播服务器的原型。单一 视频点播服务器集中体现了流式传输的原理。设计中所涉及到的关 键技术，包括数据存储策略、硬盘调度策略、视频流轮换策略、接 纳控制策略、缓存管理策略以及v c r 控制等，是任何视频点播服务 器的设计中必须考虑的基本问题。本文对这些技术所使用的各种算 摘要 法作了简要的分析，比较了各自的优劣。针对这些技术，本文提出 了自己的设计方法，在不同的层面上逐一优化，确保层面之间的兼 容性，并充分考虑用户容量与等待延时两个性能指标的平衡。其后 给出的实现方案以模块化的方式呈现，以伪码的方式描述，在实践 中被证明能够达到预期的性能。 分布式视频点播系统将执行不同功能的视频点播服务器分布到 网络中的不同节点，它们协同工作，共同支持大量的并发视频流。 其性能上比起单一视频点播服务器的系统有很大提升，并具有良好 的可扩展性。由于网络结构与存储结构的变化，分布式视频点播系 统中服务器的设计涉及到一些特有的关键技术，包括存储分配策略、 存储重分配策略、服务器选择策略以及缓存策略等。这些任务都需 要中央服务器与本地服务器共同完成。本文对这些技术所使用的各 种算法进行了分析和比较。针对这些技术，再加上实现流式传输所 必需的技术，本文提出了自己的设计方法，同时充分考虑了网络传 输成本与本地存储成本之间的平衡以及系统的负载均衡。其后给出 的实现方案包含中央服务器的实现与本地服务器的实现，以模块化 的方式呈现，并强调了两者之间的密切联系。 关键词：视频点播，服务器，分布式，存储，调度，缓存 摘要 s t u d ya n di m p l e m e n t a l t i o no f v i d e o 。o n d e i a n ds e r v e rt e c h n o l o g i e s a b s t r a c t 慨t h ef a s ti n c r e a s eo ft h ed e m a n d sf o ri n t e r a c t i v em u l t i m e d i a e n t e r t a i n m e n t ，a n dt h ec o n t i n u o u sd e v e l o p m e n to fv o dt e c h n o l o g i e s ， v i d e o o n - d e m a n db e c o m e sm o r ea n dm o r ep o p u l a r n el a r g em a r k e t p o t e n t i a la n db r o a da p p l i c a t i o n so fv o dp r o m o t en e t w o r ks e r v i c e c o m p a n i e st op r o v i d ev o ds e r v i c e s i t l lb ea l li n e v i t a b l et e n d e n c yt h a t v o db e c o m e so n eo ft h em o s ti m p o r t a n tt o o l so fe n t e r t a i n m e n ta n d i n f o r m a t i o nc i r c u l a t i o ni nt h ec o m i n gi n f oa g e i nav o d s y s t e m ，t h ef u n c t i o n so fv o d s e r v e r sd e c i d ew h a tq u a l i t y o fs e r v i c et h es y s t e mm a yp r o v i d e ，a n dt h ep e r f o r m a n c eo f v o ds e r v e r s d e c i d e sw h a tt h ep e r f o r m a n c eo ft h ew h o l es y s t e mw i l lb e v o ds e r v e r t e c h n o l o g i e sc o v e rm a n ya s p e c t s ，s u c ha sd a t ac o m p r e s s i o n ，b r o a d b a n d n e t w o r k s ，o p e r a t m gs y s t e ma n dd a t a b a s em a n a g e m e n t ，e r e t h i st h e s i si s b a s e do i lt h es t u d yo fv o ds e r v e rt e c h n o l o g i e s ，a n df o c u s e so nt h e d e s i g na n di m p l e m e n t a t i o no fv o ds e r v e r s ，w i t ht h eo b j e c t i v eo f a c h i e v i n gh i 曲u s e rc a p a c i t y , s h o r tw a i t i n gt i m ea n d l o wc o s t av o d s y s t e mw i t ho n l yo n ev o d s e r v e rd o e sn o th a v eag o o d e n o u g hp e r f o r m a n c e ，b u ti t se a s yt oc o n t r o la n dm a n a g e t h i sk i n do f v o ds e r v e r , s o c a l l e dc e n t r a l i z e dv o ds e r v e r , i sr e l a t i v e l y e a s yt o i m p l e m e n t , s ot h a tw ec a nr e g a r di ta sap r o t o t y p ew h e nd e s i g n i n g c o m p l e xv o d s e r v e r s t h ep r i n c i p l e so fac e n t r a l i z e dv o d $ e i w e rs h o w h o wt oi m p l e m e n ts t r e a m i n g 1 1 1 ek e yt e c h n i q u e si t sd e s i g ni n v o l v e s ， i n c l u d i n gd a t as t o r a g e ，d i s ks c h e d u l i n g , s t r e a ma l t e r n a t i n g ，a d m i s s i o n c o n t r o l ，c a c h em a n a g e m e n ta n dv c rc o n t r o l ，e t c ，a r et h e e s s e n t i a l i s s u e s i nt h ed e s i g no fa l lk i n d so fv o ds e r v e r s m st h e s i sb r i e f l y a n a l y s e s a n dc o m p a r e st h ea l g o r i t h m su s e di nt h o s et e c h n i q u e s 。i t p r o p o s e si t sd e s i g no fac e n t r a l i z e dv o d s e r v e rw i t ho p t i m i z a t i o ni n d i f f e r e n tl a y e r sa n dt a k e si n t oa c c o u n tt h eb a l a n c eb e t w e e nu s e rc a p a c i t y a n dw a i t i n gt i m e t h ei m p l e m e n t a t i o ns o l u t i o ni tp r e s e n t si sd e s c r i b e d t h r o u g hp s e u d o c o d e si nd i f f e r e n tm o d u l e s i tw a sp r o v e dt ob ea b l et o a c h i e v ea l le x p e c t e dp e r f o r m a n c ei np r a c t i c e ad i s t r i b u t e dv o ds y s t e m p u t s v o ds e r v e r sw i t hd i f f e r e n t f u n c t i o n si n d i f f e r e n tp l a c e si nt h en e t w o r k t h e s ev o ds e r v e r s c o l l a b o r a t et os u p p o r tal a r g eq u a n t i t yo fc o n c u r r e n ts t r e a m s d i s t r i b u t e d v o ds y s t e m sh a v em u c hb e t t e rp e r f o r m a n c ea n dg o o de x t e n d i b i l i t y d u et ot h ec h a n g e si nn e t w o r ka r c h i t e c t u r ea n ds t o r a g ea r c h i t e c t u r e ，i t s d e s i g ni n v o l v e ss p e c i f i ck e yt e c h n i q u e s ，i n c l u d i n gs t o r a g ea l l o c a t i o n ， s t o r a g er e a l l o c a t i o n , s e r v e rs e l e c t i o na n dc a c h i n g ，e t c ，w h i c hf i l ec a r r i e d o u tb yb o t hc e n t r a ls e r v e ra n dl o c a ls e r v e r t m st h e s i sa n a l y s e sa n d c o m p a r e st h ea l g o r i t h m su s e di nt h o s et e c h n i q u e s i tp r o p o s e di t sd e s i g n o ft h ev o ds e r v e r si nad i s t r i b u t e dv o ds y s t e m ，w i t hs u f f i c i e n t c o n s i d e r a t i o no ft h eb a l a n c eb e t w e e nn e t w o r kt r a n s m i s s i o nc o s ta n d l o c a l s t o r a g e c o s t l o a db a l a n c i n gi sa l s ot a k e ni n t oa c c o u n t t h e i m p l e m e n t a t i o ns o l u t i o ni tp r e s e n t sc o n t a i n st h ei m p l e m e n t a t i o no fa c e n t r a ls e r v e ra n dt h a to fal o c a ls e r v e r 耽ec l o s er e l a t i o nb e t w e e nt h e s e t w ok i n d so fs e r v e r si se m p h a s i z e d k e yw o r d s ： v i d e o o n - d e m a n d ，s e r v e r , d i s t r i b u t e d ，s t o r a g e ，s c h e d u l i n g ，c a c h e 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密呀，在生年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者繇研阪指劂撇：和雪鞠幻 日期：如。年2 月t o l l 日期：。三年2 月，日 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本 人承担。 学位论文作者签名： 日期：二哆年2 月，。日 上海交通大学硕士学位论文 第一章引言 视频点播( v o d ，v i d e o o n d e m a n d ) 技术是一种基于数据压缩和宽带网络 的交互式多媒体技术，在影视点播、新闻点播、远程购物、远程教育、远程诊 断、交互式视频游戏以及电子银行等多方面有着相当可观的应用前景，在不久 的将来必将成为信息时代中一种重要的娱乐和信息传播工具。 1 1 视频点播是什么 视频点播首先是一种技术。视频点播技术涉及多个领域，这些领域包括数 据压缩、网络服务质量、线程调度以及数据库管理等。数据压缩技术的发展使 得视频节目可以在不影响观看效果的情况下大大减小存储所需的空间。宽带网 络技术的发展使得大量数据可以在网络上安全、可靠地传输丽互不干扰。线程 技术的发展使得多个用户同时接受服务成为可能。数据库管理技术的发展使得 对大量视频数据及其控制数据的管理更为方便、合理。 视频点播又是一种服务。服务商运营视频点播系统为用户提供服务，并获 取利润。用户付费购买视频点播服务，并享受服务。视频点播在影视点播方面 有着最为广泛的应用，人们也正是通过影视点播的发展认识了视频点播。因此， 视频点播常常被作为影视点播的代名词。视频点播的优异之处在于，观众不再 像观看传统电视那样被动地接收，而是主动地参与，根据自己的喜好定制自己 的节目单。服务商提供的服务不仅包括视频节目的内容，还包括节目播放的质 量、用户响应的实时性以及用户参与的交互性。视频点播的便利性也是其逐步 代替传统的录像租赁服务的原因。人们无需出门，花费相同的支出即可在家里 随时享受最舒适的服务。难怪，视频点播服务受到越来越多人的青睐。巨大的 市场需求带来的是巨大的市场驱动力和商业利润【l 】。根据美国f o r r e s t e rr e s e a r c h 公司的统计1 2 ，1 9 9 9 年全美有线电视网提供地视频点播服务取得的收益为 3 8 ，0 0 0 ，0 0 0 美元，而预计这个数字在2 0 0 5 年将达到3 ，1 0 1 ，0 0 0 ，0 0 0 美元。 视频点播更是一种观念 3 1 。视频点播不但具有技术上飞速发展的潜力，而 且完全有能力改变人们对娱乐与信息传播的看法。视频点播传达的是一种自由 的观念，一种主动的观念。在信息爆炸的时代来临时，如果只是一味地被动接 上海交通大学硕士学位论文 受，也许人的脑子也会爆炸。视频点播告诉人们，你有选择的自由，你有主动 参与的自由。 1 2 视频点播的特点 视频点播的特点主要在于： 实时性 用户提出的各种请求都在最短的有限时间内得到响应，并得到最满意的 服务。这是视频点播得以受到广泛欢迎的最主要原因。用户选择视频点 播最充足的理由就是它能够提供实时的服务，而不需要漫长的等待。获 取实时性是视频点播系统设计的重要目标。 并发性 多个用户同时接受服务而互不影响，也不知道其他用户的存在。对于用 户来说，就好像只有自己个人在接受服务一样。系统支持多个用户的 细节对单个用户来说是透明的。多个用户虽然同时接受服务，但并不影 响其中任何一个用户的服务质量。同时支持的用户越多，视频点播系统 的性能就越优秀。 交互性 用户可以控制节目播放的过程：暂停、快进、倒退或者搜索。控制的功 能类似于家用录像机，控制的过程也同家用录像机的操作一样方便。这 是用户选择视频点播服务的必然要求，是视频点播服务器系统设计中必 须考虑的问题。 1 3 视频点播服务器 视频点播系统采用服务器客户机模式。一个完整的视频点播系统由视频点 播服务器、网络和客户端组成。其中，视频点播服务器是系统的核心，它的功 能决定了系统可以为用户提供什么样的服务，它的性能决定了整个系统的性能。 视频点播的实时性和并发性特点要求视频点播服务器提供多用户对视频节目的 实时访问和流畅播放、提供对多用户请求的高质量服务。视频点播服务器的技 术是本文将要讨论的根本问题。 视频点播服务器的解决方案由几部分组成 4 1 ：硬件、软件应用程序和系统 上海交通大学硕士学位论文 集成。 视频点播服务器的硬件设备可以是普通的p c ( p e r s o n a lc o m p u t e r ) ，也可以 是专业的视频服务器。与p c 相比，视频服务器在数据处理能力、可靠性、安 全性、扩展能力和易管理性上有相当大的优势，因而在企业级的视频点播系统 中通常使用视频服务器作为硬件设备。注意，这里所说的视频服务器是指用于 压缩、存储和处理视频数据的专用计算机，在下一节中将会有比较详细的介绍。 视频点播服务器的概念强调的则是在视频点播系统中所起的作用，它是硬件与 软件的结合。 视频点播服务器的软件应用程序负责的工作有管理系统资源、响应用户请 求、为用户传输节目数据等。它在后台完成视频点播服务的任务，在用户界面 上提供系统管理员查询和管理系统运行的接口。即使是性能再好的硬件设备， 如果缺乏了软件应用程序的配合，要完成高强度的工作也只是天方夜谭。本文 讨论的视频点播服务器技术锁定在软件应用程序的层面上。 系统集成的意思是，视频点播服务器本身的优异性能还不完全足以确保视 频点播系统的良好性能，视频点播服务器必须与客户端、与网络有较好的兼容 性，整个系统才能和谐地工作。 1 4 视频服务器 视频服务器是一种对视频数据进行压缩、存储及处理的专用计算机设备【扪。 视频服务器采用m p e g - i ( m o v i n gp i c t u r ee x p e c tg r o u p ) 或m p e g - 2 等压缩格 式，在符合技术指标的情况下对视频数据进行压缩编码，以满足存储和传输的 要求。它使用s c s i ( s m a l lc o m p u t e rs y s t e m si n t e r f a c e ) 接口硬盘或f c ( f i b e r c h a n n e l ) 接口硬盘作为视频数据的在线存储器。具有多通道输入输出、多种视 频格式接口。可配备s c s i 、f c 等网络接口进行组网，实现视频数据的传输和 共享。 视频服务器同普通服务器相比，在很多方面有显著不同。从功能上看，普 通服务器面向计算，研究的主要问题集中在高速计算性能、数据可靠性等方面； 而视频服务器则面向资源。因此，视频服务器的主要技术问题是多种资源的合 理调度和协调工作。同时，视频服务器还具备许多传统视频设备所不具备的优 点，可以开发出许多新颖的应用方式。 上海交通大学硕士学位论文 不同的应用规模和应用需求对视频服务器的要求不同，从而形成了不同体 系结构的视频服务器。 基于小型机、高级工作站的服务器是大型计算机公司开辟新市场的典型设 计。这种类型的服务器往往继承公司原有的技术，在高性能计算机的基础上增 加支持视频数据访问的有关硬件，再将系统进行一定的优化，以实现一般视频 服务器的功能。 基于专用硬件平台的服务器倾向于用硬件单元解决点播的需求。硬件生产 厂商将大容量存储设备及高速i o ( i n p u t o u t p u t ) 设备结合在一起，形成基于 专用硬件平台的服务器。基于高级工作站和专用硬件平台的视频服务器是面向 高端用户的。 1 5 本文的内容安排 本文通过两个部分介绍视频点播服务器的技术及其在软件层面上的设计与 实现。 第一部分讨论的中心是拥有单一视频点播服务器的视频点播系统。最早的 视频点播系统只使用一个视频点播服务器完成节目的存储和传输工作。这种结 构的优点在于管理的方便性，同时也易于实现。从应用上说，它适合于小型的 局域网。从实现上来说，它可以用作开发大型视频点播系统的原型。单一视频 点播服务器的关键技术也是视频点播服务器技术中最基本的部分。通过这些技 术，流式的传输方法得以实现。 第二部分讨论的中心是拥有多个视频点播服务器的分布式视频点播系统。 由于单一视频点播服务器的性能有限，随着用户数的上升，系统很容易达到饱 和。分布式视频点播系统不只是加入更多的视频点播服务器，而是将服务器分 为不同的类型，分布在网络中不同的位置，执行不同的功能，协同工作完成视 频点播的任务。这种结构的优点在于性能优秀、可扩展性强。从应用上来说。 它适合于大型的城域网甚至国际互联网。从实现上来说，它虽然比较复杂，但 可以以单一视频点播服务器为基础，加入分布式系统特有的关键技术。它的实 现需要区分不同的服务器类型，但不同类型服务器的实现之间又有着密切的联 系。 本文在这两个部分中分别给出了自己的设计和实现方案，并以“简单但不 上海交通大学硕士学位论文 失本质、紧凑但可扩展”为原则，力求从中体现视频点播技术的精髓所在。 本文引言之后各章节的内容安排大致如下： 第二章介绍单一视频点播服务器的关键技术，包括数据存储策略、硬盘调 度策略、视频流轮换簧略、接纳控制策略、缓存管理策略以及v c r 控制。 第三章针对第二章所介绍的各项关键技术，给出单一视频点播服务器的设 计方案。 第四章以模块化的方式阐述单一视频点播服务器的实现方法。 第五章介绍分布式视频点播系统的网络结构、存储结构、系统成本以及几 种不同类型的视频点播服务器，作为第二部分的开始。 第六章介绍分布式视频点播系统的服务器所特有的关键技术，包括存储策 略、存储重分配策略、服务器选择策略以及缓存策略。 第七章针对第六章介绍的各项关键技术，给出分布式视频点播系统的服务 器的设计方案。 第八章以模块化的方式分别阐述分布式视频点播系统的中央服务器和本地 服务器的实现方法。 最后，第九章总结全文，并展望今后的工作。 上海交通大学硕士学位论文 第一部分单一视频点播服务器的设计与实现 在最初的视频点播系统中，视频点播服务器往往只有一个，它全面负责管 理视频数据的存储、硬盘指针的调度、视频流请求的访问、系统资源的分配和 维护等所有的工作。这种结构的优点在于，系统对视频流以及节目的传输有良 好的控制。 然而，一方面由于单一视频点播服务器的存储能力和输入输出能力有限， 另一方面由于单一网络的带宽限制，单一视频点播服务器无法满足大型视频点 播系统的要求。这也是分布式视频点播系统得到越来越广泛应用的原因。不过， 单一视频点播服务器的设计与实现仍然不容忽视，因为它是实现各种视频点播 服务器的基础。即便是高性能的分布式视频点播系统，也可以认为是由多个单 一视频点播服务器分布到网络的不同节点上所组成的。 本部分将对单一视频点播服务器的设计与实现中涉及到的关键技术做简单 的介绍，然后提出基本的设计方案，并给出对应的实现方法。 上海交通大学硕士学位论文 第二章单一视频点播服务器的关键技术 视频点播对服务器的要求是：提供对大量视频数据的合理存储与管理：提 供多用户对视频节目的实时访问和流畅播放；提供对多用户请求的高质量服务； 在现有的网络环境下能够灵活地扩展。 在此基础上，以用户容量( u s e rc a p a c i t y ) 、等待延时、服务质量( q u a l i t y o f s e r v i c e ) 等参数作为衡量视频点播服务器性能的指标。用户容量是指视频点 播服务器可以同时提供服务的最大的用户数量。等待延时是指用户从提出点播 请求到节目在客户端开始播放之间的时间。服务质量的概念则比较宽泛，没有 明确的量化指标，主要是指用户对视频点播服务的满意程度，包括节目在客户 端播放的平滑程度，是否出现马赛克等。实践证明，以上这些性能指标之间往 往是互相矛盾的，某个性能指标的提升将可能导致其他性能指标的下降。所以， 设计视频点播服务器的主要目标就是在各个性能指标之间找到一个最佳的平衡 点。 视频点播服务器通常以固定周期的方式循环工作。每个工作周期被分成若 干个时间片，每个时间片为一个用户服务，读取视频数据块并向客户端传送。 也就是说，一个工作周期内时间片的个数即是服务器可同时支持的用户数，即 用户容量。所以，为了提高用户容量，时间片的长度越短越好。工作周期的长 度一般定为接近播放一个视频数据块所需要的时间。这样，每当一块视频数据 块在客户端播放完毕时，总有下一块数据块从服务器传来，从而保证了视频节 目的连续播放，而客户端的缓存又不会上溢或者下溢。这也就是所谓流式传输 的原理。 为了实现视频点播的功能、提高系统的性能，视频点播服务器需要从系统 的底层开始采用各种优化策略，包括数据的存储、硬盘的调度、视频流的轮换、 接纳控制、缓存管理等等。数据存储策略决定视频数据以何种方式存储在视频 硬盘上；硬盘调度策略决定硬盘指针以何种轨迹在硬盘上移动和读取数据块： 视频流轮换策略决定以何种顺序轮换访问不同的视频流请求：接纳控制策略决 定如何接纳新来的视频流请求而保证系统在正常负荷内运行；缓存管理策略决 定如何分配和管理缓存资源。对以上策略的选择及不同层面策略之间的协 调直接影响到视频点播服务器的性能。 上海交通大学硕士学位论文 2 1 数据存储策略 2 1 1 视频数据的特殊性 由于视频点播的特殊性，视频硬盘上存放的视频数据与普通的文本数据有 很大的不同。首先，视频数据的容量往往很大。假设使用m p e g - 1 压缩标准， 一般一个电影节目的容量要达到几百m 甚至l g 。这样的话，视频点播服务器 上的视频硬盘有几百g 的容量应该是很正常的。如果以其他标准如m p e g - 4 压 缩，所需的容量会更大。所以，视频点播服务器往往使用磁盘阵列或者外置式 硬盘架，以提供尽可能大的存储空间。 其次，为了减小系统为多用户同时服务时硬盘指针的定位时间，视频数据 宜采用分块存储的方法，而不像普通的文本数据那样连续地存放在存储设备上。 先前提到，为每个用户提供服务的时间片越短，系统的用户容量就有可能越大。 该时间片主要有几部分组成：硬盘指针的定位时间、硬盘指针的等待时间以及 硬盘的数据传输时间。其中，定位时间是指硬盘指针移动到数据所在磁道所需 的时间，等待时间是指硬盘指针在磁道上等待旋转到数据所在扇区所需的时间， 而数据传输时间是指硬盘上的数据被读到内存中所需的时间。等待时间的大小 与硬盘的转速有关，转速越快，等待时间越短。与定位时间相比，等待时间几 乎可以忽略不计。数据传输时间与硬盘的输入输出速率有关，视频点播服务器 通常都使用高速、宽带的s c s i 接口硬盘或最先进的f c 接口硬盘作为存储介质， 以减小数据传输时间对视频点播系统性能的影嘀。这样看来，减小硬盘指针的 定位时间是提高用户容量的关键，往往需要在软件实现中通过策略和算法来解 决。假设两个用户同时点播的节目一个连续地存放在硬盘边缘，另一个连续地 存放在硬盘的中心，那么在服务中硬盘指针必须从硬盘的一头移到另一头。显 然硬盘指针的定位时间是最长的。如果分块存储，使得同一周期内服务的两个 节目的数据块位置较近，则定位时间会比较小。 另外，视频数据是一种可变比特率( v b r ，v a r i a b l eb i t r a t e ) 媒体流。压缩 后的视频节目是由许多不同种类的帧组成的。i 帧用来存储实际的视频信息， 一般比用来单向预测的p 帧和用来双向预测的b 帧要大许多。不同的i 帧由于 视频内容的不同，大小也有一定的差异。所谓可变比特率正是指由此而引起的 上海交通大学硕士学位论文 不同节目段的比特率( 数据大小时间) 不尽相同。一般所说的视频节目的比特 率都是指平均值。考虑到视频数据的这种特性，其数据块大小的确定会遇到一 定的麻烦。如果确定数据块为恒定大小 6 1 ，则数据块的播放时间长度不定。如 果确定数据块的播放时间长度恒定，则数据块的大小不定。恒定大小的数据块 利于在视频硬盘上的存储管理，而恒定播放时间长度的数据块利于周期性的调 度。 有多种硬盘存储策略满足视频数据的这些特殊性。在单个硬盘存储设备的 情况下，常见的存储策略有线性配置、分散配置和约束配置等。 2 1 2 线性配置 所谓的线性配置是指将同一视频节目的数据块有规则地存放到不相邻的位 置上，通过一个线性公式可以计算出各个数据块在硬盘上的地址。不同节目的 数据块可能连续地存放在同一区域内。这种方法使得硬盘的定位时间最小。在 一个工作周期内，硬盘指针只需在一个区域内移动便能为所有的用户服务。新 的工作周期开始时，硬盘指针移动到相邻的区域。 线性配置的问题在于，过多地考虑了定位时间的减小和用户容量的增大， 忽略了等待延时。用户点播节目后，必须要等硬盘指针移动到节目首个数据块 存放的区域才可开始播放节目，这样等待延时会比较大。 2 1 3 分散配置 所谓分散配置盯j 是指将同一视频节目的数据块分散地放置在空闲的硬盘空 间上，互相之间通过索引或链接的方式关联。或者在系统中维护一张表，记录 每个节目的每个数据块所在的物理位置。这种方法大大减少了硬盘碎片存在的 可能性，视频数据块可以放置在硬盘的任何一个角落里，充分利用硬盘的空间。 等待延时性能应该也会相当不错，用户点播节目后即刻就为其服务，而无需考 虑数据块存放在什么位置。但这种存放的杂乱无章性无疑增大了硬盘指针的定 位时间，从而使得用户容量受到限制。如果用户点播后即刻为其服务，那么硬 盘指针的定位时间将有可能进一步增大，因为该节且的首个数据块的位置可能 离当前指针位置很远。当然也可以这样，在收到用户点播请求时，先分析一下 该节目首个数据块存放的位置，如果离当前指针位置较近则立即服务，如果较 上海交通大学硕士学位论文 远则等到较近时再开始服务。 2 1 4 约束配置 约束配置嘲刚是对前面两种方法的折衷，限制相邻的即有链接的数据块相 互间的距离。同一节目的相邻数据块虽然分散存放，但两者之间的距离必须保 持在某一个值之内。这样的话，硬盘指针的定位时间将会有一个上限，而用户 等待延时也会有一个上限。 2 2 硬盘调度策略 如前所述，硬盘读取数据的过程中，延时主要来自于硬盘指针的定位时间。 因而，硬盘调度策略的主要任务就在于配合数据存储策略，缩短硬盘指针的定 位时间。通过数据存储策略，视频节目已经按一定方式分块存放在视频硬盘上。 硬盘调度策略一方面根据节目的存储情况移动硬盘指针，一方面要考虑到用户 容量与等待延时两个性能指标的平衡。 此外，视频点播的每次服务都带有一定的时限要求| 9 1 ，硬盘调度策略必须 保证请求在指定的时限内完成，同时满足公平的要求。比如说，某个用户的客 户端节目播放速率较快，缓存已经出现了下溢的可能，则其下一个周期的服务 会有比较高的时限要求。根据其较高的优先级，硬盘调度策略会在工作周期内 优先为其服务。与此同时，硬盘调度策略又必须保证其他用户不会因为较低的 优先级而失去服务。 2 2 1 s c a n 最简单的硬盘调度策略是s c a n 策略“”，它控制硬盘指针始终向一个方向 移动，响应其运动路线上的所有请求，直到到达硬盘边缘或中心，或者该方向 上没有其他请求为止，然后再反方向移动，继续响应运动路线上的请求。显然， s c a n 策略的定位时间是最小的。然而，它忽略了请求的时限要求，仅仅考虑 了数据的存储位置，而没有考虑不同请求的优先级。如果视频数据在硬盘上的 存放遵循线性配置，并且各个请求的时限要求相同，那么s c a n 策略无疑是最 好的选择。 上海交通大学硕士学位论文 2 2 2 最短时限优先 最短时限优先( e d f , e a r l i e s td e a d l i n ef i r s t ) 策略严格按照时限优先顺序响 应服务请求，为工作周期内的每个请求分配一个时限优先级，优先级高的请求 先得到服务，优先级低的请求稍后得到服务。显然，e d f 策略充分考虑了视频 点播实时性的要求，但由于没有考虑视频数据在硬盘上的存储位置，硬盘指针 的定位时间较大，从而使得用户容量下降。 2 2 3 最短扫描时限优先 最短扫描时限优先( s c a n e d f ) 策略是对上面两种方法的折衷，当多个 请求的时限相差较大时采用e d f 策略，当多个请求的时限较接近时采用s c a n 策略来决定哪个请求先接受服务。这种策略既考虑了视频数据在硬盘上存储的 位置，又考虑了请求的时限要求，性能上有不错的平衡。至于如何确定请求的 时限是否接近，则需要有一个量化的方法来进行判断。 2 2 4 分组扫描 分组扫描策略( g w s ，g r o u ps w e e p i n gs c h e d u l i n g ) 是类似于最短扫描时限 优先策略的又一种优化，它将同一工作周期内的所有请求按照时限要求分组， 每个组内请求的时限要求比较接近。对于这些组使用e d f 策略，时限要求高的 组先接受服务，而在某个组内则使用s c a n 算法，有规律地移动硬盘指针。采 取这种策略时对每组请求的时限差的选择将对系统性能产生很大影响。如果时 限差选择过大，极限情况即s c a n 算法，忽略了组中不少请求的时限要求，实 时性较差。如果时限差选择过小，则组的数量太多，组内请求的数量太少，如 e d f 策略一样硬盘指针的定位时间比较大。 2 3 视频流轮换策略 硬盘调度策略管理的是硬盘指针在硬盘上移动响应服务请求的顺序，而视 频流轮换策略则是硬盘调度上一个层次的优化。以何种顺序访问不同的视频流 上海交通大学硕士学位论文 请求是视频流轮换策略研究的重点。事实上，视频流轮换策略的选择与硬盘调 度策略是密切相关的，两者相结合使用以达到较高的效率。 固定次序轮换法适合在e d f 策略下使用，在工作周期内按固定的次序循环 地为每个流提供服务。对于每个视频流来说，几次连续的请求之间的时间间隔 其实是固定的，都等于循环周期。 不固定次序轮换法则适合在s c a n e d f 策略下使用，在工作周期内为视频 流提供服务的次序是不固定的。在不固定次序轮换法中，由于同一个视频流在 不同的循环中所处的相对位置不同，响应延迟可能会较大。比如，前一个循环 中，某视频流第一个接受服务，而在下一个循环中，该视频流可能最后一个接 受服务，这样连续两次接受服务的时间间隔接近两个循环周期。 可以采用分组轮换的方法把上述两种方法结合起来，即将所有的视频流请 求分组，各组之间采用固定次序轮换，各组内部采用不固定次序轮换。这样， 连续两次接受服务的时间间隔等于或稍大于一个循环周期。 2 4 接纳控制策略 视频点播服务器在为每个用户提供服务时，要为视频流分配多种资源，如 缓存区、信号灯等。由于系统资源和网络带宽都是有限的，系统同时支持的用 户数也是有限的。这就需要接纳控制策略根据当前系统的负荷情况和资源分配 情况等来决定是否接纳新来的视频流请求，从而保证系统的正常运作和良好的 服务质量。 时间开销也是一种相当宝贵的资源【】”。为了增加用户容量，接纳控制策略 必须研究时间开销问题。视频服务器往往是采用周期循环的方式响应多个视频 流的请求，在每个循环周期内又有若干个时问片分配给不同的视频流。多增加 一个视频流就多消耗一个时间片。通常使用以下方法来判断是否接纳新来的视 频流：如果目前系统中各视频流的时间开销的总和再加上新来视频流的开销即 预期总开销小于循环周期，那么这个新来的视频流就是可以接纳的；反之，如 果目前系统中各视频流的时间开销的总和再加上新来视频流的开销即与其总开 销大于或等于循环周期，则这个视频流是不能接纳的。 至于如何确定预期总开销，就有了各种不同的算法“”。最坏可能算法以最 坏的情况考虑。也就是取当前所有视频流中最大的时间开销作为对新来的视频 上海交通大学硕士学位论文 流的估计。其他原先的视频流的时间开销也可以认为与此最大时间开销相同。 这样可以保证接纳新来的视频流后不会引起系统的混乱甚至崩溃，但是造成了 一定的资源浪费。因为不是所有的视频流都需要占用如此大的时间开销。而且 最大的时间开销又可能是因为系统异常所引起的，并没有绝对准确的参考价值。 平均统计算法以现有视频流的平均情况作为对新来的视频流的估计。平均 统计算法比起最坏可能算法来，资源利用率有很大提高。可以将所有视频流的 时间开销的平均值作为现有每个视频流的时间开销的值，并作为对新来的视频 流的估计。也可以将这个平均值仅作为对新来的视频流的估计，现有的每个视 频流的时间开销以其在不同循环周期内的时间开销的平均值来计算。后一种方 法比前一种具有更高的准确性，但实现起来要复杂一些。 2 5 缓存管理策略 视频点播服务器把视频数据从硬盘上读出后，必然要把其存放到缓存中， 然后才能向网络发送。事实上，客户端也管理着一系列的缓存，接收到的视频 数据块先被存放在缓存中，然后通过一定的机制连成一个串，最后平滑地播放 出来。对于视频点播服务器来说，缓存是一种相当宝贵的资源，缓存的分配、 释放和管理必然需要一定的策略，以保证其可靠性和合理性。 缓存管理策略决定缓存的大小。这与数据块的大小有关，也取决于数据块 是恒定大小还是恒定播放时间长度。缓存如果被静态地分配，则每个视频流得 到多少缓存事先就应该有个合理的估算。如果缓存被动态地且以缓存块的形式 被分配【l ”，则缓存块的大小应该与数据块的大小一致。如果数据块是恒定大小 的，那么分配的缓存块也是恒定大小的：如果数据块是恒定播放时间长度的， 那么分配的缓存块大小不固定，取决于数据块的大小。 缓存管理策略决定每个视频流使用的缓存区个数f 1 4 1 ，是不同循环周期读取 的数据块共享一个缓存区，还是使用不同的缓存区。如果是静态地分配缓存， 那么不同循环周期读取的数据块必然共享相同的缓存区。如果是动态地分配缓 存，下一循环周期读取的数据块可以覆盖前一循环周期读取的数据块，存放在 相i 司的缓存内，也可以存放在另外分配的缓存内，而将已被发送的数据块所在 的缓存释放掉。 缓存管理策略还必须决定是不同的视频流共享相同的缓存区，还是各自使 上海交通大学硕士学位论文 用不同的缓存区。如果共享的话，管理起来比较复杂，但使用率比较高。 以上这些策略的选择都与视频流轮换策略密切相关。 2 6 v c r 控制 v c r ( v i d e oc o m m a n dr e q u e s t ) 是指类似于家用录像机的控制请求【l5 1 ，比 如播放、停止、暂停、快进、倒退、搜索等。如果没有了v c r 功能，视频点 播就缺少了相当重要的用户交互性。设想当你兴致勃勃地通过网络点播了一个 节目，希望享受在家观赏电影的乐趣时，你却发现自己被它束缚住了，在接下 来的时间内不能离开半步，否则就将错过一段时间的节目。这跟传统的电视又 有什么区别呢? 所以，实现v c r 控制功能是实现视频点播服务器的必然要求。 在v c r 操作中，播放、停止和暂停是较容易实现的功能，而快进和倒退实 现起来瓜i j 有一定的难度。最简单的方法是增加播放速率，比如将播放速率提高 到原先的两倍或者三倍，提高的倍数还可以根据要求进行调节。这种方法使得 快速播放的视频流图像效果与正常播放时的图像效果相同。但是，由于每秒播 放的数据量成倍增加，所以这种方法要求更大的硬盘传输能力和更大的网络带 宽，且客户端解压缩的能力必须能够跟上服务器传输的速率。 也可以使用跳过视频片段的方法实现快进和倒退。比如，将相隔个片段 的数据块传送给客户端，则客户端实际将以 r + 1 倍的速率进行播放。调整的 值，可以调整播放的速率。该方法的前提是视频流的每个c r o p ( g r o u po f p i c t u r e s ) 必须是可以独立解压缩的，否则客户端的播放将会出现不流畅甚至停 滞的现象。 跳过一些视频帧也是一种解决方法i 阍。在m p e g - 1 的编码序列中，只有i 帧带有实际的视频信息，而p 帧和b 帧存储的都是预测信息。假如只传输i 帧 和p 帧而不传输b 帧，则播放速率将会有一定提高；假如只传输i 帧而不传输 其他两种帧，则播放速率将会有进一步提高。可以将g o p 内部的数据按照i 帧、p