（计算机科学与技术专业论文）并行vod系统的动态平衡策略研究与实现.pdf

独创性声明 本人声明所里交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示谢意。 学位论文题目：羞盈! q ! 丕缝数盘查壬煎筮啦亚塞当塞理 学位论文作者签名：l 訇里堕 日期：ff f 月r 珀 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：羞煎! 业丞缠盟盘查垩煎筮堕盟壅盏塞丑 学位论文作者签名： 作者指导教师签名： 词p 口 日期：峰f 月f 如 日期：加形年月l j 日 国防科学技术大学研究生院学位论文 摘要 随着网络技术和多媒体技术的快速发展，网络多媒体应用越来越多地渗透到人们的 生活中。作为多媒体的一个重要方面，网络视频应用也面临新的机遇和挑战。用户需要 更高质量的服务，服务器需要更高的性能和效率，所有这些都给视频应用带来新的技术 问题。 网络带宽和服务器性能是制约视频应用范围的两个主要因素。采用并行服务器体系 结构可以分散用户请求、减轻服务器局部压力和网络局部流量，扩大视频应用的规模。 在分析视频应用需求和体系结构的基础上，本文给出了一种可扩展的并行结构的服务器 系统结构，即并行服务器系统结构，并讨论了并行视频服务器系统中的动态负载平衡策 略。利用该结构可以低成本构建大规模的视频点播应用系统。 动态负载平衡是并行v o d 系统中的关键技术之一。并行v o d 系统根据用户请求向 用户提供视频服务，首先要根据系统中当前各节点的服务状况，由动态负载平衡策略选 出一个节点为用户服务。本文通过对动态负载平衡策略的深入研究，提出了并行视频服 务器中的三种动态平衡策略：循环分配策略、负载最少优先策略和排名最优策略，详细 分析了它们的实现算法方案，并给出了并行v o d 系统应用实例。最后，本文对研究工 作做了总结，并对下一步工作做了展望。 关键宇：视频点播；并行v o d 系统；动态平衡；s b f 策略 雪堕型兰茎娄盔耋錾鎏生氅主堡鲨銮 a b s t r a c t w i t ht l l e r a p i dd e v e l o p m e n to fi n t e r a c t a n dm u l t i m e d i at e c h n o l o g i e s m u l t i m e d i a a p p l i c a t i o no v e ri n t e r n e tw a l k si n t op e o p l e sl i v e sg r a d u a l l y - a sa ni m p o r t a n ta s p e c to f m u l t i m e d i a , v i d e oa p p l i c a t i o no v e ri n t e m e ti sf a c e dw i t hn e wo p p o r t u n i t ya n dc h a l l e n g e al o t o fu s e r sr e q u e s th i g hq u a l i t ys e r v i c e ，a n dt h es e r v e rn e e d sh i 曲e rp e r f o r m a n c ea n de f f i c i e n c y a l lt h e s eb r i n gn e wt e c h n i c a li s s u e si n t ov i d e oa p p l i c a t i o n s b a n d w i d t ho f n e t w o r k sa n dp e r f o r m a n c eo f v i d e os e r v e ra l et w om a i nf a c t o r st h a tr e s t r i c t t h eu t i l i t yo f v i d e oa p p l i c a t i o n s t h ev i d e os e r v e rw i t hp a r a l l e la r c h i t e c t u r ec a ne x t e n dt h ea r e a o fv i d e os e r v i c es y s t e m ，b e c a u s ei tc a nd i s p e r s eu s e r s r e q u e s t sa n dr e d u c et h el o c a ll o a do f s e r v e ra n dl o c a lt r a f f i co fn e t w o r k s a f t e ra n a l y z i n gt h ea r c h i t e c t u r ea n dr e q u e s t so fv i d e o s e r v i c es y s t e mi nd e t a i l ，t h i sp a p e rp r o p o s e sas c a l a b l ea r c h i t e c t u r eo f p a r a l l e lv o d s y s t e m i t a l s od e s c r i b e st h es t r a t e g i e sf o rd y n a m i cl o a db a l a n c ei nt h ep a r a l l e lv o ds y s t e m l a r g e - s c a l ev i d e os e r v i c es y s t e mc a nb ec o n s t r u c t e da ta l o wc o s tw i t ht h i sa r c h i t e c t u r e t h ed y n a m i cl o a db a l a n c i n gi so n eo ft h ep i v o t a lt e c h n o l o g i e si nt h ep a r a l l e lv o d s y s t e m a c c o r d i n gt ou s e r s r e q u e s t s ，t h es y s t e mc a ng i v es e r v i c e st ot h e m a tf i r s t ，i t o b s e r v e st h es t a t u so f n o d e si nt h es y s t e m ，t h e ns e l e c to n eo f t h es e r v e rn o d e st os e r v et h eu s e r u s i n gt h es t r a t e g yo fd y n a m i cl o a db a l a n c i n g t h i sp a p e rd e s c r i b e ss t r a t e g i e sf o rd y n a m i c l o a db a l a n c i n ga n di tp u t sf o r w a r dt h r e es t r a t e g i e s ，w h i c ha l ec i r c u l a r l ya l l o c a t e ，l 0 a dl e a s t f i r s t ，s o r t e db e s tf i r s t a n di tg i v e sa ni m p l e m e n t a t i o na l g o r i t h mo fe a c hs t r a t e g y s b f a l g o r i t h mh a sa p p l i e dt ot h ep a r a l l e lv o ds y s t e me f f i c i e n t l ya sa l la p p l i c a t i o nc a s e a tl a s t , i t c o m e st oac o n c l u s i o nt ot h er e s e a r c ha n dm a k e sa ne x p e c t a t i o n k e yw o r d s ：v i d e oo nd e m a n d ，p a r a l l e lv o ds y s t e m ，d y n a m i cl 0 a db a l a n c i n g ，s b f i i 国防科学技术人学研究生院学位论文 第一章绪论 随着网络技术和多媒体技术的快速发展，网络多媒体应用越来越多地渗透到社会生 活的各个方面。多媒体可以提供文本、声音、图形图像及视频等直观、丰富多样的信息， 因而倍受人们青睐“。但是由于数据量大、实时性强等原因，多媒体的网络应用一直受 到资源的限制。随着宽带网技术的发展和应用，随着视频服务器系统的深入研究，动态 负载平衡策略已成为视频服务应用中扩大多媒体应用规模的关键技术之一。 1 1 课题背景 多媒体技术的发展以及和 ( ；! 络的结合，使得信息化发展的进程更快。因为多媒体信 息丰富、直观，更容易被人们所接受和理解，一出现就引起人们广泛的兴趣，这对计算 机的应用和普及起到了巨大的作用。视频点播( v i d e oo nd e m a n d ，v o d ) 系统是一种交 互式多媒体信息服务系统，用户可根据自己的需要和兴趣选择多媒体信息内容，并控制 其播放过程“l 。在过去儿年中，中小规模的v o d 系统的技术和产品已趋于成熟”1 。视频服 务器作为v o d 系统的核心设备，近年来出现了从p c 级的小型视频服务器，向基于并 行处理结构的大型视频服务器发展的趋势”。 1 1 1 研究现状 多媒体通信技术、宽带接入技术、数据压缩技术等多种技术的成熟和成功运用，使 得v o d 技术成为一种成熟的技术。v o d 系统通常由三个部分构成：视频服务器( v i d e o s e r v e r ，v s ) 、客户端和将它们连接起来的通信网络“1 ，其中视频服务器是整个v o d 系 统的核心。早期小规模v o d 系统的视频服务器通常由普通的( 通用的) 微机或服务器充 当，其体系结构如图1 1 所示“1 ： 图1 1 单视频服务器体系结构 第l 页 里堕型主茎娄盔誊至銮兰鳖主譬鎏銮 从图1 1 中可以看出，早期的v o d 视频服务器在体系结构上未进行专门的优化设计， 而是使用了通用的微机或高性能服务器来充当视频服务器，c p u 、网卡、内存及外部存 储设备通过总线连接在起。用户通过客户端设备点播，其请求通过网络传送至视频服 务器，用户请求的数据通过网络由视频服务器发送到客户端。稍有不同的是，由于v o d 应用需要较高的网络带宽、存储带宽和较大的存储容量，视频服务器中通常配置多块网 卡，其外部存储设备通常由一个或多个磁盘阵列构成。 小规模v o d 系统中通常采用点对点服务策略。点对点服务策略是最简单和最直接的 服务策略，它为每个用户请求分配一条独占的服务流。用户请求首先进入服务器的等待 队列，当有足够的带宽服务一个请求时，服务器从等待队列中取一个请求进入服务队列， 并为该用户启动一条独占的服务流。设服务器带宽为b ，传送一个节目所需的带宽为b ， 则服务器最多能同时服务n = b b 个并发请求。当服务队列已满时，新到达的请求必须在 等待队列中等待，直至有一条服务流结束或被取消服务。 服务器服务模型。1 可以用图1 2 简单表示： j 控制与服务进程i 一 a a 佶* i 请求与反馈进程l ： 1 数据占进程l * - e ；j 二* - l 数据接收进程l 视频服务器视频客户端 图1 2 服务器服务模型 服务器与客户端间维持两条信道，一条是双向的命令信道，一条是单向的数据信道。 客户端请求与反馈模块与服务器端的控制与服务模块间通过命令信道传递各种控制命令 和反馈信息。服务器通过数据信道向客户端发送视频数据。非视频数据，如节目单数据， 通常也使用命令信道发送，而不使用数据信道。通常命令信道使用t c p 连接来实现，以 保障数据传输的可靠性和正确性，而数据信道通常使用u d p 协议实现。 显然，单服务器结构的视频服务器和点对点服务策略所能支持的并发用户数是有限 的，它受限于系统的存储带宽、网络带宽、总线带宽、c p u 处理能力等，无法满足大规 模用户群的需求。表1 1 中列出了现有计算机部件的峰值带宽及其可以支持的并发视频 数据流数量。1 设备峰值带宽 并发流数量( m p e g - 1 m p e g - 2 ) 1 0 0 m 以太网网卡1 0 0 m b p s 6 6 3 3 1 0 0 0 m 以太网网卡 1 0 0 0m b p s6 6 6 3 3 3 i d e 接口硬盘1 0 - 2 0 m b p s 5 3 一1 0 6 2 6 5 3 s c s i 接口硬盘 2 0 - 4 0 m b p s 1 0 6 2 0 9 5 2 1 0 4 p c i 总线( 3 3 m h z3 2 位) 1 0 5 6m b p s7 0 4 3 5 2 表1 1 设备能支持的并发流数量 表1 1 中m p e g 一1 和m p e g 一2 视频文件的数据率分别为1 5 m b p s 和3 m b p s 。从表1 1 中可以看到，即使视频服务器的所有部件都以峰值带宽运行，其能支持的并发流数量也 第2 页 国防科学技术大学研究生院学位论文 是非常少的。 为提供大规模的服务，必须提高服务器系统的性能。从硬件和体系结构的角度而言， 提高服务器系统性能和服务规模有以下三种途径。1 ： 采用更高性能的部件，如用1 0 0 0 m 网卡取代1 0 0 m 网卡，用6 4 位总线取代3 2 位 总线，或使用更高频率的总线，用高性能的s c s i 硬盘盘阵取代 d e 硬盘等。但 这种方法能获得的性能提升终究有限，且高性能的部件往往意味着更高的价格， 对提高系统的性能价格比不利。 部件子系统冗余配置：通过增加部件子系统的数量来提高系统性能。单机服务器 中有两类部件子系统是可以扩展的，网卡网络子系统和硬盘存储子系统。对网 络子系统的扩展主要是扩展其带宽，如多加几块网卡可以提高服务器的网络吞吐 率：而对存储子系统的扩展则涉及到两个方面的扩展：( a ) 存储容量的扩展；( b ) 存 储带宽的扩展。 系统结构的扩展：当单个服务器的能力有限时，采用新的体系结构，使用分布、 并行、层次化等策略，用多个相同或不同的服务器构成一个复杂的服务器系统， 扩展系统服务能力。当讨论系统结构扩展时，我们定义扩展的单位为节点。节点 可以是单机服务器，也可以是一个复杂的服务器系统，如一个c l u s t e r 体系结构的 视频服务器可以由多个单机节点构成，而在层次型体系结构中，每个节点本身可 以是一个c l u s t e r 。这种方式理论上可以无限制地扩展服务器系统的性能，但不同 扩展方法所导致的不同体系结构会有不同的性能价格比。性能价格比越高，体系 结构越优。在设计大规模或超大规模v o d 视频服务器系统时通常采用系统结构扩 展方法。 由于单机服务器是制约视频服务系统应用规模扩大的重要因素，当今大规模多媒体 服务系统通常采用c l u s t e r 服务器结构，基于并行处理结构的视频服务器结构。 目前，基于并行处理结构的视频服务器主要厂商均来自于美国，比较著名的有 n c u b e 公司具有n c u b e 3 ( 已停产) 和n c u b e 4 系列产品；美国并行计算机公司的 m e d i a h a w k ：h p 公司的m e d i a s t r e a m 系列，s g i 公司的o r i g i n 2 0 0 0 ，3 0 0 0 系列， s u n 公司的s p a r c ，h p 公司的h p 9 0 0 0 ，i b m 公司的r s 6 0 0 0 等通用体系结构的计 算机0 1 。n c u b e 公司视频服务器采用专用体系，提供全面的流媒体服务解决方案，其 n c u b e 4 产品专门面向商业化流媒体应用。这种服务器具有较高的系统切入价格。像 s g lo r i g i n 2 0 0 0 系列的视频服务器采用插槽式结构，根据型号不同提供若干个扩展插 槽，每个插槽可插入一个扩展模块，每个模块带有一个或两个节点，这种服务器硬件设 计显得很紧凑，但缺点是入口价格会很高，而且，即使是规模小的系统，也需要购买一 个庞大的机框，显得不合算。s g io r i g i n 2 0 0 0 系列的视频服务器采用积木式结构，将整 个系统的功能块分成一个个硬件模块。由于独立的模块太多，所以模块问的物理连接也 太多。 第3 页 国防科学技术大学研究生院学位论文 1 1 2 研究意义 据r e a l n e t w o r k s 的总裁g l a s e r 说：i n t e m e t 上视频应用市场在1 9 9 8 年达到了数十亿 美元，而基于宽带技术的媒体，如电视，将有数百亿美元甚至更多的市场，“我们只抓住 了整个市场的- - d 部分，与市场所拥有的潜力相比，我们还处于蹒跚学步的孩提阶段”。 2 0 0 0 年1 0 月，国家教育部门在有关会议上提出，要在今后的几年中，有条件的中学普 及计算机多媒体辅助教学，其中网络视频是计算机多媒体辅助教学中最主要的手段之一。 由此可见，研究视频应用技术具有良好的商业前景。单服务器结构的视频服务器以及其 服务策略所能支持的流的并发数量是极其有限的，它受限于系统的网络带宽、存储带宽、 c p u 的处理能力等，无法满足大规模用户群的需求“3 。从市场方面来看，支持2 0 0 条以 下并发流的产品已经很多，而且技术比较完善，价格比较便宜，但从需求的角度上讲， 就需要寻求新的服务器结构和服务策略了。 结合我国基于互联网的视频应用发展现状，我们认为，研究并行视频服务器系统具 有非常重要的理论价值，实现并行视频服务器系统更会具有非常重要的现实意义。 目前，我国视频服务器市场基本被国外服务器厂商( 如s g i 等) 占有，视频服务器 系统多以单服务器结构为主。无论是从市场角度来讲，还是从用户需求的角度来看，都 要求我们深入研究并行视频服务器系统，并在此基础上实现并行视频服务器系统的应用， 用以满足广大用户的视频服务请求。这项研究必将为今后大规模或超大规模视频应用系 统的实现提供一定的理论基础，具有非常重要的研究价值和意义。 1 2 视频服务器关键技术 作为一个重要的研究领域，视频服务器系统中有待研究的问题非常多。其中视频服 务器的体系结构、动态负载平衡、数据流式传输、数据存储与分布等是视频服务器研究 中的关键技术，本节针对各项技术分别介绍如下： 1 服务器体系结构。服务器的体系结构是影响视频应用的关键因素。早期的视频服 务器多采用单服务器结构，应用范围小，服务的客户数量少。并行服务器结构可 以克服单服务器结构的不足，在并行服务器系统中，服务器组成员间的通信技术、 对客户请求的响应方式以及成员如何分布则是影响服务性能和服务效率的主要 因素。并行视频服务器结构大大提高了视频服务器的性能，可以满足大量用户的 并发请求。本文第二章将讨论介绍并行视频服务器系统结构。 2 动态负载平衡。在并行视频服务器系统中，负载平衡的目的是根据系统中各个处 理机的性能及其负载来分配任务，以达到服务节点间的负载平衡，从而发挥并行 服务器系统的整体效能。由于用户请求的动态变化，服务器系统各处理节点上的 负载也在不断变化，所以就要求系统能够根据某种动态平衡策略进行平衡服务节 点的负载，为用户提供服务。本文第三章对动态负载平衡策略进行了深入的研究， 第4 页 国防科学技术大学研究生院学位论文 提出了并行视频服务器系统中的三种动态负载平衡策略，并在第四章给出了它们 的详细算法实现方案。 3 数据流式传输。流式传输方式是和下载方式相对而言的，它主要是指音频、视频 或动画等连续媒体由服务器向客户端连续、实时传送，客户端经过短时间的缓冲 处理后即开始播放，在播放的同时接收从服务器传送来的数据。因为流式传输方 式克服了下载方式占用存储空间大、延时长的缺点，更适合视频音频等多媒体 数据的传输。 4 数据存储与分布。视频流数据在服务器上的存储和分布情况会影响服务器系统 i o 的性能，从而影响服务器的整体性能。通常情况下，存储设备都是视频应用 系统的瓶颈。为了现有存储设备条件下扩大视频应用系统服务的客户量，可以改 变传统的数据存储策略，把每个视频流的数据分段分布存储在不同的服务器上， 平衡服务器内部成员的i o 负载，减弱i o 子系统对服务器的制约。这个在并行 服务器系统中作为磁盘c a c h e 也同样进行了深入研究。 1 3 主要工作 本文研究的重点是并行视频服务器体系结构的动态平衡策略，在详细分析并行视频 服务器系统、动态负载平衡策略及其算法实现方案的基础上，实现了一个并行v o d 系 统原型和视频点播应用系统。本人所作的主要工作包括： 给出了一种并行视频服务器系统结构，并就服务器中的关键技术做了深入详细研 究和实现考虑： 研究动态负载平衡策略，提出了并行视频服务器系统中的三种动态负载平衡策 略，并给出了它们的算法实现方案： 实现了动态负载平衡软件； 实现了并行v o d 服务器系统应用实例。 1 4 论文结构 本文共分六章。 第一章为绪论。本章首先讨论了视频应用研究的背景、意义，指出视频服务器是影 响网络视频应用的一个重要因素。然后，讨论了当前视频服务研究领域中的主要关键技 术，最后介绍了本文的研究内容。 第二章研究了并行视频服务器的体系结构，分析了并行视频服务器功能模块，给出 了并行视频服务器系统的结构，深入研究了这种服务器系统结构的特点和有关其实现的 若干关键技术：动态负载平衡、磁盘c a c h e 、流式拷贝等。 第三章主要从负载平衡的概念谈起，逐步探讨负载平衡现有的实现结构和策略，最 终结合我们所研究的并行视频服务器系统，对服务器中的动态负载平衡策略进行了深入 第5 页 国防科学技术大学研究生院学位论文 的研究。提出了循环分配策略、负载最少优先策略和排名最优策略等三种动态负载平衡 策略。 第四章首先从实现上分析了动态平衡策略，然后从用户点播请求开始分析，进行必 要的数据库设计，在此基础上，给出循环分配策略、负载最少优先策略和排名最优策略 的算法实现方案。 第五章分析并行v o d 系统的应用实例。详细讨论了并行v o d 系统的设计方案及其 服务器、客户端实现中的关键技术，给出了并行v o d 系统中动态平衡软件s b f 策略的 实现算法及其软件测试试验。 第六章为本文的工作总结，并指出了今后的研究方向。 第6 页 国防科学技术大学研究生院学位论文 第二章并行视频服务器系统 视频服务器是v o d 系统的最重要部分，它的性能和效率直接决定了v o d 系统的性 能o3 。视频服务器是一个能够根据用户请求向用户提供数据和信息的支撑系统，它的数 据可以存储在本地服务器内，也可以分布存储在多个服务器上。1 。随着近年来c p u 、存 储技术、c a c h e 技术以及网络技术的发展，单服务器系统可以支持一定数量的用户，但 是多媒体应用的需求发展很快，传统的服务器系统根本无法满足日益增长的应用的需求。 从长足发展来看，服务器系统必须采用并行结构。“。 本章初步地分析探讨并行视频服务器结构功能模块，然后给出了一种并行视频服务 系统结构，深入研究了这种服务器系统结构的特点和有关其实现的若干关键技术，为本 文深入研究并行v o d 系统的动态负载平衡策略奠定了坚实的基础。 2 1 并行视频服务器功能模块 单视频服务器在本地存储视频流，不和其它独立的视频服务器协作，单独向用户提 供视频服务。各个自治的服务器的物理结构和逻辑结构相同，相互独立。服务器地址对 用户透明，用户可以根据已知的服务器地址对服务器进行信息访问。由于服务器负载状 况由用户的访问量决定，而且单服务器独立对负载进行平衡和调度，所以很容易产生服 务器负荷过载、资源量不足等问题，系统服务质量得不到有效保证。 并行服务器可以不在本地存储整个视频流，编码后的视频流可能分布在网络上大量 的视频服务器上，因而，需要多个视频服务器协作向一个用户提供服务。编码后的视频 位流可以任何粒度分布存储在整个系统内，这样可以根据实际需要确定到底如何分布存 储视频流数据。一般来讲，并行服务器结构对用户透明，用户不需要知道服务器的物理 拓扑结构。因为视频流分布存储，因此可以有效地将负载平衡地分布在多台单服务器上， 提高系统资源的利用率。并行视频服务器系统模块组成“”如图2 1 所示： 第7 页 国防科学技术大学研究生院学位论文 下： 一一 一，- 配置管理器调用 客户管理器调用 数据库管理器调用 视频对象管理器调用 o o - 一 日志管理器调用 一一 用户管理器调用 图2 i 并行视频服务器模块组成 由上图可以看出，并行视频服务器系统由七个模块构成，各模块的具体功能分析如 数据库管理器：负责管理系统所需要的数据库，并为系统内的其他模块提供了 一组可以使用的接口。数据库管理器需要资源管理器为自己提供调用接口用来分 配资源。 资源管理器：负责监视系统资源使用情况、跟踪系统的完整性、预留资源、报 告资源使用情况等。资源管理器为其它模块提供标准接口，其它模块分配资源前， 必须使用这个接口预留资源，否则不允许分配。资源释放也通过资源管理器来完 成。 客户端管理器：是v o d 系统中最重要的部分，因为它负责接收客户端连接请求 并为客户提供服务。它为每个客户请求分配资源，跟踪客户端和客户请求的视频 对象的状态。该模块通过网络接口和客户端相连。 用户管理器：管理用户帐号、权限以及用户的活动，客户管理器通过它提供的 接口检查客户端对系统的访问控制权限。用户可以划分为客人、内容提供者、管 理员等多个级别，不同的级别拥有不同的权限。为了增加、删除以及验证用户身 份，用户管理器需要数据库管理器提供的接口。 日志管理器：负责记录其它所有模块想跟踪的所有内容，以提高系统的性能和 安全性：根据配置管理器的需要对日志和事件进行过滤。另外，为使记录的信息 更加有用，它还需要为事件记录加时间戳。同志管理器通过数据库管理器以数据 库方式汜录日志。 配置管理器：负责所有模块的配置，初始化、建立、启动所有其他模块。配置 管理器使用文件系统存储配置信息并为客户管理器提供接口以供特定客户改变 系统的配置信息。 第8 页 国防科学技术大学研究生院学位论文 视频对象管理器：负责视频对象的存储、读取以及复制到其它服务器。视频对 象可以普通文件方式存取，也可以数据库方式通过数据库管理器存取。视频对象 管理器响应对存储在本地磁盘上的视频对象的i o 请求，而对存储在数据库中的 视频对象的i o 请求由数据库管理器负责。另外，它还需要通过数据库管理器报 告视频对象的可用性( 为了元数据的快速读取，视频对象的带宽需求、文件大小、 可用性等元数据存放在数据库中) 。 此外，服务器结构中还应该包括服务提供商所要求的以及某些特定情况下所要求的 功能模块，比如数据加密、服务质量控制等。 2 2 并行视频服务器系统分析 v o d 系统要向用户提供视频等连续媒体服务。因为连续媒体具有数据量大、实时性 强等特点，所以要求服务器必须具有大容量高带宽的存储设备以及高带宽的网络设备。 比如支持1 0 0 0 条m p e g i i 标准的视频流，服务器要提供约6 g b p s 的带宽通道。在现有 的技术条件下，单一的服务器很难经济有效地满足用户对系统的资源需求，为此，我们 给出一种特殊的c l u s t e r 系统“! 二羞堑塑麴匮箜矍丕堕，基缱塑塑图2 2 所示。 图2 2 并行视频服务器系统结构示意图 ，在图2 2 中，多台服务器( s 1 ，s 2 ，s 3 ，s 4 ，可能还有更多) 通过内联网络连接组成服务 器系统后面我们称之为服务器组，组内的每台单独服务器称为节点。服务器的物理 拓扑采用并行系统结构，各个服务器组内节点被高速内联网络设备连接在一起。并行视 频服务器结构中，主要负责控制管理的节点称为控制服务器( c o n t r o ls e r v e r ，c s ) ，主要 负责视频服务的节点称为视频服务器( v i d e os e r v e r ，v s ) ，主要存放视频数据的节点称 为数据节点( d a t as e r v e r ，d s ) 。服务器系统连接到外部网络上，对用户提供服务。c s 、 d s 和v s 都拥有各自不同的d 地址。用户只需要知道c s 的i p 地址或域名即可访问服 务器系统，而不需要预先知道每个v s 、d s 的i p 地址。 2 2 i 系统结构特点 作为c l u s t e r 系统，并行视频服务器系统结构同样具有自己的特点。 节点透明性 第9 页 。，黪嚣豢 彩蕤戮囊。罐 1p，jji，p 一，同u。白nu“ 国防科学技术大学研究生院学位论文 和c l u s t e r 系统结构一样，并行服务器系统组内节点是透明的，这样可以方便用户使 用系统服务。并行系统由多个节点构成，从节点组成上来分，节点可为数据节点、服务 节点和控制节点。并行服务器系统向用户提供服务的接口( 如口地址) 只有一个，也就 是控制节点的对外接口，用户通过此接口向服务器系统发出请求后，服务器系统决定由 哪一台机器向用户提供服务。假设我们的服务器系统就像图2 2 那样构成，即由分布的 四个成员s 1 、s 2 、s 3 、s 4 组成。这样系统可以向用户提供一个服务接口其中一个 节点s 1 的m 地址，把它作为控制节点，用户可以通过它向服务器请求服务，可以得到 整个服务器系统的全部服务，s 2 、s 3 、s 4 对于用户a 来讲是透明的。 节点独立性 除了非常重要的控制节点之外，每个节点可以自由地加入或离开服务器组，不会影 响服务器组中其他的成员的正常工作。这种情况主要体现在一些节点出现了意外故障时 候，控制节点可以根据当前情况重新管理服务器系统，维护系统正常工作。这样可以提 高系统的可扩展性和可靠性，这对大规模v o d 系统是非常重要的。 良好的可扩展性和容错性 作为一种c l u s t e r 系统，因为各个节点具有相对的独立性，所以服务器系统的规模可 以根据实际的需要来配置其数量等，服务器系统的规模完全根据需求来确定。同样，因 为节点独立性强，某个节点故障只会对整个服务器系统造成局部性影响、降低服务效率， 但不会导致整个系统无法工作。对于控制节点就需要一些相关的容错机制和热备份策略 来完成系统维护工作。 经济实用，性能价格比高 组成服务器组的各个节点采用通用计算机或工作站，这样可以有效降低系统的成本。 单服务器一般采用进口的高性能工作站，价格贵、维护维修费用高。从目前市场情况看， 采用多台低端微机或者工作站组成c l u s t e r 系统的方式成本要低得多，只是组成并行系统 需要开发软件的成本有所提高了，但是其经济实用性更强，性能价格比更高了。 2 2 2 数据存储方式 并行视频服务器可以按v s 节点间的数据存储方式分为两类。3 ： 1 非共享存储方式：每个v s 节点有自己独立的存储子系统，根据不同的数据布局 方案，每个节点中可以存储系统中所有节目的数据，也可以只存储部分节目的数 据。如果节点仅存储部分节目数据，由于不同节目吸引的访问量不同，容易导致 节点间的负载不平衡；如果每个节点中都存储所有节目的数据，系统不会发生负 载不平衡，但会导致存储空间的严重浪费。在并行视频服务器中，服务节点上的 节目数据根据磁盘c a c h e 策略上传上来的，仅存储部分节目，根据负载平衡策略 可以控制系统负载平衡。 2 共享存储方式：多个v s 节点共享同一个存储子系统，每个v s 将不再有自己独 立的存储子系统。这种方式既不会导致负载不平衡，也不会因数据冗余布局而浪 第1 0 页 国防科学技术大学研究生院学位论文 费存储空间。但这种方式要求被共享的存储子系统有足够高的存储带宽，与多个 v s 的网络传输带宽之和相匹配，否则会导致网络带宽的浪费，降低系统的综合 服务性能。 并行视频服务器结构具有良好的可扩展性。其结构扩展分为两个部分：( 1 ) 数据节点 数的扩展；f 2 ) v s 节点数的扩展。二者可以相对独立地进行，只要需要更多的视频数据 存储容量就可以在系统中增加数据节点，扩展数据节点不会影响现有v s 节点的服务； 只要需要更多的服务节点服务，就可在系统中增加新的v s 节点。并行视频服务器结构 的服务容量随着v s 节点数的增加成正比增长。理想情况下，若单个v s 节点的服务规 模为m ，并行视频服务器由n 个同构的v s 节点构成，则系统的服务规模为m + n 。在大 规模超大规模v o d 系统中，通常采用并行视频服务器结构。 2 2 3 用户服务模式 并行视频服务器对用户的服务有两种模式： 一、透明服务模式，该模式的服务过程如下： 1 客户建立与c s 的t c p 连接，获取节目单信息，提交节目请求； 2 c s 从后端的多台v s 中选择一台v s 为用户提供服务。 3 v s 使用u d p 协议向客户端发送数据，因而不需要与客户端建立连接； 4 服务过程中客户端可以向c s 发送v c r 控制命令和传输速率调控命令，c s 收到 命令后，对v s 的数据发送过程进行控制。 在透明服务模式下，任何发往服务器端的信息都由c s 处理，处理结果由c s 返回给 客户端，客户端不直接与v s 节点进行交互，因而v s 节点对用户是透明的。 在透明服务模式下，c s 需要完成多项功能：( 1 ) 收集和对外发布系统的节目信息，供 用户选择；( 2 ) 接收用户请求，对用户请求进行分流和调度：( 3 ) 接收用户控制命令，对 v s 服务过程进行控制；( 4 ) 为实现平衡的调度，c s 需要不断地收集各v s 节点的当前负 载状况信息；( 5 ) 为将用户控制命令转交给为其服务的v s 节点，c s 需要维护用户一服务 节点关系表。由于c s 承担了太多的功能，在大规模超大规模v o d 中，当v s 节点太多 时，c s 将成为系统的瓶颈。因而透明服务模式不利于系统的扩展。 二、不透明模式，该模式的服务过程如下： 1 客户建立与c s 的t c p 连接； 2 c s 从后端的多台v s 中根据动态负载平衡策略选择一台v s 为用户提供服务。 3 c s 将所选v s 的邛地址传送给客户端，关闭与客户端间的连接； 4 客户端使用c s 返回的地址，建立与v s 节点间的连接。客户端与v s 节点间通过 该连接直接通信，不再访问c s 。 在不透明服务模式下，c s 仅承担调度功能，不易成为系统扩展时的瓶颈，因而不透 明服务模式的并行视频服务器系统可扩展性优于透明模式。 节点不透明限制了并行视频服务器的故障恢复能力。在节点透明模式下，若v s 节 第1 1 页 国防科学技术大学研究生院学位论文 点发生故障，故障节点所承担的用户服务可以立即被c s 转移到其它节点上继续服务。 而在不透明模式下，客户端必须知道节点发生了故障，才能重新建立与其它v s 节点的 连接。客户端有两种方式来知道服务节点发生了故障：一种是c s 主动通知客户。c s 必 须建立与客户端的t c p 连接，才能传送故障信息。t c p 连接请求由c s 发起，客户端必 须有一个侦听进程持续侦听来自c s 的请求，否则无法建立连接；另一种方式是客户端 与v s 节点有相应的故障判定协议，如服务器每隔一定时间向客户端发送“h e a r t b e a t i n g ” 消息，当服务器发生故障时，客户端能自行判断出v s 节点发生了故障。显然，无论采 用哪种方式，都增加了客户端和服务器端软件设计的复杂性。 2 2 4 并行结构分析 典型的视频服务器由存储、处理和网络三个单元组成，服务过程为：处理单元从存 储单元中读取视频数据到内存，经“流化”处理后，经网络单元流出，如图2 3 所示。 图2 3 视频服务过程 服务器同时提供的“流”数由存储单元的i o 带宽、处理单元的“流化”能力以及 网络单元的传输率决定。假设存储单元能同时吞吐岛条流，处理单元能同时处理幻条流， 网络单元能同时输出白条流，服务器同时提供的流数为坼，则 n 1 = m i n k l ，k z b ， 因此，关键问题是配置存储单元、处理单元和网络单元，使幻、乜、b 基本相等。 并行结构的视频服务器如图2 4 所示，各部分均由多个单元构成，。 l 存储单元j存储单元2存储单元n 000 l内联网络 300 l 处理单元处理单元2处理单元m 0lj i 网络单元网络单元2网络单元m 图2 4 并行结构的视频服务器示意图 同样，假设每个存储单元能同时吞吐白条流，每个处理单元能同时处理幻条流，每 个网络单元能同时输出白条流，并行服务器同时提供的流数为m ，则 第1 2 页 n 2m i n n k t ，m k 2 m 然而，对并行服务器来说，除了选择m 、n ，使n k ，、m 奶、m 奶基本相等外，还必 须考虑怎样存放数据、怎样构造内联网络、怎样保持各处理单元负载平衡，在实际应用 时使m 尽量接近m i n 加奶，m 屯m 如。 2 3 并行视频服务器中的关键技术 服务器组内节点既可以单独工作，又可以协同工作。单独工作时很简单，就是一个 单服务器。当多个成员协同工作时，情况要复杂的多，因为在大规模的v o d 服务系统 中可能有几十、几百个节点。组成系统的各个节点为了能够协同向用户提供服务，必须 相互提供自己服务能力、现服务状态等信息。当用户请求的数量很多时，服务的数据流 量会很大，如果不进行合理的负载平衡和数据调度，会消耗大量的系统资源、严重影响 系统性能、降低系统的服务效率。 采用动态负载平衡策略、磁盘c a c h e 策略和流式拷贝技术等可以有效地解决这一问 题。这些技术和方法既可以合理利用系统资源，又可以扩大应用的范围。在我们设计的 系统中，服务器组内的节点为用户服务就是使用这些策略来满足大规模用户需求的，这 些策略的实现是在控制节点上完成的。 2 3 1 数据存储 如图2 4 所示，假设每个存储单元能同时吞吐幻条流。对于某视频文件来说，它 有4 种存储方式”3 ：仅存放在某一个存储单元中，所有存储单元都存放一份，存 放在部分存储单元中，将文件打散在所有存储单元中，每个存储单元存放1 n 的内容。 对第一方式而言，磁盘利用率最高。但是，对该视频文件来说，它只能同时提供幻 条流的服务，拒绝第幻+ 1 个以后的所有服务请求，也就是说，它只起到了单机服务器的 功能。这种方式适合冷门节目的存储，而不适合热门节目的存储。 对第二方式而言，存储系统最多可以提供n * k i 条该视频文件的流出，发挥服务器最 大的并行度，但磁盘利用率最低，仅适合存储当前最热门的节目。 第三种方式是第一、二种方式的折中。越热门节目，其视频文件在整个系统存储的 份数越多。然而，随着时间的变化，节目的冷热程度也是变化的。因此，采用这种存储 方式必须了解每一个节目的点播概率，随时更新节目文件在系统中的拷贝份数。同时还 必须注意在数据迁移过程中，不能影响正在播出的服务质量。 采用第四种方式的目的是既保证磁盘利用率，又减小用户被拒绝服务的概率，提高 服务器实际应用的并行度。用户点播过程是服从普阿松分布的，假设在t 时间范围内， 请求访问某一播放时长为丁的视频文件的平均数为a t ，则视频服务的拒绝率表示为”1 ： 第1 3 页 国防科学技术大学研究生院学位论文 旷被拒绝数总访问数；1 - 幻似+ a 印 即丁增大，卢增大；丁减小，p 减小。因此，要减小顾客被拒绝的概率，必须减小丁。 因此，文件打散存储，将每一数据单元的服务时间平均缩小为t i n ，使请求的接收率从 k ，( 1 + a 刁上升到b 们+ 兄t n ) ，即服务器实际应用的并行度为单机的近，l 倍。这样做不 仅需要高带宽的内联网络，而且存在“单点故障”的致命缺点，即任意存储节点的故障 都将导致整个系统的崩溃。若将存储节点间用r a i d 方式连接，则大大增加硬件成本。 2 3 2 负载平衡 视频点播是有规律的。用户请求服务的过程服从普阿松分布，而服务器内节目的被 访问概率满足z i p 法则。1 。假设视频服务器中共有m 个节目p 、p 2 、p f ，其被访 问的概率分别为五、五、知，满足五西，j 蚵m ，且五t 尼+ + f m = 1 ，则 f = c i g 。4 c ：j 1 1 a 。j + 1 2 f 川+ + i 砌h j 其中，d 盯 j ，其值越小表明大部分的访问越集中在很小一部分数据上。 假设这m 个节目的播放时长分别为乃、乃、，当处理单元提供它们视频服务 时，视频服务的拒绝率可表示为8 】： p - - l - k ( 1 + f - ，m 正r 功 足表示所有处理单元同时能处理的流数之和。很明显，当节目固定时，以的值是固定的， 而且在某一确定时间内，五和f 的值不随服务策略而变化，i = l ，2 ，m 。因此，要减：b p ， 必须提高k 值，即让k 接近1 7 1 岛。换句话说，要把所有处理单元的处理能力都调动起 来，让它们之间达到负载平衡。要做到这一点，关键在于处理好较大的节目，j 础因为从统计数据看，一般情况下8 0 的用户集中点播2 0 的