（计算机系统结构专业论文）并行视频服务器系统的研究与设计.pdf

华中科技大学硕士学位论文 摘要 | f 随着i n t e r n e t 的发展，v o d ( v i d e oo nd e m a n d ) 视频点播技术也将有美好的发 展前景。作为v o d 系统关键部分的视频服务器也就成为当今研究的热点。与一般的 计算型服务器不同，视频服务器需要频繁占用各种资源，机器的存储容量，磁盘i 0 吞吐能力，网络i 0 带宽都在很大程度上决定了其性能的高低。根据这一特 出了一种并行视频服务器的思想，并对涉及的一些关键技术展开了深入的研 并行视频服务器可将视频文件拆分存储于多个服务结点以达到为用户提供并行 服务的目的。在确定系统的服务结构以后，仔细研究了视频文件的拆分方式以及拆 分后的视频数据块的放置方法，以优化系统的存储结构。指出了传统的集中式流调 度策略的不足之处，并根据并行视频服务器系统的特点，分析了采用分布式调度方 案的合理性。引入标准化的目录服务l d a p 管理系统的元数据，使系统各组件间交 换信息更加方便，也为多种相关应用提供了统一的操作接口。 在c o r b a 分布式组件框架下实现了系统原型，弥补了传统的分布式多媒体系 统不具备良好的扩展性和可重用性，并因此无法有效集成到开放环境内的缺陷。从 技术与经济两方面因素考虑，对如何部署软件组件的问题作了分析。提出了 w e b c o r b a 的服务模式，使系统能以一种方便通用的方式为用户提供服务。 对系统采用的视频流调度策略进行了详细的分析。在研究了并发推动视频调度 策略对服务器端缓存要求、客户端缓存要求以及系统响应时间的影响后，提出了一 种改进的并发推动调度策略，使系统对资源的占用和系统的响应时间不再随服务结 点的增多而增大，提高了系统的可扩展性。 分析了v j d 系统对容错技术的特殊要求，采用简单有效的奇偶纠错技术来恢复 系统的单点失效，并从冗余数据的存储、冗余数据的传输两方面论述了系统容错的 具体实施方案。分析了系统的安全需求，通过合理的用户与权限管理、数据的加密 传输以及分布式组件的安全策略确保了系统的安全。 、 - 。 关键词：并行视频服雾磊视频盲括，带单芫，调度蒜咯，目藁服务对象请 $ ，# i 华中科技大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e r n e t ，t h ev o d ( v i d e oo nd e m a n d ) t e c h n o l o g yw i l l h a v eas p l e n d i df u t u r e n o w a d a y s ，v i d e os e r v e r ，a st h ec r u xo fv o d s y s t e m ，h a sb e c o m e t h ef o c u so fa l l r e s e a r c h e s d i f f e r i n gf r o mc o m m o ns e r v e r sm a i n l yu s e dc o m p u t i n g ， v i d e os e r v e rf o c u s e so nt h eo c c u p a n c yo fr e s o u r c e t ol a r g ee x t e n t ，i t sp e r f o r m a n c e d e p e n d so nt h ec a p a c i t yo fm e m o r y , t h et h r o u g h p l u to fd i s k si oa n dt h eb a n d w i d t ho f n e t si o a c c o r d i n gt ot h i sc h a r a c t e r i s t i c ，p a r a l l e lv i d e os e r v e ri sp u tf o r w a r d ，w i t h d e e p r e s e a r c h e si n t ot h er e l e v a n tc r u xt e c h n o l o g i e s p a r a l l e lv i d e os e r v e rc a nd i v i d ev i d e of i l e si n t om a n yd a t ab l o c k sa n ds t o r et h e mi n s e v e r a ls e r v e rc r u n o d e s ，s oa st op r o v i d ep a r a l l e ls e r v i c e sf o ru s e r s a f t e rd e s i g n i n gt h e s y s t e m sa r c h i t e c t u r e ，t h ew a y t os p l i tv i d e of i l e sa n dp u tv i d e od a t ab l o c k sa f t e rs p l i ti s r e s e a r c h e dp a r t i c u l a r l yf o ro p t i m i z i n gt h es t o r a g es t r u c t u r eo fs y s t e m t h es h o r t a g eo f t h ec o n v e n t i o n a lp o l i c yu s e dt os c h e d u l ev i d e os t e a m su n i f o r m l yi sp o i n t e do u t ，a n dt h e r a t i o n a l i t y o fa d o p t i n gad i s t r i b u t e ds c h e d u l es c h e m ai s a n a l y z e d ，a c c o r d i n g t ot h e c h a r a c t e r i s t i c so fp a r a l l e lv i d e os e r v e r l d a p , t h es t a n d a r dd i r e c t o r ys e r v i c e s ，i su s e dt o m a n a g et h em e t a d a t ao fs y s t e m i tp r o v i d e sn o to n l yc o n v e n i e n c e sf o rc o m p o n e n t so f s y s t e m t o e x c h a n g ei n f o r m a t i o n ，b u t a l s ou n i f o r mo p e r a t i o n a li n t e r f a c e sf o ro t h e r c o r r e l a t i v ea p p l i c a t i o n s t h ei m p l e m e n t a t i o n so fs y s t e mp r o t o t y p ei nc o r b a ，t h ed i s t r i b u t e dc o m p o n e n t a r c h i t e c t u r e ，h a sm a d eu pf o rt h es h o r t a g eo f t r a d i t i o n a ld i s t r i b u t e dm u l t i m e d i as y s t e m t h a tc o u l dn o tb ei n t e g r a t e di n t oo p e n i n ge n v i r o n m e n tb e c a u s eo fl e s se x p a n s i b i l i t ya n d r e u s a b i l i t y t h e n ，t h ep r o b l e m a b o u th o wt o d e p l o y s o f t w a r e c o m p o n e n t m o r e c o n v e n i e n t l ya n de c o n o m i c a l l yi sa n a l y z e d i no r d e rt op r o v i d es e r v i c ef o ru s e r sb ya u n i v e r s a lw a y , aw e b c o r b as e r v i c em o d e li sp r e s e n t e d t h ev i d e os t r e a ms c h e d u l es t r a t e g yi sa n a l y z e di nd e t a i l b a s i n go nt h er e s e a r c ho f e f f e c t so ns e r v e rb u f f e rr e q u i r e m e n t ，c l i e n tb u f f e rr e q u i r e m e n t ，a n ds y s t e mr e s p o n s et i m e i nc o n c u r r e n tp u s hs c h e d u l es t r a t e g y , a ni m p r o v e ds c h e d u l es t r a t e g yi sp r e s e n t e d ，w h i c h _ _ - _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ l _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ 一 i i 华中科技大学硕士学位论文 m a k e st h eo c c u p a n c yo fs y s t e ml o s o l l r c ea n ds y s t e mr e s p o n s et i m ed on o ti n c r e a s ew i t h t h ei n c l c a s eo fs e r v e r n o d e s i l n p i o 、f e st h es y s t c me x p a n s i b i l i t 5 a c c o r d i n gt o v o ds y s t e m st h e s p e c i a l d e m a n do i lf a u l t t o l e r a n t t e c h n o l o g y ，t h e e f f e c t i v e p a r i t ye r r o r c o r r e c t e dt e c h n o l o g yh a sb e e np u tf o r w a r dt or e c o v e rs y s t e mf o r s i n g l ep o i n ti n v a l i d a t i o nt h e n ，h o wt op u ti np i a c t i c es y s t e mf a u l t - t o l e r a n ts c h e m ai s e x p a t i a t e di nr e s p e c to l s t o r a g er e d u n d a n td a t aa n dt r a n s m i tr e d u n d a n td a t a t om e e tt h e s y s t e ms e c u r i t y r d e m a n d s t t c hn l e a s u l e sh a xcb e e nt a k e na st h er e a s o n a b l eu s e ra n d a u t h o r i z a t i o n m a n a g e m e n t e n c r y p t e dd a t a t r a n s m i ta n ds e c u r i t y p o l i c yo fd i s t r i b u t e d c 0 1 1 1 p o n e n t k e y ，o r d s ：p a r a l l e lv i d e os e l v e r v i d e oo nd e m a n d s t l i p eu n i t s c h e d u l es t r a t e g ) d i t e c t o r ys e r v i c e ，o b j e c tr e q u e s tb r o k e r i i l 华中科技大学硕士学位论文 = = = = = = = ；= = = = = = = = = ；= = = ；= = = = = = = = = = = = 1 绪论 1 1 v o d 的发展现状与应用前景 随着i n t e m e t 的普及与宽带接入技术的发展，人们越来越感受到了信息技术带 来的实惠。人们能更方便的获取世界各地的信息，也可以享受各种个性化的网络服 务。网络改变了人们的生活方式，更刺激了众多新技术的产生和发展。v o d 视频点 播技术就是一种将多媒体信息处理与百连网络紧密结合的产物，它的出现在某种 意义上讲是视频信息技术领域的一场革命其巨大的潜在市场，使世界主要发达国 家都投入了大量的资金，加速开发和完善这一系统。 v o d 技术的出现，改变了过去被动式收看电视节目的方式，用户不必再去遵守 传统的时间表，打开电视机或个人电脑就可以直接点击希望收看的节目，用户完全 掌握了信息获取的主动权。使用视频点播业务就如同在自己的录像机或影碟机上看 节目一样方便，用户不仅可以自由调用节目，还可以对节目实现编辑与处理( 如暂 停、快慢进、搜索等等) ，系统甚至可以通过记忆用户的偏好来向用户推荐节目。 目前有两种v o d 网络系统：有线电视系统和计算机网络系统。有线电视系统技 术及设备一直不成熟，在试验应用中系统不稳定，功能单一、扩展性较差、不易升 级换代。网络与设备复杂，需要对单向有线电视网络进行双向网络改造，造价难以 下降，系统用户数量难以很大。同时它没有全球统一的标准，与计算机多媒体信息 互通与转换复杂，很难跟上计算机网络技术的飞速发展，因此，一直没有较好的应 用实例。 构架于计算机网络上的v o d 系统则是最有发展前景的系统，上述有线电视系统 的弱点它都不存在。但尽管如此，目前这种系统也仪应用于智能小区、宾馆酒店等 一些小的范围内真正投入大型商业运营的并不多，这其中有诸多因素的影响。从 技术的角度来讲，要使v o d 网络进入商业运营，除了多媒体视频服务器的性能外， a t m 交换机的实用化，i p 网络上传输服务质量的保证问题的解决，接入网瓶颈的解 决高效实用的用户终端啦本的降低，相f 堂软件业的兴起等，都是必须加以考虑的 问题。从业务的角度来讲匿家还没有捌宅出与信息业的高速发展相适应的法律和 华中科技大学硕士学位论文 = ；= 一 = = 法规，如信息版权、许可证等。这些都在很大程度上制约了视频点播服务的发展。 但由于v o d 技术功能的强大以及给人们带来的便利，它仍然拥有巨大的市场潜 力与广阔的应用前景： ( 1 ) 影视歌曲点播 卡拉o k 歌厅、宾馆饭店、住宅小区。如：在小区中小区住户可通过电视机机 顶盒或个人电脑登录v o d 视频服务器，任意点播自己喜欢收看的电视及新闻节目。 ( 2 ) 教育和培训 校园网和多媒体教室、远程教学、企业内部培训、医院病理分析和远程医疗。 如：教师备课时可通过微机终端方便及时的提取备课及教学资料。同时，课堂教学 也可以为学生提供动态直观的演示，增强学生的记忆力和理解能力。 ( 3 ) 多媒体信息发布 电子图书馆、政府企业。如：企事业单位可通过此系统调用以往会议的视频资 料，负责人也可通过系统发表讲话，系统会通过网络将信息实时的传送到下端各个 部门，为企事业单位节省大量宝贵的时间。 ( 4 ) 交互式多媒体展示 机场、火车站、影剧院、展览馆、博物馆、广告业、商场。 在当今社会向高度信息化迈进的时代，计算机网络投资将越来越便宜，电子商 务、家庭办公也越来越多受到人们的欢迎，计算机网络系统已经成了众多酒店、企 事业单位、小区一步到位的综合型信息平台，架构于计算机网络之上的v o d 技术作 为最形象、最直接、最合乎用户需求的信息服务手段之一，必将在今后的信息高速 公路上传送最多的信息，对社会产生重大的影响，给人们带来巨大的经济效益。 1 2 视频服务器系统面临的问题 高质量的视频点播( v o d ) 服务面临着巨大的挑战，因为数字视频要求比传统 的数据服务更大的存储空间和传输带宽，需要不间断提供稳定速率的视频流给用户 以保障播放效果平滑。v o d 系统通常是由视频服务器、传输网络、点播终端构成， 在目前网络带宽一定的情况下，要想充分利用现有资源为多个并发用户提供可靠的 瞻磊；视频服釜瑟性能数岱签最韭鲎苤壁鲤1 2 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = ；= = = = = = = = = ；= = = 一 视频服务器是一种对视音频数据进行压缩、存储与处理的专用计算机设备。与 般的计算型服务器不同，视频服务器需要频繁占用各种资源，机器的存储容量， 磁盘i o 吞吐能力，网络i o 带宽都在很大程度上决定了其性能的高低。由于v o d 系统一般需在2 4 小时内提供不间断的服务，同时也要防止他人未经授权获得视频信 息，以此保障付费用户的权益，因此视频服务器就需要有较强的可靠性、可用性以 及安全性。此外，用户的需求可能会不断改变，系统也可能从小型网络升级大型网 络，视频服务器需要能很方便的适应这些变化，具有良好的可扩展性。总之，要完 成高性能视频服务器系统的设计需要进行大量有效的工作，重点解决以下五个关键 技术问题： ( 1 ) 存储结构的设计 为了同时为尽可能多的用户服务，视频服务器的存储系统必须提供很高的i o 带宽。由于存储i o 带宽受硬件条件的限制，因此，提高存储子系统的吞吐率主要 集中在如何充分发挥现有存储设备的i 0 能力上。首先应优化磁盘的调度策略，充 分利用有限的磁盘i o 带宽。其次，要优化视频数据的存储方式，改进系统的性能。 ( 2 ) 实现高效的扩展性存储 视频服务器承载视频节目的数量受服务器存储容量的限制。由于硬盘的存储容 量有限，即使采用多硬盘和r a i d 技术，仍存在管理、成本等方面的问题，因此， 扩展视频服务器的存储系统，建立层次结构的存储模型是扩展视频服务器存储容量 的主要技术1 2 】。 ( 3 ) 流的调度与控制 保证稳定连续的视频流是v o d 系统一个最基本的要求，因此流调度与控制策略 的好坏将直接影响视频服务器性能的高低【3 1 。在分布式多媒体系统中，视频流传输是 由系统源端出发、经过传输网络、最终到达目的端的过程，这其间很可能会出现各种 情况，如服务器总线冲突、网络阻塞等。因此，就需要一个好的视频流调度与控制 策略合理调度服务线程以及合理分配存储i o 带宽、网络带宽和缓冲区等资源，将 数据传送的延迟时间控制在允许的范围内，保证客户端视频的平滑播放。 ( 4 ) 系统的容错与安全 直面进过：旦丕筮筐筵基堡数量兰型：堕丕回堑盟笪塞壁笠：垦些塑堡望墨 3 华中科技大学硕士学位论文 器的容错能力与安全机制就显得很重要了。与其它容错系统不同的是，视频服务器 需要能快速有效的检测出自身是否失效，使系统的容错处理对视频回放的连续性【4 l 不产生影响a 在安全方面，系统需要建立有效的用户管理与权限管理机制，为不同 级别的用户进行不同级别的授权引。此外，有些v o d 系统还可能通过对视频流的加 密来为用户提供安全的服务1 。但这里存在一个问题，即如果在视频服务器存储之 前就加密( 称静态加密) ，那么非法用户旦掌握了密码，就能很容易看到视频节目； 如果在数据传输到用户的时候开始加密( 称动态加密) ，这虽在定程度上提高了系 统的安全性，但每个用户必将多占用一定的资源，影响系统的整体性能。进行系统 设计时需根据实际情况来选择相应的加密方式。 ( 5 ) 方便开放的管理 由于视频服务器强调对资源的占用，因此v o d 管理系统需要能准确判断系统资 源的使用状况，管理控制用户对视频服务器资源的使用。另外，设计管理系统时还 应充分考虑它的易用性和开放性，能实现与其它网络管理应用实现无缝连接、共享 数据。 进行视频服务器的设计时需要充分考虑以上五方面的问题，并使设计最优化， 以达到最大限度的利用现有资源，提供高质量服务的目的。下面的内容将结合目前 流行的视频服务器结构具体说明进行系统设计时会遇到的问题。 视频服务器分单服务器结构与多服务器结构两种形式【7 1 ，小型r o d 系统多采用 单服务器结构，这种视频服务器可以是标准的p c ，也可以是拥有多个处理器的并行 计算机。使用高端硬件设备可以在一定程度上增强服务器的性能，但这样的花费往 往比较昂贵，而且性能的提升幅度也很有限。此外，通常需要对服务器上的数据进 行备份，这就要求多倍的额外存储空间，而一些高质量的数字视频文件所要求的 存储量就更大，所以这种单服务器结构的系统代价是很大的。另外这种结构虽然可 以采用磁盘阵列等来实现局部设备的冗余容镨，但若是主扳等某单一设备出现故障， 或是软件问题导致死机，整个系统就会崩溃。 多服务器结构通常是将所有视频文件分别存储于多个不同的服务器上，这种方 式不要求额外的数据存储，【日它带来了一个负载平衡的问题。因为可能出现这种情 形即某些视频文件比其它的视颁更受欢迎，这样存储这些视频文件的服务器将会 华中科技大学硕士学位论文 = = = = = = = = = = = = = = ；= = = ；= = = = = ；= = = 一= 一 出现超载，而这时别的服务器却没有被充分利用。若采用镜像的方法，将视频文件 的多个副本存储于多个服务器上，当用户请求到达时管理系统可根据各服务器当前 的负载情况，调度轻负载的服务器结点为用户提供服务，以达到均衡负载的目的。 这种方式带来的最大问题是浪费了系统大量的存储空间。其次，假设某时间段内有 多个用户中断了与其中几台服务器的视频流连接，但又没有新用户请求建立连接， 那么这几台服务器将处于轻负载状态。这时为了使负载恢复均衡，管理系统需要重 新分配服务器资源，这不仅会增大系统实现的复杂性，而且还可能影响系统的服务 质量。 1 3 课题研究的主要工作 在充分分析视频服务器面临的问题以后，课题提出一种并行视频服务器结构 7 1 ， 以在最大程度上改进系统的性能。这种结构借鉴了磁盘阵列的思想，对视频文件进 行有效的拆分并按带状( s t r i p i n g ) 分布在多个服务器上，由于每个带单元( s t r i p eu n i t ) 长度很小，可以并发的进行调度，在访问用户较多的情况下可明显的提高视频点播 的质量，平衡各服务器的负载，有效解决了一般的多服务器结构带来的问题。它仅 需要较少的空间存储冗余数据，有很强的容错能力，存储空间大大节省。此外，通 过增加服务器数量并同时重分配视频数据，可提高系统性能，增强了可扩展性。 并行视频服务器的结点既可是高端的服务器，也可是低端的普通p c ，并都能提 供较好的可靠性、可用性和可扩展性，适合搭建各种类型的视频点播系统。由于当 前大型v o d 系统多采用高端的服务器机群，它们的价格相当昂贵，上百万的购买成 本对一般的服务提供商来说是不可想象的，若采用价格相对便宜的单服务器系统， 其服务能力又成问题，因此从经济上考虑，并行视频服务器结构也是一个很好的选 择。 课题对这种并行视频服务器结构涉及的一些关键技术展开了深入的研究，以下 就是昕做的主要工怍： ( 1 ) 分析比较目前较成熟的视频服务器结构与性能的特点，提出并行视频服 务器的体系结构和服务框架； ( 22 垅业数握筮堂望重錾竖：逞直丕筮壁篚i 5 华中科技大学硕士学位论文 ( 3 ) 从服务器与客户端缓存要求、磁盘i o 吞吐量、系统响应时间和可扩展 性等方面改进优化流调度策略； ( 4 ) 研究保证高质量服务前提下的检纠错方法： ( 5 ) 利用高效的网络加密技术防止非法用户获得v o d 服务； ( 6 ) 利用l d a p 的访问控制列表( a c l ) 以及c o r b a 分布式组件的安全策 略维护系统的安全； ( 7 ) 使用基于l d a p 协议标准的目录服务管理系统资源，实现与其他应用的 数据交换； ( 8 ) 使用c o r b a 组件技术实现对分布式多媒体流的管理与控制，增强系统 可扩展性； ( 9 ) 通过w e b 与c o r b a 结合，方便客户端的访问。 6 华中科技大学硕士学位论文 = ；2 = 一 2 系统架构的设计 本章首先描述了并行视频服务器系统的软硬件结构以及分布式的网络构成，然 后从优化系统整体性能的角度研究了系统的存储方案、调度策略等关键技术，最后 细述了用标准化的目录服务l d a p 管理系统的模式。 2 1 系统的服务结构 2 1 1 服务主机与网络的构成 第一章已经提到，视频点播服务对服务器系统的磁盘i o 、网络i o 、负载均衡 能力等都有很高的要求，因此体系结构设计的重点应放在如何提高对有限资源的利 用率上。另外除了技术上的考虑，服务器的设计成本、维护代价也是必须注意的。 本文提出的并行视频服务器结构就是在综合考虑了技术与经济两方面因素的基础 上，设计的一种由相对廉价的p c 机构成的高性能服务器体系【7 ，9 。3 1 。图2 1 是系 统的结构图。 内 部 网 图2 1 并行视频服务器系统的结构 7 华中科技大学硕士学位论文 = = = = = = = = = ；= ；= = = = = = ；= 一= 一： 用户提供高质量服务。为了总体调度与互相之间通信的需要，也为了避免占用视频 服务带宽，系统利用1 0 0 m 高速内部网络将各服务结点互联。该系统具有很好的可 扩展性，不需对系统软硬件结构进行更改便可任意增加视频服务器的数量，以适应 从几百到几千等不同用户规模应用的需要。此外，随着用户和服务器数目的增长， 网络带宽将可能成为瓶颈，本并行视频服务器系统也可以跨网段进行服务，即将多 台服务器分别置于不同的局域网中，以充分利用各局域网的带宽资源满足广域网中 的大量视频点播请求。 系统改变了传统视频服务器的数据存储方式，引入了数据分带放置的模型，即 将单个的视频文件按某种方式拆分为多个视频数据块分别存储在多个服务器上，以 此达到服务器负载均衡、并发提供服务的目的。图2 2 描述了数据分带存储的思想。 s os 1s 2 s 3s 4 数据带 数据块 iv o 置圉iv雷lv 2 篱震lv 3 翳鬻lv 4 壤 j v 5 ji v l v 7jj v 8 li v 9 i j vz oj jv ，jjv i z jv l ，ii v ，4 l 0 v 1 5i l v s i jv 1 7l| v 1 8ljv 1 9 | ii 图2 2 视频数据的分带存储 该系统采用了以分布式调度为主的服务策略，将调度的开销分散到多个服务器 上，减轻主调度代理的负载。当用户想建立一个视频会话时，他可发请求给并行服 务器系统的主调度代理，由调度代理根据当前系统的负载情况决定是否同意用户请 求。若此时系统有足够的能力，则它将同时通知所有的视频服务器，让它们并发为 用户提供服务。在后序章节我们将详细分析讨论这种调度模式。 2 1 2 分带与放置策略 并行视频服务器的核心思想就是数据的拆分存储与视频流的并发调度，因此， 分带与放置策略的选取是很重要的。 目前流行的分带策略有两种：时间分带和空间分带f 7 j 。时间分带是以l 个帧 8 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = 2 = = = = = = = = = = = 一一= ( f r a m e ) , j 单位将视频流按带分布到多个服务器上，每个v i 包含l 个帧，当l 1 时 称为子帧分带( s u b f r a m es t r i p i n g ) ，l i 时为简单帧分带( s i m p l yf r a m es t “p i n g ) 。 b i e r s a c k 等人的研究表明 1 5 1 ，无论对恒定比特率还是变比特率的视频流，子帧分带 技术都能极好的平衡各服务器的负载。空间分带就是将一个视频流分成若干固定大 小( 字节) 的带单元，带单元的大小可以从几十k 到几百k 字节不定，因为空间分 带的带单元大小都相同，这就简化了系统的存储和缓冲的管理，同时也使得视频流 能够独立于编码格式和帧界限分布到服务器上。视频流经m e p g 等算法压缩后，不 同的带单元可能包含不同数量的数据帧，并且一些压缩算法还可能使视频流具有变 化的比特率，因此在进行系统设计时，应该把不同带单元的解码时间的差异考虑到 客户端缓冲请求的模型中去。但为了研究的方便，目前大多数的研究工作都假定每 个带单元的播放时间是恒定的。本课题设计的并行视频服务器系统采用的是空间分 带策略。 将视频数据分带以后，还需要将它们按某种方法合理的放置于各服务器上，这 就涉及到放置策略的选取。循环放置策略是目前多数并行视频服务器用到的方法。 如果各个带单元用v i ( i = o ，l ，) 来表示，服务器用s jq - - o ，l ) 来表示，那么 带单元v i 将存储在s j 服务器上，其中j = im o dn s ，n s 为服务器的数量。但是，这 会带来两个问题。第一、若系统总是从服务器s o 开始放置的话，因为视频流的长 度不一定总是分带大小的整数倍，当i 0 ，则称解码滞后，t d w ( i 1 0 ，则称解码提前。 接下来定义最大的解码滞后t l 和最大的解码提前t e ，以及这两个峰值的差t d w ： t l = m a x t d w ( i ) l 对任意i 0 ) t e 2 m i n t d w ( i ) l 对任意i o ) t d w = t l - t e 假定t l 与t e 的边界已知，那么开始解码两个视频块与v j ( i 0 ) 与d - ( 旷0 ) 分别用来表示发送时刻的正负偏差，这种偏差由 系统的一些随机性因素引起，如数据发送率的变化，c p u 调度的变化，总线的竞争 等。 当前y 个缓冲填满后客户端才开始播放视频流，因此组0 被解码播放的时刻为 t 。= f ( y 1 ) ，那么组i 被播放的时刻p ( i ) 满足下列关系式： i n s t w g + f ( y 一1 ) + t e ) p ( i ) r i n s t 矗v g + f ( y 一1 ) + t l ) 式( 4 7 ) 很明显，为了使视频连续播放，必须确保视频组在播放的最后期限前到达。因 此，在最坏的情况下，视频组最迟的到达时刻应该小于或等于它最早被播放的时刻， 即： m a x f ( i ) ) m i n p ( i ) 式( 4 8 ) 根据式( 4 又由式( 4 同样式( 4 根据式( 4 1 ) ( 4 4 ) ，可知n s t 。g - t f ，上式左边为： m a x f ( i ) ，= ( i + 1 ) t f + t o + m a x 6 ) + d + 3 ) 知8 t r ，可进一步得到： m a x f ( i ) = ( i + 1 ) t f + t o + t f + d + = ( i + 2 ) t f + t o + d + 8 ) 右边为： r a i n p ( i ) ) = i n s t i v | + m i n f ( y 一1 ) ) + t e = i t f + y t f + t 0 + d _ + t e 8 ) ( 4 9 ) ( 4 1 0 ) ，可得到： ( i + 2 ) t f + t o + d + i t f + y t f + t o + d _ + t e 进而可求出y 所以 y 2 + d - d - - t e t f 3 7 华中科技大学硕士学位论文 = = = 2 = = ；= = = = = = ；= = = = = = = 一 y 2 f + 爿n s 另外，需分配z 个缓冲防止视频数据上溢。因为客户端缓冲是一个环形缓冲， 必需保证至少有一个空白缓冲用来接受同时到达的n s 个视频块，这就要求第i 个视 频块组必须在第( i + 1 2 ) 个视频块组( 1 = l c , t n s ) 全部填充到缓冲区之前开始播放，即 组( i + l 一2 ) 的最早到达时刻要大于或等于组i 最迟播放时刻： m i n f ( i + l - 2 ) ) m a x p ( i ) 式( 4 1 3 ) 这样根据同样的方法我们可求出z ： z - f + 等1 4 1 _ 3 系统响应时间 系统响应时间是指从客户请求新的视频对话到开始播放视频之间的时间间隔， 它包括两部分：调度延迟与预填充延迟。调度延迟是指从客户请求新的视频对话到 服务器开始发送数据的时间。调度延迟的长短受用户请求到达时刻的影响，当一个 磁盘周期已经开始后用户请求刚好到达，服务器就要等到下一磁盘周期才能回取用 户请求的数据，这时调度延迟就为两个服务周期，即d s = 2 n s q r v ，这是一种最坏 的情况。假定用户请求到达时刻在时间区间( t ，什t f 内均匀分布( t 某一磁盘周 期起始时刻) ，其概率密度就为l t f ，这样便可求出调度延迟的平均值： d s = 1 5t f = 1 5 n s q r v式( 4 1 5 ) 预填充延迟是指从服务器开始发送数据到第一个y 组数据全部到达客户缓冲的时 间。根据式( 4 6 ) ，可得到预填充延迟d p 为： d p = m a x f ( y - 1 ) ) t o = ( y + 1 ) t f + d 娟+ 厂d - d - ，- t e n “- ( 3 + f， 一旷 3 8 华中科技大学硕士学位论文 = = = = = = ；= = = = = = ；= 2 ；= = = = = = 一 4 2 改进后的调度策略 上面的结果表明，若系统使用并发推动调度策略，那么客户端缓存大小以及 预填充延迟d p 都将受服务器的数目n s 的影响，若要增多视频服务器以改进系 统性能，客户端缓存大小也要随之增大，这直接影响了系统的可扩展性。若对 原有策略进行必要的改进( j 就可有效降低对客户端缓存大小的要求并减少系统 的响应时间，此外只要将改进策略中的相关参数设为特定值便能进一步使客户 端缓存大小和预填充延迟跟服务器数目n s 无关，以达到扩展系统的目的。图4 3 展示了该改进策略的基本原理： 事务大小麓速丈小 国5 ) - e s ) mb y t ) 图4 3 改进的并发推动调度策略 因为若减小带单元大小q 可降低对客户端缓存的要求，但这将使服务器读盘频率增 大，降低磁盘回取效率，所以在这个算法里，事务大小q ( 磁盘读取块大小) 与发 送大小u ( 带单元大小) 是不同的，它们满足下面的关系： u = q n( n = 2 ，3 ，4 ，)式( 4 1 7 ) 在一次事务中，n s 个服务器分别同时读出q 个字节的视频块，这与并发推动调度 策略中的情形是一样的，因此它对服务器端缓存的要求及调度延迟也跟原策略一样。 所有服务器每次并发发送n s 个u 个字节大小数据块，然后在客户端组成一个大小 为n s u 个字节的视频块并解码播放，客户端的这一过程是与原算法类似的。显然， 客户端缓存大小y 和z 已不再需要一定为n s 的整数倍了。因为一个大小为n s u 的 视频块由来自n s 个服务器上的小块组成，因此这个视频块全部到达客户缓存的时 3 9 乳 鞋 船 轧 华中科技大学硕士学位论文 刻要受发送抖动6 的影响，那么块i 全部到达客户缓存的时刻满足以下关系： ( ( i + 1 ) ( n s n ) 1 v g + t o + d - ) f ( i ) ( ( i + 1 ) ( n s f n ) t 。g + t o + 6 + d + ) 仿照上面的方法，我们同样可以得出y 与z y ：1 2 + 坐! 习( 酬加1 8 ) z 轭+ 坐竺习( n s ，n ) 删1 9 ) l n s t a v g lf n s t a v g f 预填充延迟d p 为： ：p 竖! 型 )tars+dp(nsn t d + 式( 4 2 0 )= 1 3 _ 二i)+ 式( 4 ) f n 5 t a v s f 由式( 4 1 8 ) ( 4 1 9 ) ( 4 2 0 ) 可以看出，当n 较大。即带单元大小u 较小时， 对客户缓存的要求和预填充延迟都较小，但这里并不是说n 越大越好，n 太大时， 会使带单元在服务器端的放置以及在客户端的处理开销增大，因此1 1 的选取要根据 实际情况而定。特别的当n = n s ，即u = q n s 时，客户缓存的大小与预填充延迟都为 常量，不再依赖于视频服务器的数目n s 了，这一点对设计可扩展性好的系统是很 重要的。此外，若( d + _ d - 一t e )与( d - d - + t l )为整数，且n 为n s 的整数 l v gt 。，g 倍，即n = k n s ( k = l ，2 ，) ，这时y 的大小为： y ；2 k + ( d - d - - t e ) t a v 8 由式( 4 2 1 ) 可以看出y 为不随n s 变化的恒定值，同理，这时z 、d p 也为恒定 值，因此适当选择1 1 的大小，就可使客户缓存的大小与预填充延迟较小，同时使它 们保持为不变值便于系统扩展。 华中科技大学硕士学位论文 4 3 性能比较 为了更直观的比较两种调度策略的性能特点，可通过下面的图表来说明。首先 给出算法里涉及的一些未知参数的经验值如表4 1 ： 表4 1 参数的经验值 lq ( b )r v ( k b s )t e ( i n s )t l ( m s )d 一( m s )d + ( m s ) i3 2 7 6 8 2 5 61 2 81 2 80o 这样根据4 2 节推导出的计算公式和本节给出的参数经验值可以得出客户缓冲区大 小、预填充延迟与服务器数目的关系图。 1 2 0 曼1 0 0 曼8 0 雉6 0 野4 0 翥2 0 0 同 i + n _ 4l i = ! 二坠i 41 22 02 8 服务器数目 图4 4 客户缓存一服务器数目 1 0 3 8 裂6 婺t 墓2 0 阿 l + n = 4l i ! ：! ! l 41 22 02 8 服务器数目 b i4 5 预填充延迟一服务器数目 从图4 4 与图4 5 可以很容易的看出改进前的策略( n = 1 ) 所需客户端缓冲大，预 填充延迟也较长而且随着服务器数n s 的增加，它们的增幅也较大，改进后的策 略在这两方面则有着明显的优势。 4 4 小结 从服务器端调度，客户端消费，系统响应时洲三个方面定量分析了并发推动调 度策略的特点，提出了运用于系统的一种改进的调度方案，论述了它在系统资源消 耗、系统响应时间以及可扩展性等方面相对前者的优势。本章的分析结果，不仅在 理论上验证了系统的视频流调度策略的科学性，而且还可以为今后的相关设计提供 依据与参考。 4 l 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = ；= = = = = = = ；= = = = = = 一：= 一 5 容错方案与安全策略 本章详述了并行视频系统在容错与安全方面的需求，对应用于系统的容错算法 和安全策略进行了分析，详细论述了容错方案的实施方法和过程以及如何利用目录 服务和c o r b a 安全规范确保系统的安全。 5 1 系统的容错方案 5 1 1 系统对容错技术的要求 系统容错能力的强弱是衡量各种服务器系统性能优劣的重要指标之- - 3 8 ，3 9 】。不 同级别、不同种类的服务器对容错技术的要求有很大区别。视频点播系统需要为大 量用户提供2 4 小时不问断的服务，这就要求并行视频服务器系统具有较高的可靠性 与可用性。因此选用适合的容错技术最大限度提高系统的容错性能是系统设计的重 点之一。下面将结合v o d 系统的特点，具体分析并行视频服务器对容错技术的要求。 ( 1 ) 由于视频点播的客户端要求持续稳定的视频数据流来保证播放的高质 量，因此系统的容错技术应该具有高效性，即不能明显影响数据流的传 输速率以致造成客户端的播放抖动。 ( 2 ) 视频服务器强调对网络、存储等资源的占用，因此系统容错策略的引进 不能消耗过多的资源。这不仅会增加投资成本，而且可能会影响服务质 量。 ( 3 ) 系统采用多服务器并行服务的结构，因此在设计软件系统时应尽量避免 引入新的单点故障。 5 1 2 数据的冗余存储策略 并行视频服务器可以实现服务器级的容错【4 0 1 ，由于两个服务器同时出错的概率 很小，因此我们优先考虑单点出错的情况，即在一个服务器结点失效时，