（计算机系统结构专业论文）集群视频服务器容错与流共享策略研究.pdf

华中科技大学硕士学位论文 摘要 随着计算机处理能力的提高、高速网络技术的发展、各种数字音频视频设备以 及数据压缩技术的不断出现，视频点播( v o d ，v i d e o o n d e m a n d ) 等交互式视频 服务受到了越来越多的关注。随着视频点播业务的快速普及，人们对v o d 系统的 性能提出了越来越高的要求。在不考虑网络子系统的情况下，v o d 系统的性能主 要取决于v o d 服务器的性能。 为实现集群视频服务器的高可用性，提出基于w a n l a n 系统三层结构的三级容 错机制，包括前端机、数据结点和控制结点级容错。前端机采用m o n + h e a r t b e a t + f a k e 的集群负载均衡系统容错策略，m o n 运行在前端机和备份机上，负责监控所有服务 结点及指定的服务进程，h e a r t b e a t 进程负责在前端机和备份机间交换心跳信号， f a k e 进程在备份机上运行，实现在前端机故障情况下的自动i p 地址接管；数据结 点容错基于播放过程中，数据服务器和控制服务器之间汇报包的检测，数据结点的 故障由控制服务器检测并实现故障接管，对客户端完全透明；控制结点容错分为主 机级和r t s p 任务级容错，主机级容错由运行在前端机上的m o n 进程实现，r t s p 任务级容错由数据服务器，客户端系统及前端机调度系统三者协同检测并协同处理 来实现r t s p 任务的重建。 为提高w a n l a n 集群视频服务器的服务能力，基于g r a c e p a t c h i n g 流生成策 略、p e r i o d p a t c h 主流管理算法和p a t c h i n gf i r s t 流调度策略，提出t p g - p a t c h i n g 流共享策略。采用g r a c e p a t c h i n g 流生成策略实现一定时间问隔内对热点影片请 求的流合并；p e r i o d p a t c h 主流管理算法使生成的主流更加有序：p a t c h i n gf i r s t 流 调度策略针对p a t c h i n g 流满足绝大部分用户请求这一事实，采用m f p q 流调度算 法优先调度p a t c h i n g 流，提高系统的流调度性能。扩展了标准的r t s p 协议，提 出m u l t i c a s t r t s p 协议使系统具有单播和多播的自适应性。 基于l i n u x 平台采用c c + + 语言实现了w a n l a n 集群视频服务器的三级容错和 t p g p a t c h i n g 流共享策略，并基于l i n u x 和w i n d o w s 平台实现了客户端对容错和 流共享策略的支持。 关键词：视频点播，集群视频服务器容错，流共享，多播 华中科技大学硕士学位论文 a b s t r a c t w i t ht h ea d v a n c e m e n to fc o m p u t e rp r o c e s sc a p a b i l i t y , d e v e l o p m e n to fh i g h s p e e d n e t w o r kt e c h n o l o g ya n da p p e a r a n c eo fn e wm u l t i m e d i ad e v i c ea n dc o m p r e s st e c h n i q u e i n t e r a c t i v ev i d e os e r v i c e s ，s u c ha s v i d e o o n - d e m a n d ( v o d ) ，g e t m o r ea n dm o r e n o t i c e w i t ht h eb u s i n e s so f v o d f a s t l ye x p a n d e d ，h i g hp e r f o r m a n c eo f v o ds y s t e mg e t s m o r ea n dm o r ei m p o r t a n t a sn e t w o r kb a n d w i d t hi sn o ty e ta b o t t l e n e c k ，p e r f o r m a n c eo f v o d s y s t e mm a i n l yd e p e n d s o np e r f o r m a n c eo f v o ds e r v e r a c c o r d i n gt ot h et h r e el e v e la r c h i t e c t u r eo f w a n l a nc l u s t e r e dv i d e os e r v e r , t h i sp a p e r p r o p o s e sat h r e el e v e lf a u l tt o l e r a n ts c h e m et og e tt h eh i g ha v a i l a b i l i t y af a u l tt o l e r a n t a p p r o a c ho fc l u s t e rl o a d b a l a n c es y s t e mn a m e d m o n + h e a r t b e a t + f a k e ”i sa d o p t e d ，m o r t r h n so nf r o n t e n da n db a c k u pn o d e ，m o n i t o ra l lt h es e r v i c en o d e sa n ds e r v i c ep r o c e s s e s r u no nt h e m ；h e a r t b e a tp r o c e s s e se x c h a n g eh e a r t b e a ti n f ob e t w e e nf r o n t e n da n db a c k u p n o d e ；f a k ep r o c e s sr u n so nb a c k u pn o d e ，w h i l ef r o n t e n dc r a s h e d ，f a k ep r o c e s sm a k e b a c k u pn o d et oa u t o m a t i c l yt a k eo v e rt h ei pa d d r e s so f f r o n t e n d f a u l t t o l e r a n c eo fd a t a n o d ei sb a s e do nt h ec h e c k p o i n ti n f o p a c k e t s s e n tf o r md a t a s e r v e rt oc o n t r o l - s e r v e r d u r i n g t h e p l a y i n gt i m e ，t h e f a u l to fd a t a s e r v e ri sd e t e c t e da n dh a n d l e d b y i t s c o n t r o l - s e r v e r , t h i sp r o c e s s i s t r a n s p a r e n t t oc l i e n t s m a c h i n el e v e lf a u l t t o l e r a n c eo f c o n t r o l s e r v e r i m p l e m e n t sb y t h ec l u s t e rl o a d b a l a n c e s y s t e m r t s p t a s k l e v e l f a u l t t o l e r a n c ei m p l e m e n t sb yt h ec o o p e r a t i o no fd a t a s e r v e r ，c l i e n ta n ds c h e d u l es y s t e m o ff r o n t e n d t h i sp a p e rp r o p o s e san o v e ls t r e a ms h a r i n gs t r a t e g yn a m e dt p g - p a t c h i n g ，w h i c h b a s e do nt h es t r e a m c r e a t i n ga l g o r i t h m o f g r a c e p a t c h i n g ，t h er e g u l a r s t r e a m m a n a g e m e n ta l g o r i t h m o fp e r i o d p a t c h ，a n dt h es t r e a ms c h e d u l es t r a t e g yo fp a t c h i n gf i r s t t h es t r e a mc r e a t i n ga l t o r i t h mo fg r a c e p a t c h i n gi m p l e m e n t ss t r e a i n sm e r g i n g o f r e q u e s t s o fp o p u l a rm o v i e s ，w h i c ha r r i v ew i t h i nas h o r ti n t e r 、a 1 t h er e g u l a rs t r e a mm a n a g e m e n t a l g o r i t h m o fp e r i o d p a t c hm a k e st h en e w r e g u l a rs t r e a m sm o r er e g u l a r d u et ot h ef a c tt h a t p a t c h i n gs t r e a m sm e e tm o s t l yc l i e n tr e q u e s t s ，s c h e d u l es t r a t e g yo fp a t c h i n gf i r s ta d o p t s m f p qs t r e a ms c h e d u l ea l g o r i t h mt os c h e d u l ep a t c h i n gs t r e a m sf i r s t ，t h a ti m p r o v e st h e s t r e a ms c h e d u l ep e r f o r m a n c eo fw a n l a n s y s t e m i na d d t i v e ，t h i sp a p e re x p e n dt h en o r m a l r t s pp r o t o c 0 1 a n dp r o p o s e sn e wm u l t i c a s t r t s pp r o t o c o lt os u p p o r ts t r e a mt r a n s p o r t a p p r o a c h e so f u n i c s t ，m u l t i c a s ta n dm i x e d m o d e i i 华中科技大学硕士学位论文 b a s e do nt h el i n u xp l a t t b r mw i t hc c + + l a n g u a g e ，t h es o f t w a r ei m p l i m e n t a t i o no f w a n l a ns e r v e rf a u l t t o l e r a n c ea n d t p g - p a t c h i n g s t r e a m s h a r i n gs t r a t e g y a r e p r e s e n t e d ，t h ec l i e n td e s i g nt os u p p o r tf a u l tt o l e r a n c ea n ds t r e a ms h a r i n gi sa l s od i s c u s s e d k e y w o r d s ：v i d e o o n d e m a n d ( v o d ) ，c l u s t e r e dv i d e os e r v e r , f a u l tt o l e r a n c e ，s t r e a m s h a r i n g ，m u l t i c a s t i j l 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已 在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：确 c 缸构 日期： 褂f h r o b 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密翻。 ( 请在以上方框内打“”) 学位论文作者签名：礤蜘 同期：v 晦明f 。r 指导教师签名 开期：咿，月 华中科技大学硕士学位论文 1 绪论 本章首先分析了当前流媒体视频点播系统的研究热点和方向，指出了本文的两 大研究内容：容错和流共享，随后对国内外相关系统进行了分析，最后介绍了主要 工作和全文的内容组织。 1 ，1 课题背景 随着计算机处理能力的提高，高速网络技术的发展和各种数字音频视频设备以 及数据压缩技术的不断出现，视频点播( v o d ，v i d e o o n d e m a n d ) 等交互式视频 服务受到了越来越多的关注。随着视频点播业务的快速普及，人们对v o d 系统的 性能提出了越来越高的要求。在不考虑网络子系统的情况下，v o d 系统的性能主 要取决于v o d 服务器的性能。 国内外公司和科研机构对流媒体视频点播系统的研究，很多都已经取得了一定 的阶段性成果，部分厂家推出了相应的产品甚至成套解决方案，比如国内的鼎点天 源，曼德科技丌发的视频点播系统，国外的r e a l n e t w o r k s 公司的r e a l s y s t e m ，微 软的w i n d o w sm e d i a ，苹果公司的q u i c k t i m e 等。然而，目酊的视频服务性能仍 远不能满足人们的要求，视频服务器的可用性、服务能力和服务质量还有待提高， 视频服务器性能优化策略的研究与实现正成为当前国内外广泛关注的研究热点和 难点。 本文主要研究集群视频服务器的容错和流共享策略，原型系统是华中科技大学 集群与网格计算湖北省重点实验室研制开发的w a n l a n 集群视频服务器”】。集群视 频服务器和w a n l a n 系统将在第2 章详细介绍。文献 1 】指出w a n l a n 系统的三层 结构保证了系统的可扩展性，分层的软件实现也充分考虑了系统资源的利用率。文 献 2 】提出了基于l v s 的集群系统的容错机制。文献 3 】介绍了适用于w a n l a n 系统 的流媒体客户端系统t g p l a y e r ，并对客户端系统的性能及服务质量进行了分析。 本文将在原有系统架构基础上，设计并实现w a n l a n 系统的三级容错机制，同时研 究支持服务器故障检测和恢复的客户端行为，以实现w a n l a n 系统2 4 ( 小时) 7 ( 天) 的高可用性目标。 衙量一个视频服务器性能最重要的指标是它所能支持的最大并发流的数量，即 系统的吞吐率f 4 】a 服务器能够提供的并发流数目在硬件上受限于服务器的i o 带宽， 提高系统吞吐率最简单的方法是提高磁盘i o 带宽和网络带宽，但如何在现有硬件 华中科技大学硕士学位论文 资源条件下，晟大限度的提高视频服务器的服务能力，正成为国内外广泛研究的热 点归j 。研究发现，采用优化的流调度技术来实现视频流的数据共享，可以大量节省 v o d 系统磁盘及网络带宽，极大的提高了系统的服务能力，提高了系统的资源利 用率。常用于实现v o d 系统流共享的技术主要有：批处理技术( b a t c h i n g ) 1 6 0 o 】， b r i d g i n g 1 1 1 2 】，a d p t i v ep i g g y b a c k i n g 1 3 15 1 ，c h a i n i n g 1 6 1 和补丁流技术( p a t c h i n g ) ”“”j 。其中，最典型的是基于l p 多播的流共享技术：通过合理的调度技术，合并 对同一电影的不同请求来实现i o 流的共享，以减少对l ，o 带宽的需求，提高系统的 吞吐率，合并的媒体流采用多播( m u l t i c a s t ) 技术传输给用户。本文针对w a n l a n 系 统的特点，在综合g r a c e p a t c h i n g 们，p e r i o d p a t c hf 2 2 】，p a t c h i n gf i r s t 2 3 1 等多种算 法的基础上，提出t p g - p a t c h i n g 流共享策略来实现热点影片的i o 流共享。 1 2 国内外研究现状 容错对视频点播系统而言是一个必不可少的要求，在国内外已经产品化的视频 点播系统中，都无一例外的考虑了系统的容错功能。可以想象，一个经常发生故障 的视频点播系统，即使性能再高，客户也不会用。 t i g e r ”】是微软公司开发的一个具有并行、容错特征的视频服务器，系统体系结 构如图1 1 所示。在该系统中，一个中央控制器作为和用户交互的接口，并由它执 行某些系统管理工作。服务器主体是一组由a t m 网联起来的普通p c 机，在该系 统中被称作c u b 。这些c u b 通过一个低速的内部网络( 比如以太网) 与控制器通 信。它们从控制器接收命令，并行地将数据直接传送给客户。该系统中，视频文件 被分片存放在各个机器上，以获得负载均衡。每个分片都有一个备份，这个备份被 分成若干更小的片存放在其他机器上。当某一个c u b 出现故障时，其他的多个备份 分片被并行读入，以实现容错。c u b 间的错误检测是通过另外一个专门的网络连接。 每一台机器检测它左边的机器的工作状态，并向其右边的机器发送p i n g 包。 劁1 1t i g e r 服务器体系结构 2 华中科技大学硕士学位论文 t i g e rs h a r k 2 7 1 是i b m 公司开发的运行于i b ma i x 上的支持交互式多媒体服务 的并行文件系统，基于该文件系统可以构建大规模的视频服务器。t i g e rs h a r k 具 有磁盘块级的负载平衡和容错能力，使用块级复制簧略，一个磁盘出现故障时，其 负载能够均匀地转移到其余地磁盘上。一个用交换机互连的s p 2 集群系统能够扩 展到5 1 2 个处理器，支持高达2 0 g b p s 的数据传输率。使用该系统的视频服务器 结点分为文件系统结点和存储结点，由文件系统结点接收访问请求并从存储结点读 取媒体数据。 香港中文大学研制的并行视频服务器l z 8 】中，多个服务器能同时为一个客户并发 地传输数据。服务器发送正常视频数据时，还向客户发送基于p a r i t y 的冗余数据， 当个服务器出现故障时，客户利用冗余数据重建丢失的数据，从而使电影能够丁f 常播放。 基于i p 多播的流共享策略能实现多个客户共享一个多播流，极大的节省了系 统的i 0 带宽，提高了系统的服务能力，正成为当前国内外的研究热点，相应的研 究成果也有很多。 文献【6 】首先提出了通过l p 多播技术来实现流共享的策略：b a t c h i n g 。在 b a t c h i n g 策略中，在一定时间间隔内到达的对于同一影片的请求作为一组，先前到 达的请求被延迟处理。系统在间隔时间末尾，采用多播技术创建一个多播流为这一 组请求服务。采用这种技术，对个请求的成批调度所占用的服务器i 0 带宽仅为 原来的l n 。虽然文献【7 1 0 】对b a t c h i n g 策略进行了进一步的优化，但是b a t c h i n g 策略在提高服务器的同时，不可避免的带来了一定的服务延迟。而且，批处理的时 间间隔越长，服务延迟就越大。而过大的服务延迟，会导致客户应等待时| - b j 过长而 撤销请求。 文献 1 1 ，1 2 提出了一种间隔缓存( i n t e r v a c a c h i n g ) 策略。间隔缓存把前后两个 对同一视频对象的访问作为一个间隔缓存起来，使得后一个流的访问直接通过前一 个流读出的数据缓存来服务的缓存管理策略，节省了磁盘的i o 带宽。间隔缓存的 缺点是导致了服务器额外的内存丌销。 文献【13 - 15 街；出了a d a p p t i v ep i g g y b a c k 策略。a d a p p t i v ep i g g y b a c k 是一种 动态的流合并策略，通过减小前面的p r e c e d i n g 流或者增加后面的f o l l o w i n g 流的播 放速率柬实现流的合并。a d p p t i v ep i g g y b a c k 技术节省的带宽虽然不会比b a t c h i n g 技术高，但它消除了客户的额外等待时间，在用户等待时间和带宽节省上达成了折 衷。 c h a i n i n g 1 6 1 技术把整个网络内所有服务器和客户机的存储器作为一个巨大的 缓存束实现流的共享。c h a i n i n g 技术把多个客户机链接到一个媒体流上，节省了服 务器的i o 带宽，网络带宽和缓存空问同时也造成客户端较大的缓存丌销。 3 华中科技大学硕士学位论文 文献【1 7 】提出的p a t c h i n g 策略在第一个请求到达之时创建常规流( r e g u l a r s t r e a m ) ，采用多播方式传输，对之后到达的请求创建$ 1 3 - 流( p a t c h i n gs t r e a m ) 立目口 为其服务。接收补丁流的客户同时也接收常规流，补丁流的服务时间为客户请求到 达时刻相对于常规流创建时的时间间隔。p a t c h i n g 策略消除了客户端额外的等待延 时，但它实现的流共享性能和客户端的缓存空间大小成正比。文献【1 8 。2 1 】对 p a t c h i n g 策略进行了更全面的探讨，取得了丰富的研究成果。但是由于实现基于i p 多播的流共享策略需要服务器，客户端及网络设备等多方面的支持，还要考虑v c r 操作的影响，要实现功能完备且能够稳定运行的系统难度较大，所以目前主要还是 停留在理论研究阶段。 1 3 主要工作与本文框架 本文主要研究基于w a n l a n 集群视频服务器的性能优化策略。针对w a n l a n 系统的三层体系结构，设计并实现服务器系统的三级容错机制。提出并实现了一种 基于i p 多播的t p g - p a t c h i n g 流共享策略，并讨论流媒体客户端对容错和流共享策 略的支持。 本文后续章节的内容组织如下： 第二章研究了流媒体v o d 系统、w a n l a n 视频服务器及流媒体客户端 t g p l a y e r 工作原理，讨论了衡量视频服务器性能的主要指标，并提出了w a n l a n 系统的具体性能需求。 第三章设计了保证w a n l a n 系统高可用性的三级容错机制，分别阐述了控制结 点和数据结点的容错原理，探讨了客户端对服务器容错的支持，并且给出了支持容 错的暇务器及客户端系统的软件实现。 第四章在分析了国内外流共享策略的研究现状基础上，提出了一种优化的多播 策略t p g p a t c h i n g 来实现热点影片点播流的共享，研究了t p g p a t c h i n g 在 w a n l a n 系统中的设计及实现，并研究了客户端系统对t p g p a t c h i n g 策略的支持。 第五章是性能分析和评价，分析了容错对系统性能的影响，并对t p g p a t c h i n g 策略的性能进行了评价。 第六章对全文进行了总结，并指出了下一步的工作。最后是致谢和参考文献。 4 华中科技大学硕士学位论文 2 流媒体视频点播系统及- 性能要求 本章主要研究流媒体视频点播系统的工作原理及性能要求。首先分别对视频点 播系统、w a n l a n 集群视频服务器和t g p l a y e r 流媒体客户端的工作原理进行了介 绍，随后分析了视频服务器的性能评价指标及影响因素，最后提出了w a n l a n 服务 器的性能要求。 2 1 流媒体视频点播系统 流媒体又称连续媒体( c o n t i n o u sm e d i a ) ，它不同于文本、图像等离散数据，流 媒体具有隐含的时间维，需要在段特定的时f 司内按特定的速度播放。如果播放速 度得不到满足，服务质量就不能保证。连续媒体的另一个特点是数据量大，具有高 吞吐量的要求。在交互式视频服务中，连续媒体数据经过压缩编码存放于外部存储 器中，视频服务器根据客户端的请求从外部存储器读出相应的数据拆分成网络分组 后，形成连续的传输流通过网络传送给客户端。客户端则从网络上接收媒体数据， 解压缩后形成连续的回放流播放出来。 流媒体的传输有两种方式：顺序流方式( p r o g r e s s i v es t r e a m i n g ) 和实时流方 式( r e a l t i m es t r e a m i n g ) 。前一种方式中，按严格的前后次序边下载边播放，用户 只能看到已下载的部分，不能随意的向前向后拖动。这种方式常常使用h t t p 或 f t p 协议实现。实时流方式使用专用的实时流协议( r t s p ，r t p ，r t c p 等) 实现，能根据网 络的状况动态调整数据的发送速率，并且可以随意的拖动和快迸快退。 v o d 是一种实时宽带多媒体信息服务，是“从信息源筛选出用户选择的节目， 通过通信网的传输，分发到用户终端设备上”的服务 2 “。目前普遍应用的v o d 有 两种方式：真实视频点播( t v o d ，t r u e v i d e oo n d e m a n d ) 干l ：l 准视频点播( n v o d ， n e a rv i d e oo nd e m a n d ) 。t v o d 是一种实时宽带多媒体检索业务，是服务器对客 户的一对一服务它要求能够随机、以任意问隔地对丌始播放的视频节目的每一帧 作即时访问，对用户的各种交互操作要求有即时的响应。n v o d 把一个节目分段地 组织成多个播放过程，每个播放过程在不同的时涮开始播放。用户从中任意选择一 个正在播放的过程观看，这样就可以基本上满足用户的片断选择要求。与t v o d 相 比，n v o d 具有简单、方便、价格低廉等优势，但它的实时性和交互性存在明显的 不足。 典型v o d 系统由视频服务器( v o ds e r v e r ) 、视频点播终端( v o dc l i e n t ) 和数 据交换网络( s w i t c hn e t w o r k ) = - - 个部分组成服务器端负责视频数据存储管理、用户 华中科技大学硕士学位论文 接入及管理和数据发送。客户终端处理用户的v c r ( v i d e oc o n t r o lr e q u e s t ) 操作、 视频数据接收、解码和播放。当系统工作时，服务器与每一个客户终端建立两条不 同的通信通道：数据通道和控制通道。控制通道完成客户和服务器的控制交互，数 据通道完成视频数据的传输。 2 2 集群视频服务器 集群是一群以网络技术连接起来的工作站或p c 机的组合，整个系统象一个单 独集成的计算资源一样协同工作【2 ”。随着p c 机处理能力的不断提高，基于集群高 性能视频服务器越来越受到人们的关注，以i b m 和微软为代表的各大公司都纷纷推 出了自己的集群视频服务器系统。 以集群结构构建的视频服务器具有很多优点：首先是具有很好的可扩展性，由 于组成集群的各个结点采用松散耦合的方式相连，并且都是从市场上购买的现成的 商业构件，即c o t s ( c o m m o d i t y o f f - t h e s h e l f ) 构件，所以很容易根据需要在 原有规模的基础上扩展：容错技术的采用使系统具有较高的可用性，单一部件的故 障不会造成系统服务的中断：通过集群的负载平衡技术能够将负载平均地分配到各 个结点，提高整个系统的吞吐量：当然，最重要的还是集群具有较高的性价比，构 成集群的都是廉价的p c 机和工作站，一个集群系统和一台同等计算能力的高档服 务器相比，价格往往相差一个数量级。 集群视频服务器越来越成为多媒体服务研究的热点，很多国内外公司和研究机 构纷纷开发了自己的集群视频服务器系统，例如：微软的t i g e r 2 ，挪威科技大学 的e i v i r a 2 7 1 ，i b m 公司的t i g e r s h a r k 28 1 ，华中科技大学的w a n l a n 1 l 等。 w a n l a n 集群视频服务器1 1 】是由华中科技大学集群与网格计算湖北省重点实验 室开发研制的，该系统由前端机、控制结点、录制结点和存储结点四部分组成t 如 图21 所示。 广 卅嚣吲吲吲要 域 恻 图2 iw a n l a n 集群视颜服务器系统 6 华中科技大学硕士学位论文 系统逻辑上分为三层：虚拟服务器层，控制结点层，数据结点层。前端机运行 虚拟服务器软件l v s ，是整个集群的单一入口点，负责t c p 连接的调度，为系统 提供负载平衡和容错功能。控制结点负责与客户进行r t s p 交互，同时根据视频数 据的组织信息向相应的存储结点发送数据请求命令。存储结点根据控制结点发来的 命令，从磁盘读取媒体数据，并打成r t p 包直接发送给客户。该系统通过将控制 服务与数据服务相分离，使存储结点具有自主性。媒体数据不需通过控制结点，而 是直接由存储结点提供给用户，极大减少了集群内部的资源消耗。录制结点捕获视 频节目，经压缩编码后分片存放于各个存储结点。录制服务和点播服务的融合，使 系统实现了实录实播的功能。 2 3 流媒体客户端 随着流媒体业务的蓬勃发展，各大公司在发布了自己的流媒体服务器的同时， 也相继推出了各自的流媒体客户端播放器，比较著名的有：m i c r o s o f t 公司的m e d i a p l a y e r ，a p p l e 公司的q u i c k t i m ep l a y e r ，r e a l n e t w o r k s 的r e a l p l a y e r 。这些流媒 体客户端播放器不仅支持顺序流方式，也支持基于实时流方式的流媒体点播服务。 本文采用的客户端系统是集群与网格计算湖北省重点实验室自行开发的 t g p l a y e r ”。相对于本地播放器而言，实时流客户端有以下几个方面的特殊要求： 第一：实时性要求。要求视频的实时传输达到即收即播的效果，这样客户端既不会 饥饿，也不会占用过多缓存。第二：同步性要求。要求网络传输，音视频解码和音 ，视频播放之间达到高度的同步。否则，会出现停顿、抖动及声音图像不同步等现蒙。 第三：容错性要求。采用u d p 协议传输的视频流在传输过程中难免会出现丢包失 序甚至出错。虽然解码器有一定的纠错功能，但是解码器的纠错是以牺牲播放质量 为代价的。所以，必须在数据交解码器之前进行检查和纠错。实时性要求可以由协 议得到保证，而同步性要求和容错性要求则不容易实现。为此，t g p l a y e r 采用了 一种接收端流量控制策略和一种新的双缓存交替读写( a r w ) 方法来实现同步性要 求，并且采用一种组包算法来实现数据容错。 t g p l a y e r 主要由三个部件组成：数据接收和组包( d a t ar e c e p t i o n p a c k e t c o m p o s i n g ) ，数据解码( d a t ad e c o d i n g ) 和播放( p l a y i n g ) ，其结构模型如图2 2 所示。其中，数据接收和组包部件负责从网络接收包含媒体数据的r t p 包，并根 据接收的r t p 包序列中包含的头部信息对媒体数据进行重组，还原出具有逻辑意 义的媒体数据单元；数据解码部件负责对媒体数据进行分析，对其中包含的音频和 视频数据分离后，分别交各自的解码器进行解码；播放部件负责音频和视频数据的 播放和显示。 7 华中科技大学硕士学位论文 数戥接收组包 ：数据蛘码 图2 2t g p l a y e r 总体结构图 2 4v o d 服务器的性能指标及影响因素 在全面衡量一个v o d 系统的性能时，有一系列的性能与q o s 指标。对客户来 说，系统性能的好坏表现为一系列的q o s 指标，如接入成功的概率、启动延迟、 延迟抖动、播放的质量、与系统交互的程度等。对v o d 服务器来说，性能指标有 系统资源的利用率、吞吐率、可扩展性、可靠性等，其中最为主要的就是吞吐率， 即服务器能够同时支持的并发用户的数目。 本文主要研究v o d 服务器的容错与流共享策略。评价容错策略的主要性能指 标有平均故障发生时间m t t f ( m e a nt i m e t of a i l u r e ) ，连续无故障时间 m t b f ( m e a n t i m eb e t w e e n f a i l u r e ) s 1 1 平均故障修复时间m t r f ( m e a n t i m e r e p a i r f a u l t ) 拉”。由于检查点( c h e c k p o i n t ) 的设置及故障修复必然会带来系统开销，容错 机制对系统性能的影响( 如吞吐率、延迟、内存、c p u 开销等) 也是我们考虑的方 面。评价流共享策略主要有三个性能指标【4 j 。 1 反悔率。反悔率即为一个用户因为其服务请求在较长时间内得不到响应而撤 销其服务请求的程度。也可以说减少反悔率的同时，也增加了系统的流量。 2 平均服务延迟时间。一个服务请求的延迟时间是从用户提出服务请求 始， 到开始接收服务器的流服务之间的时间间隔。显然，只有没有反悔的用户请求才能 用来计算该平均服务延迟时间。 一y 。d 3 不公平性。如d 表示对影片i 的服务请求的反悔率，那么d = 生譬二为平均 反悔率( n 为影片个数) 。不公平程度为该值越高，当前流调度 8 一镶堑 华中科技大学硕士学位论文 策略就越不公平。 从视频服务的特性和连续媒体的特点可以看出，为了及时地将连续媒体数据从 服务器的磁盘中读出并传送给客户，需要有较高的磁盘j ，o 带宽和视频服务器出口 网络带宽。因此，要想获得较高的客户满意度和较高的系统吞吐率，必须解决磁盘 i o 带宽和视频服务器出口网络带宽这两个瓶颈。与这两个瓶颈有关的因素可以大 致分为服务器的体系结构( 如单服务器结构、多服务器结构) 、数据传送的方式、存 储子系统的性能( 如数据分布策略、磁盘调度算法等) 、缓冲管理策略、系统的接入 控制策略、视频流调度策略等。 2 5w a n l a n 服务器的性能要求 w a n l a n 集群视频服务器具有如下的性能要求： 1 高性能。1 个控制结点，8 个数据结点的集群系统能够支持2 4 0 个以上的并 发m p e g - 1 流。对热点影片的请求，提供多播支持； 2 高可用性。能够提供不间断的服务，具有2 4 ( 小时) 7 ( 天) 高可用特性。 对前端机，控制结点和数据结点提供单点容错功能，并支持r t s p 任务级容错： 3 可扩展性。提供控制结点，数据结点的两级扩展功能，系统t f 常情况下的服 务能力呈近线性扩展； 4 q o s 保证。准入控制及q o s 控制策略保证系统在网络拥塞和传输出错情况 下的q o s 性能。 2 6 小结 本章首先研究了流媒体视频点播系统、集群视频服务器及流媒体客户端的组成 要素和工作原理，重点讨论了w a n l a n 集群视频服务器的三层结构及工作原理，以 及t g p l a y e r 客户端系统的组成结构；随后分析了视频服务器系统的性能指标，重 点讨论了视频服务器系统可用性和流共享策略的评价指标，并指出了其主要影响因 素：最后提出丁w a n l a n 服务器系统的性能要求，包括高性能、高可用性、可扩展 性和q o s 保证四个方面。 9 华中科技大学硕士学位论文 3 w a n l a n 服务器容错策略 如第2 章所述，保证系统的高可用性是视频服务器设计的重要方面。对基于集 群架构的视频服务器系统而言，任何一个子系统的故障都可能导致系统无法诈常提 供服务。所以，如何处理各子系统故障后的错误掩盖( f a i l o v e r ) 和任务接管就成为集 群视频服务器设计时必须解决的问题。本文针对w a n l a n 系统的三层结构，设计了 相应的三级容错机制，并在l i n u x 7 2 环境下使用c c + + 语言实现了该策略。 3 1 设计目标 服务器的容错首先要考虑到某些关键部件，如在本系统中作为整个系统入口的 前端结点。该结点一旦停机，整个系统将陷于瘫痪。同样，如果系统中的某一控制 结点崩溃，其上的控制连接都将中断，虽然数据传输通道仍然继续工作，但是控制 结点与数据结点问的通信已经中断，当前分片发送完后，存储在其它数据结点的后 继分片将无法得到调度。集群服务器的容错问题还来自于其用到的各种组件。比如 单机系统中大量磁盘。对于集群系统来说，则是作为数据存取的各存储结点。虽然 单个磁盘或存储结点可靠性很高，多个这样的单位组合起来，其出错概率就会以线 性上升。因此，w a n l a n 系统的容错设计应包含以下目标： ( 1 ) 为前端机设置备份机，当前端机不能正常工作时，备份机应能实现无缝接 管前端机的工作，作为新的连接调度器。原主机恢复后，自动作为当前主机的备份 机。 ( 2 ) 当某一控制结点发生故障时，系统应能立即将该结点上的连接迁移到其它 可用的控制结点。 ( 3 ) 当某一数据结点发生故障时，由于w a n l a n 系统采用媒体数据分片冗余存 放，系统应能调度存放有当前播放数据备份分片的数据结点继续发送媒体流。 对客户端系统而言，( 1 ) 和( 3 ) 是完全透明的，即客户端系统不会意识到故障发 生和处理的过程，就像故障没有发生一样，而( 2 ) 要实现r t s p 任务级容错需要客户 端的支持，所以它对客户端是不完全透明的。有了客户端系统对容错的支持，对用 ，而占，( 1 ) ( 2 ) ( 3 ) 都是透明的。 3 2 系统结构 支持容错的w a n l a n 系统采用集群架构，如图31 所示。结构上分为三层：集 0 华中科技大学硕士学位论文 群负载均衡调度器层，控制结点层和数据结点层。集群负载均衡器层由前端机和备 份机组成，负责将客户请求分发到各控制结点，前端机和备份机互为热备。控制结 点层由多台运行r t s p 服务程序的主机组成，主要负责处理与客户的r t s p 命令交 互并调度数据结点发送数据，各控制结点互为热备。数据结点层由多台存放媒体数 据荠运行数据服务程序的主机组成，主要数据发送的管理，根据数据的冗余存放策 略，一个数据结点也至少存在一个热备结点。 广= = = 二二= 二= = = = l i | r 叫v i e w i n gc l i e n t 】 l 1 r j l a y e r1 l a y e r2 【n t 爸m e t 图31 支持容错的w a n l a n 系统三层结构图 3 3 集群负载均衡系统容错 3 3 1 容错机制 w a n l a n 系统采用m o r t + h e a r t b e a t + f a k e 的集群高可用解决方案【2 】。其中， “m o n ”是一个大众化的资源管理系统，用来监控网络上的服务器结点和网络服务。 “h e a r t b e a t ”实现在两台计算机间通过网络或串行线使用u d p 协议传送心跳信息。 “f a k e ，是一个使用a r p 欺骗的方法来实现l p 接管。 系统容错原理如图3 2 所 1 l 华中科技大学硕士学位论文 示，其中前端机及其备份机作为负载均衡调度器，控制结点作为真实服务器 ( r e a l s e r v e r ) 。 图32 集群负载均衡系统容错原理图 当服务器故障时，处理过程如下：“m o n ”进程运行在前端机上，负责监测整 个震群的控制结点和其上的服务进程。在配置文件中写入要检测的服务器结点 “m o b ”进程将会隔t 秒检查一下相应的服务器结点是否还活着。另外“m o n ”进 程还将每m 秒检测一下所有结点的相应服务进程。当配置完成后，某个服务器结点 失效或重新生效、服务进程失效或重新生效时都会发送一个通告信息，因此，负载 莳端机能够知道服务器结点是