（控制科学与工程专业论文）流媒体服务器性能测试与评价方案研究.pdf

摘要摘要随着网络带宽的增加与流媒体应用规模的扩大，流媒体服务器的性能成为制约流媒体应用的重要因素。视频服务器作为v o d 系统的核心设备，它的选择在很大程度上决定了整个系统解决方案的优劣。对运营商而言，如何选择合适的视频服务器成为一个比较突出的问题。流媒体服务提供商需要了解流媒体服务器的性能从而选择合适的服务器，目前尚无合适的流媒体服务器的性能评测方案。本文首先介绍了流媒体的概念和技术特点，分析了流媒体服务器的工作原理和几种常见的服务器硬件设备。接下来我们对流媒体服务器性能指标进行了分析，从整体测试角度来看，测试指标主要有最大并发流数目、聚合输出带宽、丢包率、点播平均响应时间等，这些指标作为本文对流媒体服务器进行性能评价的指标。在测试环节中，我们首先介绍了单台流媒体服务器性能测试环境，我们使用的流媒体服务器软件是a p p l e 公司出品的d a r 新ns t r e 锄i n gs e r v e r5 5 3 ，该软件利用实时流协议和实时传输协议实时传输控制协议向用户提供视频点播服务。接着我们分别选用了几款不同硬件类型的服务器，设计了性能指标的参数测试方案和测试程序对流媒体服务器进行测试，得出了性能指标的测试结果。单台服务器无法满足流媒体和w r e b 等服务的需要，一个可行的方案就是构建一个有多台服务器组成的集群。我们提出种流媒体服务器集群的解决方案，利用r e dh a t公司的r e dh a tc l u s t e rs u i t e 进行了流媒体服务器集群的建立，并利用r e dh a tg f s ( g l o b a lf i l es y s t e m ) 配置了g f s 文件系统，最后对这个集群进行了性能测试，证明了集群系统的可行性。我们利用测试得到的性能指标数据对流媒体服务器进行评价。针对流媒体服务器评价指标的特征，我们利用多属性决策的理论知识建立流媒体服务器性能评价模型，通过评价模型来反映流媒体服务器性能的高低。我们首先介绍了多属性决策方法，然后采用层次分析法确定各个评价指标的权重，接着分别对定量和定性评价指标进行决策分析，最后给出了流媒体服务器性能评价模型，对流媒体服务器的性能进行了评价。关键词：流媒体服务器；服务器集群：g f s ：评价指标：性能测试；性能评价a b s t r a c tw e i g h t ，a 1 1 dt h e na n a l y z em i eq 啪t i t a t i v ea n dq u a l i t a t i v ei n d i c a t o r s f i l l i a l l y ，w eg i v et h es t r e a i l l i n gm e d i as e r v e rp e r f o r m a n c ee v a l 啪r t i o nm o d e la n dm ep e r f o 衄a n c eo fm e d i as e r v e r s k e yw o r d s ：s 仃e 撇i n gm e d i as e e r ，s e r v e rc l u s t e r ，g f s ，e v a l u a t i o ni n d e x ，p e 晌n n a n c et e s t ，p e 面n n 御1 c ee v a l u a i o ni i i中国科学技术大学学位论文原创性和授权使用声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确的说明。本人授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。保密的学位论文在解密后也遵守此规定。作者签名：三坠2 0 0 8 年5 月8 日引言第一章引言1 1 选题的背景和研究意义1 。1 。1 选题背景目前基本所有的服务器测评方案都是国外研究机构开发的，如t p c ( 朱军峰，2 0 0 3 ) 、s p e c ( g i l a d i ，r ，1 9 9 5 ) 、l i n p a c k ( 都志辉，2 0 0 2 ) 和h p c c ( g a 玛，r ，2 0 0 6 )等从处理器性能、服务器系统性能、商业应用性能直到高性能计算机的性能，都给出了一个量化的评价指标，试图更全面地反映一个高性能系统的各个方面的性能，从而更加综合评价一个系统的性能，是更现实的从应用性能角度看待一个高性能计算系统的有益尝试，例如其中的s p e c 服务器应用性能测试是一个全面衡量w e b 应用中j a v a 企业应用等服务器性能的基础测试。但是这些测评方案主要还是以众多的测试为核心，并没有注重开发其完整的评价结构，例如h p c c 软件包比较零散，其实就是一大堆的测试，通常这些测试结果需要专业人员进行解读，对普通用户来说却无法简单客观正确又有针对性对自己需要的产品做出最终的选择，因而在国内外受到相当多的质疑。怎样整合如此多的测试结果建立一个完整的评价方案，是迫在眉睫需要解决的问题。其次，这些测评方案主要是针对服务器的基本性能参数的测试或单独针对某一性能，如：i o m e t e r ( 顾铁成，2 0 0 2 )是测试存储子系统的读写性能，i o z o n e ( 顾铁成，2 0 0 2 ) 是用来测试文件系统的读写性能，以至于目前为止尚未开发出完全针对流媒体服务器的测评方案。而在国内，主要的研究机构和服务器厂商基本采用国外开发的几种比较典型的服务器评测工具简单的测出单个性能指标值，例如i o m e t e r 、1 0 2 0 n e 、b o m l i e + + ，p o s t m a r k ( 罗坤，2 0 0 4 ) 等，而少有研究如何整合这些测试数据的，至于流媒体测评方案结构就更属于研究空白区域。研究者并没有对视频服务器的评价指标和测试方法形成共识，各大运营商己开始逐步向用户提供流媒体业务，对流媒体系统业务性能进行测试，是运营商在开展流媒体业务之前需要进行的一个关键步骤。随着技术的不断发展，流媒体业务的测试技术也将不断的成熟与完善，这也必然推进国内流媒体业务的发展。1 2 2 研究意义随着网络带宽的增加与流媒体应用规模的扩大，流媒体服务器的性能成为制约流媒体应用的重要因素。面向应用来测评流媒体服务器的性能指标，已成为为引言用户选择服务器以及为服务器进一步改进和优化的一条有效途径。视频服务器作为vod系统的核心设备，它的选择在很大程度上决定了整个系统解决方案的优劣。vod业务性丝鬈塑鋈番啜磊婴影恝鬟则纠到样辇；埋强塑争。露型澎垂尊垌溶睡；坟疆担缆瑾q签界往冀最原塑篓；毒溺蓁i；鬣匿蓥缒融寥掣孙邕葡霸豁醐群鲥嬲霾錾蘑巍掣；滓产霸劓掣爸堡盖；霆墨葭嗣苍妊型下一步的工作。困ol流媒体服务器性及其性能指标u0o单台流媒体服务器性能测试流媒体服务器集群构建与测引言我们首先分析影响流媒体服务器性能的指标，建立流媒体服务器性能指标体系，接着设计流媒体服务器性能测试流程，选择相应的测试工具，设计测试程序进行测试。我们利用a h p 方法得出性能指标的权重，分别对流媒体服务器定量指标和定性指标建立评价模型，并最终得出流媒体服务器性能评价模型，根据测试的结果对流媒体服务器进行评价。1 3 创新之处构建流媒体服务器测试平台对性能指标进行测试，对测试指标结果利用多属性决策理论进行流媒体服务器性能评价，从而给出按照某种指标选择最优性能的服务器。4流媒体服务器与性能评测指标m e d i ab a s e w a s t 公司的m p e g 4 流媒体平台等。流媒体系统涉及到的技术包括流媒体的编码、存储和传输等技术，国际上关于这些技术的主要标准包括：国际标准化组织( i n t e m a t i o n a lo r g a n i z a t i o nf o rs t a j l d 矾i z a t i o ni s 0 ) 制定的m p 4 等流媒体文件格式标准以及互联网工程任务组( i n t e m e te n g i n e e r i i l g 协kf o r c e ，i e t f ) 的实时流协议( r e a i t i m es t r e a m i n gp r o t o c o l ，i 汀s p ) 、实时传输协议( r e a l t i m et r a l l s p o r tp r o t o c o l ，i h p ) 、实时传输控制协议( r e a l - t i m et r a n s p o i r tc o n t r o lp r o t o c o l ，i 汀c p ) 、会话描述协议( s e s s i o nd e s c r i p t i o np r o t o c o l ，s d p ) 等标准，这些标准的产生为媒体资源的重复利用和流媒体服务系统的发展奠定了良好的基础。随着网络带宽的增加与流媒体应用规模的扩大，流媒体服务器的性能成为制约流媒体应用的重要因素。视频服务器作为v o d 系统的核心设备，它的选择在很大程度上决定了整个系统解决方案的优劣。对运营商而言，如何选择合适的视频服务器成为一个比较突出的问题。2 3 流媒体服务器工作原理2 3 1 流式传输方式流的传输可以分为两种，一种是顺序流式传输( p r o 伊e s s i v es t r e 锄i n g ) ，一种是实时流式传输( r e a l t i m es t r e a m i n g ) 。顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能观看己下载的那部分，而不能跳到还未下载的前头部分。顺序流式传输不像实时流式传输能在传输期间根据用户连接的速度做调整。实时流式传输在保证媒体信号带宽与网络连接匹配的情况下，使媒体可被实时观看到( 庞铁力，2 0 0 6 ) 。顺序流式传输比较简单，更接近于传统的下载观看方式，其适应性较差，也不能支持交互，其应用范围有限，但是由于它对时延要求低，因此可以支持高质量的流媒体数据传送。实时流媒体则具有更为灵活的功能，对网络的适应能力也较强，它需要专门的流媒体服务器，相关的控制协议，需要更为稳定的网络传输条件。目前的流媒体技术主要集中于对这种实时流传输提供支持。实时流式传输的实现需要合适的传输协议。通常不采用t c p 传输实时数据，因为t c p 的每包确认的机制需要较多的开销，而且t c p 基于窗口的拥塞控制技术不能很好地支持稳定速率的流媒体传送。所以在实时流式传输的实现方案中，一般采用h t t p t c p 来传输控制信息，而用r t p 厂u f d p 来传输实时流媒体数据。7流媒体服务器与性能评测指标2 3 2 流媒体服务器工作原理流式传输的实现需要缓存( 袁进坤，2 0 0 4 ) 。因为i n t e m e t 以包传输为基础进行断续的异步传输，对一个实时州源或存储的州文件，在传输中它们要被分解为许多包，由于网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等，甚至先发的数据包还有可能后到。为此，使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量并不大，因为高速缓存使用环形链表结构来存储数据：通过丢弃己经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。在前面介绍的流媒体服务器的传输协议中，常用的传输协议只有i 盯s p ，r 1 p和r t c p ( 董科军，2 0 0 3 ) 。由于t c p 需要较多的开销，故不太适合传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制信息，而用r t p 肘d p 来传输实时声音数据，因而i 盯s p 是建立在t c p 的基础上，而r 1 p r t c p则是建立在u d p 的基础上。整个协议层次如图2 1 所示：r t s pr t s pr t s pj 乡之多 7 d e v 训l i jl $ i g e2 0 0 ) ：t h e nr e t u t n o ：矗l e li s i 七ls l e e pl sd o n er e t 谢n1 ：w 办f 沱护“口?1 9流媒体服务器性能测试甲、f期，涮鞠n等“一，黔2ll婶jr圈ll 。盼图3 6 两台服务器c p u w a i t 时问流媒体服务器集群及测试第四章流媒体服务器集群及测试随着互联网技术的发展，单台服务器己经无法满足流媒体和w 曲等服务的需要，一个可行的方案就是构建一个有多台服务器组成的集群，集群内的服务器协调工作来为客户提供服务( 杜文峰，2 0 0 3 ) 。本章对流媒体服务器系统及其文件系统作了详细的介绍，主要介绍了集群式流媒体服务器系统架构的概念和技术特点，以及在集群式环境下存储系统的架构，提出一种流媒体服务器集群的解决方案，利用r e dh a t 公司的r e dh a tc l u s t e rs u i t e 进行了流媒体服务器集群的建立，并利用r e dh a tg f s ( 曹立强，2 0 0 3 ) 配置了g f s 文件系统，最后对这个集群进行了性能测试，证明了集群系统的可行性。4 1 流媒体服务器集群4 1 1 计算机集群技术随着互联网技术的发展，单台服务器己经无法满足流媒体和w r e b 等服务的需要，个可行而且颇具性价比的方案就是构建一个有多台服务器组成的集群，集群内的服务器协调工作来为客户提供服务。集群是指通过网络互联的多台独立服务器，这些服务器的硬盘、文件系统和设备可以被集群内所有节点共享，整个集群在客户看来就是一台功能强大的服务器。组成集群节点的服务器可以采用普通的c o t s ( h a d d a d ，1 9 9 8 ) ( c o m m o d i t yo f rt h es h e l d 计算机，节点之间的互联网络也可以采用c o t s 局域网，这就大大降低了集群构建的成本。流媒体服务器集群技术就是采用两台或多台流媒体服务器组成一个集群以服务曰益增长的负载并提供系统冗余。集群技术可以通过软件技术或者硬件技术实现，软件集群技术包括基于r o 吼d r o b i nd n s 、l i n u x 虚拟服务器l 、，s ( 陆静波，2 0 0 6 ) ( l i n u x n u a ls e n ，e r ) 等技术，硬件方案包括包路由器如第四层交换机等，也有的系统采用软件硬件相结合的技术。基于c o t s 技术的集群技术的最大优点在于其可扩展性( s c a l a b i l i t y ) 。由于流媒体服务器系统提供的是数据密集型服务，为了满足日益增长的用户需求，系统必须可扩展( s c a l a b l e ) 。可扩展性( s c a i a b i l i t y ) 的最初定义为系统速度随着系统大小的增大而线性地增加。文献( s a i t o ，2 0 0 1 ) 提出可扩展性应该包括三个方面的内容：可管理性、可用性和性能，这与集群技术所具备的优势正好吻合。2 3流媒体服务器集群及测试1 - 可管理性可管理性是指集群系统可以自我管理( s e l 0 m a j l a g e a b l e ) ，具体是系统可以自动响应变化一方面，系统应该能自动响应负载量和负载分配方式的变化，在流媒体服务中，某些特定时间( 如世界杯、春节等) 可能会在短期内给流媒体系统增加大量的负载，系统应该能够自动调整节目的存储与服务、自动复制相应的节目、自动响应负载的变化；另一方面，系统应该能够响应配置的变化，如节点或者硬盘的失败、系统的恢复、设备的增加和删除，系统应该可以自动应对设备和软件故障。在一个自我管理的集群系统中，管理员要增加系统吞吐量只需要简单地增加更多的节点，在设备故障的时候只需要把设备替换掉就可以了。经过一段时间的运行，系统的各个节点的实际服务能力可能会不尽相同，但是系统应该能够屏蔽这些不同并且调整系统配置来管理这些节点。2 可用性在大型的集群系统中，总会有一些硬件部件不可用，例如在一个单节点m t b f ( m e a nt i m eb e t w e e nf a i l u r e s ) 为1o o 天、m t t r ( m e a nt i m e1 1 0r e p a i r ) 为l天的系统中，在任何时刻就平均有5 个节点不可用。更严重的是，节点的故障可能有多种形式：节点崩溃、磁盘崩溃、网络故障以及假报警等，可用性要求无论故障是什么类型或数量有多少，系统应该能够保证提供高效的服务。性能系统的服务能力应该与节点的数量成正比( 假设节点同构) ，系统还应该能够在不停止服务的情况下，通过增加部件或者节点逐渐增加集群的服务能力。由于集群系统可扩展性的优点，整个系统的性能和系统内设备的数量成正比关系。有多台计算机组成的集群系统就可以拥有存储空间大、系统吞吐带宽高、对客户的响应迅速等优点，而这些正是大规模流媒体服务器系统所需要的，因此采用集群技术构造流媒体服务器系统是一个较好的选择。集群按照系统结构通常可以分为三类( 谢四莲，2 0 0 4 ) ：服务器集群( s e e rf 锄) 、双机热备集群( f a i l o v e rc l u s t e r ) 和耦合集群( c o u p l e dc l u s t e r ) 。服务器集群是一种经典且简单的方案，它由一系列节点服务器组成，这些节点从一个称为管理器的中心单元处获取任务，当网络中存在大量的计算和处理需求而节点机之间的通讯量很低时，这种方法不失为一种简单而有效且强大有力的技术。在服务器集群中，总体的应用是由许多小的、精细复杂的子任务组成的。每一个子任务都由集群的一台节点机单独完成。双机热备集群代表了另一种相对经典且简单的网络架构。它把侧重于可用性而非伸缩性上。它通常由两个节点组成，一个主节点和一个备份节点。两个节点流媒体服务器集群及测试共同来提供不间断的服务如果一台机器出现了故障，另一台会马上接替它工作。耦合集群紧密协同在一起，共同完成同一工作的多台机器不再相对独立的，它需要进行大量跨节点的通讯。与双机热备份集群不同的是，可用性是由整个群体共同来提供的。这意味着耦合集群可以从容处理多点故障。由于流媒体服务器系统除了为用户直接提供流媒体服务的媒体服务器外，还有负责用户请求分配、系统存储管理、系统远程管理等功能的服务器，对于完成不同任务的服务器来说，它们对于扩展性和共享的需求也不同，因此，在大规模流媒体服务器中采用单一的集群结构是不太可能的，必须混合采用多种结构( 陈祖义，2 0 0 6 )流媒体服务器系统中主要的功能节点包括存储、流化和管理三大类( 王小伟，2 0 0 4 ) 。由于存储和流化功能中的任务划分可以使节点之间可以非常独立，为了实现存储和流化的功能，同类节点之间的通讯可以说非常少至基本上没有，因此可以把存储节点构建成存储集群，把流化节点构建成流化服务集群。对于管理节点来说，管理任务包括请求分配、请求迁移、存储调度等任务，他们需要共享大量的数据，而且一个任务的完成往往需要多个节点互相协作，因此这些节点组成一个耦合集群就成了一个合适的选择；而对于这些管理节点来说，节点上面的数据对于服务的持续非常重要，有必要做备份，而且需要双机热备，于是可以把管理节点组成一个耦合集群，而且对重要管理节点进行双机备份。随着用户规模和存储需求的不断扩大，基本的分布式集群的管理难度会越来越大，需要引入分层次的分布式集群结构( 王小伟，2 0 0 4 ) 。在这种结构中，底层是一组小型集群系统，集群内部的服务节点上只存储热门节目文件，每个集群系统限定向一组用户提供服务。集群内部可以进行负载均衡和文件共享，但集群间不提供类似的协调机制。这种分而治之的策略可以是由物理条件决定的，比如一个集群负责向一个小区的用户提供服务，一个集群的所有设备位于一个局域网，而小区之间没有高速传输通道，无法共享存储设备。层次结构中的上层( 可能是一级，也可能构成多级缓存形式) 服务器专门负责存储和发布媒体文件，称为存储节点( 夏雁呜，2 0 0 5 ) ，也可以是内容分发网络( c o n t e n td i s t r i b u t i o n n e t 、v o r k ，c d l n ) ，具有海量存储设备，比如存储区域网络( s t o r a g ea r e an e t 、o r k s a n ) 或者网络附加存储( n e t w o r ka t a c h e ds t o r a g e ) 设备( 孙功星，2 0 0 2 ) ，保存一部分或者全部文件。如果服务节点的本地存储设备或集群内部有被请求的节目文件，则直接提供服务，如果没有，则向上一级的存储节点索取数据，每一级的存储节点在服务时也进行类似的判断和操作。4 1 2 流媒体集群存储系统在采用集群式流媒体服务器系统的情况下，存储子系统可能有如下几种体系结构( 林凡，2 0 0 1 ) ：流媒体服务器集群及测试1 无共享体系结构客户端图4 1 无共享体系结构这种集群中每一个节点都是完整独立的操作系统和硬件设备集合，节点之间通过局域网或者开关阵列以松耦合的方式连接起来，彼此分享节点的部分甚至全部可用资源：c p u 、内存、磁盘、1 0 设备等，以形成一个对外单一、强大的计算机系统。目前大多数集群采用这种方式，每个节点都是独立的p c 或者工作站。2 共享磁盘体系结构如图4 2 所示，这种体系结构中的每个节点基本上仍是独立的计算机，没有或者不使用本地的磁盘文件系统。分布式文件系统正是这类体系结构的应用体现常见的n f s ，a f s 或者g f s 都属于这个范畴。而硬件上常常通过共享磁盘阵列或者s a n 来实现。客户端图4 2 共享磁盘体系结构流媒体服务器集群及测试在这类体系结构中，不但磁盘设备是共享的，主存也是共享的，主机只是包括处理器和缓存，从而可以将多个节点的计算资源集合在一起，形成一个内存空间一致的单一系统，这样的系统具有最好的s s i 能力。但是从实现的难度上讲，不论是硬件制造的复杂性还是软件的实现难度，这种体系结构都大大超过其他几类体系结构的实现。因为流媒体的实时连续特性，大规模的视频点播系统需要占用巨大的存储空间。在这种情形下，采用无共享体系，将造成数据的多重拷贝并使数据共享时网络负载大大增加：采用共享存储器体系结构，系统又变得过于复杂。而共享磁盘体系结构最显著的优点就是能够解决区域存储空间的容量问题，通过构造单一的虚拟的文件系统，提供给整个集群一个巨大的存储设备。而且在一些高可用的场合，共享磁盘阵列常常能够解决文件系统容错和数据一致等可靠性问题。根据实际需要，对于用于实际服务的底层流媒体服务器集群来说，为了更好的提供流媒体服务，也为了可以更好地适应用户访问模式的变化来调整节目存储的分布，可以采用基于无共享结构的服务器集群模式，也可以采用基于共享存储结构的共享磁盘阵列，也可以采用二者相结合的方式，将本地存储作为缓存和暂时性的存储空间，将共享存储用于大量数据的存储。在层次化服务结构中，对于上游的存储节点或c d n 网络服务节点来说，采用共享存储结构可以有效地降低数据的冗余度和管理的复杂性，因此可以它们采用基于s a n 或n a s 的存储系统。4 2 流媒体服务器集群系统解决方案我们提出了一种构建流媒体服务器集群系统的解决方案，在s a n 环境下使用r e dh a t 公司的开源软件r e dh a tc l u s t e rs u i t e 和r e dh a tg f s 建立流媒体服务器集群。4 2 1r e dh a tc i u s t e rs u i t er e dh a t 公司在推出r e dh a te n t e 印r i s el i n u x 的同时推出其高可用性产品高可用群集软件_ r e dh a tc 1 u s t e rs u i t e 。r e dh a tc l u s t e rs u i t e 在功能上和技术上一直都体现着其先进性、可用性、可扩展性的特征。r e dh a tc l u s t e rs u i t e 主要有下面部分组成：( 1 ) 集群架构提供一个基本功能使节点作为集群工作在一起：配置文件管理，成员关系管理，锁管理和栅设备。( 2 ) 高可用性服务管理提供节点失败转移服务，当一个节点失败后将服务2 7流媒体服务器集群及测试转移到另一个节点上。( 3 ) 集群管理工具通过配置和管理工具来配置和管理r e dh a t 集群。( 4 ) l i n u ) 【r t u a ls e e r ( l v s ) l v s 提供一个基于i p 的负载均衡功能，通过l v s 可以将客户请求均匀的分配到集群节点上。表4 1 红帽集群套件的优势红帽集群套件的优势红帽集群套件是一个全面部署的高可用性集群解决方案，红帽快速实施公司已根据业内最佳惯例对其进行了配置、定制和测试。在系统退出、硬件故障、计划内维护以及升级时，红帽集群套卓越的应用性能和可靠性件可以确保应用的连续可用性。整个集群就好像是一个独立的系统在运行应用和访问已分配的存储分区上的数据。低成本、高回报的多节点服务器集群，可以获得所需级别的可低成本、高可用性用性。关闭某个服务器以及对某个服务器进行维护不会影响应用的整无单一故障点体性能和持续可运行性红帽集群套件可以均衡流量、消除网络服务器环境中的功率网网络功能大大提高络瓶颈和减少服务中断等现象的发生。提供红帽专业服务的专家可以确保完全根据您的特定环境对红全面优化的集群帽集群套件进行优化。红帽集群套件已与红帽企业l i n u x 实现了集成并用其进行了全久经考验的成熟技术面测试，而且它可以通过红帽网络无缝提供下载及更新。红帽顾问通常只需5 天的在很短时间就可以完成整个项目的部投资回报署。这一过程已经过长期的运转试验，非常精确，这不但可以释放资源，还有助于客户快速采用所需技术。如果由红帽专业服务专家实施整个项目，在服务结束后红帽顾全面的知识转移问将进行全面的知识传授培训，这可以确保贵公司员工具有推出未来用户具有自己部署项目的能力。r e dh a tc l u s t e rs u i t e 的技术要点( 熊劲，2 0 0 6 ) ：( 1 ) 最多支持1 6 个节点：可同时为多个应用提供高可用性( 2 ) n f s c i f s 故障切换：支持u n i x 和、胍n d o w s 环境下使用的高可用性文件系统( 3 ) 完全共享的存储子系统：所有集群成员都可以访问同一个存储子系统。( 4 ) 综合数据完整性：使用最新的i o 屏障( b a r r i e r ) 技术，如可编程的电源开关装置( p o 、w rs w i t c h e s ) 和看门狗定时器( w a t c h d o gt i m e r ) 。( 5 ) s c s 们s c s i 和光纤通道支持：可以使用最新的s c s i i s c s i 和光纤通道技术部署配置。可以轻松实现具有高可用性的多t b 配置。( 6 ) 服务故障切换：红帽集群套件可以确保及时发现硬件停止运行或故障的发生并自动恢复系统，同时，它还可以通过监控应用来确保应用的正确运行并在其发生故障时自动重启。流媒体服务器集群及测试4 2 2r e dh a tg f sr e dh a tg f s 是一个与p o s 兼容的开源计算机集群文件系统和卷管理器( v o l 啪em a j l a g e r ) ，它在与存储区域网络( s a n ) 连接的红帽企业l i n u x ( i m e l )服务器之上运行，可以在红帽支持的所有主要服务器和存储平台上使用。红帽全局文件系统是领先的l i 删x 集群文件系统。与当今的其它l i l m x 集群文件系统相比，它的功能最全面，在业内的使用范围最广泛，获得的应用支持最多，性价比最高( 郭昶，2 0 0 1 ) 。利用红帽全局文件系统，红帽企业l i n u x 服务器可以同时面向存储区域网络上某个共享文件系统进行读写操作，因此可以实现较高的性能并降低冗余数据备份管理的复杂性和费用。红帽全局文件系统没有单点故障，可以支持一到数百个红帽企业l i n u x 服务器，并且可与所有标准的企业l i n u x 应用程序共同使用。分布式的l i n u x 集群正日益成为企业i t 架构中的关键组件。红帽企业l i n u x 、红帽全局。文件系统以及集群套件构成了一个综合性软件框架，它有助于分布式集群中的大量节点实现数据共享。数据共享提高了应用程序的性能和可扩展性，通过使用低成本的l i n u x 硬件和存储区域网络简化了数据管理工作，同时还确保了关键任务应用程序可获得连续的数据可用性。红帽全局文件系统由开源社区和红帽公司共同开发并提供支持，是适用于大型分布式l i n u x 集群的最可靠的集群文件系统。g f s 客户端共享存储图4 3 基于s a n 的g f s2 9流媒体服务器集群及测试共享设备文件系统不仅与几乎不支持共享设备的传统本地文件系统不同，而且与集中在s e e r 上处理所有数据共享的传统网络文件系统不同。g f s 中不存在集中处理设备共享的服务器，即：就g f s 而言，只存在客户端计算机。所有g f s 客户端计算机是通过一个被称为s a n ( s t o r a g em e an e t w o r k ，即存储区域网，提供对多种网络存储协议如f a s ts c s i 、i p 的支持，在物理上能够屏蔽共享设备所采用的各种网络存储协议的差别) 的网络接口与共享存储设备连按。在这种体系中，各个共享存储设备依据各自的特性分组组成一个统一的存储级冲池。图4 3 就是共享设备环境中g f s 和存储缓冲池的关系示意。如图4 3 所示，在g f s 的支持下，多台g f s 客户端主机能够同时访问位于同一个共享设备上的文件，又可以跨多个存储设备建立一个统一的磁盘卷空间，即建立跨设备的共享文件系统。通过g f s 可以较好地解决计算机与几个网络功能存储设备之间的交互。与本地文件系统和传统的网络文件系统相比较，g f s 存在以下优点( 乔川龙，2 0 0 3 ) ：( 1 ) 性能：红帽全局文件系统可以帮助红帽企业l i n u x 服务器在要求苛刻的数据库应用程序、文件存储以及计算服务等方面实现较高的1 0 吞吐量。通过红帽全局文件系统和利用i s c s i 或者光纤通道构建的存储区域网络，可以对数百个红帽企业l i n u x 服务器的性能进行增量扩展。( 2 ) 可用性：红帽全局文件系统无任何单点故障：任何服务器、网络或者存储组件都可以通过冗余设置在发生故障的情况下继续连续运转。此外，红帽全局文件系统支持系统在线时重新配置文件系统和调整卷的大小，这大大提高了系统的可用性。在服务器故障或者进行日常服务器维护时，红帽全局文件系统可以和红帽集群套件( r e dh a tc l u s t e rs u i t e ) 一起使用来推动应用程序。( 3 ) 易于管理：红帽全局文件系统支持以快速、可扩展、高吞吐量的方式对单个共享的文件系统进行访问一一通过消除数据复制和保持多版本数据的需求，它大大降低了管理的复杂性，因此可以实现快速访问。红帽全局文件系统通过红帽网络提供，与红帽企业l i n u x ( r h e l ) ( a s 、e s 和w s ) 和集群套件实现了集成并且由红帽荣获殊荣的支持团队提供支持服务，是全球领先的l i n u x 集群文件系统。( 4 ) 存储设备池屏蔽了设备之间的差异：在s a n 环境中设备的一端，是由听有的共享存储设备组成一个存储设备池，g f s 通过一个统一的磁盘卷若理机制来访问存储设备池中的数据，屏蔽了各设备的功能与性能差异，使这些设备可以平等、无差别地供系统中所有g f s 客户机访问。流媒体服务器集群及测试4 2 3 流媒体服务器集群的建立与配置我们首先利用r e dh a ts u i t e 建立流媒体服务器集群，接着使用r e dh a tg f s建立集群文件系统，然后对流媒体服务器集群系统进行配置，为测试进行准备。正常l建立g f s 文件系统0l挂载共享磁盘1 所需软件包图4 4 建立流媒体服务器集群步骤表4 2 软件包常r 日h a t s u i t ec c s 1 o 3 o s r c r p mc m a n - 1 o 4 一o s r c r p mc m a n - k e m e l 一2 6 9 - 4 3 8 s r c 印md l m - 1 0 o 一5 s r c r p mf e n c e 一1 3 2 18 一o s r c r p md l m - k e r n e l 2 6 9 41 7 s r c r p mi d d e v 一2 o o 一3 ，s r c r p mm a g m a 一1 0 4 一o ，s r c r p mm a g m a p l u 酉n s 一1 0 6 0 s r c r p mg u i m 1 o 6 一o s r c r p mp e r l n e t 1 e l n e t - 3 0 3 3 s r c r p mr g m a n a g e 卜1 9 4 6 - 0 s r c r p ms y s t e m c o n f i g - c l u s t e r 1 o 2 5 一1 o s r c ，r p mr e d h a t g f sg f s 一6 1 5 o s r c r p mg f s k e m e l 2 6 9 - 4 9 1 5 s r c r p ml v m 2 - c l u s t e r - 2 0 2 ol - 1 2 s r c 啦ml v ml v m 2 2 0 2 0 8 s r c r p md e v i c e - m a p p e r 1 0 2 0 8 s r c r p m流媒体服务器集群及测试2 集群软件的安装我们在安装集群软件之前，首先需要将r e dh a t 操作系统内核升级至k e m e l 2 6 9 3 0 0 2 ，使操作系统内核支持g f s 。我们建立两个节点的集群系统，两台服务器分别为n o d e l 和n o d e 2 。因为在两个节点安装集群软件的过程一样，我们只说明在n o d e l 节点上安装的过程。我们从r e dh a t 公司官方网站上下载r e dh a tc l u s t e rs u i t e 和r e dh a tg r f s所有源码包，用印m 命令依次安装源码包，命令如下：【r o o t 龟f n o d e l 】替r p m - i v hc c s 1 o 3 一o s r c r p m ：l r o o t n o d el 】： r p m i v hg f s 一6 1 ，5 一o s r c r p m ：源码文件安装完后在u s r s r c r e dh 引s p e c s 目录中生成掌s p e c 的文件，找到s p e c 文件后，可以运行下面的命令可以将源代码文件制作成r p m 包，命令如下：【r o o t n o d e l l 毓r p m b u i l d b c t c 付g e t = i 6 8 6 l s r s r c 7 r e d h c n s p e c s c c s l 。o 3 一o s p e c ：【r o o t n o d e l 】饕r p m b t l i t d b n t g e t = t 6 8 6 ，u s r ，s r c ，r e d h a 杉s p e c s 7 g f s 6 i 5 一o s p e c我们在目录u s r s r c r e dh a t i 冲m s i 6 8 6 中找到水皿m 文件，进行安装：f o o t n o d e i 】# r p m 一如hc c s 1 o 3 一o r p m ：l r o o t 哆1 0 d e l l 甚r p m i v hg f s 一6 1 5 - o r p m ：将r e dh a tc l u s t e r r e dh a tg f s 和l v m 所有软件包安装完之后，我们需要对流媒体集群系统进行配置。3 集群系统的配置( 1 ) 构建局域网我们将集群的节点构成局域网，分别配置节点的i p 地址为：n o d e l ：1 9 2 1 6 8 1 0 1 0n o d e 2 ：l9 2 16 8 1 0 2 0( 2 ) 配置e t c l l o s t s 文件分别将两个节点的e t c 1 1 0 s t s 文件修改如下：l2 7 o o ，ll o c 越h o s t t o c 8 l d o m 口i nl o c q l h o s t1 9 2 1 6 8 1 0 i on o d e ii 9 2 1 6 8 1 0 2 0n o d e 2( 3 ) 配置e t c c i u s t e l c l u s t e r c o n f 文件分别修改两个节点的e t c c l u s t e r c l u s t e r c o n f 文件q e n c e 如e m o np o s t f q t j e l 卿2 “o hp o s t j o 讯e t q y 2 h 3 f 0 3 2流媒体服务器集群及测试n o d e 2o n l i n e l 0 c n l r g m n n 口g e r啪d elo 砼l i 粥。r g m g 黝g e r( 5 ) 配置共享磁盘我们将两个节点连接磁盘阵列存储设备，首先在一个节点上查看磁盘阵列，得到磁盘阵列的信息后，我们在磁盘阵列上创建逻辑卷，c l v m 用来实现该功能，c l v m 是支持c l u s t e r 的l v m 版本，与l v m 的命令都是一样的，命令如下：c r o o t 建o d el 】# p v c r e a t e d e v s d qj 【r o o t l j ；洳o d e l l 替v g c r e c n eg f s o lf d e v 7 s d a1 r o o f n o d ejj 替l v c r e a t e ls i z e 墨话oi我们得到逻辑卷，d e v m a p p e r g f s 0 l ，然后在这个逻辑卷上创建g f s 文件系统：l r o o t 龟咖o d e l 】辞心j 婚j2 一pl o c k m t 西 s t e r ：幽d e v 7 m 叩p e r 西o l最后将共享磁盘分别挂载到两个节点上：e r 0 0 t n o d e l ) m 0 训一t 舻7 d e v 7 m 印p e r 曲o l ，n o d e l7 妒f m o t n o d e1 m o u m tg 泰d e v m 呼p e r g 盎o l d e 2 咖4 3 流媒体服务器集群性能测试4 3 1 测试环境我们选用i n t e lm p c b l 0 0 0 l 和k o n 昀na t 8 0 0 l 两台a t c a 服务器按照上述方法构建流媒体服务器集群，同时选用f u j i t s ue 3 0 0 0 磁盘阵列配置共享存储。我们搭建的流媒体服务器集群测试平台如图4 5 所示。k o n t r o nf u j i t s ue 3 0 0 0图4 5 集群测试平台流媒体服务器集群及测试图4 6 集群中两台服务器总输出带宽图4 7 集群中两台服务器c p u 利用率流媒体服务器集群及测试图4 8 集群中两台服务器c p uw a i t 时间3 7流媒体服务器性能评价模型第五章流媒体服务器性能评价模型流媒体服务器的性能涉及不同属性的多个指标，要全面地、准确地评价服务器性能不可能仅仅通过单一指标实现，需要使用多个相互联系、相互作用的评价指标( 岳超源，2 0 0 3 ) 。针对流媒体服务器评价指标的特征，我们可以利用多属性决策的理论知识建立流媒体服务器性能评价模型，通过评价模型来反映流媒体服务器性能的高低。本章首先介绍了多属性决策方法，然后采用层次分析法( 李中锋，2 0 0 5 ) 确定各个评价指标的权重，接着分别对定量和定性评价指标进行决策分析，最后给出了流媒体服务器性能评价模型。5 1 多属性决策的过程在社会经济系统中，多属性评价模型运用地非常广泛，如某城市居民消费水平评价，企业经济效益评价和城市轨道交通线网评价( 刘树林，1 9 9 8 ) ，可以从量化的角度对方案的优劣进行排序。流媒体服务器的性能涉及不同属性的多个指标，要全面地，准确地评价服务器性能不可能仅仅通过单一指标实现，需要使用多个相互联系，相互作用地评价指标。针对流媒体服务器评价指标的属性特征，我们可以利用多属性决策的理论知识建立流媒体服务器性能评价模型，通过评价模型来反应流媒体服务器性能地高低。在多属性决策问题中，由于属性有定性和定量之分，决策方案在各属性下的取值有三种情况：全部为定量值；全部为定性描述；既有定量值又有定性描述。与这三种情况对应的多属性决策问题分别称为定量型、定性型和混合型多属性决策问题。对于后两种类型的多属性决策问题，有的研究者采用层次分析法、模糊数学、灰色系统理论、集对分析等方法直接对决策方案进行排序( 俞锋，2 0 0 7 ) ；大部分研究者则利用层次分析法、模糊数学等先将它们转化为定量型再进行求解( 王莲芬，1 9 9 0 ) 。多属性决策问题的求解过程，一般都涉及三个方面的内容，即决策矩阵的规范化、各属性权重的确定和方案的综合排序( 见图5 1 ) 。3 8流媒体服务器性能评价模型图5 1 多属性决策的一般过程多属性的综合评价，就是指通过数学模型将多个评价指标值“合成 一个整体性的综合评价值，即构造一个综合评价函数，并根据这个综合评价函数计算各方案的综合评价值，然后依据各方案的综合评价值的优劣，对方案进行排序和选优。假定对于一个多方案的多属性决策问题，设其属性集和方案集分别用s = “，屯， ，p = 易，岛，) 表示。方案b 对于评价指标已的观测值为而( 扛1 ，2 ，朋；= l ，2 ，门) ，称之为方案b 关于指标j ，的属性值。对于这个多方案的决策问题，可构造一个多指标的综合评价函数咒= 向，t ) 。式中万= ( 觋