（计算机应用技术专业论文）vod系统应用服务器并发控制与负载均衡调度研究.pdf

北京邮电大学硕士研究生学位论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：互砬 本人承担一切相关责任。 日期：出! 旦! 兰旦一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅：学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期：2 地垒i 缉f 墨因 日期： 2 趔粗雌 北京邮电大学硕士研究生学位论文 摘要 v o d 系统应用服务器并发控制与负载均衡调度研究 摘要 随着社会的发展，人们希望能够互动、随心所欲地选择自己喜欢 的媒体资源的意愿逐渐增强，视频点播技术应运而生。但由于涉及的 技术和产品众多，交互式视频服务仍然是一个比较复杂的系统。 应用服务器是视频点播系统的信息发布平台和系统与用户的互 动平台。应用服务器为用户提供的所有资源都是通过和后台管理系统 的消息通信得到的。因此设计并实现一个功能完善、性能强大稳定的 应用服务器是非常关键的。本文通过对基于h f c 网络的视频点播系 统和应用服务器的研究与分析，采用m v c 思想和s t r u t s 技术设计并 实现了应用服务器的前端显示模块。采用s o a p 协议替代视频点播规 范里面复杂的c o b r a 接口，从视频点播系统m o d 、n p v r 、t s t v 三大功能的角度设计应用服务器与后台的消息通信模块。使用多线程 技术实现，达到了灵活、简便、扩展性强的目的。大大增强了应用服 务器的稳定性与实时性。 应用服务器中媒体信息和通信消息规模巨大，如何有效地实现为 大规模用户服务，支持及时高效的点播服务，即提高应用服务器的性 能，是十分关键的问题。本文通过设计大并发控制模型，并使用多线 程、数据库并发等技术实现，来解决通信模块的大规模消息并发问题。 对于大规模机顶盒用户并发访问应用服务器的w e b 并发，不再单纯 依靠w e bs e r v e r 的并发控制能力，而是通过设计负载均衡调度算法， 改进加权最少连接算法，将应用服务器设计成分布式，来给用户呈现 一个实时高效、反应灵活的导航页面。从而解决了单点服务器的瓶颈， 提高了整个应用服务器系统的性能。 关键词：视频点播系统应用服务器m v c 消息并发控制 负载均衡调度 北京邮电大学硕士研究生学位论文a b s t r a c t r e s e a r c h0 nc 0 l n c u rre n c yc 0 l n t r o l a n dl o a db a l a n c i n gs c h e d u l i n g o fa p p l i c a n t i o ns e r v e r o fv o ds y s t e m w i t ht h ed e v e l o p m e n to fs o c i e t y , p e o p l ew a n tt oc h o o s em e i ro w n p r e f e r r e dm e d i ai 旧s o u i 0 0 $ c o n v e n i e n t l y , s ov i d e o - o n - d e m a n dt e c h n o l o g i e s h a v ee m e r g e d h o w e v e r , i ti n v o l v e sm a n ya d v a n c e dt e c h n o l o g i e sa n d p r o d u c t s i n t e r a c t i v ev i d e o - o n - d e m a n di ss t i l lac o m p l e xs y s t e m a p p l i c a t i o ns e t v e ri sa l li n f o r m a t i o nr e l e a s ep l a t f o r mo fv o ds y s t e m 笛w e l la sa l li n t e r a c t i v ep l a t f o r mb e t w e e nt h ew h o l es y s t e ma n dt h eu s e 璐 a l lt h em e d i ar e s o u r c e st h a ta p p l i c a t i o ns o l v e rp r o v i d e st ot h eu s e 璐a le c o i i l of r o mt h eb a c k - o f f i c ot h r o u g hc o m m u n i c a t i o n m e s s a g e s i ti s d e f i n i t e l yac r i t i c a l t a s kt od e s i g na n di m # e m e n t 鑫f u l l yf u n c t i o n a l , p o w e r f u la n ds t a b l ea p p l i c a t i o ns o t v e r t h i sp a p e rh a sd o n es o f t i er e s e a r c h a n da n a l y s i sa b o u tt h ev o ds y s t e mb a s e do rh f cn e t w o r ka n dt h e a p p l i c a t i o ns e r v e r , t h e nd e s i g n e da n di m p l e m e n t e dt h ef r o n t e n dm o d u l e o fa p p l i c a t i o ns e r v e ru s i n gm v ci d e a sa n ds t r u t st e c h n i q u e t h i sp a p e r d e s i g n st h em e s s a g e - c o m m u n i c a t i o nm o d u l ea n dd e t a i l e dm e s s a g e so f a p p l i c a t i o ns e r v e ru s i n gt h es o a pp r o t o c o li n s t e a do fc o m p l e xc o b r a i n t e r f a c eu s i n gi nv o ds p e c i f i c a t i o n , i m p l e m e n t e dw i t hm u l t i t h r e a d i n g t e c h n i q u e t h em e s s a g e sd e s i g no fa p p l i c a t i o ns e r v e ri sd i , a d e di n t ot h r e e f u n c t i o n si n c l u d i n gm e d i a - o n - d e m a n dn c t - p e r s o n a l v i d e o - r e c o r d i n ga n d t i m e - s h i f t i n g v i d e o t h i sd e s i g nm a k 髓t h ea p p l i c a t i o ns c f v e ff l e x i b l ea n d e a s yt oe x p a n d , g r e a t l ye n h a n c e dt h es t a b i l i t ya n dr e a l t i m eq u a l i t yo f a p p l i c a t i o ns e r v e r t h e r ea l e l a r g e - s c a l e m e d i ai n f o r m a t i o na n dc o m m u n i c a t i o n m e s s a g e s i nv o ds y s t e m , i ti st h ek e yp o m mh o wt oe l l h s b t h e p e r f o r m a n c eo fa p p l i c a t i o ns e r v e r , m a k i n gt h ea p p l i c a t i o ns a r v e rs o l v o $ n n i 北京邮电大学硕士研究生学位论文 目录 目录 第一章绪论1 1 1v o d 系统介绍1 1 2v o d 系统架构一2 1 2 1 前端系统3 1 2 2 服务端系统3 1 2 3 网络系统3 1 3v 1 ) d 逻辑框架介绍3 1 4 课题研究背景6 1 5 论文内容及结构安排7 第二章v o d 系统应用服务器相关技术综述8 2 1 并发技术8 2 1 1w 曲并发8 2 1 2 多线程并发8 2 1 3 数据库并发技术9 2 2 负载均衡技术1 l 2 2 1 负载均衡背景介绍1 l 2 2 2 负载均衡算法1 l 2 3 玎c 网络l3 2 4m v c 技术1 4 2 ss t r i ，t s 技术1 5 2 6w c bs e r v i c e 技术1 6 2 6 x m 吐1 7 2 6 2s o a p 1 7 2 6 3w s d l 1 8 2 6 4u d d i 一1 8 第三章v o d 系统应用服务器设计与实现1 9 3 1v o d 系统应用服务器总体设计1 9 3 2v o d 系统应用服务器前端设计与实现2 l 3 2 1 应用服务器前端设计2 l 3 2 2 应用服务器前端s t r u t s 实现一2 l 3 3v o d 系统a p ps e l v c r 通信模块设计与实现2 7 3 3 1m o d 资源发布接口设计与实现2 8 3 3 2i l p t 网络录制接口设计3 2 3 3 3 时移电视t s t v 接口设计3 8 第四章v o d 系统应用服务器大并发模型研究与实现4 5 4 1v o d 系统应用服务器大并发缓冲模型分析与设计4 5 4 1 1 传统并发处理模型分析4 5 4 1 2 新型大并发缓冲模型分析与设计4 6 4 2v o d 系统应用服务器新型大并发缓冲模型实现4 8 i v 北京邮电大学硕士研究生学位论文目录 4 2 1a p ps 刖苜通信消息并发情况分析4 9 4 2 2a p ps 叮v 玎并发控制模型实现5 2 4 3v o d 系统应用服务器新型大并发缓冲模型测试5 6 4 3 1 测试环境5 6 4 3 2 系统检测5 6 4 3 3 测试结论及分析5 8 第五章v o d 系统应用服务器负载均衡研究6 0 5 1 局域网应用服务器负载均衡算法研究6 l & 1 1 应用服务器负载均衡部署结构设计6 l 5 2 适用于a p ps e i w c t 的负载均衡调度算法设计6 2 5 2 应用服务器负载均衡调度模型设计与实现“ 5 2 1 应用服务器负载均衡调度模型设计“ 5 2 2 应用服务器负载均衡调度模型消息设计6 5 5 2 3 应用服务器负载均衡设计总结6 6 第六章总结与展望6 7 6 1 工作总结6 7 6 2 下一步工作展望6 7 参考文献6 9 附录缩略语7 1 封【谢7 2 攻读学位期阀发表盼学术论文7 3 v 北京邮电大学硕士研究生学位论文第一章绪论 1 1v o d 系统介绍 第一章绪论 v o d ( v i d e o0 1 1d e m a n d ) 是视频点播的简称，也称为交互式视频点播系统， 能够根据用户的需要播放相应的视频节目，也可称为流式播放。它综合了网络通 信技术、多媒体技术和电视技术的优势，而成为一种先进的视频通信技术，彻底 改变了过去收看节目的被动方式，满足了人们自主收看节目，获取视频信息的需 求。v o d 视频服务器通过与用户之间直接的、实时双向交互来控制节目的播放， 包括节目的选择、播放过程的开始与终止、播放速度的控制以及不同节目之间的 动态切换等v o d 视频服务必须运行相应的软件协调各项动作，同时提供友好 的用户界面。 视频点播分为互动点播和预约点播两种。互动点播即用户通过网络发出点播 请求，系统自动安捧其所需节目。预定点播即用户通过网络发出点播请求，系统 按其要求定时播出节目视频点播的工作过程为。用户在客户端启动播放请求， 这个请求通过网络发出，传送给服务器。经过请求验证后，服务器把存储子系统 中可访问的节目名准备好，使用户可以浏览到所喜爱的节目单。用户选择节目后， 服务器从存储子系统中取出节目内容，并传送到客户端播放。通常，一个“回放 连接一定义为一个“流”采用先进的“带有控制的流”技术，支持将上百个高 质量的多媒体“流”传送到网络客户机。客户端可以在任何时间播放存在服务器 视频存储器中的任何多媒体资料。客户端在接收到小部分数据时，便可以观看所 选择的多媒体资料。这种技术改进了“下载”或简单的崩流”技术的缺陷，能够 动态调整系统工作状态，以适应变化的网络流量，保证恒定的播放质量。 v o d 的最初出现是为了更好的满足用户对自主收看视频节目的需求，但是 随着v o d 技术的不断进步，其广泛的应用对大众文化和商业运作模式都产生了 强烈的影响。v o d 不仅可以为终端用户提供多样化的媒体信息，扩大人们的信 息渠道，丰富人们的精神生活，而且在医院、宾馆、飞机等场所的娱乐，公司的 职员培训、远距离市场调查、公司的广告业务等领域将逐渐充斥着v o d 技术的 全新应用f l j 北京邮电大学硕士研究生学位论文 第一章绪论 1 2v o d 系统架构 i s a ( i n t e r a c t i v es e r v i c e sa r c h i t e c t u r e ) 是由美国时代华纳提出的基于i p q a m 的v o d 解决方案。i s a 架构采用基于i s o i e c d s m - c c 标准的s s p 和l s c p 协 议而前端服务器实体之间采用c o r b a 实现，实现的复杂性相对较高。国外厂 商的产品都支持i s a 规范，但由于i s a 规范的复杂性，整个系统的复杂度很高。 基于i p q a m 的v o d 系统架构图如下， 围1 1i s a 中v o d 系统架构图伪 i s a 架构中将视频点播系统大致分为三个主要部分m ： 2 北京邮电大学硕士研究生学位论文第一章绪论 1 2 1 前端系统 v o d 前端处理系统提供用户节目、用户管理及计费等功能，故包括应用服 务器、节目播放及控制设备、节目数据库、计费等系统、机项盒用户系统等。用 户端的机顶盒( s e tt o pb 0 x ) 是一种智能型数字信号转换器，用户通过机项盒实现 视频节目点播、数字电视广播、电子商务等多媒体信息服务。 1 2 2 服务端系统 服务端系统一般由视频服务器、各种媒资管理服务器、流控制服务器、网络 控制部分组成。各种媒资管理服务器主要完成影视材料的整理、存储、发布及安 全保密工作等。网络控制部分主要完成各种服务器中信息的传递工作，以及后台 媒资和数据的交换任务。视频服务器主要由存储设备、高速缓存和控制管理单元 组成，其目标是压缩和存储媒体数据，以及按请求进行媒体信息的检索和传输。 1 2 3 网络系统 网络系统包含主干网络和本地网络系统两部分，是影响连续媒体网络服务系 统性能的关键部件阱。由于媒体服务系统的网络部分投资巨大，所以在设计时不 仅需要考虑当前的媒体应用需要。而且还要考虑将来发展需要和兼容性。当前， 用于建立这种服务系统的网络物理介质主要是sc a t s 的同轴电缆、光纤、双绞 线和无线网。而采用的网络技术主要是：以太网、d o c s i s 、e p o n e o c 等。 1 3v o d 逻辑框架介绍 v o d 系统一般逻辑框架结构可概括如下， 3 地点可以点播任何节目 v i d e os e r v e r 视频服务器将视频输入设备的视频数据经实时视像压缩设 备压缩后，存入系统视频库。视频服务器主要负责数字媒体的储存和播出， 主要包括媒体流输出单元和媒体存储单元。视频服务器的功能、性能和可靠 性将直接影响用户体验。 a s s e ts e r v e r ：媒体资产管理系统主要负责对整个系统内的所有媒体资产 的元数据和生命期进行管理和应用，并为其他系统提供相关的资产信息。 b i l l i n gs e r v e r ：实时计费服务器，具备双向业务订购数据的受理与维护， 当用户使用双向业务时，承担业务的认证鉴权功能，当用户订购双向业务产 品时同步该用户订购信息。具有双向业务计费数据处理和双向业务结算数据 处理功能。用于与b e 同步双向业务产品包数据、双向业务用户基本信息数 据、账单数据、账户余额数据等。 a p p l i c a t i o ns e r v e t t 应用服务器又称导航服务器，负责从业务管理系统 获得基本的资产原始数据，然后根据商业运营的需要按不同的方式来组织媒 体导航的结构和内容，在确认无误后发布给客户端访问和呈现应用交互界 面。应用服务器的另一个功能是为s t b 用户提供媒资节目信息，以便s t b 北京邮电大学硕士研究生学位论文第一章绪论 用户通过这些信息，能够看到节目分类，节目描述等等，后台管理系统能够 为应用服务器提供资源描述数据。 在i s a 架构中，一个a p p l i c a t i o no b j e c c 就是给有线电视用户提供的一个服 务，如一个观看电视的观众的应用对象就是锁定一个频道，再查看这个频道提供 的节目。可以把提供节目同市场因素联系到一起，如一定时间的打折信息等。 b a c k 0 伍1 0 8 酬弋踟i 弹 a n d 所以应用服务器系统需要具备如下功能： 提供媒体导航的服务，支持用户在不同媒体目录中的浏览提供媒体信 息服务，支持显示不同媒体的详细属性 应同时提供视频点播类业务和数据类业务的导航管理。 一一晡 北京邮电大学硕士研究生学位论文第一章绪论 提供“我的收藏一的功能，对于不同用户当前已经购买的节目、实时录 制的节目以及仍然在有效期内没有观看完的节目，用户可以直接到“我的 收藏一中直接观看。 提供在线价格计算，支持用户在选择了媒体后，根据当时的时间、用户、 所选择的产品的定价策略等，动态地计算出商品的实际销售价值 提供在线的用户管理系统接口，检查用户当前的状态，当前用户的可用 额度，用户所订阅的各种服务信息以及交易的数据和收费的信息，可以为 用户提供多种产品营销信息。 可以及时同步媒资状态，并自动更新导航页面，且更新过程不影响正在 提供的服务。 服务器必须满足应用所必需的并发访问服务的能力和处理能力。当访问 量是增加时，服务器应具有并行的扩展性，并自动实现负载均衡。 应用服务器应可以对不同的用户分组提供不同的导航主页和服务。 应用服务器应支持对包括m p e g 2 、h 2 6 4 门p e g 4 1 0 等多种媒体格式的 引导。 应用服务器在提供导航服务前，应对机顶盒客户端身份进行确认，避免 来自公网的p c 客户端的访问确保系统安全。 机顶盒显示和控制方式通过模版配置，可适应不同的机顶盒测览器和需 求。 1 4 课题研究背景 在交互数字电视系统中，应用服务器作为实现用户交互功能的关键部件成为 整体系统不可或缺的一部分。它负责从b a c k o 仿c e 系统获得基本的媒资原始数 据，根据用户需求将产生v o d 点播的目录并分发到各s t b 用户处，同时从认证 系统获得认证，营销策略等相关信息，在s t b 用户处呈现各类v o d 业务的节目 导航支持用户购买节目信息的详尽显示，如。点播时间、费用标准、所属营销 策略等，应用服务器还可以根据不同地区的用户需要产生多个不同目录和界面。 应用服务器是整个v o d 系统的最前端，是用户最直接接触的服务器部分， 所以其性能优劣至关重要随着v o d 用户数量的日益增加，v o d 系统需要服务 的并发用户数也日益庞大必须提高服务器并发性能通过解决前端w e b 并发， 后台大消息并发，以及数据库的并发访问，来最大化的提高应用服务器的单点服 务性能。但是，即使单点服务器性能再高，也已经不能满足需求，单机构架的服 6 北京邮电大学硕士研究生学位论文第一章绪论 务器普遍存在如下一些问题：容量有限、容错性差、为了满足日益增长的客户访 问量带来的沉重负载等。 视频点播系统应用服务器中媒体节目元数据、通信消息、媒体信息规模巨大， 如何有效的实现同时为大规模用户服务，支持及时高效的视频点播服务，提高应 用服务器的性能。使其能够承受大负载是十分关键的问题。简单提高单点服务器 性能的方法不能从根本上解决问题，因为提高单点服务器的性能是一种昂贵的、 难以扩展的方案，服务器的性能将随着需求的增加而需要不断的提高。这种方案 在系统维护和升级的期间，系统提高的服务将被迫中断。而且这种方案存在着单 点脆弱性，单台服务器的失效就会给系统所提供的服务带来问题。为了克服单点 服务器的缺点，人们提出的负载均衡方法。将负载均衡技术运用到v o d 系统应 用服务器的设计中。通过网络技术连接起来的工作站或p c 机的组合，使整个系 统像一个单独集成的计算资源一样协同工作。从而解决了单点服务器c p u 处理 速度和操作系统i o 吞吐等方面的瓶颈，最大限度地提高整个应用服务器系统的 性能。 1 5 论文内容及结构安排 本文以设计基于h f c 网络v o d 系统应用服务器为出发点根据m v c 三层 思想，结合大并发控制技术，负载均衡调度，并在用户行为分析结果的指导下， 在一般负载均衡算法基础上进行了，给出系统的调度策略。设计了v o d 系统应 用服务器的拓扑结构，讨论其各种服务器的功能并对系统的可扩展性以及可靠 性进行了分析。 本论文章节安排如下： 第一章为绪论，介绍了文章的研究背景，对v o d 系统、i s a 中v o d 框架、 如何提高服务器性能分析等做了简要的介绍 第二章介绍了实现v o d 系统应用服务器的关键技术，包括并发控制技术、 m v c 思想、s t r u t s 技术、w e bs e r v i c e 技术、h f c 技术、负载均衡技术等。 第三章分析设计v o d 系统应用服务器系统框架，并给出应用服务器前端和 通信模块的设计和实现 第四章研究大并发模型，解决应用服务器的弗发问题。对并发模型并分析实 验结果 第五章在第四章分析的基础上，通过应用服务器的负载均衡策略的设计，进 一步提升应用服务器的服务能力。 第六章对全文进行总结，并讨论了课题的进一步研究内容 7 北京邮电大学硕士研究生学位论文第二章v o d 系统应用服务器相关技术综述 第二章v o d 系统应用服务器相关技术综述 2 1 并发技术 随着i n t e m e t 的发展，大规模并发用户访问已成为服务器建设的关键和瓶颈。 因此最大的提升服务器的自身性能至关重要。下面将从以下几个方面来研究如何 提升服务器性能。 2 1 1w 曲并发 w e b 服务器则是w e b 系统的一个重要组成部分，w e b 系统已由原来的网站、 电子商务发展成商业应用系统的b s 架构，已成为一个世界性的研究热点。但由 于网络协议固有的局限性以及w e b 应用中用户交互的频繁，增加了实现长事务 的困难，从而并没有很好的解决w e b 应用中的并发控制问题。 小型的网站如个人网站等可以使用静态的h t m i 页面实现，所有的页面存 放在一个目录下这样的网站对系统架构、性能的要求都很简单随着互联网行 业服务的不断丰富，w e b 相关技术经过多年的发展，已经非常强大和多元，尤 其对于大型网站来说，能采用的技术更是非常广泛，对w e bs e r v e r 、编程语言、 数据库、防火墙、硬件、软件、等各个领域都有了很高的要求，原来简单的h t m l 静态网站已经望尘莫及了。大型网站如门户网站，在面对大量用户访问、高并发 请求，可以从以下几个方面解决：使用高性能的w e b 服务器、高效率的编程语 言、高性能的数据库、高性能的w e b 容器等。 2 1 2 多线程并发 大型的服务器程序，要想提高服务质量，响应多客户端同时访问，就必须利 用多线程技术实现并发多线程平均分配c p u 时间片的特性，实现多个任务同 时进行。可以提高响应的速度，充分利用资源。 重复服务器适用于处理短时问可以完成的任务，而并发服务器模型用于处理 不定长时间才能处理完的请求，服务器生成新的线程来处理每个请求。多线程不 会使服务器进程数随着请求数量的增加而增加，可以降低服务器进程的压力，减 少开销，更大限度的利用资源 北京邮电大学硕士研究生学位论文第二章v o d 系统应用服务器相关技术综述 l 服务器进程 p 舐线j已线j垦线塞! 球并发线程 f 请求。 请求2请求3请哥：n并发请求 图2 - 1 多线程并发模型 如图2 1 所示，一个进程产生的多个并发线程，对多个用户请求分工处理， 各个线程可以协同操作，也可以独立操作。 多线程模型必然会发生资源同步问题1 4 1 。 临界区s 临界区是保证在某一个时间只有一个线程可以访问数据的方 法。使用它的过程中，需要给各个线程提供一个共享的临界区对象，无论哪个线 程占有临界区对象，都可以访问受到保护的数据，这时候其它的线程需要等待， 直到该线程释放临界区对象为止，临界区被释放后另外的线程可以强占这个临 界区，以便访问共享的数据。当利用临界区同步时，同一时刻每次只有一个线程 可以访问受到保护的数据，这样可以保证程序的稳定性。由于当一个线程访问受 到保护的数据的时候，其他线程必须等待，所以同步时耗时也较多。 互斥：跟临界区很相似，便远比临界区复杂。因为使用互斥不仅仅能够 在同一应用程序不同线程中实现资源的安全共享，而且可以在不同应用程序的线 程之间实现对资源的安全共享。为了访问一个互斥对象，务必建立一个同步访问 类对象，用于访问控制。 信号量的用法和互斥的用法很相似，不同的是它可以同一时刻允许多个 线程访问同一个资源，一旦创建了一个信号量对象，就可以用它来对资源的访问 技术。需要创建对象实现计数处理。 2 1 3 数据库并发技术 y o d 系统中，机项盒用户直接看到的导航页面数据都是从应用服务器通过 数据库的操作与组织，呈现给用户的。而数据库中的媒资数据是应用服务器从 v o d 系统的核心b a e k o f f i c o ，通过收发并解析x m l 消息，经过一定的业务逻辑 组织而存储到数据中，因此数据操作无论是在大消息并发阶段，还是大用户并发 9 北京邮电大学硕士研究生学位论文第二章v o d 系统应用服务器相关技术综述 访问阶段，数据库的并发事务操作都是服务器性能提高的瓶颈所在。因此数据库 研究有助于更好的提高应用服务器的并发性能。 数据库是一个共享资源，可以提供多个用户使用。这些用户程序可以一个一 个地串行执行，每个时刻只有一个用户程序运行，执行对数据库的存取，其他用 户程序必须等到这个用户程序结束以后方能对数据库存取。但是如果一个用户程 序涉及大量数据的输输出交换，则数据库系统的大部分时间处于闲置状态。 因此，为了充分利用数据库资源，发挥数据库共享资源的特点，应该允许多个用 户并行地存取数据库。但这样就会产生多个用户程序并发存取同一数据的情况， 若对并发操作不加控制就可能会存取和存储不正确的数据，破坏数据库的一致 性，所以数据库管理系统必须提供并发控制机制。并发控制机制的好坏是衡量一 个数据库管理系统性能的重要标志之一。d b m s 用封锁机制来解决并发问题。它 可以保证任何时候都可以有多个正在运行的用户程序，但是所有用户程序都在彼 此完全隔离的环境中运行。 为了保证并行操作的正确性，d b m s 的并行控制机制必须提供一定的手段来 保证调度是可串行化的。从理论上讲，在某一事务执行时禁止其他事务执行的调 度策略一定是可串行化的调度，这也是最简单的调度策略，但这种方法实际上是 不可行的，因为它使用户不能充分共享数据库资源。目前d b m s 普遍采用封锬 方法来保证调度的正确性；即保证并行操作调度的可串行性。除此之外还有其他 一些方法，如乐观方法、时标方法 s i 等。 悲观并发控制 锁定系统阻止用户以影响其它用户的方式修改数据。如果用户执行的操作导 致应用了某个锁，则直到这个锁的所有者释放该锁，其它用户才能执行与该锁冲 突的操作。该方法主要用在数据争夺激烈的环境中，以及出现并发冲突时用锁保 护数据的成本比回滚事务的成本低的环境中，因此称该方法为悲观并发控制。 乐观并发控制 在乐观并发控制中，用户读数据时不锁定数据。在执行更新时，系统进行检 查，查看另一个用户读过数据后是否更改了数据。如果另一个用户更新了数据， 将产生一个错误。一般情况下，接收错误信息的用户将回滚事务并重新开始。该 方法主要用在数据争夺少的环境内，以及偶尔回滚事务的成本超过读数据时锁定 数据的成本的环境内，因此称该方法为乐观并发控匍j 。 时标并发控制 时标和封锁技术之间的基本区别是封锁是使一组事务的并发执行( 即交叉执 行) 同步，使用它等价于这些事务的某一串行操作；时标法也是使用一组事务的 交叉执行同步，但是使它等价于这些事务的一个特定的串行执行，即由时标的时 序所确定的一个执行。如果发生冲突，是通过撤销并重新启动一个事务解决的 1 0 北京邮电大学硕士研究生学位论文、第二章v o d 系统应用服务器相关技术综述 事务重新启动，则赋予新的时标。 软件系统的并发控制一般是通过加锁来实现，同样，w e b 应用也是采用乐观 锁和悲观锁来实现，乐观锁是一种事后补救措施，是通过程序的逻辑控制版本来 实现的，而悲观锁是事前的一种预防措施，它利用数据库的锁机制来实现。 2 2 负载均衡技术 2 2 1 负载均衡背景介绍 无论单点服务器性能再高，也会被突如其来的高并发给击垮，为了克服单点 服务器的缺点，人们提出负载均衡方法来提高整个系统的性能。在大量的并发访 问中，由于用户请求的分布不均，如果不对用户的请求进行合理的分配，就会造 成系统负载分布不均衡，有些服务器处于超轻载状态，有些处于超负荷状态，而 导致整个系统的资源利用率低下、用户的拒绝率增加。 负载均衡( l o a db a l a n c e ) 建立在现有网络结构上，它提供一种廉价有效透 明的方法来扩展网络设备和服务器的带宽、加强网络数据处理能力、增加吞吐量、 提高网络的可用性和灵活性。负载均衡有两方面的含义：首先，大量的数据流量 或并发访闯分担到多台设备上分别处理尽量减少用户等待响应的时问；其次， 将某个重负载的任务分担到多台节点设备上并行处理，每个设备处理结束后，将 结果汇总到控制中心，系统处理能力将得到大幅度的提高。 负载均衡在结构上分为局部负载均衡和全局负载均衡 6 1 。前者是指对本地的 服务器集群做负载均衡，后者是指对放置在不同地理位置、不同的网络的服务器 集群之间做负载均衡。在服务器集群中，每个服务器节点运行一个服务器程序的 独立拷贝。服务器负载均衡用于提高服务器的整体处理能力，并行性、可用性、 可维护性，最终目的是加快服务器的响应速度。 2 2 2 负载均衡算法 负载均衡器的功能是根据由负载均衡算法选择的服务器做出重定向请求的 决定。负载均衡算法可以分为静态、动态两种 7 1 。静态负载均衡不断地将用户分 派到运行同一应用的多个服务器上。静态负载均衡方法需要管理员的介入，并且 只有在负载可预测时才能很好地工作。动态负载均衡可以基于如下情况来选择服 务器，用户d 、有关服务器的负载程度、客户和可用服务器之间的网络拓扑结 ! k 京邮电大学硕士研究生学位论文第二章v o d 系统应用服务器相关技术综述 构、某个给定用户过去需求量的统计数字。每当有一个客户连接就分配给当时最 合适的可用服务器。 2 2 2 1 随机算法 随机算法每次产生一个随机数来代表一台服务器，将请求指向该服务器。这 种算法不能考虑到服务器当时的负载状况、是否有服务器故障等。在大量请求下 才能表现出其统计平均特性。 2 2 2 2 轮询法 轮询法( r o 岫dr o b i n ) 1 8 1 是将每一次来自客户的请求依次分配给内部的服务 器，从l 至n ，然后再重新开始。这种算法适合于服务器组中的所有服务器的软 硬件配置相同，并且服务请求数目相对均衡的情况。即适用于集群中所有节点的 性能和处理能力相同的情况。但这种方法没有考虑不同服务器的服务能力不同、 以及当时的负载情况等因素，有时效果不理想。 2 2 2 3 加权轮询法 加权轮询调度( w o i g h t e 4r o u n d - r o b i n ) 1 8 算法是在轮询法的基础上做了一定 的改进，以解决服务器的性能不统一的情况。每个服务器都有自己的权值，该算 法按权值的高低和轮询方式来请求到服务器。高权值的服务器比低权值的服务器 的处理能力更强，相同权值的服务器可以处理相同数目的连接数。高权值的服务 器先服务，当某个服务器的权值为零时，该服务器则不能被调度。但是，当请求 的时间波动很大，加权轮询调度算法还是会导致服务器间的负载不均衡。加权轮 询调度是一种无状态调度，它无需记录当前所有连接的状态。调度器自动询问服 务器的负载情况，并可以动态地调整每个服务器的权值。 2 2 2 4 最少连接法 最少连接调度( l e a s t - c o n n e c t i o n ) 1 9 1 算法是要记录集群系统中的每一台服务器 当前正在处理的连接数量然后将新的连接请求分配给当前连接数最小的服务 器。最少连接调度通过服务器当前活跃的连接数来估计服务器的负载情况，是一 种动态调度算法。调度器记录各个服务器已经建立连接的数，当一个请求被调度 到某台服务器，其连接数加一t 当连接中止或超时，其连接数减一。 北京邮电大学硕士研究生学位论文第二章v o d 系统应用服务嚣相关技术综述 当各服务器的处理性能相仿时，最少连接调度算法可以把负载请求平均分布 到各个服务器上。但是，当各服务器的处理性能相差较大时，该算法并不理想。 性能高的服务器处理完所有请求而处于等待状态，而性能低的服务器正忙于处理 刚收到的连接，还会不断地有新的连接请求。 2 2 2 5 加权最少连接法 l # 粼( w e i g h t e dl e 嬲t - c o 硼e c t i o n ) 1 9 1 分配算法是最少连接法的改进，可 以优化负载均衡性能，适用于集群系统中的服务器性能差异较大的情况。系统根 据服务器的处理能力，给它一个相应的权值。加权最少连接调度算法的原则是在 调度新连接时，尽可能地使服务器的已建立的连接数和其权值成比例。系统自动 询问服务器的负载情况，并动态地调整服务器的权值，达到更好的负载均衡效果。 2 2 2 6 最快响应法 最快响应法研是调度器设备先对集群的每个服务器发出一个探测请求，并将 下一个到达的连接请求分配给响应时问最短的节点这种方法是高级均衡基于拓 扑结构重定向用到的主要方法。 2 3h f c 网络 视频点播系统有基于有线电视网h f c 网络的，有基于i p 网的l p l v ，本文 讨论的是基于h f c 网络的v o d 系统。基于h f c 网络的v o d 系统，是基于传 统广电网络架构之上的方案，和原有的网络兼容。视频的下传采用h f c 广播通 道，采用d v b 协议。 h f c 即h y b r i df i b e r - - c o a x i a l 的缩写，是混合光纤同轴电缆网。是一种发展 前景广阔的通信技术电信服务商现在对h f c 表现出浓厚的兴趣。对有些电信 服务供应商来说，采用h f c 技术向居民住宅和小型商务机构提供融合了数据和 视频服务的综合服务具有相当大的诱惑办。与此同时，h f c 还为网络营造企业 提供了众多的发展机会。 h f c 既是一种灵活的接入系统同时也是一种优良的传输系统，h f c 把铜缆 和光缆搭配起来，同时提供两种物理媒质所具有的优秀特性。h f c 在向新兴宽 带应用提供带宽需求的同时却比f 1 r r c ( 光纤到路边) 或者s d v ( 交换式数字视 频) 等解决方案便宜很多，h f c 可同时支持模拟和数字传输，在大多数情况下， 1 3 北京邮电大学硕士研究生学位论文第二章v o d 系统应用服务器相关技术综述 h f c 可以同现有的设备设施合并。 i p q a m 是基于h f c 网络的一种新的视频点播技术，是在h f c 网络和宽带 接入网的基础上增加i p q a m 设备，有线电视用户中开展互动电视点播业务，这 样有效地利用了h f c 的带宽资源和传输特性，提供有q o s 保障的视频服务，适 应将来的h d t v 业务对传输网络要求也就是说c d n 节点在已构建的i p t v 系 统的基础上，在各分前端机房部署i p q a m 设备，实现系统能同时支持i p t v 和 i p q a m 两种点播方式，并达到8 0 0 个以上并发流的服务能力。 i p q a m 调制设备集。复用、加扰、调制、频率变换一功能为一体，它将 d v b i pg b e 输入的节目流重新复用在指定的m p t s 中，再进行q a m 调制和频 率变换，输出r f 。在使用i p q a m 之后，s t b 和边缘视频服务器之间的控制信 息和视频流分别通过不同的通路传输：s t b 的接入认证、导航页面信息浏览等流 程通过双向回传通道交互；边缘视频服务器收到用户的请求后将音视频流以恰当 的封包形式输出至i p q a m 设备，i p q a m 将音视频流调制为r f 信号后通过h f c 网络传输给s t b ，s t b 对音视频流进行解调