（计算机科学与技术专业论文）大规模嵌入式vod体系结构及负载均衡的研究与设计.pdfVIP

武汉理工人学硕士学位论文 摘要 电视是各个家庭不可或缺的娱乐工具，通过嵌入式v o d 应用将机项盒与 电视结合起来，它将不只是娱乐的工具，而是日常必不可少的生活、学习、工 作的工具，必将改变人们的生活方式。 本文所讨论的基于嵌入式终端数字电视加机顶盒的v o d 系统，当前 在体系结构和负载均衡等方面还不够成熟。数字电视机顶盒虽然具有完善的实 时操作系统和c p u 计算能力，用来协调及控制机顶盒各部分硬件设施，并提供 简易的图形用户界面。然而除了传统视频点播系统需要考虑的多媒体技术、宽 带网络技术等之外，由于嵌入式客户端相对于个人计算机来说其上的资源较少， 内存较小，计算能力小，功能目标单一，无法做大量数据的存储和处理，且增 加嵌入式系统的资源所花费的成本相对来说较高，从而对嵌入式v o d 服务器 端提出了不同于基于p c 机终端的v o d 应用的更高要求。 本文从体系结构和负载均衡两方面研究大规模嵌入式v o d 系统，首先阐 明v o d 不同于其它宽带应用的特点，以及嵌入式v o d 不同于基于p c 机终端 的v o d 应用的特点，分析大规模与小规模的差异，经过研究现有的多节点服 务器结构、分布式的服务器结构及虚拟服务器的结构，设计一种层次化分布式 虚拟服务器的体系结构，从宽带复用率和控制服务器造成的瓶颈之间寻求一定 的平衡，使v o d 应用在可用性、可扩展性之间寻求平衡。 经过分析和研究现有的负载均衡策略的优缺点，结合嵌入式v o d 的应用 特性，提出了一种基于统计学模型的负载均衡设计方法，从用户的操作规律着 手，用户的操作具有典型的随机特性，提取统计模型，在其基础上对片源进行 分块备份存储，并定期对存储节点中的节目根据点播率高低及用户兴趣进行预 测更新，从而实现节点间的动态负载均衡。经过对算法进行测试比较之后，证 实本文提出的算法具有一定的优越性，其处理请求的成功率较其它算法高，即 使在用户请求数量过大时仍能保持一定的响应速度和成功率，从而提高系统的 稳定性及健壮性，并易于扩展，具有一定的自适应性。 关键字：嵌入式v o d ，体系结构，负载均衡，可扩展性 武汉理工大学硕士学位论文 a b s t r a c t r d e 啊s i o ni st l l ei n d i s p e r l s a b l ee n t e n a l m n e n tt o o lf o re v e r ) ，o n e sd a i l yl i f e a c c o r d i n gt oa p p l i c a t i o no fe i 】曲e d d e dv o d ，i tw i l lc o m b i n ew i md i 百t a lt e l e v i s i o n s e t - t o pb o x 1 1 1 e l li tw i l lp r 0 v i d eu sw i t hn o to n l ye l l t e n a i m e n t ，b u ta l s os t u d y w o r k 趾dl i f e ，w h i c hw i l lc h a l l g e p e o p l e sw a y o fl i f ee v e l l t u a l l yw i m o u tad o u b t t h ev o d s y s t e mb a s e do ne m b e d d e dt 锄i n a 】d i 舀t a lt e l e 、，i s i o ns e t t o pb o x d i s c u s s e di nt l l ep a p i t sa r c l l i t e c n 鹏a n dl o a db a l a l l c i n gs n a t e g ye t c a r en o tm a t u | e e r l o u 曲a 1 m o u 曲d i 西t a lt e l e v i s i o ns e t - t o pb o xh 2 u sc 0 m p l e t er e a l - t i m e 叩e r a t i n g s y s t 锄a n dc p u t 0c o o r d i n a t ea n dc o n 缸0 1h a r d w a r ef j 童c i l i t i e sm i t ，p r o v i d e ss i m p l e 黟a p 惋c a lu s e ri i l t e r f a c e b u ti i la d d i t i o nt 0i n u l t i m e d i aa 1 1 dn e t w o r kt e c l l n o l o g ) ，o f 讹d i t i o n a lv o d s y s t e mt oc o n s i d e r ，d u et o1 e s sm e m o 巧r e s o u r c e s ，、a k e ra b i l i t yt 0 c a l c u l a t e ，s i n 西e 如n c t i o n a lt a 略e to fe i l l b e d d e dc l i e n tr e l a t i v et 0p c ，i tc a i l td ol a r g e 锄o u n t so fd a t as t o m g e 锄dh 觚d l i n g w k l ei t 1 lc o s tm u c hm o n e yt ou p d a t e e i 】曲e d d e ds y s t e mr e s o u r c e s ，b a s e do nm i s ，i tp r o p o s e dh i g l l e rd e m a l l df o re 1 】m e d d e d v o ds e r v e rm 趾t l l a ti sb a s e do np ct e r i n i n a l t h ep a p e rr e s e a r c h e s 行o mt h ea r c h j t e c t u r ea n dl o a db a l a n c i n go f1 a r g e s c a l e 翎曲e d d c dv o ds y s t e i n ，f i r s u yi n d i c a t e st 1 1 ed i f 陆锄c e s 舶mo t l l e r o r d i n a 巧 b r o a d b a n da p p l i c a t i o i l s ，雒w d la st l l ec h a r a c t 嘶s t i c so f 即1 b e d d e dv o ds y s t e m d i 侬程舶mm ep ct e m i i l a i l ，a i l a l y z e st l l ed i s c r 印a i l c yb 咖e e nl 堑g c - s c a l ea n d s m a l l s c a l e t h r o u g l lr e s e a r c ho ft l l ee x i s t i n g a r c l l i t e c t u r eo fs e r y s u c h 勰 n o d e s e e ra r c i l i t e c t i l r e ，廿l ed i s t r i b u t e d 锄d 也e 讥帆a l 鲫c h i t e c t u r e ，i td e s i 印sak i n d o fd i s t r i b u t e dv i r t u a l 砌i t e c t u r e ，t os e e ks o m eb a l a i l c eb e t 、) l ，e e nr 肌s a b i l i 够o f b r o a d b a n da 1 1 db 0 砌c n e c kb r o u 曲to u tb yc o n 昀ls e n ，t ob a l 锄c ev o da p p l i c a t i o n p 柏m 趾c eb e 呐e e l lu s a b i l 埘趾de x p a n s i b i l i 够 t h a 。c o r d i n gt oa i l a l y s i s 锄dr e s e 硼hf o ra d v a l l t a g e sa l l dd i s a d v a l l t a g 懿o f e x i s t i n gl o a db a l a i l c i n gs 缸a t e g y c 0 n l b i i l i n gt 1 1 ec h a r a c t 嘶s t i c so f 锄b e d d e dv o d a p p l i c a t i o n s ，i tp r o p o s e das t a t i s t i c a lm o d e l s - b 勰e dl o a db a l 趾c i n gd e s i 盟f o rv o d ， c o 删 1 1 e l l c e df b o mr 觚d o mb e h a v i o ro fu s e r s ，a i l a l y z e dm ei m p l i e dr u l e s ，e x 仃a c t c d s t a t i s t i c a lm o d e l ，d i v i d e dt l l ep r o g r a m si n t op i e c 鹤b 嬲c do ni t ，c o p i e da n ds t o r c d i i 武汉理工大学硕士学位论文 1 e ma c c o r d i n gt 0d i 伟e r e n t0 r d e rp r o b a b i l i 够o fd i v e r s es e g m e i 】晦i nd i v e r s e p m 莎a m s ，锄da d j u s tm ep r o g r a ms t o r e d i nt 1 1 es e n ，e rn o d e sa c c o r d i n gt 0u s d s i 】n e r e s t sa n do r d e rr a t er e g u l a r l y ，t oi i n p l e m 铋td y n a m i cl o a db a l 觚c eb e 咐e 趾s e r v e r n o d e s a r e ft e s ta 1 1 dc o m p 撕s o no ft h ea l g o 订n l m s ，t h er e s u l to fs i m u l a t i o nv e 订矗e s i t ss u p e r i 嘶够0 v e ro t h e ra l g 嘶t h m s ，t h e “s s i o ns u c c e s sr a t ei sh i 曲e r ，e v e i l 也o u 曲 m en u m b e ro fu s e rr e q u e s ti sl 哪ei tc a ns t i l lk e 印c e n a i nr e s p o n s es p e e da 1 1 d s u c c e s sr a t e ，t h u si h ，r o v i n gt h es t a b i l i 劬r o b u s t n e s sa n de x p a n d a b i l i t yo fs y s t e m ， p o s s e s sc e n a i na d 印t a b i l i 够 k e yw o r d s ：e i n b e d d e dv o d ，a r c l l i t e c t l l r e ，l o a db a l a l l c e ，e x p a n d a b i l i t y i i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 签名： 血翌日期：避：皇：垫 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位 论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或 其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认 可的国家有关机构或论文数据库使用或收录本学位论文，并向社会 公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 髋引戳) 孵翩滏孙氟醐洲 武汉理工大学硕士学位论文 1 1 研究背景 第1 章绪论 上世纪九十年代初，随着多媒体技术和宽带技术的飞速发展，数字时代到 来了，出现了v o d ( v i d e 0o nd e l l l 锄d ) ，即视频点播。“视频点播”名词在媒 体上出现得越来越多，并引发了从未来电讯到国际媒体的种种辩论，其早已成 为众多公司的焦点。对于视频点播，以下定义具有一定的代表性： “把用户选 择的节目，通过通讯网的传输，分发到用户终端设备上【l 】。终端可以是任何 具有音视频解码、基础显示和通信功能的设备，包括p c ，数字电视，手机等。 虽然视频点播中心词只是简单的两个字“分发 ，但却隐藏着很多复杂的问题。 视频点播可以描述为一种交互性的娱乐服务，其中用户交互性的级别上升到某 种程度，超越了对电视欣赏的要求，很多其它相似服务如基于网络的视频游戏 等，其在交互性的级别上有所不同。对于电视观众来说，嵌入式视频点播尤其 是一次收视方式的革命拉j 。 在共享视觉娱乐服务的现代发展过程中，娱乐界和通讯界两种工业界的界 限正在融合，形成了新的竞争压力，人们认为这个交汇点蕴涵着极大的利润， 故将其从工业界扩散到世界范围的娱乐界。视频点播技术的出现，从某种意义 上讲，是视频信息技术领域的一场革命，世界各发达国家都被其巨大的潜在市 场所吸引，投入了大量的人力、物力和财力，加速开发和完善这一应用。 就交互电视( 属于狭义的v o d 应用) 而言，传统的电视是单向广播式的 信息传递方式，人们只能被动地按时收看节目，有什么需求都无法传递给信息 供应商。随着宽带网络技术和w e b 技术的发展，进入二十一世纪以后，人们可 以自由、及时地从网络上获得所需要的信息，包括多媒体信息。互联网逐渐发 展成为继电视之后覆盖面最广的一个新兴媒体，在很多人眼中甚至可以替代电 视在人们心目中的位置。人们对像获取文字图片等静态信息一样，从网络上及 时、自发地获得自己所需的动态图像信息来观看视频节目的需求越来越迫切。 视频点播技术就是在这样的背景下产生的，国内外各供应商相继推出一些视频 点播系统。通过这种方式，用户在看电视的时候，可以不看广告及自己不需要 的一切节目，不为某个节目赶时间，随时直接点播希望收看的内容。这是一种 武汉理工大学硕十学位论文 新型的非对称全双工通信模式的电视业务。因此点播模式从根本上弥补了用户 过去在广播模式下被动式看电视的不足，实现了媒体信息供应商和消费者之间 的实质性的互动。数字电视的普及对交互电视的全面发展起到了决定性的作用， 虽然在各个历史时期都出现过属于交互电视范畴的案例，但是只有当数字电视 全面普及之后，交互电视的普及才能够真正提上议事日程。只有在数字电视平 台的基础上，交互电视才能够在技术和运营上成为可能。 广义的v o d 应用，包含了娱乐、教育、医疗和商业等多种领域的多种应 用，如远程医疗、远程会议、影片点播( m o v i eo nd e m a n d ) ，热点新闻点播( h o t n e w so nd e m a i l d ) ，交互视频游戏( i n t e m “v ev i d e 0g 锄e s ) ，远程购物 ( i n t e r a c t i v es h o p p i n 曲等电子商务、远程监护、交互式广告( i n t c r a c t i v e a d v e n i s i n g ) ，远程教学等。相对于以前只能提供图像、图片、表格和文字等简 单静态多媒体信息的交互式多媒体服务而言，视频点播是一种新颖的交互式多 媒体应用。视频包含了很多图像、文本等简单媒体格式所不能提供的动态内容， 无疑能够给交互双方提供更多、更丰富、更形象化的信息。目前，视频点播模 式在娱乐、教育、医疗和培训等行业中已得到广泛应用，极大地增强了用户在 使用上述各种服务时的主动性和灵活性。从而，基于w e b 的视频点播应用随着 宽带网络技术的发展也在逐渐增多，并越来越受到人们的欢迎。 目前现有的视频点播系统面临着成本高、服务策略不够优化、资源调度不 够合理、可扩展性较差等众多问题，在下一节将详细分析。 1 2 研究现状 1 2 1 国内外发展现状 美国是最早进行v o d 技术研究与实验的国家【3 】，在其本土已处于进行大规 模应用的阶段的同时，以美国为主的国外v o d 厂商开始纷纷进驻中国v o d 市 场，而与稍后刚刚起步的国内v o d 技术研究相比，无疑占有绝对的竞争优势。 南贝尔( b e l l s o u t h ) 公司【4 】早在1 9 8 6 年就开始了有关v o d 的实验。1 9 9 3 年，在 美国联邦政府的批准和资助下，大西洋贝尔( b e ua t l a n t i c ) 公司【5 】在电话线上进行 了电视视频拨号音的实验，并尝试将m p e g 1 的压缩数据节目传送到2 0 0 0 个用 户的机顶盒，通过机顶盒解码器再播放给用户观看。 从南贝尔实验室1 9 8 6 年进行有关v o d 的实验到今天，v o d 已经历了二十 2 武汉理t 大学硕+ 学位论文 几年的发展。然而在西方发达国家起步较早，v o d 的发展比较迅速；在我国， v o d 的发展相对滞后，但己有一些城市在前几年进行了v o d 应用的试验。如 上海、广东和四川等。目前，一个v o d 系统一般能够支持从几十到几千个用 户，因此广泛在小区、宾馆、l q v 演播厅、企业、培训机构和学校等地方使用。 许多国外名企及科研机构在发现了流媒体应用的市场前景后，都推出了自 己的视频点播技术产品，如微软公司的w i n d o w sm e d i a 与其操作系统集成销售 和管理，便于后期维护和升级；苹果公司的q u i c kt i m e 因其支持国际通用标准 协议，具有很强的跨平台性；r e a ln 积釉r k s 公司的r e a ls y s t 锄解决方案通过 高压缩率的编码方式提供较低画质效果的媒体流，适合网络传输；i b m 的v i d e 0 c h a r g e r 解决方案是基于i b m 自主研发的操作系统a ( a d v a i l c e di n t e r a c t i v e e x e c u t i v e ) 平台上【6 j ，支持多种网络协议中基于业内标准的数据流格式，可以 从单个系统扩展到多个系统从而支持多个媒体流；开放源代码的d a 刑i n s 仃e 锄i n gs e e r 使用开放标准，可以通过网络实时传送实况或预先录制。 国内以曼德科技、视翰、雷石为主的一些v o d 厂商提供视频点播服务【_ 兀， 他们大都利用集群技术增加服务器数量，通过升级服务器端存储带宽等硬件配 置来扩展系统规模，使其支持更多的并发用户数量。少数厂商使用国外引进的 专用服务器，价格不菲。有极少数厂商宣称采用了分布式的体系结构，支持城 域级应用，但其扩展性较差，通常是“走一步算一步的发展方向。 总结国外v o d 研究现状，只有i b m 公司的v i d e 0c h a r g e r 采用自主研发的 对多媒体应用进行优化后的a 操作系统【8 】，性能较好。其它大都基于通用操 作系统w i n d o w s 、u i l i x 等之上，通用操作系统为了维护其通用性，为了适应更 多的应用程序，是不可能对多媒体做很多专用优化设置的，否则必然会给其它 应用带来限制，所以采用专用的操作系统对其性能也有很大的影响，v i d c h a r g e r 就是个很好的证明。 相对而言，国内v o d 研究起步较晚，没有在体系结构及服务策略等软件 方面加以改善【9 】，没有充分利用现有的硬件资源，以硬件的升级来替代软件的 优化过程，且作为其基础的操作系统并没有对v o d 的应用特点进行优化。 总而言之，由于市场和技术上的原因，现有的商业v o d 应用并没有对系 统的体系结构和视频服务器等软件方面策略做充分的优化。况且对于本文所讲 的嵌入式v o d 系统这一更加具体的v o d 应用而言，对服务器端各方面性能需 求相对较高，需要对系统进行进一步优化。国外对于分布式v o d 应用的研究 起步较早，本文主要集中在系统体系结构和负载均衡策略两个方面。 武汉理工人学硕士学位论文 1 2 2 基础技术 v o d 是一门综合技术，其基础技术主要有网络技术，宽带技术，存储技 术，数据库技术和音视频压缩技术等。下面简要介绍网络，数据库和压缩技术 的现状。 1 ) 网络技术 目前制约v o d 发展的网络技术瓶颈是流媒体传输对网络环境的苛刻要求 以及网络带宽资源有限两个方面。这就需要我们在已有的以太网，f d d i 【lo 】以及 a t m 技术的基础上提高网络传输的速率，系统带宽资源的管理能力以及网络的 可靠性。传输流媒体数据对带宽资源要求高，另外，它对网络时延非常敏感。 为了使系统网络时延在可接受范围内，应适时地引入有效的控制机制及相关策 略，改进流媒体网络协议是提高系统性能的有效手段之一。o s 瓜m 【l l j 是现有的 绝大多数的流媒体网络协议的基础。但是标准的o s i i 洲是针对单一媒体的网 络传输和共享而设计的，它的缺点也显而易见，即不能提供多链接管理，多址 传输和流媒体信息同步等其传输过程中所必需的功能。因而根据不同的需要对 o s i i 洲进行改进是必要的。这种改进主要是在o s i i w 协议的底层包括物理层， 数据链路层，网络层和传输层进行的，其目的是实时地分配网络带宽资源，以 适应流媒体信息传输的持续性、时序性。 2 ) 数据库技术 v o d 系统对数据库系统的高要求是显而易见的。v o d 系统中的数据库管 理必须完成两个方面的内容：其一是实现查询用户请求节目的高效性，其二是 对流媒体文件库的有效管理。在v o d 系统中必须对结构进行优化。数字图书 馆系统就是目前被广泛采用的一种优化结构【1 2 1 。它把流媒体存储与系统管理、 检索等信息处理在逻辑上分开实现。从而使其具有逻辑清晰，易于用户理解和 使用，以及全球设计规划和实现等优点。 3 ) 音视频压缩技术 如果动态图像声音数据在没有压缩之前，所占空间非常大，必然导致通信 网络阻塞及数据存储容量不足。因此，在传送、保存动态图像时，要采用压缩 技术对音视频数据进行编码。多媒体数据压缩技术研究的主要问题包括：数据 压缩率、压缩解压缩速度以及如何尽量保证画质。以压缩解压缩后的数据 是否与压缩前的原始数据完全一致作为标准，可以把数据压缩方法划分为无失 真压缩【l 习( 可逆压缩) 和失真压缩( 不可逆压缩) 两类。主流的视频压缩标准有 4 武汉理t 大学硕士学位论文 h 2 6 x 系列和m p e g 系列。其m p e g 系列中的m p e g 2 ( 常规的d v d 压缩技 术) 目前比较落后，而h 2 6 4 【1 4 】的压缩率在其两倍以上，从理论上讲，相同画 质的视频文件，以m p e g 2 标准是以h 2 6 4 标准压缩的两倍多，加速了嵌入式 设备视频编解码技术的发展。可见h 2 6 4 的优势，它集中了之前压缩标准的优 点，节约了存储设备的空间，其结构和语法更利于网络传输，且其质量可以不 受分辨率、码率的影响。对于视频会议、电话等v o d 应用，存储、传输性能 优越的h 2 6 4 标准无疑是最佳选择，它促进了多媒体相关技术的发展，对v o d 应用的产生和发展具有重要的作用。 1 2 3 体系结构 就体系结构而言，近几年高速并行化、分布式、层次化等技术发展迅速， 却没有在v o d 应用发展中体现出相应的优势，因此可以说体系结构技术的发 展滞后于基础硬件，主要因为基础硬件发展不平衡；新的体系结构技术也没能 有效消除系统性能瓶颈，挖掘出基础硬件的性能；没有考虑v o d 的应用特性。 v o d 应用区别于其它宽带应用的特性有：资源高消耗，高服务质量要求， 可并行性弱，长时间不间断持续服务，系统结构可扩展等等。任何系统中总有 某种瓶颈，要想达到系统各部分硬件平衡发展几乎不可能，关键要能从一定程 度上缓解瓶颈部件对v o d 系统总体性能的限制，而如何缓解，这是个值得研 究的问题。 以往的视频点播系统主要是由单一的视频服务中心组成。这类系统在本地 存储视频资源，不与其它服务器相关联，独立地接受并响应用户请求，与用户 直接交流。随着视频点播需求量越来越大，存储的视频文件数量及其需要的存 储空间是大规模的，服务的用户群是大规模的，系统必须能支持成千上万个用 户同时访问并对每个用户保证一定的服务质量。因此并行视频服务器技术越来 越受到人们的重视。目前主流的视频服务器结构主要有分布式、集群式以及并 行计算结构等。 1 ) 分布式结构 分布式结构的特点是每个服务器独立拥有自己的存储i o ，网络i o 等资源， 这就决定了它的各个服务器之间是独立运行的，不可避免的导致了这种结构的 诸多缺点。比如第一、当每个服务器都复制相同的节目内容时，存储开销太大， 造成服务资源浪费；第二、当服务器之间的内容不同时，会出现负载不平衡， 武汉理工人学硕士学位论文 这无疑给系统的负载均衡出了个难题。 2 ) 集群式结构 分布式结构的主要缺点是资源不共享，因此便产生了集群式结构，它的主 要特点是各个独立节点能够共享存储资源。目前实现集群式结构主要有两种方 案，一是多台独立服务器节点共享网络磁盘阵列( s a n ) ，其主要缺点是成本 高，不易扩展。二是分存流媒体文件的各个节点用高速网络连接起来，其优点 是节省了存储资源，但会使系统整体可靠性降低，因为系统正常工作的前提是 网络中的所有服务器都正常工作。 3 ) 并行计算机结构 目前采用的并行视频服务器主要分为两类【i5 1 ，一是在现有的并行计算机如 s g i 耐西n 2 0 0 0 3 0 0 0 ，s u ns p a r c ，h p 9 0 0 0 等上配置相应的v o d 应用软件，但 由于这些并行机并不是专门为v o d 业务所设计的，所以并不能发挥其所有的 实际能力，从而造成严重的资源浪费。另一类如n c u b e 公司的n c u b e 4 【1 6 】这 样的专用并行视频服务器，它针对流媒体数据的特点，对存储、网络i o 、操作 系统和服务软件都做了相应的改进。从而使其具有较好的服务效果，其最高配 置为2 5 6 个处理节点，可支持4 ，4 0 0 0 个在线v o d 用户。然而其代价昂贵，不 宜推广。 1 2 4 负载均衡 在存储和宽带技术高速发展的今天，v o d 系统已成为炙手可热的服务，人 们对v o d 服务的需求在不断的增长，使v o d 的规模逐渐壮大。作为一个大规 模v o d 系统，其负载均衡( l o a db a l a i l c c ) 已经成为衡量系统性能的一项重要 指标，可以说体系结构及文件存储结构等设计都是在为系统的负载均衡服务。 单一服务器早已无法承载大量的并发请求，然而用户需求的指数型增长速度远 比服务器数量的添加速度要快，况且大规模v o d 的服务器是一笔不菲的开销， 因此从策略上优化负载均衡，必然成为首选之路，否则，再高级的服务器和带 宽等硬件配备也终将成为v o d 服务性能扩展的瓶颈。 在并发访问率高的应用中，由于用户请求的分布不均匀，随机性比较强， 如果不能对用户的请求合理的进行分配，那就会造成系统的负载分布不均衡， 有的服务器处于超负荷状态，有的处于超空闲状态，从而整个系统的资源利用 率低下，用户的拒绝率就会增加，服务性能就会降低。 6 武汉理工人学硕士学位论文 v o d 应用的服务质量绝大部分取决于用户的体验即系统的可用性。如果服 务质量很低，整个系统基本等于零，没有任何价值。单服务器无法满足v o d 用户需求，集群1 7 】( c 1 u s t e r ) 技术在v o d 中应用逐渐广泛，在多节点结构中， 需要考虑各节点间的负载均衡。 因此，采用怎样的一种负载均衡方案是值得研究的，这可以为更换高级硬 件配备而节省一笔开销，在硬件配备有限的服务器的状态下，提高系统的可用 性。 1 2 5 应用现状 视频点播应用已经发展成为一大类交互式业务的总称，在世界各国开展的 v o d 试验包括了娱乐、商业、教育、医疗等多个领域【l9 1 ，具体应用如影片点播、 交互式购物、k 、热点新闻、远程会议、远程教育、远程医疗等，具体应用 场合有宾馆、饭店、企业、科研机构、家庭住宅区等。v o d 只是描述了视频点 播这一应用的基本特征，实现v o d 应用的网络提供了交互式多媒体通信的能 力，加之用户需求和想象，就可以构造出形形色色的应用形式来。v o d 应用有 广阔的市场前景，但是，现有的技术和产品却不能满足大面积部署，并同时处 理大量并发请求的用户需求，可扩展性较弱。 单就嵌入式v o d 而言，我国的发展较外国相比很缓慢。不仅仅是因为流 媒体等技术发展缓慢，还存在国内对v o d 的需求不是很大的原因。这一项技 术，是先兴起应用，方便了人们的生活，人们在不知不觉当中习惯了它的存在， 习惯了这种生活方式，渐渐地离不开v o d 应用。当前国内v o d 大都是基于 p c 机的，然而毕竟电视比电脑更普及，以电视为终端的嵌入式v o d ，是需要 以数字电视为基础的。越来越多的有线电视网络运营商认识到，数字电视的根 本价值不在于收视内容的改变，更重要是在于收视行为的改变【2 ，完全实现用 户与供应商的互动，满足用户个性化需求。但有些城市还没有普及数字电视， 所以虽然目前对嵌入式v o d 的理论上已经有一定的研究，但实际应用还比较 欠缺。以手机、p d a 等小型设备为终端的嵌入式v o d 应用更是有待研究和实 现。通过嵌入式v o d 增值业务进行话费水费等电子商务的交易是一种必然的 趋势，将逐渐取代实物交易，因为它可以便利人们的生活和学习，改变人们的 生活方式，提高人们的生活质量。 7 武汉理工火学硕士学位论文 1 3 研究目标及意义 放眼宽带网络的应用，视频点播应用越来越贴近百姓生活，就好比位于计 算机操作系统之上的应用软件，操作系统是为应用软件来服务的，应用软件是 供用户直接使用的，应用软件推动操作系统不断去完善；视频点播等宽带应用 推动宽带技术和存储技术的发展，以满足应用的需求。v o d 将成为宽带网络上 最闪亮的灯，其广泛应用对人们的生活方式等大众文化和商业运作模式都将产 生强烈的影响。随着人们使用网络频率的增加和网络资源的不断丰富，人们将 越来越深的体会到v o d 系统给人们带来的便捷的生活方式。在当前网络带宽 和存储技术发展有限的情况下，如何使人们体验到一个中甚至是高q o s ( q u a l i t y o f s e i c e ) 的视频点播应用，是一个值得人们研究的课题。 v o d 系统自产生以来，因其点播的灵活性、交互性、多媒体表现形式的直 观性，一直受到广泛的关注，成为多媒体、计算机、通信等研究领域的一大热 点。从某种意义上说，它是信息的接收者根据自身需要进行的自我完善和自我 发展的一种方式【2 1 1 ，这种方式在信息时代将越来越符合信息资源消费者的深层 需要。v o d 作为最形象、最直观、最合乎用户需求的信息服务方式之一，必将 在今后的信息高速公路上传送最多的信息，对人们的生活产生巨大影响，同时 给厂商带来巨大的经济效益。对这一产业，我们应给予足够的关注和支持，才 能推动其在中国的发展。如上节所述，其在p c 机上的发展日趋成熟，然而对 嵌入式v o d 的研究与应用还处于发展中阶段。由p c 机转向嵌入式终端的过程 中，服务用户群规模的扩展对v o d 系统的体系结构，视频服务器的存储布局、 负载均衡策略、服务策略及软件结构等多方面提出了新的要求，产生了新的技 术难点和问题，解决这些问题对普及和发展我国的嵌入式v o d 应用具有重要 的现实意义，因为它终将改变人们的生活。 本课题主要研究大规模嵌入式v o d 系统体系结构及其负载均衡策略，从 响应请求效率、稳定性、可扩展性等方面提高大规模嵌入式v o d 系统的服务 质量，优化系统的性能。具体工作如下：经过分析常见负载均衡算法和v o d 系统结构，设计较为合理的适用于嵌入式v o d 应用特性的体系结构，对用户 的行为加之分析，提出一种改进的负载均衡策略，根据用户点播节目的时长、 兴趣变化率以及用户v c r 操作，分析用户行为对系统存储策略的影响，然后对 服务器负载进行计算与均衡，优化服务器资源调度的均衡性，提高整个v o d 的服务质量，使其可以为越来越多的用户提供服务。 武汉理工大学硕十学位论文 1 4 论文结构 本文共分五章，各章具体如下： 第l 章为绪论，介绍了本课题的研究背景，分析了大规模嵌入式v o d 应 用及其相关技术的研究现状及发展前景，并阐明了本课题的研究目标及其意义， 所做的工作。 第2 章主要讨论流媒体技术，嵌入式终端机顶盒相关技术，另外讲述了体 系结构的一些相关技术。 第3 章经过分析小规模视频服务器的体系结构，讨论了嵌入式v o d 系统 视频服务器的扩展方法以及体系结构技术，分析其扩展方法的优缺点，结合对 大规模嵌入式v o d 区别于其它宽带应用及基于p c 机的v o d 应用的特性的分 析，优化视频服务器的体系结构。 第4 章基于对现有v o d 系统负载均衡方法的讨论与分析，提出了一种基 于统计学模型的负载均衡设计方案，从用户的随机性操作出发，分析其规律， 采用相应的方法处理并发请求。通过实验证实了算法较其它算法的优越性，提 高了各节点服务器资源利用率，达到了进一步优化系统负载均衡性能的目的。 第5 章为全文的总结和展望，总结本文所做工作，分析其中的不足，阐明 未来的研究方向。 9 武汉理工大学硕士学位论文 第2 章大规模嵌入式v o d 相关技术现状 v o d 应用有着区别于其它宽带应用的特性，而嵌入式v o d 系统，它又有 区别于p c 机为终端的v o d 应用的特性，所以在从p c 机到嵌入式终端的过渡 过程中，我们要在熟悉它的特性之后对症下药，才能实现我们的目标。 2 1 流媒体技术 随着网络技术应用的逐步深入，网络上传递的信息种类越来越多，从最初 的文字信息，发展到目前的文字、图片、图像、音频、视频和动画等几乎涵盖 人们可以想象的一切信息种类。人们对信息传递种类多样化的需求，对网络的 信息传输技术又提出了更高的要求，也刺激了宽带技术的不断发展，给流媒体 的产生奠定了基础瞄】。流媒体就是在这样的背景下产生的多媒体技术。 以前我们观看多媒体文件时要从供应商服务器上下载完全之后才能播放， 即使看一个很短的新闻视频，也需要花费较长的时间等待，这对观看新闻的实 时性和人们的生活质量有一定的影响。流媒体，顾名思义，是指采用流式的方 式将多媒体文件经由宽带互联网传送到客户端终端，在用户端进行播放的多媒 体格式【2 3 1 ，而流式传输方式不是一次性将整个文件传送到客户终端，而是将整 个文件按照某种压缩标准分成一个个压缩包，先发送文件的第一个包，在它开 始播放的同时，其它包顺序、连续、实时地由服务器发送到客户端，一个个压 缩包在网络中传送，就像一段段水流在水管管道中流动一样。 可见，在采用流式传输方式的应用中，用户不必像采用下载方式那样等到 整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户终 端上利用解码设备对压缩过的多媒体文件解码后进行播放和观看，与此同时该 文件的剩余部分还会从服务器上陆续缓冲。与过去单纯的下载方式相比，这种 对多媒体文件下载与解码同时进行的流式传输方式不仅使用户观看的启动延时 大幅度地缩短，从而极大缩短用户等待时间，而且对系统缓存容量的要求也极 大地降低。 为保证由并发数量过多而导致网络速度下降的情况下播放不会发生中断， 播放器在开始播放前先缓冲一部分数据。即增大对同一段数据下载和播放的延 l o 武汉理工大学硕士学位论文 时，如果数据传输速度保持足够快的话，播放过程会平稳连续。优酷和土豆等 很多v o d 应用都是用这种方法来增大用户观看节目的连续性，因为绝大部分 用户宁愿多等几秒来观看连续的节目也不愿在享受流媒体服务的同时忍受“中 场休息”。无论文件长6 0 秒钟或是6 0 分钟，用户只需要在观看视频前等上几 秒钟或者几十秒【2 4 】，就可以安心享受流媒体技术带给我们的方便。 目前流式传输的两种方式【2 5 】是顺序流式传输和实时流式传输。实时流式传 输，流媒体信息可以实时观看到，用户可以在过程中进行快进、后退、暂停等 v c r 操作，还需要特殊网络协议，如i 汀s p r e a l - t i m es t r e 锄i n gp r o t o c 0 1 来 实现。顺序流式传输，也是在下载多媒体文件时可以播放，但下载与播放不是 同步实现的，它们之间有一定的延时，也就是说，这一时刻播放的是上一时刻 下载的文件内容。可以看出，两者的区别在于在整个文件未下载完全的情况下， 能否进行快进、快退等v c r 操作。实时的可以，顺序的不能。但实时传输方式 下，文件的质量不如顺序方式下更有保证。 流媒体技术的发展主要依赖于网络带宽技术，媒体文件的传输控制及其压 缩率，客户端解码等因素，其中任一因素都会影响流媒体技术的发展和应用。 随着网络协议的改善( 如r t p 、r t s p 、r t c p 系列实时流传输协议族) 【2 6 1 、宽 带技术和视频压缩技术的发展，流媒体的实现已经变得越来越容易了。 2 2 机顶盒技术 在v o d 系统中，客户端设备可以是p c 机，也可以是机顶盒，甚至可以是 手机。不过目前手机用户的消费群集中在中低端层次，没有足够值得开发的市 场前景，所以我们通常所指的嵌入式v o d 是指将v o d 技术应用到嵌入式设备 当中，也就是说，用电视加机顶盒作为v o d 系统的客户端设备。 机项盒因其通常被置于电视机上面而得名，它是用户由网络获取流媒体数 据的桥梁，是种智能数字信号转换裂2 7 】。机项盒有模拟和数字之分，由于数 字技术的飞速发展，使其具有广阔的前途，所以我们现在所说的机顶盒一般都 指数字机项盒。机顶盒利用有线电视网或者互联网为信息来源，以电视机为用 户终端，从而使传统的电视机具有简单电脑的功能，使用户可以享受i n t 锄e t 上的信息，同时它还可以接收卫星以及广播电缆传来的节目，可以享受附加的 服务，例如在i n t 锄e t 上选择想看的电影，享受v o d 服务，电视远程教育，电 子商务交易等。 武汉理工大学硕士学位论文 目前的数字机顶盒已具有较为完善的功能，它最基本的功能是完成数字信 号到模拟信号的转换【2 8 1 ，对经过数字化压缩的多媒体信号进行还原，从而产生 电视机的视频和音频设备可以播放的模拟信号。除此之外，随着嵌入式技术的 发展，嵌入式处理器的运算能力得到了大幅的提高，可以进行更加复杂的运算， 实现更高精度的算法。同时现在的数字机顶盒已经具有相对完善的操作系统， 从而可以更好地对硬件设备进行管理，并提供更加友好的用户界面。 根据传输媒质的不同，现在的数字机项盒可以分为【2 9 】：卫星数字机顶盒 ( d v b s ) 、地面数字电视机顶盒( d v b t ) 和有线数字电视机顶盒( d 一c ) 等，这些机顶盒的硬件结构主要区别在于信道的解码和解调部分( 传输 介质不同) ，而本课题将采用家用有线数字电视机顶盒作为嵌入式v o d 系统 的客户端终端。 2 3 集群技术 2 3 1 集群技术发展 随着分布式系统的发展，集群技术应运而生，它也是一种分布式系鲥圳， 它是将多个独立的计算机连接在一起，使其像单独的一个计算机一样共同的工 作。集群一般采用单一的界面，每个节点可以是拥有独立内存，i o 设备及操作 系统的单核或多核系统，节点的个数一般在两个以上。这些节点可以是物理上 一起的或通过局域网连接在一起的。对于用户和应用程序来说，一个集群就像 是一个单一的系统。在集群技术出现之前，人们往往利用昂贵的专用共享内存 来达到数据共享的目的【3 l 】。而集群则可以在大大降低成本的基础上得到更加优 良的性能。 常见的集群系统主要有三种：高可用性集群、高性能集群和负载均衡集群 【3 2 】 o 高可用性集群的主要功能是提供不问断的服务。它主要用于那些需要不问 断工作的场合。例如w e b 服务器、工业控制器、a t m 、远程通讯转接器、医学 与军事监测仪以及股票处理机等【3 3 】。这些设备如果停止工作哪怕是很短的一段 时间，都将造成无法估量的损失。而高可用集群则能保证它们全天候的工作。 高性能科学集群则主要是用来解决高性能计算问题。它将多台计算机连接 起来进行高性能计算，从而能够达到超级计算机的功能。同时其成本又远远 1 2 武汉理t 大学硕十学位论文 低于超级计算机，并且具有更高的可用性及扩展性。高性能集群的主要应用有 模拟星球附近的磁场、预测龙卷风的出现、定位石油资源的储藏地等。 负载均衡集群则是采用负载均衡技术，尽可能地使每个节点承担大致相等 的负载，从而得到更高效的系统。这种系统主要适用于那些运行同一组应用程 序的大量用户【3 5 1 。这里所说的负载主要指两个方面，其一是应用程序处理负载， 其二是网络传输负载。前者的