（计算机应用技术专业论文）iptv视频点播系统中资源管理策略的研究与实现.pdf

东北大学硕士论文 摘要 p t v 视频点播系统中资源管理策略的研究与实现 摘要 随着宽带网络技术和流媒体技术的不断成熟和发展，网络电视( r p t v , i n t e m e t p r o t o c o lt e l e v i s i o n ) 技术f 在走进千家万户。i p t v 不仅能使普通家庭用户可以随时 使用他们最熟悉的电视机根据各人喜好有选择地观看互联网上丰富的电影、电视剧、 文艺节尽、新闻等娱乐和资讯内容，而且使远程教育和在线培训的实施和普及更加 方便快捷。 视频点播( v o d ，v i d e oo nd e m a n d ) 系统中拥有大量的资源，这些资源是不断更 新变化的。如何组织和管理这些资源以便提高系统的可用性，是v o d 系统要解决 的一个重要问题。这个问题需要通过资源管理技术来解决。 本文介绍了资源管理的概念和作用，结合i p t v 视频点播系统( i p t v v o d ) 的特 点分析了数据分布技术、消息路由技术和动态复制技术的原理与几种典型的解决方 案a 在此基础上，本文提出了一种基于d h t 思想的数据分布策略。这种策略能哆 将媒体文件均匀地分布到v o d 系统中的各个服务器中，从而分散系统负载并提高 系统的可用性。在实现数据分布策略的同时，本文也给出了相应的消息路由策略。 本文提出并实现了一种基于阈值的动态复制策略。这种策略根据用户的点播习惯和 点播情况，将热点文件快速扩散到系统中的各个媒体服务器中。从而动态地实现了 文件的重新分布。 关键词：视频点播；资源管理；资源定位；数据分布；消息路由；动态复制；d h t - i i 东北大学硕士论文 a b s t r a c t t h er e s e a r c ha n di m p l e m e n t a t i o no f r e s o u r c em a n a g e m e n ti ni p t vv o ds y s t e m a b s t r a c t w i t ht h ed e v e l o p m e n to fb r o a db a n dn e t w o r ka n dt h es t r e m n i n gm e d i at e c h n o l o g y ， p t v ( i n t e r n e tp r o t o c o lt e l e v i s i o n ) h a se n t e r e dt og e n e r a lf a m i l i e s i p t vt e c h n i q u en o t o n l ye n a b l e sr e g u l a ru s e r st oc h o o s et h e i rf a v o r i t ei n f o r m a t i o na n dc o n t e n t s u c ha s m o v i e s ，t vs e r i e s ，e n t e r t a i n m e n tp r o g r a m sa n dn e w sw i t hw e l i k n o w nt vs e t sa t a n y t i m e ，b u ta l s om a k e sr e m o t ee d u c a t i o na n do n l i n et r a i n i n gm o r ec o n v e n i e n ta n d e m c i e n t t h e r ea r em a n yr e s o u r c e si nav o d ( v i d e oo nd e m a n d ) s y s t e m ，w h i c ha s cv a r i a b l e s ow en e e de s p e c i a l t e c h n o l o g y t o m a n a g ea n do r g a n i z et h e s er e s o u r c e s t h i s t e c h n o l o g yi sr e s o u r c em a n a g e m e m t h j st h e s i si n v e s t i g a t e sc o n c e p ta n df u n c t i o no fr e s o u r c em a n a g e m e n t t h i st h e s i s i n t r o d u c e ss e v e r a lk e yt e c h n i q u e si nr e g o l l r c em a n a g e m e n t ，s u c ha sd a t ad i s t r i b u t i o n s t r a t e g y ，o b j e c t sl o c a t i o ns t r a t e g y ，d y n a m i cd u p l i c a t i o ns t r a t e g y ，a n dd i s c u s s e st h e i r t y p i c a la r c h i t e c t u r e si nv o ds y s t e m b a s e do np r o f o u n da n a l y s i sa n dc o m p a r i s o n s ，t h i s t h e s i sp u t sf o r w a r dad a t ad i s t r i b u t i o ns t r a t e g yb a s e do i ld h t a l g o r i t h m t h i ss t r a t e g y c a nd i s t r i b u t er e s o u r c ef i l e si n t ot h ew h o l es y s t e ma n da d j u s tl o a db a l a n c eo f t h es y s t e m t h i st h e s i sf o r w a r d sam e s s a g er o u t i n gs t r a t e g yt of i n dr e s o u r c ef i l e si ns y s t e m t h i s t h e s i sf o r w a r dad y n a m i cd u p l i c a t i o ns t r a t e g yb a s e do nt h et h r e s h o l dv a l u e t l l i sk i n do f s t r a t e g yc a nr e d i s t r i b u t eh o tf i l e st om e d i as e r v e r sa c c o r d i n gt oc u s t o m e r sd e m a n d b e h a v i o r k e yw o r d s ：i p t v ；r e s o u r c em a n a g e m e n t ；r e s o u r c el o c a t i o n ；d a t ad i s t r i b u t i o n ； m e s s a g er o u t i n g ；d y n a m i cd u p l i c a t i o n ；d h t ，i i i 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写 过的研究成果，也不包括本入为获得其他学位而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并 表示谢意。 学位论文作者签名：刮利谰 日 期： ，。罗弦 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位 论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文 的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名；否则视为不同意。) 学位论文作者签名： 签字e i 期： 导师签名： 签字日期： 东北大学硕士论文 第一章绪论 第一章绪论 1 1 研究背景 随着信息技术的快速发展，人们逐渐开始注意到互联网这个蕴藏着丰富共享资 源的载体。最初，人们对网络的使用和信息的需求，主要集中于信息检索和静态文 本内容。宽带网络的普及，使得人们的需求开始向娱乐、影视欣赏等方向转移，对 流媒体的应用需求也从简单的了解信息向视听欣赏上转变。人们对于视频的需求越 来越迫切，例如，远程教育和在线视频点播。但是传统的视频技术不能满足用户的 这种需求：基于i p 网络的视频服务不能提供用户类似于广播电视的高质量图像信 息，而广播电视技术又不能实现交互式的互动点播。 宽带用户经过几年的快速增长，已走到了一个临界点。许多城市在投入巨资建 设城域网之后，并没有获得高的宽带用户接入率，挖掘新的用户量和业务量的增长 方式成为固网运营商芙心的首要问题。网络电视( i p t v , i n t e r n e tp r o t o c o lt e l e v i s i o n ) 作为一种革命性的宽带使用方式，其对宽带市场强烈的拉动作用，已经得到业界的 公认。 “i p t v 视频点播系统”的提出顺应了市场发展的趋势。它通过一台机顶盒接入 宽带网络，其显示终端既可以是p c 机，也可以是电视机。它使人们能够通过最熟 悉的普通家用电视机来访问经过详细分类、合理组织的丰富的互联网资源。用户只 要在家里安装机项盒设备和宽带网线，通过注册服务，就可以在任何时候在家里打 开电视机，按照美观生动的菜单画面方便的选择并欣赏自己喜爱的节目。该技术的 优点如下： ( 1 ) 操作简单，便于普及 ( 2 ) 随时随地，完全主动 ( 3 ) 内容丰富，使用方便 ( 4 ) 节省下载时间和存储空间 1 2 课题的提出 网络现在已经成为人们生活中的重要组成部分。我们可以通过网络进行学习、 交流、娱乐等活动。目前的网络能提供的服务内容仍以文字、图片为主要形式，而 人们对于视频的需求却越来越迫切。近年来，计算机和通信技术的发展使得视频点 播服务成为可能，而且很快就会成为高速网络中最重要的服务方式之一【2 】。 1 东北太学硕士论文 第一章绪论 流媒体技术的引入，使得宽带视频服务成为可能。人们在此基础上提出了许多 宽带视频解决方案，但是这些方案都存在着延迟时间过长的问题。在i p t v 视频点 播系统中同样存在着这样的问题。这是因为视频、音频数据非常占用网络资源，但 是骨干网的带宽总是有限的。因此在大规模的视频点播系统中，为了提高服务质量， 服务提供商大都采用多台服务器组成服务器机群( 集群技术) ，并且将内容边缘化， 尽可能由这些边缘服务器一起对外提供服务增加系统总的带宽口j 。 引入集群技术之后，服务器数目和总的带宽增加了，系统总的服务能力增强了。 但是，也带来了资源管理的问题。新录入的节目如何存放到系统中、如何定位节日、 如何根据用户的点播习惯重新调整节目在系统中的分布，都将是影响系统服务质量 的重要因素。 所以，本文在对数据分布技术，消息路由技术和动态分布技术的原理及其各种 应用深入分析的基础上，提出了i p t v 视频点播系统中基于d h t 思想的数据分布策 略和基于阅值的动态复制策略。这两种策略的结合使用，可以有效地提高系统的负 载能力。 l - 3 研究意义 综上所述，多媒体应用是网络发展的方向。多用户、大并发流和高质量是视频 点播发展的趋势 4 】。在大规模的在线点播系统中，如何将文件有效地分布到系统中， 怎样根据系统运行状况与客户使用情况来重新调整文件的存储，是视频点播系统中 的技术难点。本文所研究的资源管理策略，是i p t v 视频点播系统和各种大规模的 视频点播系统中能够影响整个系统所能够提供高质量服务的关键因素之一。 视频点播最初目的是为用户提供实时的视频、音频流，以便用户接收观赏，但 现在视频点播( v o d ，v i d e oo nd e m a n d ) 技术并不只限于家庭娱乐。随着i n t e r n e t 的速 度不断提高，视频、音频信息的实时传输已成为可能，将来v o d 技术将进入商业、 教育等领域，例如，现在一些大的公司已经在自己的网站上，通过视频、音频信息 来展示自己的新产品；同时一些公司通过v o d 对员工进行新技能的培训。但我们 认为v o d 更为重要的意义在于教育领域内的应用，我国是发展中国家，教育水平 相对落后，科教兴国是我国的一项长期方针。远程教育是现有教育手段的一个重要 补充，它有助于落后地区的教育发展和人们的终身教育。v o d 为远程教育系统提供 了实时播放视频、音频文件的能力，是远程教育系统的一个重要组成部分。 1 4 论文结构 本文的其它章节安排如下 本文的其它章节安排如下 一2 东北大学硕士论文 第一章绪论 第二章介绍了资源管理的概念以及一些资源管理中的技术。 第三章介绍了i p t v 视频点播系统的总体架构，并分析了系统开发时应用的概 念和技术。 第四章对系统中资源管理策略的设计进行了详细的阐述。 第五章详细阐述了系统中资源管理策略的实现。 最后的结沦部分对全文进行了概括性的总结，并对今后的研究工作进行了展 望。 3 圭垄苎兰翌主兰竺堡墨 一 苎三兰童堡矍墨垫查垫竺 第二章资源管理技术概述 2 1 资源管理技术介绍 随着嚼终技术籀发展。嘲络规攫在不断增长。无论在企业魄、局域网还是广豉 嘲，业务量的发展鄱超出了过去的估计，企业对网络的依赖性也越来越强。当企业 为用户提供服务时，随着访问者数量的快速增加，网络服务器需要具备提供大量并 发访问服务的能力。在流媒体研究领域旦，如何合理地分配系统资源，使流媒体服 务器能够在满足服务质量的前提下，支持尽可能多的并发服务，己经成为一个重要的 研究课题。而如何分配、使用和回收系统资源，就是资源管理技术所要解决的问题。 瓷源管理是为了使用户了解系统孛各袭资源的存在情况、使耀情况和动态变化 情况而出现的。网络环境下的资源管理，必须能够调度和控制网络中的所有元素来 满足网络应用的各种需求【“。 2 1 1 网络环境下资源的特性 通常所说的“资源”具有三大基本属性即资源的存在性、资源的使用性和资 源的动态性，满足这三令条件就是广义意义上鹩资源诤i ， 2 1 1 1 资源的存在性 资源的存在性，就是确认某个资源是否存在，以及该资源的存在状态、存在位 置、存在方式、与其他资源的关系等的完整记录【6 l 。例如，网络中存在的服务器， 各个服务器中保存的文件。资源的存在性集中体现在资源数据库中的资源映像与现 实网络环境下中的各弛资源的一一对应关系是否建立。 21 12 资源的使用性 资源的使用性就是某一资源是否承载着业务，是否被占用，被谁占用等，即 资源是否被使用和使用的状态【“。例如，网络中某个服务器是否被占用，服务器的 c p u 、内存、磁盘使用情况等。 2 。1 i 3 资源的动态性 资源的动态性体现在资源数据库跟随现实网络变化的及时忖与准确性方面。资 源的存在性是动态的，哪里增加了资源、减少了资源，都必须在资源管理系统中动 态地反映出来；资源的使用性是动态的。当使用了资源、释放了资源，也都必须在 4 一 东北天学硕士学位论文 第二章资源管理技术概逮 资源管理系统中动态地反映出来【“。目前对网络资源管理的研究有很多，但它们多 是就某一类型的资源进行研究，例如计算资源、存储资源等。为了使现实网络中资 源存在及使用状态变化及时反映到数据库中的资源映像上，需要建立相应的调度流 程和组织管理模式。 2 1 2 资源管理的目的 资源管理的目的就是把系统中的各种资源统一管理起来，为用户提供一种一致 的、简单方便的、高效的协同资源使用机制【6 j 。 资源管理的目的主要有三个： f 1 ) 为用户提供访问资源的简单接口，将实际使用资源的具体细节隐藏起来， 使得用户只能看到一个抽象的逻辑资源。资源的接口常常是很复杂的，经过抽象之 后，复杂的技术细节将被隐藏起来； ( 2 ) 协同资源的共享使用。所谓的资源的共享，就是协同使用资源的权利： ( 3 ) 资源管理器作为用户使用资源的代理，并建立安全的资源使用机糊。 2 2 资源管理技术在v o d 系统中的应用 2 2 1v o d 系统中的资源 要实现一个v o d 系统的资源管理，首先要明确系统中有哪些资源以及哪些资 源是需要管理、哪些资源能被管理。在v o d 系统中，资源通常分为以下几类： ( 1 ) 文件资源 在v o d 系统中，最重要的资源就是媒体文件，也就是通常所说的视频节目。 文件在系统的分布情况会直接影响系统的负载能力，同时也是影响任务调度的重要 因素。 ( 2 ) 设备资源 v o d 系统中通常包含很多台设各，例如服务器、网络接口等。系统需要能够及 时掌握各种设备的生存状况。同时，系统也需要掌握服务器上的内外存、c p u 、网 络带宽、客户连接数等资源的使用情况。这些资源的使用情况直观反映了服务器的 运行情况，是任务调度的根本依据。 2 2 2 资源定位技术 在v o d 系统中，媒体文件在系统中的分布形式，是影响系统服务质量的一个 重要因素。一个合理的文件分布形式，能够以较小代价为系统带来较好的服务质量。 5 东北大学硕士学位论文 第= 章资源管理技术概述 同时在v o d 系统中，存在点播不中的情况，如何确定指定文件在系统中的存储位 置，也是一个重要的问题。这些问题都是资源定位技术所要解决的问题。 所谓的资源定位技术，就是为了达到资源共享的目的而提供一种途径，既可以 让用户方便、快捷地将自己的资源发布出去，以便其他用户访问，又能使用户很方 便、快捷地找到自己没有而又需要的资源”。 资源定位是资源共享系统的首要功能和核心技术，它主要包括三个方面的内容 1 7 1 ： ( 1 ) 覆盖网络 ( 2 ) 数据分布 ( 3 ) 消息路由 22 2 1 覆盖网络 覆盖网络是由一系列分布于i m e m e t 各自治( a u t o n o m o u ss y s t e m s ，a s ) 系统 内部的覆盖服务节点以及连接他们的逻辑链路所组成的虚拟网络，它能有效地利用 i n t c r n e t 为终端用户提供更为可靠的服务”。有了覆盖网络，即使网络层出现错误， 应用系统也可以凭借覆盖网络快速找到替代路由。同时，覆盖网络只是重叠在现有 网络上的虚拟网络，并不需要改变现有的网络架构，实现起来很方便。覆盖节点通 常具有路由、数据处理和输出保存等功能，而逻辑链路通常对应于底层的一条或者 多条物理路径例。 覆盖网络是为了在很多自治系统上提供可靠、容错性好的服务而出现的。i p t v 视频点播系统由东北大学网络与通信中心与沈阳都市通公司合作开发，其f 层的网 络种类单一，不存在异构、自治的网络，因此其覆盖网络与实际的物理网络拓扑结 构一致。 2 。2 。2 。2 数据分布 覆盖网络确定了节点间的连接关系，接下来的问题是文件本身及其信息存放在 何处，如何将这些数据分布到整个覆盖网络上才能使资源定位更高效、更准确、更 全面。这个问题需要由数据分布来解决。数据分布技术实际上就是要解决如何发布 数据的问题【”。 视频点播系统中用户的访问具有明显的“访问局部性”特点，这种局部性有两 种表现形式1 3 4 1 ： ( 1 ) 时间局部性。即大部分的访问都集中于某些黄金时间段。 ( 2 ) 节目局部性。即大部分的访问都集中于一小部分热门节目上。 数据分布最主要的目的是提高访问的局部性( l o c m i t yo f r e f e r e n c e ) ，即通过数 6 一 东北大学硕士学位论文第= 章资源管理技术概述 据的合理分布，尽可能地使大部分数据能够就地存取，以减少远距离的数据访问 【8 2 9 。复制是提高分粕式文件共享系统的性能及可靠性的一种重要手段，复制品的 分布也是数据分布的重要部分。但是在任何分布式系统中，都不可能使得所有数据 的访问局部化”“。 当前，最常用的数据分布策略主要有三种； ( 1 ) 资源文件多服务器不重复存储燕略【8 】，其物理结构如图2 1 所示。 图2 2 资源文件多服务器重复存储 f i g2 2 r e s o u i c ef i l e s r e p e a t a b l es t o r a g ei nm u l t i s e r v e r 7 一 东北大学硕士学位论文 第二章费源管理技术概迷 这种存储策略中，将资源文件重复存储到各个视频服务器，每个服务器中保存 相同的资源文件。这种存储策略的优点是解决了“资源文件多服务器不重复存储” 的多用户相近时间内点播同一资源文件无法分流的问题，容易实现系统的负载均衡。 但这种存储方式明显地造成了视频服务器的空间浪费问题，以牺牲空间利用率的方 法来换取整体性能的提高，这样使得各个视频服务器必须存放点播率高的资源文件， 当用户点播视频服务器不存在的资源文件的时候。需要中心服务器与视频服务器进 行资源调度。 ( 3 ) 资源文件多服务器交织存储口l ，物理结构如图2 3 所示。 图2 3赘源文件多服务交织存储 f i g 2 3 r e s o u r c ef i i e s f r a g m e n tq p e s t o r a g ei nm u | t i s o r v e r 这种存储策略是将资源文件分段交织地存放在各个视频服务器中，即将一个资 源文件分成若干片段，每个视频服务器存放其中的个片段。这种处理方式最初用 在磁盘阵列中，即文件的多磁盘存储，也可把它应用到多服务器群组的v o d 系统 中。 用户点播一个资源文件时要从多台视频服务器上读取数据，服务器群组向用户 提供流水线式的服务，因此处理起来比“资源文件多服务器不重复存储”和“资源 文件多服务器重复存储”相对复杂。 这种策略的优点是对视频服务器的空间利用率高，可以通过适当的用户等待策 略来解决负载均衡的问题。其缺点是健壮性较差，假若某个服务器出现故障，则系 统无法向用户提供服务，也就是所谓的“单点失效”。 表2 1 给出了三种数据分布方式的对比：。 8 一 东北太学硕士学位论文 第二章资源管理技术概述 2 2 2 3 消息路由 一个大型的v o d 系统拥有很多的服务器，阿时也要拥有太最的资源文件，如 何在系统中查找特定的资源文件，是一个很重要的问题，这个问题可以由消息路由 来解决。 用户在搜索自己所需要的资源时，首先按照事先确定的格式生成搜索消息，然 后将消息发送给它的邻居们：它的邻居们如果没有找到相应的资源则会继续转发该 消息，直到有结果返回或者搜索结束。这种搜索过程就是消息路由“ 。消息在什么 时候被转发、转发给哪个节点因所用路由协议而异。在通常情况下，路由协议会利 用覆盖网络及数据分布的已知模式来尽可能减少消息的数量”】。 2 22 4 资源定位的效率问题 要实现资源的分布式共享，必须提供使得用户检索到他所需要资源的方法，所 以资源的存放以及检索策略是首要环节。资源定位是与网络拓扑息息相关的，它的 效率主要体现在两个方面： ( 1 ) 最大跳转数 一个检索请求到达目标地址所经过的跳数越少，则此检索请求从发出到得到结 果所需要的延迟时间就会越小。所以一次检索所需要的最大跳转数是衡量一个资源 定位策略的重要指标【i ”。在理想的情况下，希望这个跳转数是底层网络实际路由的 跳转数，但在已有系统中考虑的都是应用层覆盖网络的跳转数。 ( 2 ) 消息量 每个检索请求在到达目的地的过程中所产生的消息量是暂量一个资源定位策 略的另外一个重要指标。如果不能很好地控制请求检索韵产生频率，t t l ( t i m et o - 9 东北大学硕士学位论文 第= 章资辑管理技术概述 l i v e ) 值选择不台适那么仅仅资源定位这一个先导功能就可能导致网络风暴、阻塞 网络的可能，文件传输就更不可能了。 2 2 3 动态复制技术 在广域网的开放环境f 网络通信及服务器故障并不鲜见对于v o d 这样的 大型系统来说，可靠性问题是一个要重点解决的问题。对于系统设计者来说，去保 证网络节点不出现问题是不可能的，更不可能去主动的消除系统的动态性。同时， 在v o d 系统中，经常会出现点播不中的情况。当用户对某个文件产生需求，再把 该文件从服务器传送到客户端时需要消耗大量的带宽。解决这个问题的一个行之有 效的方法就是使用复制技术川。 2 331 复制技术的分类 复制授术分为两类，静态复制和动态复制。 n ) 静态复制技术 静态复制技术是指系统中数据的复制策略在系统设计时就己经确定下来，是不 可变的【”1 。静态的复制技术不能适应用户行为的变化，当用户的点播行为集中于某 些数据的时候，由于这些数据只存在于某些特定的节点上，因此可能会使这些节点 因为负载过重而失效而其他的节点却处于空用。 ( 2 ) 动态复制技术 在v o d 系统中，数据流量很大，而且用户众多，静态复制并不可行。这样的 系统需要动态复制策略。动态复制技术中，数据的产生、删除、管理都是自动完成。 动态复制能够适应用户行为的变化和系统运行状况的变化【3 2 】。 2 3 _ 3 2 复制策略的彩响因素 有三个基本的问题是任何复制策略都必须考虑的，这三个问题的不同的解决方 案将产生不同的复制簧略。 ( 1 ) 什么时候执行复制 ( 2 ) 哪一个文件应该被复制 ( 3 ) 复制到什么地方 2 2 3 3 复制技术的优缺点 复制技术有以下优点【3 2 】： ( 1 ) 减少存取时间和带宽的消耗。复制技术能够提高局部町用性，尽可能使得 对于资源文件的访问在本地解决，从而缩短存取时间，降低对于网络带宽的消耗。 1 0 东北大学硕士学位论文 第二章资塬管理技术概迷 f 2 ) 提高系统的可靠性，避免单点失效。采用复制技术，可以避免某一个数据 源节点出现故障或离开网络时，出现的数据不可用现象。 ( 3 ) 分散负载，提高系统的可用性。使用复制技术，可以将数据存放于距离用 户很近的节点上。这不但能够为用户提供就近访问的机会，减小用户数据查询和使 用的响应时间，还能有教减少系统内部数据传输所带来的带宽消耗。 虽然数据复制能带来系统性能上的提升，但是数据复制也带来了副本数量、副 本更新、副本一致性等复制管理面l 临的各种问题。 2 2 3 4 常用的复制策略 在实际的系统中，常用的复制缓存策略有以下几种”l 。为了方便描述，这里称 需要数据的节点为客户。客户本身也是系统中的一个节点，而不是v o d 系统的服 务对象。 ( 1 1 无复制或缓存 这是一种基本的情况，是用来与其它不同的策略比较的基础。在该情况下没有 复制发生。当系统开始运行时，在层次的根部，所有的数据复制是可用的。当有复 制发生时，运行这一套存储模式并且计算响应时间和带宽消耗。通过计算给出基本 的特性，如果任何策略的特性都比此差，则不与考虑。 ( 2 ) 最佳客户 每个客户节点对其上的每个文件保持一个详细历史记录。它包括每个文件的需 求数和每个需求来自的节点。这个复制策略是按如下情况进行工作的，在给定的时 间闯隔中检查是否有某个节点的需求数超过阈值。如果有，该文件的最佳客户将被 标识。该最佳客户是那个产生最多需求数的文件，该节点在最佳客户机上产生一个 复制。因而所有需求超过阈值的文件将在此处产生一个复制。一旦复制产生，该义 件的服务器节点上的需求细节将非常清晰。在此之后，该记录的执行过程将重新开 始。 ( 3 ) 叠层复制 可以把这个策略比作一个3 环喷泉，水源于项部。它从顶部的边缘落下来，将 进入下一层。当这一层的水又要溢出来时，将落到再下一层。在该策略中数据流 量是相似的道理。一旦文件的阈值超过了根节点，将在下一层产生复制，但位置是在 通往最佳客户的路径上。因而复制的最佳位置是最佳客户的根节点。一旦文件的需 求数超过第2 层，它将在下一层中复制。一个经常使用的文件可能最终复制到客户 机本身。 ( 4 ) 平缓存 东北大学硕士学住论文第= 章资源管理技y - n , 述 需求文件的服务器存储一个逻辑拷贝。当文件很大时，客户机只能在同一时刻 存储一个拷贝，该文件将很快被替换。 ( 5 1 缓存+ 叠层复制 该策略是策略3 和4 的混合。客户机逻辑地存储文件，服务器周期性地标记流 行文件而且把它们繁殖到层次的下层中去。这里应该注意，客户机总是树的叶节点， 但层次中的任何节点可作为服务器。 ( 6 ) 快速扩展 在该方式中，复制文件存储在从服务器到客户机路径上的每一个节点中。就是 说，当一个客户需要某个文件时，该文件的拷贝将存储在路径的每一层上，从而形成 一个快速扩展的状态。 1 2 东北大学硕士学位论文 第三章i p t v 视频点播系统及其相关技术 第三章i p t v 视频点播系统及其相关技术 3 1i p t v 技术概述 随着宽带互联网的发展进入一个高速增长的时期，全球宽带用户数也在迅速的 增长。伴随着这股浪潮多媒体技术也在蓬勃发展，数字内容依托宽带平台已形成 一种怠性循环。 和传统的数字电视机顶盒不同，i p t v 的数据传输和接收完全依靠i p 网络，这 决定了产品可以彻底的实现内容和用户之问的互动。 图3 1 是i p t v 产品连接的示意图； 3 1 1i p t v 的定义 围3 1i p t v 产品连接的示意图 f i g 3 1 c o n n e c t i o no f i p t vp r o d u c t s r p t v 即交互式网络电视，是一种利用宽带有线电视网，集互联网、多媒体、通 讯等多种技术于一体，向家庭用户提供包括数字电视在内的多种交互式服务的崭新 技术。用户在家中可以有两种方式享受i p t v 服务； ( 1 ) 计算机 ( 2 ) 网络机顶盒+ 普通电视机 3 1 2i p t v 的特点及应用 i p t v 是利用宽带网的基础设施，以家用电视机作为主要终端电器，通过机顶盒 连接网络来提供包括电视节目在内的多种数字媒体服务。可以实现多种业务，如下 表31 所示： 一1 3 东北走学硕士学位论文 第三章y r v 视频点播系统及其相关技术 表3 1i p t v 提供的相关服务 t a b l e3 i r e l e v a n ts e r v i c e s 也a ti p t vo f f e r s 单向传递为主 网贞浏览 在线购物 电子邮件 音乐点播 音乐频道 双向传递交流即时信息聊天 v o i p 视频点播 视频直播 家庭监控 可视通信 股票 在线互动游戏 i p t v 的特点表现在：一 ( 1 1 用户可咀得到高质量( 接近d v d 水平的) 数字媒体服务。 ( 2 ) 用户可有极为广泛的自由度选择宽带i p 网上各网站提供的视频节目。 ( 3 ) 实现媒体提供者和媒体消费者的实质性互动。i p t v 采用的播放平台将是新 一代家庭数字媒体终端的典型代表，它能根据用户的选择配置多种多媒体服务功能， 包括数字电视节目、可视i p 电话、d v d v c d 播放、互联网游览、电子邮件，以及 多种在线信息咨询、游戏、娱乐、教育及商务功能。 ( 4 ) 为网络发展商和节目提供商提供了广阔的新兴市场。 3 1 3 流媒体技术 流媒体技术就是把连续的影像和声音信息经过压缩处理后存放到视频传送服 务器上，由视频传送服务器把节目传送到网络，用户在客户端通过播放器就可实时 观看节目。在网络上传送的一系列相关的数据包称为“流”。使用流媒体技术，用 户可以一边传输一边观看、收听不需要下载整个多媒体文件，不仅不会占用大量 的磁盘空间，而且提高了数据传输效率1 1 ”。 3 1 3 1 流媒体的概念 流媒体是与传统的下载播放方式相对应的。传统的媒体播放方式的优点是播放 与下载分开，因此播放与网络速度无关，可以重现发送端的质量，还可以一次下载 多次播放。流媒体则是使用流传输技术，通过网络实时传输多媒体数据。流化 ( s t r e a m i n g ) 把数据分成适当大小的分组，然后在服务器和客户端之间传输f 1 3 】。实时 数据的处理流程分解成传输、解码和播放等几个流程。客户端可以在播放。个分组 的时候，解码下一个分组，同时接收后续分组，类似于流水线操作。通常，流应用 通过重复使用缓冲区来存储到选的分组。因此，用户的等待时间大大减少，只需要 一1 4 一 东北大学硕士学位论文 第三章叮v 视频点播系统蕊其相关技术 较少的缓存”1 。 3 1 3 2 流媒体文件格式 把普通的视频文件格式转化成流媒体文件格式需要经过特殊编码。视频文件首 先进行编码处理，并分割成一个个适于在网络上传播的数据包。另外在编码时，还 需要在数据包中加入一些附加信息，如计时、压缩和版权信息，最终形成流媒体文 件。常用的流媒体编码技术标准有：m p e g l 、2 、4 、7 ，h 2 6 3 ；r e a l n e t w o r k s 公司 的r e a l v e d i o ，r e a l a u d i o 编码技术；微软公司的w i n d o w sm e d i a 和w i n d o w sa u d i o 编码技术等。 目前在流媒体市场上主要有微软、r e a l n e t w o r k s 和苹果电脑等三家公司，它们 的产品分别是w i n d o w sm e d i a ，r e a ls y s t e m 和q u i c kt i m e 。表3 2 列出了这三家公 司使用的流媒体文件格式。 表3 2 流媒体文件格式 t a b l e3 2f i l ef o r m a to fs t r e a m i n gm e d i a 3 1 3 3 流媒体的传输方式 不同的流媒体应用需要不同的传输方式，而不同的传输方式带给网络不同的影 响。流媒体在网络中的传输方式有三种。 ( 1 ) 单播 单播即点对点的连接，客户端和服务器之间建立一个单独的数据通道。从一台 服务器传送出的数据包只能由一个客户端接收。这种传输方式增加了服务器的负担， 响应时间长，只适用于客户端数量较少的情况如视频点播。 ( 2 ) 多播 多播也称组播，是一种多地址广播。发送源和接收端是点对多点的关系。对于 内容相同的数据包，服务器向一组特定的用户只发送一次，组中的各个用户可以共 享，而组外的用户接收不到。使用多播的优势在于原来由服务器承担的数据重复分 一1 5 东北大学硕士学位论支第三章i p 2 v 视频点播系统度其相关技术 发工作转到路由器中完成，由路由器负责将数据包向所连接的子网转发，每个子网 只有一个多播流。这样就减少了网络上所传输信息包的总量，使网络利用率大大提 高，成本大为降低。多播更适用于现场直播。 ( 3 ) 广播 在广播的传输方式中，一个单独的数据包拷贝发送给网络上所有用户。客户端 对媒体流不具有任何的控制，不论是否需要。只能被动接收媒体流，造成了网络带 宽的浪费。 3 2i p t v 视频点播系统的总体架构 3 2 1 系统的功能划分 要构建一个系统，首先要明确该系统要完成哪些功能，这些功能有什么内在的 联系和依赖性。视频点播系统所需要的功能模块见图3 2 ： 二堕二 三 【一，一【+ j l 盘 士 图3 2i p t v 视频点播系统的功能模块 一个完整的v o d 系统不仅仅要实现提供视频点播服务的简单功能，还包括w e b 服务、a a a 认证、用户请求服务、网络管理和设备性能监控、内容分发、资源管理 和媒体资产管理等功能【”1 。下面对这些功能进行简单的介绍： 由于客户端是集成了i e 浏览器的嵌入式系统，因此用户羿面通常采用网页的形 式呈现给用户。w e b 服务提供网页形式的流媒体文件列表以及文件相关信息，。用 户在提出点播请求的时候，w e b 服务器要向主服务器发出申请，来请求一个为当前 由于视频点播服务通常是有偿服务，用户需要交纳定的服务费才能享受高质 东北大学硕士学位论文 第三章i h i v 视频点播系统及其相关技术 量的服务，a a a 认证也就格外重要。a a a 指的是认证( a u t h e n t i e a t i o n ) 、授权 ( a u t h o r i z a t i o n ) 和计费( a c c o u n t ) 2 0 1 。只有通过a a a 认证确的用户，才能获得服务。 r 3 1 用户请求服务 从用户发送对某一个媒体文件的请求。到最后客户端播放媒体节目的过程，称 为用户请求服务。 ( 4 】网络设备性能监控 网络设备性能监控，主要是对网络中处在不同层次1 - _ 的各种服务器的进行监 控。这些性能不仅对于判断网络的工作状态，进行网络维护有重要意义，同时也是 整个网络运行的重要参数指标和算法依据。 ( 5 ) 资源管理 资源管理的作用本文第二章已有详细论述，这里不在赘述。 ( 6 ) 内容分发 当一个服务器即将为用户提供服务却没有用户所需要的文件的时候，就要从其 他服务器获得该文件，这种操作就是内容分发。 3 2 2 系统的物理结构 物理结构如图3 3 所示。系统中各种节点功能介绍如下： ( 1 ) 客户端。由普通家庭电视机，机顶盒和宽带网络环境组成。被授权的用户 通过遥控器在线点播视音频节目或远程教育节目。 ( 2 ) 主服务器。用于初始存放并下发所有的视音频文件以及用于请求的处理。 根据网页服务器传来的用户的点播请求和下级服务器i p 段的配置，选择为其服务的 下级服务器，并将最终的结果返回给网页服务器。同时提供视音频文件下发的功能。 具体功能包括：文件存储和管理、用户请求的处理和路由选择、文件主动和被动发 送、下级服务器性能监视功能。 ( 3 ) 从服务器。将主服务器的请求进一步下发到下级予服务器。具体功能包括： 用户请求的处理和路由选择、文件接收、发送和存储、性能传输和监视功能。 ( 4 ) 子服务器，接收上级从服务器的请求，根据下级播放服务器的文件存储情 况和性能，选择一个最佳播放服务器，返回给上级从服务器。具体功能包括：用，r l l 请求的处理和最佳播放服务器的选择、文件接收、发送和存储、性能传输和监视功 能。 ( 5 ) 播放服务器。主要负责为用户提供视音频播放的服务。具体功能包括：视 音频文件的播放、文件接收、发送和存储、性能传输和监视功能。 ( 6 ) 备用子服务器。用于当某个服务器或服务器组工作异常，或用于请求不能 1 7 东北大学项士学住论文第三章i p t v 视频点播系统及其相关技术 被正常处理的时候临时提供点播服务的服务器，具体功能相当于子服务器。 ( 7 ) 网页服务器。接收所有用户请求的前端h t t p ( h y p e r t e x tt r a n s f e rp r o t o c 0 1 ) 服务器。在此进行身份验证、文件列表的生成以及点播请求的处理。 ( 8 ) a a a 服务器及a a a 数据库。a a a 服务器用来执行认证、授权和计费功能。 ( 9 ) 数据库。用j 二保存文件列表信息，同时用于网页的生成。 图3 3i p t v 视频点播系统的物理结构 f i g 3 3p h y s i c a ls l r u c t u r eo f i p t vv o ds y s t e m 3 2 3 系统的处理流程 点播的处理流程如图3 4 所示： 一1 8 东北大学硕士学位论文 第三章i p t v 视频点播系统及其相关技术 闩 甲甲 早 闩塑l 到， | f!r 龋，警嚣慧慧饼妊件黼 ll | 。瑶谭! 坚竺至翌! ! 错型姒忤凛作 匿3 4 用户访问的处理流程 f i g 3 4 p r o c e s so f c l i n l ta c c e s s 系统用户访问i p t v 视频点播系统时，它韵处理流程如下； ( 1 ) 用户首次访问w e b 服务器时，发送身份验证请求至qw e b 服务器。w e b 服务 器调用a a a 认证服务进行身份验证。如果验证通过，则进行流媒体点播。 ( 2 ) 用户向w e b 服务器发送文件列表请求。w e b 服务器从数据库中读取文件列 表并组织成网页的形式返回给用户。 ( 3 ) 用户点播某个文件，w e b 服务将该请求及用户信息发送给主服务器，主服 务器根据用户i p 选择一个从服务器，从服务器也同样选择一个子服务器，然后子服 务器根据一定的最佳播放服务器算法选择一个最佳播放服务器，并返回给w e b 服务 器。w e b 服务将晟佳播放服务器信息返同给用户。 ( 4 ) 用户建立与播放服务器的连接，播放服务器开始为用户服务，进行视频点 播。点播结束后，播放服务器向a a a 服务器发送点播结束的请求，a a a 服务器对 用户进行计费并记录曰志。 1 9 一 东北大学硕士学位论文 第三章i p t v 视频点播系统及其相关技术 3 2 4 系统的特点 整个系统采用有中心节点的分层的体系结构，具有如下特点： ( 1 ) 分层式体系结构用于扩大服务的范围分层的层次可以随着服务范围的大 小而变化。 ( 2 1 在这种结构中，服务器连接成树型结构，中心服务器被放置在树根位置。 ( 3 ) 主要由叶子结点上的服务器为用户服务，在服务区的所有叶子节点服务器 都无法提供服务的情况下由根结点来提供服务。 ( 4 ) 中间两层的从服务器和予服务器是可以任意扩展的，主要是用来扩大服务 范围。可以配置成两种情况： ( a ) 进行文件存储。可以将本服务器的文件推到下级服务器，或者由下级服务 器主动下拽本服务器的文件；并且进行内容路由等其他的功能 ( b ) 不进行文件存储。不进行文件存储的情况下，只进行内容路由等其他功能， 3 3i p t v 视频点播系统中的相关技术 3 3 1w i n d o