（计算机软件与理论专业论文）视频网格中自适应热度的视频文件条块化存储.pdf

硕士学位论文 暑曼兰曼曼曼曼詈皇曼舅曼曼皇曼曼! 鼍曼曼曼曼! ! ! ! 曼! 曼! 曼曼曼曼鼍曼曼! ! 曼曼曼曼鼍曼曼曼曼曼! 曼曼曼! 鼍曼鼍曼曼皇! 皇鼍m _ m i ! l n l i 皇曼皇曼! 曼! 曼曼舅曼 摘要 在视频网格( v i d e og r i d ) q b ，如何对海量视频文件进行高效存储和调度，向大 规模用户提供高质量的视频服务，是视频网格面临的重要课题。 本文结合内容分发网络( c o n t e n td i s t r i b u t en e t w o r k ，c d n ) 技术和对等传输技 术( p e e rt op e e r ，p 2 p ) ，提出了自适应热度的视频文件条块化存储调度机制。在此 机制中每个视频文件被分为若干体积相等的视频数据块，边缘服务器存储具有高 热度视频文件的全部数据块和次热度视频文件的部分数据块。系统根据热度对视 频文件分块冗余存储，增加边缘服务器存储的视频文件的数量。 系统通过根据热度的不同，对视频文件采取不同的调度机制。利用p 2 p 技术 使点击高热度视频文件的用户之间共享高热度的视频文件，减少边缘服务器的负 载；当用户点击次热度视频文件时，首先接收边缘服务器已存储的视频数据块的 视频服务。当播放时间超过5 分钟后，边缘服务器根据负载均衡原则从其他服务 器下载相应的视频数据块，和存储的视频数据块组成完整的视频服务提供给用户， 并且暂存下载的视频数据块，为其他用户提供视频服务。系统通过视频网格中网 络和边缘服务器充分协作，完成对次热度视频文件的调度，在逻辑上给用户提供 一个完整的无延迟的视频服务。 本文首先简介网格和视频网格的资源管理和调度的基本机制，具体阐述了基 于c d n 技术的视频文件存储调度机制和基于p 2 p 技术的改进型视频文件存储调 度机制的优点和不足之处；然后，在基于分析视频文件的热度在时间上的变化特 征、在空间分布的特点以及内热度分布特点，提出了自适应热度的视频文件条块 化存储机制，详细介绍它的存储、调度和更新策略；通过模拟仿真，结果表明和 传统的基于c d n 技术的存储调度机制相比较，此机制在不明显增加主干网带宽 的消耗下，大幅度增加了边缘服务器的视频文件存储数量。 本文利用h a d o o p 集群平台搭建工具首创性的搭建一个简单的视频网格集群平 台，仿真了自适应热度的视频文件条块化存储机制中高热度和次热度的视频文件 调度过程，在此机制下边缘服务器能为用户提供基于高热度和次热度的视频文件 的顺畅的视频服务。 关键词：视频网格；c d n ；视频文件；自适应热度；条块化存储 视频网格中自适应热度的视频文件条块化存储 a b s t r a c t i nv i d e og r i dt h e r ea r em a s s i v ev i d e of i l e sa n du s e r s ，s ot h a th o wt os c h e d u l ea n d s t o r et h e s ev i d e of i l e se f f e c t i v e l ya n dp r o v i d eh i g hq u a l i t ys e r v i c et ot h eu s e r si s a l l i m p o r t a n ts u b j e c t t h es t r i p s h a p e ds t o r a g em e c h a n i s mb a s e do nt h es e l f a d a p t i v ep o p u l a rd e g r e ei s p u tf o r w o r da c c o r d i n gt oc d n ( c o n t e n td i s t r i b u t en e t w o r k ) t e c h n o l o g ya n dp 2 p ( p e e rt op e e r , p 2 p ) t e c h n o l o g ya tt h i sp a p e r i nt h i sm e c h a n i s m ，e v e r yv i d e of i l e i s d i v i d e di n t os o m ev i d e ob l o c k sw h i c hh a st h es a m ev o l u m e t h ew h o l ev i d e ob l o c k s i nh o tv i d e of i l e sa n dp a r t so fv i d e ob l o c k si ns e c o n dh o tv i d e of i l e sa r es t o r e di nl o c a l s e r v e r ，s ot h ev i d e of i l en u m b e rh a sb e e ni n c r e a s e db ys t o r a g ew i t hv i d e ob l o c k s t h ev i d e og r i ds y s t e mt a k e sd i f f e r e n ts c h e d u l i n gs t r a t e g i e sa c c o r d i n gt ot h ev i d e o f i l e sw i t hd i f f e r e n tp o p u l a rd e g r e e s s t h eu s e r sw h oa p p l yf o rv i d e of i l e sw i t hh o t d e g r e ec o u l ds h a r et h ev i d e of i l e sa m o n gt h e mb yu s i n gp 2 pt e c h n o l o g y i fu s e r s a p p l yf o rv i d e of i l e sw i t hs e c o n dh o td e g r e e ，l o c a ls e r v e rw i l ls u p p o r tt h e v i d e o b l o c k sw h i c hh a v eb e e ns t o r e di nl o c a ls e r v e rt ot h e m i f5m i n u t e s ，w h i c hi st h el o c a l s e r v e rp r o v i d i n gt h ev i d e os e r v i c et ot h eu s e rw i t hh a sb e e np a s s e d ，t h es y s t e mw i l l d o w n l o a dt h er e l e v a n tv i d e ob l o c k sf r o mo t h e rs e r v e r sw h i c hi sa c c o r d i n gt ot h er u l e o fl o a d i n gb a l a n c i n g ，t h e s ev i d e ob l o c kw i l lb e e nc o m b i n e dw i t ht h ev i d e ob l o c k s s t o r e di nl o c a ls e r v e ri n t oaw h o l ev i d e of i l e st op r o v i d et ou s e r s t h ev i d e ob l o c k s d o w n l o a d e dw i l ls t o r e di nl o c a ls e r v e rt e m p o r a r i l y , s oi tc o u l dp r o v i d eaw h o l ev i d e o f i l ew i t hs e c o n dh o td e g r e et ot h eu s e r sw h oa p p l yf o rt h i sv i d e of i l e si naf u t u r et i m e w i t h o u td e l a y t h es c h e d u l i n gp r o c e s so fs e c o n dh o td e g r e ei sd o n ed u r i n gt h ef u l l c o o p e r a t i o nb e t w e e nb a c k b o n ea n dl o c a ls e r v e r f i r s t l y , t h em a n a g e m e n ta n ds c h e d u l i n go fr e s o u r c e si ng r i da n dv i d e og r i d a r e i n t r o d u c e db r i e f l y t h ea n a l y s i so ft h ea d v a n t a g e sa n ds h o r t c o m i n g si nt h em e c h a n i s m c d nt e c h n o l o g ya n dt h ei m p r o v e dm e c h a n i s mb a s e do np 2 pt e c h n o l o g ya b o u tt h e s t o r a g em e c h a n i s mw i t hv i d e of i l e sa r es h o w n ；t h e nt h ec h a r a c t e ro fp o p u l a rd e g r e e o fv i d e of i l e si nt i m ea n ds p a c ed i s t r i b u t i o na n dt h ei n t e rf e a t u r eo fp o p u l a rd e g r e eo f v i d e of i l ea r ei n t r o d u c e di nt h i sp a p e r t h es t r i p - s h a p e ds t o r a g em e c h a n i s mb a s e do n t h es e l f - a d a p t i v ep o p u l a rd e g r e ew h i c hi sc o m b i n e dw i t ht h es c h e d u l i n ga n ds t o r i n g m e c h a n i s mi nc d nt e c h n o l o g ya n dt h ei m p r o v e dm e c h a n i s mb a s e do np 2 p t e c h n o l o g yi sp u tf o r w o r d t h e ni t s m e c h a n i s ma b o u ts t o r a g e 、s c h e d u l i n ga n d 硕+ 学位论文 u p d a t i n ga r ed e s c r i b e di nd e t a i l a tt h ee n do ft h i sp a p e r ，t h e r ei st h es i m u l a t i o np r o c e s s t h es c h e d u l i n ga n ds t o r i n g m e c h a n i s mb a s e do nc d n t e c h n o l o g ya n dt h es t r i p - s h a p e ds t o r a g em e c h a n i s mb a s e d o ns e l f a d a p t i v e p o p u l a rd e g r e e a r es i m u l a t e db yv g s i m ( v i d e og r i ds i m u l a t o r ) c o m p a r e dw i t ht h eb a c k b o n el o a d sa n dt h en u m b e ro ft h ev i d e of i l e ss t o r e di nl o c a l s e r v e ri nt h et w om e c h a n i s m s ，t h er e s u l t ss h o w st h e r ea r em o r ev i d e of i l e si nl o c a l s e r v e rw i t hs a m e v o l u m ei nt h e s t r i p s h a p e ds t o r a g e m e c h a n i s mb a s e do n s e l f - a d a p t i v ep o p u l a rd e g r e e ，a tt h es a m et i m et h eb a c k b o n el o a d sd o n tb e e nr a i s e d o b v i o u s l ys ot h er o o mo ft h el o c a ls e r v e ri su s e dm o r ef u l l yi nt h es t r i p - s h a p e ds t o r a g e m e c h a n i s mb a s e do ns e l f - a d a p t i v ep o p u l a rd e g r e e t h ec l u s t e rt o o l - h a d o o pi s i nf i r s t c r e a t i o nt ob u i l das i m p l ev i d e og r i dt os i m u l a t et h et h es t r i p s h a p e ds t o r a g e m e c h a n i s mb a s e do ns e l f - a d a p t i v eh o td e g r e e t h er e s u l t ss h o wl o c a ls e r v e rc o u l d p r o v i d ef l u e n tv i d e os e r v i c eb a s e do nt h ev i d e of i l e sw i t hh o td e g r e ea n ds e c o n dh o t d e g r e et ou s e r s k e y w o r d s ：v i d e og r i d ；c d n ；v i d e of i l e ；s e l f - a d a p t i v ep o p u l a rd e g r e e ；b l o c k s t o r a g e i i l 视频网格中自适应热度的视频文件条块化存储 插图索引 图2 1 网格资源分布结构图5 图2 2 集中式调度模型图8 图2 3 分层式调度模型图8 图2 4 分散式调度模型图9 图2 5 视频网格的分层结构图1 0 图2 6 视频网格中视频资源调度流程图。1 2 图2 7 基于p o p 层的p 2 p 技术视频网格结构1 4 图2 8t r e e b a s e dp 2 pv o d 结构图一1 5 图2 9m e s h b a s e dp 2 pv o d 树形结构1 5 图2 1 0 视频文件热度值域空间分布图1 7 图2 1 1 视频资源热度变化图1 7 图3 1 自适应热度的视频文件条块化存储结构图2 2 图3 2 高热度视频文件存储图2 2 图3 3 次热度视频文件存储图2 3 图3 4 高热度视频文件的调度图2 5 图3 5 次热度视频文件的调度图2 5 图4 1v i d e o g r i d s i m 视频网格模拟器图3 2 图4 2v i d e o g r i d s i m 视频网格模拟器的运行面3 2 图4 3m a p r e d u c e 的工作原理图3 3 图4 4h a d o o p 云计算系统资源信息图3 8 图4 5h a d o o p 云中节点信息图3 9 图4 6 利用h a d o o p 开发视频网格系统图3 9 图4 7 高热度视频文件的播放面4 0 图4 8 次热度视频文件的播放图4 0 图4 9 自适应热度的视频文件条块化存储机制主干网带宽变化图4 1 图4 1 0 基于c d n 技术的存储机制主干网带宽变化图4 1 图4 1 1 边缘服务器的视频文件存储数量图4 2 i v 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：衍坎忽 嗍讳年影月午日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权兰州理工大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。同时授权中国科学技术信息研究所将本学位论文 收录到中国学位论文全文数据库，并通过网络向社会公众提供信息服 务。 作者签名：网b 丑， 花 刷醛轹新彬 日期：劢年6 月日 日期汤肜年6 月p 日 硕十学位论文 1 1 课题研究背景及意义 第1 章绪论 随着互联网技术和视频点播技术的迅猛发展，以及人们迫切对可交互的高质 量视频服务需要，促使产生了v o d ( v i d e oo nd e m a n d ) 1 1 1 。v o d 是一项综合集成 影视、电脑软硬件、电信技术和数据通信于一体的视频点播技术。v o d 技术允许 用户不受时间和空间的制约，随时和网络进行交互，获得高质量的视频点播服务。 现有的视频点播系统具有一定的缺陷，如规模小、受限于网络带宽或者存储 空间、受限于视频服务器的性能、受限于大规模的建设和通信费用等等。这些缺 陷大大限制了v o d 的进一步发展，这就迫切需要研制出能够提供超大并发能力 的高存储效率的大规模v o d 系统，基于网格技术( g r i d ) 的视频网格能很好地满 足这一要求【2 1 。视频网格利用网格技术把现有的各种多媒体技术集成封装为服务， 将v o d 系统内的资源实现共享，解决了服务器性能瓶颈问题，提高了视频服务 器的存储和计算能力，为v o d 适应互联网发展的要求提供了硬件基础。但是对 于海量视频文件的存储和调度，如果仅仅是增加视频服务器的存储空间和提高其 计算能力，这种做法不但很难满足互联网上呈指数增长的视频文件的数量，而且 很难满足互联网上大规模用户对视频文件并发性的请求，所以如何存储和调度这 些海量的视频文件为大量用户提供流利的高质量视频服务是一个重要的课题，其 问题的解决关系到视频网格的应用和发展。 1 2 视频网格的国内外研究现状 网格按功能划分为计算网格、服务网格、信息网格【3 5 】等。视频网格属于服务 网格【6 ，7 l 。视频网格受到全球各界的高度重视。 国际著名会议如i c m e 引，c c g r i d 9 儿1 刚，i s m s e 1 ，c c g r i d1 1 2 】，p a c i i a 1 3 j ， a c m ( 1 4 , 1 5 】和一些著名的国际期刊如j o u r n a lo fp a r a l l e la n dd i s t r i b u t e d c o m p u t i n g 1 6 1 ，i e e em u l t i m e d i a l l7 1 ，i e e e a c mt r a i l so n n e t w o r k i n g l l 引， i n t e n a t i o n a lj o u r n a lo fc o m m u n i c a t i o ns y s t e m s ，j o u r n a lo fs u p e r c o m p u t i n g 等也刊 登了许多专家学者关于视频网格方面的研究成果。 在国外，美国阿岗国家实验室创建了一种新型的视频会议协同交互系统 a c c e s sg r i d 1 9 l ，它是一种基于g l o b u s 平台开发的资源共享和实时内容分发的大型 集成视频平台，包含了大规模、多格式的多媒体呈现，组与组之间的实时交互与 协作，并且提供多场景的实时视频会议功能和多个视频影像输入与多窗口展示， 适合大型分布式交互视频会议使用。美国的c n n 和i b m 等公司积极构建新闻视 视频网格中自适应热度的视频文件条块化存储 频服务网格，欧洲的e u r om e d i a 计划也涵盖了视频网格的相关内容f 1 9 】。 在国内，清华大学高性能计算所提出的国家视频网格是在全国地理范围内进 行影片共享和视频资源调度，为超大规模的用户提供高质量的视频服务。中国科 学院计算所初步实现了织女星网格系统，此系统侧重于研究大规模服务器系统和 网络传输，是一种未来的视频点播系统。上海市与南京解放军理工大学合作开发 了视频网格项目一“上海视频网格”，目标是建立一个电信级的视频服务平台，使 之有能力为上海这个拥有2 0 0 0 万人口城市中的每个用户提供高质量的视频服务 【2 。华中科技大学g r i d c a s t 视频点播系统是由华中科技大学计算机学院集群与网 格实验室的p 2 pe l e a r n i n g 技术组开发的视频网格。该软件利用p 2 p 的多点传输 技术实现基于时间组织策略的动态o v e r l a y 结构，使用户可以很快加入当i j 的p 2 p 网络并获取数据，使其获得即点即看的高质量视频服务。与传统p 2 p 视频点播系 统相比，g r i d c a s t 结合c s 模式和p 2 p 模式的优点，既保证视频服务质量又利用 p 2 p 技术降低了服务器负担和主干网的带宽消耗，极大程度地增强了系统的可扩 展性，降低了运营费用。 1 3 视频网格中存在的问题 视频网格把网格的资源共享特点融入现有v o d 中，使视频点播技术走向规 模化、大众化。但是随着视频网格的规模日益扩大，出现下列问题亟待解决： ( 1 ) 海量视频文件的管理 互联网中具有海量的视频文件，并且其数量迅猛增长，由于视频网格是基于 互联网的，视频网格中视频文件资源不同于网格中其他资源，有其特殊特点：视 频文件的表现形式具有相似性；用户经常点播的视频文件具有集中性。因此对视 频文件的存储和调度需要采用特殊的资源存储和调度机制。 ( 2 ) 大规模用户视频申请的调度 视频网格基于互联网的视频点播平台，2 0 0 9 年仅中国的网民就超过3 亿。所 以在互联网上存在大规模用户申请视频文件时，不但存在很多用户点击热度高的 视频文件，也存在很多用户申请次热度视频文件。在目前的分布式存储模式的视 频网格中，边缘服务器只存储高热度的视频文件，造成用户播放次热度视频文件 的延迟。因此在处理大规模用户申请视频文件时，要考虑到次热度视频文件的存 储和调度的延迟问题。 ( 3 ) 视频网格的存储、计算和传输等各种资源的充分协作问题。 随着互联网技术的发展，互联网上视频文件呈指数增长。这给边缘服务器的 视频文件的调度和存储带来巨大压力。在视频网格中，边缘服务器处理大部分用 户的视频请求，导致边缘服务器负载过重而连接边缘服务器和中心服的主干网带 宽处于相对闲置状态。随着互联网技术的发展，网络传输能力将越来越强，如何 2 硕士学位论文 通过综合利用互联网带宽和边缘服务器的计算存储资源是提高视频服务质量的关 键。 目前基于c d n 技术【2 1 , 2 2 l 和基于p 2 p 技术【2 3 彩】的改进型视频文件的管理机制 各有其优缺点，包括视频文件的简单分块机制，仅仅是减少系统在查找和点播视 频文件的延迟，并没有综合利用视频点播系统的计算、存储和传输等各种资源， 所以这些分块策略往往会由于这些资源的单个性能瓶颈而导致视频点播系统出现 崩溃，不能满足日益增长的用户对高质量的视频服务的需要。 ( 4 ) 减少次热度视频文件的播放延迟。 由于社会的发展和生活节奏的加快，人们对高质量的视频服务的要求越来越 高，尤其对视频播放延迟和中断的容忍时间将越来越短。因此提供无延迟的高质 量视频服务将是视频服务提供商的生存关键。目前，视频点播系统虽然利用c d n 技术解决了高热度视频文件的点播延迟问题，但是在大规模用户和海量视频文件 的环境下次热度视频文件也有较多用户点播，而点播这些视频文件出现的播放延 迟一直未得到很好的解决。 ( 5 ) 降低构建视频网格的费用，废旧电脑重利用。 目前大型的视频点播服务器价格昂贵，不易维修保养，浪费人力和物力资源。 随着计算机技术的迅猛发展，许多旧的p c 机被淘汰，但是它们还存在一定的计 算和存储能力。如果将其作为废品处理，不但浪费了资源而且污染自然环境。所 以可以利用老旧的p c 机搭建或者把其计算存储资源贡献给视频点播服务器，提 高边缘服务器的性能。这样即减少了视频服务器的搭建费用，又即节约了资源， 避免了废旧的计算机对生态环境的污染，支持国家的绿色经济建设。 目前，视频网格主要面临的问题是如何存储和调度互联网中海量的视频文件 满足大量用户并发性的申请。在目前的计算机技术高速发展，网络传输带宽、计 算机存储和计算能力的提高，尤其网格集群技术的突飞猛进，为这个问题的解决 提供了技术的基础，如果仅仅依靠增加服务器容量和网络带宽满足互联网上呈指 数增长的视频文件存储调度和呈亿级的用户的视频请求是不可能的。所以需要一 种全新的调度方式，由于用户点击视频文件的频率( 视频文件的热度) 是有一点 规律的，所以要根据视频文件热度的特点，对视频网格中的资源进行合理调度， 使其充分协作，适应合理的视频文件调度机制，为用户提供顺畅的高质量的视频 服务。 1 4 本文的工作 首先本文对网格和视频网格的基本原理及其资源的管理与调度进行初步的介 绍，并重点阐述了基于c d n 技术的视频文件存储调度机制和基于p 2 p 技术的改 进型视频文件的存储调度机制，总结了各自的优点和不足之处。 3 视频网格中自适应热度的视频文件条块化存储 其次本文分析了视频文件的热度在时间上的变化特点和空间的分布特点以及 视频文件内热度的特点，根据热度的特点指出当前视频网格对视频文件的存储调 度策略的不足之处。针对这个问题，本文结合基于p 2 p 技术的改进型视频资源存 储机制和基于c d n 技术的视频资源调度机制的优点提出了自适应热度的视频文 件条块化存储机制并具体介绍其存储、调度、更新策略以及存储空间体积设置。 最后通过模拟仿真，首先利用视频网格模拟器仿真此机制，得到边缘服务器视频 文件的存储数量和主干网带宽负载，再利用h a d o o p 集群工具搭建视频网格平台， 模拟高热度和次热度视频文件的播放过程，结果显示此机制在未明显增加网络负 载带宽同时，大幅度提高边缘服务器存储的视频文件数量，并能给用户提供基于 高热度和次热度视频文件的顺畅视频服务。 1 5 论文的组织结构与安排 本论文的组织结构如下： 第1 章讨论了课题的背景、研究意义以及视频网格的研究现状。 第2 章首先简介了网格和视频网格的基础知识以及它们资源发现机制，主要 分析了基于c d n 技术的视频网格中视频文件的存储和调度机制和基于p 2 p 技术 的改进型视频网格的视频文件存储和调度机制，指出其存在的优点和不足。 第3 章首先分析视频文件热度的特点，然后在基于c d n 技术的视频文件存 储与调度机制和基于p 2 p 技术的改进型视频文件存储与调度机制的基础上提出了 自适应热度的视频文件条块化存储机制，并对模型进行分析，出了具体的视频资 源调度、存储和更新策略。 第4 章对前面提出的模型进行模拟并利用h a d o o p 集群平台搭建视频网格， 对仿真模拟结果进行了分析。 第5 章对全文进行总结并对发展前景进行讨论。 4 第2 章网格及视频网格中资源的分布和管理机制 21 网格技术和网格资源综述 网格：一种未来计算基础设旋蓝图书将网格描述为：“网格是构建在互 联网上的。组新兴技术，它将高速互联网、计算机、大型数据库、传感器、远程 设备等融为一体，为科技人员和普通百姓提供更多的资源、功能和服务。网格是 把地理位置上分散的资源集成起来的一种基础设施。f o s t e r 提出的用于理解标识 网格的核对一览表口6 】包括三个部分：第一部分是怫调资源共亭，不涉及到集中控 制，用户能留在不同的管理域；第二部分是标准、丌放、通用的目的协议和接口 的使用情况；第三部分是网格提供的服务是否具有非一般性，是否具有价值。 删格资源是指可以通过网格中可利用的实体，包括计算机、集群、各种可接 入计算机的仪器和设备、传感器、存储设备等实体，并且这些实体工作时需要的 相关软件和数据甚至相关的人也是网格资源。网格把因特网上各种资源的地理上 分布性和性能结构上的异构性进行屏蔽、整合、统一在网格系统中进行注册、调 用和共享，如图21 所示使其组成一个超级计算机，为用户提供统一的资源查 询和调用接口。 整个互联罔成为一个超较计算机平台 计算诸元 输入输出端口操作系筑 图2 i 隔格资源分布结构图 网格资源具有以下特点： ( 1 ) 虚拟性：网格要把实际资源经过抽象虚拟为网格资源。网格用户使用开放 的、标准的和通用的协议通过访问界面访问网格资源，而网格资源用户和物理资 视频网格中自适应热度的视频文件条块化存储 源是相互不可见的，资源对外屏蔽其本身的物理特性，只是提供一个虚拟化的接 口标准提供给网格系统调用； ( 2 ) 共享性：网格中的各种资源都能够被共享，网格是一个提供资源共享的平 台，共享是网格的基本特点； ( 3 ) 集成性：网格把地理位置分布在不同地域的各种资源集成为一个有机的整 体，并且协调分散在不同地理位置的资源拥有者，使各种网格资源密切配合，高 度协作，提供用户的不但有单个资源提供的功能，而且有多个资源的联合协作提 供的高质量功能； ( 4 ) 开放性：网格中的各种资源可以动态的加入和退出； ( 5 ) 分布性：网格资源分布于不同的地理范围和管理范围； ( 6 ) 异构性：网格资源种类和数量繁多，功能各异，访问接口、本地管理系统 和共享规则都是不同的； ( 7 ) 自治性：在本身系统和网格系统的双重管理之下，网格资源的拥有者对所 属资源的使用具有优先权，网格资源管理机构只能监控网格中各节点的闲置资源 或预定资源。 2 2 网格资源的调度机制 2 2 1 网格资源信息的注册、查询与更新机制 资源加入网格时，向网格注册自己的相关信息，以便被网格内请求该资源的 用户及时正确的申请调用。在g l o b u s 2 7 】中，元计算目录( m e t a c o m p u t i n gd i r e c t o r y s e r v i c e ，m d s ) 【2 8 】是资源信息管理的一个模块。网格资源在m d s 中注册自己的 信息，并以x m l 语言描述网格资源的信息。用户可以使用基于x m l 数据块查询 语x q u e r y 2 9 1 语言在m d s 中进行准确、快速的查询操作。由a p a c h e 基金会利用 j a v a 语言开发的分布式系统基础架构h a d o o p 3 0 】的集群中，计算节点s l a v e 用x m l 语言向控制主机m a s t e r 注册自己的资源信息，以w e b 形式显示在m a s t e r 上。 由于资源信息发生变化频率的差异，网格信息的更新采用分频更新策略。在 一段时间内，对信息变化频率比较小的资源采用主动更新策略，主动向信息管理 模块请求修改所注册的资源信息内容。对变化频率比较大的资源采取被动策略。 网格资源管理器每隔一个时间段内向这些资源发出信息更新消息，此类资源信息 发生改变就向资源管理器发出更新资源信息的申请消息，网格资源管理器根据其 申请内容主动更新资源信息注册的相应内容。这种分频更新方法在能够保证网格 服务质量的前提下充分节约网格系统内部的通信开销。因此，在资源加入网格时， 网格资源信息管理器对其属性要进行判断，确定这个资源属性的改变频率，然后 才能使用分频更新策略。 6 硕七学何论文 鼍皇皇曼曼曼曼曼皇曼曼鼍曼鼍曼! 曼皇曼曼皇曼鼍曼! ! 曼曼曼曼! 曼蔓曼曼曼皇曼曼曼曼曼曼! 曼曼皇 一 u m i m _ 一 曼曼鼍曼 2 2 2 网格资源的分配机制 1 资源的申请和发现 资源申请是资源和用户之间的纽带，是网格资源管理器根据用户对资源请求 的描述，从网格上找到满足用户要求的资源的过程。该过程可以用函数描述如下： s 甜= f ( s 删) ( 2 1 ) 该函数的输入变量s 聆。是资源需求，输出变量s i d 是资源的唯一标识符。函数 f 是资源发现功能函数【2 引。 网格中的资源种类和功能复杂繁多，网格为用户提供的功能是根据用户的请 求从网格资源中找到符合用户要求的资源。资源申请的功能是将用户和网格资源 握手，其能力的强弱决定着网格的性能，网格资源申请的基础资源网格资源的发 现，在网格中网格资源的多样性、动态性和广泛性等特点，所以构建及时有效的 网格资源发现机制是网格提供优质服务的前提。在目前的网格资源发现方法中有 穷举式发现方法、集中式发现方法和基于路由转发的发现方法【3 1 】f 3 2 】三类。视频网 格的视频文件资源发现方法属于集中式发现方法，用户通过视频网格门户界面在 中心服务器上申请视频服务，中心服务器根据用户的i p 把此用户的申请映射到此 用户所在域的边缘服务器上，边缘服务器根据用户申请的视频文件属性在其存储 空间上查找相应的视频文件。如果没有，中心服务器则根据负载均衡原则从其他 边缘服务器上查找相应的视频文件提供给用户。在资源的发现过程中，中心服务 器发挥组织和调度的关键作用。 2 网格资源的调度 当用户申请合适的资源时，网格资源管理者要对网格资源进行合理的调度。 网格资源调度是将网格作业映射到多管理域的资源上的过程。一个网格作业会被 分割成许多小任务。调度者的任务是根据整个执行时间( 吞吐量) 、资源利用成 本和使用者的需要来选择资源和调度作业。 目前资源的调度方法有三个：集中式、分层式和分散式。 ( 1 ) 集中式调度 在集中式调度环境中【2 8 】( 如图2 2 ) ，个中央节点作为资源的管理者，它将 作业调度到其他节点，这种调度通常用在资源具有相似特征和使用规则的环境中。 基- 于h a d o o p 的集群网格的最基本机构就是一个集中式的作业调度系统。在该调度 过程中，作业首先被提交给资源管理分配者m a s t e r ，然后由它将这些作业进行 m a p p e r r e d u c e 操作分成许多小作业并分配给不同的执行节点s l a v e 。该调度机制的 优点是m a s t e r 拥有关于资源所有的、必要的和最新的信息，从而使调度者采用更 优的调度策略。其缺点是调度者m a s t e r 的性能可能成为一个瓶颈。为了防止m a s t e r 7 视频网格中闩适应热度的视频文件条块化存储 曼曼曼量曼舅曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼! 曼! 曼曼曼曼曼曼i ii i 曼曼! 曼! 曼! 曼曼曼曼皇曼曼! 曼曼曼曼曼曼曼! 曼曼曼曼! 曼曼曼曼! ! 曼曼曼曼曼曼 的性能瓶颈所造成的系统瘫痪问题，基y - h a d o o p l 拘架构一般要备用一个m a s t e r ( s e c o n d m a s t e r ) 。 图2 2 集中式调度模型图 ( 2 ) 分层式调度 在分层式调度中，一个中央调度者通过与本地的其他调度者交互完成任务的 提交。中央调度者是元调度者，它把作业分配给本地调度者，其结构示意图如图 2 3 结构所示。 图2 3 分层式调度模型图 和集中式调度方式相比，分层式调度也存在可伸缩性和通信的瓶颈，但分层 式调度的一个最大优点是全局调度者和本地调度者对于调度作业可以有不同的调 度策略。在视频网格中基于c d n 技术【3 3 】的非视频资源的调度方式【3 4 , 3 5 】也是分层式 调度方式的一种。用户在加入视频网格的同时，也成为视频网格中的资源，可以 为视频网格提供部分计算资源和存储空间。分层式调度方式以性能优良的大型服 8 硕士学位论文 ! i i i 一 - ：i i 一ii i 舅 务器作为中央调度者，以性能较好的多个视频点播服务器作为区域节点，很好的实 现了系统对资源的调度。 ( 3 ) 分散式调度 在这种调度形式中没有中央调度者负责管理和协调所管理的调度作业，调度 者之间通过通信将作业任务分配给所参与执行的节点，如图2 4 所示。分散式调度 方式克服了集中式调度和分层式调度的可扩张性问题，具有良好的容错性和可靠 性。但由于没有中央调度者，分散式调度会导致整个调度性能的不协调，在一定 程度上影响了系统的服务质量。 在文献f 5 1 所提出的基于p 2 p 技术的改进型视频网格点播系统中，其视频资源 的调度方式即为分散式调度，对点播相同视频资源的用户采用基于p 2 p 技术的传 输机制，使用户可以共享其他用户点播的视频文件；同时，用户也可以享受其他 用户的计算和存储资源。因此该机制能够很好地减少视频服务器的负载。因此在 p 2 p 机制中，服务的享受者也是服务的提供者，由于点播系统中客户端的点播行 为具有不稳定性，即正在视频点播的用户会由于各种原因退出视频点播系统，而 这种不稳定性会导致接收此用户提供的视频服务的其他用户必须中断或停止接收 视频服务，这在一定程度上影响了视频点播系统的服务质量。所以在此机制中边 缘服务器一般要监控本域内用户行为的变化，随时通知和调整共享视频用户群体 的视频点播行为。 ，_ 一、 ( 计算节点) 图2 4 分散式调度模型图 9 视频网格中自适席热度的视频文件条块化存储 量曼曼曼曼曼i l l i i i 皇! 蔓曼皇曼曼曼! 曼皇鼍! 曼曼! 皇曼曼皇曼! 量皇曼曼鼍曼曼曼曼! 曼曼曼曼曼曼曼曼! 曼璺 2 3 视频网格中资源管理的概述 2 3 1 视频网格的整体结构 i 视频网格的概述 视频网格是一种视频服务的基础设施，它以流媒体作为管理对象，将视频点 播、视频广播、视频会议和视频监控等凡类主要的流媒体融合应用于同一个平台。 视频网格采用网格中间键将视频内容的提供商、硬件提供商和服务提供商等粘和 在一起，将分布在各地的设施和内容虚拟成一个整体，实现节目源和服务能力的 共享，并按照“就近服务、负载均衡”的原则为千家万户提供高质量的视频服务【z j 。 视频网格是服务网格，它在含有网格的特点的同时还有其特殊性，其主要特 点有三个： ( 1 ) 分布性：视频网格是一种基于互联网的视频点播系统，其资源分布于互 联网上的每个节点，视频网格整合整个互联网的资源，使其成为一个超级的视频 服务器为用户提供高质量的视频服务； ( 2 ) 开放性：视频网格是基于网格服务体系结构o g s a ( o p e ng r i ds e r v i c e a r c h i t e c t u r e ) i s 9 1 完全开放系统结构； ( 3 ) 加盟性：由于网格的开放性，系统可以让第三方硬件平台提供商、内容 提供商和服务提供商以加盟的方式动态的加入和退出。 2 视频网格的结构 视频网格采用多层结构，包括用户层、p o p ( p o i n to fp r o v i d e r ) 层和中心层， 如图2 5 所示。中心层由执行任务调度操作的中心服务器组成，p o p 层的边缘服 务器节点是为客户提供点播服务的直接节点。 图2 5 视频网格的分层结构图 1 0 用户层 硕十学何论文 中心服务器提供的信息包括：( 1 ) 视频网格系统内的p o p 层每个边缘服务器 节点的视频资源信息；( 2 ) 提交到中心服务器的所有任务；( 3 ) 视频网格系统的 整体负载；( 4 ) 视频网格系统内所有视频资源的信息；( 5 ) 与其他中心层服务器 的联系情况。 中心服务器提供的服务有：( 1 ) 为在p o p 层边缘服务器上无法获取视频服务 的用户提供视频服务；( 2 ) 更新p o p 层边缘服务器节点上的