（计算机科学与技术专业论文）基于网格的vod信息服务系统的设计与实现.pdf

基于网格的y o d 信息服务系统的设计与实现 摘要 视频点播系统是一种针对用户需求，向其提供交互式视频服务的系统。当 大量用户提出请求，以及需要存储众多视频文件等情况发生时，视频点播系统 就会面临存储空间容量、硬盘i o 、处理器性能、网络带宽等方面带来的问题。 使用多个v o d 服务节点组成分布式v o d 系统，是解决问题的途径之一。 但这同时也带来了以下问题：由于相同的视频资源出现在多个节点的现象，这 样会出现用户不知道应该点播哪个视频资源的问题( 统一视图的问题) ；如何将 用户点播请求进行分散( 即系统负载均衡) 的问题。同时，由于普通视频点播 系统主要通过人为手段对媒体信息进行更新，并且对v o d 服务的运行状况缺 乏监控，这样很容易造成，实际情况与发布的可供点播媒体信息不一致的情况， 从而导致媒体点播空连接的问题。 采用何种机制将多个v o d 服务进行有效管理，是解决问题的关键所在。 网格技术的出现为解决这些问题提供了很有利的工具。我们正是基于这一思想， 进行了网格v o d 系统方案的研究、设计及实现。 我们利用网格技术的具体实现g t ( g l o b u st o o l k i t ) ，将散落在网络上 的多个节点整合成一个网格v o d 系统，同时各个服务节点可以根据需要动态 加入及退出系统，极大地增强了系统的可扩展性。 该系统对各个节点的媒体文件的更新以及v o d 服务运行状况进行实时监 控，从而得到可供点播的媒体文件信息；同时将系统中多余的媒体文件信息进 行了屏蔽，从而解决了上面提到的统一视图以及空连接问题。 当用户点播视频时，系统由信息处理子系统自动对各个节点的具体信息进 行分析计算，进而从多个v o d 节点中选择一个合适的节点与用户搭建通信链 路，使其得到服务。利用这种技术，分散了用户请求，达到了系统负载均衡的作 用。 在具体实现过程中，还给出了改进传统网格p o r t a l 登录方式的一种手段并 加以实现；同时针对g t 对中文存储支持不够好的缺点，给出了多种解决途径， 并分别加以实现。另外，由于系统采用了等级注册体系，可以达到信息链路冗 余备份的目的，提高了系统的稳定性。 关键字：网格、g l o b u st o o l k i t 、网格v o d 系统、信息服务、负载均衡 一、 d e s i g na n di m p l e 匝n 丑气t i o no fv o d i n f o r m a t i o ns y s t e mb a s e d0 ng r i d a bs t r a c t t h ec o m m o nv o ds y s t e mh a ss o m ew e a k n e s s e s s u c ha sl i m i to fs t o r a g e c a p a c i t y , p e r f o r m a n c eo fi o a n dp r o c e s s o ro fs e r v e r , c h o k ep o i n to fn e t w o r k b a n d w i d t h ，a n dp r o b l e mo ff a k em e d i a 1 i n ke t c t oa v o i dt h ep r o b l e m sm e n t i o n e d a b o v e ，w ed e s i g n e dab l u ep r i n tw h i c hi sc a l l e dg r i d - v o d ，a n dm a d ei tt r u e t h e m a i ni d e a so ft h eb l u ep r i n ta r e ：i n t e g r a t i n gs e v e r a la l o n e v o dt oaw h o l ev o d s y s t e m ，a n du s i n gt h eg r i dt e c h n o l o g yt oc o n t r o li t t h eg r i d v o ds y s t e mi sb a s e do ng l o b u s - ak i n do fm i d d l e - w a r eo fg r i d t e c h n o l o g y w i t hg r i dt e c h n o l o g y , w eb u i l dav o ( v i r t u a lo r g a n i z a t i o n ) w h i c hi s c o m p o s e do fm a n yd i s t r i b u t e dn o d e ss u c ha sp c ，s e r v e ra n dc l u s t e ra n ds oo n i nt h e g r i d v o d ，o n eo ft h ek e yp o i n t si sh o wt og e tt h ei n f o r m a t i o nf r o me a c hd i f f e r e n t n o d e ，a n dh o wt oi n t e g r a t et h ei n f o r m a t i o n w i mt h ei s ( i n f o r m a t i o ns e r v i c e ) a n d g s i ( g r i ds e c u r i t yi n f r a s t r u c t u r e ) w h i c ha r eb o t hf u n c t i o nc o m p o n e n t si ng l o b u s ， w ea c h i e v et h eg o a l a n dw eb u i l dap o r t a lt op r o v i d ea ni n t e r f a c ew h i c hi sb e t w e e n g r i d v o da n du s e r s t h eg r i d - v o dc a r lg e tt h ed y n a m i ci n f o r m a t i o no fe a c h n o d ei nv o ，s ot h es y s t e mk n o w sw h i c hv o ds e r v e ri sr u n n i n g ，w h a tm u l t i - m e d i a f i l e st h e r ea r ei ne a c hn o d e ，w h a tp e r f o r m a n c eo fi oo rc p uo fe v e r yn o d ei s ，a n d t h ei n f o r m a t i o no fn e t w o r kb a n d w i d t he t c b yp r o c e s s i n gt h ei n f o r m a t i o n ，t h e g r i d v o dc a np r o v i d es o m em a i nf u n c t i o n s ：a u n i q u ev i e w ：f r o mt h ep o r t a l p r o v i d e db yt h es y s t e m ，u s e rc a ng e tt h ei t e m so fm u l t i m e d i aw h i c ha r ed i f f e r e n t f r o me a c ho t h e r ；b l o a db a l a n c i n g ：w h e no n eu s e rc l i c k sam e d i a - l i n kt h r o u g h p o r t a l ，t h es y s t e mr e c e i v e st h er e q u e s t ，a n dt h e ni ts e l e c t sa f i tv o ds e r v e ri ng r i d t ob u i l dt h el i n kb e t w e e nt h eu s e ra n dt h en o d et h r o u g hp o r t a l b e c a u s eo ft h e d e c e n t r a l i z a t i o no fs e r v i c er e q u e s t sf r o mu s e r 。t h el o a do ft h ew h o l eg r i d v o d s y s t e mi sb a l a n c e d o t h e r w i s e ；t h ei so fg l o b u sl a c k st h es u p p o r tt o i n f o r m a t i o n s t o r i n gi nc h i n e s e ，a n dw eg i v e st w od i f f e r e n tw a y st or e s o l v i n gt h i sp r o b l e m k e yw o r d s ：g r i d ，g l o b u st o o l k i t ，g r i d v o d ，i s ，l o a db a l a n c i n g 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下迸行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：壅：2 赴日期：丕竺6 ：! 立 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：五：2 塾叁 导师签名：虿墨蛙 日期：! 兰垂多二垒! 日期：堡! ：t ! ! ! 望 北京邮电大学硕士学位论文 第一章绪论 1 1背景介绍 网格技术是近年来迅速发展起来的一门计算机领域的先进技术。随着网格技 术的产生及发展，可以利用该技术将地理上分布的、异构的、归属不同单位的各 种计算资源和存储资源等资源，利用现在高度发达的网络技术将他们动态地连接 起来，同时将其所拥有的资源利用标准化的接口整合起来，形成对用户透明的虚 拟计算环境【1 1 。 视频点播系统v o d ( v i d e oo nd e m a n d ) ，是近年来迅速发展的一种计算机 技术，由于它的迅速发展，使得人们在教育、娱乐、政府办公等方面的生活和工 作方式在很大程度上进行了改变。v o d 为满足人们对多媒体资源的需求提供了 前所未有的方便途径。 随着多媒体技术的发展，人们已经不满足停留于观看本地的媒体资源，以及 对远端电视节目的被动接受；同时由于本地的存储资源局限、多媒体资源来源局 限等多种原因，人们越来越对网络视频的点播产生兴趣。 以往的多媒体点播服务器，由于缺乏有效的管理，对服务器资源的整合情况 不甚理想。普通的v o d 服务系统具有以下一些主要缺点：视频文件较大引起的 存储容量的问题；服务器负载过高引起的服务器性能问题；网络带宽的限制问题； 以及若将多个v o d 服务整合到一块，引起的视频文件的统一视图及负载均衡等 问题。 针对以上的问题，如果把多个v o d 服务利用网格技术加以管理，那就可以 解决系统负载均衡、服务器性能、网络带宽性能、信息整合、多媒体资源优化配 置等一系列相关问题。同时可以根据系统的运行状况动态的调整v o d 服务器的 数量，从而达到灵活的可扩展目的。 本课题是北邮网格小组课题之一。通过本课题的研究及实现，可以解决单个 普通v o d 系统所欠缺的信息整合、负载均衡、数据管理等问题。 作者参加了项目前期的课题研究、v o d 项目的的系统设计研究、开发和后 期的服务部署。在项目的研究与实现过程中，作者研究了网格的体系结构、相关 核心组件以及运用构件技术开发网格v o d 系统的方法，在此基础上完成了本篇 论文。 第1 页 北京邮电大学硕士学位论文 1 2 研究目标及工作内容 本论文主要的工作和研究目标如下： 1 研究g l o b u s 的体系结构及其下的开发流程：通过查阅文献资料，理解 g l o b u s 的体系结构、核心组件。同时通过艰苦的实验，针对本课题的具体问题， 探索该项目如何在g l o b u s 下进行开发的方法，为具体开发打下坚实的基础。 2 对系统方案进行研究：通过前期调研以及文献的查阅和团队的讨论，对 课题系统方案进行反复研究，针对可能出现的问题预先给出解决思路，为下一步 的顺利开发起到了指导性作用。 3 完成了系统所涉及的北邮网格门户设计与实现。 4 分析了v o d 系统的特点，给出解决方案：通过v o d 系统和网格技术应 用特点的分析，给出了基于网格v o d 系统的统一视图、负载均衡、实时监控等 问题给出了解决方案，并加以实现。 5 分析了g l o b u st o o l k i t 的体系结构和组件开发特点，给出m d s 中文存储问 题的解决方法：由于m d s 对中文存储的支持比较差，通过技术攻关，给出了解 决该问题的两种途径，并进行了实现。 1 3内容简介 本文按以下章节组织： 第一章绪论、 介绍论文背景、研究目标及工作内容。 第二章网格的基本框架及相关理论 介绍网格的基本框架及相关理论，以及网格的相关应用发展现状及意义。 第三章v o d 技术及g l o b u s 组件 介绍了课题所涉及的v o d 技术以及网格的安全架构以及信息服务架构。 第四章网格v o d 系统方案的研究 主要阐述了一般v o d 系统的不足，以及给出相应的解决方法，同时对系统 方案的设计进行了论述。 第五章系统方案的实现 第2 页 北京邮电大学硕士学位论文 主要介绍了如何使用网格相关技术，以及其他相关技术及框架对系统方案进 行实现。 第六章结束语 总结本论文，并给出进一步的工作 最后是致谢和参考文献。 第3 页 北京邮电大学硕士学位论文 第二章网格的基本结构及具体实现 由于社会的飞速发展，社会各个领域越来越依赖信息相关技术的发展。同时， 信息技术的发展，又提出了对本领域信息资源的整合等相关问题。由于数据资源 的不断丰富，各个自成体系的计算机集合( 由一台计算机或多台计算机组成的集 合) ，很可能拥有各自独特的资源，例如：拥有独特的信息资源、拥有比较大的 存储空间或较高的计算能力等。 如何将分布在各地的的计算资源信息、存储资源信息以及其他关心的信息资 源加以整合，提供统一协调的接口，提供资源共享，这就是摆在传统信息技术面 前的一个问题。 2 1 网格的基本框架 网格( g r i d ) 是一种新兴的基础设施，它将从根本上改变我们思考使用计算 的方式，所以网格的体系结构是网格技术核心。网格目前主要的结构形式有：五 层沙漏结构和开放网格服务结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) ，以及 后来提出的w e b 服务资源框架w s r f ( w e bs e l ：v i c e sr e s o u r c ef r a m e w o r k ) 。 2 1 1 五层沙漏结构 五层沙漏结构的影响很广泛，其核心思想是以协议为中心，主要特点是简单， 侧重于定性的描述而不是具体协议定义。其每一层的组件都有共同特点，它们建 立在任何下层提供的能力和行为之上。如图2 - 1 所示： 图2 - 1 五层结构 第4 页 北京邮电大学硕士学位论文 构造层( f a b r i c ) 【1 御1 ，它提供物理资源，例如：计算资源、存储系统、目 录、网络传输资源等。构造层实现了本地的、具体于资源的操作。这些操作由高 层的共享操作引发后，在具体的资源上发生。 连接层( c o n n e c t i v i t y ) 【1 一，定义了通信和认证核心协议。本层主要工作是 为资源提供通信保障，以及安全保障，为资源之间的互操作提供前提。该层的协 议是针对专用于网格的网络处理定义的。连接层的一些要求有：单一登录、委托、 与本地安全方案的集成、基于用户的信任关系。 资源层( r e s o u r c e ) 【1 ，4 0 1 ，建立在连接层通信协议和认证协议之上，定义单 个资源上的共享操作协议，如安全协商、初始化、监控、控制、记账等协议。这 些资源层协议的实现调用了基础构造层的功能来访问和控制本地资源。 汇聚层( c o l l e c t i v e ) 1 , 4 1 1 ，所定义的协议和服务不是同某一特定资源相关的， 而是用来定义资源集之间的交互。为了对来自应用的共享进行管理和控制，汇聚 层提供目录服务、日程安排、资源代理、负荷控制、账户管理等多种功能。 应用层( a p p l i c a t i o n s ) 1 , 4 2 】，包含了在虚拟组织环境中运行的用户应用。这 些应用是根据并且调用其它层次上定义的服务来构造的。 1 c 五层结构一个重要特点就是沙漏形状。由于各部分协议数量不同，所以就形 成了沙漏的表现形式。对于其最核心的部分，要能够实现上层各种协议向核心协 议的映射，同时实现核心协议向下层其它各种协议的映射，核心协议在所有支持 网格计算的地点都应该得到支持，因此核心协议数量不应该太多，这样核心协议 就形成了协议层次结构的一个瓶颈，在五层结构中，资源层和连接层共同组成了 瓶颈部分。如图2 2 所示： 屡次式网格结翰 图2 - 2 沙漏示意图【9 l 沙漏核心的思想可以和微内核的操作系统进行类比，即操作系统只实现一些 关键的基本功能，而把大量与特定设备有关和与应用有关的部分交给其他部分来 完成。可以看出，一个较小的核心有利于移植，也可以比较容易地实现和得到支 第5 页 北京邮电大学硕士学位论文 持。 2 1 2 开放网格服务体系结构。 。 全球网格论坛g g f ( g l o b a lg r i df o r u m ) 1 2 j 定义了开放网格服务体系结构 o g s a ( o p e n g r i ds e r v i c e sa r c h i t e c t u r e ) 一l 1 l 的规范。 由于o g s a 的出现，网格技术越来越成熟和标准化了。o g s a 技术是基于 面向服务体系结构的一种构架。服务是指一种通过信息交换来提供给客户某种能 力的实体。服务可以定义为导致服务执行某些操作的特定信息交换的序列。只按 照信息交换来定义服务操作，给如何实现服务以及安置服务带来极大的灵活性。 o g s a 是构建在w e b 服务之上的。w e b 服务是一个基于标准的、广泛部属 的分布计算模式，它提供了用于描述和调用网格服务的基本机制。符合开放网格 基础架构o g s i ( o p e ng r i ds e r v i c ei n f r a s t r u c t u r e ) 标准的w 曲服务就称为网格服 务【1 l 【9 1 。 w e b 服务描述了一种基于标准技术的新兴分布式计算规范。这些标准技术用 来描述软件组件的接口、通过互操作协议访问组件的方法，以及识别相关服务提 供者的发现方法。这些标准技术与编程语言、编程模型，以及系统软件无关。 从o g s a 的角度来看，最有用的w e b 服务标准是w e b 服务描述语言w s d l ( w e bs e r v i c ed e f i n i t i o nl a n g u a g e ) 。而上面提到的o g s i ，就是用一套w s d l 定 义的接口以及对w e b 服务标准的相关约定、扩展及改进，以便支持基本的网格 行为。网格服务的相关接口都以标准的w s d l 来定义【l 】【9 1 。o g s a 框架如图2 3 所示： 豢鬻黼黼嚣鬻黧矮黧蠢鬻麟 鬻纂攀鬻霁麟豢蓑鬻鬻鬻黪攀熏鬻 - 鬻爹：蠹嚣零警繁薯薹；蕊i ：，。嚣i 鬻套_ 一+ o 葛童一蠢i 、；0 ：蕞i 。毫j i j 黪i 嚣i 。擎囊嚣：! ：i 攀i 鏊嚣墓垂麓雾 j ：j _ _ ，_ 蠢- | _ 一、，：g 嶝黧燃磐夕。j 一簟j | ：j ：j i _ + ，i 。：6 j _ 。? ， ，一 - c r i 、i 、。： ? 、：； ：一：一、 。、 ，。 w e ds e r v i c e s 。s 西n 氐s e c u i ? i t v 。：”：j 。，i 。 、：，。：o -一o 1 1。：。_ 0 ：。! 图2 - 3o g s a 架构【5 1 第6 页 北京邮电大学硕士学位论文 2 1 3w e b 服务资源框架 2 0 0 4 年3 月，i b m 、b e a 与m i c r o s o f t 联合发布了w s - a d d r e s s i n g 协议。基 于该协议规范，g l o b u s 联盟和i b m 推出了w e b 服务资源框架w s r f 9 1 。 w s r f 采用了与网格服务完全不同的定义：资源是有状态的，服务是无状态 的。为了充分兼容现有的w e b 服务，w s r f 使用了w s d l l 1 定义o g s i 中的各 项能力，避免对扩展工具的要求，原有网格服务已经演变成了w e b 服务和资源 文档两部分。w s r f 推出的目的在于，定义出一个通用且开放的架构，利用w e b 服务对具有状态属性的资源进行存取，并包含描述状态属性的机制，另外也包含 如何将机制延伸至w e b 服务中的方式。w e b 服务资源框架包括诸如 w s - r e s o u r c e l i f e t i m e 、w s r e s o u r c e p r o p e r t i e s 、w s - r e n e w a b l e r e f e r e n c e s 、 w s s e r v i c e g r o u p 、w s b a s e f a u l t s 、w s n o t i f i c a t i o n 等几个标准化的规范【9 】【1 0 1 。 如图2 4 所示： 图2 4w s r f 基本组成【6 】 2 2 网格基础平台的具体实现 国内外为实现网格结构，均建立了网格研究项目。到现在为止，国内外产生 了多种网格技术实现方式，其中比较有特点的项目包括：美国阿岗国家实验室 g l o b u s 项目，美国v i r g i n i a 大学l e g i o n 项目，中国科学院v e g a 项目以及中国教 育科研网格c h i n a g r i d 项目。下面主要对c h i n a g r i d 及g l o b u s 分别加以简要介绍。 第7 页 北京邮电大学硕士学位论文 2 2 1中国教育科研网格( c h i n a g d d ) 中国教育科研网格( c h i n a g r i d ) 的主要目标是充分利用中国国家教育科研 网( c e r n e t ) 和高校的大量计算资源和信息资源，实现c e r n e t 环境下资源 的有效共享，消除信息孤岛，提供有效的服务，形成高水平低成本的服务平台， 将高性能计算送到教育和科研网用户的桌面上【。 c g s p ( c i n a g r i ds u p p o r tp l a t f o r m ) 是为c h i n a g r i d 的发展而开发的网格核心 中间件。c g s p 为c h i n a g r i d 提供了服务门户，同时也为网格的具体应用提供了 开发环境【8 1 。c g s p 由六个功能模块组成，如图所示： 图2 - 5c g s p 结构示意图削 网格安全：主要提供网格用户的安全身份认证、数据传输的加密、服务的 授权使用等安全相关操作。 计算节点：是指提供具体服务的各个节点，包括p c 、高性能集群等计算资 源，以及仪器设备等。 管理层：主要用于协调管理网格内部的作业操作，为其提供基础支持。包 括进行服务发布、数据管理、作业管理、以及c h i n a g r i d 的域管理。 信息中心：实现网格中的各种资源相关信息的管理监控，提供全局的资源 视图，以及网格的信息服务。为各种服务以及用户提供动态更新的网格资源信息。 网格开发环境：主要提供基于网格的应用开发工具，提供封装好的a p i 。 网格门户：为最终用户使用网格资源提供入口。用户可以通过使用p o r t a l 来进行作业提交、作业监控、数据传输等具体应用相关工作。 第8 页 北京邮电大学硕士学位论文 2 2 2g l o b u s 对于网格技术的实现，最为著名和广泛加以应用的是g l o b u s 项目，很多其 他实现方式也以其为蓝本，在其上加以改进。g l o b u s 的主要目的是为计算网格 创建基本的基础设施以及高级服务。， g l o b u s 起初是由a r g o n n en a t i o n a ll a b o r a t o r y ，u n i v e r s i t yo f s o u t h e r n c a l i f o r n i a si n f o r m a t i o ns c i e n c e si n s t i t u t e ，t h eu n i v e r s i t yo fc h i c a g o , t h eu n i v e r s i t y o fe d i n b u r g h ，t h es w e d i s hc e n t e rf o rp a r a l l e lc o m p u t e r s ，a n dt h en a t i o n a lc e n t e rf o r s u p e r c o m p u t i n ga p p l i c a t i o n s ( n c s a ) 等机构组成的g l o b u s 联盟，共同资助开发的 一个网格技术实现项目1 3 j 。 2 0 0 3 年，该组织正式发布了g l o b u st o o l k i t3 ( 简称g t 3 ) 版。g t 3 是一个 完全支持开放网格服务体系结构o g s a 版本。g t 3 在网格领域影响非常大，许 多g r i d 项目都是以g t 3 为蓝本发展起来的。g t 3 版提供了一个完整的o g s i 实 现，并且将它的许多功能重构成与o g s i 兼容的服务，同时g t 3 对以前的版本 也有很好的兼容。2 0 0 5 年推出了更新的版本g t 4 。 g l o b u s 的基础设施的构架如图2 - 6 所示： _ 。，、! 。 、 “1 。 毒；。? 警 j _ g s i 鐾? 溪 爹鬻鏊攀l 妻麟鬻寮藜攀藜攀誊 叠。囊j 鬣臻 “r 。j2 - t 。：? _ _ 囊j ， o 懑纂蒸蒸蒸熬 图2 - 6g t 3 的中间件、核心和高级服务架构【1 】 g t 3 的核心基础构架建立在o g s i 协议基础之上。g t 3 主要设计目标主要是 为了让o g s i 技术易于使用、重用以及在发展新的网格应用时能够易于扩展【1 】【9 】 1 1 1 o g t 3 包括信息服务、数据服务、资源分配、安全架构等核心组件。由于本课 题利用g t 3 作为具体实现的中间件，所以在下面的章节中会对课题涉及到的相 关组件进行较为详细的介绍。 第9 页 北京邮电大学硕士学位论文 2 3 小结 本章主要介绍了当今网格领域的主要技术框架以及著名的网格操作系统。 网格的基本框架主要包括：五层沙漏框架，主要以协议为核心；o g s a 框架，提 出了以服务为基础；w s r f 框架，主要将w e b 服务融合到网格技术之中。 对于网格技术的具体实现，至今已经有了很多实现版本，其中最为著名的 是由多家合作机构共同开发，并且一直在进行研究的g l o b u s 项目，其技术相对 而言比较成熟、在其上的具体应用开发也相继出现，不过由于g l o b u s 本身是一 个不断发展的事物，其体系架构，以及利用其进行相应开发的方法，也在不断改 变。其他著名的网格平台有：l e g i o n ，v e g a ，c g s p 。 总而言之，由于网格技术的不断的、迅速的发展，建立其上的具体应用也 在不断产生，但由于网格技术本身仍处在一个不断上升、不断改变的环境中，所 以对建立在其上的具体开发而言，仍需有一段路要走。 第1 0 页 北京邮电大学硕士学位论文 第三章v o d 技术及g l o b u s 组件 v o d 技术是一种相对成熟的技术，现有的很多系统都可以很好的为用户提 供服务，具有很高的系统稳定性。而g l o b u s 是一种较新的技术，它的发展以及 应用还有很长的路要走。如何将v o d 技术与g l o b u s 相结合，本课题在具体研究 与实现中做了大量的工作。下面将网格v o d 系统实现所涉及到的v o d 技术加 以简单介绍，同时对g l o b u s 的安全和信息服务架构以及它们对课题实现方案的 作用加以论述。 3 1v o d 技术 视频点播v o d 技术是指服务系统按照用户要求进行相应视频流播放，是近 年来新兴的多媒体交互方式。v o d 技术融汇了网络技术、通信技术、多媒体技 术等，是多领域交叉结合的产物。 、 如果一个主机对外提供v o d 系统服务，那么拥有系统使用权限的用户就可 以对v o d 系统所提供的音、视频资源进行请求，要求系统对请求方提供指定的 音、视频流服务。使用v o d 提供的服务，。可以使用户得到个性化要求的满足， 而不用像观看普通电视台节目那样，必须在固定的时间观看固定的节目。同时用 户可以根据自己的意愿对其选择的多媒体音、视频资源进行“播放”、“暂停”、 “停止”、“快迸”、“快退”以及“拖动”等操作，使得用户同系统之间的交互真正成 为现实1 1 8 j 。 、 同时，视频点播服务是一种基于c s 模式的技术，同一个视频点播服务可以 同时为多个客户端( 电视、个人电脑等) 的不同或相同的音、视频的请求分别提 供服务，同时服务器对各个客户端所提供的服务之间并不相互冲突。 v o d 系统的一般示意图如下： 第1 1 页 北京邮电大学硕士学位论文 图3 - 1v o d 系统的一般示意图 v o d 系统采用的一个最主要的技术就是流媒体( s t r e a m i n gm e d i a ) 技术。 流媒体是是一种可以使音频、视频和其它多媒体能在i n t e r n e t 及i n t r a n e t 上以实 时的、无需下载等待的方式进行播放的技术。流媒体文件格式是支持采用流式传 输及播放的媒体格式。流式传输方式是将动画、视音频等多媒体文件经过特殊的 压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。在采 用流式传输方式的系统中，用户不必像非流式播放那样，需要等到整个文件全部 下载完毕后才能看到当中的内容，而只需经过几秒或几十秒的启动延时即可在用 户的计算机上利用相应的播放器或其它的硬件、软件对压缩的动画、视音频等流 式多媒体文件解压后进行播放和观看，多媒体文件的剩余部分将在后台继续下载 1 8 1 o 现在的很多v o d 系统只使用一个v o d 服务器对外提供服务，这样就会带 来很多问题。这些问题及解决方法会在第四章中加以介绍。 3 2g l o b u s 关键组件 作为g l o b u s 的核，t l , 组件，信息服务和网格安全架构在网格系统中起到举足 轻重的作用，作者在本课题中主要进行了信息服务架构的研究及应用，同时对相 关的网格安全做了应用方面的工作。下面主要介绍一下系统所涉及的g l o b u s 安 全及信息服务技术。 3 2 1网格安全基础框架 由于网格系统是建立在不同具体组织所拥有的，异构的具体资源节点之上， 所以需要支持跨组织的安全设施。另外，为了使得使用网格资源的用户能够方便 第1 2 页 一 北京邮电大学硕士学位论文 地使用网格所提供的各种资源，需要网格系统支持单点登录s s o ( s i n g l es i g n o n ) 的特点，这就需要包括允许建立信任的代理机制，以能够应用网格所提供的多个 资源【1 4 】【1 5 】。同时网格中的主体以及服务需要证书来标识，利用证书来验证对方 的身份，然后进行下一步的活动。因为这些原因，需要网格采取合适措施，从而 建立起能保证整个体系安全的网格安全基础框架g s i ( g r i ds e c u r i t y i n f r a s t r u c t u r e ) 。g s i 的体系主要分为以下几个方面： 基于公钥的加密体系 g s i 采用了基于公钥的加密体系。基于公钥的加密体系，主要依靠两个密钥 进行加密及解密：一个公钥和，一个私钥，而这两个密钥( 数字) 在数学上是相关 的【1 引。 在公钥加密中，公钥可在通信双方之间公开传递，或在公用储备库中发布， 但相关的私钥是保密的。只有使用私钥才能解密用公钥加密的数据；同样，使用 私钥加密的数据只能用公钥解密。从现在的数学方法以及计算能力来看，从以第 一个密钥加密的一个或多个信息得到第二个密钥是不太可能的，所以这也是基于 公钥加密算法广泛应用的原因之一。 肝 数字签名 数字签名主要用于将信息同信息的发出者的身份进行绑定，类似于写信时要 将写信_ 人落款和信件内容放在一块，说明该信是“落款”者所写，即：为信息提供 签名。在g s i 中安全证书等策略采用了数字签名。 对信息进行数字签名的过程，需要将信息与由发件人掌握的秘密信息一起转 换为叫做签名的标记。使用公钥加密算法，就可以对所要发出的信息进行数字签 名，而信息一旦进行了签署，那么就确保了信息一旦发出后，信息接收者确信信 息未被篡改，同时可以验证该信息不是由假冒者发送【1 4 】【1 5 】。 证书及私钥的安全性 在g s i 体系架构中，需要对网格的每个需要身份认证的实体( 可以是用户， 、也可以是主机以及具体的资源服务) 进行身份的鉴别。而g s i 使用证书完成这方 面的工作，每个实体所拥有的证书包含了该实体的及其重要的，同时也是区别于 其他实体的相关信息1 15 l 。 一个g s i 的证书主要包括以下几方面的信息：主体名称：用于代表实体，同 时区别于其他实体；该主体所拥有的公钥；证书的授权中心c a ( c e r t i f i c a t e a u t h o r i t y ) ：证书的颁发机构，进行证书的签署；授权中心的数字签名。 第1 3 页 北京邮电大学硕士学位论文 g s i 体系的证书按照x 5 0 9 的证书形式进行编码。x 5 0 9 是由i e t f ( i n t e r n e t e n g i n e e r i n gt a s kf o r c e ) 颁布的标准证书数据格式。同时，这些证书可以同其他 基于公钥的软件( 例如m i c r o s o f t 和n e t s c a p e 的w e bb r o w s e r ) 进行共享。g s i 将用户的私钥以文件的形式存储在本地计算机。为了防止其他用户盗取这个私 钥，保存私钥的文件使用了口令加密【1 4 】。 相互鉴定机制及加密传输 g s i 的相互鉴定( m u t u a la u t h e n t i c a t i o n ) 体系是基于证书方式的。假设两方 需要进行相互的认证，那么，这两方需要拥有自身的证书，同时需要相信对方证 书的c a 。然后，双方才可以证明对方的可靠性【1 5 】。 g s i 使用安全套接字层s s l ( s e c u r es o c k e t sl a y e r ) 作为相互鉴定的协议。 缺省状况下，g s i 并不在鉴定的双方间提供加密传输。一旦双方的相互鉴定执行 完，g s i 就会退出，以便于双方建立无需j j n 解密的通信，从而避免造成过高的 代价。当然，g s i 也提供加密传输的方式，g s i 可以很容易的建立共享密钥用于 信息加密【1 引。g s i 默认建立了通信的完整性，主要指通信的内容是不能被第三方 ( 可以指通信的窃听者) 进行修改的，这样就保证了其内容的完整性。而g s i 建立完整性需要付出一些代价，但该代价比起加密来要小许多【1 4 j 。 授权以及单点登录 因为网格是多个不同单位以及异构系统资源的组合，所以，对于使用网格所 提供资源的用户来说，从一个节点登录网格后，很可能通过该节点使用其它节点 的资源，这样的话又需要重新和其它节点的资源进行安全方面的认证，用户有可 能又需要输入自己的口令。显而易见，对用户来说，这个工作是重复而且枯燥的。 g s i 可以通过建立代理( p r o x y ) 来避免用户重复输入口令的不便。所谓的 p r o x y ，本质上就是一个新的证书，该证书由p r o x y 的所有者来签发( 并非由c a 来签发) 1 4 】【1 5 】。一个p r o x y 由一个新的证书( 包括新的公钥) 和一个新的私钥组 成。这个新的证书包括了p r o x y 所有者的身份信息，只是做了较少的修改以表示 该证书是一个p r o x y ；同时p r o x y 的证书包含了其生命周期的说明，超过该期限， 该证书就不会被别人所接受。当p r o x y 建立成功后，在进行相互鉴定时，可以利 用代理证书以及生成的私钥进行该过程，避免了重复输入口令所带来的不便，从 而实现单点登录。 3 2 2 信息服务架构 网格环境内的共享资源服务、网格资源的主体，由于是属于不同组织、不同 第1 4 页 北京邮电大学硕士学位论文 地域，同时其中关于这些资源的很多信息是动态变化的，所以需要网格操作系统 建立一种机制，对于网格环境中所存在的不同服务状态进行监控，从而及时反映 网格中各种相关信息的状况。 g l o b u st o o l k i t 建立了信息服务( i n f o r m a t i o ns e r v i c e ) 2 0 】的机制，利用其对 网格环境中相关信息进行监控，从而达到信息的动态更新，实时反映网格系统的 状况。对于信息服务的具体实现，g t 3 提供了w si n f o r m a t i o ns e r v i c e s l 2 1 】以及 p r e w si n f o r m a t i o ns e r v i c e s 2 2 j 两种方式加以实现。具体到本课题，由于p r e w s 提供了层次注册体系、动态注册、动态发现以及b a s h 操作命令支持，所以选择 了p r e w s 作为本课题的方案实现方式。在这里主要介绍一下p r e w s 的大致情 况( p r e w s 又称m d s m o n i t o r i n gd i s c o v e r ys e r v i c e ) 。 3 2 2 1m d s 概况 g l o b u s t o o l k i t 为信息提供制定了标准的接口以及信息存储方式。m d s 提 供了统一、灵活的接口用来收集底层信息提供者所收集的信息。同时，m d s 可 以很容易的处理动态或者静态的数据。对于各种不同的情况，m d s 可以将g s i 和m 踯自身的授权方式进行绑定以使数据得以被安全地访问。 对于什么样的信息才可以让m d s 发现，m d s 并未加以限定。只要信息提供 者能够将信息以m d s 所规定的接口进行格式化，m d s 就可以对这些信息进行监 控及存储。具体的信息生成机制可以有很多种，同时可以根据不同的情况来生成， 例如：可以通过具体语言得到相关的资源或服务信息： a v a 、c 等；也可以通过 简单的命令方式得到相关信息：i s 、d i r 等；也可以通过读取一个文本信息或者调 用具体系统a p i 等方式得到想要监控的信息。 m d s 支持对虚拟组织v o ( v i r t u a lo r g a n i z a t i o n s ) 的建立，所谓的虚拟组织 是指：组成该组织的个体是跨单位的、同构或异构的、处在不同地理域；同时组 织内的成员可以向其他成员提供自己的共享资源；组织内的成员同其他成员可以 进行相互合作【7 引。虚拟组织以统一的数据视图，来呈现组织内的资源信息。 3 2 。2 2m d s 的层次结构 m d s 采用层次( 等级) 结构作为整体框架的组成形式。处于等级较高的节 点可以收集到较低层节点注册的信息，如果某个节点收集了网格环境中所有其他 节点的相关信息，那么只要通过接入该节点就可以掌握整个网格的相关重要信 息。 第1 5 页 北京邮电大学硕士学位论文 m d s 采用了网格索引信息服务g i i s ( g r i di n d e xi n f o r m a t i o ns e r v i c e ) 和网 格资源信息服务g r i s ( g r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ) 方式实现等级结构 f 1