（计算机科学与技术专业论文）虚拟计算环境业务支撑平台设计与实现.pdf

北京邮电大学硕士论文 摘要 虚拟计算环境业务支撑平台设计与实现 摘要 计算技术与网络技术飞速发展，在互联网环境下，对成长、自治和多样的网络 资源，不可能采用传统的全局集中控制式的管理。为此提出了虚拟计算环境的思想， 它以网络资源的聚合与协同为核心机制，为用户提供透明的一体化环境。业务支撑 平台为虚拟计算环境下的作业提供聚合与协同所需的基础服务，对于研究虚拟计算 环境思想、验证聚合与协同的机理、进行应用试验等有着重要的价值和意义。本文 致力于设计并实现一个符合虚拟计算环境体系结构和关键概念的稳定、合理、安全 的业务支撑平台。 为了模拟和展示虚拟计算环境的思想，首先设计了集中式的业务支撑平台 o s p ( o p e r a t i n gs u p p o r tp l a t f o r m ) ，通过作业分配模块进行作业的动态分配，实现资 源聚合；通过作业管理模块对作业进行集中式管理，实现作业协同。从作业执行的 流程看，o s p 能模拟虚拟计算环境聚合与协同的机理。然而没有体现自主元素的关 键概念，节点无法自主协同。o s p 的研究为下一步的研究做了很多基础工作。 经过进一步研究虚拟计算环境的思想，重新设计了业务支撑平台的三层结构， 对各层的功能和接口作了更明确的划分，设计实现了v o s p ( 称之为i v c eo p e r a t i n g s u p p o r tp l a t f o r m ) 。v o s p 的资源层、业务层、应用层的自下而上的三层结构，从资 源组织、业务逻辑、应用管理等各方面对虚拟计算环境进行支撑。此外，v o s p 还 有角色控制、安全机制等保障。初步实验表明，v o s p 能够体现虚拟计算环境聚合 与协同的机理，提供较好的基础性的服务。 关键词：虚拟计算环境自主元素聚合协同资源组织 i i i 北京邮电大学硕士论文 d e s i g na n di m p l e m e n t a t i o no f o p e r a t i n gs u p p o r tp l a t f o r mf o r r t u r a lco m p u t i n ge n v i r o n m e n t a b s t r a c t a st h ec o m p u t i n ga n dn e t w o r kt e c h n o l o g i e sd e v e l o ps of a s t ，t h eg r o w i n g ，a u t o n o m i c a n dd i v e r s i f o r mn e t w o r kr e s o u r c e sc a nn o tb em a n a g e db yc e n t r a l i z e dc o n t r 0 1 t h ec o r e m e c h a n i s mo ft h ev i r t u a lc o m p u t i n ge n v i r o n m e n ti st h ea g g r e g a t i o na n dc o l l a b o r a t i o no f n e t w o r kr e s o u r c ea n di t sp u r p o s ei st op r o v i d ei n t e g r a t i v ee n v i r o n m e n tf o ru s e r t h e o p e r a t i n gs u p p o r tp l a t f o r mp r o v i d e sb a s i cs e r v i c ef o rt h et a s kn m n i n gi ni v c ea n d i t s i m p o r t a n t f o rv a l i d a t i n gt h ei d e aa n dm e c h a n i s mo f i v c e t h i sp a p e ri s t od e s i g na n d f m p l e m e n tas t e a d y , r e a s o n a b l ea n ds e c u r ep l a t f o r mt h a tm e e t st h ea r c h i t e c t u r ea n dk e y c o n c e p t so fi v c e t h eo s p ( o p e r a t i n gs u p p o r tp l a t f o r m ) i sd e s i g n e dt od e m o n s t r a t et h ei d e ao fi v c e t h et a s ks c h e d u l i n gm o d u l ed i s p a t c h e st a s k sf o rr e s o u r c ea g g r e g a t i o l aa n d t h et a s k m a n a g i n gm o d u l ec o m m i t sc e n t r a l i z e dc o n t r o l f o rt a s kc o l l a b o r a t i o n i tc a nn o t c o n c e p to fa u t o n o m i ce l e m e n t i tp r o v i d e su s e f u lf u n d a m e n t a lw o r kf o r f u r t h e rs t e po fr e s e a r c h a f t e rf u r t h e rr e s e a r c ho fi v c e ，t h ev o s p ( i v c eo p e r a t i n gs u p p o r tp l a t f o r m ) i s d e s i g n e dw h o s ef o u n d a t i o n sa n di n t e r f a c e sa r ed e f i n e dm o r ed e f i n i t e l y i t st h r e e - t i e r a r c h i t e c t u r ei sb o t t o m - u pc o n t a i n i n gr e s o u r c el a y e r , b u s i n e s sl a y e ra n da p p l i c a t i o nl a y e r t h ev o s p s u p p o r t s i v c e b y r e s o u r c e o r g a n i z i n g ，b u s i n e s sl o g i c ，a p p l i c a t i o n m a n a g e m e n t ，e t c i na d d i t i o n ，t h ev o s pp r o v i d e so t h e rp r o t e c t i o ns u c ha sr o l ec o n t r o l a n ds e c u r em e c h a n i s m p r e l i m i n a r ye x p e r i m e n t ss h o wt h a tt h ev o s pc a nd e m o n s t r a t et h e i d e ao fi v c ea n dc a np r o v i d ep r e f e r a b l ef u n d a m e n t a ls e r v i c e k e yw o r d s ：i v c ea u t o n o m i ce l e m e n ta g g r e g a t i o nc o l l a b o r a t i o n r e s o u r c eo r g a n i z a t i o n v 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：丕立牛 本人承担一切相关责任。 日期：! 兰。! ! ! ! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名：一删 适用本授权书。 日期：2 竺至! ；：f 笸 同期：盈掣扛止 北京邮电大学硕士论文 第一章绪论 1 1 课题背景 第一章绪论 经过近4 0 年的发展，互联网已汇集了巨大的资源，正逐步演变为无处不在的计 算平台【1 1 。曰益增长的互联网及其资源是具有战略地位的国家资源，构成了信息社 会的重要基础设施【2 3 】。尽管人们在网络资源的有效共享和利用方面不断取得进展， 但总体上讲，网络资源的共享和综合利用仍是一个突出的、亟待解决的现实问题。 互联网上的资源具有广域分布性、自治性和异构性 4 1 等属性，2 0 世纪9 0 年代以 来，为了实现互联网资源的有效共享与利用，各种基于网络的新型计算环境技术不 断涌现，从试图在网络计算环境中建立资源的统一全局视图【5 1 ，到分布计算环境【6 】、 到网格计算f 7 8 1 ，再到自主计算网、云计算f l o 】。虽然这些技术具有不同的计算模型、 适用不同模式的应用，但其基本思路主要都来源于传统资源管理机理在分布式环境 中的拓展。由于互联网资源与传统计算机环境中的资源相比较存在本质差别，上述 技术均面临一个共同的挑战，即互联网资源的“成长性、自治性和多样性”等自然特 性与通过全局集中控制达到资源有效共享和综合利用的矛盾【1 1 1 ，使得网络资源在具 有极大吸引力的同时，也呈现出利用率低、利用不合理等问题。 通过二十多年的研究与实践，人们认识到在互联网环境下，对成长、自治和多 样的网络资源，既不可能也不必要采用传统的全局集中控制式的管理。为此我们提 出以网络资源的聚合与协同为核心机制，建立虚拟计算环境【4 】的思想。构建虚拟计 算环境，对于释放互联网资源的巨大能力，提高国家在信息时代的综合国力和国际 竞争力，促进人与网络的和谐发展都具有重要战略意义。 2 0 0 5 年，国家设立了为期五年的9 7 3 项目“虚拟计算环境聚合与协同机理研究”。 我所在项目组负责的子课题是“虚拟计算环境实验床与仿真平台 ，研究虚拟计算环 境的实验床和应用验证。目的是建立虚拟计算环境的实验床及工具，设计相关的实 验和测量方法，验证按需聚合与自主协同机理的有效性和可行性，探索资源聚合与 协同中涌现的现象和规律，开发示范应用验证。主要研究内容包括： 北京邮电大学硕士论文第一章绪论 - 虚拟计算环境实验平台参考模型 一 资源的封装、发布和发现技术与工具 - 大规模资源的组织、优化分配、策略设置与运行监控技术 - 资源聚合与协同的有效性验证方法及实验设计 _ 资源聚合与协同的监控与测量分析工具 - 面向国家重大需求的示范应用 通过上述研究，建立虚拟计算环境业务支撑平台，为研究并发现资源聚合与协 同的基本特性和计算性质提供实验手段和方法学支持；并开展应用验证研究，评估 本项目提出的理论、方法与关键技术的有效性。 1 1 1i v c e 概念 所谓虚拟计算环境( i v c e ) 【4 1 ，是指建立在开放的网络基础设施之上，通过对分 布自治资源的集成和综合利用，为终端用户或应用系统提供和谐、安全、透明的一 体化服务的环境，实现有效资源共享和便捷合作工作。虚拟计算环境是以网络资源 的聚合与协伺为核心机制。聚合是指有效获取i 汇聚、组织网上资源特征信息，并 综合利用相关信息的过程；协同是指多个资源为完成共同任务而进行的交互、同步 和计算的过程。 1 1 1i v c e 关键科学问题 i v c e 主要进行三个关键科学问题的研究，即按需聚合问题、自主协同问题、聚 合与协同计算性质问题。 1 ) 开放环境下的按需聚合问题 如何根据任务需求，运用局部信息，实现资源特征信息的汇聚、组织和综合利 用，形成满足任务需求的相对稳定的资源视图，支持任务完成，是虚拟计算环境面 临的首要挑战性问题。 2 ) 分布自治资源的自主协同问题 如何支持并实现自治资源的协同，建立可预测、可评估、可调节的协同工作机 2 北京邮电大学硕士论文第一章绪论 制和运行环境，达到资源的有效共享和综合利用，完成共同任务，是虚拟计算环境 面临的核心问题。 3 ) 聚合与协同的计算性质问题 如何建立聚合与协同计算性质的数学描述，以及相关的度量、分析、评价和优 化方法是虚拟计算环境研究的基础性问题。 本文的业务支撑平台主要对前两个科学问题提供支撑。 1 2 虚拟计算环境体系结构 1 2 1 核心概念 鉴于互联网资源的广域分布性、自治性和异构性特点，为了实现资源的有效共 享和利用，w c e 提出y 3 个重要概刽4 】：“自主元素”( a u t o n o m i cd e m e n t ) 、“虚拟共同 体”( v i r t u a lc o m m o n w e a l t h ) 和“虚拟执行体”( v i r t u a le x e c u t o r ) 。 ( 1 ) 自主元素：i v c e 中资源的抽象模型是a u t o n o m i ce l e m e n t s l l j 自主元素，是 i v c e 中的基本资源管理单位，是具有自主行为能力的资源管理者 9 1 2 ，1 3 1 。它遵从 共同目标、按j o i n a d a p t 语义形成自主元素。其内部结构如图1 1 所示，它拥有传感 器和效应器，具有环境动态感知、自主行为决策和协同能力，能够根据数据与知识 【9 】自主监测、分析、决策、执行的独立个体。为资源访问、交互提供一致接口。在 业务支撑平台平台，宏观上它体现为一个节点。 葵 鋈 棼 囊 图1 - 1 自主元素内部结构示意图 f i g u r e1 - 1s k e t c hm a po f i n t e r n a la r c h i t e c t u r eo f a u t o n o m i ce l e m e n t 北京邮电大学硕士论文第一章绪论 ( 2 ) 虚拟共同体：是指一组具有共同兴趣、遵从共同原则的自主元素构成的集合。 在虚拟共同体内部，各个自主元素可能具有不同的角色，可能是资源的提供者，或 资源的消费者，又或者负责资源管理和调度的管理者，但是其所关注的资源都是确 定和一致的。 ( 3 ) 虚拟执行体：i v c e 的执行抽象模型是v i r t u a le x e c u t o r 即虚拟执行体，是指 协同承担同一任务的相关自主元素，为完成该任务而形成的状态空间的总和。虚拟 执行体以用户任务为目标，动态绑定一组自主元素，并通过自主元素间的协同来完 成相应的任务。自主元素与任务的动态绑定，是面向任务进行按需聚合与自主协同 的过程。绑定过程在运行时完成，绑定关系在虚拟执行体的生命周期内可以发生变 化，自主元素之间的协同过程表现为绑定在虚拟执行体上的自主元素的相关状态变 迁。 虚拟执行体与自主元素间的关系如图1 2 所示【4 l 。i v c e 需提供一系列的基础服 务，以实现对虚拟执行体的创建和执行等的管理，并能够根据实际情况自动完成各 种状态之间的转换和演化。 1 - 2 2 体系结构 同 匠 图1 - 2 虚拟执行体示意图 f i g u r e1 - 2s k e t c hm a po fv i r t u a l1 x e e u t o r i v c e 体系结构框架是基于以上三个核心概念提出的。虚拟计算环境在体系结构 方面借鉴了t c p i p 和o g s a t l 4 1 的层次式结构，从下至上逐层将网络上零散的资源 聚合起来，协同完成任务【4 1 。i v c e 的体系结构是分层结构，包括资源虚拟层、聚合 层、自主协同层、编程开发环境、可信保证体系，如图1 3 所示。 4 商团 一拟一 匡 北京邮电大学硕士论文第一章绪论 图1 - 3i v c e 体系结构框架示意图 f i g u r e1 - 3s k e t c hm a po fi v c ea r c h it e c t u r ef r a m e w o r k 1 1 资源层 资源层由各种异构和多样的网络基础资源组成。i v c e 应能够支持接入各种网络 基础资源，并支持这些资源的有效共享和协同。 2 ) 资源虚拟层 资源虚拟层包括了关于自主元素创建和管理的一组基础服务，支持将资源封装 成为自主元素，完成对资源层中各种网络基础资源的虚拟化和自主化。自主元素只 是i v c e 中的一个基本单元，具有些共同的特征，即一致的描述、封装和访问， 以及一定的自主决策能力。资源虚拟层需要支持对网络基础资源的供给和抽象封装， 以实现资源的虚拟化和自主化。该层需解决以下关键技术问题：( a ) 网络基础资源 的供给和虚拟化技术；( b ) 异构资源的一致性描述和建模技术，以实现资源的抽象 封装；( c ) 自主元素的构成及实现技术，如自主元素内部状态的描述，并设计相应 的算法来实现自主元素的感知、分析和执行等；( d ) 自主元素的访问接口和交互协 议技术，实现对单个自主元素的一致访问；( e ) 自主元素的运行时管理技术，以实 现对自主元素的生命周期管理。 3 ) 聚合层 聚合层的任务是创建与管理虚拟共同体，在各虚拟共同体范围内分别组织和管 理i v c e 中大量自主元素的元信息，并按照任务需求，面向所关注的虚拟共同体， 对自主元素进行有效聚合，面向任务适时形成相对稳定的资源空间和视图。i v c e 聚合层需要提供多种基础服务，以支持面向任务需求的多种资源的按需聚合。该层 需解决以下关键技术问题：( a ) 自主元素静态和动态元信息的分析和提取技术；( b ) 5 北京邮电大学硕士论文第一章绪论 可扩展的资源建模理论和自主元素模型描述技术；( c ) 分布自组织的自主元素元信 息注册、发布和定位技术；( d ) 基于语义的自主元素搜索匹配技术；( e ) 虚拟数 据和文件技术；( f ) 资源空间模型及其时空一致性维护技术等。 4 ) 自主协同层 自主协同层根据任务需求生成相应的虚拟执行体，通过虚拟执行体绑定相关的 自主元素，并通过自主协同来完成任务。事务管理、协同机制和服务组合等是自主 协同层需要完成的功能。该层支持面向应用任务的自主协同，为此技术上应支持： ( a ) 虚拟执行体的生成和运行管理技术，根据任务需求生成和管理虚拟执行体；( b ) 虚拟执行体的动态绑定技术，在运行时动态绑定相关的自主元素；( c ) 自主元素间 的自主交互和协同机制；( d ) 面向自主元素的服务组合与编排技术；( e ) 封装多 种资源的自主元素联合调度分配技术；( f ) 联邦数据集成管理技术；( g ) 自主协 同与演化的语义理论等。 5 ) 可信保证体系 可信保证体系为i v c e 环境中资源按需聚合和自主协同的安全性、可依赖性及 协同行为的可信性提供保证，以创建一个安全和谐的计算环境。可信保证体系需解 决以下技术问题：( a ) 虚拟共同体内部或之间的访问控制与授权代理机制；( b ) 自主的行为监测和异常检测技术；( c ) 高可用的服务质量保证机制；( d ) 虚拟共 同体内部的信誉管理机制；( e ) 面向自主协同的激励机制等。 6 ) 编程开发环境 编程开发环境主要为i v c e 的开发、部署和运行提供程序设计语言级的设施和 相应的开发和运行环境，包括：程序设计语言、构件库、编辑器、编译器和运行平 台等。编程开发环境既提供对i v c e 系统平台开发的支持，也提供对i v c e 应用开 发的支持。编程开发环境需解决以下技术问题：( a ) c e 的软件体系结构技术； ( b ) 基于模式的i v c e 开发模型和技术；( c ) 支持i v c e 设计的程序设计语言技术； ( d ) 面向i v c e 的应用开发支撑工具包和运行环境等。 7 ) 应用层 应用层直接面向用户，提供i v c e 之上的各种应用功能。 6 北京邮电大学硕士论文第一章绪论 1 3 计算技术分析 i v c e 与近年来发展起来的分布式计算、网格计算、自主计算、云计算等概念 有着密切联系。本节将对这几种计算技术进行简要介绍和对比。 1 ) 对等计算 对等( p 2 p ) = - - 算是近年来兴起的重要网络计算技术。与传统的c s 1 6 】计算模式 不同，参与p 2 p 计算的各个结点作为平等的对等体，通过直接交换来共享资源和服 务。p 2 p 网络中每个节点既是资源( 服务和内容) 提供者，又是资源( 服务和内容) 获取者。p 2 p 的非中心化基本特点，带来了其在可扩展性、健壮性等方面的优势。 资源信息的发布与组织方式是p 2 p 计算研究的一个核心问题1 7 1 8 1 ，也是构造p 2 p 网络和应用的基础。从资源组织的结构来说，目前的p 2 p 系统一般可分为集中式、 非结构化和结构化三大类。目前p 2 p 计算在协同工作、搜索引擎、文件共享、分布 存储和应用级组播网络等方面有着大量的研究与应用。常见的p 2 p 系统有如 g n u t e l l a f l 9 1 ，f r e e a e t 2 0 等。 p 2 p 计算中的自组织资源发布与定位技术、资源共享激励、信任技术等一些关 键技术【2 1 捌，可以为i v c e 提供重要的参考。但在p 2 p 计算中，通常是针对某一个 特定的应用需求展开相关具体技术的研究，对网络计算环境的通用体系结构等共性 问题研究较少。 2 ) i v c e 与网格计算 网格始于元计算( m e t a c o m p u t i n g ) 2 3 , 2 4 ，开始于二十世纪九十年代。其目的是 希望能够在异构环境下利用一些高性能计算集群的计算能力解决高端科学与工程问 题。欧美在过去十多年中相继启动了g l o b u s 2 5 1 、l e g i o n t 2 6 1 、t e r a g r i d 2 7 1 、d a t a g r i d t 2 引、 e s c i e n c e 【2 9 】和p l a n e t 1 a b 3 0 1 等一系列网格计算项目，以研究构建基于互联网的新型计 算环境1 1 。随后出现的o g s a ( o p e i lg r i ds e r v i c e sa r c h i t e c t u r e ) 体系结构阢3 2 ，3 3 1 和 w s r f ( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 规范 3 4 , 3 5 , 3 6 1 将网格计算技术与w e b 服务 技术结合在一起。最近，虚拟机技术逐渐流行，人们提出利用虚拟机技术从系统层 面上实现网格资源的虚拟化，从而加速现有应用软件向网格方向的无缝扩展，进一 步推动了网格的发展。k e a h e y 、f o s t e r 等人提出的虚拟工作环境( v i r t u a lw o r k s p a c e s ) 鲫已成为网格和虚拟机技术之间一个成功的结合点。 i v c e 的理念和目标与网格计算相似。但是，目前网格计算技术在基础理论研究 7 北京邮电大学硕士论文第一章绪论 方面，特别是在针对开放的、不确定环境下的大规模资源信息的发布与组织、按需 资源动态获取与管理、协同行为的自主化与智能化，以及动态的服务组合和服务选 择等方面尚存在不足；网格中的虚拟工作环境等技术在资源虚拟化方面取得了一定 进展，但仍然很难实现大规模、大范围的资源聚合与协同工作。虚拟执行体是i v c e 的基本运行管理单位，是“执行进程虚拟化”的载体，与网格计算中虚拟组织( v o ) 【7 8 1 的功能相近，都是为了完成一个任务而临时组合在一起，具有很强的动态性。 但是v o 在自管理3 9 1 方面并没有特别关注。 ? 3 ) w c e 与自主计算 自主计算是2 0 0 1 年由i b m 提出并倡导的技术，此后，对“自主 的研究开始 在世界范围内扩展，虚拟计算环境的自主元素也与其有着密切联系。自主计算1 9 的 提出主要是针对目前大型计算系统( 特别是分布式计算系统) 的管理、维护、安全 防护和优化调度等一系列挑战问题，以计算系统的自配置、自优化、自防护和自修 复等为目标，创建一种能够智能监视和管理自身的计算环境，降低计算系统的复杂 性，减少对管理员的需求，节约成本【2 5 t4 0 1 。自主计算的核心在于自我管理 ( s e l f - m a n a g e m e n t ) 【3 8 ，3 9 1 。 尽管自主计算与i v c e 的研究目标存在差异，但自主计算技术可以为i v c e 中的 资源管理提供良好的思想和技术借鉴。另外，自主计算与网络计算的结合也是当前 的一个重要发展方向，如a u t o m a t e 9 等。在“自主”的实现上，i v c e 的自主元素类 似于自主计算技术中的自主管理者( a u t o m a t i cm a n a g e r ) 【9 ，1 2 1 3 1 ，希望通过感知外 界环境的变化，参照自身原有的知识库和行为策略，主动地改变执行策略，以适应 变化。 如前所述，i v c e 与p 2 p 、网格计算、自主计算等技术有着很多联系，这些技术 各有其可借鉴之处。目前，已经有一些工作将自主计算技术与网格计算、p 2 p 技术 相结合。o r g a n i cg r i d 4 1 】在p 2 p 网络上提出了基于移动a g e n t 自主调度的完全分散的 方法来组织计算。a c c o r d 【4 2 】能够对网格服务进行自主的合成，并使得网格应用能够 自主管理。现在发展迅猛的云计算也在逐渐占领网络计算的舞台。另外，包括网络 资源行为学【4 3 1 、软件a g e n t 技术m 4 5 1 、分布式信任管理技术h 6 ，4 7 1 、语义w e b 【4 8 ，4 9 1 等， 它们在网络行为规律、软件系统的自主管理、信任机制和智能处理等方面的研究成 果可以为i v c e 提供技术借鉴。 北京邮电大学硕士论文第一章绪论 1 4 研究内容及意义 由于本文所属课题与其它课题有着密不可分的关系，虽然其他课题比如i v c e 的体系结构【4 】，编程方法等的研究不是本文的研究重点，但是在实现本文所述系统 时，必须对其他课题内容有充分的了解。其它6 个课题是有关体系结构、可信体系、 程序设计、计算性质等方面的内容，在此不作详述。本文所属课题课题研究内容有： 网络环境下开放、可扩展的虚拟计算环境实验平台参考模型、大规模实验平台中资 源的组织部署、状态监测和管理机制研究、虚拟计算环境实验平台的安全可用体系 和关键节点生存性研究、支撑资源按需聚合、自主协同的基础服务，以及聚合、协 同效果测量、分析与评估体系、资源拓扑建模、资源行为建模和协同协议模拟、国 家级网络信息监管示范应用验证的研究等。 本课题虚拟计算环境业务支撑平台设计与实现的目的是建立一个业务支撑 平台，能够有效地支撑虚拟计算环境课题关键问题的研究和实验，为研究并发现资 源聚合与协同的基本特性和计算性质提供实验手段和方法学支持；并开展应用验证 研究；评估总课题提出的理论、方法与关键技术的有效性。进而支持开展虚拟计算 环境的理论、方法和支撑技术的研究，深刻认识网络计算环境的本质特征，加速推 动虚拟计算环境及其应用的发展，具有重要的科学意义。 总体来说，本文主要有以下贡献： ( 1 ) 设计和实现了集中式的业务支撑平台，介绍了其层次结构和工作流程，分 析了集中式o s p 的缺陷。集中式o s p 为v o s p 的设计做了很多的准备工作，积累 了很多经验。 ( 2 ) 课题研究过程中，前期的实验床架设和集中式业务支撑平台的设计都是课 题研究过程中所需要做的工作或者说是一个摸索，基于之前的工作经验和成果以及 之后的很多次大小会议的研究讨论，课题组理清了设计的思路，明确了业务支撑平 台的设计方向。详细介绍了v o s p 的设计。v o s p 具有以下特点：层次分明，符合i v c e 体系结构的要求；模块功能明确，减少了耦合度；设计合理，能够明确体现i v c e 的 关键概念；具有良好的安全机制：具有良好的扩展性。 ( 3 ) 研究与探讨i v c e 网络上应用程序设计，业务支撑平台上应用的演示等。 9 北京邮电大学硕士论文第一章绪论 1 5 研究生研究工作及成果 本人在硕士研究生期间，主要参与了9 7 3 课题“虚拟计算环境聚合与协同机理研 究”的研究与开发工作，负责实验床架设和业务支撑平台的研发。研究成果除了本 篇毕业设计论文，还有另外两篇另外两篇论文。 - 论文：虚拟计算环境实验床平台的设计与实现【5 0 】 实验床是9 7 3 课题进行理论验证和应用示范的基础平台。论文反映的工作包括 i v c e 网络实验床的架设过程，实验床的信息监测，作业调度子系统对作业进行集中 式管理调度。基于信息监测和作业调度进行模拟实验，模拟i v c e 聚合与协同的过程。 虽然模拟的过程并不是节点自动进行的，实验床平台的建设却为以后的工作奠定了 良好的网络平台基础，模拟实验也为之后的新平台的建设提供了很好的经验。 论文：虚拟计算环境业务支撑平台【5 1 】 架设好实验床之后，又设计了一个集中式的业务支撑平台。这个平台具有完整 的层次结构和功能模块，有明确的模块分工和工作流程。论文中则主要介绍了目录 服务和工作流程，至此篇论文定稿，集中式的业务支撑平台已经设计完毕。 1 6 论文的组织结构 第一章“绪论 ，介绍了背景及相关技术，分析了论文的研究内容和科学意义。 第二章“集中式o s p 设计 ，介绍了集中式o s p 的系统结构、工作流程，分析 了集中式o s p 的缺陷； 第三章“i v c eo p e r a t i n gs u p p o r tp l a t f o r m 设计 ，从层次结构、信息模型、资 源层、业务层、服务层、安全机制、健壮性设计各方面全面介绍了v o s p 业务支撑 平台的设计； 第四章“v o s p 系统性能分析 ，设计了v o s p 的性能测试，并以试验数据说明 v o s p 方案的合理性与有效性； 最后，第五章“结束语”，总结本课题的贡献和创新点，展望下一步努力方向。 l o 北京邮电大学硕士论文第二章集中式业务支撑平台设计 第二章集中式o s p 设计 本章将简要阐述一个集中式控制的业务支撑平台的设计，称之为集中式o s p ( 集 中式o p e r a t i n gs u p p o r tp l a t f o r m ) 。这也是9 7 3 课题在研究过程中，我所做的主要研 究工作的一部分。这也为之后设计出更合理的i v c e 业务支撑平台提供了很多支持 和前期工作。 本章主要介绍集中式o s p 的系统结构和工作流程【5 l 】，主要从这两个重要方面论 述集中式o s p 与i v c e 体系结构和关键概念的矛盾。这是为了与按照i v c e 规范设 计的业务支撑平台v o s p ( i v c eo p e r a t i n gs u p p o r tp l a t f o r m ) 进行比较，从而更好地体 现v o s p 的设计的合理性。 2 1系统结构 集中式的业务支撑平台，用于集中控制、执行和管理用户提交至i v c e 执行的 作业。它是集中控制的，i v c e 网络上部署的作业的执行和管理统一由管理节点进 行。平台分成五个模块：p o r t a l ，作业分配，作业管理，作业执行和目录服务。各模 块的功能如下所述： - p o r t a l ：处理系统与用户的交互，它对用户进行认证之后，处理用户的节点 或作业查询、作业提交和作业管理请求，并向用户返回结果 - 作业分配：查询符合条件的执行节点，分发任务，协助进行作业管理 _ 作业管理：通过向目录服务订阅来实现对某一作业的监控，并向外提供对 作业的基本管理，如结果回收，查询运行情况，终止作业等。 _ 作业执行：可以执行用户提交的代码，或者启动用户指定的某项服务。在 代码执行或者服务运行的过程中，对服务进行管理，并检测其状态信息。 - 目录服务：保存i v c e 环境中所有节点的动静态信息，以及运行在节点上 的作业和服务的信息，并向外提供查询。 另外，系统运行所使用的平台动静态信息，由另一个独立的监测系统r n m s 提 供。r n m s 负责监测本地主机的动静态信息，以及作业信息。并将这些信息发布到 l l 北京邮电大学硕论立第= 章集中式n 务支撑平台* 目录服务器。同时，提供查询以及订阅服务。 2 2 工作流程 圈2 - 1 集中式0 s p 的层次结构 f i g u r e 2 1 h i b e r a r c h y o f c e n t r a l i z e d o s p 集中式o s p 的工作流程【5 1 】如图2 - 2 所示，监测系统实时地监控i v c e 中所有资 源的信息并发布至目录服务，p o r t a l 将简要的资源信息对用户展示。用户使用平台 部署应用程序，集中式o s p 的工作流程如下： 1 用户通过p o r t a l 提交要部署的应用程序和配置文件。配置文件内容包括该任 务执行所期望的节点数量、节点计算能力、存储能力等。 2 、3p o r t a l 解析任务，从目录服务器查询到可用的作业分配节点，将预处理后 的作业信息传送给作业分配节点。 4 、5 作业分配节点从目录服务器查询可用节点列表，根据这些节点的计算能力、 存储能力等信息，按照特定作业分配策略，将作业分配给可用的节点。 6 作业分配系统将作业分配信息通知作业管理节点。 7 、8 作业管理节点监测作业执行情况，负责作业的协同工作，包括作业的迁移 等。，并在作业执行完成后将执行结果返回到p o r t a l 。 9 用户通过p o r 【a l 查看作业的执行结果。 北京邮电大学磺士论文 第二章集中式业务支撑平台设计 图2 - 2 集中式支撑平台的工作流程 f i g u r e2 - 2 w o t k f l o w o f s u p p o r r i n g p l a t f o r m 23 集中式0 $ p 的缺陷 在用户看来，集中式的业务支撑平台具有运行应用、管理作业等功能，从平台 的整体运转来看，能够模拟i v c e 支撑平台的工作流程，体现i v c e 的关键概念。但 是从系统结构和工作流程来看，集中式o s p 的实现方式不符合i v c e 体系结构和关键 概念的要求。本节简单分析集中式o s p 的系统设计以及工作流程与i v c e 的矛盾，供 读者参考。 1 ) 与自主元素的矛盾 i v c e 的自主元素具有的功能有：查询虚拟共同体内资源信息、网络状况，与 虚拟共同体内的其他自主元素协同工作，自主决策等。 集中式o s p 没有体现自主元素的概念，作业执行模块负责作业的执行，节点 不能自主执行作业，不能进行作业的分配和管理。 2 ) 与聚合的矛盾 i v c er p 执行共同应用程序的自主元素组成一个虚拟共同体。虚拟共同体内执行 北京邮电大学硕士论文第二章集中式业务支撑平台设计 同一个用户作业的自主元素聚合成为一个虚拟执行体。i v c e 中自主元素的聚合是由 自主元素自主决定的，用户的作业开始只是提交给一个自主元素a e l ，a e l 再决定 将作业分配或迁移到哪些自主元素，这些自主元素便聚合为一个虚拟执行体。 在集中式o s p 中，作业分配模块集中式地决定将用户作业分配给哪些节点执行， 节点只是执行作业的载体，无法体现自然聚合的概念。 3 ) 与协同的矛盾 i v c e 虚拟执行体内的自主元素执行同一个用户作业，作业执行的过程中，自元 素之间会协同工作，包括自主查询节点资源信息、网络状况，自主决定作业迁移等 动作。 在集中式o s p 中，节点没有自主决策的能力。作业管理模块全程集中式地监控 各个节点中作业执行的情况，进行作业的管理工作。这与i v c e 中自主元素协同工作 的概念是相左的。 4 ) 系统扩展性的不足 在集中式o s p 中，作业的分配需要作业分配模块负责，作业的管理需要作业管 理模块进行，作业的执行需要作业执行模块负责。当i v c e 网络中节点增加时，集中 式o s p 的各个模块的工作量会大大增加，作业分配模块需要更复杂的分配策略，作 业管理模块需要监测和管理更庞大的节点网络。节点数量越多，系统负载越重，系 统扩展性不足将严重制约i v c e 网络规模的增长。 2 4 本章小结 设计集中式的o s p 时，9 7 3 项目组对于i v c e 的关键概念、实现方式、流程等 情况并没有清晰明确的约定。设计集中式o s p 的目的是为了实现一个业务支撑平 台，能够模拟i v c e 业务支撑平台的功能，能够体现i v c e 的关键概念。由于当时 设计不足以及目的简单，集中式的o s p 有着很大的缺陷。 设计与开发集中式o s p 为以后开发符合i v c e 体系结构的业务支撑平台提供了 宝贵的前期工作经验。之后的研讨和会议对i v c e 业务支撑平台进行了更好的设计， 新的业务支撑平台为i v c e 课题的进展提供了更好的支持和解决方案。 1 4 北京邮电大学硕士论文第三章虚拟计算环境业务支撑平台设计与实现 第三章v o s p 设计 本章介绍了切合i v c e 特性的v o s p 系统的设计。经过更多的会议、讨论和研究， 最终形成了切合i v c e 虚拟计算环境体系结构和关键概念的业务支撑平台，称之为 v o s p ( i v c eo p e r a t i n gs u p p o r tp l a t f o r m ) 。v o s p 与集中式o s p 从层次结构、模块划分 和工作流程等各方面已经有了质的改变。应用程序的设计与v o s p 完全分离，v o s p 不参与作业的分配、执行或者迁移等操作，完全由虚拟执行体内的自主元素完成。 体现了虚拟计算环境自主与协同的概念。从v o s p 的用户界面可以方便地看到整个 平台内的节点状况、作业状况、网络状况等信息。 3 1 层次结构 在充分考虑需求的情况下，对支撑平台的层次结构进行了完善，新的层次结构 如图3 1 所示： 最底层是资源层，这里主要是r n m s 系统，包括节点组织、监测传感器、数 据预处理、目录服务器、通信与发布模块。该层负责组织虚拟计算环境的所有资源， 使用混合p 2 p 的结构。向上层提供监测信息的接口。 中间层，包括告警模块、虚拟共同体的管理、数据的整合等。该层是虚拟计 算环境的核心业务层，实现了虚拟共同体的管理逻辑。向下使用资源层提供的数据， 向上层的服务层提供各类服务接口。 最上层是服务层，包括用户界面、作业的部署、移植和管理。用户可以从这 里提交按i v c e 规范开发的应用程序，进行虚拟共同体的查询和管理。 另外，平台还充分考虑了通信安全和系统安全问题，进行了相应设计。详见3 6 节的安全机制。 经过改善的三层结构极大的加强了平台的扩展性、灵活性和健壮性。节点的加 入与退出由资源层控制，对其上层的中间层透明。而虚拟计算环境核心业务逻辑由 中间层实现，对其上层的服务层透明。 1 5 北京邮电大学硕论文 第! 章虚拟计算环境m 务支樟平台设计与实现 3 2 信息模型 图31v o s p 层挺结构 f i g u r e3 - 1h i b e r a r c h yo f v o s p 一般来说，不同的计算资源在计算能力、通信能力、体系结构、软件组成等诸 多方面可能存在着巨大的差异，这些差异就是资源的异构性。资源的异构性是i v c e 网络的重要性质，异构性对网络资源的 g i n 产生很大影响，而且带来了更多的负面 影响。 信息模型是v o s p 的基础。信息模型是客观世界中各种物质和实体在信息系统 ( 包括计算机系统、通信系统等等) 中的抽象和概括。信息模型是信息系统使用的 语占，这就要求它应该通用、易用、易于理解。网格资源的异构性、不同系统间以 及系统内不同组件之间互操作的需求成为共同或兼容的网格资源信息模型诞生的推 动力。v o s p 的信息模型主要参考网格资源信息模型g r i m e 5 2 1 ( g r i dr e s o t l r c c i n f o r m a t i o n m o d e l ) 。主要的建模对象是i v c e 上的节点，即资源的提供者。 v o s p 所需要的和所使用的节点资源信息、网络信息等部需要明确的定义。v o s p 的资源信息为三类： 1 ) 节点组织信息，包括v o s p 虚拟共同体、虚拟执行体等信息。 2 ) 节点计算能力，包括处理器信息、存储信息、应用信息等动静态信息。 北京邮电大