（计算机科学与技术专业论文）虚拟计算环境ivce管理平台的研究与实现.pdf

国防科学技术大学研究生院硕士学位论文 摘要 互联网从1 9 6 8 年的a r p a n e t 起至今经历了4 0 多年的演化发展，汇聚了海 量的计算、存储、数据和应用资源，已成为现代社会的重要信息基础设施。随着 国家信息化程度的不断提高，网络资源在经济、行政、军事、科研等领域扮演越 来越重要的角色，各领域对网络资源的共享和综合利用提出迫切需求。为实现互 联网资源的综合利用与共享，人们进行了一系列的尝试，这其中包括分布式操作 系统和网络操作系统的构想，企业计算、网格计算的兴起，以及近年来对等计算、 云计算的出现等。然而由于互联网环境下的资源与传统意义上的计算资源有着本 质的区别，它具有“成长性、“自治性 和“多样性等自然特性，对于网络 资源的共享和综合利用仍远未达到人们所期望的目标。基于此，课题组提出面向 互联网计算的“虚拟计算环境聚合与协同机理研究 项目，以期实现互联网资源 利用的“按需聚合与“自主协同 。 在课题背景下，论文研究并实现了互联网开放环境下虚拟计算环境的管理平 台，提出了节点数据采集、分布式数据汇聚以及数据分析与展现三个方面的基本 模型与实现方法。论文主要研究进展如下： 1 ) 针对分布节点上应用程序数据采集问题，采用监控探针的方式获取运行时 监控信息，用户定义监控需求，j a v a 字节码编织工具自动实现对目标程序注入监 控探针。针对监控给目标程序带来的性能影响，提出粒度可变的分布式监控模型， 通过优化监控探针在目标程序的空间分布和监控数据的生成时机，实现监控探针 分布优化以及冗余监控数据去除。 2 ) 针对大规模分布式网络中节点数据汇聚问题，提出按时效性分组的数据传 输方法。数据按时效性需求划分为实时数据和非实时数据，通过不同的传输方式 传送到服务器处理。实时数据经i v c e 平台传输层直接传送到服务器，非实时数据 通过i v c e 覆盖网和分布式发布订阅服务传输，服务器根据自身繁忙程度从覆盖网 获取数据，底层覆盖网充当数据缓存及备份功能。该数据传输方案既充分利用了 平台的基础服务，减轻了服务器的峰值负载，同时也充分体现了数据自身的特性， 为实现系统行为的粗粒度实时监控与细粒度离线分析提供基础。 3 ) 针对数据分析与展现问题，提出一种可动态配置、易于扩展的b s 模式数 据分析与展现框架，框架通过发布订阅机制实现数据服务与管理视图之间的松耦 合；构建基础视图组件扩展接口，方便用户定制管理视图；分离数据服务器与w e b 服务器，实现服务节点之间的负载均衡。 主题词：虚拟计算环境，监控优化，数据汇聚，数据分析展现，管理平台 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t r a c t s i n c et h ea r p a n e tw a sf i r s t l yi n v e n t e di n19 6 8 ，t h ei n t e r n e th a se x p e r i e n c e d m o r et h a nf o 啊y e a r sd e v e l o p m e n ta n de v o l u t i o n i th a sa c c u m u l a t e da b u n d a n t c o m p u t i n g , s t o r a g e ，d a t aa n da p p l i c a t i o nr e s o u r c e s ，a n dh a st u r n e di n t oaf u n d a m e n t a l i n f o r m a t i o ni n f r a s t r u c t u r eo fm o d e r ns o c i e t y w i t ht h ei n c r e a s i n ga d v a n c e m e n to f n a t i o n si n f o r m a t i o n i z a t i o n ，n e t w o r kr e s o u r c e sa r ep l a y i n gi n c r e a s i n gp i v o t a lr o l ei n m a n yk e ya r e a s ，s u c ha se c o n o m y ，p o l i t i c s ，m i l i t a r ya n ds c i e n t i f i cr e s e a r c h a l lt h e s e f i e l d sa r ec a l l i n gf o ra nu r g e n tn e e do ft h es h a r i n ga n di n t e g r a t i o no fn e t w o r kr e s o u r c e s a i m st or e a c h i n gs u c hag o a l ，as e r i e sa t t e m p t sh a sb e e np u ti n t op r a c t i c e ，i n c l u d i n gt h e a t t e m p to fd i s t r i b u t e do p e r a t i n gs y s t e ma n dn e t w o r k i n go p e r a t i n gs y s t e m ，t h er i s i n go f e n t e r p r i s ec o m p u t i n ga n d 鲕dc o m p u t i n g ，t h ee m e r g e n c eo fp 2 pc o m p u t i n ga n d c l o u d i n gc o m p u t i n gi n t h e s ey e a r s h o w e v e r , d u et ot h en a t u r a lc h a r a c t e r so f n e t w o r k i n gr e s o u r c e s ，s u c ha s ”g r o w t h ”，”a u t o n o m y ”a n d ”d i v e r s i t y ”，t h e r ei ss u b s t a n t i a l d i f f e r e n c e sb e t w e e nt r a d i t i o n a la n dn e t w o r k i n gr e s o u r c e s c o n s e q u e n t l yt h eg o a lo f i n t e g r a t e du t i l i z a t i o na n ds h a r i n go fn e t w o r k i n gr e s o u r c e si ss t i l lf a rf r o mr e a c h i n g b a s e do nt h e s ep o i n t s ，o u rr e s e a r c hg r o u pp r o p o s e da ni n t e r n e tc o m p u t i n go r i e n t e d p r o j o c t ，i e v i r t u a lc o m p u t i n ge n v i r o n m e n t ，i n t e g r a t i o na n dc o l l a b o r a t i o nm e c h a n i s m r e s e a r c h ，w h i c hi sa i m e dt or e a c ht h eg o a lo fu t i l i z i n gt h en e t w o r kr e s o u r c e si na ”o n d e m a n d ”a n d ”c o l l a b o r a t i v e ”w a y b a s e do nt h eb a c k g r o u n do ft h ep r o j e c t ，am a n a g e m e n tp l a t f o r mf o ri v c ei s d e s i g n e da n di m p l e m e n t e di nt h i sp a p e r d e e p a n a l y s e sa r eg i v e nt ot h ef o l l o w i n gt h r e e p r o b l e m s ：d a t ac o l l e c t i n go nd i s t r i b u t e dp e e r ，d a t ag a t h e r i n gi nl a r g es c a l ed i s t r i b u t e d s y s t e m sa n dm o n i t o r i n gd a t aa n a l y s i sa n dv i s u a l i z a t i o n m a i np r o g r e s s e sm a d ei nt h i s p a p e r a r el i s t e da sf o l l o w i n g ： 1 r u n t i m ea p p l i c a t i o nd a t ac o l l e c t i n go nd i s t r i b u t e dp e e r s r u n t i m em o n i t o r i n g i n f o r m a t i o ni sc o l l e c t e db ym o n i t o rp r o b e st h a ta r ei n s t r u m e n t e di n t ot a r g e ta p p l i c a t i o n c o d eb yj a v ab y t ec o d et r a n s f o r m a t i o nt 0 0 1 m o n i t o rd e m a n d sa n ds t r a t e g i e sa r ed e f i n e d b yu s e r su s i n gs p e c i f i cl a n g u a g e ，a n dt h e na r ea u t o m a t i c a l l yi n s t r u m e n t e di n t ot a r g e t a p p l i c a t i o n an o v e lg r a n u l a r i t yc h a n g e a b l em o n i t o r i n gm e c h a n i s mi si n t r o d u c e di nt h i s p a p e r , w h i c hr e l i e v e st h ep e r f o r m a n c ep r e s s u r eb yo p t i m i z i n gt h es p a t i a ld i s t r i b u t i o no f m o n i t o rp r o b e si nm o n i t o r e ds y s t e m sa n dc o n t r o l l i n gt h et i m et h a tm o n i t o r i n gd a t aa r e c o l l e c t e d 2 i no r d e rt oc u r bt h ed a t ag a t h e r i n gp r o b l e mi nl a r g es c a l ed i s t r i b u t e ds y s t e m s ，a g r o u pd a t at r a n s p o r t a t i o nm e t h o di sp r e s e n t e da c c o r d i n gt od a t au r g e n c y d a t aa r e d i v i d e di n t or e a l - t i m eg r o u pa n dn o n r e a l t i m eg r o u p ，a n da r et r a n s m i t t e dt h r o u g h d i f f e r e n tc h a n n e l st od a t as e r v e r t h er e a l t i m ed a t ai st r a n s m i t t e dt os e r v e ru s i n gt h e t r a n s p o r t a t i o nl a y e re m b e d d e di n i v c ew h i l en o n r e a l t i m ed a t ai s p u b l i s h e db y 第i i 页 国防科学技术大学研究生院硕士学位论文 d i s t r i b u t e dp ss e r v i c eo fi v c e ad a t ab a c k u pm e c h a n i s mb a s e do nt h es t o r a g ea b i l i t y o fp l a t f o r m so v e r l a yl a y e ri si n t r o d u c e dt or e l e a s et h es t o r a g el o a do ft h ed a t as e r v e r t h i sm e c h a n i s mu t i l i z e st h ep l a t f o r m sf u n d a m e n t a ls e r v i c et or e l e a s et h ep e a kl o a do f t h es e r v e ra n dr e a c h i n gt h eg o a lo fr e a l - t i m ec o a r s em o n i t o r i n ga n do f f l i n ef i n ea n a l y s i s o ft h es y s t e m ss t a t u s 3 a n a l y s i sa n dv i s u a l i z a t i o no fm o n i t o r i n gd a t a ad y n a m i cc o n f i g u r a b l ea n d e x t e n s i b l ed a t aa n a l y s i sa n dv i s u a l i z a t i o nf r a m e w o r ki si n t r o d u c e di nt h i sp a p e r i tu s e s ap sm e c h a n i s mt od e c o u p l ed a t as e r v i c e sa n dm a n a g e m e n tv i e w s ，a n dc o n s t r u c t sa s e r i e so fi n f r a s t r u c t u r a lv i e wi n t e r f a c e st op r o m o t ed e v e l o p e r s sc o n v e n i e n c eo f c u s t o m i z i n gm a n a g e m e n tv i e w s t h el o a db a l a n c ea m o n gs e r v e r si s a c h i v e db yt h e p h y s i c a ls e p e r a t i o no fw e bs e r v e ra n dd a t as e r v e r k e yw o r d s ：i v c e ，m o n i t o r i n go p t i m i z a t i o n ，d a t ac o l l e c t i o n ，d a t aa n a l y s i s a n dv i s u a l i z a t i o n 。m a n a g e m e n tp l a t f o r m 第i i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表2 1 监控信息获取技术简要分析比较表1 0 表3 。1 管理信息分类表一2 l 表4 1监控分类比较表一3 0 表4 2 监控粒度优化算法一31 表5 1 t r a n s p o r t 使用示例代码4 3 第页 国防科学技术大学研究生院硕士学位论文 图1 1 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图4 1 图4 2 图4 - 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 图5 1 图5 。2 图5 3 图5 4 图5 5 图5 6 图目录 虚拟计算环境体系结构图2 集中式发布订阅服务示意图一1 2 分布式发布订阅服务示意图一1 2 空间松耦合示意图j 1 4 时间松耦合示意图一1 4 控制流松耦合示意图一1 4 o w l e t 语言概念模型晔l 1 5 o w l e t 语言实现体系结构图1 6 i v c e 管理平台示意图1 9 虚拟计算环境管理平台用例图一2 0 i v c e 管理平台模型结构图2 0 分层的监控数据获取示意图2 2 监控概念模型一2 3 i v c e 数据汇聚示意图2 5 可视化数据分析概念模型一2 6 监控优化示意图一2 9 时间粒度可变的监控优化一3 0 粒度可变的监控优化过程一3l 粒度可变的分布式监控概念图一3 2 不同监控策略的c p u 开销示意图3 3 不同监控策略的内存开销示意图一3 4 分布式数据汇聚体系结构图一3 5 基于发布订阅的非实时数据传输示意图一3 6 数据分析与展现模块部署图一3 7 可视化数据处理框架结构图3 8 基于r e l a y 协议数据传输图3 9 监控数据收集实现类图一4 2 监控优化模型概念示意图一4 2 非实时数据传输服务主要类图4 4 数据服务器主要类之间的顺序图4 5 数据服务器主要类图4 6 数据服务与解析策略类图一4 7 第v 页 国防科学技术大学研究生院硕士学位论文 数据处理顺序图4 7 数据展现部分类图一4 8 节点交互实时监控示意图一4 9 节点交互实时监控示意图4 9 文件下载应用节点聚类视图5 0 文件下载应用节点聚类视图5 0 节点性能显示视图5 l k a u t z 图拓扑变化示意图一5 2 节点地理位置分布示意图5 2 p l a n e t l a b 节点分布示意图5 3 p l a n e t l a b 节点交互示意图5 3 第页 o 1 2 3 4 5 6 7 7 8 9 1 1 l 1 l 1 1 l 5 5 5 5 5 5 5 5 5 5 5 图图图图图图图图图图图 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目： 虚赵让篡竖擅! i ! 竺星2 筻理垩鱼鲍纽究皇塞理 学位论文作者签名：2 墨盘塑 日期：o 一，年，2 月? 了日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留，使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阕；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印，缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：廑赵i 土篡巫墟li 匹垦2 筻堡壬垒盟丑蕉生塞理 一 学位论文作者签名：2 生壶日期： a 四7 年i z , 月寥譬日 作者指导撕签名：雾逮 魄譬年略月培日 国防科学技术大学研究生院硕士学位论文 第一章绪论 互联网从起源至今经历了4 0 多年的演化发展，汇聚了海量的计算、存储、数 据和应用资源，已成为现代社会的重要信息基础设施。随着国家信息化程度的不 断提高，网络资源在经济、行政、军事、科研等领域扮演越来越重要的角色，各 领域对网络资源的共享和综合利用提出迫切需求。 为实现互联网资源的综合利用与共享，人们进行了一系列的尝试。早在2 0 世 纪8 0 年代，人们就开始进行网络资源管理技术的探索，并提出分布式操作系统和 网络操作系统思想，试图通过扩展传统操作系统的方式管理网络上的计算资源和 信息资源。2 0 世纪9 0 年代以来，企业计算、网格计算等各种基于网络的新型计算 环境技术不断涌现，试图借鉴w w w 的形式为用户提供透明、松耦合度的第三方 服务。虽然这些技术具有不同的计算模型、适用不同模式的应用，但其基本思路 主要都来源于传统资源管理机理在分布式环境中的拓展。然而互联网资源与传统 意义上的计算资源已不再相同，传统资源管理模式已不适应于互联网环境下的资 源管理，网络资源的共享和综合利用效率仍然是亟待解决的现实问题。 1 1 1 虚拟计算环境 1 1 研究背景 从资源使用、管理的角度来说，传统计算资源主要有以下三个方面的特性【1 l ： 1 ) 资源边界明确，可被使用的计算资源与不可使用的计算资源之间存在明确的界 限；2 ) 资源全局视图清晰，对可被使用的计算资源能够实行全局统一的调度、管 理与控制；3 ) 资源描述一致，无论是设备资源还是信息资源，传统可被访问的计 算资源都存在完整、一致的描述标识。然而这三个方面的特性对于开放环境下的 互联网资源来说己不复存在。在互联网计算环境中，资源是自治多样的，资源管 理的边界是动态变化的，资源视图是局部的、动态变化的。概况来说，互联网资源 具有“成长一、“自治 、“多样等3 个相互联系的自然特性【l 】。这三个特性具 体可描述如下：1 ) 成长性，互联网资源规模不断膨胀、资源管理关系不断变化的 动态特性。2 ) 自治性，互联网资源具有局部自治、自主决策的特性。3 ) 多样性， 互联网资源属性存在广泛差异的特性。由于互联网资源与传统计算资源相比存在 的本质差异，以往计算资源管理技术在互联网环境下已不再适应。这些差异直接 导致互联网资源在传统资源利用模式下的种种不合理状况，主要表现在两个方面： 1 ) 资源共享及利用率低； 2 ) 资源使用方式不合理状况大量存在。 第l 页 国防科学技术大学研究生院硕士学位论文 为实现互联网资源的有效共享和综合利用，项目组提出了以网络资源接需聚 合与自主协同为核心机制的虚拟计算环境( i v c e ) 的概念j 。聚合是指有效获取、 汇聚、组织网七资源特征信息，并综合利用相关信息的过程；协同是指多个资源 为完成共同任务而进行的交互、同步和计算的过程。所谓虚拟计算环境是指建立 在开放的互联网基础上，以网络资源的按需聚台与自主协同为核心机制，为用户 或应用提供和谐、可信、透明的一体化服务环境，实现资源的有效共享与综合利 用。 为实现资源的自主协同与按需聚合，虚拟计算环境提出了“自主元素”、“虚 拟共同体”、“虚拟执行体”三个关键概念，自主元素足指i v c e 中的基本资源管 理单位，是具有自主行为能力的资源管理者。虚拟共同体是指一组具有共同兴趣、 遵守共同原则的自主元素构成的集合，而虚拟执行体是指协同承担统一任务的相 关自主元素，为完成该任务而形成的状态空间的总和，有关概念的详细介绍见参 考文献”j 。项目组基于i v c e 的基本概念提出了如图li 所示的i v c e 平台体系结 构。体系结构定义了构成i v c e 的基本要素、要素的功能以及要素之间的相互关系。 从图中可以看出，i v c e 平台建立在互联网资源之上，运用虚拟化技术对资源进行 封装形成了资源虚拟层，运用覆盖网技术对虚拟的资源进行聚合形成了聚台层， 通过对运行时资源进行动态调度形成了自主协同层。除此之外，i v c e 还提供了可 信保证体系来保证平台的可信运行，以及相应的编程开发环境方便用户开发和使 用。 图11 虚拟计算环境体系结构图 虚拟计算环境为运行在其上的各类应用提供不同层次的资游视图。具体来说 体现在如下几个方面：1 ) 通过将动态、自治、多样的计算资源进行虚拟化封装， 为应用提供统一的资源虚拟视图；2 ) 通过将资源在不同的范围内分别组织和管理， 面向任务提供相对稳定的资源池视图为应用更有效的利用赘源提供了聚合机制。 3 ) 通过将虚拟化的资源进行分布的管理与调度，将任务绑定到具体的自主单元， 为应用节点之问提供协同机制，形成面向任务的资源执行态视图。 第2 页 国防科学技术大学研究生院硕士学位论文 1 1 2 虚拟计算环境管理平台 作为一个开放的平台，i v c e 汇聚了大量分布的资源以及应用。随着平台构成 的不断复杂，平台以及应用的稳定、可靠性受到越来越大的影响。为方便平台或 应用管理人员更好的了解和管理系统，尽可能的保证系统正常运行，需建立针对 平台与应用的监控管理平台。从i v c e 平台或应用管理人员的角度来说，他们维护 平台或应用正常运行的关键是掌握资源的静态属性、宏观特性，以及应用的运行 时动态信息和平台的运行状态等。具体可表述如下： 1 ) 资源的静态属性，包括资源的类型，资源所共享的计算能力( 如内存、c p u 等) ，资源的信誉信息等。 2 ) 资源的宏观特性，包括平台资源的总体情况、资源的利用率、资源分布等。 3 ) 应用的运行时信息，包括应用的运行时轨迹、节点间的交互行为、应用利 用资源的状况、任务的进展状态等。 4 ) 平台的运行状态，包括平台中应用的总数、各应用运行的整体情况、平台 资源的变化情况等。 只有通过一定的方式收集到上述所需的信息，并按照相应的管理需求对其进 行分析、处理与展现才能构建出一个真正意义上的分布式管理平台。 为此，我们针对i v c e 管理平台展开研究，其功能是适应用户及应用的管理需 求，动态获取所需管理信息，形成面向任务的局部管理视图，为管理人员提供管 理系统的基本手段和分析系统的基础方法。从宏观上看，构建i v c e 管理平台的意 义在于： 1 为特定的应用寻找适合的资源，为资源的按需聚合提供参考； 在推模式应用中，需要服务器根据平台现有的资源情况为应用分配不同的计 算资源。资源之间的按需聚合过程可以在管理平台的指导下完成。 2 了解分布资源的运行负载，为资源的协同调度提供参考； 管理平台收集资源的负载( 如c p u 、内存等) 变化情况，对那些负载较重的 自主元素，在管理平台的协调下进行任务调度，实现自主元素运行负载相对平衡。 3 了解平台或应用的实时状态，发现平台或应用中存在的问题； 分布式程序在运行过程中由于运行环境的不确定性，程序运行过程中以及与 其他节点的交互过程中会出现各种问题，如死锁、异常退出等。实时观察程序运 行时的交互行为，可以发现潜在的各种问题，辅助分布式应用的开发与调试。 4 了解平台或应用的历史信息，为平台或应用的演化发展提供参考。 虽然互联网资源的个体行为及其协同关系常处于持续的动态演化中，但其表 面无序的背后常呈现出某些重要的宏观特性，如s m a l l w o r l d l l 5 l 和p o w e r l a 1 6 l 等。这些特性对互联网资源的有效组织、共享和利用都有着重要影响。例如， 第3 页 国防科学技术大学研究生院硕士学位论文 s m a l l w o r l d 特性表明网络资源之间存在快捷路径，若能有效利用这一特性，可加 快资源定位过程。因此，揭示和处理以交互为基本单元的计算的本质规律，是建 立适应互联网资源特性的网络计算模型的基础。除此之外，由于互联网的开放性、 资源的自治性，资源聚合与协同环境存在不完整性、不一致性和不确定性等问题， 要保障i v c e 安全可用，必须认识资源聚合于协同的静态性质与动态过程，因此有 必要从理论高度和实用的角度对聚合与协同过程进行建模、分析与评价，从而为 平台或应用的演化发展提供参考。 基于以上考虑，论文研究并实现了虚拟计算环境的管理平台。针对管理平台 设计与实现过程中存在的问题进行了深入分析，提出了节点数据采集、分布式数 据汇聚以及管理数据分析与展现三个方面的基本模型与实现方法。 1 2 研究内容 i v c e 管理平台的实现涉及到监控数据采集方法、分布式数据汇聚模型以及数 据分析与展现框架三个部分。本节针对这三个方面的当前研究现状以及本文的研 究内容进行具体介绍。 1 _ 2 1 监控数据采集方法 管理平台的实现依赖于管理数据的采集，在i v c e 管理平台实现中，我们通过 监控的方法获取各个节点上的管理数据。监控需求以探针代码的形式植入目标程 序，并在程序运行时收集数据。由于分布式系统其自身的分布、动态等特性，传 统基于测试、调试等方法并不能很好的维护分布式系统正常的运行，因此近年来 通过监控提高分布式系统运行的可靠性受到越来越多的关注。 美国北卡罗来纳州大学提出了一种基于关系模型和历史数据的复杂软件系统 监控方法，以收集数据、分析和显示为主要目标，将监控过程划分为传感器配置、 传感器安装、提供分析规约、显示规约和执行监控过程五个步骤【2 1 。康奈尔大学的 m e t a 系统是一组基于i s i s 分布式工具包( i s i sd i s t r i b u t e dt o o l k i t ) 来创建分布式应用 管理软件的工具集，使得管理应用能够观察并控制被监控程序的功能性行为【3 】。然 而，这些监控方法没有或者很少考虑监控对目标系统的影响，研究表明监控带来 的性能损失通常在1 0 - - - - ，5 0 ，有的甚至在2 0 0 以上( 4 5 1 。为保证原有系统的正 常运行，在监控的同时有必要采取对应的措施降低监控的影响。佐治亚理工大学 提出了一种将复杂分布式软件监控任务进行分解的方法，通过同时监控同一监控 目标的多个实例来降低对系统性能的影响【引。文献7 在对分布式系统的监控过程中 考虑了监控对网络流量的影响，通过缓冲队列和压缩的方法来传输监控数据，以 降低网络开销1 7j 。文献8 基于a s p e c t jt r a c e m a t c h 提出了种分阶段的静态分析方 第4 页 国防科学技术大学研究生院硕士学位论文 法，通过减少不必要的运行时监控代码注入来加速匹配程序运行轨迹( t r a c em a t c h ) 拶j 。这些方法从一定程度上降低了监控的开销，但是监控带来的影响仍然十分明显， 究其原因主要表现在以下两个方面：1 ) 监控需求模糊。通常人们并不清楚应监控 系统的哪些部分，保守的方法是监控所有可能的代码，于是导致监控代码大量分 布在目标系统中，进而带来严重的性能开销。2 ) 监控产生的数据量庞大而其验证 代价更加高昂。通常分析、验证监控数据的代价高于监控本身，而在线分析、验 证的代价就更加难以控制，随着系统规模的增大，实时监控验证成为严重的性能 瓶颈。 针对以上问题，本文提出一种粒度可变的监控方法，通过优化监控探针在目 标程序的空间分布以及监控数据的生成时机来降低监控对目标系统的影响。本文 的监控粒度是指监控代码被植入的位置以及监控数据产生的时机。理想的粒度可 以从空间和时间两个维度来理解，空间上监控代码( 或监控探针) 在目标程序中 的分布应该不存在冗余，时间上监控信息的记录应该只发生在系统出现异常时。 1 2 2 分布式数据汇聚模型 要对大型分布式系统进行管理除了采集各分布节点上的数据之外，如何将采 集到的数据从各节点汇聚到集中的管理服务器也是亟待解决的重要问题。然而由 于大型分布式系统自身规模及动态性等各方面因素的限制，要实现高效的数据汇 聚面临着巨大的挑战。具体来说，主要体现在以下几个方面： 1 ) 集中的数据服务器成为系统的瓶颈。例如在1 0 0 ，0 0 0 个节点的大型分布 式系统中，很多节点同时向数据服务器汇报数据将直接致使数据服务器无法承受 并发访问的负载而失效。 2 ) 动态、开放系统中，被动退出节点的统计数据难以收集。由于节点的自主 性与动态性，很多时候在数据服务器没有来得及收集节点的数据之前，节点可能 就已经退出网络，而那部分被动退出系统节点的数据对于系统来说可能更具价值， 比如系统的稳定性诊断中需要收集异常退出节点的数据，节点间交互协议的正确 性验证也需特别关注产生异常的节点。 3 ) 分布式应用程序的运行时轨迹难以收集。由于应用程序不是在本地运行， 无法实时的收集程序运行时的很多关键信息，如线程、函数、类的信息等，而这 些信息对于应用开发人员正确了解程序的运行情况至关重要。 4 ) 分布式系统中难以做到对系统总体的实时监控，一方面，实时监控需要实 时传输很大的数据量，给网络带来严重的负载，而实时监控需对收集到的数据进 行实时分析，数据量越大，其分析负载就越严重；另一方面，分布式系统中复杂 数据难以收集，由于分布式网络的复杂性，各节点之间协同交互的信息难以收集， 第5 页 国防科学技术大学研究生院硕士学位论文 而交互信息之间的时序一致性等无法得到有效保证。 近年来关于大型分布式系统中的数据收集问题一直是研究的热点。文献9 提 出了p 2 p 系统中一种间接数据收集机制，它使用随机网络编码来分发、存储数据， 由服务器主动从网络中拉( p u l i ) 数据1 9 1 。文献1 0 针对基于c h o r d 拓扑的p 2 p 网络 提出了一种完全分布式、可扩展算法来实现系统监控，主要做法是通过不断系统 快照( s n a p s h o t ) 获取运行系统当前的性能参数，从而了解系统的整体状态【1 0 1 。 针对以上各种问题，本文提出了一种基于数据时效性分组的数据传输方法， 系统中的监控数据按照时效性划分为实时数据和非实时数据，分别通过不同的机 制进行传输以降低数据服务器的负载。具体来说，数量较少的实时数据通过i v c e 平台提供的点对点通信机制由节点直接传送到管理服务器，而数量庞大的非实时 数据则基于i v c e 平台的分布式发布订阅服务进行异步传输。关于传输策略的具体 实现请见后面章节。 1 2 3 数据分析与展现框架 本文对收集的管理数据进行分析与展现的目的是：从i v c e 应用程序入手，试 图通过分析应用程序运行过程中节点间的交互行为以及节点的状态变化来获得不 同应用场景下节点所表现出来的各种性质。如节点对于资源的聚类性质、节点交 互行为演化性质、应用程序节点网络的成长性质等等。数据分析方法主要借鉴复 杂网络分析中的基本方、法【1 1 l ，期望通过相应分析达到如下长期目标： 1 ) 提炼出i v c e 网络结构的统计性质，以及度量这些性质的合理方法。 2 ) 建立合适的节点交互模型，以帮助人们理解相应统计性质的产生机理。 3 ) 基于单个节点的特性和整个应用网络的结构性质分析应用网络的行为。 4 ) 在稳定性、数据流通等方面提出改善已有网络性能和网络应用的有效方法。 上述目标的实现依赖与一个动态配置、易于扩展的数据分析与展现框架，为 此需解决以下两个方面的问题。 1 ) 异构数据的适应性问题。一个通用的数据分析与展现框架应该能够处理各 种不同类型的异构数据，而与数据本身所体现的业务逻辑无关。同时框架能够处 理来自包括网络流、文件、数据库等各种不同数据源的数据。 2 ) 数据视图动态配置、灵活可扩展问题。数据分析是根据数据自身的业务逻 辑含义进行处理的过程，而数据展现则是依据不同的数据元模型进行展现的过程， 对于同一数据元模型应该通过动态配置而显示成不同的数据视图，以实现数据视 图的易于配置和灵活扩展特征。 本文定义了一个基于发布订阅机制的视图分析与展现框架，实现了数据与视 图之间的松散耦合。通过配置数据源以及数据的处理、显示策略，动态的实现对 第6 页 国防科学技术大学研究生院硕士学位论文 数据的分析与展现。框架提供了相应的功能扩展点，开发者通过扩展相应的功能 模块，即可实现定制所需管理视图的需求。 1 3 论文组织结构 本文共分为六章，各章节组织如下： 第一章介绍了虚拟计算环境课题所提出的背景和意义；分析了虚拟计算环境 管理平台实现所面临的挑战，介绍了本文研究内容的现状和系统实现的目标；简 述了本文研究的问题以及取得的研究进展。 第二章综述本文工作的相关技术，分析监控信息获取技术、事件发布订阅技 术以及基于事件的交互式语言o w l e t 。 第三章提出了虚拟计算环境管理平台的基本模型，并将系统模型分解为节点 数据采集模型、分布式数据汇聚模型以及数据分析与展现模型。模型从各个方面 论证了管理平台实现过程中所面临的挑战以及解决这些问题的实际技术途径。 第四章详细介绍了虚拟计算环境管理平台的关键技术，包括粒度可变的分布 式监控方法、分布式数据汇聚与存储模型、可视化数据分析展现框架等三个方面。 其中粒度可变的分布式监控方法主要考虑在监控过程中通过优化的方法减轻监控 对目标节点的性能影响。分布式数据汇聚与存储模型主要通过分布式的内容发布 订阅机制以及i v c e 覆盖网解决大规模分布节点数据汇聚所面临的困难。数据分析 与展现框架主要解决管理数据的分析与可视化展现问题。 第五章介绍了管理平台的具体实现，包括节点的数据采集、分布式数据汇聚 以及相应的可视化管理视图等。最后给出了基于平台的i v c e 应用管理案例分析。 第六章总结了本文的工作和创新，并指出未来的研究方向。 第7 页 国防科学技术大学研究生院硕士学位论文 第二章相关技术研究 i v c e 管理平台中用到的主要技术有分布式节点上的监控信息获取技术、分布 式发布订阅服务以及基于i v c e 平台语言o w l e t 的通信传输机制，本章将介绍这些 相关技术的具体细节。 2 1 监控信息获取技术 分布式管理平台需要一定的监控技术来获取自主单元节点的运行时信息。监 控技术的选择，需考虑系统动态性、实时性以及对自主单元节点的性能影响等需 求。由于i v c e 平台语言o w l e t 基于j a v a 平台实现，因此本文主要考虑j a v a 平台 下的监控信息获取技术。本节介绍了j a v a 平台下的a o p 、b y t ec o d e 和j m x 这三 种监控信息获取技术，并从功能和性能方面对它们进行了比较。 2 1 1a o p a o p ( a s p e c t o r i e n t e dp r o g r a m m i n g ，面向方面编程) 是美国施乐公司帕洛阿 尔托研究中心( x e r o x p a r c ) 上世纪9 0 年代创建的一种全新编程思想【1 2 1 ，它使用 “横切 技术来分解封装的对象，将那些多个类中的通用行为封装到一个可重用 的模块( a s p e c t 或方面) 中。a o p 的基本思想是“将应用程序中的业务逻辑同对 其提供支持的通用服务进行分离 ，即实现横切关注点与核心关注点分离【1 3 1 。在 a o p 编程中，核心关注点按照传统的o o p 思想开发，横切关注点通过a o p 提供 的程序设计单元加以实现。开发者通过运用a o p 提供的程序设计单元，结构化地 设计和编写横切关注点的实现代码，从根本上分离了不同类型关注点的实现空间。 a o p 采用编织( w e a v i n g ) 技术来实现方面代码和业务代码的合并，同时定义 了连接点( j o i n p o i n t ) 、切入点( p o i n t c u t ) 、通知( a d v i c e ) 、方面(