（计算机应用技术专业论文）基于策略的分布式资源监控模型研究及其应用.pdf

摘要 摘要 随着网络计算技术的迅速发展，分布在不同地点的异构资源可以通过网络互联成一 个松散耦合的计算环境，也就是分布式计算环境。由于分布式计算环境中的计算节点都 是松散耦合的，要提供统一的应用服务就必须要解决资源管理的问题。资源监控是分白 式资源管理的关键环节。监控数据可以用于任务调度、负载平衡、向管理员报告软硬件 故障，并广泛地控制系统的使用情况。 本文提出的策略控制的资源监控模型的应用背景是基于虚拟个人计算的多节点智 能网络应用环境。此环境结合了网格计算和普适计算的特点，将网络应用资源和各种终 端设备资源整合成为一个整体，为使用各种类型终端设备的用户提供一个自适应、可按 需定制、支持用户移动的综合信息服务平台。监控模型主要从系统性能、可扩展性、灵 活性、可靠性、可管理性几个方面重点考虑，提出的监控系统模型具有对等监控、本地 存储和基于用户会话进行资源负载统计的特点，同时结合传统的基于服务器节点进行统 计形成了二维统计模型。此外，策略控制的引入为监控系统实现自动控制和智能化提供。 了新的手段。 关键字：分布式计算，虚拟个人计算，资源监控，策略 ； 中国科学院帧l + 学位论文单于策略的分布武资源瓶摔模型研兜及j e 脚用 r e s e a r c ha n da p p l i c a t i o no up o l i c y b a s e dd i s t r i b u t e dr e s o u r c e m o n i t o r i n gm o d e l w e iw a n g ( c o m p u t e r a p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yj i n t a ol i a l o n gw i t ht h er a p i dd e v e l o p m e n to fn e t w o r kt e c h n o l o g i e s ，h e t e r o g e n e o u sr e s o u r c e s f r o mi n d e p e n d e n tl o c a t i o n sc a nb ei n t e g r a t e dt oal o o s e - c o u p l i n gc o m p u t i n ge n v i r o n m e n t ，t h a t i s ，d i s t r i b u t e dc o m p u t i n ge n v i r o n m e n t ( d c e ) d u et o t h el o o s e c o u p l i n gs t r u c t u r eo f c o m p u t i n gn o d e si nd c e ，r e s o u r c em a n a g e m e n t s m u s tb ee m p h a s i z e df o r t h eu n i f o r mv i e wo f a p p l i c a t i o ns e r v i c e s a n d r e s o u r c em o n i t o r i n gi st h ek e y s t o n eo fd i s t r i b u t e dr e s o u r c e m a n a g e m e n t s d a t af r o mm o n i t o r i n gc a nb eu s e dt oa s s i s tj o bs c h e d u l i n g ，l o a db a l a n c e ， r e p o r t i n gf a i l u r e so fs o f t w a r eo rh a r d w a r ea n dw i d e l yc o n t r o l l i n gt h es y s t e mu s a g e w ep r e s e n tap o l i c y - b a s e dr e s o u r c em o n i t o r i n gm o d e li nt h i sp a p e ra n du s et h em o d e li n o a rm u l t i n o d ei n t e l l i g e n tn e t w o r ka p p l i c a t i o ne n v i r o n m e n tw h i c hi sb a s e do nv i r t u a lp e r s o n a l c o m p u t i n ga n di n t e g r a t e sn e t w o r ka p p l i c a t i o n sa n dv a r i o u st e r m i n a ld e v i c e st op r o v i d ec l i e n t s as e l f - a d a p t a t i o n , s u p p o r t i n g - u s e r - m o b i l i t yi n f o r m a t i o ns e r v i c ep l a t f o r m w eg a v ep r o m i n e n c e t oh i g hp e r f o r m a n c e e x t e n s i b i l i t y , f l e x i b i l i t y , r e l i a b i l i t ya n dm a n a g e a b i l i t yo ft h em o d e l d e s i g n t h em o d e lh a s s e v e r a lc h a r a c t e r s ：p e e r - t o - p e e r - m o n i t o r i n g i o c a l - s t o r a g ea n d t w o - d i m e n s i o n - s t a t i s t i c sw h i c hi n c l u d e ss e r v e r - b a s e d s t a t i s t i c sa n du s e r - b a s e d s t a t i s t i c s m o r e o v e r , i n t r o d u c i n gp o l i c yc o n t r o lm a k e s an o v e lp e r s p e c t i v ef o ra u t o m a t aa n di n t e l l i g e n c e o f t h em o n i t o r i n gs y s t e m k e y w o r d s ：d i s t r i b u t e dc o m p u t i n g ，v i r t u a lp e r s o n a lc o m p u t i n g ，r e s o u r c em o n i t o r i n g ，p o l i c y ili-声 日录 图目录 图2 i 计算技术的发展”1 0 图2 - 2s n m p 管理模型1 7 图2 - 3 网格监控体系结构组件 图2 - 4g a n g l i a 体系结构 图3 - l 虚拟个人计算环境 图3 - 2 多节点智能网络应用环境的结构示意图 图3 _ 3 多节点智能网络应用环境的工作流程示意图 图3 4 多节点智能网络应用环境的虚拟个人桌面 图3 - 5i n a p 协议管理层次在应用环境中的位置 图3 - 6i n a p 协议的层次框架一2 7 图4 - l 策略控制的系统状态迁移( s = s t a t e , a = a c t i o n ) - - - - - 3 l 图4 1 2p o n d e r 的策略编辑环境 图4 - 3 策略管理控制台 3 8 3 8 图5 - 1i n a p m o n 体系结构4 0 图5 - 2 进程结构链表一4 2 图5 - 3 资源统计模型( 节点h 上t 时刻) 一4 4 图5 - 4r t m 体系结构4 7 图5 - 5r t m 客户端图形界面( 会话管理) 4 8 图5 - 6r t m 客户端图形界面( 进程管理) 4 8 图5 - 7r t m 客户端图形界面( 系统类资源管理) 一4 9 圈5 - 8i n a p m o n 系统实验环境 图5 - 9 资源使用情况( c p u ，m e m o r y , n e t w o r ki o ) ”5 0 堪”鸵” m m ” ；、，h气il卢；。 a 中国科学院钡i 学位论文皋十簧略的分布式资源航拧模型研究发儿应用 表2 - i 被监控对象属性的性质 表目录 1 5 表3 - in c 与p c 的比较2 6 表3 - 2 服务器节点的定义2 8 表3 - 3 终端类型的定义2 9 表3 - 4 用户的定义卅m 二一2 9 表3 - 5 会话的定义2 9 表3 会话状态的定义2 9 表3 - 7 应用类型的定义。3 0 ，表3 - 8 应用控制信息类型的定义如 表4 1 授权策略的语法形式3 2 表4 - 2 肯定授权的实例。3 3 表4 - 3 否定授权的实例。3 3 表4 4 职责策略的语法形式3 4 表4 - 5 动作策略的语法形式3 4 表4-6目标策略的语法形式。35 表4 _ 7 目标策略的实例3 6 表4 8 效用策略的语法形式哪3 6 表4 - 9 效用策略的实例：。一3 7 表5 - 1p r o c 虚拟文件系统的一些重要文件。4 i 表5 - 2 消息格式定义4 5 表5 - 3p o n d e r 的使用举例。4 6 表5 - 4 定性的评价标准5 l v j 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：王数 日期：加舌乒p 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 缩印或其它复制手段保存该论文。 作者签名：三霍k 导师签名： 弘阵 日期：五。善。仁仃 。疋；，+，：，簟一；o ；易纷眷；， 第一章弓i 占 1 1 立题背景 第一章引言 早期的计算机是以主机终端模式进行工作的，数掘和应用程序集中在一台主机上， 计算工作集中在主机上完成，这时的终端是种哑终端，仅接收键盘的输入和显示输出。 随着p c 机的产生出现了本地计算模式，p c 机具有较强的计算能力，能够独立地完成 应用程序的本地计算。随着计算技术的进一步发展，出现了分布式计算( d i s t r i b u t e d c o m p u t i n g ) ，数据和应用程序可以跨越多个节点机，典型代表就是c l i e n t s e v e r 结构。 随着网络技术不断发展，尤其是基于w e b 的信息发布和检索技术、j a v a 计算技术以及 网络分钿式对象技术的飞速发展，导致软件系统的网络体系结构跨入一个新阶段，即 b r o w s e r s e r v e r 结构。随着网络技术的成熟和互联网的普及，使信息资源和计算资源的 共享变得越来越普遍，相互独立的计算机能够通过网络互联成一个相互协调的有机整 体，基于网络的分布式计算有着巨大的计算潜力、良好的可扩展性和灵活的体系结构， 成为当今计算技术发展的一个重要分支。 基于网络的分布式计算是指借助计算机网络将分布在不同地点的计算实体组织在 一起，进行信息处理的一种方式分布式计算的理想目标就是要实现分散对等的协同计 算，这也是网络技术发展的一个理想目标。分布式主要是指数据分布和计算分布。数据 分布是指数据可分散存储在网络上的不同计算机中：计算分布则是把操作计算分散给不 同的机器进行处理。分布式计算模式在系统可靠性、可扩展性、可用性和并行处理等方 面具有明显的优势 分布式计算应用需求的发展突出表现为两大趋势，一是高性能计算应用需求的迅猛 发展，问题的规模和复杂性都显著增大，解决一些超大规模应用问题所需要的计算能力 已不可能在单一的计算机上获得，有些计算密集和数据密集的问题必须由多台计算机上 的异构资源协同解决，网格计算应运而生；二是人们越来越多的使用各种新型终端设备 访问网络上的各种计算和信息资源，计算资源、设备资源以及各种应用服务资源向网络 化发展，最终的目标是实现无差别透明地使用远程资源，为人们提供各种信息和应用服 务的普适计算环境。 从以上的分析可以看出，在计算机硬件价格下降、计算机网络拓扑发展的情况下， 分布式计算给用户提供了一个丰富的资源集合。虽然，分布式计算的表现形式各不相同， 我们不难注意到这样一个共同的本质，那就是客户请求分散到多个计算机上。因此，这 些计算机上的资源管理问题就成为制约整个系统效率的瓶颈。比如，在某一时刻，一些 计算机的负载比较重而另外一些计算机的负载却比较轻平衡各计算机之间的负载就 能够提高整个系统的性能，这种技术通常被称为负载平衡。又比如。为了满足用户对应 中国科学院硕i + 学位论文苯十镱咯的分布式资源髓挣模型研究及其府用 用程序运行质量的要求，核心的服务器需要对单个用户使用的资源进行有效的控制，避 免单个用户无限制使用资源造成系统整体服务性能和质量的下降。然而，一般情况下， 单个计算机只可以提供自身诸如处理器负载，应用系统负载，活跃用户数、可用的网络 协议缓存以及其他的资源信息所以，我们首先需要利用监控技术对各计算机的资源进 行实时监控和收集整理来得到整个系统的资源使用情况，从而为整个系统资源管理的实 现提供依掘。因此资源监控是进行系统管理的关键环节。监控数据可用于任务调度、负 载平衡、向管理员报告软硬件故障，并广泛地控制系统使用情况，有效地保障服务的质 量。 h 1 2 本文的研究内容和主要贡献 。l 2 1 研究内容，。一一，。“一t 一，7 。 基于分布式计算发展趋势的研究分析，我们开展了基于虚拟个人计算的多节点智能 网络应用环境的研究。虚拟个人计算是以用户为中心的计算模式，用户可以随时随地方 便地通过分布在周围环境中的网络终端设备来访问信息和计算服务。节点在这里主要是 指服务器，多节点即为服务器集群。多节点智能网络应用环境是将服务器集群资源和各 种智能终端设备资源通过网络互联成为一个整体，为使用各种类型智能终端设备的用户 提供一个自适应、可按需定制、支持用户移动的综合信息服务平台。多节点智能网络应 用环境对应用服务器集群和智能终端设备( 如网络计算机、智能手机、p d a 等) 上的各 种资源进行抽象描述，实现了应用程序对服务器和终端资源的统一访问。用户可以使用 终端设备透明地访问服务器和终端设备上的应用，服务器集群对用户的运行环境即会话 进行统一管理。多节点智能网络应用环境中采用的以用户为中心的会话管理为用户提供 了移动性支持，使终端用户对个人综合信息服务环境的访问不再局限于特定的设备和场 所，在多节点智能网络应用环境下，用户随时随地可以访问到自己唯一的计算环境，并 无缝地访问分御在应用环境中的资源。 一般来说，计算机工作模式可以归纳为四种：终端模式( t e r m i n a lm o d e l ，t m ) 、本地 模式( l o c a lm o d e l ，l m ) 、客户机朋最务器模式( c l i e n t s e v e r , c s ) 和浏览器，服务器模式 ( b r o w s e r s e v e r , b s ) 。而我们的多节点智能网络应用环境的开放式支撑平台可以提供以 下三种计算模式的多工作模式融合： ( 1 ) 浏览器服务器( b r o w s e r s e r v e r , b s ) ：是指通过浏览器来访问服务器上的信息和 计算的工作模式。通过本地浏览器可以访问w e b 服务，另外，由于采用了b s 结构实现了真正意义上的跨平台计算。 ( 2 ) 终端服务器( t e r m i n a l ，s e r v e r , t s ) ：是指软件的运行、配置、调度和数掘存储 都在服务器端完成，客户机只作为输入、输出设备。 ( 3 ) 本地运行模式( l o c a i ) ：本地运行模式是指软件的运行、配簧、调度都是在本地 2 t-jff 第一章引言 完成，不需要服务器提供计算资源。 例如，在多节点智能网络应用环境中，用户在智能终端( 网络计算机) 上使用终端 软件登录到某个服务器上，然后点播服务器上的多媒体文件应用环境为降低这个服务 器的资源消耗，会通知网络计算机启动本地多媒体播放器，然后将多媒体数掘流通过网 络发送给本地搐放器进行播放。在这个过程中就相继使用了终端，月受务器模式和本地模 式。因此，多节点智能网络应用环境也需要解决服务器集群、智能终端和网络资源的高 效、有序的整合和管理的问题。 不难看出，资源监控是进行系统管理的关键环节，其重要性在资源管理的各个方面 都有体现： ( 1 ) 资源监控是资源预留、任务调度和负载平衡的实现基础。 分知式计算是通过网络互连实现全系统范围内的资源的共享，同时通过高效的资源 管理和任务调度技术实现资源的有效共享，从而提高资源利用率，获得高性能和快速可 靠的服务。为了使由独立的计算设备组成的多机系统协同工作，且形成对用户透明的单 一系统，必须为其提供任务调度和负载平衡服务。只有平衡的负载才能达到最大的资源 使用率。因此，负载平衡是实现资源有效共享，提高系统资源使用率的必然要求。 为了给资源预留、任务调度和负载平衡等资源管理手段提供现实依掘和评价标准。 需要利用资源监控技术对各节点的资源状态进行实时监控和收集整理来得到现有的资 源使用情况。 ( 2 ) 资源监控是服务质量( q u a l i t yo f s e r v i c e ，o o s ) 机制的内在要求。 计算技术的一个重要发展方向是利用网络把分散在不同地理位置的计算机组成一 台虚拟的超级计算机，实现计算资源、存储资源、数据资源、信息资源、软件资源、存 储资源、通信资源、知识资源、专家资源等的全面共享。作为广泛、分布的服务，与用 户和其它服务的交互决定了服务质量( q o s ) 是其内在需求q o s 机制支持管理员有效地 使用现有资源，并在无需扩充网络而使它更快或超量提供资源的前提下，保证关键的应 用程序接受的服务是高质量的。 q o s 机制的要求主要有：通过资源信息服务获取资源的实时状态信息，判断客户的 预留请求能否被接受，一旦被接受，相应的网络带宽和计算资源将被保留，预留表被更 新；计算任务丌始之前，数据文件将通过预留的网络带宽传送到指定位置，计算任务分 配到预留的资源，丌始计算，用户可以实时监控资源和任务的状态信息；系统必须确保 用户知道所请求资源的状态、以及服务期日j 的质量。不难看出，资源信息服务必须提供 的信息可能包括可用处理器的数目、c p u 负载，网络接口、文件系统信息、带宽、存 储设备和内存。其实质就是一种资源监控技术。 本文主要研究了分布式计算环境下资源监控的相关技术，同时，在基于虚拟个人计 算的多节点智能网络应用环境下设计和实现资源监控的原形系统在基于虚拟个人计算 的多节点智能网络应用环境中，为了实时动态地管理被监控系统状态信息。及时反映终 中囝科学院颅十学位论文摹于簧略的分布式资源监控模型研究及) t 戍用 端用户的登录、注销和断丌情况，动态显示被监控系统的资源使用情况，系统需要进行 资源监控来管理应用环境的各种资源和终端用户会话的状态。在本文中，被监控系统是 整个多节点智能网络应用环境，包括服务器集群和应用环境中的智能终端设备。我们将 被监控对象分为三类：1 ) 应用类：登录到服务器集群上的用户会话信息，每个用户启 动的远程或本地应用进程信息，如用户名、会话i d 、应用程序名、进程i d 等：2 ) 系统 类：各服务器和智能终端上的系统资源使用情况，如c p u 利用率、主机负载、磁盘i o 、 物理存储器及虚拟存储器的使用情况等。3 ) 网络类：包括网卡流量、传输误码率等。 1 2 2 主要贡献 慷 ， 出于多节点智能网络应用环境自身有几个主要特点： ( 1 ) 统一的资源管理和交互式应用发布与共享机制 。， r ，在应用环境中，用户可以透明地使用服务器集群和终端设备上的各种资源。系统支 持服务器应用对打印机、串口、并口、u s b 设备、智能卡、本地文件系统等终端设备本 地资源的访问，支持在服务器上对终端设备本地资源的管理和使用。同时，系统也支持 终端设备本地应用对服务器资源的利用。除此之外，用户可以通过登陆到某台服务器， 使用由多个服务器节点构成的集群上的应用资源和计算资源，分布在多个服务器节点上 执行的应用可以无缝集成到用户会话的个人虚拟桌面，使用户透明地访问和管理多节点 智能网络应用环境中的应用服务。 ( 2 ) 通信带宽与计算能力协商 应用环境支持网络带宽、显示模式、图形处理能力、字体能力、光标能力、压缩算 法、缓存能力、音频编码格式支持、音频质量、视频解码能力等多种能力集的协商。通 过终端设备与服务器之间的能力协商，适应不同类型的终端设备，从p d a 等手持移动 设备、信息家电到p c 系统，适应不同的网络状况，从拨号网络到局域网，为不同类型 的终端用户提供稳定可靠的服务同时，通过协商充分利用服务器与终端设备本地的计 算资源，提高系统的整体服务质量。 ( 3 ) 可移动的客户服务 服务器端的用户运行环境无需终端设备参与系统状态的维护。当用户在不同位置、 不同类型的终端设备问移动时，或者用户断开连接后再次重新连接进入应用环境时，系 、 统提供给用户与前一次状态一致的个人桌面应用环境。 在充分考虑多节点智能网络应用环境自身特点的情况下，本文提出的监控模型具备 一： 以下三个基本特征： ( 1 ) 对等监控 在整个应用坏境中，没有中心监控系统，也不采用客户机服务器的监控结构。应用 环境中的每个节点都对等地部署监控系统，既可以作为资源状态信息查询和浏览的客户 端，又可以作为资源状态信息管理的服务器。对等的结构最大限度的保证了整个应用环 4 iillli- 第一章弓1 苦 境监控的灵活性和可靠性。 ( 2 ) 本地存储 资源状态的细节信息尽量存储在本地的服务器中。由于应用环境中存在各种动念变 化的资源，如果采用集中的信息存储，需要随时轮询更新，这样大大增加了网络负载和 数掘传输。而且如果将资源状态信息存储在固定的服务器上，一旦出现故障，或结构发 生变化，资源的调度和分配将处于完全的瘫痪状态。因此，我们只将部分资源负载状态 进行统计整理后在节点闯传输，其余细节信息全部存储在各自的服务器节点内。 ( 3 ) 基于用户会话的统计 为了满足用户对应用程序运行质量的要求，服务器需要对单个用户使用的资源进行 有效的控制，避免单个用户无限制使用资源造成系统整体服务性能和质量的下降。因此 必须设计基于用户会话的统计模型来保障登录到各服务器节点的用户能够公平地获得 服务器提供的服务。 本文的主要贡献包括以下几个方面： ( 1 ) 设计了多节点智能网络应用环境下的资源监控模型。 出发点主要是考虑高性f l ( h i 曲p e r f o m l a ：n c e ) 、可扩展性( e x t e n s i b i l i t y ) 、灵活性 ( f l e x i b i l i t y ) 、可靠性( r e l i a b i l i t y ) 和可管理性( m a n a g e a b i l i t y ) 。由于资源监控得到的资源状 态信息大都是用于为资源管理提供依据，得到的数据有很强的时效性，因此需要实时监 测环境中的资源使用情况。同时，还必须保证监控系统对被监控系统的资源占用小，这 些资源包括系统资源和网络资源，这样才能获得比较准确的结果，所以设计了合理高效 的传输路径和层次模型，保证在短时自j 内以较小的代价将必要的信息传送到相应的服务 器节点。此外，由于整个应用环境的资源和服务的提供者主要是服务器集群，如果采用 集中监控的方法，由某一个服务器节点对整个环境进行监控，则这个核心服务器节点的 系统故障将会给我们的资源监控带来不可估量的后果因此我们设计了服务器节点之i b j 的对等监控和本地存储，保证每个服务器节点及登录其上的用户使用的终端设备的资源 状态信息的细节数掘都存储在本地服务器节点上，这些细节数据可以通过w e b 服务发 布。最后，框架的设计还考虑了保证整个应用环境的可扩展性，保证资源监控系统能够 支持大规模应用。 ( 2 ) 利用p r o c 虚拟文件系统作为资源状态信息的收集方式。 多节点智能网络应用环境中服务集群和智能终端设备主要采用l i n u x 嵌入式l i n u x 操作系统。在l i n u x 中，p r o c 虚拟文件系统是一种内核和内核模块用来向进程( p r o c e s s ) 发送信息的机制。这个虚拟文件系统可以和内核内部数据结构进行交互，获取有关进程 的有用信息，在运行中通过改变内核参数来改变设置。p r o e 文件系统是虚拟的，是因为 它由内存创建，并于系统更改的时候动态地更新。该文件系统包含与正在运行的应用进 程i d 同样名字的文件以及系统物理环境的最新信息。它是一个较快的、高效率执行系 统监听的方法。 中国科学院硕 学位论文摹f 簧略的分布式资源监控模型研究及其廊用 ( 3 ) 用不同资源的规格化资源负载指数组成资源负载向量来衡量设备的负载状态。 我们主要是对应用环境中服务器集群的资源负载状态进行统计。如c p u 利用率、 主机负载、磁盘i o 、物理存储器及虚拟存储器的使用情况等。在众多的负载描述指标 中，我们认为直接采用资源利用率可以准确、直观而合理地描述系统负载，而且实现简 单。同时摒弃传统方法中的标量负载指数，采用由多种关键资源的资源利用率组成的 资源负载向量束表示资源负载状态，并且为每个向量加上时日j 戳。 ( 4 ) 设计了资源负载状态的二维统计模型。 二维统计模型是指分别按照服务器节点和用户会话两种粒度来进行对资源负载状 念的统计在l ； 文中提到，我们的监控系统的一个重要特征是基于用户会话的统计，这 种粒度的统计可以用于衡量各个用户所占用的共享资源，保证每个用户从应用环境中获 得应用服务的质量。同时，传统的基于服务器节点的统计结果可以作为任务调度和负载 ，。平衡等系统管理的依据 ，。一“- 一一 ( 5 ) 定制了快速消息通信协议。 为了减少发却资源状态信息的延迟，我们定制了快速消息通信协议，可以从底层上 解决部分通信效率问题。总体思路是：在假定通信信道是可靠稳定的前提下，简化通信 原语的设定，减少握手和确认消息，使用大的滑动窗口和收发缓冲区，采用发送忘记 ( s e n d a n d - f o r g e t ) 的方式向网络节点发送消息。消息由接收方进行协议检查，有错误 的消息将被丢弃。简单的超时机制来处理可能出现的意外信息的发布采用周期方式和 事件触发方式相结合。 ( 6 ) 在资源监控中引入策略( p o l i c y ) 作为控制的辅助方法。 策略的引入可以实现监控系统的自动控制功能，体现应用环境的智能化。我们在监 控系统使用p o n d e r 策略描述语言来定制符合应用环境控制需求的策略库，通过对策略 的解释执行来实现控制功能，减少系统管理的复杂性。 1 3 论文的组织结构 本文共分六章。 第一章是引言，介绍了本文的立题背景及意义，点明了本文的主要研究内容、主要 贡献。 第二章介绍了分布式计算环境的概念、演进和发展，详述了集群、w e b 服务、网格 计算和普适计算等几种有代表性的分布式计算技术；然后，对分布式计算环境下的资源 监控的需求和难点进行了分析，介绍了几种典型的有借鉴意义的资源监控模型。 第三章主要介绍我们课题研究的基于虚拟个人计算的多节点智能网络应用环境及 智能网络应用协议。 第四章介绍了策略的定义和在分布式系统管理和资源监控中的扩展和实现。 第五章详细分析了多节点智能网络应用环境下资源监控系统的实现细节，包括主要 6 。 i 二 第一牵引奇 设计思想、总体框架以及关键技术的实现，并对监控系统进行了评价。 第六章是结束语，介绍了本文当i j 已经完成的工作，并指明了进一步工作的方向。 7 liifr， l 、 第二章分布式计算环境及资源航拧 第二章分布式计算环境及资源监控 2 0 世纪9 0 年代，网络技术尤其是i n t e r n e t 技术飞速发展，更为重要的是，i n t e m e t 上汇集的成千上万的计算资源、数掘资源、软件资源。此时，传统的v o n n e u m a r m 体系 结构r 趋到达其处理能力的物理极限，用户要求透明地应用由不同厂商制造的不同机 型、不同运行平台组成的异构型计算机资源，就必须在千差万别的信息资源( 异构的、 网络的、物理性能差别很大的、不同厂商和不同语言的信息资源) 的基础上构造起信息 共享的分却式计算环境，并有效地实现应用系统与分布式处理的集成。 2 1 分布式计算环境的概念 分布式计算环境( d i s t r i b u t e dc o m p u t i n ge n v i r o n m e n t , d c e ) 【1 , 2 ，3 ，4 】由o p e n s o f t w a r ef o u n d a t i o n ( o s f ) 制定和维护，具体定义如下： d e v e l o p e da n dm a i n t a i n e db yt h eo p e ns y s t e m sf o u n d a t i o n ( o s f ) ，t h ed i s t r i b u t e d c o m p u t i n ge n v i r o n m e n t ( d c e ) 妇a ni n t e g r a t e dd i s t r i b u t e de n v i r o n m e n tw h i c hi n c o r p o r a t e s t e c h n o l o g yf r o mi n d u s t r ) zt h ed c e 扫as e to fi n t e g r a t e ds y s t e ms e r v i c e st h a tp r o v i d ea n i n t e r o p e r a b l ea n df l e x i b l e d i s t r i b u t e de n v i r o n m e n tw i t ht h ep r i m a r yg o a lo fs o l v i n g i n t e r o p e r a b i l i t y p r o b l e m si nh e t e r o g e n e o u s , n e t w o r k e d e n v i r o n m e n t s 也就是说，分布式计算环境是指借助计算机网络将分布在不同地点的异构计算实体 组织在一起来进行信息处理，主要是以资源共享和协同工作为应用目标在网络计算平台 上开发，部署和维护分布式应用系统。 从上面的叙述可以看到，分布式计算环境就是由多台计算机组成的系统，更确切地 说，它是满足以下条件的多机系统： ( 1 ) 系统中的计算机之间可以通过通信来交换信息因此，运行于系统中的计算机 上的程序之间可以使用系统提供的通信手段来交换数据。 ( 2 ) 系统中的各台计算机没有主次之分，既没有控制整个系统的主机，也没有受控 于其它机器的从机。因此，主从控制计算机系统或分机控制计算机系统都不是 分角式系统。 ( 3 ) 系统的资源为所有用户所共享。在某台计算机终端上的用户不仅可以使用位于 该机上的资源，还可以使用位于其它机器上的资源。而且分靠式系统提供的资 源共享功能，可以使用户只需要考虑系统是否具有自己所需要的资源，而无需 考虑资源在哪台些计算机上。 ( 4 ) 系统中的若干台计算机可以互相协作来完成一个共同的任务，或者说，一个程 序或任务可以分布于几台计算机上并行地运行一般的计算机网络是不能满足 这个条件的，所以分布式系统是一种特殊的计算机网络系统 中田科学院帧i 学位论文草十策略的分布武资源监拧模型研究及j t 脚用 2 2 分布式计算的演进与发展 计算技术的发展经历了一个从集中到分布、从单一到多样、从彼此独立到互相不断 融合的发展过程。目i i i 分布式计算已经成为当今计算技术发展的一个重要分支。可预见 的计算技术的发展如图2 一l 所示【5 】 远榉通讯 协台韩 凼叮川性 分布式安全 系统存错 ，t ， 。 全球杆能 幽o 蜊 十普适计算 型吐be 。一一 图2 1 计算技术的发展 。 f i g2 - 1e v o l u t i o no f c o m p u t i n gt e c h n o l o g y 在分布式计算技术中，我们重点研究了应用广泛的集群系统、w e bs e r v i c e 和未来 的两大发展趋势：网格计算和普适计算，并在研究基础上设计实现了本文的第三章中介 绍的多节点智能网络应用环境。 l ，集群系统 集群( c l u s t e r ) 是一组相互独立的服务器在网络中表现为单的系统，并以单一系统 的模式加以管理。简单的说，集群实际上就是一组计算机，它们作为一个整体向用户提 供一组网络资源。实际上，用集群作为服务器的计算模式是一种分布式的c l i e n t s e r v e r 计算模式【6 ，7 】。在这种模式下，一个应用的进程被分为两个部分；一部分进程在服务器 集群上执行，它为其它进程提供公共服务。另一部分进程在客户机上执行，它们执行本 地处理，并与服务器进行交互以便获得服务器的服务。 服务器集群上单个的计算机就是集群的节点( n o d e ) 集群系统由节点和计算机网络 组成，再配置上全局软件，是一种松散耦合的多机系统。通过各节点的并行运行，可以 实现高性能的分稚式计算互连各节点的网络可以采用通用网络，如以太网、f d d i 、 快速以太网，甚至更高带宽的专用网络。因为各并行分布任务间通信量大，网络负载较 、l r j 蒸i | ； | 第一二章分布武计算环境及资源：i ：i 挣 重，采用低速网络会直接影响应用的性能，采用高速网络，应用性能将明显提高。节点 之日j 为了协同运行系统需要运行全局的任务划分和调度算法，所有资源的分配算法， 以及消息传送软件柬实现节点问的并行计算。一个理想的集群是，用户从柬不会意识到 集群系统底层的节点，在他们看柬。集群是一个系统，而非多个计算机系统，并且集群 系统的管理员可以随意增加和删改集群系统的节点。 下面介绍几种典型的集群系统【8 ，9 ，1 0 ，l l 】。 ( 1 ) b e o w u f f 集群 b e o w u l f 是一种系统结构，它使得多个计算机组成的系统能够用于并行计算。系统 通常有一个管理节点和多个计算节点构成。它们通过以太网( 或其他网络) 连接。管理节 点监控计算节点，通常也是计算节点的网关和控制终端。当然它通常也是集群系统文件 服务器。在大型的集群系统中，由于特殊的需求，这些管理节点的功能也可能由多个节 点分摊。通常由最常见的硬件设备组成，如p c 、以太网卡和以太网交换机。b e o w u l f 系统很少包含用户定制的特殊设备，它通常采用那些廉价并且广为传播的软件，如l i n u x 操作系统、并行虚拟机( p v m ) 和消息传递接1 2 1 ( m p i ) 。 ( 2 ) c o w 集群 4 和b e o w u l f 样，c o w ( c l u s t e r o f w o r k s t a t i o n ) 也是由最常见的硬件设备和软件系统 搭建而成。通常也是由一个控制节点和多个计算节点构成。c o w 和b e o w u l f 的主要区 别在于：c o w 中的计算节点主要都是闲置的计算资源，如办公室中的桌面工作站，它 们就是普通的p c ，采用普通的局域网进行连接。因为这些计算节点白天会作为工作站 使用，所以主要的集群计算发生在晚上和周末等空闲时间。而b e o w u l f 中的计算节点都 是专职于并行计算，并且进行了性能优化。因为c o w 中的计算节点主要的目的是桌面 应用，所以它们都具有显示器、键盘和鼠标等外设。而b e o w u l f 的计算节点通常没有这 些外设，对这些计算节点的访问通常是在管理节点上通过网络或串口线实现的。 ( 3 ) m o s i x 集群 和b e o w u l f 等其他集群相比，m o s i x 集群是种非常特别的集群，它致力于在l i n u x 系统上实现集群系统的单一系统映像s s i ( s i n g l es y s t e mi m a g e ) 。m o s i x 集群将网络上运 行l i n u x 的计算机连接成一个集群系统。系统自动均衡节点日j 的负载。因为m o s i x 是在 l i n u x 系统内核中实现的集群，所以用户态的应用程序不需要任何修改就可以在m o s i x 集群上运行。通常用户很少会注意到l i n u x 和m o s i x 的差别。对于他来说。m o s i x 集群 就是运行l i n u x 的一台p c 。 2 、w e bs e r v i c e 在x m l 基础上发展起来的w 曲服务( w e bs e r v i c e ) 【1 2 ，1 3 ，1 4 1 是一种革命性的分布式 计算技术。它使用基于x m l 的消息处理作为基本的数据通讯方式，消除使用不同组件 模型，操作系统和编程语言的系统之自j 存在的差异，使异类系统能够作为计算网络的一 部分协同运行。从外部的使用者的角度而言，w e b 服务是一种部署在w e b 上的对象组 i l 中田科学院帧i 。学位论史筚十疑略的分布式资源髓拧模型研究及j c 脚甩 件，它具备以下特征：完好的封装性、松散耦合、使用协约的规范性、高度可集成能力。i 由于w e b 服务是建立在一些通用协议的基础上，如h t l p ( h y p e r t e x tt r a n s f e rp r o t o c o l ， ； w w w 服务程序所用的协议) ，s o a p ( s i m p l eo b j e c t a c c e s sp r o t o c o l ，简单对象访问协议) ， ； x m l ，w s d l 4 w e b s e r v i c e sd e s c r i p t i o nl a n g u a g e ，w e b 服务描述语言) ，u d d l ( u n i v e r s a l 。 d e s c r i p t i o n ，d i s c o v e r y ，a n di n t e g r a t i o n ，通用描述发现和集成协议) 等，这些协议在涉及 到操作系统、对象模型和编程语占的选择时，没有任何倾向，因此w e b 服务将会有很 。 强的生命力。 w e b 服务实施的领域可以分为四类： 。 ( 1 ) b u s i n e s s - o r i e n t e dw e bs e r v i c e 该类服务针对的是那些面向企业应用服务，包括企业内部的e r p 系统，企业问的 s c m ，c r m 等系统。 ，( 2 ) c o n s u m e r - o r i e n t e d w e bs e r v i c e * 一，* - ，m _ ，w r 一一”* 。“” 此类服务针对的是那些原先的b 2 c 的网站的改造，为这