（计算机系统结构专业论文）数字有机体任务调度的研究与实现.pdf

摘要摘要随着互联网技术的发展，基于i n t e m e t 的应用也越来越丰富。由于服务器性能和骨干网络带宽的限制，传统的客户服务器( c s ) 构架网络应用的扩展性受至l 很大的限制，难数适应规模不断扩充的用户需求。p 2 p 系统将分布于网络中的客户主机利用起来，能够充分挖掘处于i n t e r n e t 边缘网络上的客户资源，在利用率、扩展性、容错等方面具有潜在的巨大优势。传统的p 2 p 系统主要是面向文件资源的共享和存储。研究主要集中于文件资源的定位和搜索。然而，随着网络流媒体( 如v o d 、m t v 和v o l p ) 等新兴的应用向p 2 p 应用模式的迁移，对传统的p 2 p 系统资源管理提出了新的挑战。网络流媒体等应用扩展了传统的p 2 p 系统资源的范围，即将动态的服务也看作一类瓷源；服务类资源与文件类资源有着明显的区别：文件资源生命周期长，对网络质量要求不高，稳定性高；两服务类资源通常生命期短，对网络质量敏感，不稳定。因此，如何在传统p 2 p 架构上实现对服务类资源的有效管理是当前迫切需要解决的问题。8 0 1 0 教研室在多年分布式并行系统的研发基础上，结合p 2 p 应用模式的特征，开发出了数字有机体系统。当前，数字有机体系统已经实现和发展了传统p 2 p 系统资源管理的主要功能，但是与传统p 2 p 系统类似，尚未实现对动态服务类资源的有效管理。本文设计并实现了种针对服务类资源的调度管理系统。它通过一种灵活的层次型逻辑结构，将服务源节点组织成动态自适应的逻辑区域，从每个逻辑区域内部选择一个监督节点，负责对该区域内部的其它客户节点进行监视，并对监视信息进行分析，形成服务源评估报告呈报调度管理中心作为服务源优选和调度管理的依据，从蔼实现了对客户服务资源的有效监视和优化调度。本系统是对数字有机体已有的资源管理子系统的补充和发展，是数字有机体资源管理平台的一部份，实现对文件类资源和服务类资源的统一管理。测试表明数字有机体任务调度子系统在动态服务类资源的监视和优化调度，以及调度管理等方面满足设计的功能要求，能有效地降低服务器负载和骨干网络流量负载。关键词：数字有机体，服务类资源，任务调度a b s 强a 双a b s t r a c tw i t ht h ed e v e l o p m e n to fi n t 黜l e t ，t h ea p p l i c a t i o n sb a s e do ni n t e r n e tb e c o m e sv a r i o u sa n da b o u n d a n t 。砀et r a d i t i o n a lc l i e n t s e r v e ra r c h i t e c t u r em o d e li sn o ts u i t a b l ef o rt h ed e v e l o p m e n t t h ep 2 pt e c h n o l o g y , w h i c hc a l lt a k e 笋o du s eo ft h er e s o u r c e sd i s t r i b u t e do nag r e a t en u m b e ro fi n t e f n e tp e r s o n a lc o m p u t e r s ，h a v eg r e a t e rp o t e n t i a lo nt h ee x t e n d a b i l i t y , u t i l i z a b i l i t ya n dd a p t a b i l i t y t h et r a d i t i o n a lp 2 ps y s t e ma r em a i n l yd e s i g n e dt os o l v et h ef i l e ss h a r i n ga n ds t o r a g e ，c a u s et h a tt h em o s to fr e s e a r c h e sf o c u so nr e s o u r c ep l a c e m e n ta n do r i e n t a t i o n w h e r e a st h ep o p u l a r i t yo fn e t w o r ks t r e a m i n ga p p l i c a t i o n ( s u c ha sv o d ，瑶t va n dv o w ) b r i n g so u tan e wc h a n u e g et op 2 ps y s t e m 砀es t r e a m i n ga p p l i c a t i o n se x t e n dt h er e s o u r c es a c l eo ft r a d i t o n i a lp 2 ps y s t e m 。w h i c hr e g a r d st h ed y n a m i cs e r v i c ea sak i n do fr e s o u r c e t h e r ea r eg r e a td i f f e r e n c e sb e t w e e nf i l er e s o u r c ea n ds e r v i c er e s o u r c e 1 1 1 ef o r m e ri sl o n g e v e o u s ，d u l li nn e t w o r k q u a l i t ya n ds t e a d y t h el a t t e r , 0 1 1t h ec o n t r a r y , i ss h o r - l i v e d , s e n s i t i v ea n dd y n a m i c s o ，强er e q u i r e m e n to fb u i l d i n gu pa ne f f i c i e n tm a n a g e m e n ts y s t e mf o rt h es e r v i c er e s o u r c eb e c o m e si n s t a n t an e wp 2 s ps y s t e m d o s ( d i g i t a lo r g a n i s ms y s t e m ) ，w h i c hb a s e do nd i s t r i b u t e df i l es y s t e ma n dd e s i g n e db y 球奉奉r e s e a r c l o f f e r sa ni n t e r g r a t e ds o l u t i o no nd i s t r i b u t e dr e s o u r c eu t i l i z a t i o na n ds t o r a g e c u r r e n t l y , d o sr e a l i z e sa n dp r o m o t st h em o s to ff u n c t i o n so fp 2 ps y s t e m h o w e r v e r , i th a sn o tr e a l i z e dt h em a n a g e m e n tf o rs e r v i c er e s o u r c e 啦sd o c u m e n td e s i g n e sa n dr e a l i z e sas u b s y s t e mo fd o s ，w h i c ha i ma ts e r v i c er e s o u r c em a n a g e m e n ta n ds c h e d u l i n g t h i ss u b s y s t e mb u i l du pah i b e r a r c h yt oo r g a n i z et h es e r v i c ep r o v i d e r si n t od y n a m i cl o g i cr e g i o n s a l lt h es e r v i c em o n i t e r i n gw o r ki no n el o g i cr e g i o ni sa d m i n i s t r a t e db yas u p e r v i s o rn o d es e l e c t e df r o mt h a tr e g i o n e a c hs u p e r v i s o rn o d es e n d sa n a l y z i n gr e p o r t st os c h e d u l em a n a g e m e n tc e n t e rf o rs c h e d u l e i n gd e c i s i o na n dc o n t r 0 1 弧es u b s y s t e mr e a l i z e st h ee f f i c i e n t l ym a n a g e m e n to fs e r v i c er e s o u r c e t e s t ss h o wt h a tt h es u b s y s t e m sf u n c t i o n sm e e tt h ed e s i g nr e q u i r e m e n t s 。f u r t h e r m o r e , i tc a nr e d u c et h eb u r d e no fs e r v e ra n dn e t w o r ks t r e a m i n gl o a d s k e y w o r d ：琰西磁o r g a n i s ms y s t e m ( d o s ) ，s e r v i c er e s o u r c e , s c h e d u l i n g h独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：鱼塑日期：z o o s 年s 月2 6 日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的觏定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅尊本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后应遵守此规定)签名：壹塑导师签名：每、3 灯托日期：7 , 0 0 8 年塞月工6 习第一章弓l 言1 。1 课题的背景及意义第一章引言随着网络技术的发展，计算机网络已经将分布于全球各地的大量独立的计算机连接起来，如何有效管理和利用这些分散于网络中的信息和计算单元促进了对分布式系统的研究。从资源的角度讲分布式系统通过网络将分散的资源( 信息和计算单元) 整合起来，实现对资源共享访问和任务合作。分布式资源管理的模式从篱单的网络文件共享访闷到通用的分布式资源平台的建立大致可分为两个重要的阶段：传统分布式系统和新兴的p 2 p 系统。传统分布式系统是若予独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。传统分布式系统中，对用户屏蔽掉底层的分布式的复杂逻辑，如副本管理，资源信息同步，任务调度和负载均衡等，为用户提供了统一的资源访问和管理接口。在应用方式上传统分布式系统通常将网络中的高性能服务器进行整合，提供较大的面向普通客户群体的整体服务能力，促成了大量的c s 模式应用的产生和发展。但是随着计算机的普及，普通主机数量和性能大量增加，丽以服务器资源为中心的d s 模式应用，客户主机资源无法得到很好的利用。9 0 年代开始兴起的p 2 p 技术革命性地改变了传统d s 服务架构，对于网络中的主枫资源逻辑上不搏固定区分服务器帮客户端角色，每个主机都是一个资源点，既可以享用其他主桃的服务又可以为其他主机提供服务。p 2 p 技术利用分布于网络中的各个主机节点，充分挖掘了i n t e m e t 上空闲资源，在利用率、扩展性、容错等方面具有潜在的臣大优势，并在文件共享、分布式计算、协同工作、网络存储等方面已经取得了初步的良好应用。当前，对p 2 p系统的研究成果主要集中于基于d h t ( 。d i s t r i b u t e dh a s ht a b l e ，分布式哈希表) 的分布式查询和路由算法。这里的资源主要仍然面向文件类静态资源。当前，网络流媒体技术的蓬勃发展对p 2 p 系统提出了新的需求：如何有效的将v o d ，i p t v ，v o l p 等瘦用延展到p 2 p 架构中，让这些应用得到更广泛的更高效的应用是当前面临的挑战。首先，是这些应用对传统的p 2 p 系统的资源定义的扩展，即从文件资源扩展到一种服务资源。其次，文件资源和服务资源在性质上有明显的区别：文件资源生命期长，对网络质量要求不高，稳定性高，而服务资源通常生命周期短( 比如：一部电影的播放) ，对网络质量敏感，不稳定性等。因电子科技大学硕士学位论文此，如何建立逻辑统一的资源管理平台，实现对文件资源和服务资源的统一管理，为应用提供高效平台，是数字有机体的系统研究的重点，也是各种应用需求的迫切需求。数字有机体系统实现和发展了传统的p 2 p 资源管理的主要功能，但是和传统p 2 p 相似，资源管理的重点在于资源的查找和定位，即资源和位置的对应关系，对于服务类资源没有实现有效管理( 如：无法及时跟踪资源的动态变化) ，而数字有机体任务调度子系统就是针对服务资源的监视和管理，是数字有机体资源管理平台的补充和发展，从而实现数字有机体系统对文件类资源和服务类资源的统一管理。1 2 数字有机体任务调度的研究内容数字有机体系统是一个基于p 2 p 与c s 混合架构的无中心控制节点的分布式系统。数字有机体通过将分布在广域网中的大量计算机聚合成一个有机的整体，来提供强大的任务处理、数据存储和资源管理等能力，从而满足大规模网络应用的需要。当前，分布式系统的研究大多针对特定应用需求，例如：以c a c h e 技术和文件分发技术为核心的c d n 系统；以文件存储和共享为目的的n a p s t e r 、g n u t e l l a 、p a s t 和o c e a n s t o r e 等p 2 p 文件系统。与上面的特定应用系统不同，数字有机体系统从分布式系统的共有基础需求出发，力图建立一个能够满足现有和未来多种特定分布式应用需求的基础平台。当前，数字有机体在设计中已经实现了分布式资源管理主要功能，包括全局资源地图的构建和维护，资源搜索与定位，资源副本管理等。数字有机体任务调度子系统建立在数字有机体之上，专门针对服务类资源的监督和管理，是对数字有机体资源管理模块的补充和发展。数字有机体任务调度子系统的主要研究内容：构建一个统一的管理平台，该平台与资源管理平台相容。建立灵活、高效的调度系统，该系统能够监视服务源，管理客户服务且易于部署和自适应性。建立有效的调度控制，搜集有效信息，包括服务信息，节点能力信息，服务网络区域信息以支持对服务源的优选，从而保证对质量敏感的p 2 p 应用对服务源质量的需求，同时能够有效减少服务器负载和网间流量，提高整个系统的综合服务能力。1 3 论文导读本文主要论述了数字有机体任务调度子系统的设计与实现。2第一章引言论文共分为8 章，安排如下：第一章阐述本课题的背景、现实意义和主要内容，介绍了数字有机体系统以及本系统与数字有机体系统的关系以及论文的组织结构。第二章介绍介绍了传统分布式系统、网格系统和数字有机体系统的基本概念和特点，列举了一些对任务调度需求具有代表性的基于p 2 p 架构的应用系统。第三章介绍数字有机体任务调度子系统的总体架构，然后具体介绍系统中各个模块及其相互关系，最后提出系统总体实现方案和相关接口。第四章介绍调度器模块的设计与实现。重点提出了一种动态的层次型区域自治的调度系统。详细介绍了系统的逻辑结构和实现细节。第五章介绍调度管理与优化模块的设计与实现。提出了基于历史监视信息分析的服务源质量评估预测方法以及优化调度系统的各种规则。第六章介绍服务区域规划模块的设计与实现，提出了一种简便的路由半径判断的方法。第七章介绍系统测试与评估。第八章结论与后续研究建议。电子科技大学硕士学位论文2 1 传统的分布式系统第二章相关工作分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。这个定义包含了两个方面的内容：第一个方面是关于硬件的：机器本身是独立的。第二个方面是关于软件的；对用户来说它们就像在与单个系统打交道。从硬件结构上来划分，分布式系统又可分为多处理机系统、同构式多计算机系统、异构式多计算机系统。分布式系统的软件有：分布式操作系统、网络操作系统、中间件。分布式操作系统是紧耦合的操作系统，用于多处理器系统和同构式多计算机系统。它的主要目标是隐藏及管理硬件资源。网络操作系统是松耦合的操作系统，用于异构式多计算机系统。它的主要目标是向远程客户提供本地服务。中间件位于网络操作系统通用服务实现层之上的附加层，提供分布透明性。分布式系统中，对用户屏蔽掉底层的分布式特性，给用户统一的视图，是实现的主要目标之一，分布式系统的核心是分布式文件系统。主要的代表有a f s 和n f s 。a f s 1 】( a n d r e wf i l es y t e m ) 是由美国卡内基一梅隆大学( c a r n e g i e m e l l o nu n i v e r s i t y ) 和i b m 公司联合成立的信息技术中心( 1 n f o r m a t i o i lt e c h n o l o g yc e n t e r )研制开发的分布式文件系统，a f s 的目录对所有客户都是相同的，具有名字空间唯一性，a f s 是a f s 的根目录，其下的子目录称为c e l l ，每个c d l 对应于一组服务器。c e l l 的名字通常就是服务器所在单位的域名。a f s 服务器以卷的结构存放文件，卷可以在服务器之间复制和移动；n f s 2 】【3 】( n e t w o r kf i l es y s t e m ) 是由s u nm i c r o s y s t e m 公司于1 9 8 5 年开发，以此作为对远程文件进行透明存取的一种方法。它目前已被移植到几乎所有u n i x 系统( 包括l i n u x 、f r e e b s d ) 及订s 和d o s上，并成为事实上的工业标准。n f s 支持异构系统，可以在不同硬件平台和不同操作系统的计算机之间实现文件共享。n f s 使用的是c h e n t s e r v e r 模型，其基本思想是让客户机和服务器的任意集合共享一个公用的文件系统。n f s 既可在局域网上运行，也可在广域网上运行。n f s 6 j 方案经过良好设计，属于无状态( s t a r l e s s ) ，使得每个请求可被独立地处理，而与它之前的请求无关。这样服务就无需浪费大量的资源和时间为每个n f s 用户保持状态信息，当服务器出现故障宕机后，无需任何恢复工作就可投入运行。而对于客户机也无需记住自己前面进行过什么操作，4第二章穗关工搀每次操作，只要经过足够时间的等待总可得到响应，即使是服务器曾经崩溃过。但这样使对文件进行正确的存储比较匿难，瑟且对维护客户端的缓存一致挂存在困难。分布式文件系统的主要贡献在于文件资源的统一管理和配置方面的研究成果，如副本管理，资源信息一致性等，健不能满足如分布式任务协同等动态特性的管理需求。2 。2 网格系统网格可以定义为大规模的地理上分布的硬件和软件基础设施【4 】【5 嗣，它是由异构网络资源所组成，这些资源由多个管理域所控制和共享，协同提供透明、可靠、普适、一致的计算环境，以支持广泛的应用【7 】【8 】。g l o b u s l 9 项匿开发组的领导者i a nf o s t e r 在中指出：网格计算关心的是在动态的、多机构的虚拟组织中协调资源共享和协同解决问题【l0 1 。其核心概念体现为：在一组参与节点( 资源提供者和消费者) 中协商资源共享管理的能力，利用协商得到的资源池共同解决一些闻题。这种共攀必须被高度控制，资源提供者和消费者要清晰和详细地定义哪些资源可被共享，谁可享用这些资源，以及共享发生的条件。用这样的共享规则定义鲶一组个人和机构，称之为虚拟组织。在虚拟组织内部，网格协调非集中控制资源，允许它的资源被协同使用，以得到多种服务质量，满足不同使用者需求，如系统响应时闻、流通量、有效性、安全性以及爨源重定位，使得联合系统的功效比其各部分的功效总和要大得多。从应用领域蔼言，网格可分为：计算网格潮、数据嬲格翻、服务网格矧等几种不同的网格系统。计算网格以g l o b u s 作为代表，发展得比较成熟。数据网格目前也有了很多解决方案，虽各有特点。服务网格麓前正处予研究的高峰麓，发展变化非常快，目前服务网格平台的开发主要以o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) h 3 】【1 4 】框架作为基础。计算网格平台豳前比较流行的计算网格平台包括g l o b u s 、l e g i o n 蚓、l s f 1 6 1 、u n i c o r 9 1 7 】以及l c g 【1 羽。由于网格系统要求建立在一套专门的的标准协议之上，与当前大量的i n t e m e t 应用协议不兼容，旦对网络带宽和主机处理能力等有一定的要求。因此，当前各种网格的应用项目还比较专业化，一种专门应用的网格很难对其他应用提供支持。匿前最新的网格服务体系架构是开放网格服务体系结构( o p e ng r i ds e r v i c ea r c h i t e c t u r e ，o g s a ) ，如图2 - 1 所示，从下到上依次为( 1 ) 资源层：包括物理资源和逻辑资源。物理资源包括服务器、存储器和网络。逻辑资源通过虚拟化翮聚5电子科技大学硕士学位论文合物理层的资源来提供额外的功能。( 2 ) w e b 服务以及定义网格服务的o g s i ( o p c ng r i ds e r v i e e si n f r a s t r u c t u r e ) 扩展：o g s a 中所有网格资源( 逻辑的与物理的) 都被理解成服务。o g s i 规范定义了网格服务并建立在标准w e b 服务技术之上。( 3 ) 基于o g a s 架构的服务：w e b 服务层及其o g s i 扩展为下一层提供了基础设施：基于架构的网格服务。( 4 ) 基于网格架构的服务。构建o g s a 的两大支持技术是g l o b u s和w 曲s e r v i e e 。g l o b u s 是己经被科学与工程计算领域广泛接受的网格技术求解方案，w e bs e r v i c e 是一种标准的存取网络应用的框架。a p p l i c a t i o n尝鲁o g s aa r c h i t e e t e ds e r v i c e晷号墓鲁uo g s i o p e ng r i ds e r v i c e si n f r a s t r u c t u r e s孳售曩营w e bs e r v i c e遭g星差se c u r i t yw o r k f l o wd a t a b a s ef i l es y s t e m sdi r e c t o r yme s s a g i n gs e r v i c es t o r a g en e t w o r k图2 一l0 g s a 服务体系结构( 1 ) 网格任务调度过程 1 9 】【2 0 】【2 l 】数字有机体的任务调度和网格任务调度在部分概念上相近，因此，网格任务调度的过程是本文关注的重点。在网格环境下，满足某个任务要求的计算资源可能不止一个，但是该任务在这些资源上执行获得的性能、付出的代价可能不一样。任务调度首先根据任务的需求，发现满足条件的计算资源，然后从满足条件的计算资源中根据主要因素或选择策略选择一个合适的资源，分配给该任务：任务获得满足条件的资源后，可以在该资源上运行，并处在资源所在地的任务管理机制的管理之下；任务在资源上执行结束后，把占用的资源还给网格管理机构，网格任务管理模块把任务执行结果和有关信息告诉任务提交者。通常认为任务调度包含两个组成部分，一个是等待队列中的某个任务找到合适计算资源的调度，称为匹配调度；另一个是从等待队列中选择一个合适的任务首先进行处理的调度，称为次序调度。数字有机体任务调度第一阶段的设计本质上就是一种匹配调度。( 2 ) 网格任务调度的特点【2 0 】【1 9 】【2 1 】网格调度器只能是针对一定范围内的网格资源，通常任务需要注册和认证过程才能进入网格系统；网格资源动态变化，资源信息的采集和组织对调度影响很6第二章壤关王作大。这一点同数字有机体系统面临的任务调度环境相似。并且由于数字有机体是基予p 2 p 架构熬，主要的服务源是普通客户节点，具有很高的动态性和不稳定性，因此，如何能够及时有效地得到动态信息是一个关键的问题；另外，由于网格中对各种资源的约束很多，要达到的调度西标很多，比如要时间最少、代价或小、资源利用率最高等，有些目标相互矛盾，为多目标多约束的问题找到满足所有约束和豳标的全局最优解是很困难。因此，数字有机体任务调度的目的不是追求当前最优解，而是为客户提供一个较优的可选择资源群体；网格的调度必须考虑到资源的多种管理属性以及调用资源所涉及的商业交易等因素。后者是指网格的调度还毖须考虑到怎样协调圈格用户和具体资源供者之闻的利益，酃怎样使耀户所需要支付的开销最小和怎样使资源提供者获的效益更多。这一特点对于数字有机体系统来说就是如何满足不同客户应用的需求，为系统使用者提供一个通用的应用平台。( 3 ) 网格任务调度构成与评价f 2 0 】f 2 1 1 f 捌一般说来，网格环境中的资源主体并非专属于网格环境，它们首先表现为本地管理域的资源，其次才是网格管理域的实体，而且后者往往以满足前者为基础，因此，任务调度应该包含本地任务调度和网格域任务调度。一般说来任务调度系统可分为调度模型、调度策略、调度目标函数和调度算法四个部分。一般说来，其研究的基标主要集中予：从需求出发，扶模型、策略和算法方面克服网格瓷源的异构性和非专用性特点，从而最大化系统性能，提供可扩展的和鲁棒的任务远程执行功能，并能支持特定的计算或者数据密集型应用。在网格调度系统中，衡量调度性能的指标包括资源利用率、算法复杂度、完成时间等。与网格任务调度紧密相关的重要内容还有：调度中的后处理机制、负载平衡技术、容错技术、服务质量担保，针对网格环境中管理策略不确定性、任务不确定性和资源动态不确定性的任务级处理技术。上述的大部分标准也适用于数字鸯机体体任务调度的渊评，但是应当注意数字有橇体稔网格的明显差别，所面临的问题不同，特别是主体架构和面向的应用不同，因此，数字有机体任务调度的评价有自己的特点。2 3 支持网络流媒体服务的分布式系统网络流媒体服务具有数据量巨大，对服务源质量敏感，资源动态性等特征。随着鼹络流媒体服务的普及和应用，例如：v o d 筋 1 2 4 1 、v o l p 2 s 、孵、犯q 等系统，7电子科技大学硕士学位论文对分布式系统都提出了新的挑战。但是基于传统c s 模式的流媒体服务，由于流服务源来自服务器( 群) ，随着用户规模的扩展对服务器的性能要求也随之增加；另一方面由于服务器通常由专门机构管理，远离普通用户，巨大的数据需要通过i n t e r a c t 骨干网络传给用户，给骨干网络带来了巨大的负载压力。上面的两点成为c s 模式流媒体服务扩展的主要瓶颈。随着p 2 p 技术的兴起，p 2 p 思想及技术也迅速从文件共享领域，拓展到诸如分布式计算，协同工作，分布式存储等领域，为流媒体服务带来了全新的解决方案。流媒体服务可以不再仅仅依靠高性能的服务器，同时由于服务数据可以在位于边缘网络中的客户节点之间传送，减轻了i n t e m e t 骨干网络的流量负载压力。但是，传统的p 2 p 系统主要面向文件资源的管理例如：n a p s t e r l 2 7 】和g n u t e l l a 2 8 1 。当前，对p 2 p 系统得研究主要集中在资源放置与定位方面【2 9 】【3 0 】，涌现了多种针对结构化p 2 p 系统的d h t ( 分布式哈希) 资源放置和定位算法【3 l 】【3 2 】f 3 3 】，如：c h o r d p 4 1 、t a p e s t r y t 3 5 1 、c a n 3 6 1 、p 鹤缸v 3 7 1 、p g r i d 3 8 】等。虽然p 2 p 系统在资源放置和查找方面有较大的进展，但是由于网络流媒体服务在p 2 p 架构下出现了新的特点，比如：客户服务源分散性，不稳定性和生命周期短等，传统p 2 p 资源管理方式不能很好地满足流媒体应用系统的需求。目前，在p 2 p 实时流媒体【3 9 】阳】方面的研究仍然较少，c o l l e c t c a s t 是一个典型代表【4 l 】，它提出了一个拓扑感知节点选择技术，这是p 2 p 实时流媒体的一个主要研究问题之一：供应节点选择问题指明了一个研究方向。c o l l c e t c a s t 是美国印第安纳州普度( p u r d u e ) 大学【4 2 】的研究者们提出的一个新型p 2 p 实时流媒体服务模型，它的一个流会话中包含多个发送者。它的提出是为了解决了在一个高度多样化和动态的p 2 p 网络中，如何为每个p 2 p 流会话选择并监视可能的交换发送节点以维持尽可能好的流质量。这种动态性和多样性反映在节点和节点间的网络连接这两者之上，例如客户终止服务对话，客户带宽不平衡等。c o l l e c t c a s t 的整个操作位于应用层，但它推断并利用底层网络。它包括如下一些主要性质：推断并利用底层网络拓扑和性能信息；监视节点和连接状态，能对节点连接失效或性能下降以较低延迟做出反应；区分并动态交换活动节点和备用节点，保证活动发送节点总的网络性能可符合要求。研究者们实现了c o l l e c t c a s t的实际网络测量和模拟。模拟结果显示，基于c o f l c c c t a s t 的p z p 流服务模型比仅仅基于端到端网络性能信息的p 2 p 流服务模型具有更好的性能。c o l l c c t c a s t 是一个基于p 2 p 查找子层的层次网络，由四个部分组成：拓扑推断与标记；节点选择；速度和数据分配；监视和适应，如图2 - 2 所示。第二掌攘关工作候选集图2 心c o l l e c t 缀徉结构及信息交换其中最关键的组件是节点选择。因为p 2 p 环境是高度多样化和动态的，选择最好的节点来服务流会话对提供想要的离质量的流是至关重要的。c o f l e e c t a s t 使用拓扑感知技术。它推断底层拓扑及其特性，并且考虑路径每一段的友好性，这样，它能够通过避免路径共享拥塞路段的节点丽做出明智的选择。一旦选择好活动节点，每个节点就会分配到一个流速率和数据块，流会话也就开始了。在一个长的流会话过程中，环境可能发生变化：节点可能失效，或网络路径可能变得拥塞。为了维持接收方的流质量。c o l l e c t c a s t 的流分配算法就是基于这种节点拓扑感知技术，通过一种实时状态感应来实现流调度。2 4 数字有机体系统数字有机体系统将网络节点依照网络节点间的关系将其逻辑上划归不同的站。每个站是一个由紧密耦合的多个节点构成的服务单元系统；站内节点自动保持同步与一致性；站内节点在系统层次上协调配合完成任务。数字有机体整体由单个节点组成站，多个站点之间通过高速网络连接，最终汇聚成数字有机体系统，如图2 3 所示。9电子科技大学硕士学位论文图2 3 数字有机体物理部署图数字有机体系统灵活的层次结构以及群落组织方式，赋予了数字有机体系统强大的生命力与服务能力，较之传统系统，数字有机体系统的主要特点如下：1 ) 分布式并行i o 和并发处理：数字有机体系统以站为单元实现了分布式并行i 0 机制，解决了传统系统中服务器组内部的负载均衡问题，同时消除用户与数字有机体系统间的输入输出瓶颈；2 ) 高可靠性：数字有机体站的智能副本机制和故障恢复机制可以实现自动化故障检测和信息同步，当发生站点站内节点发生时，系统自动重组并排除故障节点，形成新的数字有机体系统，保证服务的可靠性。3 )高伸缩性：数字有机体进行系统扩容时，可以在线地增加数字有机体站内服务器，从而提高数字有机体站的服务能力：新的数字有机体站在网络连通后，自动融合到已有的数字有机体系统中，成为它的一部分。数字有机体系统在系统层次上进行扩容，其自组织自扩散等行为依托底层服务完成。该机制避免了运行在操作系统之上的应用级系统扩容带来的高通信开销、低可靠性和低可用性。4 )巨大的存储能力：数字有机体系统的高并发处理能力与巨大的存储能力是其区别于分布式并行系统的重要特征。数字有机体系统通过自适应、自组织方式在互联网上部署。该系统中无中心站节点；站节点无大小之分、等级之分，彼此在系统层次上提供存储服务共享服务。通过这些机制，数字有机体系统中的站1 0第二章稳关王终节点可以将热点数据扩散到其他站节点中，以提高并发服务能力，也可在存储能力不足时将数据转移至闲置站节点，这种方式使得系统的存储能力可以极大的扩充。5 ) 高性价比：数字有机体系统不依赖较高的硬件需求，既可以运行在高端服务器上，也可以在p c 服务器上运行。在数字有机体系统中，所有的节点在逻辑上平等，没有等级分别；安装数字有机体操俸系统和其数据库系统的服务器系统即可融入数字有机体系统。因此，服务提供者完全可以依托大量廉价的低端服务器，创建数字有机体系统，向用户提供高质量和高性能服务。数字有机体操作系统是数字有机体系统的基础，它主要负责数字有机体系统的系统组织、信息搜索、用户服务等。如图2 4 所示，数字有机体操作系统分为内核与外核两个层次。数字有机体用户接爨( 氢括透明下载霸应震程序接瑟)数字有机体通讯模块资源管理子系统( 含资源放置和任务调度)文件系统接口文箨缓存管理l 露录管理| 文件访阏控割|裁本警理资源搜索机制l资源定位数字有机体外核数字有机体内核图2 4 数字有机体操作系统结构数字有瓿体操作系统内核以分布式并行操作系统为基础，主要负责站内的节点管理组织、资源管理调度、副本管理等任务；数字有机体操作系统外核主要负责站区管理组织、站区间的资源搜索与定位、服务调度等任务。数字有机体系统向用户提供系统级服务，如资源搜索、透骧下载等。由于数字有机体系统建立在系统层次上，因此它所提供的服务比应用级服务更加深广，服务使用更加方便。电子科技大学硕士学位论文3 1 概述第三章任务调度子系统总体设计数字有机体任务调度子系统属于数字有机体资源管理平台的一部分，其主要功能是对系统中的动态服务类资源进行监控，并为服务请求者提供按照一定策略优选的服务源信息，使服务请求者能够从优质服务源获得及时可靠的服务。对于上面的描述有两点需要说明：首先，任务调度子系统将动态服务看作一种特殊资源，由于将资源提供给他人使用，必须依托于某种服务。因此可以将服务和资源合在一起，形成一种带服务的资源( 例如：v o d 服务，v o p 服务等) 。因此，在本文中任务调度实际上和动态资源调度是等价的，只是为了与资源搜索与定位概念区分。相对于传统的文件类资源而言，服务类资源最显著的特征是动态性和不稳定性，即资源的生存期仅限于服务期间，服务发起时资源有效，直到服务结束或故障后资源o p n 失效；另一方面，由于服务本身受到诸多实时因素的影响，比如：网络带宽，c p u 负载，内存等，因此，服务类资源提供的服务是不稳定的。在p 2 p 环境中，动态服务源大多数是普通节点，动态性和不稳定性更加突出。其次，在本文中，任务调度与传统任务调度的定义不同，传统的任务调度是指将计算任务分派到合适的处理机或者服务器上运行，例如并行处理机的任务调度等。本文中的任务调度是指为需要获得服务请求者提供一个或者多个可选的较优的服务源。综上所述，任务调度子系统是一个专门面向高质量p 2 p 动态服务( 相对于p 2 p文件资源共享) 应用的平台，是对数字有机体资源管理子系统的补充和发展。3 2 需求概要数字有机体系统对任务调度子系统的主要需求有：任务调度子系统系统需要和数字有机体资源管理平台的接口融合，为用户提供一个满足各种应用的调度需求的通用接口。资源调度系统必须使用动态的、有一定的自适应能力的任务调度算法来对1 2第兰肇经务调度子系统总髂设诗系统中的服务资源进行有效的调度；任务调度子系统应当应该有较高的资源调度准确性。能够郢时有效监督服务变化；能够根据系统实际情况动态优化调度，提高系统总体服务能力，并具有较好的容错和故障恢复能力；数字有机体系统本身具有良好的扩展性，作为其子系统，任务调度予系统同样也应当具备优良的扩展性和自适应性。能够根据当前的实际情况组织调度系统，改善调度系统自身的服务性能。充分利用服务资源的p 2 p 特性，减少数字有机体系统负载和i n t e r n e t 骨干网络以及网闻透信的流量。3 。3 与传统分布式并行任务调度的比较传统的任务调度是将计算任务调配到合适的处理单元( 主机节点或者c p u ) ，并在对应的处理单元上完成分派任务的计算。面本文串的任务调度实际上是为需要获得服务的请求用者提供一个或者多个可选的较优的服务资源信息，所以也可称为姿源调度。数字有机体任务调度子系统选择第二种调度定义的原因有三点。第一，现在的系统中，一个客户可以从多个服务提供者那里获褥服务，两不是只从单个服务提供者处获得服务，因此分配任务的意义已经消失。第二，现在系统中服务提供者的数量往往不是少数几个，而是无数个，甚至每个参与者既是客户，又是服务提供者。第三，现在提供的服务往往不仅仅是计算服务，在大多数情况下，是数据服务，既提供数据信息。巍于上述原因，资源调度具有与传统任务调度不藏的露标和特点：( 1 ) 不再以均衡负载为首要目标。在c s 模式的系统中，服务器是稀缺资源，因此如何充分的利用它，以获得最大的吞吐量是关键问题。露均衡负载是主要的手段。现在，每个客户都可以提供服务，服务器不再是少数的稀缺资源。因此负载均衡的重要性也就随之下降了。( 2 ) 个体最优选择不再是必要的。豳于服务源可以是普通用户节点，数量众多，而且为一个服务请求者提供服务的节点也不再只是一个，因此个体最优选择的意义并不霉重要。相反，如何选择多个较优的服务源，使得它们能够提高系统整体服务的质量成为关键问题。( 3 ) 服务区域规翔成为较重要的闻题。所谓服务区域指服务源和服务请求者魄予科技大学硬士学经论文所处的物理逻辑网络区域。现在的系统不再局限在局域网络内，甚至不荐局限在单个网络内。大多数情况下，它是跨越网络区域服务。如果服务区域之闻主要通过要骨干网络连接，则会增大骨干网流量，影响系统整体服务质量。在p 2 p 环境中，服务区域大多分散在边缘客户网络中，因此，如何充分利用邻近边缘服务区域之闻相互提供服务，减少穿越骨干网络的服务流量成为提高整体服务质量的一个有效手段。( 4 ) 保证服务资源质量较为困难。在p 2 p 环境中由于服务资源具较短的生存周期且主要分布于普通节点，因此，服务源的质量的稳定性较差。当正在服务的莠受务源中断孱，如何保证使用者髓够尽快找至i 合适的新服务源是一个重要的闯题，在实施上具有较大难度。( 5 ) 服务资源描述需要即时信息。所谓即时信息是指服务源在较短时间间隙内的变化信息，具有比实时要求略低的时限要求。要求即时信息的原因是服务类资源具有不稳定性，要准确描述服务资源信息就必须获得资源的即时状态信息。另一方面，由于即时信息的周期越短，其数据量就越大，如何在监督资源变佬和控制信息处理规模之间找到合适的平衡点也是一个难点。( 6 ) 整体可靠性是一个关键性的指标。p 2 p 架构的优势就是能够有效减少服务器负载。但单个客户机是不可靠的，因此如何利用众多的单个客户机来提高系统整体可靠性是一个关键性的阀题。在设计数字有机体任务调度子系统时，必须考虑上述的这些特征，避免和传统的任务调度混为一谈。3 4 任务子系统的系统架构3 4 1 系统用例与接口按照设计约束的要求数字有机体任务调度予系统建立在数字有橇体系统的基础上，并且与数字有机体资源管理子系统相融合，这里的融合是指用户界面的统一，功能上互补以及模块闻高效衔接。在用户界面( 接阴) 上的统一主要是指从使用者的角度看，系统现有的资源管理和薪设计的服务调度的用例是相容的，即合并为新的资源管理平台界面。1 4第三章任务调度予系统总体设计遥鬃多备图3 1 数字有机体任务调度子系统用例图在接口设计上应用程序使用方式与原来的资源管理系统接口相对应( 如图3 1所示) 。服务注册注销接口与数字有机体资源注册脏销向对应；申请服务调度与数字有机体资源查找相对应。因此，可以在两套类似的接口上面定义更抽象的用户接口将服务资源管理融合到数字有机体资源管理子系统中。功能上互补是指在功能上任务调度子系统专门针对动态服务资源的管理。在资源搜索与定位的功能上，利用现有的数字有撬体资源管理子系统的相关功能和接口，不再建立独立的资源目录管理模块。模块闻的衔接是指任务调度予系统和数字有机体系统中其它子系统或模块以及与用户模块之间的交互接口。如图3 2 所示：数字有机体任务调度予系统数字有机体努核程序搂叠站信患管理资源描述信息管理瓷源查找与定位菇管理资源管理子系统豳3 2 任务调度子系统与数字有机体系统接翻电子科技大学硕士学位论文3 4 2 系统功能模块系统为了满足前面分析的应用需求，即服务资源信息和相关的路由环境信息，需要进行两类基本信息的获得和维护，并维护调度工作系统正常。调度系统的统一管理和调度优化需要一个信息中心用以提升系统总体服务能力。综合上面的分析，任务调度子系统分为三个主要的部分：调度器，调度管理与优化，服务区域信息维护。如图3 3 所示：3 4 3 层次型逻辑结构调度控制服务节点监视监视信息分析调度器图3 - 3 任务调度子系统模块图服务类资源生命周期短且声明周