（计算机系统结构专业论文）云计算中资源调度策略的研究.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：工学计算机系统结构 研究方向：网络体系结构及其在通信中的应用 作者：2 0 0 7 级研究生王西民 指导教师：宗平教授 题目：云计算中资源调度策略的研究 英文题目：r e s e a r c ho fr e s o u r c es c h e d u l i n gp o l i c yi nc l o u dc o m p u t i n g 主题词：云计算，微粒群算法，模糊逻辑，资源调度 k e y w o r d s ：c l o u dc o m p u t i n g ，p s o ，f u z z yl o g i c ，r e s o u r c es c h e d u l i n g p o l i c y 南京邮电大学硕士研究生学位论文 摘要 云计算是一种新兴的计算模型，也是目前国内外商业和科研机构研究的热点之一。虚 拟化技术是云计算中的一个重要特点。在云计算环境下，虚拟技术将网络中的服务器、存 储和网络等虚拟成一个资源池，统一灵活调配。每一个应用的部署环境和物理平台无关， 通过虚拟平台进行管理实现对应用的扩展、迁移和备份。资源的分配和调度是云计算中的 关键技术，也是研究者们面临的挑战。 本文较详细地讨论了云计算的研究背景与现状，在研究微粒群算法、任务分配和资源 调度的基础上，结合云计算中资源动态变化的特点和模糊逻辑的相关知识，给出了一种改 进的微粒群算法。该算法通过引入“簇中心”的机制，由其代替群体历史最优值，来对微 粒初期的运动进行引导，起到了防止微粒在早期陷入局部最优的作用；同时为了能够对当 前寻优效果进行评价，通过建立模糊控制系统，利用各个最优“簇中心”对算法寻优效果 的已知信息，实现了微粒群中微粒运动的自适应规划引导；最后通过仿真实验，将改进的 微粒群算法与c l o u d s i m 中的最优时间调度算法进行了比较分析，验证了本文改进的微粒 群算法的正确性和有效性。 关键词：云计算，微粒群算法，模糊逻辑，资源调度 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t c l o u dc o m p u t i n gi san e wc o m p u t a t i o n a lm o d e la n di sa l s oo n eo ft h eh o tt a r g e t si n c o m m e r c i a la n ds c i e n t i f i cr e s e a r c hi n s t i t u t i o n si nt h ew o r l d t h ev i r t u a l i z a t i o nt e c h n o l o g yi sa n i m p o r t a n tf e a t u r eo fc l o u dc o m p u t i n g i nc l o u dc o m p u t i n g ，t h es e r v e r s ，s t o r a g e ，n e t w o r ka n d s oo nc a nb ei n t e r p r e t e da sar e s o u r c ep o o lw h i c hc a nb eu n i f i e da n df l e x i b l l yd e p l o y e db yt h e v i r t u a l i z a t i o nt e c h n o l o g y e a c ha p p l i c a t i o nd e p l o y m e n te n v i r o m e n ti s i n d e p e n d e n to ft h e p h y s i c a lp l a t f o r m ，t h r o u g ht h ev i r t u a lp l a t f o r mt om a n a g et h ee x p a n s i o no ft h ea p p l i c a t i o n ， m i g r a t i o na n db a c k u pr e s o u r c e t h es c h e d u l i n ga n da l l o c a t i o no fs o u r c e sa r em a i nk e y t e c h n o l o g yi nc l o u dc o m p u t i n ga n d i sa l s ot h ec h a l l e n g ef o rr e s e a r c h e r s t h i st h e s i sd i s c u s s e st h eb a c k g r o u n da n da c t u a l i t yo fc l o u dc o m p u t i n gi nm o r ed e t a i l b a s e do nt h es t u d yo fp a r t i c l es w a r mo p t i m i z a t i o n ，t a s ka l l o c a t i o na n dr e s o u r c es c h e d u l i n ga n d c o m b i n i n gt h ec h a r a c t e r i s t i c so fd y n a m i cc h a n g eo fr e s o u r c e si nc l o u dc o m p u t i n ga n df u z z y l o g i ck n o w l e d g e ，t h i st h e s i sp r o p o s e sa ni m p r o v e dp a r t i c l es w a r mo p t i m i z a t i o n b yi n t r o d u c i n g t h en e wc a l c u l a t i o nm e t h o dn a m e d “c l u s t e rc e n t e r ”，l e ti t r e p l a c et h eo p t i m a lv a l u e so fi t s h i s t o r yt og u i d et h em o v e m e n t o fp a r t i c l e si ni n i t i a ls t a g e i tc a nb eu s e dt op r e v e n tt h ep a r t i c l e s f a l li n t ot h er o l eo fl o c a lo p t i m u ni nt h ee a r l yd a y s a tt h es a m et i m e ，t ob ea b l et oe v a l u a t et h e e f f e c to ft h ec u r r e n to p t i m i z a t i o n ，t h eu s a g eo fe a c ho p t i m a l “c l u s t e rc e n t e r e f f e c t so nt h e o p t i m i z a t i o na l g o r i t h mw i t hk n o w n i n f o r m a t i o nb yt h ee s t a b l i s h m e n to ff u z z yc o n t r o ls y s t e m ， t h e ni ti sa c h i e v e dt h a tt h ep a r t i c l es w a r mp a t i c l ec a nm o v ea d a p t i v e l y f i n a l l y ，t h i st h e s i s i m p l e m e n t st h es i m u l a t i o ne x p e r i m e n ta n dc o m p a r e st h er u s u l tw i t ht h em i n - t i m e s c h e d u l i n g a l g o r i t h mi nc l o u d s i m t h ea c c u r a c ya n de f f e c t i v e n e s so ft h ei m p r o v e dp a r t i c l es w a r m a l g o r i t h ma r ev e r i f i e d k e y w o r d s ：c l o u dc o m p u t i n g ，p s o ，f u z z yl o g i c ，r e s o u r c os c h e d u l i n gp o l i c y n 南京邮电大学硕士研究生学位论文目录 目录 第一章绪论1 1 1 研究背景l 1 2 研究现状2 1 2 1 云计算的发展现状2 1 2 2 网格计算环境中的资源调度：3 1 2 3 云计算环境中的资源调度5 i 3 本文的工作与组织结构7 第二章云计算的相关技术8 2 1 云计算的产生背景8 2 2 云计算的相关技术一l o 2 2 1 网格计算技术1 0 2 2 2 虚拟化技术l l 2 2 ：；i a a s 1 2 2 2 4p a a s 1 3 2 2 ：；s a a s 1 3 2 3 云计算的体系架构1 4 2 4 云计算的特点1 7 2 5 本章小结1 8 第三章微粒群算法与模糊逻辑只1 9 3 1 群体智能1 9 3 2 微粒群算法一2 0 3 2 1 微粒群算法的起源2 0 3 2 2 微粒群算法的基本原理2 l 3 2 3 参数分析2 2 3 2 4 算法流程2 3 3 2 5 微粒群算法研究2 5 3 3 模糊逻辑2 6 3 4 本章小结2 7 第四章云计算中资源调度策略的研究2 8 4 1 任务分配2 8 4 1 1 任务划分2 8 4 1 2 任务图模型2 9 4 1 3 任务优先图3 0 4 2 调度问题3l 4 3 云计算中的任务分配与资源调度3 2 4 3 1i b m 监控代理机制3 2 4 3 2g o o g l em a p - r e d u c e 调度机制3 3 4 4 基于微粒群算法的云计算资源调度的研究3 4 4 4 1 问题的描述一3 4 4 4 2 问题的定义3 4 i i i 南京邮电大学硕士研究生学位论文 目录 4 4 3 基于标准微粒群算法的实现3 6 4 4 4 改进的微粒群算法3 8 4 5 本章小结4 5 第五章仿真实验及性能分析4 6 5 1 仿真实验目的4 6 5 2 仿真实验环境4 6 5 3 仿真实验的实现4 6 5 4 实验结果及分析4 8 5 5 本章小结5l 第六章总结与展望5 2 6 1 总结5 2 6 2 展望5 2 致谢一j 5 4 参考文献5 5 发表论文5 7 i v 南京邮电大学硕士研究生学位论文第一章绪论 1 1 研究背景 第一章绪论 互联网资源和计算能力的分布式共享是近年来国内外互联网界具有重要意义的研究 课题。在互联网上，计算资源的利用率一直处于一种不平衡的状态。某些应用需要大量的 计算和存储资源，而同时互联网上也存在大量处于闲置状态的计算设备和存储资源。另外， 随着数字技术和互联网的急速发展，特别是随着w e b 2 0 的发展，互联网上数据量高速增 长，也导致了互联网数据处理能力的相对不足。 目前，如何实现资源和计算能力的分布式共享以及应对当前互联网数据量高速增长的 势头，是目前互联网界亟待解决的问题。正是在这样一个发展背景下，云计算应运而生。 云计算i ll ( c l o u d c o m p u t i n g ) 是分布式计算( d i s t r i b u t e dc o m p u t i n g ) 、并行计算( p a r a l l e l c o m p u t i n g ) 和网格计算( g r i dc o m p u t i n g ) 、网络存储( n e t w o r ks t o r a g e ) 和大型数据中心 ( l a r g e s c a l ed a t ac e n t e r ) 的进一步发展和商业实现。 网格是把整个互联网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据 资源、信息资源和知识资源等的全面共享。这种计算模式是利用互联网将分散在不同地理 位置的计算机组织成一个虚拟的超级计算机。其中每一台参与计算的计算机就是一个节 点，而整个计算机系统由成千上万个节点组成“一张网格”，所以这种计算模式被称为网 格计算【2 】。 云计算包含了网格计算的基本涵义，但它还具有着一些网格计算所不具备的特点： ( 1 ) 网格计算是聚合分布资源，支持虚拟组织，提供高层次的服务，如分布协同科 学研究等。而云计算的资源相对集中，主要以数据中心的形式提供底层资源的使用，并不 强调虚拟组织。 ( 2 ) 网格计算用聚合资源来支持挑战性的应用，因为高性能计算的资源不够用，要 把分散的资源聚合起来；后来逐渐强调适应普遍的信息化应用。而云计算从一开始就支持 广泛的企业计算、w e b 应用等，普适性更强。 ( 3 ) 在对待异构性方面，二者理念上有所不同。网格计算用中间件屏蔽异构系统， 力图使用户面向统一的环境，中间件完成异构的集成工作。而云计算实际上承认异构，用 镜像执行，或者提供服务的机制来解决异构性的问题。当然，不同的云计算系统有不同的 实施策略，如g o o g l e 一般用比较专用的内部平台来支持。 ( 4 ) 网格计算用执行作业的形式使用，在一个阶段内完成作业产生的数据。而云计 l 查室塑皇奎兰堡主婴塞竺兰垡笙苎笙二童笪丝 算支持持久服务，用户可以利用云计算作为其部分i t 基础设施，实现业务的托管和外包 等工作。 ( 5 ) 网格计算更多地面向科研应用，商业模型不清晰。而云计算从诞生开始就是针 对企业商业应用，商业模型比较清晰。 综上所述，网格计算是把大的任务分割成小块给不同的资源去执行，而云计算则是整 合足够多的资源去执行一个大的任务。云计算将所有的计算资源集中起来，这些资源数量 庞大，分布性强，并且是动态变化的，那么，采用何种资源调度策略；对这些资源如何进 行组织和调度，解决资源的自动调节和负载均衡；资源分配的灵活性和按需分配如何实施 等问题，对于充分利用资源，发挥云计算的优势具有重要的意义。 1 2 研究现状 1 2 1 云计算的发展现状 云计算已经得到包括g o o g l e 、m i c r o s o f t 、i b m 、y a h o o 、a m a z o n 等软件厂商的重视， 各个软件厂商都在积极推进云计算的研究和应用，目前已经提出的云计算实施方案主要有 以下几种： ( 1 ) 亚马逊的弹性计算 云亚马逊( a m a z o n ) 公司是最早的云计算实践者之一。亚马逊公司在构建自身零售 平台时，使用了云计算的方法，将购物平台构建在其基础之上。a m a z o n 的云计算服务总 称为a m a z o nw e bs e r v i c e s ( a w s ，a m a z o nw e b 服务) ，它包括四种主要的服务：s i m p l e s t o r a g es e r v i c e ( s 3 ，一种简单的存储服务) ；e l a s t i cc o m p u t ec l o u d ( e c 2 ，弹性可扩展的 云计算服务器) ；s i m p l eq u e u i n gs e r v i c e ( s q s ，一种简单的消息队列) ；以及仍处在测试 阶段的s i m p l e d b ( s d b ，简单的数据库管理) 。 ( 2 ) g o o g l e 的云计算平台 g o o g l e 的云计算平台主要包括g o o g l e 针对云计算提出的大规模分布式计算的基础架 构，以及g o o g l e 在此基础之上构造的云计算应用服务程序。2 0 0 8 年4 月，g o o g l e 推出了 a p p e n g i n e 云计算平台。a p pe n g i n e 是一个由p y t h o n 应用服务器群、b i g t a b l e ( g o o g l e 的一个内部的数据库系统) 数据库访问及g f s ( g o o g l ef i l es y s t e m ，g o o g l e 文件系统) 数据储存服务组成的平台。它能为开发者提供一体化的主机服务器及可自动升级的在线应 用服务，由用户编写应用，g o o g l e 提供应用运行及维护所需要的一切平台资源。 2 南京邮电大学硕士研究生学位论文 第一章绪论 ( 3 ) i b m 的云计划 i b m 公司在与g o o g l e 的合作过程中，提出了自己对于云计算的理解以及相应的技术 解决方案。i b m 公司于2 0 0 7 年1 1 月1 5 日在上海宣布了蓝云“b l u ec l o u d ”计划【3 】，使公 司的数据中心能够按照互联网应用服务程序的形式进行组织，将计算能力分配到分布式全 局可以访问的资源组织中，而不是局限于本地的一些服务节点或者固定远端的服务器机群 中。在蓝云计划中采用了x e n 的系统级虚拟化方法，同时提供虚拟化的服务器以及物理 服务器的计算资源。 ( 4 ) 微软的“云端”策略 微软的云计算战略是“云端”的共存与互动，并提出了“软件十服务” ( s o f t w a r e + s e r v i c e ，s + s ) 业务模式，希望通过整合最优秀的软件和实时更新的服务，充 分发挥技术在选择性、适应性和功能性方面的价值。s o f t w a r e 主要指前端展现层，包括桌 面客户端( 如v i s t a 、o f f i c e 等) 和智能移动终端( 如w i n d o w sm o b i l e 等) ；s e r v i c e s 主要 是指后端数据模块，包括云计算服务( 如：w i n d o w sl i v e ) 和企业后端( 如b i z t a l k 等) 。 微软的l i v em e s h 是云计算及其l i v e 战略的最重要一步，目前正处于测试阶段，已推出 多个b e t a 版。l i v em e s h 可以称为“互联网上的w i n d o w s ”，它以“软件+ 服务”的方式将 计算机、手机和其他数字设备通过互联网整合起来，允许用户同步访问、共享或存储文件。 5 云安全发展 云安全【4 】也是云计算技术的重要组成部分。目前，大部分的杀毒软件公司如m c a f e e 、 p a n d a 、趋势科技、金山毒霸、3 6 0 安全卫士等都推出了云安全方案。如趋势科技的“云 安全”的模式是，用户在访问文件、打开邮件或访问网站的时候，在浏览器背后需要与“安 全云”进行一次交互，判断用户所访问的资源是否安全。这种模式与目前银行体系所采用 的信用模式极为类似。通过对文件、网页等资源信息进行信誉建模，然后对这些资源的信 誉评级来判定这些资源的安全性。尽管这个模式看起来很简单，但是要实现这些技术却并 非易事。一方面要对各种资源进行信誉建模，得出一套行之有效的安全评价体系，另外一 方面，还要求浏览器客户端在访问资源的时候，能够以最小的代价来获得资源安全评级的 信息。 1 2 2 网格计算环境中的资源调度 网格环境下任务调度的实质是将n 个相互独立的任务分配到m 个异构可用的资源上， 使得任务的总完成时间最小以及资源得到充分利用。资源调度是网格系统【5 1 的核心问题， 南京邮电大学硕士研究生学位论文 第一章绪论 也是网格资源管理中最困难的部分，它的困难性来自于网格计算本身的特性6 1 。网格计算 具有5 个基本特性如下： ( 1 ) 分布性 网格中的资源在地理上是分布的。在规模最大的全球网格中，资源分布在全世界。所 以网格无法采用集中式资源管理，只能采用完全分布的资源管理方式。 ( 2 ) 自主性 网格中资源的所有权和管理权是分散的。资源管理必须尊重资源所有者的自主权。网 格资源有自己的本地管理机构或处于本地管理机构的管理之下。网格管理系统必须尊重本 地管理者，遵循本地管理策略，不能随意替换本地管理系统。 ( 3 ) 异构性 网格中的资源通常是异构的。因为不同所有者很可能使用不同硬件、软件和管理策略。 网格中资源的种类繁多，功能各异，访问接口也不尽相同，本地管理系统不同，且共享规 则也不同。 ( 4 ) 动态性 网格资源的状态是不断变化的。资源本身通常不是专用于网格，还可能有非网格应用， 资源所在机器的负载情况难以预测。网格中的资源可以自由地加入或退出网格系统。网格 资源的可获得性和提供给网格用户的使用能力是随时间变化而动态变化的。 ( 5 ) 服务性 网格资源的服务最终都是由具体的资源所有者提供的。除了专门提供给网格用户使用 的那部分资源之外，大部分的资源都同时作为网格资源和资源所有者自己使用的本地资源 存在。网格用户在远程使用共享资源时，不能损害资源所有者和本地用户的利益。 网格资源的特点决定了网格资源管理机制7 ，8 1 应该具备的功能和特点，即要隐藏网格 资源的异构性，为用户提供统一的访问接口；又要屏蔽网格资源的动态性，保证提供给网 格用户的服务质量：还要遵循资源的本地管理机制和策略，使资源更好地为网格服务：以 及要仔细审查网格用户的请求，确保网格资源的安全和资源所有者的利益。 从不同的观察角度可把网格中资源调度策略按照不同的标准分类。一般将调度策略分 成如下三种： ( 1 ) 面向应用的调度策略。它是从特定任务的角度来衡量每个可能的调度方案，从中 选择最大程度满足特定任务要求的调度方案的调度策略。不同的任务可能有不同的要求， 一般的要求是尽量缩短任务执行时间，其他的要求包括，在使用计费资源时最小化费用 在多个资源可用的情况下优先使用某个资源等。目前大部分调度策略都属于这类，如 4 南京邮电大学硕士研究生学位论文第一荦绪论 l e g i o n 中使用的方法。这一类策略完全不考虑调度方案对整个系统的影响。如果网格中 只采用这一类的策略时，可能会使整个网格的性能受到一定影响。 ( 2 ) 面向系统的调度策略。它是从整个系统的角度来衡量每个可能的调度方案，从中 选择能最大程度提高整个系统性能的调度策略，如吞吐率、资源利用率、负载平衡等。值 得注意的是，在一个由许多管理域( a d m i n i s t r a t i o nd o m a i n ) 组成的，有多种任务的大规 模的网格中，如果把整个网格作为一个系统则它的性能将无法衡量。所以可以把网格在同 一个管理域中的部分作为一个系统，由域中的管理者来进行系统级的资源调度，即把整个 网格划分成多个系统，在每个系统内执行资源管理。在系统内采用面向系统的调度策略， 在客户端采取面向应用的调度策略能在一定程度上取长补短，同时兼顾应用任务和系统整 体的性能。 ( 3 ) 面向资源市场的调度策略。除了上述两类调度策略外，最主要的是面向“资源市场” 策略。这种调度策略由澳大利亚m o n a s h 大学的r a j k u m a rb u y y a 最早提出，它的主要思 想是：把网格环境和市场环境进行类比。用户作为买方，而资源的拥有者作为卖方，资源 调度的过程就是买卖双方的交易过程，并把经济学中的相关模型应用到网格资源调度过程 中，如拍卖模型、邮件广告模型等。 1 2 3 云计算环境中的资源调度 目前，云计算作业调度【9 】的相关研究不多，但是资源管理、作业调度和负载均衡问题 仍然是云计算厂商关注的关键问题。目前各个云厂商根据自己的基础设施架构而发展云计 算应用，还未形成统一的标准和规范约束，云计算的作业调度和资源管理模式呈现多样化。 ( 1 ) i b m 采用专用的资源监控代理和作业调度器来实现云计算中资源的管理与调度。 i b m 的蓝云架构采用t i v o l i 系列产品来完成云计算的资源检测、分配、作业调度和系统 负载均衡控制。 t i v o l ip r o v i s i o n i n gm a n a g e r 使用w e b s p h e r ea p p l i c a t i o ns e r v e r 呈现供应状态和数据中 心内资源的可用性、调度资源的供应及取消供应，并且可预订资源。由i b mt i v o l i m o n i t o r i n gs e r v e r 监控t i v o l ip r o v i s i o n i n gm a n a g e r 所提供的服务器的运行状况( c p u 、磁盘 和内存等) 。这种方式体现了目前云计算的通用管理模式，即虚拟化技术的支持，使得作 业调度过程简化，云计算的核心问题转移到对资源的虚拟化技术上。 ( 2 ) m a p r e d u c e 调度机制 云计算大部分采用m a p r e d u c e 的编程模式。现在大部分i t 厂商提出的云计划中采用 堕塞坚皇奎堂竺主堕窒竺兰垡笙塞笙二童笪堡 的编程模型，都是基于m a p r e d u c e 的思想开发的编程工具。m a p r e d u c e 不仅仅是一种 编程模型，同时也是一种高效的任务调度模型。在m a p r e d u e e 编程模式下，并发处理细 节、容错细节、数据分布细节、负载均衡等细节被抽象到一个函数库( 1 i b ) 中，通过 m a p r e d u c e 接1 2 1 ，用户可以把大尺度的计算自动的并发和分布执行。m a p r e d u c e 调度模 型如图1 1 所示。 分块0 分块1 分块2 分块3 分块4 一墩 写巾问文 r e d u c c 输入文件m a p 阶段件( 住率地阶段输出文件 图l lm a p r e d u c e 调度模型 m a s t e r 为主控程序，负责选择空闲的w o r k e r 为其分配m a p 、r e d u c e 任务，m a pw o r k e r 解析任务的k e y v a l u e 对，执行m a p 操作，将结果的k e y v a l u e 缓存在本地磁盘，并将地 址返回给m a s t e r ；r e d u c ew o r k e r 从m a s t e r 获得中间结果的k e y v a l u e 对地址，读取数据， 按k e y 进行排序和化简，返回结果给用户程序。 m a p r e d u c e 作为一种较为流行的云计算编程模型，在云计算系统中应用广阔，但是 基于它的开发工具h a d o o p 并不完善，特别是其调度算法过于简单，判断需要进行推测执 行的任务的算法造成了过多任务需要推测执行，降低了整个系统的性能。 云计算中利用虚拟化的技术，将所有的计算资源集中起来，这些资源数量庞大，并且 是动态变化的，采用何种资源调度策略，对这些资源进行组织和调度，实现资源的自动调 节和负载均衡，资源分配的灵活性和按需分配，对于充分利用资源，发挥云计算的特点具 有重要的意义。 6 南京邮电大学硕士研究生学位论文第一章绪论 1 3 本文的工作与组织结构 本文的主要研究工作有： ( 1 ) 介绍了云计算的研究背景和研究现状，讨论了网格计算环境和云计算环境中的 资源调度问题，并说明了它们之间的主要差别，指出了在云计算环境中需要解决的资源调 度问题。 ( 2 ) 在研究群体智能算法中的微粒群算法与模糊逻辑的基础上，针对云计算环境， 7 提出了一种异构网络环境下的资源搜索改进算法。该算法通过“簇中心”的引入，使其代 替群体历史最优值，来对微粒初期的运动进行引导；并在当前寻优效果进行评价的基础上， 结合对算法寻优效果的经验，引入了模糊逻辑，利用各个最优“簇中心”，从而实现微粒 群运动的自适应规划引导。 ( 3 ) 详细说明了改进后的微粒群算法的处理流程和实现方法。 ( 4 ) 通过仿真实验，将改进的微粒群算法与c l o u d s i m 中的最优时间调度算法进行了 比较分析，验证了本文改进的微粒群算法的正确性和有效性。 本文的组织结构如下： 第一章论述了本文的研究工作的背景和研究现状，并对本文的工作内容和组织结构作 出了说明。 第二章讨论了云计算及相关技术。说明了云计算的概念、特征、体系结构及其与其他 相关技术的异同之处。 第三章详细讨论了微粒群算法和模糊逻辑，包括微粒群算法的起源、基本原理、参数 分析及算法的流程，以及模糊逻辑的定义和模糊系统的构成。 第四章在分析了云计算系统中任务分配与资源调度的基本原则基础上，提出了一种云 计算环境下的资源搜索改进算法。详细说明了改进后的微粒群算法的处理流程和实现方 法。 第五章给出了改进的微粒群算法的仿真实验。实验结果数据表明，本文改进的微粒 群算法是正确性的和有效性的，基于改进的微粒群算法调度策略比基于最优时间算法调度 策略具有更好的性能。 第六章总结了本文的研究工作，展望了下一步的工作方向。 南京邮电人学硕士研究生学位论文第二章云计算的相关技术 第二章云计算的相关技术 2 1 云计算的产生背景 在w e b 2 0 环境下，互联网所需要处理的业务量快速增长。除了传统的门户网站外， 社会媒体网站提供了越来越多的互联网服务，如视频在线、图像共享和社交网站等，这些 服务需要处理大量的数据。移动宽带网络和移动智能终端的普及也使越来越多的移动设备 接入互联网，给互联网系统带来了更多的负载。同时，数据中心建设和维护的成本在不断 上升，如硬件的购买、管理以及能源的消耗等。如何处理海量的数据与服务，有效地为用 户提供方便、快捷的网络服务，已成为互联网当前发展面临的一个重要问题。 网络学习也面临着类似的问题，学习者对信息获取和服务的要求在不断增长，移动学 习和泛在学习的发展进一步提出了更高的数据和服务要求。同时，学校和教育机构的网络 中心和教育技术中心的软硬件建设和维护成本在不断上升。如何在有效的成本投资下最大 程度地满足学习对海量数据和服务的要求，成为网络学习中逐渐引起关注的热点问题。 在这种背景下，基于分布式计算【1 0 】，特别是网格技术的发展，产生了一种新型服务 计算模型：云计算。云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算平台 的核心技术。它以用户为中心，提供安全、快速、便捷的数据存储和网络服务，使互联网 成为每一个用户的数据中心和计算中心，使用户从以桌面为核心使用各项应用转移到以 w e b 为核心进行各种活动。 什么是云计算? 每个人都可以有自己的看法。云计算可以是租用一台服务器或一千台 服务器并在目前世界上最强大的系统上运行地球物理建模等应用程序的能力。云计算也可 以是租用一个虚拟服务器、在其上面加载软件、随意打开和关闭该虚拟服务器或克隆该服 务器n 次以满足突发工作负荷需求的能力，并且能够根据不断变化的工作负荷自动调整。 云计算可以运用存储云( s t o r a g ec l o u d ) 来保存应用程序、企业和个人数据，而且这些数 据只允许授权的应用程序和用户进行访问。云计算还可以在互联网上通过服务云( s e r v i c e c l o u d ) 提供各类应用服务。 目前，对于云计算的认识仍在不断的发展变化，虽然还没有一致的定义，但是我们可 以认为：云计算( c l o u dc o m p u t i n g ) 是分布式处理( d i s t r i b u t e dc o m p u t i n g ) 、并行处理 ( p a r a l l e lc o m p u t i n g ) 和网格计算( g r i dc o m p u t i n g ) 、网络存储( n e t w o r ks t o r a g e ) 和大 型数据中心( l a r g e s c a l ed a t ac e n t e r ) 的进一步发展和商业实现【l 】。云计算的最终目的就 r 塑塞些鱼奎堂堡圭望! 塑生堂垡堡苎星三童墨笪簦堕塑鲞丝查 是将计算作为一种公共设施( u t i l i t y ) 提供给大家，使人们能够像使用水、电、煤气和电 话那样使用计算资源。云计算是一种新型计算模型，也是种新型的共享基础架构方法。 一般讲，云计算6 个关键的特征是：以用户为中心的、以任务为中心的、强大的、易于访 问的、智能的、以及可编程的。 云计算借用了量子物理中的“电子云”( e l e c t r o nc l o u d ) 思想，强调说明计算的弥漫 性、无所不在的分布性和社会性特征。“云”是指计算机群，每一群可能包括了几十万台、 甚至上百万台计算机，是数据存储和应用服务的中心，用来完成存储和计算的工作，“云” 中的计算机可以随时更新，并且这种更新是透明的。目前主要的i t 厂商，如o o o g l e 、 m i c r o s o f t 、i b m 、y a h o o 、a m a z o n 等都在推出自己的云计算产品与平台。 在云计算中，用户所处理的数据并不存储在本地，而是保存在互联网上的数据中心， 用户所需的应用程序并不运行在用户的个人电脑、手机等终端设备上，而是运行在互联网 上大规模的服务器集群中。提供云计算服务的企业负责管理和维护这些数据中心的正常运 作，为用户提供足够强大的存储空间和计算能力。用户只需能够接入互联网，就可以通过 电脑、手机等终端设备，在任何地点方便、快捷地使用数据和服务，而不需关心存储或计 算发生在哪朵“云”上。云计算的基本架构如图2 1 所示。 图2 1 云计算的基本架构 9 堕塞堕! 垒奎兰堡主竺壅生堂垡堡苎笙三童墨生簦箜塑叁丝查 由此可见，云计算将改变传统以个人计算机为基础的生产模式，w e b 将成为交往 聚合与设备聚合的中枢，最终改变人们获取信息、分享内容和互相沟通的方式。 2 2 云计算的相关技术 从技术层面上考虑，可以认为云计算是虚拟化( v i r t u a l i z a t i o n ) 、效用计算( u t i l i t y c o m p u t i n g ) 、i a a s ( 基础设施即服务) 、p a a s ( 平台即服务) 、s a a s ( 软件即服务) 等概念的混合 演进并跃升的结果。 2 2 1 网格计算技术 网格( g r i d ) 一词来自于电力网( e l e e t r i cp o w e rg r i d ) ，网格的虽终目的是希望用户在 使用网格服务时，就如同使用电力一样方便。网格希望把整个互联网虚拟为一台超级计算 机，给使用者提供一种与地理位置无关，与具体计算设施无关的通用计算能力。网格计算 ( g r i dc o m p u t i n g ) 的概念最初是i - w a y 项目【1 1 1 于1 9 9 5 年提出的，其前身是元计算 ( m e t a c o m p u t i n g ) t 1 2 】的概念。 网格是把整个互联网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据 资源、信息资源和知识资源的全面共享。这种计算模式是利用互联网将分散在不同地理位 置的计算机组织成一个虚拟的超级计算机，其中每一台参与计算的计算机就是一个节点， 而整个计算机系统由成千上万个节点组成“一张网格”。所以这种计算模式被称为网格计 算，它具有如下的特点： ( 1 ) 分布和共享 分布性是网格的一个最主要特点。网格的分布性首先是指网格资源的分布性。组成网 格的是计算能力不同的计算机，各种类型的数据库乃至电子图书馆，以及其他的各种设备 与资源分布在地理位置不同的多个地方，而不是集中在一起的。这些资源的类型复杂，规 模较大，跨越的地理范围较广。这就决定了网格的计算一定是分布式计算而不是集中式计 算。在网格这一分布式环境下，需要解决资源与任务的分配和调度问题、安全传输与通信 问题、实时性保障问题、人与系统以及人与人之间的交互问题等。网格资源虽然是分布的， 但它们却是可以充分共享的。共享是网格的目的，没有共享便没有网格。解决分布资源的 共享问题，是网格的核心内容。分布是网格硬件在物理上的特征；而共享是在网格软件支 持下实现的逻辑特征，这两者对网格来说都是十分重要的。 ( 2 ) 自相似性 1 0 南京邮电大学硕士研究生学位论文第二章云计算的相关技术 网格的整体和局部之问存在着一定的相似性，局部往往在许多地方具有全局的某些特 征，而全局的特征在局部也有一定的体现。可以认为国家级网格是在省级的网格基础上 建造起来的，国家级主干网要有更大的带宽，只有这样才能把不同省份的子网格联接起来 提供满意的通信服务。国家级和省级网格都会有各自的计算中心，只不过在计算能力上有 差异而己，它们也都需要有管理节点，国家级的管理节点功能更多更强大。 ( 3 ) 动态性与多样性 网格并不是一成不变的。原来拥有的资源或者功能，在下一时刻就可能出现故障或不 可用，而原来没有的资源，可能随着时间的推移会不断加入进来。网格的动态性反映在动 态增加和动态减少两个方面。网格资源是异构的和多样的。在网格环境中可以有不同体系 结构的计算机。网格计算环境下资源管理的研究设计到不同类别的资源，因此网格系统必 须能够解决这些不同结构、不同类别资源之间的通信和互操作等问题。 ( 3 ) 自治性与管理的多重性 网格上的资源首先是属于某个组织或者个人的，因此网格资源的拥有者对该资源拥有 最高级别的管理权限。网格允许资源拥有者对他的资源有自主的管理能力，这就是网格的 自治性。但是网格资源也必须接收网格的统一管理，否则不同的资源就无法建立相互之间 的联系，无法实现共享和互操作，无法作为一个整体为更多的用户提供服务。因此网格的 管理具有多重性，一方面网格资源拥有者对其网格资源具有自主性的管理，另一方面又要 求所有网格资源接受网格的统一管理。 云计算与网格计算两者有许多相似之处，都希望利用大量的联网计算机，构建出强大 的计算能力。云计算环境可通过快速提供物理的和虚拟的服务器来支持网格计算。同时， 云计算也支持非网格环境，如标准的三层w e b 架构或w e b 2 0 应用。两者之间的