云计算--介绍PPT课件.ppt

云计算及免疫调度算法研究 制作人 杨晓飞学号 M100786QQ 296754711E mail yang xf 1 计算模式分合演义 主机系统与集中计算大型主机的一个特点就是资源集中 计算 存储集中 这是集中计算模式的典型代表 效用计算关键技术是自愿使用计量 它保证了按使用付费的准确性 个人计算机与桌面计算 分布式计算 网络的出现网格计算可以说 网格计算是超级计算机和集群计算机的延伸 其核心还是试图去解决一个巨大的单一的计算问题SaaS 通过Internet来提供软件 2 大纲 一 云计算1 起源和定义2 相关比较3 应用案例二 相关免疫调度算法应用1 免疫算法简介1 分布式2 网格3 对等网络三 云计算中的免疫调度研究参考文献 3 一 云计算1 起源和定义 全世界只需要5台电脑就足够了 托马斯 沃森 无论对谁来说 640K内存都足够了 比尔 盖茨 计算模式发展历史纵观计算模式的演变历史 基本可总结为 集中分散集中其发展历史如下图所示 4 云计算发展历程 2006年亚马逊 Anmzon 推出了弹性计算云 ElasticComputerCloudES2 服务2007年 Sun公司推出了移动数据中心SunBhckbox2007年11月 IBM宣布了 蓝云 计划2008年4月 google开放googleappengine平台2009年 思科先后发布统一计算系统 UCS 云计算服务平台 并与EMC Vmware建立虚拟计算环境联盟 2009年7月 中国首个企业云计算平台 中化企业云计算平台 诞生2010年1月 微软公司正式发布WindowsAzure云平台服务2010年4月 Dell推出源于DCS部门设计的PowerEdgeC系列云计算服务器及相关服务 2010年5月 中国电信正式启动星云计划 目前已在4个城市开展云计算现场试验 5 云计算 云计算到底是什么 许多人对云计算的理解就如同盲人摸象 6 云计算 CloudComputing 是一种新型的计算模式 Sun公司最早提出了 网络就是计算机 的理念 算是对云计算的一个最初描述和定义 也表明了Sun公司的远见 5 在这种模式中 应用 数据和IT资源以服务的方式通过网络提供给用户使用 描述云计算是一种有大规模商业驱动的计算模式 它能够根据外部用户需求 从一个抽象的虚拟的可动态增长的资源池中动态地提供用户需求的计算能力 存储能力和服务等其他请求 云是一组数量众多的 互联到一起的计算机 这些计算机可以是个人电脑或网络服务器 它们可以是公共或私有的 4 7 云计算 超越桌面 在云时代 程序和数据一切托管在一个云状的 可通过因特网访问的 有个人计算机和服务器构成的集合中 不再受到桌面的限制 从计算机方式来说 云计算的出现相当于一个世纪以前的电力革命 从公用企业购买电力 其价格比他们自己生产更低 可靠性更高 8 云计算通过将物理资源转换成可伸缩的虚拟共享资源 使得企业能够将资源分配到需要资源的应用上 即根据需求来访问资源 计算机处理器和存储系统等 之所以称为 云 是因为它在某些方面具有云的特征 云一般都较大 云的规模可以动态伸缩 它的边界是模糊的 云在空中飘忽不定 你无法也无需确定它的具体位置 但它确实存在于某处 之所以称为 云 还因为云计算的鼻祖之一亚玛逊公司将曾经大家称作为网格计算的东西 取了一个新名称 弹性计算云 EC2 并取得了商业上的成功 通过云计算 用户可以访问大量的计算和存储资源 并且不需要了解服务器在哪里 不用关心内部如何运作 通过高速互联网就可以透明地使用各种资源 9 云计算并不是一个单独的服务 而是一个服务集合 根据其服务集合所提供的服务类型 整个云计算服务集合被划分成4个层次 应用层 平台层 基础设施层和虚拟化层 这些层定义了提供的服务的级别 每一层都对应着一个子服务集合 为云计算服务层次如下图所示 云计算的层次及服务 10 相关云产品 在云计算服务体系结构中各层次与相关云产品对应 应用层对应SaaS软件即服务如 GoogleAPPS SoftWare Services 平台层对应PaaS平台即服务如 IBMITFactory GoogleAPPEngine F 基础设施层对应IaaS基础设施即服务如 AmazonEc2 IBMBlueCloud SunGrid 虚拟化层对应硬件即服务结合Paas提供硬件服务 包括服务器集群及硬件检测等服务 11 云系统的结构 由下图可以看出 云计算是一种生产者 消费者模型 云计算系统采用以太网等快速网络将若干集群连接在一起 用户通过因特网获取云计算系统提供的各种数据处理服务 云计算的系统结构 12 三 应用案例 GoogleAppsGoogleDocs 将文档存储在Google的服务器上 而不是自己的电脑上 GoogleGmail 当用户需求激增 Google的云计算系统会自动为Gmail增加容量和处理器的数量 而无需人工干预 依赖云计算 谷歌能以几乎可以忽略不计的成本增加新的服务如果新增的服务失败了 那没关系 关掉并且忘掉它就可以 如果成功了 系统会自动为它增加空间和处理能力 IBM合资与Google建立数据中心 支持向卡耐基 梅隆大学 麻省理工大学 斯坦福大学 加州大学伯克莱分校 马里兰州大学和华盛顿大学等6所大学的计算机科学研究者提供资金与设备 推动云计算的研究 IBM有着得天独厚的优势 应用服务器 存储 管理软件 样样具备 IBM通过向客户出售云计算方案与终端 协助企业建立属于自己的云计算模型的数据中心 13 云的案例 Windowslive面对Google的挑战 微软试图以WindowsLive为基础 联结起数以亿计的Windows用户 并向他们提供云计算 在线存储是微软迈出的关键一步 比尔 盖茨在2007年夏天说 当你想到存储 就会想到WindowsLive Amazon 弹性计算云 服务企业可以以极低的成本投入获得极高的计算能力 不用再投资购买昂贵的硬件设备 负担频繁的保养与升级 云计算的妙处之一 即是按需分配的计算方式能够充分发挥大型计算机群的性能 如果你只需使用5 的资源 就只需要付出5 的价格 而不必像以前那样 为100 的设备买单 14 云的价值 云计算的本质就是通过整合 共享和动态的提供资源来实现IT投资利用率的最大化 它包括了新投资的资源和已投资的资源 因此 实施云计算不需要舍弃原有的IT基础设施资源 云计算的实施不仅可以利用已有的IT基础设施资源 而且云计算可以高效地监控管理IT基础设施资源 因此 实施云计算将使资源更容易被充分利用 云计算的按使用量付费的经济模式 特别是云计算的弹性 能够使企业快速应对市场变化 15 三 相关比较 云计算的服务层次是根据服务类型即服务集合来划分 与大家熟悉的计算机网络体系结构中层次的划分不同 计算机网络分为七层结构 物理层 数据链路层 网络层 传输层 会话层 表示层 应用层 每个层次都实现一定的功能 层与层之间有一定关联 云计算体系结构中的层次是可以分割的 即某一层次可以单独完成一项用户的请求而不需要其他层次为其提供必要的服务和支持 16 云计算由网格计算演变而来 并将网格计算作为其骨干和基本结构 可以说 云计算是网格计算的一种更高级的形式但是 这两者之间在现实中存在着巨大的区别如图所示 具体可以参见文献 5 云计算与网格计算 17 云计算与网格计算的层次比较 网格计算分别在五层体系框架上提供不同的协议和服务 在基础架构层 网络提供对不同资源的接入控制 例如计算资源 存储资源 网络资源等 网格计算通常依赖于已存在的组件 如本地资源管理等 构造层包括原始的硬件级资源 如计算资源 存储资源 网络资源等 虚拟资源层包括虚拟化和抽象化的资源 呈现给用户和上集成的资源形式 平台层即所谓的管理中间件 提供用户管理 安全管理 资源管理 映像部署等 应用层提供运行在云上的应用和服务 云计算可向用户提供三种级别的服务 即SaaS PaaS IaaS 8 网格协议体系结构 云计算体系结构 18 云计算与Web2 0 云计算是通过其基础架构和基础设施 互联的计算机 服务器构成的作为一个整体运行的网络 来定义的 web2 0是通过使用者如何看待系统 使用系统提供的服务来定义的 换言之 云计算是关于计算机的 而web2 0是关于人的 云计算专指将因特网作为一个计算平台使用 web2 0试图探究和解释该平台的业务规则 Web2 0的普及需要云计算的帮助 尤其是在Web2 0服务几何级增长的今天 云计算的发展如果跟不上 肯定是不行的 在云计算时代 如何更顺畅地把应用交付到用户 以保证用户良好的体验 对于Web2 0服务商来说 是必须要考虑的一个问题 可以这样说 云计算的发展和Web2 0的发展将是息息相关的 两者相互推动的力量是巨大的 19 几种计算体系的关系 左侧的超级计算和集群计算主要设计目标是解决大型的具体的计算问题 中间是网格 其与云计算有一定的交集 起源于左侧 右侧的云计算是以提供服务为目的 是从网格计算演化过来的 网格计算为其提供了基本的框架支持 10 IanFoster眼中的计算体系关系 20 云计算的担忧 下一个互联网泡沫企业数据的安全杀手低成本面具下的阴谋企业IT人员的潜在杀手其实 这样的担忧不难理解 云计算是一种全新的商业模式 并无章法可循 任一项新技术 从模糊的概念发展成为一个完整的朝阳产业 都会经历一个复杂的 蜕变 过程 所谓好事多磨 雾里看花 并不能抹杀花之美 21 二 免疫算法的调度 1 免疫算法介绍 22 免疫算法的产生 生物免疫系统是一个高度进化 复杂的功能系统 当生物遭遇不同的抗原侵入时 其自身能快速的识别抗原 并产生相应的抗体 生物体中的抗原和抗体之间 抗体和抗体之间的相互作用 构成了生物系统的免疫平衡 人们借鉴生物免疫系统的学习 记忆和自适应调节的能力 形成了一种模拟免疫系统智能行为的仿生算法 免疫算法IA immunealgorithm 23 一般的免疫算法可分为三种情况 模仿免疫系统抗体与抗原识别 结合抗体产生过程而抽象出来的免疫算法 基于免疫系统中的其他特殊机制抽象出的算法 例如克隆选择算法 与遗传算法等其他计算智能融合产生的新算法 例如免疫遗传算法 24 免疫系统的作用关系如下图所示 记忆细胞获取 克隆选择 细胞克隆 亲和突变 克隆抑制 动态平衡维持 抗原 刺激应答 清除 25 免疫系统与一般免疫算法之间的比较 抗原 要解决的问题抗体 最佳解向量抗原识别 问题识别从记忆细胞产生抗体 联想过去的成功淋巴细胞分化 优良解 记忆 的保持细胞抑制 剩余候选解的消除抗体增加 细胞克隆 利用遗传算子产生新抗体 26 免疫算法的工作原理如图所示 记忆细胞演化 抗原识别及参数确定 募集新成员 编码及初始抗体群 克隆选择 亲和突发 细胞克隆 克隆抑制 免疫选择 满足终止条件 输出结果 满足 不满足 27 免疫算法的一般步骤 Y N 28 基于抗体克隆选择学说和免疫网络学说的一般免疫算法框架 1 输入抗原 说明 一般将目标函数和各种约束作为算法的抗原 2 产生初始抗体 说明 再接空间中用随机的方法产生 3 当不满足终止条件 通过限定迭代次数或在连续若干次的迭代中的最好解都无法改善 以及二者的混合形式作为终止条件 时 重复执行下列步骤 3 1计算亲和度 3 2更新记忆单元 3 3促进或抑制新抗体产生 3 4产生新抗体 4 输出计算结果 29 1 识别抗原 免疫系统确认抗原入侵 2 产生初始抗体群体 激活记忆细胞产生抗体 清除以前出现过的抗原 从包含最优抗体 最优解 的数据库中选择出来一些抗体 3 计算亲和力 计算抗体和抗原之间的亲和力 4 记忆细胞分化 与抗原有最大亲和力的抗体加给记忆细胞 由于记忆细胞数目有限 新产生的与抗原具有更高亲和力的抗体替换较低亲和力的抗体 5 抗体促进和抑制 高亲和力抗体受到促进 高密度抗体受到抑制 通常通过计算抗体存活的期望值来实施 6 抗体产生 对未知抗原的响应 产生新淋巴细胞 30 免疫算法中的亲和力计算方法 免疫算法中最复杂的计算是亲和力计算 由于产生于确定克隆类型的抗体分子独特型是一样的 抗原与抗体的亲和力也是抗体与抗体的亲和力的测量 一般计算亲和力的公式 其中 tk是抗原和抗体k的结合强度 31 免疫算子 同生命科学中的免疫理论类似 免疫算子也分两种类型 全免疫和目标免疫 二者分别对应于生命科学中的非特异性免疫和特异性免疫 其中 全免疫是指群体中每个个体在变异操作后 对其每一环节都进行一次免疫操作的免疫类型 目标免疫则指个体在进行变异操作后 经过一定判断 个体仅在作用点处发生免疫反应的一种类型 前者主要应用于个体进化的初始阶段 而在进化过程中基本上不发生作用 否则将很有可能产生通常意义上所说的 同化现象 后者一般而言将伴随群体进化的全部过程 也是免疫操作的一个常用算子 免疫算子是由接种疫苗和免疫选择两部分操作构成的 32 免疫算法流程 随机产生初始父代种群A1 根据先验知识抽取疫苗 若当前群体中包含最佳个体 则算法停止运行并输出结果 否则继续 对于目前的第k代父本种群Ak进行交叉操作 得到种群Bk 对Bk进行变异操作 得到种群Ck 对Ck进行接种疫苗操作 得到种群Dk 对Dk进行免疫选择操作 得到新一代父本Ak 1 转至 其中接种疫苗是为了提高适应度 免疫选择则为了防止群体的退化 免疫算法流程图 33 免疫算法是概率1收敛的 算法收敛是指当算法迭代到足够多的次数以后 群体中包含全局最佳个体的概率接近于1 这种定义即为通常所说的概率1收敛 免疫算法的收敛性 34 免疫算法的应用对象 免疫算法的应用对象主要是针对一些难度随规模扩大而迅速增大的问题 这类问题的特点是在规模较小时 问题一般易于求解或者说易于发现其局部条件下的求解规律 针对这一类问题选取疫苗时 可以推广到一般问题 既可以根据问题的特征信息来制作免疫疫苗 也可以在具体分析的基础上 考虑降低原问题的规模 增设一些局部条件来简化问题 这种简化后的问题求解规律就可做为选取疫苗的一种途径 不过在实际的选取过程中 应考虑到 一方面 原问题局域化处理越彻底 局部条件下的求解规律就越明显 这虽然易于获取疫苗 但寻找所有这种疫苗的计算量会显著增加 另一方面 每一个疫苗都是利用某一局部信息来探求全局最优解 即估计该解在某一分量上的模式 所以没有必要对每个疫苗做到精确无误 因此一般可以根据对原问题局域化处理的具体情况 选用目前通用的一些迭代优化算法来提取疫苗 35 2 2分布式中应用 分布式系统作为计算机领域的研究热点之一 近年来受到了广泛的关注 其中的任务调度问题 对发挥系统的并行性能和保持负载平衡具有重大意义 任务调度问题是指根据一定的调度策略 把一组并行处理的任务按规定的时序分配到系统的多个处理机节点上 以期获得较好的系统执行性能 由于该问题不能在多项式时间内求得最优解 因而被公认为一个NP完全问题 对于NP完全问题 近年来兴起的遗传算法 GA GeneticAlgorit 是一个较好的解决方案 即在较短的时间内能找到较好的解 因此许多研究分布式系统的专家开始关注遗传算法的研究 该算法在解决大空间 非线性 全局寻优等复杂问题时具有传统方法所不具备的独特优势 分布式系统中的任务调度问题及遗传算法应用研究 36 2 3网格中应用 研究了网格环境下任务调度问题 提出了一个任务调度机制 基于任务图将每一个可能的任务调度方案表示成一个任务 资源分配图 将网格任务调度问题转化为任务 资源分配图优化选取问题 提出了一种基于免疫遗传算法的 实现任务 资源分配图优化选取的任务调度算法 该算法将任务 资源分配图的最长路径作为抗原 每一个任务 资源分配图对应一个抗体 实验结果表明这个算法在全局优化能力及收敛速度上均有显著提高 基于免疫遗传算法的网格任务调度 37 2 4对等网络中应用 针对用于任务调度的遗传算法所存在的缺陷 提出了基于免疫算法的对等网络环境下的任务调度策略 首先定义了对等网络任务调度的相关问题 然后分别构造了考虑负载均衡和种群多样性的种群初始化算子和克隆选择算子 并设计了新颖的自适应变异算子和具有先验知识的疫苗 同时给出了对等网络节点的获取和管理策略 在此基础上 利用所提出的任务调度策略 完成了任务调度过程 实验结果验证了调度策略的有效性 基于免疫算法的对等网络任务调度 38 三 云计算中的免疫调度研究 在云计算中 带宽需要被充分利用 尽量为存储节点的数据资源分配本地的计算资源或邻近需求少的计算节点 免疫调度算法具有学习 识别 记忆和特征提供能力 该算法有利于云计算分配识别本地资源 提高带宽利用率 生物免疫系统是一个高度进化的生物系统 旨在区分外部有害抗原和自我组织 从而清除病原并保持有机体的稳定 从计算的角度来看 生物免疫系统是一个高度并行 分布 自适应和自组织的系统 具有很强的学习 识别 记忆和特征提取能力 将这些特点应用到调度问题中是非常有用的 39 作业调度与资源分配是云计算的两个关键技术 云计算的商业性使其关注对用户的服务质量 其虚拟化技术使得资源分配和作业调度不同于以往的并行分布式计算 扩展了Cloudsim云计算仿真平台 实现了本文提出的任务描述和基于伯格模型的