云计算及其关键技术报告

1、计 设 程 BF课程名称 新技术专题 题目名称_云计算及其关键技术 学生学院 计算机学院专业班级 学 号 3 学生姓名2009 年 12 月 20 日利用传统的桌面计算，你需要在自己所拥有的每台电脑上都运行一份软件程序。你所创 建的文档存放在创建他们的电脑上。利用云计算，你所使用的软件程序并不是运行在你的个 人电脑上，而是存放在能够通过因特网访问的服务器上。即使你的计算机崩溃了，该软件仍 然可以供其他人使用。本论文介绍了云计算的定义，云计算的特点，云计算的几种服务与相 应的应用，当前云计算的关键技术以及云计算带来的影响。关键词：云计算，Saas，GFS，分布式计算 TOC o 1-5 h z

2、绪论1 HYPERLINK l bookmark11 o Current Document 云计算22.1云计算定义2 HYPERLINK l bookmark18 o Current Document 2.2云计算的特点2 HYPERLINK l bookmark28 o Current Document 2.3云计算的服务层次3 HYPERLINK l bookmark34 o Current Document 2.4云计算的关键技术4结论5参考文献绪论计算机技术是近几十年来令传统的工业技术有了革命性的变化的关键技术， 因为有了计算机，人类文明进步的速度有了飞跃性的发展。但是，计算机技术的

3、 进步到当今为止，已到了相对成熟的阶段，其也不能带来像当初给工业时代带来 的那样巨大的变革。传统的计算机技术已经发展到了巅峰，就算超级计算机再厉 害，也有它的极限。因此，云计算的产生成为了一种必然。而它，也将会给当今 的信息时代带来革命性的变化。因为，全球的计算机将会成为一个整体。或许你 每次安装操作系统都会为驱动的安装，软件的安装，补丁的安装而忙上半天，而 且还很可能把重要的数据删除掉了。或许你会烦恼于这么大的数据移动而找不到 对应的移动存储设备。或许你会为三年要更换一次电脑而烦恼。这就是传统计算 机的局限性。传统计算机只能每台计算机都要有其操作系统，有其软件，都要防 止病毒和木马的入侵，都

4、要为其硬件装上对应的驱动，每台机器都要有相应的文 件，即便这文件在千百万台计算机都有。而云计算，云系统上只有一个文件而能 被世界上所有的人共享。当然这文件为了数据的安全性会保留相应的冗余备份， 但是相比起来对存储空间的节约是上百万倍的。软件已经不是一种应用程序，而 成为了一种服务。云系统上提供的都是服务。你不用再为升级主机烦恼了，这里 有无限大的处理性能，只要你购买。你不用再为安装系统烦恼了，这里已经有了 现成的系统以及最全面的软件。只要你购买相应的服务，云系统能为你做任何在 信息处理上所能做的事情。对于一般人来说，这或许会颠覆他们的大脑，没错， 这个就是革命性的技术。因为，我们购买的电脑不再

5、是那又笨又重的台式机，而 是一个显示设备。或许这个也不再需要，我们需要的只是一个能连上网的东西。 我们文件的移动不是用u盘，想共享数据只需要一个按键，而无论在哪，你那巨 大的文件库都伴在你左右。以前或许你想都没想过的东西会一个个呈现在你面前。 而传统的，将会成为过去，很可能那只是上年才新出来的技术。这个就是云计算 革命性的力量。云计算云计算定义狭义云计算狭义云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展 的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用， 随时扩展，按使用付费。这种特性

6、经常被称为像水电一样使用IT基础设施。广义云计算广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式 获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他 的服务。解释：这种资源池称为“云”(如图1，图2)。“云”是一些可以自我维护和管理 的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、 宽带资源等等。云计算将所有的计算资源集中起来，并由软件实现自动管理，无 需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己 的业务，有利于创新和降低成本。有人打了个比方：这就好比是从古老的单台发电机模式转向了电厂集中供电 的模式。它意

7、味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样， 取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念 的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、 IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进 并跃升的结果【1】。图1云计算结构图1riTVA* . . 4二一据集的*据金迁服务

8、服务抿供靖爵整用9 也去三序计慈K计痍利HO3KffiSIrFttM&-)图2云计算结构图22.2 云计算的特点云计算平台与传统应用模式相比，具有如下特点：（1）虚拟化技术现有的云计算平台的最大的特点是利用软件来实现硬件资源的虚拟化管理、 调度及应用。通过虚拟平台用户使用网络资源、计算资源、数据库资源、硬件资 源、存储资源等，与在自己的本地计算机上使用的感觉是一样的，相当于是在操 作自己的计算机，而在云计算中利用虚拟化技术可大大降低维护成本和提高资源 的利用率。（2）灵活定制在云计算时代，用户可以根据自己的需要或喜好定制相应的服务、应用及资 源，云计算平台可以按照用户的需求来部署相应的资源、计

9、算能力、服务及应用。 用户不必关心资源在哪里、如何部署，只需要把自己的需求告诉云，剩下的工作 就交给云了，云将返回用户定制的结果，当然用户也可以对定制的服务进行管理， 如退订或删除一些服务等。（3）动态可扩展性在云计算体系中，可以将服务器实时加入到现有服务器群中，提高云处理 能力，如果某计算节点出现故障，则通过相应策略抛弃掉该节点，并将其任务交 给别的节点，而在节点故障排除后可实时加入现有集群中。（4）高可靠性和安全性用户数据存储在服务器端，而应用程序在服务器端运行，计算由服务器端来 处理。所有的服务分布在不同的服务器上，如果什么地方（节点）出问题就终止 它，另外再启动一个程序或节点，即自动处

10、理失败节点，保证了应用和计算的正 常进行，而用户端不必备份，可以任意点恢复。在云计算服务器端提供了最可靠、最安全的数据存储中心，有全世界最专业 的团队管理信息，有全世界最先进的数据中心保存数据，严格的权限管理策略可 以帮助用户放心地与指定的人共享数据。另一方面数据被复制到多个服务器节点 上有多个副本（备份），存储在云里的数据即使意外删除或硬件崩溃都不会受到 影响。（5）高性价比云计算对用户端的硬件设备要求最低，使用起来也最方便，软件不用购买和 升级只需定制就可以了，而服务器端也可以用价格低廉的PC组成云，而计算能力 却可超过大型主机，而用户在软硬件维护和升级上的投入大大减少，（6）数据、软件在

11、 云端（服务器端）云计算模式下，用户的所有数据直接存储在云端，在需要的时候直接从云端 下载使用；用户使用的软件由服务商统一部署在云端运行，软件维护由服务商来 完成，当个人计算出现故障或崩溃，也不会影响该用户对其软件的试用，用户只 需要换个PC就可以继续自己的工作，包括文档实时编辑和协作开发等。（7）超强大的计算和存储能力用户可以在任何时间、任意地点，采用任何设备登录到云计算系统后就可以 进行计算服务；云计算云端由成千上万台甚至更多服务器组成的集群具有无限空 间、无限速度。2.3 云计算的服务层次在云计算中，根据其服务集合所提供的服务类型，整个云计算服务集合被划 分成4个层次：应用层、平台层、基

12、础设施层和虚拟化层。这4个层次每一层都 对应着一个子服务集合，如图3-3所示为云计算服务层次。应用层 vk 软件即服务平台层 v平台即服务基础设施层礴.爵基础设施即服务虚拟化层硬件即服务云计算四层模型云服务集合中的子服务图3云计算服务体系结构云计算的服务层次是根据服务类型即服务集合来划分，与大家熟悉的计算机 网络体系结构中层次的划分不同。在计算机网络中每个层次都实现一定的功能， 层与层之间有一定关联。而云计算体系结构中的层次是可以分割的，即某一层次 可以单独完成一项用户的请求而不需要其他层次为其提供必要的服务和支持。让我们来看一下一个公司能够利用云计算来开发自己的业务应用的不同方 法：软件即服

13、务软件即服务（SaaS）可能是最普遍的云服务开发类型。有了 SaaS，一个独立 的应用通过供应商的服务器交付给成千上万的使用者。客户不必为拥有软件而支 付费用，确切的说，他们支付使用费。用户通过web可以访问的API使用应用。供应商所服务的每一个组织都称之为一个租户，这种类型的安排称为多租户 架构。供应商的服务器被虚拟的划分成多个部分从而使得每个组织都可以利用定 制的应用实例进行工作。对客户而言，SaaS无需前期的服务器或软件许可投资。对应用开发者而言， 只需要为多个客户端维护一个应用。许多不同类型的公司都在利用SaaS模型开发应用。也许最为著名的SaaS应 用就是谷歌为自己的客户群所提供的应

14、用。平台即服务平台即服务（PaaS）是SaaS的一个变种，整个开发环境作为一个服务而提供。 开发者利用供应商开发环境中的“结构单元”来创建自己的客户应用。这在某种 程度上就像利用Legos构造应用，尽管最终应用在一定程度上受到可用代码块的 限制，但利用这些预定义的代码块，应用的构建变得更容易。 Web服务一个Web服务就是一个在网络上，通常是因特网上运行的应用。更典型的说 法是，一个Web服务就是一个能够通过因特网访问的API。用户所请求的服务运行 在远端系统上，后者充当服务的宿主。这种类型的Web API使得用户能够利用因特网上共享的功能，而不是提供自 己的完整的应用程序。这种做法的最终结果

15、是一个定制的、基于web的应用程序， 该程序的大部分由第三方提供，因而减轻了传统应用程序在开发和带宽方面的需 求。一个不错的web服务的例子就是谷歌地图API用户所创造的“整合应用”。 利用这些定制的应用程序，供应给地图的数据由开发者提供，而创造地图本身的 引擎则由谷歌提供。开发者无需编写代码或提供地图应用，他所要做的一切就是 连接到谷歌的Web API。正如你可能猜测的那样，Web服务的优点包括更快的（和更低成本的）应用开 发，更精简的应用和较少的存储和带宽需求。实际上，web服务使得开发者每次开发新应用的时候不必重复开发相同的功 能。利用来自web服务提供商的代码，他们在开发自己的应用的时

16、候更容易成功。按需计算顾名思义，按需（on-demand）计算将计算机资源（处理能力，存储等）打包 成类似公共设施的可计量的服务。在这一模式中，客户只需为他们所需的处理能 力和存储支付费用。那些具有很大的需求高峰并伴有低得多的正常使用期的公司特别受益于效用 计算。当然，该公司需要为高峰使用支付更多，但是，当高峰结束，正常使用模 式恢复时，他们的帐单会迅速下降。按需计算服务的客户端基本上将这些服务作为异地虚拟服务器来使用。无需 投资自己的物理基础设施，公司与云服务提供商之间执行现用现付的方案。按需计算本身并不是一个新概念，但它因云计算而获得新的生命。在过去的 岁月里，按需计算由一台服务器通过某种

17、分时方式而提供。今天，服务基于大型 的计算机网格，它作为一个独立的云运行在云计算服务体系结构中各层次与相关云产品对应：应用层对应 SaaS 软件即服务如：Google APPS、SoftWare+Services；平台层对应 PaaS 平台即服务如：IBM IT Factory、Google APPEngine、 F；基础设施层对应IaaS基础设施即服务如：Amazo Ec2、IBM Blue Cloud、Sun Grid；虚拟化层对应硬件即服务结合Paas提供硬件服务，包括服务器集群及硬件检 测等服务。下面介绍下Google的GoogleAPPS服务（谷歌应用引擎）谷歌是web应用的领导者，

18、因此它提供云开发服务一点也不奇怪。这些服务 以谷歌应用引擎的形式提供，它使得开发者能够利用谷歌强大的应用所依赖的相 同的基础设施来构建他们自己的web应用。谷歌应用引擎提供了一个完全集成的应用环境。利用谷歌的开发工具和计算 云，应用引擎应用易于构建，易于维护，易于扩展。所有你需要做的就是开发你 的应用（使用谷歌的API和Python编程语言）并把它上传到应用引擎云里，从那 里，它准备服务于用户。如同你所推测的那样，谷歌提供了一个健壮的云开发环境。它具有以下特征:动态Web服务通用web技术的全方位支持具有查询、分类和事务功能的持久存储自动扩展和负载均衡用于用户认证和利用谷歌账户发送电子邮件的A

19、PI此外，谷歌还提供了一个全功能的本地开发环境，能够在任何桌面计算机上 模拟谷歌应用引擎。关于谷歌产品的一件最好的事情就是：与其他大多数云托管解决方案不同， 谷歌应用引擎是完全免费使用一一不管怎么说，至少在基本层面如此。一个免费 的应用引擎账户可以使用多达500MB的存储和每个月足够支持500万页面浏览量 的CPU强度和带宽。如果你需要更多的存储，计算能力或容量，谷歌打算在不久 的将来提供额外的资源（收费）。2.4云计算的关键技术云计算是一种新型的超级计算方式，以数据为中心，是一种数据密集型的超 级计算。在数据存储、数据管理、编程模式等方面具有自身独特的技术。2.4.1数据存储技术以GFS为例

20、。GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文 件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。 GFS和普通的分布式文件系统有以下区别， 如表1所示：表1 GFS系统与传统文件系统的区别G F S传统分布式文件系统组件失败管理不作为Exc eption处理作为Exc eption处理文件大小少量大文件大量小文件数据写方式在文件末尾附加数据修改现存数据数据流和控制流数据流和控制流分开数据流和控制流结合GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有的 元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等GFS中 的

21、文件切分为64MB的块进行存储。在GFS文件系统中，采用冗余存储的方式来保 证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致 性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所 有备份处于一致的状态。客户端不通过Master读取数据，避免了大量读操作使 Master成为系统瓶颈。客户端从Master获取目标数据块的位置信息后，直接和块 服务器交互进行读操作。图4 GFS文件存储系统图系统在进行文件存储时先通过客户端连接管理节点，读取root.dat文件数据， 检验是否有该用户存在，并获取用户数据块文件所在节点的IP地址。通过读取 node.dat文件从

22、管理节点读取子节点的IP地址的列表，根据以上信息完成对数据 的分割，启动多线程函数同时连接各子节点将数据分别保存在各个节点上，最后 更新username表以备访问时重新找到文件的分布情况。uesername文件将被存储于某一节点上，管理节点会根据现有username文件的分布情况向用户分配一个节 点的IP地址存放username文件。2.4.2编程模型技术当前各IT厂商提出的“云”计划的编程工具均基于Map-Reduce的编程模型。 Map-Reduce是一种处理和产生大规模数据集的编程模型，程序员在Map函数中指 定对各分块数据的处理过程，在Reduce函数中指定如何对分块数据处理的中间结 果进行归约。图5 Map-Reduct处理流程图从图5可以看出，执行一个Map-Reduce程序需要五个步骤：输入文件、将文 件分配给多个worker并行地执行、写中间文件（本地写）、多个Reduceworkers 同时运行、输