云计算基础知识整理复习过程

1、1 .云计算是对（D）技术的发展与运用A.并行计算B网格计算C分布式计算D三个选项都是2 .IBM在2007年11月退出了“改进游戏规则”的（A）计算平台，为客户带来即买即用的云计算平台。A.蓝云B.蓝天C.ARUZED.EC23 .微软于2008年10月推出云计算操作系统是（C）A.GoogleAppEngineB.蓝云C.AzureD.EC24 .2008年，（A）先后在无锡和北京建立了两个云计算中心A.IBMB.GoogleC.AmazonD.微软5 .将平台作为服务的云计算服务类型是（B）A.IaaSB.PaaSC.SaaSD三个选项都不是6 .将基础设施作为服务的云计算服务类型是（A

2、）A.IaaSB.PaaSC.SaaSD.三个选项都不是7 .IaaS计算实现机制中，系统管理模块的核心功能是（A）A.负载均衡B监视节点的运行状态C应用APID.节点环境配置8 .云计算体系结构的（C）负责资源管理、任务管理用户管理和安全管理等工作A.物理资源层B.资源池层C.管理中间件层D.SOA构建层9 .云计算按照服务类型大致可分为以下类（A、B、C）A.IaaSB.PaaSC.SaaSD.效用计算10 .下列不属于Google云计算平台技术架构的是（D）A.并行数据处理MapReduceB.分布式锁ChubbyC.结构化数据表BigTableD.弹性云计算EC211 .在目前GFS集

3、群中，每个集群包含（B）个存储节点A.几百个B.几千个C.几十个D.几十万个12 .下列选项中，哪条不是GFS选择在用户态下实现的原因（D）A.调试简单B.不影响数据块服务器的稳定性C.降低实现难度，提高通用性D.容易扩展13 .GFS中主服务器节点存储的元数据包含这些信息（BCD）A.文件副本的位置信息B.命名空间C.Chunk与文件名的映射D.Chunk副本的位置信息14 .单一主服务器（Master）解决性能瓶颈的方法是（ABCD）A.减少其在数据存储中的参与程度B.不适用Master读取数据C.客户端缓存元数据D.采用大尺寸的数据块15 .（B）是Google提出的用于处理海量数据的并

4、行编程模式和大规模数据集的并行运算的软件架构。A.GFSB.MapReduceC.ChubbyD.BitTable16 .Mapreduce适用于（D）A.任意应用程序B.任意可在windowsservet2008上运行的程序C.可以串行处理的应用程序D.可以并行处理的应用程序17 .MapReduce通常把输入文件按照（C）MB来划分A.16B32C64D12818 .与传统的分布式程序设计相比，Mapreduce封装了（ABCD）等细节，还提供了一个简单而强大的接口。A.并行处理B.容错处理C.本地化计算D.负载均衡19 .（D）是Google的分布式数据存储于管理系统A.GFSB.Map

5、ReduceC.ChubbyD.Bigtable20 .在Bigtable中，（A）主要用来存储子表数据以及一些日志文件A.GFSB.ChubbyC.SSTableD.MapReduce21 .GoogleAPPEngine使用的数据库是（C）A.改进的SQLServerB.OrackC.DatestoreD.亚马逊的SimpleDB22 .GoogleAPPEngine目前支持的编程语言有（AD）A.Python语言B.C+语言C.汇编语言D.JAVA语言23 .亚马逊AWS采用（A）虚拟化技术A.未使用B.Hyper-VC.VmwareD.Xen24 .亚马逊将区域分为（AC）A地理区域B

6、不可用区域C可用区域D隔离区域25 .下面选项属于Amazon提供的云计算服务是（ABC）A.弹性云计算EC2B简单存储服务S3c简单队列服务SQSD.Net服务26 .不属于弹性计算云EC2包含的IP地址的是（C）A.公共IP地址B.私有IP地址C.隧道IP地址D.弹性IP地址27 .在EC2的安全与容错机制中，一个用户目前最多可以创建（B）安全组。A.50B.100C.150D.20028 .EC2常用的API包含下列哪些类型的操作（ABCD）A.AMIB.安全组C实例D弹性IP地址29 .S3的基本存储单元是（B）A.服务B.对象C.卷D.组30 .S3采用的专门安全措施是（AB）A.身

7、份认证B.访问控制列表C防火墙D防木马病毒技术31 .在云计算系统中，提供“云端”服务模式是（D）公司的云计算服务平台。A.IBMB.GOOGLEC.AmaxonD.微软32 .下列四种云计算方案中，服务间的耦合度最高的是（C）A.亚马逊AWSB.微软AZUREC.GoogleAPPEngineD.IBM的“蓝云”33 .云格可以完成的服务有（ABCD）A.数据处理服务B.格处理服务C.高性能计算服务D.协作服务34 .亚马逊AWS提供的云计算服务类型是（D）A.IaaSB.PaaSC.SaaSD.三个选项都是35 .Google文件系统将整个系统的节点分为（ABC）的角色A.客户端B.主服务

8、器C.数据块服务器D.监测服务器36 .Google文件系统具有（ABD）特点A.采用中心服务器模式B不缓存数据C.采用边缘服务器模式D在用户态下实现37 .Google不缓存数据的原因是（ABCD）A.OFS的文件操作大部门是流式读写；B.维护缓存与实际数据之间的一致性太复杂C.不存在大量的重复读写D.数据块服务器上的数据存取使用本地文件系统38 .从研究现状上看，下面不属于云计算特点的是（C）A.超大规模B.虚拟化C.私有化D.高可靠性39 .与网络计算相比，不属于云计算特征的是（B）A.资源高度共享B.适合紧耦合科学计算C.支持虚拟机D.适用于商业领域一，填空题（30分）云计算是以公开的

9、标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络计算服务，让互联网这片"云”成为每一个网民的数据中心和计算中心。对提供者而言，云计算可以三种部署模式，即公有云、私有云和混合云。当前，几乎所有的知名IT提供商、互联网提供商，甚至电信运营商都在向云计算进军，都在提供相关的云服务。但归纳起来，当前云提供者可以分为三大类，即SaaS提供商、PaaS和IaaS提供商。5.云计算（CloudComputing）:一种利用大规模低成本运算单元通过IP网络连接，以提供各种计算和存储服务的IT技术。二，选择题（可多选）（50分）1 .云计算的特点？（ABCDE）A.大规模B.平滑

10、扩展C资源共享D.动态分配E,跨地域2 .宝德存储云解决方案价值有哪些？（ABCD）A.海量小文件的高效管理B.PB级的存储空间和线行扩展能力C.可动态提升的性能D.数据高可靠性3 .目前，选用开源的虚拟化产品组建虚拟化平台，构建基于硬件的虚拟化层，可以选用（BCD）A.XenB.VMwareC.Hyper-vD.Citrix4 .在云计算中，虚拟层主要包括（ABC）A.服务器虚拟化B.存储虚拟化C.网络虚拟化D.桌面虚拟化7 .未来云计算服务面向那些客户？（ABCDE）A.个人B.企业C.政府D.教育E.研究所8 .云安全主要的考虑的关键技术有哪些？（ABC）A.数据安全B.应用安全C.虚拟

11、化安全D.服务器安全由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构，对读者了解云计算的原理构成了障碍。为此，本文综合不同厂家的方案，构造了一个供商榷的云计算体系结构。这个体系结构如图3所示，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。（网用使I1（服务涉珊暇曰言找第务访问（，华同田管理中向什身号认证访问授枚帐号管理赢环境配置而交互管理使用计费安全管理任务科呷映像部罟制管可任务调度蹄海防护安金审计r,物理里翻I计算机一存诸需河洛理他数据库111爵一k.图3云计算

12、技术体系结构云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层，如图3所示。物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗；管理中间件负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力圭拽成标准的WebServices服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找

13、、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象（Image）的部署和管理、任务调度、任务执行、任务生命期管理等等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授

14、权、综合防护和安全审计等。基于上述体系结构，本文以IaaS云计算为例，简述云计算的实现机制，如图4所示。用户交互接口向应用以WebServices方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。执行过程并不复杂：用户交互接口允许用户从目录中选取并调用一个服务。该请求传递给系统管理模块后，它将为用户分配恰当的资源，然后调用配置工具来为用户准备运行环境。HadoopHDFS特性简介一、设计思想1、硬件失效是“常态

15、事件"，而非“偶然事件”。HDFSM能是有上千的机器组成（文档中描述的Yahoo!一个Hadoop集群有4096个节点），任何一个组件都有可能一直失效，因此数据的健壮性错误检测和快速、自动的恢复是HDFS勺核心架构目标。2、流式数据访问。运行在HDFS±的应用和普通的应用不同，需要流式访问它们的数据集。HDFS勺设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据并发访问的高吞吐量。POSIX标准设置的很多硬性约束对HDF®用系统不是必需的。为了提高数据的吞吐量，在一些关键方面对POSIX的语义做了一些修改。3、HDFS应

16、用对文件要求的是write-one-read-many访问模型。一个文件经过创建、写，关闭之后就不需要改变。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。典型的如MapReduce框架，或者一个webcrawler应用都很适合这个模型。4、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好，HDF瞅供给应用这样的接口。5、在异构的软硬件平台间的可移植性。二、Namenode和Datanode的划分一个HDF跳群有一个Namenod/口一定数目的Datanod

17、e组成。NamenodeH一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中会有多个，一般是一个节点存在一个，负责管理其自身节点上它们附带的存储。在内部，一个大文件其分成一个或多个block,这些block存储在Datanode集合里。Namenode行文件系统的namespace相关操作，例如打开、关闭、重命名文件和目录，同时决定了block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。单一节点的Namenode大大简化了系统的架构。Namenode负责保管和管理所有的HDF初数据

18、，因而在请求Namenode导到文件的位置后就不需要通过Namenodei与而直接从Datanode进行。为了提高Namenode的性能，所有文件的namespace数据都在内存中维护，所以就天生存在了由于内存大小的限制导致一个HDF隙群的提供服务的文件数量的上限。根据目前的文档，一个元数据（一个HDFSC件块儿）占用200Bytes,如果是页面抓取的小文件，那么32GB内存能承载1.5亿左右的文件存储（有待精确详细测试）。三、文件系统操作和namespace的关系HDF豉持传统的层次型文件组织，与大多数其他文件系统类似，用户可以创建目录，并在其间创建、删除、移动和重命名文件。HDFM支持us

19、erquotas和访问权限，也不支持链接（link）,不过当前的架构并不排除实现这些特性。Namenodet护文件系统的namespace,任何对文件系统namespace和文件属性的修改都将被Namenode记录下来。应用可以设置HDFS呆存的文件的副本数目，文件副本的数目称为文件的replication因子，这个信息也是由NamenodeW：存。四、数据复制HDFSt设计成在一个大集群中可以跨机器地可靠地存储海量的文件。它将每个文件存储成block序列，除了最后一个block,所有的block都是同样的大小。文件的所有block为了容错都会被复制。每个文件的block大小和replicat

20、ion因子都是可配置的。Replication因子可以在文件创建的时候配置，以后也可以改变。HDFS中的文件是write-one,并且严格要求在任何时彳只有一个writer。Namenode权管理block的复制，它周期性地从集群中的每个Datanode接收心跳包和一个Blockreport。心跳包的接收表示该Datanode节点正常工作，而Blockreport包括了该Datanode上所有的block组成的列表。1、副本的存放，副本的存放是HDFS可靠性和性能的关键。庞大的HDFS例一般运行在多个机架的计算机形成的集群上，不同机架间的两台机器的通讯需要通过交换机，显然通常情况下，同一个机架

21、内的两个节点间的带宽会比不同机架间的两台机器的带宽大。在大多数，f#况下，replication因子是3,HDFS勺存放策略是将一个副本存放在本地机架上的节点，一个副本放在同一机架上的另一个节点，最后一个副本放在不同机架上的一个节点。机架的错误远远比节点的错误少，这个策略不会影响到数据的可靠性和有效性。三分之一的副本在一个节点上，三分之二在一个机架上，其他保存在剩下的机架中，这一策略改进了写的性能。2、副本的选择，为了降低整体的带宽消耗和读延时，HDFS尽量让reader读最近的副本。如果在reader的同一个机架上有一个副本，那么就读该副本。如果一个HDFSB群跨越多个数据中心，那么read

22、er也将首先尝试读本地数据中心的副本。3、SafeModeNamenode启动后会进入一个称为SafeMode的特殊状态，处在这个状态的Namenodel!不会进行数据块的复制的。Namenode从所有的Datanode接收心跳包和Blockreport。Blockreport包括了某个Datanode所有的数据块列表。每个block都有指定的最小数目的副本。当Namenode佥测确认某个Datanode的数据块副本的最小数目，那么该Datanode就会被认为是安全的；如果一定百分比（这个参数可配置）的数据块检测确认是安全的，那么Namenode各退出SafeMode状态，接下来它会确定还有哪

23、些数据块的副本没有达到指定数目，并将这些block复制到其他Datanode。五、文件系统元数据的持久化Namenode储HDFS勺元数据。对于任何对文件元数据产生修改的操作，Namenode都使用一个称为Editlog的事务日志记录下来。例如，在HDFS43创建一个文件，Namenode就会在Editlog中插入一条记录来表示；同样，修改文件的replication因子也将往Editlog插入一条记录。Namenode本地OS的文件系统中存储这个Editlog。整个文件系统的namespace,包才block到文件的映射、文件的属性，都存储在称为FsImage的文件中，这个文件也是放在Nam

24、enode所在系统的文件系统上。Namenode内存中保存着整个文件系统namespace和文件Blockmap的映像。这个关键的元数据设计得很紧凑，一般为200Bytes的内存占用，因而一个带有4G内存的Namenode足够支撑海量的文件和目录。当Namenode启动时，它从硬盘中读取Editlog和FsImage,将所有Editlog中的事务作用（apply）在内存中的FsImage,并将这个新版本的FsImage从内存中flush到硬盘上，然后再truncate这个旧的Editlog,因为这个旧的Editlog的事务都已经作用在FsImage上了。这个过程称为checkpoint。在当前

25、实现中，checkpoint只发生在Namenode启动时，在不久的将来我们将实现支持周期性的checkpoint。Datanode并不知道关于文件的任何东西，除了将文件中的数据保存在本地的文件系统上。它把每个HDF缴据块存储在本地文件系统上隔离的文件中。Datanode并不在同一个目录创建所有的文件，相反，它用启发式地方法来确定每个目录的最佳文件数目，并且在适当的时候创建子目录。在同一个目录创建所有的文件不是最优的选择，因为本地文件系统可能无法高效地在单一目录中支持大量的文件。当一个Datanode启动时，它扫描本地文件系统，对这些本地文件产生相应的一个所有HDF缴据块的列表，然后发送报告到

26、Namenode这个报告就是Blockreport。六、通讯协议所有的HDFS®讯协议都是构建在TCP/IP协议上。客户端通过一个可配置的端口连接到Namenode通过ClientProtocol与Namenode交互。而Datanode是使用DatanodeProtocol与Namenode交互。从ClientProtocol和Datanodeprotocol抽象出一个远程调用（RPC）,在设计上，Namenod环会主动发起RPC而是是响应来自客户端和Datanode的RPC青求。七、健壮性HDFS勺主要目标就是实现在失败情况下的数据存储可靠性。常见的三种失败：Namenodefa

27、ilures,Datanodefailures和网络分害U（networkpartitions）。1、硬盘数据错误、心跳检测和重新复制每个Datanode节点都向Namenode周期性地发送心跳包。网络切割可能导致一部分Datanode跟Namenode去联系。Namenode通过心跳包的缺失检测到这一情况，并将这些Datanode标记为dead,不会将新的IO请求发给它们。寄存在deadDatanode上的任何数据将不再有效。Datanode的死亡可能引起一些block的副本数目低于指定值，Namenod环断地跟踪需要复制的block,在任何需要的情况下启动复制。在下列情况可能需要重新复制：

28、某个Datanode节点失效，某个副本遭到损坏，Datanode上的硬盘错误，或者文件的replication因子增大。2、集群均衡HDF豉持数据的均衡计划，如果某个Datanode节点上的空闲空间低于特定的临界点，那么就会启动一个计划自动地将数据从一个Datanode搬移到空闲的Datanode。当对某个文件的请求突然增加，那么也可能启动一个计划创建该文件新的副本，并分布到集群中以满足应用的要求。这些均衡计划目前还没有实现。3、数据完整性从某个Datanode获取的数据块有可能是损坏的，这个损坏可能是由于Datanode的存储设备错误、网络错误或者软件bug造成的。HDF郎户端软件实现了HD

29、F敛件内容的校验和。当某个客户端创建一个新的HDFSC件，会计算这个文件每个block的校验和，并作为一个单独的隐藏文件保存这些校验和在同一个HDFSnamespace下。当客户端检索文件内容，它会确认从Datanode获取的数据跟相应的校验和文件中的校验和是否匹配，如果不匹配，客户端可以选择从其他Datanode获取该block的副本。4、元数据磁盘错误FsImage和Editlog是HDFS勺核心数据结构。这些文彳如果损坏了，整个HDFS例都将失效。因而，Namenode可以配置成支持维护多个FsImage和Editlog的拷贝。任何对FsImage或者Editlog的修改，者B将同步到它

30、们的副本上。这个同步操作可能会降低Namenode每秒能支持处理的namespace事务。这个代价是可以接受的，因为HDFSI1数据密集的，而非元数据密集。当Namenode重启的时候，它总是选取最近的一致的FsImage和Editlog使用。Namenod蕤HDFSI1单点存在，如果Namenode所在的机器错误，手工的干预是必须的。目前，在另一台机器上重启因故障而停止服务的Namenodea个功能还没实现。八、数据组织1、数据块兼容HDFS勺应用都是处理大数据集合的。这些应用都是写数据一次，读却是一次到多次，并且读的速度要满足流式读。HDF豉持文件的write-once,read-many

31、。一个典型的block大小是64MB因而，文件总是按照64M切分成chunk,每个chunk存储于不同的Datanode上。2、数据产生步骤某个客户端创建文件的请求其实并没有立即发给Namenode事实上，HDF哈户端会将文件数据缓存到本地的一个临时文件。应用的写被透明地重定向到这个临时文件。当这个临时文件累积的数据超过一个block的大小（默认64M）,客户端才会联系NamenodeNamenode将文件名插入文件系统的层次结构中，并且分配一个数据块给它，然后返回Datanode的标识符和目标数据块给客户端。客户端将本地临时文件flush到指定的Datanode上。当文件关闭时，在临时文件中剩余的没有flush的数据也会传输到指定的Datanode,然后客户端告诉Namenode文件已经关闭。此时Namenode才将文件创建操作提交到持久存储。如果N