云计算期末考试总结【强烈推荐】

第一章什么是“新摩尔定律”？每18个月全世界新增的信息量是计算机的全部信息量的总和。云计算的特点是什么？(1)、超大规模(2)、虚拟化(3)、高可靠性(4)、通用性(5)、卓越的可扩展性、(6)、按需服务(7)、非常实惠云计算主要分为三类，具体取决于服务类型。基础架构作为服务(Iaas)、平台作为服务(Paas)和软件作为服务(SaaS)什么是Iaas？将基本资源(如硬件设备)封装到服务中，以便AWS的灵活计算云EC2和简单存储服务S3等用户使用。什么是Paas？在资源的抽象层次结构中更进一步，提供用户应用程序(如Google App Engine)的执行环境。什么是SaaS？Salesforce提供的在线客户关系管理将特定应用程序软件功能(如CRM服务)封装到服务中更有目标。云计算技术体系结构分为四层。物理资源层、资源池层、管理中间件层和SOA部署层(管理中间件层和资源池层是云计算技术最重要的部分)物理资源层包括计算机、存储、网络设施、数据库和软件。资源池层次结构是将许多相同类型的资源(如计算资源池、数据资源池等)组织成同构或接近同构的资源池。资源池部署需要更多的物理资源整合和管理工作。管理中间件层负责云计算的资源管理，安排大量应用程序任务，使资源能够高效安全地为应用程序提供服务。大数据具有4V 1C的特性。(1)、大量数据(2)、多样性(3)、快速(4)、低价值密度(5)、复杂性全球企业的IT开销分为：硬件开销、能源消耗和管理成本三部分。云计算的优点：云计算可以降低硬件和网络成本，降低管理成本和电源成本，提高资源利用率。云计算与大数据的关系：大数据是要求，云计算是手段。没有大数据，就不需要云计算。没有云计算，您无法处理大型数据。什么是云计算？长定义：云计算是业务计算模型。此外，计算任务分布在由大量计算机组成的资源池中，使各种应用程序系统可以根据需要利用计算能力、存储空间和信息服务。短定义：云计算是一种低成本计算服务，可通过网络动态扩展。云计算的管理中间件层：负责资源管理、任务管理、用户管理、安全管理等工作。资源管理：具有平衡使用云资源节点、检测节点故障、恢复或屏蔽它们以及监视资源使用情况的作用。作业管理：负责部署和管理用户作业映像、调度作业、管理作业、管理生命周期等应用用户或提交的作业。亚马逊云计算简述：AWS在全球率先提供灵活计算云EC2和简单服务存储服务S3，为企业提供计算和存储服务。亚马逊是最大的服务公司，谷歌是最大的云计算技术用户。第二章Google云计算技术包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁定服务Chubby、分布式结构化数据表Bigtable。当前主流分布式文件系统是什么？各有什么优缺点？答：RedHat的全局文件系统(GFS)、IBM的GPFS、Sun的Lustre等。优点和缺点：GFS在用低成本商品机器构建分布式文件系统的同时，将GFS的设计与Google应用程序的特征紧密结合，简化了实施，GFS将容错任务交给文件系统完成，利用软件的方法解决了系统可靠性问题，从而降低了存储成本。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度使用不同的容错功能，以确保数据存储安全，并确保提供无中断数据存储服务。IBM GPFS并行文件系统软件在设计上没有性能瓶颈，因此GPFS并行文件系统可以充分发挥硬件系统的性能。这意味着GPFS并行文件系统的性能完全取决于硬件配置的好坏，而文件系统软件本身对性能的影响微乎其微。IBM GPFS并行文件系统与其他并行文件系统的主要区别在于，GPFS不需要专用元数据(Meta Data)管理服务器，所有元数据都分布在磁盘阵列上，可以由所有I/o节点管理。此设计避免了并行文件系统中最有可能成为性能瓶颈的元素Meta Data Server。Lustre文件系统仅对元数据管理器MDS提供容错，而特定数据存储节点OST仅使用自身解决容错。例如，Lustre建议使用RAID技术或SAN存储区域网络来确保容错，但由于Lustre提供数据存储的容错功能，因此如果OST发生故障则无法恢复，这将显着提高对OST可靠性的要求，从而显着提高存储成本，成本可以随着增长线性增加GFS容错机制包括：1，主容错：Master存储GFS文件系统的三个元数据。(1)，命名空间，即整个文件系统的目录结构。(2)、Chunk和文件名的映射表(Chunk复制副本的位置信息，每个复制副本默认具有三个复制副本。前两个GFS通过活动日志提供容错功能。直接存储在每个chunk服务器上的第三种类型可以在主节点出现故障时快速恢复上面的元数据。GFS提供master remote的实时备份，以防止master完全死机。2，chunk服务器容错：GFS使用副本实现容错。如果相关的复制副本丢失或无法恢复，主节点会自动将复制副本复制到另一个Chunk Server。GFS将每个文件划分为多个Chunk。MapReduce与传统分布式编程相比的优势答：与传统的分布式编程相比，MapReduce封装并行处理、容错处理、本地化计算、负载平衡等详细信息，并提供简单而强大的界面。Chubby的设计目标主要是什么？Paxos算法在Chubby中的作用是什么？(1)、高可用性(2)、高可扩展性(3)、支持粗糙粒度的建议锁定服务(4)、服务信息的直接存储(5)、支持通知机制(6)，以及缓存机制支持。Chubby内部一致性问题实现使用Paxos算法什么是分布式结构化数据表Bigtable？Bigtable是Google开发的基于GFS和Chubby的分布式存储系统，必须实现(1)、广泛适用性(2)、强大的可扩展性(3)、高可用性(4)和简单性等目标Bigtable是：个分布式多维映射表。表中的数据通过行键、列键和时间戳进行索引。Chubby在Bigtable中主要扮演以下角色：(1)一次仅选择一个主服务器(主服务器)以确保(2)获取子表的位置信息(3)存储gtable模式信息和访问控制列表Bigtable主要由三部分组成：客户端库、一个主服务器和多个子表服务器在Paxos算法中，节点分为三种类型：Proposers、acceptors和learners。在此，proposers提交决议，acceptors批准该决议，learners获得并使用已经通过的决议。节点可以满足保持数据一致性的所有三个条件：(1)，只有由Proposers提交时才能批准决议，(2)一次只能批准一个决议，(3)只有在决议获得批准后，learners才能获得此决议。Bigtable性能优化：1、本地组2、压缩3、bloom过滤器GFS将整个系统的节点分类为哪些类型的角色？Client(客户端)、Master(主服务器)和Chunk Server(块服务器)。主节点是GFS的管理节点，逻辑上只有一个，是GFS文件系统的“大脑”，负责存储系统的元数据并管理整个文件系统。Chunk Server负责特定的存储任务。数据以文件形式存储的chunk服务器数可以是多个，其数量直接决定GFS的大小。GFS将文件拆分为固定大小。默认值为64MB，每个片段称为Chunk(块)，每个Chunk都有相应的索引号(Index)。GFS的特征是什么？1，采用中心服务器模型：GFS采用中心服务器模型管理整个文件系统，因此添加新的Chunk Server非常容易。2、不缓存数据：缓存机制是提高文件系统性能的重要手段，一般用途的文件系统通常需要实施复杂的缓存机制来提高性能。GFS文件系统不根据应用程序的特征实现缓存。因为GFS中的数据作为文件存储在Chunk Server上。3、在用户状态下实施4，仅提供专用接口什么是MapReduce？mapping Reduce(simple)是Google提出的软件体系结构，是处理大型数据集并行计算中使用的大量数据的并行编程模式。第三章AWS提供以下服务：灵活计算云EC2，简单存储服务S3，简单数据库服务simpldb，简单队列服务SQS，灵活MapReduce服务，内容推送服务，电子商务服务，FPS。增强的一致性散列算法的优点：减少数据分布不平衡的可能性。采用数据分区时，添加或删除设备节点时可能会发生小数据传输。以极小的数据传输成本，可以确保整个系统数据分布的平衡。向Dynamo添加新节点时，是否需要更改最初存储在每个节点上的数据？改变的话该怎么改变呢？必须改变；最初存储在旧节点上的部分数据将移植到新节点。存储在其他节点上的数据保持不变。同样，删除节点会将已删除节点中的数据迁移到相应的旧节点中，而不会影响其他节点。专用IP、公共IP和灵活IP之间有何区别？EC2的IP地址分为三类：专用IP、公共IP和灵活IP。创建EC2的实例时，将动态分配两个IP地址：专用和公共IP。专用IP地址与实例相对应，是通过动态主机配置协议(DHCP)分配创建的。公共IP地址和专用IP地址之间的网络地址转换(NAT)技术允许相互切换。公共IP对应于特定实例，持续存在，直到实例关闭或被灵活的IP地址替换，实例通过此公共IP地址与外部世界通信。每次启动实例时，公用IP都会更改。灵活的IP连接到用户帐户，通过NAT，可以转换专用IP而不是公用IP，并连接到EC2实例。地理区域和可用区域之间有何区别？AWS包括“区域”(Zone)、“区域”(Region Zone)和“可用区域”(Availability Zone)。地理区域根据实际地理位置进行划分。可用区域取决于是否有单独的电源和冷却系统，通常将每个数据中心视为一个可用区域。EC2系统包含多个地理区域，每个地理区域包含多个可用区域。Amazom云平台，SQS的目的和组件，其中“消息”的格式是什么？SQS(简单排队服务)是由Amazon设计和开发的，用于解决其云计算平台之间各种组件的通信。SQS包含三个主要部分：系统组件、队列和消息。系统组件是SQS的服务对象，SQS是组件之间通信的桥梁。组件具有双重角色，即消息的发送者或消息的接收者。消息格式：消息包含四部分：消息ID:系统返回给用户以标识队列中的其他消息。接收句柄：从消息中获取可用于执行操作(例如，从队列中接收消息时删除消息)的接收句柄。消息正文：请注意，消息不能存储文本数据并编码为URL。消息正文概要：消息正文字符串的MD5校验和。非关系数据库与传统关系数据库的区别1.数据模型关系数据库对数据具有严格的约束，包括数据之间的关系和数据的完整性。在非关系数据库的key-value存储格式中，key和value可以使用任何数据类型。2.数据处理：关系数据库在可扩展性方面存在很多问题，因为它满足CAP原则中的c和a，在p方面较弱。非相关数据库满足CAP原则中的a和p，而c则较弱，不能满足ACID要求。3.界面级别关系数据库以SQL语言访问数据，因此提供了强大的查询功能，并可以在各种关系数据库之间轻松迁移。非相关数据库通过API执行大部分数据库任务，支持简单的查询功能，迁移可能不正确，具体取决于数据库之间的API。总而言之，关系数据库具有高度的一致性，ACID方面的优势，可移植性高。但是可扩展性弱，只能通过提高服务的配置来提高处理能力。非关系数据库具有高度的可扩展性，允许您通过增加服务器数量不断扩大存储规模，同时处理能力强。但是，由于数据不一致，处理事务问题的能力下降，并且很难处理表间查询和服务器间查询。第四章Microsoft云计算平台由多少部分组成？各部分的作用是什么？当前版本的Windows Azure平台包含四个组件：(1)Windows Azure。位于云计算平台的底层，是Microsoft云计算技术的核心。Microsoft云计算操作系统，可在Microsoft数据中心服务器上运行应用程序存储和数据的Windows环境。(2)SQL Azure。云的关系数据库，云的基于SQL Azure的关系数据交付服务。(3)Windows Azure AppFabric。在基于云或本地系统上为应用程序提供基于云的的基础架构服务。云基础架构的部署和管理由AppFabric完成，开发人员要关心应用逻辑。(4)Windows Azure Marketplace。在云计算环境中购买数据和应用程序在线服务。Windows Azure存储服务提供了几种存储方法？说明每种存储方法的主要存储对象。答：Windows Azure存储服务目前主要提供四种主要数据存储结构。(1)Blob类型。Blob数据类型存储二