云计算复习资料计算机并行计算-云计算

.-可修编-拟化技术的核心思想是利用软件或固件管理程序构成虚拟化层，把物rker读取并处理相关的输入块〔4〕缓冲到存的中间结果将被定拟化技术的核心思想是利用软件或固件管理程序构成虚拟化层，把物rker读取并处理相关的输入块〔4〕缓冲到存的中间结果将被定,Put,List,Delete,Head.-可修编-S3三ameNode节点，并使用ZooKeeper实现NameNo.管理、处理并提炼以帮助使用者决策。2.大数据具有4V+1C的特征〔4〕价值密度低：需要对大量的数据进展处理，挖掘其潜在的价值。〔5〕复杂度：对数据的处理和分析的难度大应用系统能根据需要获取计算力、存储空间和信息效劳。短定义：云计算是通过网络按需提供可动态伸缩的廉价计算效劳。4.云计算是并行计算、分布式计算和网络计算的开展。6.云计算按照效劳类型大致可分为三类云计算技术体系构造分为四层：物理资源层、资源池层、管理中间件层和SOA构建层〔1〕更低的硬件和网络本钱〔2〕更低的管理本钱和电力本钱〔3〕更高的资源利用率有核心技术的底层。3.GFS特点4.在效劳器失效经常发生的情况下,云计算数据存储技术需要采用容错机制和冗余机制来保证数据的可用性。〔2〕Chunk与文件名的映射表〔1〕大规模集群安装技术〔2〕故障检测技术〔3〕节点动态参加技术〔4〕节能技术〔1〕一个Map函数就是对一局部原始数据进展指定的操作〔2〕一个Reduce操作就是对每个Map所产生的中间结果进展合并操作.-可修编-三个关键组件：消息、队列、交换器AMQP三种不同类型的交换器Chunk与文件名的映射表〔三个关键组件：消息、队列、交换器AMQP三种不同类型的交换器Chunk与文件名的映射表〔3〕Chunk副本的位置信息，每池上，使各种应用系统能根据需要获取计算力、存储空间和信息效劳整个MapReduce程序的运行并重新开场。〔2〕Worke.〔1〕MapReduce函数首先把输入文件分成M块〔3〕一个被分配了Map任务的Worker读取并处理相关的输入块〔4〕缓冲到存的中间结果将被定时写到本地硬盘，这些数据通过分区函数分成R个区。程，从MapWorker的本地硬盘上读取缓冲的中间数据。〔6〕ReduceWorker根据每一个唯一中间key来遍历所有的排序后的中间数据，并且把key和相关的中间结果值集合传递给用户定义的Reduce函数10.容错机制MapReduce通过重新执行失效的地方来实现容错。〔1〕需要存储的数据种类繁多〔2〕海量的效劳请求有利于用户查找和分析。〔2〕倒排便于数据压缩，可以大幅提高压缩率。19.Chubby的作用〔1〕选取并保证同一时间只有一个主效劳器。〔2〕获取字表的位置信息。而不是来自于离它位置较远的原始数据。16.Fabric控制器现〔而不是来自于离它位置较远的原始数据。16.Fabric控制器现〔4〕只提供专用接口4.在效劳器失效经常发生的情况下,云计出现10.文件流层：包括流管理器和区块节点。11.分区层提供的任务调度到其他Worker上重新执行。11.P20案例分析.第三章：Amazon云计算AWS1.EC2根本架构主要包括Amazon机器映像、实例、存储模块等组成局部，并能与S3等其他Amazon云计算效劳结合使用。〔1〕Amazon机器映像：包含了操作系统、效劳器程序、应用程序等软件配置的模板。〔2〕EC2中实例由AMI启动，像传统的主机一样提供效劳，同一个AMI可以用于创立具有不同计算和存储能力的实例。不等。快照功能是EBS的特色功能之一，用于在S3中存储AmazonEBS卷的时间点副本。2.EC2关键技术3.EC2的平安及容错机制么改变后，改变的规那么自动适用于组中所有的成员。SSH是目前对网络上传输的数据进展加密的一种很可靠的协议，当用户创立一个密钥对〔2〕容错机制：使用弹性IP地址。弹性IP地址和用户账号绑定而不是和某个特定的实例转换为新实例所对应的私有IP地址。通过弹性IP地址改变映射关系总可以保证有实例可用S3的总体设计目标是可靠、易用及低本钱。〔1〕桶：桶适用于存储对象的容器，作用类似文件夹，但桶不可以被嵌套。〔2〕对象：S3的根本存储单元，主要由数据和元数据组成。.-可修编--可修编--可修编-〔1〕S3向用户提供包括身份认证和访问控制列表的双重平安机制。〔2〕身份认证：S3使用基于HMAC-SHA1数字签名方式。HMAC-SHA1基于加密hash函数和共享秘钥的消息认证协议，维护数据的完整性、可靠性、平安性。〔3〕控制访问列表：是S3提供的可供用户自行定义的访问控制策略列表。虚拟化〔3〕数据中心的虚拟化是通过效劳器虚拟化、存储虚拟化和现〔虚拟化〔3〕数据中心的虚拟化是通过效劳器虚拟化、存储虚拟化和现〔4〕只提供专用接口4.在效劳器失效经常发生的情况下,云计列表。20.BigTable主要有三局部组成：客户端程序库、族。语法规那么：族名：限定词。族名必须有意义，限定词那么可以S3三大类型的授权用户：所有者、个人授权用户、组授权用户8.非关系型数据库与传统关系数据库的比拟〔1〕关系型数据库：优点：具有高一致性，在ACID方面很强，移植性很高。缺点：可扩展〔2〕非关系型数据库：优点：具有很高的可扩展性，很好的并发处理能力。缺点：缺乏数据一致性保证，处理事务性问题能力较弱，难以处理跨表，跨效劳器的查询。〔1〕每个属性大小不能超过1KB〔2〕存储的数据围极其有限〔3〕只保存指向某个文件位置的指针。10.DynamoDB.-可修编-拟化技术的核心思想是利用软件或固件管理程序构成虚拟化层，把物〕Table〔3拟化技术的核心思想是利用软件或固件管理程序构成虚拟化层，把物〕Table〔3〕Queue〔4〕File7.全局命名空间：作有很大的差异24.性能优化：〔1〕局部性群组〔2〕压缩〔3之一，用于在S3中存储AmazonEBS卷的时间点副本。2..〔4〕采用固态硬盘，根据用户设定的读/写流量限制预设来确定数据分布的硬盘数量。11.SimpleDB和DynamoDB的比拟〔1〕SimpleDB：限制了每表的大小，更适合于小规模复杂的工作。自动对所有属性进展索引，提供了更加强大的查询功能。〔2〕DynamoDB：支持自动将数据和负载分布到多个效劳器上，并未限制存储在单个表中数据量的大小，适用于较大规模负载的工作。第四章：微软云计算WindowsAzure3.WindowsAzure是一个效劳平台，用户利用该平台，通过互联网访问微软数据中心运行提供了托管的、可扩展的、按需应用的计算和存储资源，同时还提供了云平台管理和动态分配资源的控制手段。以在任何时间、任何地方访问自己的数据。8.体系架构：WAS产品系统由存储域和位置效劳构成。域复制专门为硬件失效而设计，在大规模系统这类失效比拟普遍。域间复制提供跨地域冗余来防止地域灾难，这种情况一般不多出现〔1〕不同存储对象类型的数据模型。〔2〕不同类型对象处理的逻辑和语义〔5〕访问对象的事务排序和强一致性。协议的连接，使两者更容易结合起来使用。自于离它位置较远的原始数据。：微软云计算WindowsAzure1.微软的Windows。SSH是目前对网络上传输的数据进展加密的一种很可靠的协议，文件的临时或永久性存储。：微软云计算WindowsAzure1.微软的Windows。SSH是目前对网络上传输的数据进展加密的一种很可靠的协议，文件的临时或永久性存储。S3的总体设计目标是可靠、易用及低本时写到本地硬盘，这些数据通过分区函数分成R个区。〔5〕当Ma控制器控制所有运行的应用。〔1〕SQLAzure：SQLAzure是微软的云中关系型数据库。SQLAzure数据库简化了多数据库1〕SQLAzure数据库2〕SQLAzure报表效劳3〕SQLAzure数据同步〔2〕每个SQLAzure账户都拥有一个或多个逻辑效劳器；每台效劳器都拥有多个SQLAzure数据库；用户可以自由地使用SQLAzure数据库。能够嵌入发布到SQLAzure报表门户的报表。〔2〕SQLAzure报表效劳与SQLAzure数据库中的数据相互作用。〔3〕SQLAzureReporting与SSRS的报表格式是一样的，都使用微软定义的RDL。20.数据同步：为了提高存储数据的访问性能，同时确保网络发生故障时应用仍然能够访问技术包括两方面：〔1〕SQLServer数据库与SQLAzure数据库之间的数据同步〔2〕SQLAzure数据库之间的同步.-可修编-性。12.分区层主要体系构造模块：〔1〕分区管理区〔2〕分区效劳仪表盘〕4.性。12.分区层主要体系构造模块：〔1〕分区管理区〔2〕分区效劳仪表盘〕4.计算效劳NovaNova是OpenStack族。语法规那么：族名：限定词。族名必须有意义，限定词那么可以列表。20.BigTable主要有三局部组成：客户端程序库、〔1〕第一步，每台机器将各自KV对中的Value连接成一个链表〔3〕第三部，将得出的结果再存于DFS。台机器里还在计算的进程〔3〕作用：通过冗余存储，不仅提高了分布式存储可靠性，还提高了分布式计算的可靠性。5.Hadoop至少应当包含分布式存储和分布式计算两个模块。〔1〕降低了Hadoop设计的复杂性〔2〕减少了其他模块之间的耦合性〔3〕增强了Hadoop的强健性〔1〕提供公用API和程序员编程接口.-可修编-value>对的位置时，它调用远程过程，从MapWorker。value>对的位置时，它调用远程过程，从MapWorker。RabbitMQ：功能性、时效性、平安可靠性、SLA方面Asors交互。Nova组件：APIServer、Messag，如果没有Worker的应答，那么Master认为Worke.〔5〕HTTP认证7.HDFS〔1〕定位：提供高容错、高扩展、高可靠的分布式存储效劳，并提供效劳访问接口。提高了HDFS的可扩展性又简化了架构设计2)HDFS里将文件分块存储优化存储颗粒度据〔3〕NameNode主控制效劳器和DataNode〔4〕HDFS典型拓扑1〕一般拓扑：只有单个NameNode节点，使用SecondaryNameNode或BackupNode节点实时获取NameNode元数据信息，备份元数据。2〕商用拓扑：有两个NameNode节点，并使用ZooKeeper实现NameNode节点间的热切换。〔5〕HDFS部特性P186〔6〕HDFS对外功能P189.-可修编-：〔1〕不同存储对象类型的数据模型。〔2：〔1〕不同存储对象类型的数据模型。〔2〕不同类型对象处理的集群安装技术〔2〕故障检测技术〔3〕节点动态参加技术〔4〕节列表。20.BigTable主要有三局部组成：客户端程序库、统由存储域和位置效劳构成。〔1〕存储域层次构造：文件流、分区.〔1〕HDFS：分布式存储〔2〕Yarn：分布式操作系统〔3〕MapReduce：分布式处理〔1〕Apache社区版分布式组件部署步骤：.-可修编-zie：工作流引擎〔7〕zie：工作流引擎〔7〕PigHive：高层语言〔8〕Mah效劳仪表盘〕4.计算效劳NovaNova是OpenStack的本地硬盘上读取缓冲的中间数据。〔6〕ReduceWorkeCDN〔5〕WindowsAzureConnect5.计算效..-可修编-域、条目、属性、值〔1〕每个属性大小不能超过1KB域、条目、属性、值〔1〕每个属性大小不能超过1KB〔2〕存储一个主效劳器、多个子表效劳器。21.主效劳器的作用〔1〕新子劳：为在Azure平台中运行的应用提供支持。三种实例：〔1〕拟化：可以实现数据中心接入层的分级设计。根据数据中心的走线要.〔1〕虚拟化技术的核心思想是利用软件或固件管理程序构成虚拟化层，把物理资源映射为虚拟资源。在虚拟资源上可以安装和部署多个虚拟机，实现多用户共享物理资源。〔2〕虚拟数据中心特点：高速、扁平、虚拟化〔3〕数据中心的虚拟化是通过效劳器虚拟化、存储虚拟化和网络虚拟化实现的。〔4〕效劳器虚拟化：将一个或多个物理效劳器虚拟成多个逻辑上的效劳器根据实现方式效劳器虚拟化分为：寄居虚拟化、裸机虚拟化CPU：迁移步骤：预迁移、预定资源、预复制、停机复制、提交、启动.-可修编-4.Bigtable是一个分布式多维映射表，表中的数据通过一on机器映像：包含了操作系统、效劳器程序、应用程序等软件配置4.Bigtable是一个分布式多维映射表，表中的数据通过一on机器映像：包含了操作系统、效劳器程序、应用程序等软件配置原始数据进展指定的操作〔2〕一个Reduce操作就是对每个M域间复制域复制专门为硬件失效而设计，在大规模系统这类失效比拟..-可修编-存隔离：管理虚拟存储器的控制线路、管理物理存储器的控制线路、负责将虚拟地址映射为物理地址、提供硬件机制的存访问授权虚拟机监控器使用分段和分页机制对自身的物理存进展保护。存隔离：管理虚拟存储器的控制线路、管理物理存储器的控制线路、负责将虚拟地址映射为物理地址、提供硬件机制的存访问授权虚拟机监控器使用分段和分页机制对自身的物理存进展保护。完成网间数据的平安交换。-可修编-数〔7〕当所有的Map数〔7〕当所有的Map任务和Reduce任务都完成的时候，M种元数据。〔1〕命名空间，也就是整个文件系统的目录构造〔2〕实现多用户共享物理资源。〔2〕虚拟数据中心特点：高速、扁平、例分配给一个默认组。默认组只承受组成员的消息，拒绝其他消息。〔5〕存储虚拟化：把分布的异构存储设备统一为一个或几个大的存储池好的并发处理能力。缺点：缺乏数据一致性保证，处理事务性问题能：是一个分布式应用，拥有计算机、交换机、负载均衡器等各种资源要的函数Map好的并发处理能力。缺点：缺乏数据一致性保证，处理事务性问题能：是一个分布式应用，拥有计算机、交换机、负载均衡器等各种资源要的函数Map和Reduce〔1〕一个Map函数就是对一局部〕布隆过滤器第三章：Amazon云计算AWS1.EC2根本架.〔6〕网络虚拟化：在底层物理网络和网络用户之间增加一个抽象层数据中心网络虚拟化分为核心层、接入层和虚拟机网络虚拟化三个方面核心层：主要指的是数据中心核心网络设备的虚拟化。换机要求能够支持各种灵活的部署方式和新的以太网技术。虚拟层：扩展虚拟数据中心换机和虚拟网卡的功能〔7〕桌面虚拟化：利用虚拟化技术将用户桌面的镜像文件存放在数据中心。桌面虚拟化技术面临的问题：集中管理问题、集中存储问题、虚拟化产品缺乏统一标准、网络负载压力为管理员提供了所有的管理控制，同时通过Web界面为用户提供资源。〔身份认证效劳网络管理效劳存储管理效劳仪表盘〕虚拟云实现的三部曲：虚拟化技术实现—>虚拟机管理—>集群资源管理〔云管理〕管理多种不同的虚拟化提供方式。Nova中的RabbitMQ解析：.-可修编--可修编--可修编-由数据和元数据组成。6.S3对桶和对象的根本操作包括：Get由数据和元数据组成。6.S3对桶和对象的根本操作包括：Get在容灾备份中的应用Google的所有在线应用〔GmailGoCDN〔5〕WindowsAzureConnect5.计算效方面核心层：主要指的是数据中心核心网络设备的虚拟化。接入层虚OpenStackNova采用RabbitMQ作为信息交换中枢RabbitMQ是一种处理消息验证、消息转换和消息路由的架构模式。AMQPAMQP目标：实现端到端的信息通信AMQP实现通信的因素：“消息AMQP的两个核心要素—交换器与队列，通过消息的绑定与转发机制实现信息通信。交换器分为：持久交换器、临时交换器、自动删除交换器队列：持久保存、临时驻留、自动删除AMQP的三个关键组件：消息、队列、交换器AMQP三种不同类型的交换器：播送式、直接式、主题式。-可修编--可修编-高数据持久性、完全对称的系统架构、无限的可扩展性、无单点故障、简单可依赖网盘类的存储引擎、为Glance存储镜像文件、存储日志文件、数据备份仓库〔1〕Glance提供了一个虚拟磁盘镜像的目录和存储仓库，并且可以提供对虚拟机镜像的存储和检索。〔3〕Glance作用：提供了一系列的RESTAPI，用来管理、查询虚拟机的镜像，它支持多种种元数据。〔1〕命名空间，也就是整个文件系统的目录构造〔2种元数据。〔1〕命名空间，也就是整个文件系统的目录构造〔2〕类型大致可分为三类〔1〕将根底设施作为效劳。〔IaaS〕〔2弹性IP地址通过网络地址转换NAT转换为新实例所对应的私有I分成三局部：账户名、分区名、对象名8.体系架构：WAS产品系〔4〕Glance组成局部ibvirt的主要目标是为各种虚拟化工具提供一套方便、可靠的任意选定。族同时也是Bigtable中访问控制的根本单元17bby：负责元数据库存储及