云计算与并行计算复习

云计算和分布式系统最终评论1.云计算的概念、来源及其与并行计算的关系云计算的概念是从集群、网格和效用计算发展而来的。云是一个虚拟的计算机资源池。云可以处理各种负载，包括批处理后端作业和交互式用户界面应用程序。通过快速提供虚拟机或物理机，云允许快速配置和划分负载。云支持冗余、自恢复、高度可扩展的编程模型，允许负载从许多不可避免的硬件/软件错误中恢复。最后，云计算系统可以实时监控资源，以确保在需要时分配平衡。来源：数据爆炸促进云计算理念。集群和网格计算可以通过并行使用大量计算机来解决任何规模的问题。公用计算和SaaS(软件即服务)使用计算资源作为按需付费的服务。云计算使用动态资源向最终用户提供大量服务。云计算是一种高吞吐量计算模式，通过大型数据中心或服务器群提供服务。云计算模式使用户能够通过他们的互连设备随时随地访问共享资源。云计算避免了大量的数据移动，可以带来更好的网络带宽利用率。此外，机器虚拟化进一步提高了资源的利用率，增加了应用程序的灵活性下降。降低使用虚拟化数据中心资源的总体成本。云计算使用虚拟化平台，按需动态配置硬件、软件和数据集，并将弹性资源放在一起。主要想法是在数据中心使用服务器集群和大规模数据库，将桌面计算转移到基于服务的平台，利用其低成本和简单性为提供商和用户服务。云应用程序的所有计算任务都分布在数据中心的服务器上。这些服务器主要是虚拟集群的虚拟机，由数据中心资源生成。云平台是通过虚拟化的分布式系统。公共云和私有云都是在互联网上开发的。公共云建立在互联网上，任何付费用户都可以访问。公共云属于服务提供商，用户可以通过订阅来访问它。私有云建立在局域网内，属于独立的组织。它由客户管理，其访问范围仅限于客户及其合作伙伴。混合云由公共云和私有云组成公共云促进标准化，节省资本投资，并为应用程序提供良好的灵活性。私有云试图进行定制，可以提供更高的效率、灵活性、安全性和隐私性。混合云介于两者之间，在资源共享方面做出了妥协。云的核心是服务器集群(或虚拟机集群)。集群节点用作计算节点，少数控制节点用于管理和监控云活动。调度用户作业需要将任务分配给用户创建的虚拟集群。数据中心和超级计算机的网络要求也不同。超级计算机使用客户设计的高带宽网络，如胖树或3D环形网络；数据中心网络主要是基于IP的商业网络云平台设计目标：可扩展性、虚拟化、有效性和可靠性2.云平台提供的服务类型从硬件、网络和配置到基础设施、平台和软件应用的6层云服务在三楼基础设施即服务平台即服务软件即服务硬件即服务网络即服务位置即服务配置即服务。数据中心中的虚拟化资源形成互联网云，为付费用户提供硬件、软件、存储、网络和服务来运行他们的应用程序。云计算提供了一个虚拟化的灵活资源平台，可按需动态提供硬件、软件和数据集。(1)基础设施即服务(IaaS):该模型结合了用户所需的基础设施(即服务器、存储、网络和数据中心建设)。用户可以使用客户端操作系统在多个虚拟机上配置和运行指定的应用程序。(2)平台即服务(PaaS):此模型使用户能够在虚拟平台上配置用户定义的应用程序。PaaS包括中间件、数据库、开发工具和一些运行时支持(如Web 2.0和Java)。3.软件即服务(SaaS):这是指成千上万付费云用户的初始浏览器应用软件。SaaS模型适用于业务流程、工业应用、客户关系管理、企业资源规划、人力资源和合作应用。3.谷歌的核心技术(包括默认文件？尺寸)谷歌云计算应用程序的组件包括存储大量数据的GFS、应用程序开发人员的MapReduce编程框架、用于分布式应用程序锁服务的Chubby以及访问结构化或半结构化数据的BigTable存储服务。谷歌地图简化(Map:一组数据元素以重复的方式被处理，并且简化：对地图的中间结果执行一些进一步的结果排序)(MapReduce将需要做什么和如何做分开)(设计理念：不向上扩展，保证失败很常见，将处理转移到数据，处理数据排序和避免随机访问)上升到体系结构：统一体系结构，为程序员隐藏系统层细节。Google GFS是一个基于分布式集群的大型分布式文件系统，为MapReduce计算框架提供底层数据存储和数据可靠性支持。GFS文件系统的三个元数据：命名空间，即整个分布式文件系统的目录结构，保存在Master上。(2)块和文件名映射表3。区块拷贝位置信息，默认情况下每个区块有3个拷贝。GFS中的每个块分区默认为64MB。每个数据块将被复制到3个不同的地方。只有当所有三个拷贝都成功时，每个数据块才被视为成功保存。每个数据块进一步分为64KB的子块，每个子块具有32位校验和。BigTable:GFS是一个文件系统，很难为结构化数据提供存储和访问管理。为此，谷歌设计了一个结构化的数据存储和访问管理系统在通用文件系统之上的BigTable，它为应用程序提供了比简单文件系统更方便和更高级的数据操作能力。BigTable不对存储在表中的数据进行任何解释，而是始终被视为一个字符串，具体数据结构的实现由用户定义。BigTable查询模型(row:string，column:string，time : int 64)-结果数据字符串。支持查询、插入和删除操作。4.如何分析和计算系统的可用性可用性表示系统对用户可用的时间百分比，即系统正常运行的时间百分比。可用性分析：所有集群、网络、P2P网络和云计算系统都期望高可用性。如果系统具有较长的平均故障时间(MTTF)和较短的平均维修时间(MTTR)，则系统高度可用。系统可用性的正式定义如下：系统可用性=MTTF/(MTTFMTTR)(大多数集群通过转移故障节点来实现高可用性)。5.虚拟化的基本概念、硬件虚拟化的基本类型、虚拟化软件、当前开源版本VMs支持的指令集都在市场上虚拟化：虚拟化是一种计算机体系结构技术，其中多个虚拟机共享同一个物理硬件机器。虚拟化的理念是将软件和硬件分开，以产生更好的系统性能。虚拟化技术通过在同一台硬件主机上多路复用虚拟机来共享昂贵的硬件资源。硬件虚拟化：硬件虚拟化分为：完全虚拟化和基于主机的虚拟化。完全虚拟化不需要修改主机操作系统。它依靠二进制翻译来捕获和虚拟化一些敏感的、非虚拟化的指令执行。客户操作系统及其应用程序由非关键和关键指令组成。在基于主机的系统虚拟化中，主机操作系统和客户操作系统同时存在，虚拟化软件层位于二者之间。主机操作系统仍然负责管理硬件。来宾操作系统安装并运行在虚拟化层上。特定的应用程序可以在虚拟机中运行。半虚拟化：半虚拟化需要修改客户操作系统。半虚拟化虚拟机在用户程序中提供了一个特殊的应用编程接口，这需要对操作系统进行真正的修改。完全虚拟化：xen的完全虚拟化和半虚拟化的区别在于，完全虚拟化需要cpu支持硬件虚拟化，而半虚拟化不需要cpu支持硬件虚拟化。换句话说，cpu支持硬件虚拟化，当xen配置完成时，它将被完全虚拟化，而如果cpu不支持它，它将被半虚拟化。三种实现技术：1 .模拟软件模拟通过模拟器模拟所有指令，而不通知虚拟化操作系统其操作环境。2.虚拟化一些特权指令或使用二进制日志转换技术。3.让cpu支持硬件虚拟化。在虚拟化操作系统上执行的指令将在虚拟化硬件上运行，即完全虚拟化。中央处理器、内存和输入/输出设备的虚拟化VMM(虚拟机监视器)，负责管理计算机系统的硬件资源。每次应用程序访问硬件时，VMM都会捕获访问请求中央处理器、内存和输入/输出设备的虚拟化为了支持虚拟化，处理器采用硬件辅助虚拟化引入特殊的操作模式和指令，使VMM和客户操作系统可以在不同的模式下运行，客户操作系统及其应用程序的所有敏感指令都将沉入VMM。虚拟化的硬件支持现代操作系统和处理器允许多个进程同时运行。如果处理器中没有保护机制，不同进程的所有指令都可以直接访问硬件，这很容易导致系统崩溃。因此，所有处理器都需要至少两种模式(用户模式和管理模式)，以确保对关键区域硬件的受控访问。以管理模式运行的指令称为特权指令，其他指令为非特权指令。CPU虚拟化虚拟机的非特权指令直接在物理主机上运行关键指令可分为三类：特权指令、控制敏感指令和行为敏感指令。特权指令需要在特权模式下执行。当特权指令在特权模式之外执行时，就会发生陷阱。控制敏感指令试图更改已用资源的配置。行为敏感指令根据资源的配置有不同的行为，包括虚拟内存中的加载和存储操作。当VMM以管理模式运行时，中央处理器支持特权和非特权指令以用户模式运行虚拟机，那么中央处理器体系结构是可虚拟化的。RISC的所有控制敏感指令和行为敏感指令都是特权指令，RISC的中央处理器体系结构自然是虚拟化的。内存虚拟化来宾操作系统和VMM分别维护从虚拟内存到物理内存和从物理内存到机器内存的映射，总共有两个级别的映射。来宾操作系统仍然负责将虚拟地址映射到虚拟机的物理内存地址，而VMM负责将来宾物理内存映射到实际的机器内存输入/输出虚拟化输入/输出虚拟化包括管理虚拟设备和共享物理硬件之间的输入/输出请求路由。实现输入/输出虚拟化有三种方法：设备的所有功能或总线结构(如设备枚举、标识、中断和DMA)都可以在软件中复制。半虚拟化：是Xen的方法，是一种广为人知的分割驱动器模式，由前端驱动器和后端驱动器组成。前端驱动程序在域U中运行，而后端驱动程序在域0中运行，通过共享内存进行交互。直接输入/输出虚拟化：使虚拟机可以直接访问设备硬件。它可以以低的CPU开销实现接近本地的性能。6.KVM实现原理(如何监控硬件虚拟化)、内存虚拟化的基本机制以及输入/输出虚拟化的实现方法KVM :的实现原理KVM是基于Linux的半虚拟化系统，是Linux2.6.20内核的一部分。内存管理和调度由现有的Linux内核执行，而KVM负责其余部分，这使得KVM比其他需要控制整个机器的管理程序简单得多。KVM是一种硬件辅助的半虚拟化工具，它VMM(虚拟机监视器)，负责管理计算机系统的硬件资源。每次应用程序访问硬件时，VMM都会捕获访问请求中央处理器、内存和输入/输出设备的虚拟化为了支持虚拟化，处理器采用硬件辅助虚拟化引入特殊的操作模式和指令，使VMM和客户操作系统可以在不同的模式下运行，客户操作系统及其应用程序的所有敏感指令都将沉入VMM。虚拟化的硬件支持现代操作系统和处理器允许多个进程同时运行。如果处理器中没有保护机制，不同进程的所有指令都可以直接访问硬件，这很容易导致系统崩溃。因此，所有处理器都需要至少两种模式(用户模式和管理模式)，以确保对关键区域硬件的受控访问。以管理模式运行的指令称为特权指令，其他指令为非特权指令。CPU虚拟化虚拟机的非特权指令直接在物理主机上运行关键指令可分为三类：特权指令、控制敏感指令和行为敏感指令。特权指令需要在特权模式下执行。当特权指令在特权模式之外执行时，就会发生陷阱。控制敏感指令试图更改已用资源的配置。行为敏感指令根据资源的配置有不同的行为，包括虚拟内存中的加载和存储操作。当VMM以管理模式运行时，中央处理器支持特权和非特权指令以用户模式运行虚拟机，那么中央处理器体系结构是可虚拟化的。RISC的所有控制敏感指令和行为敏感指令都是特权指令，RISC的中央处理器体系结构自然是虚拟化的。输入/输出虚拟化输入/输出虚拟化包括管理虚拟设备和共享物理硬件之间的输入/输出请求路由。内存虚拟化来宾操作系统和VMM分别维护从虚拟内存到物理内存和从物理内存到机器内存的映射，总共有两个级别的映射。来宾操作系统仍然负责将虚拟地址映射到虚拟机的物理内存地址，而VMM负责将来宾物理内存映射到实际的机器内存内存虚拟化机制来宾操作系统和VMM分别维护从虚拟内存到物理内存和从物理内存到机器内存的映射，总共有两个级别的映射。此外，MMU虚拟化也应该得到支持，并且对客户操作系统透明。客户操作系统仍然负责将虚拟地址映射到虚拟机的物理内存地址，但是客户操作系统不能直接访问实际的硬件内存。VMM负责将来宾物理内存映射到实际的机器内存。8.输入/输出虚拟化的实施输入/输出虚拟化包括管理虚拟设备和共享物理硬件之间的输入/输出请求路由。实现输入/输出虚拟化有三种方法：设备的所有功能或总线结构(如设备枚举、标识、中断和DMA)都可以在软件中复制。半虚拟化：是Xen的方法，是一种广为人知的分割驱动器模式，由前端驱动器和后端驱动器组成。前端驱动程序在域