云计算与虚拟化资料

1、云计算(j sun) 理解与思考-材料(cilio)来自互联网共六十一页目录(ml)一般(ybn)定义举例说明理解相关概念共六十一页云计算(j sun)的来源 1l concepts正如用云描绘网络来强调对网络的运用而非关注其实现细节一样，云计算用云描绘包括网络、计算、存储等在内的信息服务基础设施，以及包括操作系统、应用平台、WEB服务等在内的软件，就是(jish)为了强调对这些资源的运用，而不是它们的实现细节。共六十一页云计算(j sun)的来源 1相对的云的使用者建云者互联网兴起、充实从接入、路由等到计算、存储、服务(fw)和软件变更深刻共六十一页一般(ybn)定义-材料(cilio)来自

2、互联网共六十一页什么是云计算 一些(yxi)定义 维基百科：云计算（英文：Cloud computing，台湾译作云端运算），是一种基于互联网的计算方式(fngsh)，通过这种方式(fngsh)，共享的软硬件资源和信息可以按需提供给计算机和其他设备。整个运行方式(fngsh)很像电网。IBM认为云计算是一种共享的网络交付信息服务的模式，云服务的使用者看到的只是服务本身，而不用关心相关基础设施的具体实现.中国云计算网将云定义为： 云计算是分布式计算（Distributed Computing）、并行计算（Parallel Computing）和网格计算（Grid Computing）的发展，或者

3、说是这些科学概念的商业实现。伯克利白皮书：云计算包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施。互联网上的应用服务一直被称作软件即服务（Software as a Service, SaaS），所以我们使用这个术语。而数据中心的软硬件设施就是我们称作的云（Cloud）。美国国家标准技术研究院（NIST）Note1：云计算仍然是一个不断发展的范例。它的定义、用例、基本技术、问题、风险和益处将会在公共行业和私人行业的激烈辩论下得到提炼。这些定义、属性和特点将会随着时间不断演变和更改Note2：云计算行业代表了一个生态系统，有很多模型、供应商和市场的商品。这个定义试图包含所有的云方法。云

4、计算是一种可方便、按需接入一个共享的并有可设置的计算资源的资源池的模式，这些计算资源能够迅速的提供和释放，并且管理代价和服务提供商的互操作可达到最小。W云计算是一种通过网络连接来获取软件和服务的计算模式，云计算使得用户可以获得使用超级计算机的体验，用户通过笔记本点与手机上的瘦客户端接入云中获取需要的资源S云计算是一种更友好的业务运行模式。在这种模式中，用户的应用程序运行在共享的数据中心中，用户只需要通过登录和个性化定制就可以使用这些数据中心的应用程序你的计算机在云中共六十一页云计算(j sun)的分类 ISPCloudBridge服务是SAE推出的NaaS（Network as a Servi

5、ce）的总称云经纪人（cloud broker）是指在云计算服务的用户和供应商之间充当中介的个人或企业。Cloudburst是集成硬件、管理软件与实施(shsh)服务为一体，简单快速的实现动态资源部署式云计算平台（IBM)宏碁公司首款雲端解決方案- Acer Cloud EnablerCloud Entry 基 础架构云计算（IBM）共六十一页云计算(j sun)的分类共六十一页私有(syu)云和公有云私有云和公有云逻辑上没区别(qbi)外部云强调按需服务和可度量（收费）内部云强调平台一致性、安全性、可靠性和伸缩性虚拟化共六十一页云计算(j sun)的分类 - 云计算实现模式基础架构即服务（I

6、aaS）EC2 .平台(pngti)即服务（PaaS） Google App Engin . 软件即服务（SaaS）Google Map.只提供PaaS的公司，不一定有IaaSGoogle 原先企业初期阶段，获得的投资有限，只能自己攒机，但是很差的机器不可能发挥服务器的性能和稳定性，于是只有去想该如何提高可靠性，如何利用很多破烂机器获得更高的性能。这就有了google云计算的雏形。(Google 没有官方发布一个自身的技术构架说明!)共六十一页云计算(j sun)的优势 优化产业布局 IT自给自足的作坊模式转化为具有规模效应的工业化营运降低运营成本推进专业分工提升资源利用率 共用的资源池减少初

7、期投资 使用云IT资源产生创新价值共六十一页云计算(j sun)带来的变革云提供商 向下采购（或通过咨询服务方式建议云服务提供商和企业机构采购）硬件(yn jin)提供商及基础软件提供商的硬件(yn jin)与软件产品，向上为云服务提供商提供构建共有云的解决方案，为企业机构用户提供构建私有云的解决方案。个人用户 主要使用服务共六十一页举例说明-材料(cilio)来自互联网共六十一页什么(shn me)是云计算 - 以Amazon为例 1共六十一页什么(shn me)是云计算 - 以Amazon为例 2云计算的特征 （Amazon EC2（Elastic Computing Cloud）硬件和软

8、件都是资源(zyun)，通过互联网以服务形式提供给用户 资源都可以根据需要进行动态扩展和配置 资源在物理上以分布式的共享方式存在，但最终在逻辑上以单一整体的形式呈现用户按需使用云中的资源，按实际使用量付费，而不需要管理它们共六十一页Amazon EC2 介绍(jisho) - 基本架构EC2（Elastic Compute Cloud） 简言之，EC2就是一部具有无限采集能力(nngl)的虚拟计算机，通过互联网提供的Amazon机器映像AMI（Amazon Machine Image）由一个操作系统和当虚拟机启动时你想要预先载入的任何的应用程序组成。 是一个可以将用户的应用程序、配置等一起打包

9、的加密机器映像AMI是用户整个云计算平台运行的基础，用户使用EC2服务的第一步就是要创建一个自己的AMI。 公共AMI、私有AMI、付费AMI、共享AMI 实例Instance：用户创建好AMI后，实际运行的系统共六十一页Amazon EC2 介绍(jisho) - 机器映像AMI Amazon机器映像AMI（Amazon MachineImage） 由一个操作系统和应用程序组成 AMI是EC2实例的最基础组成单元，实例可以(ky)动态切换AMI 公共AMI、私有AMI、付费AMI、共享AMI支持多种OS的AMI完善的AMI导入与导出机制，方便应用迁移 采用稳定成熟的XEN虚拟化技术共六十一页

10、Amazon EC2 介绍(jisho) - 定价按使用情况付费。没有最低消费。使用 AWS 简单月度成本结算器估算每月的账单。列出的价格基于您的实例运行(ynxng)的区域。有关按需实例、预留实例和竞价实例之间的详细比较，请参见 mazon EC2 实例购买选项。0.560*24*365=4095.6共六十一页Amazon EC2 介绍(jisho) - .共六十一页云计算(j sun)的分类 - PaaS、SaaS（以Google为例）隶属SaaS的Google云计算：提供在线“Word、Excel、PPT”、MAP、日历(rl)管理、GMail、.隶属PaaS的Google云计算属于部署

11、在云端的应用执行环境支持Python和Java两种语言通过SDK调用Google的各种服务。如Google Map、Mail等用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等）技术架构分布式文件系统 Google Distributed File System并行数据处理 MapReduce分布式锁 Chubby结构化数据表 BigTable共六十一页Google云计算(j sun)介绍 1MapReduce分布式处理技术MapReduce是Google开发的Java、Python、C+编程工具，用于大规模数据集（大于1TB）的并行运算，也是云计算的核心

12、技术，一种分布式运算技术，也是简化的分布式编程模式，适合用来处理大量数据的分布式运算，用于解决问题的程序开发模型，也是开发人员拆解问题的方法。MapReduce模式的思想是将要执行的问题拆解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理达到分布运算的效果(xiogu)，再通过Reduce程序将结果汇整，输出开发者需要的结果。MapReduce的软件实现是指定一个Map（映射）函数，把键值对（key/value）映射成新的键值对（key/value），形成一系列中间形式的key/value对，然后把它们传给Reduce（化简）

13、函数，把具有相同中间形式key的value合并在一起. map和reduce函数具有一定的关联性1. map(k1,v1)-list(k2,v2) 2. reduce(k2,list(v2)-list(v2) 其中v1、v2可以是简单数据，也可以是一组数据，对应不同的映射函数规则。在 Map过程中将数据并行，即把数据用映射函数规则分开，而Reduce则把分开的数据用化简函数规则合在一起，也就是说Map是一个分的过程，Reduce则对应着合。MapReduce应用广泛，包括简单计算任务、海量输入数据、集群计算环境等，如分布grep、分布排序、单词计数、Web连接图反转、每台机器的词矢量、Web访

14、问日志分析、反向索引构建、文档聚类、机器学习、基于统计的机器翻译等。 共六十一页Google云计算(j sun)介绍 2Hadoop架构在Google发表MapReduce后，2004年开源社群用Java搭建出一套Hadoop框架，用于实现(shxin)MapReduce 算法，能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。此外，Hadoop 还提供一个分布式文件系统GFS（Google file system），是一个可扩展、结构化、具备日志的分布式文件系统，支持大型、分布式大数据量的读写操作，其容错性较强。而分布式数据库（BigTable）是一个有序、

15、稀疏、多维度的映射表，有良好的伸缩性和高可用性，用来将数据存储或部署到各个计算节点上。 Hadoop 框架具有高容错性及对数据读写的高吞吐率，能自动处理失败节点，如图3-5所示为Google Hadoop架构。在架构中MapReduce API提供Map和Reduce处理、GFS分布式文件系统和BigTable分布式数据库提供数据存取。基于Hadoop可以非常轻松和方便完成处理海量数据的分布式并行程序，并运行于大规模集群上。共六十一页Google云计算(j sun)介绍 3Google云计算执行过程云计算服务方式多种多样，通过对Google云计算架构及技术的理解(lji)，在此我们给出用户将要

16、执行的程序或处理的问题提交云计算的平台Hadoop，其执行过程如下图所示：共六十一页Google云计算(j sun)介绍 4如图所示的Google云计算执行过程包括以下步骤。（1）将要执行的MPI程序复制到Hadoop框架中的Master和每一台Worker机器中。（2）Master选择由哪些Worker机器来执行Map程序与Reduce程序。（3）分配所有的数据区块到执行Map程序的Worker机器中进行Map（切割成小块数据）。（4）将Map后的结果存入Worker机器。 （5）执行Reduce程序的Worker机器，远程读取每一份Map结果，进行混合、汇整与排序，同时执行Reduce程序

17、。（6）将结果输出(shch)给用户（开发者）。在云计算中为了保证计算和存储等操作的完整性，充分利用MapReduce的分布和可靠特性，在数据上传和下载过程中根据各Worker节点在指定时间内反馈的信息判断节点的状态是正常还是死亡，若节点死亡则将其负责的任务分配给别的节点，确保文件数据的完整性。共六十一页Openstack 技术(jsh)架构共六十一页Openstack相关(xinggun)套件与Amazon相比较Nova套件主要提供部署与管理虚拟机器的Swift提供与AWS(amason webservice)S3类似的功能,功能。Cinder套件允许区块储存设备能够整合商业化的企业储存平台

18、Quantum套件是个可扩展、随插即用，透过API来管理的网络架构系统Keystone套件作为OpenStack的身份认证系统Glance套件提供提供硬盘或服务器的镜像文件寻找、注册以及服务交付等功能Horizon套件提供IT人员一个(y )图形化的网页接口，让IT人员可以综观云端服务目前的规模与状态，并且能够统一存取、部署与管理所有云端服务所使用到的资源。Horizon套件是个可扩展的网页式App。所以，Horizon套件可以整合第三方的服务或是产品，像是计费、监控或是额外的管理工具。 共六十一页请求(qngqi)一个虚拟机实例过程共六十一页Nova支持(zhch)的虚拟化平台Opensta

19、ck支持的虚拟化技术KVMLXCQEMUUMLvSphereXen/admin-guide-cloud/content/section_hypervisors.html共六十一页Glance支持(zhch)的Image格式ariqcow2ovfvdirawvmdkvhd添加标题添加标题添加标题raw 非结构化的镜像格式vhd 一种通用的虚拟机磁盘格式， 可用于Vmware、Xen、Microsoft Virtual PC/Virtual Server/Hyper-V、VirtualBox等vmdk Vmware的虚拟机磁盘格式， 同样也支持多种Hypervisorvdi VirtualBox、

20、QEMU等支持的虚拟机磁盘格式qcow2 一种支持QEMU并且可以动态(dngti)扩展的磁盘格式aki Amazon Kernel 镜像ari Amazon Ramdisk 镜像ami Amazon 虚拟机镜像akiami共六十一页理解(lji)-材料(cilio)来自互联网共六十一页 判断云计算(j sun)的三个标准刘鹏教授(jioshu)- 第二届中国云计算大会共六十一页有人说公有云是云，私有云不叫云有人说不到1000台服务器不叫云有人说有虚拟化叫云，没有(mi yu)不叫云有人说会下雨的叫云，不会不叫云到底什么(shn me)是云？什么(shn me)不是云？共六十一页123用户(y

21、ngh)使用的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。PC系统共六十一页123用户(yngh)使用的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。Web网站PC系统共六十一页123用户使用(shyng)的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。广告联盟PC系统Web网站共六十一页123用户使用(shyng)的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。传统IDCPC系统Web

22、网站广告联盟共六十一页123用户使用(shyng)的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。超算中心PC系统Web网站广告联盟传统IDC共六十一页123用户(yngh)使用的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。网格计算PC系统Web网站广告联盟传统IDC超算中心共六十一页123用户使用(shyng)的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。在线OfficePC系统Web网站广告联盟传统IDC超算中心网格计算共六十一页1

23、23用户使用(shyng)的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。在线CRMPC系统Web网站广告联盟传统IDC超算中心网格计算在线Office共六十一页123用户(yngh)使用的资源不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。IaaSPC系统Web网站广告联盟传统IDC超算中心网格计算在线Office在线CRM共六十一页123用户使用的资源(zyun)不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。PaaSPC系统Web网站广告联盟传统

24、IDC超算中心网格计算在线Office在线CRMIaaS共六十一页123用户使用的资源(zyun)不在客户端而在网络中。应用服务能力(nngl)具有优于分钟级的可伸缩性。五倍以上的性价比提升。云安全PC系统Web网站广告联盟传统IDC超算中心网格计算在线Office在线CRMIaaSPaaS共六十一页什么是云计算(j sun)-我的看法1. 提供所谓云计算服务(fw)的商家我的服务就是云服务AMAZON、google、阿里2. 卖云产品的商家用我的产品就能实现云服务（忽悠，靠买产品是降低不成本的）VMWARE、3. 学者在研究(不会有结果的，因为只是商业包装）共六十一页虚拟(xn)动态是信息科

25、技发展的结果虚拟(xn)动态分布式节点为中心结构模式可信性可用性可靠性保障需求服务计算事务计算数值计算计算任务信息科技发展共六十一页冯诺伊曼架构计算机由控制器、运算器、存储器、输入设备和输出设备(sh ch sh bi)五大部分组成。基本原理：存储程序（stored program）并按地址顺序执行。控制器按照程序顺序，逐条把指令和数据从存储器中取出并加以执行，自动完成由程序所描述的处理工作。以计算为中心云架构(ji u) 1共六十一页云架构(ji u) - 云计算体系结构共六十一页云计算(j sun)体系结构 2服务器存储系统网络设备虚拟化技术(jsh)应用/计算传输数据共六十一页云计算(j

26、 sun)体系结构 3云用户端：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。打开应用实例与本地操作桌面系统一样。服务目录：云用户在取得相应权限（付费或其他限制）后可以选择或定制的服务列表，也可以对已有服务进行退订的操作，在云用户端界面生成相应的图标或列表的形式展示相关的服务管理系统和部署工具：提供管理和服务，能管理云用户，能对用户授权、认证、登录进行管理，并可以管理可用计算资源和服务，接收用户发送的请求，根据用户请求并转发到相应的相应程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。监控：监控和计量云系统资源的

27、使用情况，以便做出迅速反应，完成节点同步(tngb)配置、负载均衡配置和资源监控，确保资源能顺利分配给合适的用户。服务器集群：虚拟的或物理的服务器，由管理系统管理，负责高并发量的用户请求处理、大运算量计算处理、用户Web应用服务，云数据存储时采用相应数据切割算法采用并行方式上传和下载大容量数据。用户可通过云用户端从列表中选择所需的服务，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。共六十一页云架构的特点：将地理上分布、大规模、异构的资源进行虚拟化（标准化），并能够(nnggu)对用户提供按需服务。云的成功在很大程度上决定于云的规模效应。同时，云环境下非常重要的问题之

28、一就是如何合适地安排计算、存储和传输，使得其规模和性能能够同步扩展。 云计算(j sun)体系结构 4共六十一页开源云计算(j sun)系统开源云计算系统对应的商用云计算系统Hadoop HDFSGoogle GFSHadoop MapReduceGoogle MapReduceHadoop HBaseGoogle BigtableHadoop ZooKeeperGoogle ChubbyEucalyptus、Enomaly ECP、NimbusAmazon EC2EucalyptusAmazon S3Sector and Sphere无直接对应系统abiquo无直接对应系统MongoDB无直

29、接对应系统云计算(j sun)体系结构 4共六十一页古老的预言重新接近(jijn)正确Thomas WatsonIBM董事长1943“我认为全球(qunqi)大概只需要五台计算机就够了”Bill Gates“640KB内存应该对任何人都够用了。”？共六十一页相关(xinggun)概念-材料(cilio)来自互联网共六十一页相关(xinggun)概念并行计算(parallel computing)在紧耦合并行机上的计算分布(fnb)计算(distributed computing)在松耦合（异地）并行机上的计算网格计算(grid computing)属于分布计算范畴，利用互联网把分散在不同地理位

30、置的性能较高的计算机组织成一个“虚拟的超级计算机”，来完成的计算。共六十一页相关(xinggun)概念 并行计算 （Parallel Computing）并行计算是利用多个处理器协同(xitng)求解一个应用问题的计算方法。具体的计算方法：将被求解的问题分解为若干部分每个部分分别由不同的处理器同时进行计算实现上述方法的程序称为并行程序；具有多个处理器的、并能够协同解决问题的计算机称为并行计算机。也被称为高性能计算机或超级计算机并行计算需要采用特点的编程范例来执行单个大型计算任务或者运行某个特定应用共六十一页相关(xinggun)概念 对称多处理机 Symmetric Multiprocessor SMP将各处理器经由高速(o s)总线（或交叉开关）网与共享存储器相连；每个处理器对共享存储器具有同等的访问权利；每个处理器对I/O设备和其它系统资源享有同等