浪潮媒体云平台技术方案-云计算部分-3.docx

浪潮媒体云平台技术方案一、 背景与需求1.1 广电行业的进化需求1.1.1 双向互动与三网融合1.1.2 视频内容高清化1.1.3 服务形态全媒体化1.1.4 服务属性的变迁1.2 云计算的背景1.2.1 云计算起源过去几十年，计算模式经历了大型机时代的终端-主机模式（T-S模式），个人PC时代的客户机-服务器模式（C-S模式），发展到互联网时代的浏览器-服务器模式（B-S模式）。在过去的二十年里，互联网将全世界的企业与个人连接了起来，实现了资源共享，这深刻地影响着企业的业务形态及个人的日常生活。随着Web2.0等新技术的应用，用户对互联网内容的贡献空前增加，软件更多地以服务的形式通过互联网被发布和访问，而这些网络服务也越来越需要有强大计算能力和海量的存储来满足日益增长的业务需求。互联网使得人们对软件的认识和使用模式发生了潜移默化的改变。计算模式的变革必将会带来一系列的挑战。如何获取强大的计算资源和海量的存储空间？如何在互联网这个无所不包的平台上更经济地运营服务？如何才能使互联网服务更加敏捷、更随需应变？如何让企业和个人用户更加方便、清晰地理解与运用层出不穷的服务？“云计算”正是顺应这个时代大潮而诞生的信息技术理念。当前，云计算被称为当今最热门的信息技术，无论是IT巨头还是新兴科技公司，无不把云计算作为企业发展战略中的重要部分。云计算理念，直接起源于2007年Amazon EC2产品和Google的分布式计算项目，这两个项目中直接使用了云计算这一概念。从技术角度，在网络计算体系下，计算机集群(Computer Cluster)可以解决服务器单机性能不够强的问题；而网格(Grid)计算则解决了集群计算不支持异构设备、资源无法动态伸缩的不足。云计算则能有效解决网格计算无法同时支持异构多业务体系、无法实现资源动态流转的不足。可以说，云计算是网络计算的更高级阶段。从社会分工角度，社会分工细化，有利于形成生产上的规模化，使生产效率显著提高。社会分工细化，还可以提高专业化，有利于技术创新。云计算，从基础设施层面，使系统供应商更专注于软硬件资源的供应。从应用层面，使业务用户可以更加专注于自己的业务，而无需考虑基础资源的维护。所以，云计算也是社会分工细化的必然。简而言之，云计算并不是突兀出现的，云计算是在现有IT技术和业务应用基础上的升华，也是社会分工的必然。1.2.2 云计算的基本含义、基本特征云计算的概念提出来以后，不同的人和组织出于各自的理解，对云计算表达了不同的看法，至今没有形成形成统一的认识。云计算是一种基于网络的支持异构设施和资源流转的服务供给模型，它提供给客户可自定义的服务，实现资源的按需分配、按量计费。云计算导致资源规模化，促进分工的专业化，使得资源供应商和用户都更加关注于自己的业务，有利于降低单位资源成本，促进网络业务创新。云计算主要包含两个层次的含义：一是资源层次：能够实现对各类异构软硬件基础资源的兼容，如电网支持水电厂、火电厂、风电厂、核电厂等异构电厂并网；还能够实现资源的动态流转，如西电东送，西气东输、南水北调等。支持异构资源和实现资源的动态流转，可以更好的利用资源，降低基础资源供应商的成本。二是应用层次：在云计算环境下，用户无需自建基础系统，可以更加专注于自己的业务。用户可按需获取网络上的资源，并按使用量付费。如同打开电灯用电，打开水龙头用水一样，而无需考虑是电从哪里来，水是哪家水厂的。云计算的基础特征：图云计算的基本特征1) 云计算必然是基于网络的。网络是云计算的基础，云计算必然是基于网络的。网络是云计算的必要不充分条件，如集群计算虽然也是基于网络的计算模式，但还不能称之为云计算。2) 支持异构的基础资源。基础资源，包括基础硬件资源和基础软件资源。云计算可以构建在不同的基础平台之上，即可以有效兼容各种不同种类的硬件和软件基础资源。硬件基础资源，主要包括网络环境下的三大类设备，即：计算（服务器）、存储（存储设备）和网络（交换机、路由器等设备）；软件基础资源，则包括单机操作系统、中间件、数据库等。从横向维度考虑，支持异构资源，意味着在同一时期内，可以采购不同厂商的软硬件。对云计算平台的构建者而言，这种形式更为灵活；而从纵向维度考虑，意味着云计算平台既可以兼容当下采购的新设备，也可以兼容以前的老设备，既可以兼容当前的新软件系统，也可以兼容以前遗留的老软件系统。支持异构的基础资源这一特性，在有效利用老资源的同时，也保证了新老资源的平滑过渡。3) 支持资源动态伸缩和流转。支持资源动态伸缩，实现基础资源的网络冗余，意味着添加、删除、修改云计算环境的任一资源节点，亦或任一资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。这里的资源节点可以是计算节点、存储节点和网络节点。而资源动态流转，则意味着在云计算平台下实现资源调度机制，资源可以流转到需要的地方。如在系统业务整体升高情况下，可以启动闲置资源，纳入系统中，提高整个云平台的承载能力。而在整个系统业务负载低的情况下，则可以将业务集中起来，而将其他闲置的资源转入节能模式，从而在提高部分资源利用率的情况下，达到其他资源绿色、低碳的应用效果。4) 支持异构多业务体系。在云计算平台上，可以同时运行多个不同类型的业务。异构，表示该业务不是同一的，不是已有的或事先定义好的，而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。5) 支持海量信息处理。云计算，在底层，需要面对各类众多的基础软硬件资源；在上层，需要能够同时支持各类众多的异构的业务；而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑。6) 按需分配，按量计费。按需分配，是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术，可以实现计算资源的同构化和可度量化，可以提供小到一台计算机，多到千台计算机的计算能力。按量计费起源于效用计算，在云计算平台实现按需分配后，按量计费也成为云计算平台向外提供服务时的有效收费形式。1.2.3 行业云介绍按照业界一般分法，云计算可分为公有云、私有云和混合云三类。按照数据获取路径和数据是否具有私密性，公有云可以继续细分为公众云和行业云，前者是数据来源和服务对象都是公开的公众，例如Google，而后者数据具有私密性，但是服务对象却是公开的，如环境卫星资源数据中心、政务系统、经济/人口统计数据服务等。所谓“行业云”，是由行业内或某个区域内起主导作用或者掌握关键资源的组织建立和维护，以公开或者半公开的方式，向行业内部或相关组织和个人提供有偿或无偿服务。比如数字化医疗，病人所有的健康信息都存在一张卡中，只要刷一下，以往的病历、体检记录、在不同医院的检查结果都可以呈现在医生的电脑中，从而帮助医生做出更全面的诊断。又比如食品卫生监控，如果在食品生产、加工、运输、销售过程中各个环节的数据都公开、透明，食品安全就可以得到很大的保障。此外，像交通、远程教育、工商、税务、质监等行业，其公众服务都可以通过云计算来实现。建设行业云最关键的问题是如何将数据活化，将数据转化为服务。虽然各个行业过去十几年里也建设了很多信息化系统，但这些系统都是封闭的，行业云的功能就在于实现从数据到服务的转化，比如，在环境监控中，通过卫星遥感收集到的水、森林、土地等相在的海量数据，经过分析处理，可以得出土地利用率、自然灾害预警等信息，进而提供给政府部门决策使用。1.2.4 智能、可靠、安全、绿色的云计算云计算支持资源的动态伸缩，添加、删除、修改云计算环境的任一计算、存储、网络节点，或者任何一个资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。云计算是业务持续运行、数据不丢失的可靠保证。云计算通过虚拟化技术提供计算资源给终端用户，将应用造成的对系统硬件的损坏降低到最低；存储通过使用分布式文件系统，通过设置副本方式，确保数据安全；网络通过链路冗余及相应的容错机制，确保业务持续运行。云计算的支持资源动态流转的特征，使得业务运营初期，即减少采购机器数量，从而降低采购成本。业务运营过程中，业务负载低时，根据设置的节能策略，关闭剩余的资源，从而达到有效降低云数据中心功耗的目的。整个资源池内资源的监控、管理、调度、节能高度的自动化。资源状态信息，资源的异常告警短信、邮件，自动的资源流转，机器在的开启与关闭均通过策略设置实现，过程中无需管理员人工参与。1.3 广电行业引入云计算的好处1.3.1 用先进的技术服务广电的整体进步1.3.2 规模化服务降低升级成本1.3.3 在弱终端上实现更强大的功能1.3.4 提供整体可靠性的服务保障二、 云计算概述122.1、云计算的三层架构云计算层次架构示意图云计算层次架构如上图所示。其中云基础设施即服务(IaaS)、云平台即服务(PaaS)、云软件即服务(SaaS)是云计算的三种服务模式。硬件设备位于云计算架构的底层，是云计算平台的基础。由于数据中心常会同时采购不同厂家的多种设备，且新老设备共存，所以该领域的显著特点就是会存在大量异构的设备资源。 云基础设施即服务(IaaS，Cloud Infrastructure as a Service)云基础设施即服务，系统供应商可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等基础资源，用户可以在之上部署或运行各种软件，包括客户操作系统和应用业务。 云平台即服务 (PaaS，Cloud Platform as a Service)云平台即服务是指云计算平台供应商将业务软件的开发环境、运行环境作为一种服务，通过互联网提交给用户。云平台即服务，需要构建在云基础设施之上。用户可以在云平台供应商提供的开发环境下创建自己业务应用，而且可以直接在云平台的运行环境中上运营自己的业务。 云软件即服务(SaaS，Cloud Software as a Service )软件即服务，是指运营商通过互联网，向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS，在客户体验上基本类似，如新浪邮箱和Gmail邮箱，客户感受是类似的。传统的SaaS直接构建在硬件设备之上，不能实现后台资源的多租户共享，也无法实现资源的动态流转，实际并不属于云计算的范畴。云SaaS，要求这些软件业务运行在云平台服务层或构建在云基础设施层之上。云SaaS的优势，体现在后台资源的动态伸缩和流转上，资源可扩展性更强，这一重大优势是传统SaaS所不具备的。2.2、云计算的关键技术3.3.1云数据中心资源管理云数据中心资源管理，主要负责大规模基础软件、硬件资源的监控和管理，为云操作系统的资源调度等高级应用提供了决策信息，是云计算操作系统的资源调度的基础。l 以整体的视角整合计算、存储、网络三类资源，即将计算资源（包括物理计算资源和虚拟计算资源）、存储资源、网络资源以整体池化的形式对外展示。l 用户看到的资源，不再是具体的单机资源，而是面向数据中心的整合的资源，即数据中心整体的计算核数，整体的存储空间和整体的网络带宽等。l 资源整合后，对外提供资源获取统一接口，系统使用由资源池提供的统一接口获取基础资源信息数据。l 实现基于群组的层级管理。管理可按照地域，行政级别等类别进行区分，垂直管理。3.3.2虚拟化技术3.3.2.1 虚拟化应用形态虚拟化的本质在于从逻辑角度而不是物理角度来对资源进行分配和使用，即从单一的逻辑角度来看待不同的物理资源。虚拟化技术有三种主要应用形态，即虚拟分拆、虚拟整合和虚拟迁移。虚拟化技术虚拟分拆虚拟分拆是最常见的虚拟化技术，其可将一台物理机分拆为多台虚拟机，从而提高物理资源的利用率，如VMware的VSphere、XEN和微软的Hyper-V等。虚拟整合则是将众多性能一般的计算机整合为一台性能出众的计算机，常见的有高性能计算系统等。虚拟迁移，可以使用户像使用本地资源一样使用异地物理资源，如远程桌面、网络共享目录等。虚拟化技术虚拟整合虚拟整合将多台物理服务器整合成一台大的逻辑服务器，使用户可以像使用同一台服务器的资源一样支配这些物理上独立的服务器，从而达到整合资源，提高总体性能的目的。虚拟化技术虚拟迁移虚拟迁移如将一台逻辑服务器中的闲置的一部分资源动态的加入到另一台逻辑服务器中，提高另一方的性能.Windows下的共享目录,Linux下的NFS等;可以共享磁盘资源。通过网络将本地资源供远程计算机使用,包括远程桌面等等。3.3.2.2 虚拟化形式常见的虚拟机化形式有：硬件虚拟化、逻辑虚拟化、软件虚拟化、应用虚拟化。硬件虚拟化硬件虚拟化：不需要操作系统支持，直接对硬件资源进行划分，任一分区内的操作系统和硬件故障不影响其他分区。代表：HP nPAR，主要用于大型机、小型机上的虚拟化。逻辑虚拟化逻辑虚拟化：不需要操作系统支持，在系统硬件和操作系统之间以软件和固件的形式存在，任一分区的操作系统故障不影响其他分区。代表：VMware ESX Server、Xen Server。软件虚拟化软件虚拟化：需要主操作系统支持，在主操作系统上运行一个虚拟层软件，可以安装多种客户操作系统，任何一个客户系统的故障不影响其他用户的操作系统，代表： VMware Workstation 和微软 Windows 2008 Hyper-V。应用虚拟化应用虚拟化：需要主操作系统支持，在单一操作系统上使用，在操作系统和应用之间运行虚拟层，任何一个应用包的故障不影响其他软件包。代表：Parallels Virtuozzo。3.3.3分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样。为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。传统基于虚拟化技术的“云计算”平台，可以实现虚拟机的迁移、容错等功能，但普遍依赖于共享存储。这样，就存在一个致命的隐患，即：共享存储一旦宕机，所有构建于共享存储之上的虚拟机都会宕机。为了解决这一问题，需要将云计算平台建构于分布式存储系统之上，实现数据的冗余。而基于块设备的分布式文件系统，也就成为构建云操作系统的基础。基于块设备的分布式文件系统，适用于大型的、海量数据吐出的云计算平台。它将客户数据冗余部署在大量廉价的普通存储上，通过并行和分布式计算技术，可以提供优秀的数据冗余功能。且由于采用了分布式并发数据处理技术，众多存储节点可以同时向用户提供高性能的数据存取服务，也保证数据传输的高效性。如下图所示，当客户端读取数据的时候，先与存储主机1，即存储索引服务器上通信，获取数据存放的存储节点机及各存放在各个存储节点机上数据块间的逻辑关系，然后，客户端与存储节点间建立通信，从存储节点机并发读取数据，提高了读取速率。主要由元数据服务器、存储设备和客户端组成。为了充分发挥存储网络的性能，分布式文件系统支持常见的存储网络，例如SAN、iSCSI、以太网等网络形态。关键技术如下：1）元数据组织技术元数据的逻辑组织结构如图8所示，可以分为三个部分：全局信息、文件节点信息（Fsnode）和块信息（Chunk）。系统拟采用树状数据结构存储文件节点信息，形成目录状的层次结构，每个文件节点包含若干块信息，这些块信息全部以链表的形式进行存储。图8 元数据组织形式在分布式文件系统中，元数据服务器是一个非常关键的组件，为了连续可靠的存储服务，一般设置一个备份服务器，实现元数据服务的在线容错，从整体上保证系统的可靠性。2）数据副本控制技术分布式文件系统支持一个文件的多份副本设置，这时如果某个存储服务器宕机，数据访问不会受到任何影响。图9展示了两个文件A和B在分布式文件系统中的分布情况，副本数目为2。分布式文件系统以多个固定大小的数据块（chunk）存储文件，因此大型文件将会分成几个数据块进行存储，这里数据块将会成为生成副本的最小单位。图中A文件被分成两块A1和A2，B文件被分成三块B1、B2和B3，其中每块都会存在两个副本。块的分布原则是不会在同一个存储服务器上存储相同的数据，因此一个块的副本总是分布在不同的存储上面。在这种情况下，无论哪个存储服务器宕机，都不会对文件的访问产生影响。数据副本的引入可以大大提高数据的可用性，对提高数据读取速度也有一定的提高。图9 文件在分布式文件系统中的分布情况3）数据访问控制流程技术分布式文件系统支持POSIX接口，多数操作属于元数据修改，比如POSIX文件属性修改。除此之外，最重要的两个操作是文件的读写操作，它们需要客户端与存储之间的直接交互才能完成。元数据服务器维护着文件到块的映射关系，充当客户端与存储交互的媒介。由于文件分块存储，元数据服务器可以一次性的返回多个存储位置的数据块供客户端读取，这样客户端就能充分利用存储网络的聚合带宽进行文件的IO操作，采用这种方式可以提供高速的读写操作，同时具备较高的吞吐量和较低的响应延迟。图10展示了分布式文件系统的读数据流程。首先客户端（client）向元数据服务器（metadata）查询数据块的物理位置，元数据服务器返回物理存储位置（storage）的信息（例如IP地址、端口以及相应的块号），然后客户端就可以直接与存储交互，完成数据的读取。图10 分布式文件系统的读数据流程图11 展示了分布式文件系统的写数据流程，写流程比读流程复杂一些。首先客户端向元数据服务器查询存储位置，元数据服务器选择合适的存储创建数据块，然后返回数据块的物理位置给客户端，客户端据此可以写入数据到存储的合适位置。如果需要多个副本，则由存储发送数据到其他设备，完成数据副本的创建。图11 分布式文件系统的写数据流程4）在线存储扩展技术元数据信息并未直接包含处于活动状态的存储信息，这些信息是由具体的块信息保存的。在运行时，一个块是否可用取决于存储它的存储设备是否可用以及块自身的完整性两个方面。这种信息组织方式允许在线扩展存储设备，而不影响当前的数据访问。一个新的存储设备加入系统，首先需要在元数据服务器上完成注册，通知系统可以提供存储服务。下一次IO请求元数据服务器就可以在新的设备上创建数据块，客户端也就可以透明的使用新加入的存储设备。3.3.4资源调度与节能云计算包含三种服务模式，即云SaaS、云PaaS、云IaaS，这三种服务模式，虽然面向客户提供的服务形态不同，但后台都具备资源多租户技术这一共同特征。即，基础资源的共享和流转，是不同应用模式下云计算特征的核心体现。云计算数据中心的突出特点，是具备大量的基础软硬件资源，实现了基础资源的规模化。但同时，如何提高这些资源的利用率，降低单位资源的成本，也是云计算平台供应商必须解决的问题。业务/资源调度中心可以实现资源的多用户共享，有效提高资源的利用率。且可以根据业务的负载情况，自动将资源调度到需要的地方。业务/资源调度中心是云操作系统的高级应用模式，也是云计算数据中心低碳、绿色的开展业务的必然要求。建设节约型社会，是经济社会可持续发展的物质基础，是保障经济安全和国家安全的重要举措。对于云计算数据中心，面对规模巨大的基础软、硬件资源，实现这些基础资源的绿色、节能运维管理，是资源供应商业务的必然需求，也是云计算发展的初衷之一。当前，业界普遍的情况，设备采购是以保证各项业务峰值需要为依据的。为此，用户往往采购了大量的设备。但实际运行过程中，设备负载普遍较低，通常仅在20%左右。特别在低负载时段，服务器的利用率更为低下。长期的低利用率，造成了大量资源的浪费和能源的无谓损耗。云计算数据中心，实现了资源的多租户应用。通过业务的历史统计信息，配合业务/资源调度管理，可以有效提高资源的利用率。在典型应用中，采用节能技术的云计算数据中心，可以将资源负载提高到80%，除去资源调度过程中的损耗，可以将资源的有效负载提高2倍。当前中国服务器保有量在200余万台，如果能够较为普遍的采用云计算节能技术，则可以降低65%左右的能源损耗。以服务器平均能耗200瓦/小时计，全年可节约160亿千瓦时的电能，相当于葛洲坝电站2009年全年的发电量。三、 云计算操作系统云计算操作系统，又称云计算中心操作系统、云OS，是云计算后台数据中心的整体管理运营系统，它是指构架于服务器、存储、网络等基础硬件资源和单机操作系统、中间件、数据库等基础软件管理海量的基础硬件、软资源之上的云平台综合管理系统。云计算操作系统定位于三层架构中的IaaS层，是沟通应用与资源的桥梁，可以整合计算、存储、网络三大物理资源成为一个有机的整体，进行统一、智能、灵活地管理、分配和调度。云计算操作系统有以下几个作用，一是治众如治寡，能管理和驱动海量服务器、存储等基础硬件，将一个数据中心的硬件资源逻辑上整合成一台服务器；二是为云应用软件提供统一、标准的接口；三是管理海量的计算任务以及资源调配；云计算操作系统是实现云计算的关键一步，从前端看，云计算用户能够通过网络按需获取资源，并按使用量付费，如同打开电灯用电，打开水龙头用水一样，接入即用；从后台看，云计算能够实现对各类异构软硬件基础资源的兼容，更要实现资源的动态流转，如西电东送，西气东输等。将静态、固定的硬件资源进行调度，形成资源池，云计算的两大基本功能就是云计算中心操作系统实现的，但是操作系统的重要作用远不止于此。传统意义上的操作系统，是指管理控制单台计算机中软件和硬件资源，并为用户提供操作界面的系统软件。而云操作系统，则是针对云计算数据中心的，是负责云计算数据中心基础软件、硬件资源管理监控的系统软件。云操作系统主要包括大规模基础软硬件管理、分布式文件系统、虚拟计算管理、安全控制管理、节能管理和业务/资源调度管理。1233.1、云计算操作系统的优势传统数据中心的应用部署如图所示。底层是资源层，中间是系统层，最上层是运行于操作系统上的各种应用程序。云数据中心是在传统数据中心的基础上，在资源层与系统层间增加了一层，即云计算操作系统。云计算操作系统在基础资源和系统层间搭建一座沟通的桥梁。与传统应用部署相比，云计算操作系统具有以下优势：1、资源管控集中化。通过专用操作系统统一管理云数据中心的各类计算、存储、网络资源，简化云数据中心复杂的管理工作。2、资源服务自助化。计算、存储、网络资源，以服务形式交付给终端用户使用，提升用户体验，符合云计算理念。3、资源使用透明化。用户业务对基础资源透明，有效屏蔽各种硬件故障，用户可以更加关注于业务，而无须关心资源及操作系统。4、资源流转智能化。实现资源动态流转。通过自动化调度策略，实现资源动态流转，有效降低总体拥有成本TCO。5、资源利用绿色化。通过自动化节能策略，有效降低云数据中心能耗，符合绿色低炭需要。3.2、云计算操作系统的系统结构云计算操作系统的系统结构如下图所示：1、最底层是基础资源，包括计算资源、存储资源和网络资源。基础资源是整个云计算操作系统的基础，也是云数据中心的组成部分。2、基础资源之上的是虚拟化层。虚拟化层采用虚拟化技术对计算资源、存储、网络资源进行虚拟、仿真和映射，形成虚拟资源，虚拟化层建立了物理资源与虚拟资源的对应关系。3、虚拟化层之上的是控制层，控制层协调虚拟资源间的相互关系，包括控制虚拟处理器间的同步，协作，控制虚拟内存的分配，调度，控制虚拟存储空间的分配，数据读写。控制层驱动即包括本地驱动，又包括后端驱动。本地驱动即是提供对物理硬件的支持，由控制层创建的虚拟机通过后端驱动与实际物理资源交互。4、控制层之上的是，控制层创建的虚拟资源，通过前端驱动与控制层的后端驱动交互实现读写物理资源。5、顶层是应用层，即部署在控制层所创建虚机上的业务。3.3、云计算操作系统的功能3.3.1资源管理功能云计算操作系统通过构建资源池来实现对大规模基础资源有效、统一的管理。主要负责大规模基础软件、硬件资源的监控和管理，为云操作系统的资源调度等高级应用提供了决策信息，是云操作系统的资源管理的基础。基础软件资源，包括单机操作系统、中间件、数据库等。基础硬件资源，则包括网络环境下的三大主要设备，即：计算（服务器）、存储（存储设备）和网络（交换机、路由器等设备）。图3.1基础监控的位置与作用资源管理的应有特点a) 支持异构软、硬件平台：不同厂商、不同架构。支持不同厂商的基础软、硬件资源；支持不同体系结构的软、硬件资源；支持不同时期的软、硬件资源；b) 涵盖计算、存储、网络三大类资源。计算资源：包括物理计算资源和虚拟计算资源 ；存储资源： 本地存储、共享存储、分布式存储；网络资源： 网络设备、IP资源。c) 单机管理。硬件信息：CPU、内存、硬盘、网口等型号、容量等信息；软件信息：操作系统类型，版本等信息；进程与服务：可以查看当前的进程与服务信息；性能信息：可以查看当前计算机CPU、内存、硬盘等的利用率，可以查看网络流量。远程控制：可以实现远程开机、关机、重启等电源控制，可以实现远程计算机重定向控制。异常告警：在系统硬件、负载出现异常时，可以触发告警。性能统计分析：可以对计算机的CPU、内存、硬盘等的负载和网络流量做长期的统计分析。d) 资源整合。以整体的视角整合计算、存储、网络三类资源，即将计算资源（包括物理计算资源和虚拟计算资源）、存储资源、网络资源以整体池化的形式对外展示。用户看到的资源，不再是具体的单机资源，而是面向数据中心的整合的资源，即数据中心整体的计算核数，整体的存储空间和整体的网络带宽等。资源整合后，对外提供资源获取统一接口，系统使用由资源池提供的统一接口获取基础资源信息数据。物理资源与资源池的一致性，则通过利用同步机制来确保。e) 基于群组的层级管理：资源群组化，更加智能。资源按内容、位置等划分成不同的组，通过组内各节点信息获取整个群组的信息：群组总资产、平均负载。基于群组制定告警、调度、节能策略，群组的资产、负载数据更具参考价值。3.3.2在线迁移功能1.硬件资源的不间断维护、升级当计算节点出现硬件异常需要关机维护，或者需要更新、升级时，可通过手动调度，将需要维护、升级的计算节点上的业务迁移到其他计算节点，维护、升级完成以后，再将业务重新迁回来，整个过程，业务照常运行。实现业务不停止下的资源进化。2.资源池计算节点的动态扩充当资源池中资源利用率整体过高，无法满足应用需求时，可在不中断系统原有计算节点的条件下，新增计算节点到资源池中。实现资源池的动态扩充，满足用户业务对资源量的需求的不断变化。3.3.3智能的资源调度与节能功能资源调度是将虚拟计算资源分布按一定的方式自动分布于物理计算资源上，完成云计算环境下的计算资源整合，实现计算资源的按需分配和资源池动态伸缩。主要功能包含以下三个方面。1）分配与回收资源l 可通过云端申请与使用计算资源（虚拟机）、存储资源(共享或分布式存储)、网络资源（虚拟局域网、IP资源等）； l 云计算中心为云端请求自动分配计算、存储、网络三大资源； l 云端释放资源时，云计算中心自动回收资源，并进行必要的垃圾清理； l 支持云端用户实时查看所拥有的各类资源配置、性能、工作状态等，支持根据业务类型对资源进行有效管理。2）调整计算资源 l 系统拥有完善的调度策略与学习机制，自动发现与应用虚拟资源和物理资源间的关联关系； l 根据物理资源的负载、虚拟度、业务关联度等指标，在业务不中断的前提下自动调整虚拟资源在物理资源上的分布； l 自动发现设备异常、人为误操作、周围环境变化等信息，并实时作用至调度过程中，以便进行必要的处理； l 资源调度结合HA、容错、数据分布存储与备份等技术，使系统具有极高的可靠性。 3）控制系统能耗 l 通过扫描系统负载、虚拟度等信息，自动触发节能请求； l 节能时自动模拟节能后系统的状态，计算出最佳节能方案； l 自动整合虚拟资源，关闭部分物理资源，以降低系统功耗； l 系统资源紧张时，自动开启新的物理资源； l 与固定资源池不同，内部采用活动（或活性）资源池控制技术。调度服务的特点可以归纳为以下几个方面：a) 资源按需分配：可按资源租户的需求分配虚拟计算资源。b) 资源池动态伸缩：根据系统负载情况自动启动与禁用物理计算资源。c) 资源同步控制：支持基于共享锁与排它锁对资源进行控制。d) 垃圾清理控制：清理过期的请求或任务。e) 调整资源分布：依据虚拟计算资源对物理资源的需求动态调整其在物理资源上的分布。XX门户，在线用户数量、开启物理服务器数量随时间变化关系如下图所示，服务器平均能耗200瓦/小时计，电费按0.8元/度计算，机器数量与能耗、电费的关系如下表所示：使用模式机器数量能耗电费传统模式10001,752,000,000W*时1,401,600,000 元虚拟机技术200350,400,000W*时280,320,000 元云计算200146,730,000W*时117,384,000 元通过使用虚拟机技术，相对于传统纯粹使用物理机的方式，节省80%的资源投入、能耗及费用，而使用云计算节能技术相对于传统纯粹使用物理机的方式，节省了80%资源投入，90%的能耗及费用。3.3.4快速的业务部署功能根据用户应用对资源的需求，可一次性创建多个业务，方便用户实现快速部署应用，有效节约人力成本。实现业务的批量部署的同时，可实现业务的快速自制。l 快速复制通过已有的虚拟机存储镜像为模板，可以快速的任一台或多台物理服务器上部署与该虚拟机相同的虚拟机，部署过后的虚拟机拥有与模板虚拟机相同的硬件配置和相同的应用软件部署。该过程可以在多台物理服务器上同时进行，降低部署时间。该过程的示意图如下图所示。图3.13 虚拟机快速部署示意图3.3.5业务HA（High Available 高可用）功能当因计算节点故障，导致业务停止运行时，资源池会在较短时间内感知计算节点和业务的运行状态，将业务重新在其他计算节点上重启，确认业务的持续运行。如图3.14所示，计算节点一未出现故障停机前，计算节点一上运行着业务A和业务B，计算节点二上运行着业务C，计算节点三上运行着业务D。图3.14 计算节点一发生故障前业务分布计算节点一出现故障意外停机后，系统自动检测到计算节点一出现故障，系统根据计算节点二，计算节点三的负载情况，在几分钟内，在计算节点二上重新开启业务A，在计算节点三上开启业务B，如图3.15所示。图3.15 计算节点一发生故障后业务分布3.3.6分布式存储功能存储功能的设计目标是虚拟机及其上应用保存在分布式文件系统之上，采用容错、高并发I/O等机制，保证了存储的高效率、高可靠性及PB级海量存储。传统基于虚拟化技术的“云计算”平台，可以实现虚拟机的迁移、容错等功能，但普遍依赖于共享存储。这样，就存在一个致命的隐患，即：共享存储一旦宕机，所有构建于共享存储之上的虚拟机都会宕机。为