H3Cloud云计算管理平台项目建议书.docx

h3cloud云计算管理平台技术方案h3c2014年9月一、需求分析二、云计算管理平台整体架构云计算管理平台整体架构图如下图所示：图1.云管理平台整体架构图整体分为六大部分：1、物理层物理层包括运行云管理平台运行所需的云数据中心机房运行环境，以及计算、存储、网络、安全等设备。云中心机房的部署按照分区设计，主要分为数据库区、业务应用区、存储区、系统管理区、网络出口区和安全缓冲区等区域。2、资源抽象与控制层资源抽象与控制层通过虚拟化技术，负责对底层硬件资源进行抽象，对底层硬件故障进行屏蔽，统一调度计算、存储、网络、安全资源池。其核心是虚拟化内核，该内核提供主机cpu、内存、io的虚拟化 ，通过共享文件系统保证云主机的迁移、ha集群和动态资源调度。同时通过分布式交换机实现多租户的虚拟化层的网络隔离。在存储资源池的构建上，采用分布式存储技术，实现对服务硬盘的虚拟化整合，并通过多副本（3-5份）技术保证存储数据的高可靠。3、云服务层云服务层提供iaas层云服务：iaas服务：包括云主机、云存储（云数据盘、对象存储）、云数据库服务、云防火墙、云负载均衡和云网络（租户子网/ip/域名等）。iaas层服务向paas层、saas层提供开放api接口调用。云服务通过自助服务门户，向租户提供自助的线上全流程自动化交付。用户可以在自助服务门户上进行服务的申请，完成审批后相应的云资源将会交付给用户远程控制使用。4、云安全防护云安全防护为物理层、资源抽象与控制层、云服务层提供全方位的安全防护，包括防ddos攻击、漏洞扫描、主机防御、网站防御、租户隔离、认证与审计、数据安全等模块。5、云运维层此模块为云平台运维管理员提供设备管理、配置管理、镜像管理、备份管理、日志管理、监控与报表等，满足云平台的日常运营维护需求。6、云服务管理此模块主要面向云管理员，对云平台提供给租户的云服务进行配置与管理，包括服务目录的发布，组织架构的定义，租户管理、云业务流程定制设计以及资源的配额与计费策略定义等。2.1物理层总体设计基础设施层拓扑如下：图 云计算数据中心拓扑图物理资源层应包括运行云平台所需的机房运行环境，以及计算、存储和网络等设备。主要分为业务应用区、云数据库区、备份存储区、管理和服务区、核心交换区和云安全访问控制区。物理组网示意图，如下图所示：图表物理组网示意图实际组网拓扑如下图所示：图表实际组网拓扑2.1.1云平台的互联网出口介绍根据项目情况取舍2.1.2业务应用区主要用于部署承载业务应用的物理服务器，通过提供大内存性物理服务器，配置为2路intel xeone5-2620 cpu（6核，主频2.0ghz），内存96gb，硬盘2*300g sas+6*900g sas，2g高速缓存，作为计算单元，同时，利用服务器本地硬盘，结合h3c vstor零存储解决方案来满足业务应用的存储需求，物理组网示意图如下图所示：图表 业务应用区如图所示组网，单台物理服务器分别连接四个不同的网络：1、业务网络：服务器网卡上联h3c s5820v2接入交换机，提供业务数据访问网络；2、管理网络：服务器网卡上联h3c s5120hi接入交换机，通过系统管理区相应管理软件实现虚拟化平台管理、网络管理、h3c csm管理等；3、存储网络：通过连接h3c s6300万兆电口接入交换机，实现不同区域不同物理主机之间存储网络的互通；4、服务器带外管理网络：通过服务器带外管理ilo口上联h3c s5120hi交换机，形成跨交换机带外管理网络集群，方便运维人员以服务器集群为单位对硬件进行统一管理配置。2.1.3管理和服务区部署云管理平台、网络管理平台、虚拟化管理平台等管理服务器，硬件同样采用大内存性2路物理服务器，通过对云管理平台、网络管理平台、虚拟化管理平台等软件的部署，实现对底层资源的合理管控，保障业务运行的可靠性、可用性，合理的分配资源，通过自动化的运维管理，提升客户it人员的运维管理效率，物理组网如下图所示：vswitchvmvmvmdiskh3c cvm双机集群h3c csm双机集群vswitchvmvmvmdiskvswitchvmvmvmdiskvswitchvmvmvmdisk云服务管理集群网络接入l 数据库管理l h3c云管理平台l openstack计算管理节点l 对象存储管理图表 物理组网图从业务管理可靠性来分析，系统管理区各管理平台部署分为两大类，硬件支撑系统和虚拟支撑系统。硬件支撑系统主要是考虑到业务管理平台的重要性和可靠性，故直接采用物理服务器作为支撑平台，包括：1、h3c cvm双机集群：通过cvm主机实现对虚机的管理运维，采用双机热备的形式，保证cvm管理平台的可靠性2、h3c csm双机集群：通过csm主机实现对大云平台的管理运维，采用双机热备的形式，保证csm管理平台的可靠性虚机支撑系统是指在虚拟化环境下，直接将管理平台部署在虚机上，建立统一的云服务管理集群，通过虚拟化软件来保证各管理平台的可靠性，在这个集群内主要运行以下几个系统： 数据库管理：主要内容包括数据库的建立、调整、重构、安全控制、完整性控制和对用户提供技术支持。 h3c云管理平台：实现网络拓扑、故障、性能、配置、安全等管理功能。 openstack计算管理节点：对下层虚拟化计算资源进行管理调度。 对象存储管理：静态数据的存储、检索、预览，数据的持久性和可扩展性管理。2.1.4云数据库区部署承载数据库服务的物理服务器，对于部分高性能数据库可直接部署在物理主机上，通过配置4路intel xeon e5-4620 cpu（核数8核，主频2.2ghz），64g内存，2*300gb硬盘的高性能物理服务器，来满足客户对于数据库系统的承载需求。对于性能要求不高的数据库服务，以虚拟机方式部署交付。数据库服务区通过部署高性能的fc存储，来满足客户关键业务的数据存储以及对数据，物理组网如下图所示：图表 云数据库区2.1.5备份存储区通过部署高性能存储设备以及专业的备份管理软件，实现对云主机&云存储区以及云数据库区的数据的备份，保障业务数据的高可靠性，物理组网如下图所示：图表 备份存储区组网拓扑采用1台物理服务器作为备份管理服务器，利用h3c flexstorage p5730存储作为数据备份介质。h3c flexstorage p5730存储是一款横向扩展存储平台，专为满足虚拟化环境不断变化的需求而设计。它提供了完美的解决方案：可满足高可用性、数据移动性、灾难恢复、可管理性及升级等方面的需求。借助本身的企业级存储软件功能和领先的虚拟化软件集成，flexstorage可为各个阶段的虚拟化增长提供支持。直观、普遍的管理方式简化了存储管理。此外，flexstorage还支持数据跨不同层、位置以及在物理和虚拟存储之间移动，为用户的虚拟化环境提供了完美的应用。h3c flexstorage p5730是一款专门为客户设计的机架式ip存储产品，通过全面的企业特性组合帮助物理和虚拟环境降低san成本， 通过建立存储集群和网络raid，通过网络raid可在存储系统内的raid磁盘组出现故障、整个存储系统出现故障或者出现网络或电源等方面的外部故障时提供保护 可扩展的性能，无中断式升级 集中的管理控制台 快照、远程拷贝可降低灾难恢复的成本2.1.6核心交换区通过物理网络设备n:1虚拟化技术，简化生成树协议的部署，实现云数据中心内的大二层网络互通，为云主机的自动化迁移与调度提供环境支撑。同时在核心层旁挂lb，对各分区进行安全访问控制,物理组网如下图所示，图表 核心交换区核心交换区的主要功能是完成各服务器功能分区、广域网、互联网之间数据流量的高速交换，是广域/局域纵向流量与服务功能分区间横向流量的交汇点。核心交换区必须具备高速转发的能力，同时还需要有很强的扩展能力，以便应对未来业务的快速增长。如图所示，核心区由h3c s12510-x组成。使用链路聚合技术合并多个10ge端口，提供两交换机之间的连通性。核心区交换机连接到所有其他区的边缘设备，既可以是一对ha方式的交换机，也可以是一对ha方式的防火墙。有两类连接到核心，一类是来自交换机（比如业务系统服务器区）的连接，另一类是用防火墙连接（互联网接入区）。每个区边缘交换机都上行连接到core-sw1和core-sw2。每个区交换机将使用单独的vlan，vlan跨越两个交换机，上行连接到核心。成对且以高可用性方式部署的防火墙将有一个vlan，这个vlan跨越两个核心交换机上行连接，并每个都连接到一个核心。每个上行连接vlan都在两个交换机中配置。同时，在核心接入交换机旁挂lb负载均衡设备，支持全面的四至七层负载均衡和链路负载均衡功能，支持ipv6 基础特性及ipv6的负载均衡，并配合云数据中心实现虚拟化环境下针对关键业务的动态资源扩展，动态应对突发业务访问量所带来的资源瓶颈，提高业务运维的效率。2.1.7云安全访问控制区此区域是逻辑区域，用于部署与互联网公有云、广域网接入区进行数据交互的安全隔离设备，确保数据访问安全，包括设置网络隔离、防ddos攻击设备、防火墙、ips、端口安全检测等。保证物理网络安全性的同时，通过虚拟化技术，实现在虚拟化环境下数据访问的安全控制，物理组网如下图所示：图表 云安全访问控制区此区域实现的功能：1、ddos流量清洗：对进入云数据中心的数据流量进行实时监控，及时发现包括dos攻击在内的异常流量。在不影响正常业务的前提下，清洗掉异常流量。有效满足用户对云数据中心运作连续性的要求。同时通过时间通告、分析报表等服务内容提升用户网络流量的可见性和安全状况的清晰性。2、访问控制：利用防火墙实现云数据中心的整体安全防护；同时为每个申请安全服务的租户提供独立的vfw服务，实现租户业务的隔离需求。3、入侵防御：通过secblade ips插卡，可为数据中心内部提供了更坚固的安全保护机制。通过ips的深度检测功能可以有效保护内部服务器避免受到病毒、蠕虫、程序漏洞等来自应用层的安全威胁。2.1.8物理设备选型原则根据实际业务需求和上述配置原则，物理设备选型遵循以下要求：物理服务器的选型：1) 常规大内存型应用，主要用于承载业务系统的云主机服务，采用2路cpu服务器，cpu核数6核，配置e5-2620及以上的cpu；内存96g；2) 高计算型应用，主要用于数据库服务等，采用4路cpu服务器，cpu核数8核，配置e5-4620及以上的cpu；内存64g；数据库区fc存储选型：1) 存储设备支持：fc光纤通道存储设备2) 支持数据分层存储，可以在ssd、15k、10k、7.2k硬盘之间动态迁移数据；3) 单台阵列要求配置2个san存储节点或控制器；4) 实际配置前端口4个；后端口速率6gb sas接口；配置10k rpm 900 sas硬盘，容量60tb备份ip存储选型：1) 配置90t总容量；存储阵列支持无限个lun，每卷支持无限个快照；2) 本次配置4个控制器，所配磁盘阵列可在线扩展至32个控制器，不会导致业务中断；3) 支持跨存储设备的raid0/1/5/6/10；分布式存储选型：1) 支持2-5个数据副本，存储最大容量可扩展至1pb以上；2) 支持最大256个节点，支持存储节点容错，任意一个存储节点发生故障，都不会导致数据丢失；3) 扩容新增存储节点时，原有数据自动重新分布，按负载均衡原则分布到新增存储空间中。4) 配置400t 容量网络设备选型：1) 核心交换机：交换容量17.5tbps，包转发率5000mpps；采用主控引擎、交换引擎、接口单元硬件槽位分离的全分布式架构；支持1:n、n:1、纵向虚拟化；支持云中心大二层互联技术。2) 服务器千兆接入交换机，交换容量300gbps，转发性能160mpps。3) 服务器万兆接入交换机，交换容量1200gbps，转发性能700mpps；支持802.1qbg标准协议；支持全万兆线速转发，40ge上连。4) 负载均衡，支持全面的四至七层负载均衡和链路负载均衡功能，支持ipv6 基础特性及ipv6的负载均衡。5) 防火墙，采用核心交换机相同的架构，支持n:1安全集群来统一配置管理；支持虚拟防火墙功能，支持ipv6基础特性。6) 入侵防御，通过国际权威安全组织（通用漏洞披露组织）兼容性认证，支持深入七层的分析检测技术，并能主动防御。2.2资源抽象和控制层2.2.1计算资源池设计服务器是云计算平台的核心，其承担着云计算平台的“计算”功能。对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种云主机的方式被不同的应用和不同用户使用。在x86系列的服务器上，其主要是以h3cloud云主机的形式存在。后续的方案描述中，都以云主机进行描述，如下为h3c虚拟化软件的构成。 cvk：cloud virtualization kernel，虚拟化内核平台运行在基础设施层和上层操作系统之间的“元”操作系统，用于协调上层操作系统对底层硬件资源的访问，减轻软件对硬件设备以及驱动的依赖性，同时对虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等问题进行加固处理。 cvm：cloud virtualization manager，虚拟化管理系统主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化，形成虚拟资源池，对上层应用提供自动化服务。其业务范围包括：虚拟计算、虚拟网络、虚拟存储、高可靠性（ha）、动态资源调度（drs）、云主机容灾与备份、云主机模板管理、集群文件系统、虚拟交换机策略等。采用h3c的cas虚拟化平台对多台服务器虚拟化后，连接到共享存储，构建成计算资源池，通过网络按需为用户提供计算资源服务。同一个资源池内的云主机可在资源池内的物理服务器上动态漂移，实现资源的动态调配。cas产品逻辑架构图如下所示：图表 cas产品逻辑架构计算资源池的构建可以采用以下四个步骤完成：计算资源池分类设计、主机池设计、集群设计、云主机设计四个部分完成。1）计算资源池分类设计在搭建服务器资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。归类的标准通常是根据服务器的cpu类型、型号、配置、物理位置和用途来决定。对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器比如相近型号、物理距离不远的机架式服务器。在做资源池规划的时候，也需要考虑其规模和功用。如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。但是同时，太大的规模也会给出口网络吞吐带来更大的压力，各个不同应用之间的干扰也会更大。初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、用户内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。在云计算平台搭建的初期，那些目前正在为业务系统服务的服务器并不会直接被纳入云计算平台的管辖。但是随着云计算平台的上线和业务系统的逐渐迁移，这些服务器也将逐渐地被并入云计算平台的资源池中。针对用户的需要，我们按照用途将云计算资源池划分为云主机&云存储区资源池、管理和服务区资源池，以便云计算平台项目实施过程以及平台上线以后运维过程中使用。在云计算平台搭建完毕以后，服务器资源池可以如下图所示：图表 云计算资源池h3c cvm虚拟化管理平台体系将云计算资源池的物理服务器资源以树形结构进行组织管理，云资源中的被管理对象之间的关系可以用下图描述：图表 云资源对象关系2） 主机池设计完成在云计算软件体系架构中，主机池是一系列主机和集群的集合体，主机可纳入群集中，也可单独存在。没有加入集群的主机全部在主机池中进行管理。3）集群设计集群目的是使用户可以像管理单个实体一样轻松地管理多个主机和云主机，从而降低管理的复杂度，同时，通过定时对集群内的主机和云主机状态进行监测，如果一台服务器主机出现故障，运行于这台主机上的所有云主机都可以在集群中的其它主机上重新启动，保证了数据中心业务的连续性。4）云主机设计每台云主机都是一个完整的系统，它具有cpu、内存、网络设备、存储设备和 bios，因此操作系统和应用程序在云主机中的运行方式与它们在物理服务器上的运行方式没有任何区别。与物理服务器相比，云主机具有如下优势： 在标准的 x86 物理服务器上运行。 可访问物理服务器的所有资源（如 cpu、内存、磁盘、网络设备和外围设备），任何应用程序都可以在云主机中运行。 默认情况，云主机之间完全隔离，从而实现安全的数据处理、网络连接和数据存储。 可与其它云主机共存于同一台物理服务器，从而达到充分利用硬件资源的目的。 云主机镜像文件与应用程序都可以封装于文件之中，通过简单的文件复制便可实现云主机的部署、备份以及还原。 具有可移动的灵巧特点，可以便捷地将整个云主机系统（包括虚拟硬件、操作系统和配置好的应用程序）在不同的物理服务器之间进行迁移，甚至还可以在云主机正在运行的情况下进行迁移。 可将分布式资源管理与高可用性结合到一起，从而为应用程序提供比静态物理基础架构更高的服务优先级别。 可作为即插即用的虚拟工具（包含整套虚拟硬件、操作系统和配置好的应用程序）进行构建和分发，从而实现快速部署。在计算资源池中，一般物理服务器与云主机的整合比平均不超过1:8、单台物理服务器上所有云主机vcpu之和不超过物理机总内核的1.5倍、单台物理服务器上所有云主机内存之和不超过物理内存的120%。在构建完计算资源池后，软件本身还需要保证整个计算资源池及应用的易用性和可靠性，h3ccas虚拟化软件通过以下技术实现可用性和可靠性的要求：5）云主机模板设计云主机模板包括云主机的vcpu、内存等参数，主机根据主要应用系统负载量的不同提供不同的规格。在采用云计算来向用户交付服务时，用户通过云门户自助申请的it服务资源就是业务应用模板，因此需要提前设计好相应的it服务模板向云门户发布，当用户申请该服务时，云平台根据模板进行资源编排，快速生成云主机相关资源交付给用户使用。6） 高可用性设计高可用性包括两个方面：1.云主机之间的隔离：每个云主机之间可以做到隔离保护，其中一个云主机发生故障不会影响同一个物理机上的其他云主机；2.物理机发生故障不会影响应用：故障物理机上运行的云主机可被自动迁移接管，即云主机可以在同一集群内的多台服务器之间进行迁移，从而实现多台物理服务器的之间的相互热备，实现当其中一个物理服务器发生故障时，自动将其上面的云主机切换到其他的服务器，应用在物理机宕机情况下保证零停机。h3c cas虚拟化平台 ha功能会监控该集群下所有的主机和物理主机内运行的虚拟主机。当物理主机发生故障，出现宕机时，ha功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的云主机。当某一发生故障时，ha功能也会自动的将该云主机重新启动来恢复中断的业务。7）动态资源调度动态资源调度功能可以持续不断地监控计算资源池的各物理主机的利用率，并能够根据用户业务的实际需要，智能地在计算资源池各物理主机间给虚拟机分配所需的计算资源。通过自动的动态分配和平衡计算资源，动态资源调整特性能够：整合服务器，降低it成本，增强灵活性；减少停机时间，保持业务的持续性和稳定性；减少需要运行服务器的数量，提高能源的利用率。动态资源调度功能组件可以自动并持续地平衡计算资源池中的容量，可以动态的将云主机迁移到有更多可用计算资源的主机上，以满足虚拟机对计算资源的需求。即便大量运行sql server的虚拟机，只要开启了动态资源调整功能，就不必再对cpu和内存的瓶颈进行一一监测。全自动化的资源分配和负载平衡功能，也可以显著地提升数据中心内计算资源的利用效率，降低数据中心的成本与运营费用。如上图所示，动态资源调整功能通过心跳机制，定时监测集群内主机的cpu利用率，并根据用户自定义的规则来判断是否需要为该主机在集群内寻找有更多可用资源的主机，以将该主机上的云主机迁移到另外一台具有更多合适资源的服务器上。8） 动态资源扩展特性计算虚拟化简化了部署业务服务器的流程和具体工作，极大的缩短了新业务服务器的部署周期，使得通过快速增减业务服务器来应对业务访问量的突发性变化成为可能。因此，部署了云业务环境的用户开始考虑采用动态部署方式来应对业务访问的突发性需求。但采用动态资源部署方式的一个不能忽略的前提是：it管理人员能够对业务访问量的突发性变化具备很强的敏感性，并且能够迅速采取应对措施。但当前的it基础架构中，业务负载监控平台、虚拟服务器管理平台和业务分发的系统之间往往是割裂的，没有整合形成统一方案。it管理人员在感知到业务访问变化时，只能通过手工进行虚拟服务器的增减和在业务分发系统的相应配置。这无疑缺乏灵活性且效率低下。针对这些需求，h3c cas虚拟化平台可以实现面向应用的云动态资源扩展解决方案drx，如下图所示。h3c 虚拟化管理系统能够监测到业务所在云主机性能不足，并将云主机进行快速复制，配合负载均衡设备对外提供服务，当访问高峰过后，虚拟化管理系统能够动态的收缩，删除过剩的云主机，从而实现计算资源随需而动。图表 动态资源扩展示实现原理2.2.2存储资源池构建在云计算管理平台的建设中，存储资源池设计采用了h3c虚拟化存储san技术也就是vstor，也称零存储。vstor融合了计算虚拟化和存储虚拟化，将计算和存储聚合到一个硬件平台，形成可横向扩展（scale-out）的云计算基础架构。在业务应用区部署零存储方案，运行在这种架构上的云主机不仅能够象传统层次架构那样支持vmotion、drs、快照等，而且数据不再经过一个复杂的网络传递，性能得到显著提高。由于不再需要集中共享存储设备，整个云平台基础架构得以扁平化，大大简化了it运维和管理。利用零存储技术方案构建云平台存储资源池，有效利用服务器资源，降低能源消耗，帮助政府实现it环境的节能减排。零存储技术方案的逻辑架构如下图所示。这种架构的基本单元是部署了虚拟化系统的x86标准服务器。在提供虚拟计算资源的同时，服务器上的空闲磁盘空间被组织起来形成一个统一的虚拟共享存储：虚拟存储系统。虚拟化存储在功能上与独立共享存储完全一致；同时由于存储与计算完全融合在一个硬件平台上，无需象以往那样购买连接计算服务器和存储设备的专用san网络设备（fc san或者iscsi san）。图表 虚拟化存储解决方案示意图虚拟化存储方案技术实现方案如下：1) 分布式lun设计在虚拟化存储架构中，每台服务器同时也是一个存储节点。除了安装平台软件的系统盘外，每个节点上的其他所有磁盘空间（包括系统盘的剩余分区）都能被用于虚拟化存储。虚拟化存储会使整个lun尽量均匀分布在所管理的全部节点和物理磁盘上，这样的设计使得对lun的i/o操作能利用整个系统中全部节点和磁盘的性能。当管理员创建一个lun时，虚拟化存储并不会马上为该lun分配实际的物理存储空间，而是采用精简模式，在有数据写入的时候才分配存储空间。精简模式使用户在存储空间有限时，能按未来的业务发展需要提前规划lun的容量。2) 高可用性设计用户可以根据业务需要为数据设置副本数量。虚拟化存储支持用户为每个lun设置2到5个副本，并且使得不同的副本分布在不同的服务器和物理磁盘上，从而提供最大的容错性。当一个服务器故障，甚至多台服务器故障时，虚拟化存储仍能正常工作，而且数据不丢失3) 高性能设计虚拟化存储采用分布式系统设计，其存储容量和性能随着服务器节点的增加而线性增加。由于每个lun都横跨全部节点服务器和物理磁盘，所以每个lun都可以利用全部服务器和物理磁盘的性能，从而提供比传统存储更高的性能。下面图示显示虚拟化存储的iops和吞吐能力随节点服务器数量的增加而线性增加的状态。图表 iops随着节点的增加线性增加此外，不同于传统raid以专用空闲磁盘作为热备，虚拟化存储由系统自动提供热备空间，并且将热备空间均匀分布在全部物理磁盘上。这样当数据重构启动后，全部节点服务器及物理磁盘都可以参与重构从而实现最佳的重构效率。可以在每个服务器节点上配置raid卡缓存来增强i/o性能，根据存储容量的不同可以配置容量不等的raid卡缓存。在追求更高性能的时候，还可以在每台服务器上配置ssd固态硬盘作为热点数据高速缓存。4) 自动化管理设计虚拟化存储采用无中心架构，每个节点服务器的角色完全一样，这样用户无需象传统分布式存储系统那样管理元数据服务器。而且整个虚拟存储系统的元数据采用分布式设计，由系统自动管理，无需人工干预。当系统扩容时（比如增加物理磁盘或者增加服务器节点），用户只需几条简单命令（通过命令行或者图形化管理界面）将物理部件加入集群，系统上原有的数据将自动重新均衡，原有lun将自动扩展到新的物理设备上。虚拟化存储具备强大的自愈能力，一般硬件故障无需人工干预。物理磁盘或者服务器节点故障后，系统可在数秒内自愈，自动恢复业务。5) 按需扩展虚拟化存储是一种可横向扩展（scale-out）的分布式架构，当云平台需要更多计算和存储资源时，只需以服务器为单位进行扩容，即能实现计算与存储资源的同步扩展，而无需象传统存储阵列那样，哪怕是扩容一个硬盘，也需要再购买整套存储设备。采用每次增加一台节点服务器的扩容方案，虚拟化存储存储容量可从几个tb逐步扩展到几千tb。新加入的节点服务器将在业务不中断的情况下，自动纳入统一资源池，极大缩短扩容部署时间。6) 管理简便虚拟化存储系统采用采用无中心分布式架构，无需人为设置管理节点，从而避免了传统集群存储系统复杂的元数据服务器管理。系统具备强大的自愈能力，一般硬件故障无需人工干预。一个节点故障后，系统能自动自愈，用户只需选择合适的时间窗口更换故障件即可使整个系统恢复到原样。当增加一个服务器节点时，无需中断业务，该节点的存储空间将自动纳入整个系统，系统中已有的数据将自动重新均衡分布。这一切都无需人工干预。由于整个系统具备强大的自我管理能力，用户在使用虚拟化存储提供的存储资源时，只需简单的创建、删除存储资源（iscsitarget、lun），查看存储资源使用情况，以及通过日志了解系统运行状况，管理十分方便。2.2.3网络资源池构建服务器虚拟化技术的出现使得计算服务提供不再以主机为基础，而是以云主机为单位来提供，同时为了满足同一物理服务器内云主机之间的数据交换需求，服务器内部引入了网络功能部件虚拟交换机vswitch（virtual switch），如下图所示，虚拟交换机提供了云主机之间、云主机与外部网络之间的通讯能力。ieee的802.1标准中，正式将“虚拟交换机”命名为“virtual ethernet bridge”，简称veb，或称vswitch。图表 云主机交换网络架构vswitch的引入，给云平台基础网络的运行带来了以下两大问题：云主机的不可感知性问题物理服务器与网络的连接是通过链路状态来体现的，但是当服务器被虚拟化后，一个主机内同时运行大量的云主机，而此前的网络面对这些云主机的创建与迁移、故障与恢复等运行状态完全不感知，同时对云主机也无法进行实时网络定位，当云主机迁移时网络配置也无法进行实时地跟随，虽然有些数据镜像、分析侦测技术可以局部感知云主机的变化，但总体而言目前的云主机交换网络架构无法满足虚拟化技术对网络服务提出的要求。为了解决上述问题，本次方案的解决思路是将云主机的所有流量都引至外部接入交换机，也就是华三的vepa方案，此方案将所有的流量均经过物理交换机，因此与云主机相关的流量监控、访问控制策略和网络配置迁移问题均能在物理交换机上得到很好的解决，此方案最典型的代表是evb标准。802.1qbg edge virtual bridging（evb）是由h3c制定一个新标准，现已提交ieee 802.1工作组，并成为国际通用标准，主要用于解决vswitch的上述局限性，其核心思想是：将云主机产生的网络流量全部交给与服务器相连的物理交换机进行处理，即使同一台物理服务器云主机间的流量，也将发往外部物理交换机进行查表处理，之后再180度调头返回到物理服务器，形成了所谓的“发卡弯”转发模式，如下图所示：图表 evb/vepa基本架构evb标准中定义了云主机与网络之间的关联标准协议，使得云主机在变更与迁移时通告网络及网管系统，从而可以借助此标准实现数据中心全网范围的网络配置变更自动化工作，使得大规模的云主机云计算服务运营部署自动化能够实现。将支持evb的vswitch嵌入虚拟化软件，是为云平台基础架构提供最优化的虚拟化管理技术方案，该产品通过将云平台it资源的整合，不仅能够达到提高服务器利用率和降低整体拥有成本的目的，而且能简化劳动密集型和资源密集型it操作，显著提高系统管理员的工作效率。多租户的隔离问题由于云主机及服务器数量的增多，网络技术方案需要保证多个租户使用的资源能够有效的隔离，华三以overlay的虚拟化方式用来支撑云与虚拟化的建设要求，并实现更大规模的多租户能力。overlay的本质是l2 over ip的隧道技术，华三相应的技术方案称为vxlan，目前在服务器的vswitch、物理网络上技术框架已经就绪。vxlan网络架构有多种实现，就纯大二层的实现，可分为主机实现方式和网络实现方式；而在最终实现vxlan与网络外部数据连通的连接方式上，则有多种实现模式，并且对于关键网络部件将有不同的技术要求，包括基于主机的vxlan虚拟化网络、基于物理网络的vxlan虚拟化两种大的实现方式。在已经进行虚拟化的环境下我们将采用基于主机的vxlan虚拟化网络方案，如下图所示：图表 基于主机的overlay虚拟化网络vxlan运行在udp上，物理网络只要支持ip转发，则所有ip可达的主机即可构建一个大范围二层网络。这种vswitch的实现，屏蔽了物理网络的模型与拓扑差异，将物理网络的技术实现与计算虚拟化的关键要求分离开来，几乎可以支持以太网在任意网络上的透传，使得云的计算资源调度范围空前扩大。另外由于vxlan把 12 bit 的 vlan tag 扩展成了 24 bit，这样能实现远远高于传统vlan 4096的数量，解决了vlan数量不足的问题，满足更多的租户隔离需要。为了使得vxlan overlay网络更加简化运行管理，便于云的服务提供，h3c使用集中控制的模型，将分散在多个物理服务器上的vswitch构成一个大型的、虚拟化的分布式overlay vswitch（如下图所示），只要在分布式vswitch范围内，虚拟机在不同物理服务器上的迁移，便被视为在一个虚拟的设备上迁移，如此大大降低了云中资源的调度难度和复杂度。图表 分布式overlay vswitch对于计算资源丰富的数据中心，overlay网络使得虚拟机不再为物理网络所限制。2.2.4虚拟化管理平台h3c cas cvm虚拟化管理系统是h3c cas虚拟化平台的核心组件之一，主要实现对数据中心内的计算、网络和存储等资源池的管理和控制，对上层应用提供自动化服务。cvm平台可以集中管理数千台物理服务器和数万台云主机，通过一个统一的管理平台来对所有相关任务进行集中管理，管理员仅需要键盘和鼠标便可实现云主机的部署、配置和远程访问等操作，软件界面如下所示。图表 h3c cas云计算管理平台主界面虚拟化管理系统可以实现以下功能：基于集群的集中管理、共享存储管理能力、虚拟交换机管理、资源使用状况监控。 基于集群的集中管理；h3c cas cvm虚拟化管理系统将服务器主机和云主机都组织到集群中，单个集群支持5000台以上的物理机，1pb以上的分布式共享文件系统存储，另外单个集群支持的并行任务调度数量不低于十万级。提供了清晰的分层结构视图，直观地展示了数据中心、主机池、集群、主机和云主机之间的关系，大大简化了资源管理的工作量。基于集群进行集中管理的好处在于：利用集中化管理功能，管理员能够通过统一的界面对整个it环境进行组织、部署、监控和配置，从而降低管理成本。由多台独立服务器主机聚合形成的一个具有共享资源池的集群不仅降低了管理的复杂度，而且具有内在的高可用性，通过监控集群下所有的主机，一旦某台主机发生故障，h3c cas cvm虚拟化管理系统就会立即响应并在集群内另一台主机上重启受影响的云主机，另外支持集群的在线扩容，从而为用户提供一个经济有效的高可用性解决方案。 共享存储管理h3c cas cvm虚拟化管理系统中的虚拟机文件系统是一种优化后的高性能集群文件系统，允许多个计算节点同时访问同一虚拟机存储。 由于虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在san存储阵列上的文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。 虚拟交换机管理虚拟交换机是用软件实现的ip报文转发与控制模块。在物理环境中，物理服务器通过物理交换机连接到网络，在云平台中，云主机通过虚拟交换机连接到网络。为了让维护人员直观易懂，在h3c的虚拟化管理系统里会对虚拟交换机有一个直观易懂的管理界面，如下图所示。图表 虚拟交换机管理界面h3c cas虚拟交换机在设计时将整个虚拟交换机以物理交换机的面板呈现，并通过绿色的，闪烁的端口表示云主机连接虚拟交换机的vnic，每一个闪烁的绿色端口都表示一个活动的虚拟端口，可以显示端口名称、连接端口的云主机名称、云主机vnic对应的mac地址等。 性能状况监测，包括如下监测参数；物理服务器性能状态监测：提供物理服务器cpu和内存等计算资源的图形化报表及运行于其上的云主机利用率top 5报表，为管理员实施合理的资源规划提供详尽的数据资料。图表 物理服务器性能状态监测云主机性能状态监测：提供云主机cpu、内存、磁盘i/o、网络i/o等关键资源进行全面的性能监测。图表 云主机性能状态监测虚拟交换机状态监测：提供虚拟交换机上各个虚端口的流量统计与模拟面板图形化显示。图表 虚拟交换机状态监测虚拟网卡性能状态监测：提供进出云主机虚端口流量的图形化实时显示。图表 虚拟网卡性能状态监测2.3云服务层2.3.1 iaas服务iaas服务，提供硬件和软件基础设施服务。具体可包括：云主机与云硬盘，云存储，云网络、云负载均衡、云防火墙和云安全增值服务。1) 云主机和云硬盘服务云主机功能上支持主流的服务器操作系统，如windows server系列和主要linux发行版，支持在线交付、在线管理、远程登陆、快照管理、在线迁移等功能。云主机cpu主频为intel xeone5-2620 cpu主频2.0ghz及以上。云主机根据业务系统的负载量可提供不同的配置模板，如基础型云主机（1个vcpu，2g内存）可部署桌面级应用及基础架构类应用，如word、浏览器、dns、ms ad等；标准型云主机（2个vcpu，4g内存）可部署web server，文件服务等；大内存型（4个vcpu，8g或12g内存）云主机可部署邮件系统、应用服务器、轻量级数据库应用等；高计算型云主机（8个vcpu，16g内存）可部署高性能数据库、数据仓库等。除了以上标准标准配置以外，还支持用户根据业务性能要求自定制配置。云主机系统盘默认配置容量为：linux系统盘20g；云主机windows系统盘40g。云主机通过集群技术保障高可用，当云主机所在的物理服务器故障时，可快速切换到其他状态正常的服务器上，切换时间小于30分钟。通过动态资源调度技术自动进行负载均衡，云主机可在线自动迁移到其他物理服务器上，期间应用不会产生任何影响。云硬盘提供云主机数据盘，单独选配，以100gb为最小单位增加。云硬盘以分布式存储vstor作为载体，在5.2.2章节已有详细阐述。云硬盘设置3份数据副本同时在线，保障数据高可靠，使得数据持久性大于99.999%。同时vstor支持快照功能，可对云硬盘任一时刻的数据进行快照，含快照制作，快照回滚，快照恢复等。2) 云存储服务支持集群技术和分布式文件系统，提供对象存储服务。对于对象存储来讲，不光是解决了数据存储的问题，同时它还解决了数据安全性的问题。存储通常已经依赖于客户端和私有网络的认证来保护系统的安全性，不管在文件服务器内用的是fc san或scsi阵列。对象存储体系结构在每一个级别上都提供了安全性：存储系统对存储设备的认证；存储系统对计算节点的认证；存储系统对计算节点命令的认证；所有命令都经crc的完整性检查；数据和命令经由ip的私有性。这样的安全水平使得租户可以用更经济高效，可管理并容易访问的ip网络，作为存储的传输工具，同时还提高了整个存储体系的安全性。3) 云网络云网络支持虚拟交换网络，支持子网划分，支持通过专线或者虚拟专网连接，提供配置管理界面。虚拟交换网络能够监控云主机的流量、针对云主机下发网络策略，且云主机迁移时网络策略能够自动化同步跟随。4) 云负载均衡云负载均衡支持将网络请求动态分流到多个云服务器上，支持四层、七层负载均衡，支持对云主机的健康检查，支持用户自行申请开通配置。5) 云安全服务提供云防火墙功能，能够支持组建安全组或安全域，对其访问权限进行控制，支持用户自主申请防火墙并灵活配置访问策略。此外，还提供安全增值服务：如防ddos攻击和入侵防御以及日志审计。iaas可为上层的paas平台提供api接口。使得上层的paas环境可以按需扩展基础设施资源。2.3.2多租户组织架构组织架构定义是云平台的基础，几乎所有的云平台需求都涉及用户和组织关系，这里牵涉到适应政府租户不同的定制需求。云平台支持定制多级组织嵌套，每级组织都会划分自己的资源（cpu、内存、存储、网络等）和用户。提供了多种用户的角色，功能视角也不同。运维管理人员专注于对池化资源的部署分发、服务编排、应用监控，定制流程和计费模板。政府的领导或者it主管作为私有云（或私有云下某个组织）的管理员，关注云容量的规划、服务的质量评价、计费营账报表以及绩效考核等。对于终端用户，更关心vdc服务的申请、流程审批、工单问答以及实时账单等。用户通过网络进行二层隔离，每个网络都设定了v(x)lan标识和ip地址池规划。用户可以使用多个网络以支持不同场景的业务和隔离需求。例如在sap中，我们定义生产流程为4个阶段：开发、测试、预生产和正式运行。用户可以将处在不同阶段的应用部署在不同的隔离网络中，通过应用迁移实现阶段和环境的推进。2.3.3虚拟数据中心随着虚拟化与云计算技术的不断成熟，越来越多的云服务提供商（如：amazon ec2、hp cloud等）开始提供公有云服务，允许租户按需租用资源和服务，创建租户自己的虚拟数据中心（vdc，virtual data center）或虚拟私有云（vpc，virtual private cloud），帮助租户节省建设成本、提高业务敏捷性。因此，云平台需要考虑后续为用户提供服务，帮助用户将大部分it应用向云迁移，并将云和私有云互联，构建安全统一的混合云。要实现这一目标，最重要就是要考虑如何解决在公有云多租户环境下面临的网络问题。h3cloud云计算管理平台为租户提供云主机、云存储、云网络安全等虚拟基础设施资源，基于这些虚拟资源，租户可以在专有云中构建自己的虚拟数据中心，同时各租户的虚拟数据中心彼此安全隔离。如下图所示：虚拟数据中心（vdc）的最大好处就是可以让租户灵活部署自己的业务应用，就像部署在自己的专属数据中心内部，拥有计算、存储和网络虚拟实例完整的使用权和管理权。对于计算、存储资源的虚拟化，目前的技术成熟度很高，使用也非常普遍。然而对于网络安全资源的虚拟化技术实现，是构建虚拟数据中心的重点和难点，h3c通过多年在网络安全领域的积累，很好的将网络安全的虚拟化技术应用到了h3cloud云平台中，通过硬件设备的1：n虚拟化和nfv（网络功能虚拟化）技术，实现网络安全资源虚拟化。如下图所示：图表 硬件设备1：n虚拟化图表 网络功能虚拟化（nfv）由于布线、归属等原因，目前的物理设备并不适合作为租户独享的设备在云计算环境中部署。为了解决目前存在的问题，需要一个既具备物理网络设备的功能又适合于在公有云多租户环境中部署的设备，nfv（network function virtualisation,网络功能虚拟化）应用而生。h3c 提供一系列nfv方案，应用于vdc场景，帮助云平台构建租户的私有云或混合云。它和物理设备一样，采用业界领先的专业网络平台comware v7，运行在标准x86服务器或虚拟机上，提供和物理设备相同的功能和体验，包括路由、防火墙、vpn、qos、及配置管理等，同时充分利用虚拟平台的特点，简化设备的部署安装。图表 虚拟数据中心部署示意图h3c nfv特色 领先的专业网络平台基于业界领先的comware v7平台，支持：丰富的网络和安全功能，能够满足政府分支及公有云多租户环境中的网络需求。控制平面和数据平面分离，专门为虚拟环境优化的多核数据转发，更能充分利用计算资源。模块化的体系架构，开放的网络平台，允许网络按需运行和控制，更容易实现nfv/sdn落地。和物理网络设备采用统一的软件平台，提供相同的功能特性和一致的管理界面。 超轻量级部署h3c nfv提供了超轻量级的部署体验：适合在公有云中部署，实现零运输、零布线，加快业务的部署。支持vmware esxi、linux kvm、h3c cas等多个主流的虚拟平台，充分发挥虚拟化的优势，实现快速部署、批量部署、镜像备份、快速恢复，并且能够灵活迁移。提供iso镜像