H3C云网融合解决方案

1、H3C 云网融合解决方案目录云计算发展趋势H3C云网融合架构华三云的实践云计算发展趋势企业 IT系统的发展方向企业 IT系统及部门会向三个方向演进IT服务完全依托公有云服务器，适用于大部分中小型或Startup型企业IT服务以公有云为主，自建IT系统为辅，适用于大部分中小型或Startup型企业企业传统IT基础架构向私有云演进，公有云托管部分IT服务，适用于大中型或巨型企业案例：案例：案例：123用户公有云企业 IT用户公有云企业 IT租用企业 IT公有云企业 VPC企业私有云租用技术升级变革的起始虚拟化/资源池化物理资源构成资源池化(虚拟化)资源调度组合以网络组织计算和存储计算存储网络网络控

2、制器/网络虚拟化计算计算资源池网络存储网络资源池存储资源池应用系统 A应用系统 B应用系统 CWeb LayerApp LayerDB LayerWeb LayerApp LayerDB LayerWeb LayerApp LayerDB Layer存储卷存储卷存储卷VMVMVM存储卷存储卷存储卷VMVMVM计算控制器网络控制器存储控制器网络控制器作为网络资源池的唯一控制点，通过网络节点虚拟化，自动为接入网络的计算资源、存储资源、用户提供接入策略、接入控制等服务，同时提供网络动态调整的能力，满足动态的网络容量规划要求资源抽象层跨资源统一管理计算计算资源池网络存储网络资源池存储资源池应用系统 A

3、应用系统 B应用系统 CWeb LayerApp LayerDB LayerWeb LayerApp LayerDB LayerWeb LayerApp LayerDB Layer存储卷存储卷存储卷VMVMVM存储卷存储卷存储卷VMVMVM计算控制器网络控制器存储控制器跨领域的资源管理 Orchestrator 应用的部署不再仅仅限于单个领域资源的申请和使用，而是会跨越多个领域，使用计算、存储、网络、安全、LB、DNS等各个领域的资源，通过引入跨领域的统一资源管理，能够更有效的利用资源，更快速的响应资源生命周期管理计算计算资源池网络存储网络资源池存储资源池应用系统 A应用系统 B应用系统 CW

4、eb LayerApp LayerDB LayerWeb LayerApp LayerDB LayerWeb LayerApp LayerDB Layer存储卷存储卷存储卷VMVMVM存储卷存储卷存储卷VMVMVM计算控制器网络控制器存储控制器跨领域的资源管理 Orchestrator 自服务门户 Portal跨领域的资源管理解决的是资源的综合利用和资源统一管理问题，势必涉及到资源生命周期管理，包括资源申请、分配、回收、监控等，需要全新的交付模式和交付手段，自服务门户会逐渐成为虚拟资源管理的主要形式目录云计算发展趋势H3C云网融合架构华三云的实践资源统一管理Infrastructure Res

5、ource Management领域控制器Domain Controller物理设备Physical Device虚拟设备Virtual DeviceH3C VCF Architecture in DC 交付件H3C VCF Architecture in DCS125002013 vSwitchOpenFlow + NetconfOpenFlow + OVS-DBFlareVxLAN VTEP、GW统一管理业务系统北向接口管理H3C主要交付S6800VMCASL5000（硬件 LB）DBServeriMC-CSMiMC VFM 组件：VxLAN ManageriMC CSM（Cloud Se

6、rvice Management）组件iMC 计算和存储资源调度OpenStack Embedded StorageServerM9010（硬件 FW）H3C VCF Architecture 功能模块 iMC-CSMSelf-Service PortalResource OrchestratorAppAppAppAppAppVCF ControllerServervSwitchVCFC AgentRuntime Topology / Logical Unit ManagerVirtual DevicesPhysical DevicesForwarding Policy / Control M

7、anagerService Chain AppMulti Tenant AppVMM Agent AppCASVMVMServerHypervisorCIC AgentVMVMServerHypervisorCIC AgentVMVMvDevice in VMVCFC AgentControl PlaneData PlanePhysical DeviceVCFC AgentControl PlaneData PlaneMulti-Hypervisor Manager VM/Host/Storage ManagerResource and ConfigurationVMProfileUser /

8、 OperationHA /DRSOpenStackEmbeddedNeutron Network APINova Computer APICinder Storage APIVCF Controller Plug-inVCF-CIC Plug-inVCF-CIC Plug-inVCF Controller定位网络控制和服务链定义对下统一控制软硬件网络设备对上提供网络单元抽象，实现虚拟网络和物理网络的统一拓扑呈现与配置支持基于应用的服务功能链定义支持自定义App开发及部署提供北向接口支持管理平台统一调度CAS定位VM/CVK管理控制、存储管理对下统一控制VM、CVK、Host软硬件计算设备，以

9、及VM相关的存储管理对上提供计算单元抽象支持和VCF Controller联动，在VM创建、迁移、删除等时刻通知VCF Controller提供北向接口支持管理平台统一调度iMC 作为公司VCF架构下的唯一资源管理平台和云业务平台，定位资源管理、业务编排以及云业务入口，后继云平台相关需求由业务软件部门接口提供对网络资源、计算资源、存储资源的统一管理支持端到端的网络、计算、存储统一业务定义、业务编排对上提供北向接口，支持自定义App开发及部署对下统一管理VCF Controller、Cas，支持对网络、计算、存储的统一监控整合标准OpenStack，支持标准OpenStack Plug-in模式

10、和南向连通H3C CAS-部署模型云管理平台(物理服务器)云管理平台(物理服务器)CPU/内存/IOHypervisorVMVMCPU/内存/IOHypervisorVMVMCPU/内存/IOHypervisorVMCPU/内存/IOHypervisorVMVM双机HA集群管理和监控心跳信号VM共享存储统一业务运行平台H3C CAS基于KVM构建KVM 是指基于Linux 内核的虚拟化（Kernel-based Virtual Machine）。 2006 年 10 月，以色列公司Qumranet 开发的新一代虚拟机实现方案。 2007 年 2 月KVM被集成到Linux 2.6.20内核中，

11、作为Linux内核中的一个模块，与Linux内核一起发布。重用linux内核中已经完善的进程调度，内存管理，IO管理等代码。KVM虚拟化平台的特点1）充分利用现有硬件的虚拟化功能，架构精简2）充分重用Linux内核已有的成熟功能，减少不必要的重新开发3）虚拟机以普通Linux的进程的方式来运行，其资源管理和调度机制与软件驱动都基于底层linux啮合，负载非常小。针对KVM的深度优化将定时器模拟从用户态移植到内核态，提升时钟精度，减少上下文切换和内核陷入消耗。虚拟时钟优化通过中断预处理方式，提升虚拟机对中断的响应速度。虚拟中断优化虚拟机镜像文件格式升级，提升块查找效率，获得更高IO性能；优化快照

12、存储结构，提升磁盘利用率，避免资源浪费。虚拟磁盘优化基于虚拟机并发数量有限的特点，简化CPU调度算法，提升CPU利用率。资源调度算法优化内存热添加、内存压缩、内存重复数据删除等技术提升内存利用率。内存优化兼容更多服务器，适配主流网卡、HBA卡、SCSI卡、GPU卡，支持更多存储类型。更丰富的业务部署实践。虚拟磁盘优化H3C CASH3C CAS的功能增强管理智能电源管理关联和反关联规则远程ISO计算内核升级与优化USB 2.0 & COM外设虚拟化资源分配控制(内存/CPU/IO)存储分布式存储系统虚拟存储在线迁移IP&FC存储多路径高可靠性集群HA（大规模，稳定32台）虚拟机迁移（跨集群）备

13、份和快照（定时）高可用性DRS（调度算法优化）DRX（计划内，温暖下线）稳定性和兼容性提升网络ACL/动态链路聚合vHost网络加速vFW简单融合标准化OpenStack Plugin开放API可运维性主机及网络告警性能监控报表日志采集与导出H3C CAS产品之路成型期完善&创新期 成熟期2009开始虚拟化技术预研 ，选定KVM内核CAS 1.0HA和动态资源调度（DRS）CPU/网卡/磁盘资源热添加标准虚拟交换机支持IEEE 802.1Qbg标准协议20112012201320142015融合分布式存储组件硬件兼容性增强计算/网络/存储资源QoS内核性能调优开放标准的REST API接口CA

14、S 2.0大规模集群（128台）规模可管理VxLAN网络虚拟化GPU直通轻代理防病毒解决方案适配标准的OpenStack云平台CAS 3.0显示界面美化分布式虚拟防火墙多站点容灾备份DRX+VLB硬件SR-IOV内存热添加虚拟机容灾（FT）容器式虚拟化兼容VMware虚拟化平台资源弹性自动化伸缩（DRX）用户自助服务平台云业务申请与审批流程云彩虹解决方案H3C VCF Architecture- CSM iMC-CSMSelf-Service PortalResource OrchestratorAppAppAppAppAppVCF ControllerServervSwitchVCFC Ag

15、entRuntime Topology / Logical Unit ManagerVirtual DevicesPhysical DevicesForwarding Policy / Control ManagerService Chain AppMulti Tenant AppVMM Agent AppCASVMVMServerHypervisorCIC AgentVMVMServerHypervisorCIC AgentVMVMvDevice in VMVCFC AgentControl PlaneData PlanePhysical DeviceVCFC AgentControl Pl

16、aneData PlaneMulti-Hypervisor Manager VM/Host/Storage ManagerResource and ConfigurationVMProfileUser / OperationHA /DRSOpenStackEmbeddedNeutron Network APINova Computer APICinder Storage APIVCF Controller Plug-inVCF-CIC Plug-inVCF-CIC Plug-inH3C CSM-基于OpenStack平台开发云平台开源社区活跃度Openstack活跃度第一OpenStack版本

17、每六个月更新主流厂商参与2010.10Austin2011.02Bexar2011.04Cactus2011.09Diablo2012.03Essex2012.10Folsom2013.04Grizzly2014.04Icehouse2013.10Havana OpenStack社区已经遍及全球132个国家，13504人参与，其中个人开发者人数达到了近6000人，支持厂商/组织共有298家，按级别来分共有8个白金会员、19个黄金会员、54个赞助公司、217个支持机构(截止至2013年12月31日)H3C CSM 服务目录与流程云平台服务目录租户云主机云存储云数据库云负载均衡云安全租户网络VM申

18、请存储申请数据库申请负载均衡申请防火墙申请创建网络开户租户开通为租户创建NetworkVxLAN GroupVxLAN开通租户分配租户UUID创建VM关联vDC关联VxLAN创建存储关联vDC关联VM关联DB关联vDC关联VxLAN创建vLB关联vDC关联Subnet关联VM部署策略路由创建vFW关联vDC关联Subnet部署策略路由IT/DC运维者Tenant逻辑视图虚拟网络视图Tenant创建vDCvNetSubnetvRouter(L3)获取租户UUID创建VM选择vDC选择Subnet创建存储选择vDC选择Subnet挂接VM创建DB选择vDC选择Subnet创建vLB选择vDC选择S

19、ubnet选择VM创建vFW选择vDC选择SubnetVMLUNOVSS12500-xLBFWS6800DBvDCvNetVMSubnetvRoutervLBvFWStorageDBvDCVMVxLANL3 GW/ VRFVIPvFWLUNDB物理网络视图Virtual Multi-Tenant Data Center (VMDC) 管理员视图逻辑流程基于Openstack框架的vPC租户实现vNetvNetvRouterVRF-1VRF-2L5000For VRF-1核心防火墙-M9000VxLAN100VxLAN200VxLAN300VxLAN400VxLAN500VxLAN600vFW-

20、2vFW-3vFW-4vFW-1L5000For VRF-2负载均衡（L5000）VMSubnetVMSubnetVMVMVMSubnetVMvRoutervLBvFWDB核心交换机-S125xPortOpenstack Neutron网络模型VMVMVMVMVMVMH3CLOUD组网架构配置映射H3C CSM 的业务编排网络设备转发平面特定硬件/x86控制平面管理平面VCF ControllerCICiMC-CSM统一监控统一编排统一管理H3C VCF Architecture 各类资源统一管理、统一编排服务目录发布针对不同应用的策略模板集合作为服务目录发布，供不同管理员选用服务目录下的模板

21、可重用、可查询、可编辑支持分级权限的自助服务门户3业务编排根据VCF策略模型，以抽象服务单元作为网络服务编排的对象可视化定义基础设施服务，从应用服务组（VM集合）到用户的端到端连接（途经的网络服务单元）编排结果输出为策略模板2策略配置及下发iM-CSMC将策略模板预部署到VCF ControllerVCF Controller校验模板的有限性以及可配置性，并自动计算在物理网络中的部署路径和控制策略（基于网络虚拟化层中全网/虚拟拓扑等资源），校验完毕，反馈iM-CSMC预部署结果用户通过iM-CSMC下发正式部署策略决策VCF Controller根据预配置结果，下发具体配置到物理网络，并支持动

22、态调整，以保证策略稳定性4资源提取VCF Controller汇总所有拓扑及网元信息，CIC汇总所有主机信息，EIC汇总所有终端/用户信息VCF Controller 、CIC、EIC向iMC统一上报资源信息（包括拓扑、网元能力集、主机信息）iMC-CSM 形成资源管理池1X86 服务器vSwitchVMVMVMiMC -CSM负责静态策略制定和规划VCF Controller负责策略执行以及保障策略在网络动态变化下的稳定性EIC终端/用户VCF ControllerCASiMC-CSMEICVCF ControllerCASiMC-CSMEICVCF ControllerCasiMC-CSM

23、EICH3C CSM的自定义编排云安全服务自助交付vDC安全自定义编排H3C VCF Architecture -VCFC iMC-CSMSelf-Service PortalResource OrchestratorAppAppAppAppAppVCF ControllerServervSwitchVCFC AgentRuntime Topology / Logical Unit ManagerVirtual DevicesPhysical DevicesForwarding Policy / Control ManagerService Chain AppMulti Tenant AppV

24、MM Agent AppCASVMVMServerHypervisorCIC AgentVMVMServerHypervisorCIC AgentVMVMvDevice in VMVCFC AgentControl PlaneData PlanePhysical DeviceVCFC AgentControl PlaneData PlaneMulti-Hypervisor Manager VM/Host/Storage ManagerResource and ConfigurationVMProfileUser / OperationHA /DRSOpenStackEmbeddedNeutro

25、n Network APINova Computer APICinder Storage APIVCF Controller Plug-inVCF-CIC Plug-inVCF-CIC Plug-inH3C VCF Architecture网络模型在不同场景不同场景下的演化H3C VCF Architecture 网络模型RouterNetwork：ExternalNetworkSecurity Group( L2 Security )Security Group RuleFloating IPSubnetPort1:n1:nFirewall( L3 Security )Firewall Po

26、licyFirewall Rule1:n1:n1:nLoad BalancerMember1:nVIPHealthMonitor数据中心模型RouterNetwork：ExternalNetworkSecurity Group( L2 Security )Security Group RuleFloating IPSubnetPort1:n1:n1:n园区模型Network：ExternalRouterRouter广域网模型虚拟机/服务器移动设备/桌面PCH3C VCF Architecture租户类型2种租户类型：标准租户（Standard Tenant），只关注公网服务IP，没有私网IP地

27、址需求，IP地址由管理员统一规划和分配（浙江政务云一期）VPC类租户（Virtual Private Cloud Tenant），企业私网的延伸，有私网IP地址需求，可以为其申请的主机分配私网IP地址在网络层面，标准租户的IP地址网段是不允许出现重复的， VPC类租户的IP地址网段允许重复Virtual Multi-Tenant Data Center (VMDC) 租户模型VRF 1数据中心租户3租户4租户nVMVMDBStorageLBFWVMVMDBStorageLBFWVMVMDBStorageLBFW租户2租户1VMVMDBStorageLBFWVMVMDBStorageLBFWVR

28、F 2VRF 3VRF n对于VPC类租户，独占VRF对于标准租户，统一放入一个VRF核心网络模型：Private Router and Private Networks租户具备自己的Private Router，不同租户之间的私网IP允许重复，多个NetworkNetwork 2Network 1H3C VCF Architecture租户 BVM 3内：10.0.1.2外：20.0.0.5租户 BVM 4内：10.0.1.3外：nullPublic RouterSubnet 网关 IP（10.0.0.1）Network 2Subnet（10.0.1.0/24）Subnet 网关 IP（10

29、.0.1.1）External NetworkSubnet（20.0.0.0/22）租户 AVM 1内：10.0.0.2外：20.0.0.3租户 AVM 2内：10.0.0.3外：20.0.0.4Network 1Subnet（10.0.0.0/24）PortPortPortPortWAN20.0.0.220.0.0.1租户 CVM 3内：10.0.1.2外：20.0.0.7租户 CVM 4内：10.0.1.3外：nullSubnet（10.0.1.0/24）PortPortPrivate RouterSubnet 网关 IP（10.0.1.1）20.0.0.10租户 CVM 1内：10.0.

30、0.2外：20.0.0.6租户 CVM 2内：10.0.0.3外：nullSubnet（10.0.0.0/24）PortPortSubnet 网关 IP（10.0.0.1）H3C VCF Architecture 网络模型H3CLOUD两种vPC部署方案2基于VxLAN Overlay技术1基于传统VLAN技术基于VLAN技术的vPC 租户实现原理vRouterVRF-1VRF-2业务核心L5000For VRF-1虚拟防火墙（M9000）VMVMVMVMVMVMVLAN100VLAN200VLAN300VLAN400VLAN500VLAN600vFW-2vFW-3vFW-4vFW-1L500

31、0For VRF-2负载均衡（L5000）管理网核心VRF-0VRF-1VRF-2方案描述云管理平台创建vPC用户业务核心、防火墙、负载均衡将基于不同vPC用户虚拟出不同的虚拟设备（如VRF vRouter、vFW、vLB），每个设备用类似VRF Index来唯一区分标识某vPC用户的业务接入区每个vPC用户的一个或者多个业务用一个或者多个VLAN ID进行标识区分在业务核心将同一个vPC用户的VLAN ID的interface与其VRF绑定，业务报文在业务核心、防火墙、LB虚拟设备之间传递时将通过同一个VRF Index进行区分，并且一个VRF空间内转发反之，不同vPC用户采用不同VRF i

32、ndex进行区分、并在不同VRF空间内转发基于VLAN的vPC方案局限性一、无法与网络硬件解耦合业务变更扩展不灵活租户VLAN需要统一规划租户IP地址与网络策略与物理设备紧耦合二、跨中心二层网络构建复杂裸纤直连核心，网络结构混乱协议部署复杂(STP)广播域扩大三、无法实现服务链(SeviceChain)只能基于PBR引流，维护复杂不便于部署软件类vLB、vFW，vPC租户成本高H3CLOUD两种vPC部署方案1基于传统VLAN技术2VxLAN Overlay技术Overlay叠加网络定义Overlay网络是一个建立在已有物理网络上的虚拟网络，逻辑节点和逻辑链路构成了Overlay网络。Over

33、lay网络的出现是为了实现已有网络所不能提供的功能和服务二层网络环境虚拟网络与物理网络解耦合虚拟网络安全控制H3C Overlay协议的选择-VXLAN（Virtual Extensible LAN） 建立在物理IP网络之上的覆盖网 使用UDP封装完整的内层以太报文 共50字节的封装报文头 24比特长度的VNI（VXLAN网络标识符 ） 最大支持超过1600万个虚拟网络 可跨越物理三层网络 利用ECMP（等价多路径负载均衡） 对不同数据流使用不同的UDP源端口 VTEP（VXLAN Tunnel End Point）隧道端点有自己的IP地址，对报文进行VXLAN封装/解封装。Outer MAC

34、DAOuter MACSAOuter 802.1Q（可选）Outer IP DAOuter IP SAOuter UDPVXLAN 头部（8字节）VXLAN 封装Inner MAC DAInnerMACSAInner 802.1Q（可选） Original Ethernet PayloadCRC原始以太网报文H3C Overlay方案支持混合部署软件Overlay主机Overlay混合部署混合式Overlay硬件Overlay网络OverlayvSwitchVMVMVMvSwitchVMVMVM虚拟化的服务器虚拟化的服务器vSwitchVMVMVM物理服务器虚拟化的服务器物理服务器物理服务器D

35、C1DC2广域网L3vRouterVRF-1VRF-2业务核心L5000For VRF-1虚拟防火墙（M9000）VMVMVMVMVMVMVxLAN100VxLAN200VxLAN300VxLAN400VxLAN500VxLAN600vFW-2vFW-3vFW-4vFW-1L5000For VRF-2负载均衡（L5000）管理核心VRF-0VRF-1VRF-2方案描述基本原理与VLAN模式的VPC租户基本一样，唯一区别就是vPC用户的业务通过VxLAN ID进行标识区分基于VxLAN的vPC租户实现，最终将支持业务核心、防火墙、LB的多租户虚拟化，将支持SDN相关的动态服务链管理维护功能基于V

36、xLAN Overlay技术的vPC 租户实现原理H3C VCF Architecture-服务链服务链（定制化路由策略）下发服务链实现模式有2种模式：基于管理平面、基于数据平面管理平面实现模式：对于不支持Service chain的Fabric，VCF Controller集中下发策略路由来引流数据平面实现模式：Fabric设备支持Service Chain定义，在数据平面定义L4L7服务设备的逐跳路由L2 SwitchL4L7设备L3 SwitchL4L7设备作为L3网关ServerServer策略路由引流设置下一跳路由设置回程路由传统服务引流模式FabricVCF ControllerS

37、erverL4L7设备管理平面实现模式FabricVCF ControllerServerL4L7设备数据平面实现模式Controller下发流表或策略路由1、Controller只下发策略2、策略通过元数据封装在数据报文中目录云计算发展趋势H3C云网融合架构华三云的实践省政务专有云核心需求：云服务：各厅局委办云主机、云存储、云负载均衡、云防火墙、云数据库自助式交付云安全：高可靠、互联网公共云安全对接、厅局委办租户间隔离云管理：资源管理与监控，审批流程，用户管理云节点：融合产品，统一管理，前置应用推送一期业务：电子监察、行政审批、电子证照库、权利事项库、数据交换平台H3C阿里专网某省政务云需求某省政务云逻辑架构网络核心网络核心VMVMVMvSwitchLB网络接入网络接入网络接入云网络政务外网主机/存储VMVMVMvSwitchH3C VCF ControllerClusterOpenFlow + OVS-DBOpenFlo