运营商支撑云资源池建设方案

1、运营商支撑云资源池建设方案IT支撑资源池云网络方案支撑云资源池项目情况Part0项目背景云资源池建设情况系统X86服务器数量进度信息系统部业支云管理信息化24已建分公司开发平台8已建NGBOSS&CRM 3.540在建桌面云系统4待建电子化渠道四期20在建数据部业务云ADC平台、短信搜索等19套系统140已建网络部网络支撑云统一存储100T在建目前，信息系统部业支云已有96台X86服务器，网络部网络支撑云统一存储100T，数据部业务云140台X86服务器。本文件为支撑网云平台资源池一期工程项目建议书，本期工程按照满足支撑云资源需求进行建设。本期工程将建设一朵基于IAAS模式的跨部门并涵盖三大I

2、T支撑系统的支撑云，以满足我公司各类支撑系统平台的建设需求。积极试点和引入云计算技术，目前已经在IT支撑系统、数据业务系统以及IDC数据中心等多个网络中结合实际情况不同程度进行了云计算的引入和应用，积累了一定的建设和使用经验。随着云计算试点应用的逐步推进，决定进行“支撑网云平台资源池一期工程”的建设。项目背景项目概况和编制依据项目背景集团公司私有云总体技术要求、私有云资源池系统技术要求、私有云管理平台设备规范、私有云资源管理接口规范；安徽公司近期云计算建设模式及实施方案、私有云建设规范；信息系统部云平台建设规范和运维体系汇报；网络部网管云建设思路。设计院项目组与安徽公司各相关部门调研沟通获取的

3、相关资料和数据。编制依据系统定位系统定位：业务支撑系统、管理信息系统、网管支撑系统等三大IT支撑系统的的基于云计算技术的统一承载平台。主机网络存储管理安全云资源池+云管理平台支撑网云平台业务支撑系统管理信息系统网管支撑系统一朵跨部门的IT支撑云演进方向演进方向：本期工程将建设一朵跨部门并涵盖三大IT支撑系统的支撑云，未来支撑云平台将与业务云平台逐步演进为一朵私有云。未来演进成一朵私有云统筹规划、条块结合，分步实施。支撑云IDC资源池+IDC运营管理平台统一业务生成环境资源池+管理平台网络支撑资源池+管理平台业务支撑网资源池+管理支撑网资源池+管理平台初期中期业务云远期云IDC公有云私有云云计算

4、演进实施路线Part1一期规划1、总体方案建设思路本期工程将建设一朵跨部门并涵盖三大IT支撑系统的基于IAAS模式的支撑云，包括云资源池系统和云管理平台。云资源池：在机房新增X86主机、SAN存储和NAS存储，以及虚拟化软件和相应的网络、安全、备份设备系统，构建支撑云资源池。云管理平台：集中建设1套云管理平台，对支撑云云资源池的统一管理和调度。私有云管理平台资源池1、总体方案本期架构本期网络架构根据公司关于省中心机房使用规划的最新决策意见，本期设备集中部署在机房内。本期网络架构采用模块化组网设计，分为业务网络、存储网络和管理网络三个网络平面。本期资源池主要包括主机资源池、存储资源池以及网络设备

5、等。1、总体方案目标架构目标架构：构建和纬五路两个资源池系统，由云管理平台统一调度和管理 。2、主机资源池序号需求部门需求涵盖范围主机池规模X86主机（台）虚拟化（CPU）1信息系统部4个系统平台迁移+8个新建扩容项目1404042网络部7个系统平台迁移+14个新建扩容项目1082883资源池4个云资源池共用平台3680总计284772X86主机资源池新增284台X86主机新增772CPU虚拟化主机资源池虚拟化主机方案：新增284台X86架构服务器，采用虚拟化技术构建主机资源池.3、存储资源池存储方案：根据本期需求，新增1套SAN存储和1套NAS存储，构建存储资源池。序号需求部门需求涵盖范围存

6、储池规模SAN存储（TB）NAS存储（TB）1信息系统部4个系统平台迁移+8个新建扩容项目200602网络部7个系统平台迁移+14个新建扩容项目15003资源池4个云资源池共用平台250总计37560新增1套SAN存储，容量375TB。新增1套NAS存储，容量60TB。SAN云存储NAS云存储存储资源池4、备份方案建设方案：新增备份服务器和+新增1套磁带库+扩容利旧原有备份软件和虚拟带库备份介质。备份方案：采取VTL虚拟带库+磁带库的二级备份方式实现云平台的数据备份。备份策略：核心数据：虚拟机操作系统系统及应用、数据库以及系统关键数据先备份到虚拟磁带VTL中，经VTL对原始数据进行压缩和重复数

7、据删除处理后，再备份到后端的磁带库中。其余数据：除核心数据外，其余数据直接备份到磁带库中。本期将集中建设1套存储备份系统，对云资源池的虚拟机和数据库以及各系统关键数据进行集中备份。新增新增利旧扩容4、备份方案数据备份系统备份：每双周进行一次全备份，数据保存半年。包括物理机和虚拟机操作系统和程序文件。数据库备份：每周进行一次全备份，每天进行一次增量备份，数据保留1个月。其他数据备份：其他重要文件和数据，每月进行增量备份。数据恢复系统：直接恢复最新一次全备份数据，只需一次恢复即可。数据库：先恢复全备份，再恢复增量备份。最多只需恢复7个备份介质数据。其他数据：根据需要恢复具体文件所在的备份文件。数据

8、类型 全备周期 增备周期 保存时间 备份时间窗 系统备份 14天 NA182天 8小时 数据库备份 7天 1天30天 8小时离线数据30天2年8小时5、安全方案防火墙部署：部署防火墙，实现系统防护。IPS入侵检测：通过部署IPS设备及时发现入侵行为。负载均衡设备：对服务器进行负载均衡，提高主机可靠性。虚拟机防病毒：对云平台在虚拟机层面进行病毒防护。本期资源池不设置外网统一出口区域，只与内网DCN进行互联，需要访问外网的系统通过IT支撑系统中原有的统一互联网出口实现访问。本期将部署防火墙、IPS、负载均衡器、虚拟机防病毒等设备进行系统的安全防护和安全性的提升。6、安全方案安全域划分私有云资源池系

9、统划分为互联网接口区、DMZ区域、内部互联区、核心交换区、业务区域、存储区域和管理维护区共7个区域，进行物理隔离。在业务区域中包括核心生产区、业务测在试区、接入维护区等，各个区域之间在接入层物理隔离，汇聚/核心层通过VLAN进行逻辑隔离，在内部防火墙上进行安全访问策略控制。防火墙设置私有云资源池公网出口设置双层异构防火墙。内层防火墙主要保证各业务系统核心生产区的安全，对核心生产区与DMZ、内部互联接口区、测试区、管理维护区的访问策略进行控制，同时内层防火墙可通过划分虚拟防火墙的方式，将业务需求相似的业务系统划分在同一个虚拟防火墙内。外层防火墙主要对DMZ接口区访问Internet的访问进行策略

10、控制。业务网络的各安全域应对应部署在不同位置的防火墙的不同安全级别内。本期将通过安全域划分，对不同安全域采取不同的安全策略和进行安全隔离。6、安全方案本期将通过VLAN划分，对不同VLAN内的应用系统进行隔离。每个安全域内不同的业务系统使用不同的VLAN，所有VLAN之间缺省是互相隔离的，如果有互访需求需要在防火墙上做策略允许其互访，包括同一业务系统内部不同安全域的互访，也包括不同业务系统之间的互访。Hardware PhysicalHypervisor (VMM)VM1VM2VM3Hardware PhysicalHypervisor (VMM)VM1VM2VM3VFW1VFW3VFW 安全

11、运维管理平台CMNET/DCN/外联网络服务器层虚机接入层多业务接入层安全防护层MDC1MDC2MDC3核心交换层用户身份认证网关【VPN网关】VRF1VRF3VRF支撑系统1类VLAN1-10VLAN11-30VLAN40-60支撑系统2类支撑系统3类7、云管理平台本期将集中建设1套云管理平台，对云资源池进行统一管理，实现资源的统一供给和灵活调度及全生命周期的管理。云管理平台支持对多个资源池的统一管理。云管理平台的核心功能主要包括运营管理和资源管理两大功能子模块：运营管理功能子模块运营管理子模块，负责基础资源服务的运营管理，向用户提供主机、存储、网络等资源供给服务，并通过调用资源管理功能子模

12、块来管理资源池内的资源，并为管理人员提供运营管理和系统管理功能。资源管理功能子模块资源管理子模块，负责监控和管理主机、存储、网络、虚拟化平台等各类IT资源或设备，接收并执行来自运营管理功能子模块的指令，根据指令有策略的完成资源调度、资源部署、资源操作和资源管理等任务，并向管理人员提供必要的资源管理和系统管理功能。云计算资源池1.2.3n资源管理功能运营管理功能云管理平台7、云管理平台功能组成：云管理平台应用主要由门户应用、运营管理、资源管理、系统接口、系统管理等5个部分组成。云管理平台软件需要定制化开发。平台组成：管理平台主要运营管理服务器、资源管理服务器、数据库服务器、接口服务器、门户应用服

13、务器等5类主机和共享存储以及管理局域网组成。建设方案：云管理平台主要由（管理平台服务器+SAN共享存储+管理局域网+1套管理平台软件+数据库和中间件）构成。8、组网方案本期组网方案包括：1、新增1对管理汇聚交换机，实现管理和维护组网。2、新增2对业务汇聚交换机，实现新增主机资源池的组网。3、新增1对核心交换机，实现云资源池的核心层组网。4、新增1对NAS万兆交换机，实现NAS存储组网。5、新增1对SAN光纤交换机，实现SAN存储组网。交换机名称单台端口需求本期单台最低配置建设配置档次SAN光纤交换机115FC 192个FC 8GB端口集采配置I档最大支持256口NAS存储交换机2010GE48

14、个10GE集采配置数据中心级II档业务汇聚交换机2810GE+14GE48个万兆+48个GE集采配置数据中心级II档管理汇聚交换机410GE+75GE12个万兆+96个GE集采配置高端三层交换机云平台核心交换机1210GE16个万兆+IPS+FW集采配置数据中心级I档Part2实施情况组网拓扑IRF2业务核心S12518+FW+IPSCR16KCR16KOSS业务网BSS业务网(包含经分业务网)MSS业务网业务网业务网IRF2数据云模块S12508IRF2S12508IRF2业务接入业务网S12508ServerIRF2业务接入业务网S12508ServerIRF2业务接入业务网S12508S

15、erverIRF2业务接入业务网S12508ServerIRF2数据核心S12518核心互联业务网NAS核心网NAS存储节点经分数据网20G链路，流量未统计经分数据网WLAN视频监控网客户感知检测网数据核心网新增新增二期二期数据云模块组网说明汇聚交换机共8台；设备型号为S12508；核心交换机共4台；设备型号为S12518；同时配置了8块SECBALDE FW插卡和4块IPS插卡出口路由器为CR16018；通过汇聚路由器分别连接网管系统、BSS系统和MSS系统；云平台汇聚交换机接如下几类业务: 1、OSS系统 2、BSS系统 3、MSS系统 4、访问互联网的系统 5、USS系统 6、测试业务（

16、OSS、BSS、MSS三类）OSSBSSMSSUSS测试BSSMSSOSSS12518interossBSSmssossBSSmss总体设计方案云平台内部需求实现细节云平台内部和外部互访需求实现细节云中心相同区域访问之间不需要经过防火墙内部业务需求实现（一）实现：1、采用VLAN隔离业务,核心采用VRF进行隔离VRF OSS VRF BSS VRF MSS 业务S12518数据S12518VLAN BSS VLAN OSS VLAN MSS VRF INTERNET VRF USS VLAN USSVLAN internet VRF 测试 VLAN 测试 USS业务访问云中心的OSS,BSS,

17、MSS直接通过S12518进行转发实现：1、使用RT的方式，在MP-BGP下引入直连路由，USS业务可访问云中心OSS、BSS、MSS数据S12518VRF OSS VRF BSS VRF MSS 业务S12518VLAN BSS VLAN OSS VLAN MSS VRF INTERNET VRF USSVLAN USSVLAN internet VRF 测试 VLAN 测试 内部业务需求实现（二）测试业务访问云中心业务系统经过防火墙进行转发实现：1、在FW1-2上起vpn-instance：VRF-OSS、VRF-BSS、VRF-MSS，其互联接口绑定相应的vpn实例中去；2、FW3-4上

18、启用NAT，用于映射某些数据业务3、VRF-测试和VRF-internet配置缺省路由指向FW1-2接口地址；VRF OSS VRF BSS VRF MSS 数据S12518VRF USS VRF 测试 FW-3/4OSPF 1OSPF 2OSPF 3VRF INTERNET FW-1/2OBM业务S12518内部业务需求实现（三）云平台内部需求实现细节云平台内部和外部互访需求实现细节内外业务需求实现（一）云中心的OSS数据业务访问外部OSS网络直接经过数据S12518转发，BSS、MSS相同实现：1、CR16008上启用VRF，将和外部OSS，BSS，MSS的接口划分至相应的VRF2、数据S

19、12518互联接口绑定至相应的VRF，在CR16008和S12518之间启用多实例的OSPF，S12518上相应的OSPF实例可以学习到相应vrf的外部相应路由VRFOSSVRF OSS VRF BSS VRF BSS 数据S12518CR16008-1CR16008-2VRFBSSVRFMSS 云中心的OSS数据业务访问外部BSS网络直接经过数据S12518转发，通过外网OSS，BSS，MSS内部互通；BSS、MSS相同实现：1、CR16008上启用VRF，将和外部OSS，BSS，MSS的接口划分至相应的VRF2、数据S12518互联接口绑定至相应的VRF，在CR16008和S12518之间

20、启用多实例的OSPF，S12518上相应的OSPF实例可以学习到相应vrf的外部路由和缺省路由VRFOSSVRF OSS VRF BSS VRF MSS 数据S12518CR16008-1CR16008-2VRFBSSVRFMSS内外业务需求实现（二） 云中心的数据访问互联网的主机需经过业务核心交换机的防火墙处理后转发至相应的外部网络访问互联网实现：1、防火墙上启用VRF实例OSS、BSS、MSS和S12518上的VRF INTERNET（分为三个VRF，分别为OSS、BSS、MSS）互联；2、防火墙和业务S12518之间启用静态路由或动态路由，同时在防火墙上配置域间策略，实现INTERNET

21、 VRF只能访问外部的相应的OSS、BSS、MSS区域VRFOSSVRF OSS VRF BSS VRF MSS 数据S12518CR16018-1CR16018-2VRFBSSVRFMSSVRF INTERNET FW-1&2内外业务需求实现（三）实现：1、CR16008上启用VRF，将和外部OSS，BSS，MSS互联的接口划分至相应的VRF2、数据S12518互联接口绑定至相应的VRF，在CR16008和S12518之间启用多实例的OSPF，FW3-4启用OSPF多进程，使用相应的域间策略保证到外部系统的通信 数据测试业务访问云中心业务系统或访问外部网络需经过防火墙进行转发VRFOSSVR

22、F OSS VRF BSS VRF MSS 数据S12518CR16018-1CR16018-2VRFBSSVRFMSSVRF 测试 FW-3&4内外业务需求实现（四）Part3二期规划二期规划：多机房，大数据10G核心交换层1G汇聚交换层cluster1cluster2cluster3Hadoop大数据平台Cluster 02*10G2*10G2*10G2*10G2*10G2*10G入口流量Gn/Gb4G/LTEWLAN宽带BSS话单等MC信令互联网数据支撑云项目总结一期已使用技术：1、使用N:1的IRF2虚拟化技术，将多台数据中心交换机逻辑成1台，各设备间具备统一的转发表项和管理平面；2、

23、使用网络安全融合技术，直接在核心交换机上安装防FW、IPS板卡，并通过虚拟防火墙技术解决支撑云内部虚拟机安全问题；3、VRF技术，核心SW、出口Router开启VRF，保证业务间隔离需求；一期建议使用技术：A、使用1:N的MDC技术，便于将支撑系统从逻辑上分成几大类接入；B、使用四框虚拟化技术，及跨广域网的大二层扩展技术EVI，满足今后同城及异地机房间虚拟迁移的要求；IT支撑资源池云网络方案支撑云资源池项目情况网络设计概述支撑云整体网络架构采用分层分区设计纵向分为出口层、核心层、接入层、管理层；功能分区分为核心交换区、安全区、生产资源池区（细分为物理计算资源池和虚拟计算资源池）、存储区、管理区

24、内部网络采用两层扁平化设计：核心层+接入层，服务器网关部署在核心层设备上全网设备采用数据中心级交换机，支持网络虚拟化技术，构建端到端的无环大二层网络，并实现跨设备链路聚合以及虚拟化后的设备的单一网元管理总体网络共XX组共XX组10GE链路 GE链路（管理） 出口层核心层接入层管理调度层网管区虚机资源池物理资源池GE链路（业务） 整网使用数据中心级交换机，通过网络虚拟化技术，搭建统一的核心交换平台；各机房核心交换平台，通过二层互联方案逻辑成一个大平台，虚拟机可以在多个机房间平滑迁移，达到多中心间负载均衡和互为灾备的目的；网络安全融合一体化设计，简化整体架构，节省安全投资成本；通过虚拟防火墙技术解

25、决支撑云内部虚拟机安全问题；支持高密度的40GE和100GE，满足云计算、大数据等高带宽需求；组网方案重点H3C IRF24台设备虚拟成一台上下层级的设备纵向虚拟化H3C MDCMultitenant Device ContextN:1横向虚拟化N:1纵向虚拟化1:N虚拟化故障收敛时间缩短90%以上，运维管理难度减少75%以上最全面的虚拟化技术IRF2.0系统物理连接示意多网卡服务器10GEIRF2.0系统逻辑连接示意802.3ad普通以太网接入交换机IRF接入交换机组802.3ad多网卡服务器普通以太网接入交换机IRF接入交换机组IRF2虚拟化技术，降低二层网络成本：消除二层网络环路问题，避

26、免部署复杂的STP通过跨设备的链路聚合技术提高带宽利用率，减少设备端口数保护倒换时间从2-4秒降到50mS以内通用性好，上下游设备无需支持IRF虚拟化的设备逻辑上是一台，作为一个网元设备进行管理配置云计算资源池多物理集群协同工作，需要大二层网络；云计算资源池虚拟主机在线迁移，也需要大二层网络，否则云计算资源的灵活性与充分性就无从谈起。横向虚拟化-IRF2Multitenant Device Context (MDC)Multitenant Device Context (MDC)是什么?MDC技术是一种完全的1:N设备虚拟化技术，将一台物理网络设备通过软件虚拟化成多台逻辑网络设备，虚拟化出来的

27、逻辑网络设备简称MDC（Multitenant Device Context）软件上，MDC将网络设备的控制平面、数据平面、管理平面进行了完全的虚拟化硬件上，MDC将网络设备的硬件资源进行了虚拟化，不仅可以将板卡、端口等硬件资源划分到独立的逻辑设备，而且可配置每个逻辑设备的CPU、内存、存储空间等资源Multitenant Device Context (MDC)的优点复用，多台MDC共用物理设备的资源，使物理资源能得到充分利用隔离， 同一台物理设备上的多个MDC具有独立的软硬件资源，独立运行互不影响高伸缩性，可整合多个物理网络到一个物理设备上，也可以将一个物理设备扩展为多个逻辑网络H3C 1

28、:N 设备虚拟化技术构建网络资源池IRFOne Virtual DeviceActive MPUInterface cardStandby MPUInterface card。Device PoolDefault MDCMDC 2MDC nMDC 3IRF多虚一将多个网络节点合并为网络资源池MDC一虚多网络资源的按需再分配IRF+MDC同城大二层扩展技术：四框IRF服务器GE接入核心交换机2*S12518服务器GE接入DCN三层路由协议接入交换机接入交换机 IRF2四台虚拟成一台三层网络二层网络三层网关跨机房光纤支撑系统支撑系统x大二层网络区域核心交换机2*S12518纬五路机房机房EVIEV

29、I（Ethernet Virtual interconnection）是一种MACoIP技术，通过将MAC封装在IP报文中实现跨IP网二层互通。EVI 设备实现ARP代理功能，EVI设备通过IRF和端口聚合技术实现高可用性站点A-合肥EVIIRFDCNEVIIRF站点B-淮南IRFIRFL3 linkL2 linkEVI Tunnel接入层核心层出口层IRFIRFEVI：Ethernet Virtual Interconnection，L2 over L3异地大二层扩展技术：EVI云平台安全建设方案Hardware PhysicalHypervisor (VMM)VM1VM2VM3Hardwa

30、re PhysicalHypervisor (VMM)VM1VM2VM3VFW1VFW3VFW 安全运维管理平台CMNET/DCN/外联网络服务器层虚机接入层多业务接入层安全防护层MDC1MDC2MDC3核心交换层用户身份认证网关【VPN网关】VRF1VRF3VRF支撑系统1类VLAN1-10VLAN11-30VLAN40-60支撑系统2类支撑系统3类虚拟防火墙有自己独立的路由表，支持转发多实例和路由多实例，允许不同的租户地址空间重叠 可以设置分级管理，不同租户的管理员可以登陆到不同的虚拟防火墙，看到独立的管理界面，维护私有的防火墙路由和安全策略可以限定各虚拟防火墙资源使用能力（并发连接数、吞吐量）虚拟防火墙实例提供相互隔离的安全服务，具备私有的区域、域间、ACL规则组和NAT地址池，并且能够将绑定接口加入私有区域 虚拟防火墙实例能够提供地址绑定、黑名单、地址转换、包过滤、统计、攻击防范、ASPF和N