集团云数据中心信息外网规划设计

1、集团云数据中心信息外网规划设计12网络整体架构信息外网网络规划目录集团现网分为信息内网和信息外网，信息内网与信息外网之间物理隔离，通过网闸进数据摆渡。目前网络运行基本正常，但随着IT环境的日益复杂，规模日益增长，网络系统局部存在问题仍有待改善。信息内网承载全院用户访问自建业务系统和国网统推业务系统的内网流量；信息外网承载全院用户访问Inerent及对公网用户提供服务的流量；信息内网和信息外网的网络拓扑都采用星型，全网都采用静态路由实现互通。设备、链路、服务器接入有较多的单点，缺少冗余，可用性不高；网络架构层次不清晰，数据中心和办公网未有效隔离，数据中心没有进行功能区域划分；二层广播域跨越双中心

2、，出现广播风暴会导致整网不可用；数据中心没有进行功能区域划分，缺少统一的安全策略；安全防护手段比较单一，缺乏安全纵深；网络设备配置存在安全薄弱环节，业务流量的监控和分析手段不足；大数据相关业务的网络都为千兆，存在带宽瓶颈；带外管理网不完备，运维管理效率不高；网络基础服务没有统一的管理（DHCP、DNS、NTP等）需要注意的是 关键节点的设备和链路（A中心核心、南京院区、武汉院区） 采用冗余部署，具备一定的可用性；在网络出口部署防火墙对集团信息内网进行整体安全防护，专门的DMZ区对外提供服务，并部署WAF进行WEB安全防护；值得肯定的是安全性性能可用性信息内网的网络核心为A中心的两台S7506E

3、，通过中电飞华的链路连接各个院区（武汉院区例外），A中心院区内网用户的网关在核心交换机上，其他各院区的用户网关均在本地的汇聚交换机上，通过出口的一组Juniper防火墙实现安全防护，访问国网公司信息内网的业务系统。可用性安全性可管理信息外网的网络核心为A中心的两台S7506E，通过中电飞华的链路连接各个院区（武汉院区例外），A中心院区内网用户的网关在核心交换机上，其他各院区的用户网关均在本地的汇聚交换机上，有线用户和无线用户的Internet出口分离，部署了部分安全设备实现安全防护。设备、链路、服务器接入有较多的单点，缺少冗余，可用性不高；网络架构层次不清晰，数据中心和办公网未有效隔离，数据中

4、心没有进行功能区域划分；二层广播域跨越双中心，出现广播风暴会导致整网不可用；数据中心没有进行功能区域划分，缺少统一的安全策略；安全防护手段比较单一，缺乏安全纵深；网络设备配置存在安全薄弱环节，业务流量的监控和分析手段不足；带外管理网不完备，运维管理效率不高；网络基础服务没有统一的管理（DHCP、DNS、NTP等）。需要注意的是 关键节点的设备和链路（A中心核心、南京院区、武汉院区） 采用冗余部署，有线侧Intenet出口双链路，通过LB进行负 载均衡，具备一定的可用性；有线用户网络出口部署了防火墙和IDS设备，对集团信息外网进行整体安全防护，通过专门的DMZ区对外提供服务，无线用户侧部署了上网

5、行为管理和防火墙；值得肯定的是安全性可用性可用性安全性可管理高可用性安全性可管理性灵活性可扩展性性能网络结构的高可用性，物理资源的冗余部署，逻辑关系的松耦合设计，不会因为任何一个网络模块发生故障而影响全局网络的畅通。网络安全区域合理规划，安全策略精细化部署，符合信息系统安全等级保护基本要求，全网的安全策略进行统一的管理，能够满足未来业务发展对安全的需求。网络的带宽、时延、抖动等性能指标满足业务系统的要求；采用业务功能模块化和网络拓扑层次化的设计方法，使得网络架构在功能、容量、覆盖能力等各方面具有易扩展能力，使其能够动态响应业务发展变化，快速满足业务和应用不断变化对网络基础架构的要求，配合业务的

6、快速发展或变革。采用新技术和新特性时，网络架构不需要调整或调整较小，满足业务与应用系统灵活多变的部署需求。网络简单、健壮，易于管理和维护，满足行业监管要求及日常运维的需求，并提供及时发现和排除网络故障的能力。集团的网络规划参考业界通用的高可用性、安全性、可扩展性、性能、灵活性和可管理性六个设计原则。核心网架构前端网络后端网络前后端网络分离接入汇聚核心网络松耦合DCDCDCWNWNWNWNBRBRBR标准化部署连接方式标准化协议部署标准化物理部署标准化模块化分区网络分层设计集团的网络采用松耦合设计，信息内网、外网和科研网均基于核心网架构，标准化设计和部署，数据中心内部前后端网络分离，模块化分区和

7、分层设计，使集团的网络在业务可用性及连续性、快速响应、网络标准化、网络风险控制以及业务价值回报五个方面达到同业成熟期的能力。集团网络分为信息内网、信息外网和科研网，信息内网承载全院用户访问自建业务系统和国网统推业务系统的内网流量；信息外网承载全院用户访问Inerent及对公网用户提供服务的流量；科研网承载各院所实验室的科研流量。三张网络物理上相互独立，互访需要经过隔离装置进行数据摆渡。12网络整体架构信息外网网络规划目录信息外网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计4.24.14.34.4集团信息外网网络目标架构:A中心、B中心、南京和武汉数据中心及各院区通过广域

8、网承载平台进行互联，在A中心数据中心提供互联网出口，实现高可用性、高性能和灵活扩展。A中心B中心集团信息外网网络通过核心承载网的建设,向三地四中心平滑演进,A中心、B中心、武汉和南京数据中心都有自已独立的互联网出口，通过部署全局负载均衡设备实现数据中心入口选择，满足后续容灾的相关需求。信息外网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计4.24.14.34.4信息外网数据中心的业务网、存储网和云管理网相互独立，通过业务网的管理业务区实现对整个信息外网的统一运维和管理。参考集团的业务系统类型和信息系统安全等级保护基本要求及国网公司安全要求，结合业务流量自身特点，实现资源的

9、高效利用，保证各分区之间尽量松耦合，高内聚，简化运维管理，对信息外网数据中心进行相应的网络功能分区。分区名称功能设计原则设计建议核心交换区连接数据中心的各个网络分区；高速转发跨分区的的数据流量；高可用性性能可扩展性采用CLOS架构，设备之间松耦合，具备高可用性、高性能和良好的可扩展性，有效隔离故障域；互联网出口区承载互联网相关业务，包括信息外网用户访问Internet及对公网用户提供服务；安全性高可用性性能部署多类安全设备实现纵深安全防御；区域内各节点和链路冗余备份；安全设备高新建、高并发能力；二级系统区承载等保二级业务系统高可用性安全性性能可扩展性采用独立的物理资源，区域内各节点和链路冗余备

10、份；部署安全设备进行安全防护；区域内设备的业务处理能力具备冗余空间，满足业务高峰期和业务发展需要具备较好的扩展性；管理业务区承载与IT管理业务相关的各类系统，包括云平台、网管平台、安管中心等；可管理性安全性高可用性部署计算、存储、网络、安全、云平台等多种管理服务器，一体化运维管理；部署安全设备，控制与管理网之间的互访；采用独立的物理资源，区域内各节点和链路冗余备份；广域网区进出数据中心流量的高速转发和路由控制高可用性性能采用独立的物理资源，区域内各节点和链路冗余备份；高带宽，高吞吐能力；根据各网络分区承载的业务类型，结合前期调研与需求分析阶段汇总的业务需求，确定各分区的TOP设计原则和设计建议

11、。设计要点: 架构核心交换区由两台独立的高端交换机组成，各网络区域的汇聚设备，每台都与两台核心交换机互连；核心交换机与各区域汇聚交换机之间，均是采用三层路由互通，通过ECMP进行负载分担。高可用性核心交换区采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；两台核心交换机相互独立，故障隔离。性能核心交换机采用CLOS多级交换架构，支持分布式流量调度；到各分区汇聚之间采用万兆互联，满足不断增长的服务器接入带宽需求，未来能够平滑升级至40G/100G ；单台交换机可以支撑全数据中心的业务流量。数据中心核心交换区连接其他各网络功能分区，负责各区域间的高速流量转发，构建更高可用性

12、和性能的网络核心。互联网出口区承载与互联网相关的业务，包括信息外网用户访问Internet及对公网用户提供服务，设计主要考虑安全性、高可用性和性能。设计要点: 架构互联网出口区从外到内依次部署链路接入交换机、链路负载均衡、接入交换、外层防火墙、IPS、WAF、DMZ汇聚交换、内层异构防火墙和上网行为管理；汇聚交换机支持网络虚拟化技术，作为DMZ区服务器的业务网关。安全性从外到内部署链路层到应用层的多类安全设备，实现二至七层的纵深安全防御。高可用性互联网出口区的设备都采用双机，链路冗余备份，互联网出口ISP线路选择两家不同运营商，以避免网络层面的单点故障；链路负载均衡、外层防火墙、WAF和内层防

13、火墙双机都连接心跳线，设备或链路故障快速倒换，业务无感知。性能广域网核心交换与链路接入交换之间部署的所有设备都采用千兆互联；安全设备具备性能冗余（如转发能力、新建/并发连接等），满足业务突发。二级系统区承载根据信息系统安全等级保护定级定级指南和国网相关安全要求确定的二级应用系统。采用Spine+Leaf的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为Spine节点，TOR接入作为Leaf节点；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR接入交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。二级系统区主要考虑高可用性、安全性、可

14、扩展性和性能。高可用性安全性可管理性灵活性可扩展性性能汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。每台汇聚设备通过两条链路分别连接到两台核心交换，并支持ECMP路由，实现区域出口连接的高可用性；防火墙旁挂部署， 通过PBR(策略路由)引流方式，防火墙全部失效后业务不受影响，实现业务的高可用性。旁挂服务器负载均衡，采用SNAT方式实现应用的高可用性。汇聚设备旁挂防火墙，通过PBR(策略

15、路由)引流方式对整个区域实现安全防护；区域内部的安全控制，通过在交换机上下发访问控制规则（ACL）实现。TOR接入到二级系统区汇聚，及二级系统区汇聚之间均采用万兆连接， 二级系统区汇聚之间互连带宽大于等于任何单台汇聚设备上行带宽。汇聚与防火墙，汇聚与负载均衡设备之间采用千兆链路，防火墙要求具备高新建连接数和并发连接数的性能，满足业务系统跨区访问的需求。汇聚设备支持高密度万兆，通过横向扩展的方式，接入更多的服务器POD；防火墙和服务器负载均衡旁挂部署，便于扩展。广域网区负责进出数据中心流量的高速转发和路由控制，主要考虑高可用性和性能。设计要点: 架构广域网区采用两台高端交换机，对进出数据中心的流

16、量高速转发和实现路由控制。高可用性广域网核心交换采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；每台广域网核心交换通过两条链路分别连接到两台数据中心核心交换，通过一条链路连接广域网承载平台和互联网出口区，广域网核心交换之间跨板链路聚合，实现进出数据中心链路的高可用。性能广域网核心交换与互联网出口区之间采用千兆互联，广域网核心到数据中心核心交换区及广域网承载平台、广域网核心交换之间均采用万兆互联，未来能够平滑升级至40/100G ；单台交换机可以支撑所有进出数据中心的业务流量。管理业务区是保障IT基础架构正常运行的操作和管理区域，云平台、安管中心（SOC）、网管服务器、

17、日志主机、维护终端等都部署在此区域。设计要点: 架构采用传统的汇聚+接入的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为本区域的业务网关；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。高可用性汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。安全性通过防火墙对进出管理业务区的

18、流量进行安全防护，管理业务区与云管理网核心和存储网核心之间通过静态路由互通，实现路由层面的控制。云管理网和存储网物理共用一组核心交换，先进行N：1网络虚拟化，再通过1：N网络虚拟为两组核心，分别作为云管理网核心和存储网核心，各业务网关部署在核心上。云管理网整体带宽为万兆，A中心和B中心同城双中心的云管理网核心间采用裸光纤互联；存储网核心与管理业务区汇聚之间的互连带宽为万兆，存储网TOR与存储网核心之间及两台存储网核心之间的互连带宽均为40G, 存储网TOR到存储网核心的收敛比小于4：1，A中心和B中心同城双中心的存储网核心间采用裸光纤互联，二、三层流量混合运行，带宽为40G。云管理网TOR和存

19、储网TOR支持网络虚拟化技术，以提高带宽利用率，简化管理。数据中心间互联需要考虑业务系统跨中心多活或容灾备份需求，实现业务系统的Anywhere部署。业务通道、管理通道和存储通道分离，避免带宽争用，隔离故障域。多中心统一管理，一体化运维。互联物理通道基于高可用性和性能方面考虑，建议采用两条缆沟部署裸光纤。A中心数据中心B中心数据中心信息外网的A中心和B中心数据中心的业务网各增加一组DCI互联设备，实现双中心二级系统区的虚拟机迁移和集群跨中心部署。信息外网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计4.24.14.34.4集团信息外网以广域网承载平台为核心，各数据中心和院

20、区接入到广域网承载平台。广域网承载平台与各数据中心和院区之间部署EBGP，广域网承载平台内部部署iBGP，A中心数据中心广域网交换与Interent之间部署静态路由。各数据中心内部采用OSPF和静态路由协议结合的方式，各院区内部部署OSPF协议；静态路由建议使用出接口+下一跳方式规划，避免静态路由迭代。数据中心内部运行OSPF协议，与除互联网出口区的其他各区域汇聚设备组成OSPF的骨干区域，广域网区内部运行iBGP，与广域网承载平台之间运行EBGP，与互联网出口区之间运行静态路由。广域网区的核心交换作为BGP与OSPF的路由边界，进行路由重分布。二级系统区在物理网络上叠加部署Overlay网络

21、，底层Underlay网络分属不同的OSPF子域，便于实现路由控制。云管理网和存储网分别运行单独的OSPF进程，与数据中心的管理业务区之间运行静态路由。信息外网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计4.24.14.34.4DNS系统作为集团三地四中心建设及后续应用级灾备建设的重要组成部分，需要进行统一的规划和管理。信息外网DNS系统的部署遵循下述原则：A中心和B中心双中心部署在B中心数据中心和A中心数据中心各部署一套DNS系统，两套系统同时对集团信息内网用户提供DNS解析服务，互为备份，保证DNS系统的高可用性。信息外网用户和公网用户DNS分离集团信息外网终端用户和Internet公网用户DNS分离，保证安全性。隐主DNS设计采用隐主DNS设计，隐主DNS只提供区域更新服务以同步数据，不直接对外提供域名解析服务，保证安全性。信息外网DNS系统分别部署在A中心和B中心数据中心的管理业务区和二级系统区及A中心数据中心的互联网出口区，管