集团云数据中心网络设计方案

1、集团云数据中心网络设计方案21453网络整体架构网络物理部署信息内网网络规划信息外网网络规划科研网网络规划目录集团现网分为信息内网和信息外网，信息内网与信息外网之间物理隔离，通过网闸进数据摆渡。目前网络运行基本正常，但随着IT环境的日益复杂，规模日益增长，网络系统局部存在问题仍有待改善。信息内网承载全院用户访问自建业务系统和国网统推业务系统的内网流量；信息外网承载全院用户访问Inerent及对公网用户提供服务的流量；信息内网和信息外网的网络拓扑都采用星型，全网都采用静态路由实现互通。设备、链路、服务器接入有较多的单点，缺少冗余，可用性不高；网络架构层次不清晰，数据中心和办公网未有效隔离，数据中

2、心没有进行功能区域划分；二层广播域跨越双中心，出现广播风暴会导致整网不可用；数据中心没有进行功能区域划分，缺少统一的安全策略；安全防护手段比较单一，缺乏安全纵深；网络设备配置存在安全薄弱环节，业务流量的监控和分析手段不足；大数据相关业务的网络都为千兆，存在带宽瓶颈；带外管理网不完备，运维管理效率不高；网络基础服务没有统一的管理（DHCP、DNS、NTP等）需要注意的是 关键节点的设备和链路（A中心核心、南京院区、武汉院区） 采用冗余部署，具备一定的可用性；在网络出口部署防火墙对集团信息内网进行整体安全防护，专门的DMZ区对外提供服务，并部署WAF进行WEB安全防护；值得肯定的是安全性性能可用性

3、信息内网的网络核心为A中心的两台S7506E，通过中电飞华的链路连接各个院区（武汉院区例外），A中心院区内网用户的网关在核心交换机上，其他各院区的用户网关均在本地的汇聚交换机上，通过出口的一组Juniper防火墙实现安全防护，访问国网公司信息内网的业务系统。可用性安全性可管理信息外网的网络核心为A中心的两台S7506E，通过中电飞华的链路连接各个院区（武汉院区例外），A中心院区内网用户的网关在核心交换机上，其他各院区的用户网关均在本地的汇聚交换机上，有线用户和无线用户的Internet出口分离，部署了部分安全设备实现安全防护。设备、链路、服务器接入有较多的单点，缺少冗余，可用性不高；网络架构层

4、次不清晰，数据中心和办公网未有效隔离，数据中心没有进行功能区域划分；二层广播域跨越双中心，出现广播风暴会导致整网不可用；数据中心没有进行功能区域划分，缺少统一的安全策略；安全防护手段比较单一，缺乏安全纵深；网络设备配置存在安全薄弱环节，业务流量的监控和分析手段不足；带外管理网不完备，运维管理效率不高；网络基础服务没有统一的管理（DHCP、DNS、NTP等）。需要注意的是 关键节点的设备和链路（A中心核心、南京院区、武汉院区） 采用冗余部署，有线侧Intenet出口双链路，通过LB进行负 载均衡，具备一定的可用性；有线用户网络出口部署了防火墙和IDS设备，对集团信息外网进行整体安全防护，通过专门

5、的DMZ区对外提供服务，无线用户侧部署了上网行为管理和防火墙；值得肯定的是安全性可用性可用性安全性可管理高可用性安全性可管理性灵活性可扩展性性能网络结构的高可用性，物理资源的冗余部署，逻辑关系的松耦合设计，不会因为任何一个网络模块发生故障而影响全局网络的畅通。网络安全区域合理规划，安全策略精细化部署，符合信息系统安全等级保护基本要求，全网的安全策略进行统一的管理，能够满足未来业务发展对安全的需求。网络的带宽、时延、抖动等性能指标满足业务系统的要求；采用业务功能模块化和网络拓扑层次化的设计方法，使得网络架构在功能、容量、覆盖能力等各方面具有易扩展能力，使其能够动态响应业务发展变化，快速满足业务和

6、应用不断变化对网络基础架构的要求，配合业务的快速发展或变革。采用新技术和新特性时，网络架构不需要调整或调整较小，满足业务与应用系统灵活多变的部署需求。网络简单、健壮，易于管理和维护，满足行业监管要求及日常运维的需求，并提供及时发现和排除网络故障的能力。集团的网络规划参考业界通用的高可用性、安全性、可扩展性、性能、灵活性和可管理性六个设计原则。核心网架构前端网络后端网络前后端网络分离接入汇聚核心网络松耦合DCDCDCWNWNWNWNBRBRBR标准化部署连接方式标准化协议部署标准化物理部署标准化模块化分区网络分层设计集团的网络采用松耦合设计，信息内网、外网和科研网均基于核心网架构，标准化设计和部

7、署，数据中心内部前后端网络分离，模块化分区和分层设计，使集团的网络在业务可用性及连续性、快速响应、网络标准化、网络风险控制以及业务价值回报五个方面达到同业成熟期的能力。集团网络分为信息内网、信息外网和科研网，信息内网承载全院用户访问自建业务系统和国网统推业务系统的内网流量；信息外网承载全院用户访问Inerent及对公网用户提供服务的流量；科研网承载各院所实验室的科研流量。三张网络物理上相互独立，互访需要经过隔离装置进行数据摆渡。目录21453网络整体架构物理部署信息内网网络规划信息外网网络规划科研网网络规划2.12.2机房物理部署POD设计A中心数据中心（科研楼三楼）机房综合布线遵循TIA-9

8、42 Tier IV标准的星形连接架构。A中心数据中心（科研楼三楼）网络机房机柜布放：网络机房最左侧四列机柜放置信息内网的网络设备和MDA区的线缆，最右侧两列机柜放置信息外网的网络设备和MDA区的线缆，最右侧的第三列机柜放置科研网的网络设备和MDA区的线缆，其余机柜作为服务器机柜。A中心数据中心（科研楼三楼）服务器机房机柜布放：每列机柜部署一个配线柜和一个强电柜，配线柜布放网络机房的MDA区到本列机柜的光纤，经ODF配线架/MPO模块盒采用尾纤跳线到各机柜架顶的ODF配线架/MPO模块盒上。数据中心内部综合布线考虑后续能够平滑升级到支持100G带宽，推荐采用MPO预端接方式进行综合布线。主流光

9、模块封装类型主流接口类型光纤数量传输距离10G-SRSFP/SPF+、XFP、X2LC2芯（1发1收）300米（OM3）550米（OM4）40G-SR4BIDI QSPFLC2芯（1发1收）100米（OM3）150米（OM4）QSFP+、CFP、CXP12芯MPO8芯（4发4收）100G-SR10CXP、CFP2、CFP424芯MPO20芯（10发10收）100米（OM3）150米（OM4）100G-SR4QSFP2812芯MPO8芯（4发4收）100米（OM4）2 * 12芯MPO主干2*12 to 24芯MPO跳线2*12 to 24芯MPO跳线MPO扇出跳线10G40G100GMDA区到

10、HDA区的主干布线不变，通过尾纤跳线实现带宽平滑升级。21453网络整体架构物理部署信息内网网络规划信息外网网络规划科研网网络规划2.12.2机房物理部署POD设计目录“模块化的云计算数据中心”5种颗粒度的说明（由大到小）ZoneZone 表示数据中心所在城市SiteSite 表示数据中心的具体位置 ModuleModule 表示数据中心的大楼CellCell 表示数据中心内的一个单元，包括存储、计算、网络PodPOD 表示一组部署IT设备的机柜RackRack 机柜（服务器、网络、存储）“模块化的云计算数据中心”是一种用标准、可重复构建的单元来建设云计算数据中心基础设施的方法其中CELL 与

11、 POD 是结构化布线及网络设计的关注重点云计算数据中心通常会采用结构化、模块化、标准化的设计方法，实现IT基础设施（计算、网络、存储）的灵活扩展，减少对在网运行业务的影响，简化部署，便于实现自动化运维。POD（服务提供点）是提供服务的一组组件，一个POD可以包括一组或多组机柜。在云计算数据中心中通常会采用POD预构件方式实现物理资源的组件化和模块化。POD可以分为服务器POD（如X86服务器、刀片服务器等）、存储POD等类型。X86服务器 POD刀片POD存储POD存储网交换机2U高度X86服务器POD：根据集团服务器机房（低密）每机柜电源功率和TOR交换机端口利用率，2U高度的X86服务器

12、POD由三组机柜构成，后续按POD进行业务扩展。业务网交换机带外管理网交换机管理网交换机部署要点: 物理部署每三组机柜作为一个POD，按POD进行业务扩展；每组机柜部署12台2U服务器，每个POD最多部署36台2U服务器；每个POD至少部署5台交换机，2台业务网交换机，2台管理网交换机，1台带外管理交换机，若POD内使用分布式存储，则需要增加2台存储网交换机。交换机端口利用率（均按单台设备计算）网络类型交换机端口数端口利用率业务网交换机48口（12*3+1）/48=77%存储网交换机48口（12*3+1）/48=77%管理网交换机48口（12*3+1）/48=77%带外管理交换机48口（12*

13、3+4）/48=83%4U高度X86服务器POD：根据集团服务器机房（低密）每机柜电源功率、TOR交换机端口利用率，和每列机柜的部放情况，4U高度的X86服务器POD由五组机柜构成，后续按POD进行业务扩展。部署要点: 物理部署每五组机柜作为一个POD，按POD进行业务扩展；每组机柜部署6台4U服务器，每个POD最多部署30台4U服务器；每个POD至少部署5台交换机，2台业务网交换机，2台管理网交换机，1台带外管理交换机，若POD内使用分布式存储，则需要增加2台存储网交换机。交换机端口利用率（均按单台设备计算）网络类型交换机端口数端口利用率业务网交换机48口（6*5+1）/48=65%存储网交

14、换机48口（6*5+1）/48=65%管理网交换机48口（6*5+1）/48=65%带外管理交换机48口（6*5+4）/48=71%存储网交换机管理网交换机带外管理网交换机业务网交换机刀片POD：根据集团服务器机房（高密）每机柜电源功率和TOR交换机端口利用率，POD由二组机柜组成，后续按POD进行业务扩展。部署要点: 物理部署每二组机柜作为一个POD，按POD进行业务扩展；每组机柜部署2台刀片（假设每台刀片12U，每台刀片的业务网口16个）每个POD最多部署4台刀片；每个POD至少部署4台交换机，2台业务网交换机，2台管理网交换机。交换机端口利用率（均按单台设备计算）管理网交换机业务网交换机

15、网络类型交换机端口数端口利用率业务网交换机48口（16*2+1）/48=69%管理网交换机48口（16*2+4）/48=75%21453网络整体架构网络物理部署信息内网网络规划信息外网网络规划科研网网络规划目录3信息内网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计3.23.13.33.4集团信息内网近期目标架构:A中心、B中心、南京和武汉数据中心及各院区通过广域网承载平台进行互联，实现高可用性、高性能和灵活扩展。集团信息内网远期目标架构：A中心、B中心、南京和武汉数据中心及各院区就近接入国网综合数据网，充分利用综合数据网的高带宽、高可用、广覆盖，满足后续容灾的相关需求。

16、3信息内网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计3.23.13.33.4业务网存储网管理网前端网络后端网络云计算数据中心的网络类型：云计算数据中心的网络通常包括前端网络和后端网络,前端网络承载业务运行相关流量，后端网络承载运维管理相关流量。带外管理网数据备份网虚机迁移网网络类型承载业务流量特点服务器网卡接入带宽业务网客户端到业务系统及不同业务系统之间的访问流量可用性要求较高，低时延，高带宽，有突发流量至少采用双千兆捆绑，建议双万兆捆绑存储网FC、iSCSI、NAS、分布式存储流量可用性要求较高，低时延，带宽要求高，不允许丢包，分布式存储节点副本复制带宽要求较高分布

17、式存储网络至少采用万兆，建议采用双万兆捆绑数据备份网IP类数据备份流量时延要求不高，带宽有较高需求，有突发流量建议至少千兆虚机迁移网虚拟机vmotion在线迁移的实时流量带宽要求高，低时延建议至少千兆管理网(含带外管理)网络管理类（SNMP、流量监控和日志）、PXE系统安装类、云平台管理类、服务器ILO/HMC/BMC带外管理类等流量可用性要求较高，时延和带宽的要求都不高建议双网卡捆绑，带宽百兆及以上云计算数据中心不同的网络类型承载不同的业务，具有不同的流量特点和网络带宽需求。考虑投资成本、运维难度、不同业务的流量特点和带宽需求，云计算数据中心的的网络进行适当整合，分为业务网、存储网和云管理网

18、，云管理网上承载数据备份流量、虚拟机迁移流量和管理类流量，不同类型的流量使用ACL进行安全隔离，通过QoS进行带宽保障。云管理网前端网络后端网络带外管理网数据备份网虚机迁移网业务网存储网信息内网数据中心的业务网、存储网和云管理网相互独立，通过业务网的管理业务区实现对整个信息内网的统一运维和管理。云计算数据中心的网络分区通常采用模块化、层次化设计思想，根据业务应用类型、业务应用之间的耦合度、业务应用安全级别（如业务系统的等保定级）、业务应用的运维管理等维度进行划分。参考集团的业务系统类型和信息系统安全等级保护基本要求及国网公司安全要求，结合业务流量自身特点，实现资源的高效利用，保证各分区之间尽量

19、松耦合，高内聚，简化运维管理，对信息内网的数据中心进行相应的网络功能分区。分区名称功能设计原则设计建议核心交换区连接数据中心的各个网络分区；高速转发跨分区的的数据流量；高可用性性能可扩展性采用CLOS架构，设备之间松耦合，具备高可用性、高性能和良好的可扩展性，有效隔离故障域；VDI区承载虚拟桌面应用，终端用户通过瘦客户端或者其他设备来访问客户桌面；高可用性性能安全性采用独立的物理资源，区域内各节点和链路冗余备份；区域内设备的业务处理能力满足客户使用高峰期和终端用户数增长需要；部署安全设备进行安全防护；二级系统区承载等保二级业务系统高可用性安全性性能可扩展性采用独立的物理资源，区域内各节点和链路

20、冗余备份；部署安全设备进行安全防护；区域内设备的业务处理能力具备冗余空间，满足业务高峰期和业务发展需要具备较好的扩展性；三级系统区承载等保三级业务系统高可用性安全性性能采用独立的物理资源，区域内各节点和链路冗余备份；部署安全设备进行纵深安全防护；区域内设备的业务处理能力满足客户使用高峰期和终端用户数增长需要；根据各网络分区承载的业务类型，结合前期调研与需求分析阶段汇总的业务需求，确定各分区的TOP设计原则和设计建议。分区名称功能设计原则设计建议高性能计算区海量结构化数据和非结构化数据的存储和处理；高可用性安全性性能可扩展性采用独立的物理资源，区域内各节点和链路冗余备份；部署安全设备进行纵深安全

21、防护；高带宽，高吞吐能力；具备较好的扩展性；开发测试区为业务系统和应用提供开发测试环境；新业务系统的预上线测试；安全性灵活性采用独立的物理资源；采用独立的路由进程；部署安全设备，严格控制与数据中心其他区域之间的互访；验证新特性和新功能不会影响整体架构；管理业务区承载与IT管理业务相关的各类系统，包括云平台、网管平台、安管中心等；可管理性安全性高可用性部署计算、存储、网络、安全、云平台等多种管理服务器，一体化运维管理；采用独立的物理资源；区域内各节点和链路冗余备份；部署安全设备，控制与管理网之间的互访；广域网区进出数据中心流量的高速转发和路由控制高可用性性能采用独立的物理资源，区域内各节点和链路

22、冗余备份；高带宽，高吞吐能力；根据各网络分区承载的业务类型，结合前期调研与需求分析阶段汇总的业务需求，确定各分区的TOP设计原则和设计建议。数据中心核心交换区连接其他各网络功能分区，负责各区域间的高速流量转发，构建更高可用性和性能及灵活扩展的网络核心。设计要点: 架构数据中心核心交换区负责各区域间的高速流量转发，访问控制、路由过滤等网络功能从核心交换区剥离，分散至各个功能分区汇聚层，简化核心交换区，构建更高性能和灵活扩展的网络核心；核心交换区由两台独立的高端交换机组成，各网络区域的汇聚设备，每台都与两台核心交换机互连；核心交换机与各区域汇聚交换机之间，均是采用三层路由互通，通过ECMP进行负载

23、分担。高可用性核心交换区采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；两台核心交换机相互独立，故障隔离。数据中心核心交换区设计时应考虑性能，架构容易扩展，并且尽量平滑，避免影响现有业务。性能核心交换机采用CLOS多级交换架构，支持分布式流量调度；到各分区汇聚之间（高性能计算区除外）采用万兆互联，满足不断增长的服务器接入带宽需求，未来能够平滑升级至100G ；单台交换机可以支撑全数据中心的业务流量。可扩展性核心层采用CLOS架构部署，核心层设备之间不互联，扩容相对独立，未来可以灵活的进行横向扩展。采用传统的汇聚+接入的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化

24、技术，作为本区域的业务网关；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。VDI区承载虚拟桌面应用，终端用户通过瘦客户端或者其他设备来访问客户桌面。VDI区的设计主要考虑高可用性、安全性和性能。高可用性安全性可管理性灵活性可扩展性性能汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。每台汇

25、聚设备通过两条链路分别连接到两台核心交换，并支持ECMP路由，实现区域出口连接的高可用性；防火墙旁挂部署， 通过PBR(策略路由)引流方式，防火墙全部失效后业务不受影响，实现业务的高可用性。汇聚设备旁挂防火墙，通过PBR(策略路由)引流方式对整个区域实现安全防护；区域内部的安全控制，通过在交换机上下发访问控制规则（ACL）实现。TOR接入到VDI汇聚，及VDI区汇聚之间均采用万兆连接， VDI区汇聚之间互连带宽大于等于任何单台汇聚设备上行带宽。汇聚与防火墙之间采用千兆链路，防火墙要求具备高新建连接数和并发连接数的性能，满足业务系统跨区访问的需求。二级系统区承载根据信息系统安全等级保护定级定级指

26、南和国网相关安全要求确定的二级应用系统。采用Spine+Leaf的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为Spine节点，TOR接入作为Leaf节点；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR接入交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。二级系统区主要考虑高可用性、安全性、可扩展性和性能。高可用性安全性可管理性灵活性可扩展性性能汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，

27、防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。每台汇聚设备通过两条链路分别连接到两台核心交换，并支持ECMP路由，实现区域出口连接的高可用性；防火墙旁挂部署， 通过PBR(策略路由)引流方式，防火墙全部失效后业务不受影响，实现业务的高可用性。旁挂服务器负载均衡，采用SNAT方式实现应用的高可用性。汇聚设备旁挂防火墙，通过PBR(策略路由)引流方式对整个区域实现安全防护；区域内部的安全控制，通过在交换机上下发访问控制规则（ACL）实现。TOR接入到二级系统区汇聚，及二级系统区汇聚之间均采用万兆连接， 二级系统区汇聚之间互连带宽大于等于任何单台汇聚设备上行带宽。汇聚与防火

28、墙，汇聚与负载均衡设备之间采用千兆链路，防火墙要求具备高新建连接数和并发连接数的性能，满足业务系统跨区访问的需求。汇聚设备支持高密度万兆，通过横向扩展的方式，接入更多的服务器POD；防火墙和服务器负载均衡旁挂部署，便于扩展。三级系统区承载根据信息系统安全等级保护定级定级指南和国网相关安全要求确定的三级应用系统。采用Spine+Leaf的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为Spine节点，TOR接入作为Leaf节点；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR接入交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。三级系

29、统区的设计主要考虑高可用性、安全性和性能。高可用性安全性可管理性灵活性可扩展性性能汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。每台汇聚设备通过两条链路分别连接到两台核心交换，并支持ECMP路由，实现区域出口连接的高可用性；安全设备旁挂部署， 通过PBR(策略路由)引流方式，安全设备全部失效后业务不受影响，实现业务的高可用性。旁挂服务器负载均衡，采用SNAT方式实现应用的高可用性。汇聚

30、设备旁挂防火墙和IPS，通过PBR(策略路由)引流方式对整个区域实现四至七层的安全防护；区域内部的安全控制，通过在交换机上下发访问控制规则（ACL）实现。TOR接入到三级系统区汇聚，及三级系统区汇聚之间均采用万兆连接， 三级系统区汇聚之间互连带宽大于等于任何单台汇聚设备上行带宽。汇聚与防火墙/IPS及汇聚与负载均衡设备之间采用千兆链路，防火墙要求具备高新建连接数和并发连接数的性能，满足业务系统跨区访问的需求。高性能计算区对海量结构化数据和非结构化数据进行存储和处理，部署电网仿真等业务系统。采用传统的汇聚+接入的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为本区域的业务网关；汇聚交

31、换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。高性能计算区的设计主要考虑高可用性、安全性、性能和可扩展性。高可用性安全性可管理性灵活性可扩展性性能汇聚设备旁挂防火墙和IPS，通过PBR(策略路由)引流方式对整个区域实现四至七层的安全防护；区域内部的安全控制，通过在交换机上下发访问控制规则（ACL）实现。高性能计算区部署的服务器尽量采用物理机，使用万兆网卡接入。千兆服务器POD的TOR接入采用万兆上行，万兆服务器POD的TOR接入采用40G上行，TOR接入到高性能计算区汇聚之间的收敛比小于4：1，高性

32、能计算区汇聚到核心交换区的收敛比小于16：1。汇聚与安全设备之间采用万兆链路，安全设备需要具备较高的性能吞吐，满足跨区海量数据的ETL。汇聚设备支持高密度40G，通过横向扩展的方式，接入更多的服务器POD；汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。每台汇聚设备通过两条链路分别连接到两台核心交换，并支持ECMP路由，实现区域出口连接的高可用性；安全设备旁挂部署， 通过PBR(策略路由

33、)引流方式，安全设备全部失效后业务不受影响，实现业务的高可用性。开发测试区为业务系统和应用提供开发测试环境，设计主要考虑安全性和灵活性。设计要点: 架构采用Spine+Leaf的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为Spine节点，TOR接入作为Leaf节点；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。安全性开发测试区运行独立的路由进程，与核心交换区之间通过静态路由互通；开发测试区旁挂物理防火墙，通过1:N虚拟化成多台逻辑防火墙为不同的院所提供南北向的安全防护。灵活性采

34、用Spine+Leaf架构，运行独立的路由进程实现底层Underlay网络互通，可以在上面叠加Oveylay网络+NFV设备实现灵活组网和验证测试。广域网区负责进出数据中心流量的高速转发和路由控制，主要考虑高可用性和性能。设计要点: 架构广域网区采用两台高端交换机，对进出数据中心的流量高速转发和实现路由控制。高可用性广域网核心交换采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；每台广域网核心交换通过两条链路分别连接到两台数据中心核心交换，通过一条链路连接广域网承载平台，广域网核心交换之间跨板链路聚合，实现进出数据中心链路的高可用。性能广域网核心到数据中心核心交换区及广

35、域网承载平台、广域网核心交换之间均采用万兆互联，未来能够平滑升级至40/100G ；单台交换机可以支撑所有进出数据中心的业务流量。广域网承载平台负责接入A中心、B中心、南京和武汉数据中心及各个院区，并通过广域网承载平台与国网综合数据网进行互联。设计要点: 架构在A中心数据中心机房和B中心数据中心机房各部署两台高端路由器，通过A中心和B中心的裸光纤，口字型互联形成集团的广域网承载平台；广域网承载平台承载数据中心间的三层流量及各院所访问数据中心的流量。通过广域网承载平台接入国网综合数据网的信息CE设备。安全性在国网综合数据网与广域网承载平台间部署防火墙和IPS设备，对整个集团的信息内网进行四至七层

36、的安全防护；对需提供给国网公司总部及其它单位访问的WEB类应用部署在DMZ区，增加一组WAF设备采用反向代理方式对WEB应用进行防护。性能广域网承载平台的设备之间及广域网承载平台与国网综合数据网之间均采用万兆互联，WAF设备采用千兆接入。管理业务区是保障IT基础架构正常运行的操作和管理区域，云平台、安管中心（SOC）、网管服务器、日志主机、维护终端等都部署在此区域。设计要点: 架构采用传统的汇聚+接入的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为本区域的业务网关；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR交换机，支持网络虚拟化技

37、术，以提高带宽利用率，简化管理。高可用性汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。安全性通过防火墙对进出管理业务区的流量进行安全防护，管理业务区与云管理网核心和存储网核心之间通过静态路由互通，实现路由层面的控制。云管理网网上承载数据备份流量、虚拟机迁移流量、虚拟机高可用流量（如容错）和管理类流量，不同类型的流量使用ACL进行安全隔离。采用核心+接入的两层架构。核心由两台高端交换机组

38、成，支持网络虚拟化技术，作为业务网关；云管理网TOR与云管理网核心之间、云管理网核心与管理业务区汇聚之间的，及两台云管理网核心之间的互连带宽均为万兆；A中心和B中心同城双中心的云管理核心间采用裸光纤互联，带宽为万兆。云管理网TOR交换机支持网络虚拟化技术，以提高带宽利用率，简化管理。随着南京、武汉数据中心的建设投运，南京、武汉数据中心的云管理网核心通过广域网链路分别接入A中心和B中心数据中心的云管理核心上，单独成网。存储网承载iSCSI、NAS和分布式存储流量，需要保证网络的高可用性、高带宽和低延迟，根据业界最佳实践，分布式存储中的网络带宽应满足：存储节点硬盘数量*硬盘持续带宽MB/S(HDD

39、通常按100MB/S计算)=存储节点网卡带宽。采用核心+接入的两层架构。核心由两台高端交换机组成，支持网络虚拟化技术，作为业务网关；存储网核心与管理业务区汇聚之间的互连带宽为万兆，存储网TOR与存储网核心之间及两台存储网核心之间的互连带宽均为40G, 存储网TOR到存储网核心的收敛比小于4：1，A中心和B中心同城双中心的存储网核心间采用裸光纤互联，二、三层流量混合运行，带宽为40G。存储网TOR交换机支持网络虚拟化技术，以提高带宽利用率，简化管理。随着南京、武汉数据中心的建设投运，南京、武汉数据中心的存储网核心通过广域网链路分别接入A中心和B中心数据中心的存储网核心上，单独成网。数据中心间互联

40、需要考虑业务系统跨中心多活或容灾备份需求，实现业务系统的Anywhere部署。业务通道、管理通道和存储通道分离，避免带宽争用，隔离故障域。多中心统一管理，一体化运维。互联物理通道基于高可用性和性能方面考虑，建议采用两条缆沟部署裸光纤。A中心数据中心B中心数据中心信息内网的A中心和B中心数据中心的业务网各增加一组DCI互联设备，实现双中心二级系统区、三级系统区和开发测试区虚拟机迁移和集群跨中心部署。3信息内网网络规划目录3.2网络总体架构设计数据中心分区规划路由设计网络基础服务设计3.13.33.4路由规划是网络设计的重要内容，需要考察路由协议的开放性、可扩展性、灵活性和可管理性等方面。路由协议

41、特点问题OSPF开放的路由协议路由收敛快有区域划分的概念，支持中等规模网络路由负载均衡控制能力弱配置相对复杂BGP开放的路由协议对数据路径的控制手段很强通过自治域内、域间的定义，支持大规模网络配置相对复杂需要较高的维护技能静态路由配置简单灵活可控只适合小规模网络配置不当容易形成路由环路各数据中心内部采用OSPF和静态路由协议结合的方式，各院区内部部署OSPF协议；静态路由建议使用出接口+下一跳方式规划，避免静态路由迭代。集团信息内网以广域网承载平台为核心，各数据中心和院区接入到广域网承载平台。广域网承载平台与各数据中心和院区之间部署EBGP，广域网承载平台内部部署iBGP，广域网承载平台与国网

42、综合数据网之间部署静态路由。数据中心内部运行OSPF协议，与除开发测试区外的其他区域汇聚设备组成OSPF的骨干区域，广域网区内部运行iBGP，与广域网承载平台之间运行EBGP，开发测试区运行单独的OSPF进程，与核心交换区之间运行静态路由。广域网区的核心交换作为BGP与OSPF的路由边界，进行路由重分布。二级系统区和三级系统区在物理网络上叠加部署Overlay网络，底层Underlay网络分属不同的OSPF子域，便于实现路由控制。云管理网运行单独的OSPF进程，与数据中心的管理业务区之间运行静态路由。存储网运行单独的OSPF进程，与数据中心的管理业务区之间运行静态路由。3信息内网网络规划目录网

43、络总体架构设计数据中心分区规划路由设计网络基础服务设计3.23.13.33.4集团信息内网部署了一套基于Windows平台的DNS系统，对部分应用系统提供DNS解析服务，部分应用系统还是基于IP地址进行访问。DNS部署优势: 便于实现灾备快速切换的需求，借助DNS系统将实现快速有效的灾备切换操作，提升系统切换操作的效率，简化灾备切换流程；方便应用维护操作的需求，DNS域名解析系统的使用推广，将应用系统与IP地址进行解耦，降低服务器端IP地址修改带来的大量维护工作量，减轻应用维护带来的风险；提升用户体验，以人性化的“域名”代替难以理解和记忆的IP地址，提升集团用户访问应用系统的体验品质，实现便捷

44、服务。DNS系统作为集团三地四中心建设及后续应用级灾备建设的重要组成部分，需要进行统一的规划和管理。信息内网DNS系统的部署遵循下述原则：A中心和B中心双中心部署在B中心数据中心和A中心数据中心各部署一套DNS系统，两套系统同时对集团信息内网用户提供DNS解析服务，互为备份，保证DNS系统的高可用性。隐主DNS设计采用隐主DNS设计，隐主DNS只提供区域更新服务以同步数据，不直接对外提供域名解析服务，保证安全性。信息内网DNS系统分别部署在A中心和B中心数据中心的管理业务区和三级系统区，管理业务区的DNS不对外提供域名解析服务，其中A中心数据中心管理业务区的DNS作为隐主服务器，向本数据中心和

45、B中心数据中心的辅助DNS进行区域同步更新。A中心数据中心和B中心数据中心的管理业务区各部署一套DNS，A中心数据中心管理业务的隐主DNS不可用时，提升B中心管理业务区的辅助DNS作为隐主DNS；A中心数据中心和B中心数据中心的三级系统区各部署两台辅助DNS，通过负载均衡对外提供服务，实现DNS的高可用；以院区为最小单位，一部分院区终端用户的主用DNS为B中心，一部分院区终端用户的主用DNS为A中心，互为备份。在A中心数据中心信息内网管理业务区部署高精度时钟源，通过NTP（Network Time Protocol，网络时间协议）协议为信息内网的所有计算和网络设备提供时钟同步。NTP服务器采用

46、分层部署，NTP时钟源建议自购原子钟作为高精度时钟源，部署在A中心数据中心的管理业务区；各院区采用两台高性能交换机或路由器作为NTP服务器，A中心、B中心、南京和武汉数据中心的管理业务区各部署两台NTP服务器，各院区和数据中心的NTP服务器向高精度时钟源进行时钟同步，保证高可用;NTP服务器建议选用CPU性能较高，时钟精准的设备。21453网络整体架构网络物理部署信息内网网络规划信息外网网络规划科研网网络规划目录4信息外网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计4.24.14.34.4集团信息外网网络目标架构:A中心、B中心、南京和武汉数据中心及各院区通过广域网承载

47、平台进行互联，在A中心数据中心提供互联网出口，实现高可用性、高性能和灵活扩展。A中心B中心集团信息外网网络通过核心承载网的建设,向三地四中心平滑演进,A中心、B中心、武汉和南京数据中心都有自已独立的互联网出口，通过部署全局负载均衡设备实现数据中心入口选择，满足后续容灾的相关需求。4信息外网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计4.24.14.34.4信息外网数据中心的业务网、存储网和云管理网相互独立，通过业务网的管理业务区实现对整个信息外网的统一运维和管理。参考集团的业务系统类型和信息系统安全等级保护基本要求及国网公司安全要求，结合业务流量自身特点，实现资源的高效

48、利用，保证各分区之间尽量松耦合，高内聚，简化运维管理，对信息外网数据中心进行相应的网络功能分区。分区名称功能设计原则设计建议核心交换区连接数据中心的各个网络分区；高速转发跨分区的的数据流量；高可用性性能可扩展性采用CLOS架构，设备之间松耦合，具备高可用性、高性能和良好的可扩展性，有效隔离故障域；互联网出口区承载互联网相关业务，包括信息外网用户访问Internet及对公网用户提供服务；安全性高可用性性能部署多类安全设备实现纵深安全防御；区域内各节点和链路冗余备份；安全设备高新建、高并发能力；二级系统区承载等保二级业务系统高可用性安全性性能可扩展性采用独立的物理资源，区域内各节点和链路冗余备份；

49、部署安全设备进行安全防护；区域内设备的业务处理能力具备冗余空间，满足业务高峰期和业务发展需要具备较好的扩展性；管理业务区承载与IT管理业务相关的各类系统，包括云平台、网管平台、安管中心等；可管理性安全性高可用性部署计算、存储、网络、安全、云平台等多种管理服务器，一体化运维管理；部署安全设备，控制与管理网之间的互访；采用独立的物理资源，区域内各节点和链路冗余备份；广域网区进出数据中心流量的高速转发和路由控制高可用性性能采用独立的物理资源，区域内各节点和链路冗余备份；高带宽，高吞吐能力；根据各网络分区承载的业务类型，结合前期调研与需求分析阶段汇总的业务需求，确定各分区的TOP设计原则和设计建议。设

50、计要点: 架构核心交换区由两台独立的高端交换机组成，各网络区域的汇聚设备，每台都与两台核心交换机互连；核心交换机与各区域汇聚交换机之间，均是采用三层路由互通，通过ECMP进行负载分担。高可用性核心交换区采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；两台核心交换机相互独立，故障隔离。性能核心交换机采用CLOS多级交换架构，支持分布式流量调度；到各分区汇聚之间采用万兆互联，满足不断增长的服务器接入带宽需求，未来能够平滑升级至40G/100G ；单台交换机可以支撑全数据中心的业务流量。数据中心核心交换区连接其他各网络功能分区，负责各区域间的高速流量转发，构建更高可用性和性

51、能的网络核心。互联网出口区承载与互联网相关的业务，包括信息外网用户访问Internet及对公网用户提供服务，设计主要考虑安全性、高可用性和性能。设计要点: 架构互联网出口区从外到内依次部署链路接入交换机、链路负载均衡、接入交换、外层防火墙、IPS、WAF、DMZ汇聚交换、内层异构防火墙和上网行为管理；汇聚交换机支持网络虚拟化技术，作为DMZ区服务器的业务网关。安全性从外到内部署链路层到应用层的多类安全设备，实现二至七层的纵深安全防御。高可用性互联网出口区的设备都采用双机，链路冗余备份，互联网出口ISP线路选择两家不同运营商，以避免网络层面的单点故障；链路负载均衡、外层防火墙、WAF和内层防火墙

52、双机都连接心跳线，设备或链路故障快速倒换，业务无感知。性能广域网核心交换与链路接入交换之间部署的所有设备都采用千兆互联；安全设备具备性能冗余（如转发能力、新建/并发连接等），满足业务突发。二级系统区承载根据信息系统安全等级保护定级定级指南和国网相关安全要求确定的二级应用系统。采用Spine+Leaf的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为Spine节点，TOR接入作为Leaf节点；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR接入交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。二级系统区主要考虑高可用性、安全性、可扩展

53、性和性能。高可用性安全性可管理性灵活性可扩展性性能汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。每台汇聚设备通过两条链路分别连接到两台核心交换，并支持ECMP路由，实现区域出口连接的高可用性；防火墙旁挂部署， 通过PBR(策略路由)引流方式，防火墙全部失效后业务不受影响，实现业务的高可用性。旁挂服务器负载均衡，采用SNAT方式实现应用的高可用性。汇聚设备旁挂防火墙，通过PBR(策略路由

54、)引流方式对整个区域实现安全防护；区域内部的安全控制，通过在交换机上下发访问控制规则（ACL）实现。TOR接入到二级系统区汇聚，及二级系统区汇聚之间均采用万兆连接， 二级系统区汇聚之间互连带宽大于等于任何单台汇聚设备上行带宽。汇聚与防火墙，汇聚与负载均衡设备之间采用千兆链路，防火墙要求具备高新建连接数和并发连接数的性能，满足业务系统跨区访问的需求。汇聚设备支持高密度万兆，通过横向扩展的方式，接入更多的服务器POD；防火墙和服务器负载均衡旁挂部署，便于扩展。广域网区负责进出数据中心流量的高速转发和路由控制，主要考虑高可用性和性能。设计要点: 架构广域网区采用两台高端交换机，对进出数据中心的流量高

55、速转发和实现路由控制。高可用性广域网核心交换采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；每台广域网核心交换通过两条链路分别连接到两台数据中心核心交换，通过一条链路连接广域网承载平台和互联网出口区，广域网核心交换之间跨板链路聚合，实现进出数据中心链路的高可用。性能广域网核心交换与互联网出口区之间采用千兆互联，广域网核心到数据中心核心交换区及广域网承载平台、广域网核心交换之间均采用万兆互联，未来能够平滑升级至40/100G ；单台交换机可以支撑所有进出数据中心的业务流量。管理业务区是保障IT基础架构正常运行的操作和管理区域，云平台、安管中心（SOC）、网管服务器、日志

56、主机、维护终端等都部署在此区域。设计要点: 架构采用传统的汇聚+接入的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为本区域的业务网关；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。高可用性汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。安全性通过防火墙对进出管理业务区的流量

57、进行安全防护，管理业务区与云管理网核心和存储网核心之间通过静态路由互通，实现路由层面的控制。云管理网和存储网物理共用一组核心交换，先进行N：1网络虚拟化，再通过1：N网络虚拟为两组核心，分别作为云管理网核心和存储网核心，各业务网关部署在核心上。云管理网整体带宽为万兆，A中心和B中心同城双中心的云管理网核心间采用裸光纤互联；存储网核心与管理业务区汇聚之间的互连带宽为万兆，存储网TOR与存储网核心之间及两台存储网核心之间的互连带宽均为40G, 存储网TOR到存储网核心的收敛比小于4：1，A中心和B中心同城双中心的存储网核心间采用裸光纤互联，二、三层流量混合运行，带宽为40G。云管理网TOR和存储网

58、TOR支持网络虚拟化技术，以提高带宽利用率，简化管理。数据中心间互联需要考虑业务系统跨中心多活或容灾备份需求，实现业务系统的Anywhere部署。业务通道、管理通道和存储通道分离，避免带宽争用，隔离故障域。多中心统一管理，一体化运维。互联物理通道基于高可用性和性能方面考虑，建议采用两条缆沟部署裸光纤。A中心数据中心B中心数据中心信息外网的A中心和B中心数据中心的业务网各增加一组DCI互联设备，实现双中心二级系统区的虚拟机迁移和集群跨中心部署。4信息外网网络规划目录网络总体架构设计数据中心分区规划路由设计网络基础服务设计4.24.14.34.4集团信息外网以广域网承载平台为核心，各数据中心和院区

59、接入到广域网承载平台。广域网承载平台与各数据中心和院区之间部署EBGP，广域网承载平台内部部署iBGP，A中心数据中心广域网交换与Interent之间部署静态路由。各数据中心内部采用OSPF和静态路由协议结合的方式，各院区内部部署OSPF协议；静态路由建议使用出接口+下一跳方式规划，避免静态路由迭代。数据中心内部运行OSPF协议，与除互联网出口区的其他各区域汇聚设备组成OSPF的骨干区域，广域网区内部运行iBGP，与广域网承载平台之间运行EBGP，与互联网出口区之间运行静态路由。广域网区的核心交换作为BGP与OSPF的路由边界，进行路由重分布。二级系统区在物理网络上叠加部署Overlay网络，底层Underlay网络分属不同的OSPF子域