Cloud Fabric数据中心基础网络方案设计-基于CSS

1、HUAWEI TECHNOLOGIES CO., LTD. Security Level: CloudCloud FabricFabric数据中心基础网络方案设计数据中心基础网络方案设计 基于基于CSS+SVFCSS+SVF实现（实现（V100R003V100R003） 企业网络产品线解决方案设计团队企业网络产品线解决方案设计团队 前言 概述 本文是Cloud Fabric数据中心基础网络方案设计的一个分支基于CSS+SVF实现，提供了数据中心网络架 构和基础网络的端到端设计，用于指导一线进行数据中心项目的HLD设计。 本文从传统数据中心对网络需求出发，以传统数据中心分层、分区的设计原则，着眼

2、于数据中心各个分区的 网络设计。网络架构以CSS+SVF技术为基础，阐述了内网核心区、接入区设计，数据中心安全，互联灾备， 运维设计等各方面内容。 本文中涉及的各技术方案细节可参考专项设计指南如： “Cloud Fabric数据中心网络方案-安全设计”， “Cloud Fabric数据中心网络方案-双活设计”，“Cloud Fabric数据中心网络方案-灾备设计”，“Cloud Fabric数据中心网络方案-虚机接入设计”，“Cloud Fabric数据中心网络方案-业务存储网融合设计”， “Cloud Fabric数据中心网络方案-运维管理设计”等。 版本信息 本文所有方案及相关技术都基于C

3、E系列交换机V100R003版本。 目录目录 l数据中心网络设计方法数据中心网络设计方法 p数据中心网络设计总体流程 p数据中心网络需求调研指南 l数据中心总体架构设计 l数据中心内部互联设计（核心层设计） l数据中心服务器接入设计（接入层设计） HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 4 数据中心业务目标 数据中心网络解决方案路线图数据中心网络解决方案路线图 数据中心网络主体方案 交换网络POD设计L2/L3设计 接入网络 数据中心网络总体架构 数据中心网络专项方案 物理架构 布线 TOR/EOR节能布局 数据中心灾备数据中心安全数

4、据中心互联数据中心接入 DC标准行业标准应用架构管理体系IT架构技术趋势机房基础设施 服务器网络 外联网互联网内网 存储网络管理网络应用支撑系统分区 逻辑架构 分层架构WAN架构安全架构灾备架构业务模型 APPsLBFWNASIP/FC SANOAMAAA路由DNSIP规划可靠性 本胶片涉及范围统一管理运维 目录目录 l数据中心网络设计方法 l数据中心数据中心总体总体架构设计架构设计 p总体架构设计总体架构设计 p数据中心分区划分 l数据中心内部互联设计（核心层设计） l数据中心服务器接入设计（接入层设计） HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止

5、扩散Page 6 企业数据中心网络解决方案全景图企业数据中心网络解决方案全景图 出差员工 分支机构 合作伙伴 外联 业务区 灾备数据中心 业务区2业务区1 主数据中心 WAN ISP1ISP2 互联网 业务区 数据中心 互联区 园区 Internet 内网 安全方案设计 安全方案设计 内网架构设计 互联核心设计 业务分区设计 接入分区分类设计 服务器融合接入设计 虚拟感知解决方案设计 互联方案设计 MPLS VPN互联设计 VPLS二层互联设计 IP+光协同方案 EVN互联设计 灾备方案设计 灾备方案设计 增值业务方案设计 负载均衡及应用加速 统一管理方案设计 管理方案设计 虚拟化管理方案 V

6、M VM VSwitch HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 7 中小型数据中心中小型数据中心- -整体分区架构设计整体分区架构设计 Internet Extranet专线/骨干网 内网接入区 数据 及安全 管理 系统 管理 运营维护区 存储区 互联核心 汇聚业务层 接入层 接入层 OA办公业务区业务测试区生产业务区 网络 管理 专线/骨干网 数据中心互联区 研发业务区 汇聚 业务层 接入层 支撑业务区 汇聚 业务层 接入层 OA业务区 汇聚 业务层 接入层 业务测试区 汇聚 业务层 接入层 核心防火墙 核心防火墙 LB 核心业务

7、区 汇聚 业务层 接入层 LB DMZ区 外联网接入区 外联区 DMZ区 互联网接入区 外联区 整体逻辑架构设计 l模块化 p业务安全隔离 l层次化 p网络具备横向弹性，易扩展 p支持低时延、无阻塞业务部署 p支持胖树结构组网 l虚拟化 p虚拟机接入感知与自动化策略部署 pVS+CSS二维网络虚拟化能力 l融合网络 p支持FCoE技术，融合存储与业务网络 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 8 数据中心网络架构设计数据中心网络架构设计- -典型三层典型三层 l层次化架构 p可靠性高：汇聚区设备独立，冗余设计，避免单点故障。 p易于

8、扩展：易于模块化设计，汇聚区间相对独立，易于业务扩展，故障隔离和故障定 位。 p方便管理：便于部署路由，安全控制策略。 l核心层：是交换核心，采用冗余性设计保证高可靠性，支持无阻塞数据交换。 p高可扩展性，大容量。 p推荐：CE12800、S9700。 l汇聚层：汇聚来自接入层的流量，作为服务器网关，部署策略，实现分区内服 务器分组间的互通，实现出区域的业务流量转发。路由汇聚及路由负载均衡， 快速收敛。 p网络增值业务，如：安全控制、应用优化、负载分担，SSL卸载等智能功能。 p推荐：CE12800、S9700、 S7700、USG安全网关、业务增值板卡。 l接入层：服务器、主机、存储设施接入

9、，网络智能服务初始分类，如QOS、 ACL。接入部署模式分为TOR、EOR/MOR。 p推荐：CE6800、CE5800、S5700、S9700、S7700。 l接入设备：各种业务服务器和接入设备，如DNS、APPS、DB等服务器，形 态有大型机、机架式服务器、刀片服务器。 汇聚层 核心层 接入层 服务器 存储 TOREOR/MOR 典型数据中心内网架构 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 9 数据中心网络架构设计数据中心网络架构设计- -二层架构二层架构 l层次化架构 p可靠性高：汇聚区设备独立，采用冗余设计，避免单点故障。 p

10、易于扩展：易于模块化设计，汇聚区间相对独立，易于业务扩展、故障隔离和故障 定位。 p方便管理：便于部署路由、安全控制策略。 l核心层：交换核心，采用冗余性设计保证高可靠性。支持无阻塞数据交换， 同时汇聚接入层流量，作为服务器网关，部署策略。 p高可扩展性，大容量。 p网络增值业务，如：安全控制、应用优化、负载分担、SSL卸载等智能功能。 p推荐：CE12800、S9700、S7700、USG安全网关、业务增值板卡。 l接入层：服务器、主机、存储设施接入，网络智能服务初始分类，如QOS、 ACL。接入部署模式分为TOR、EOR/MOR，EOR/MOR下可作为网关。 p推荐：CE6800、CE58

11、00、S5700、S9700、S7700。 l接入设备：各种业务服务器和接入设备，如DNS、APPS、DB等服务器，形 态有大型机、机架式服务器、刀片服务器。 核心层 接入层 服务器 存储 TOREOR/MOR 典型数据中心内网架构 l数据中心网络设计方法 l数据中心数据中心总体总体架构设计架构设计 p总体架构设计 p数据中心分区划分数据中心分区划分 l数据中心内部互联设计（核心层设计） l数据中心服务器接入设计（接入层设计） 目录目录 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 11 分区分区 分区定义 根据企业自身特点，依据业务系统的

12、相关性、安全性、管理、规模等因素，对数据中心的服务器进行分区。 分区组成 每个分区具备业务服务器、汇聚交换机，以及防火墙、负载均衡器等业务设备。 分区上行连接数据中心交换核心。 如下是两种分区的示例，一个分区可由多个POD组成，采用TOR或者EOR的布局方式。 分区与业务关系 生产、办公、财务、ERP等业务，根据业务安全等级、业务关联度要求部署至不同分区。 Internet用户、合作伙伴、园区等不同接入用户，根据接入手段或者用户信任等级进行接入分区划分。 POD 1 POD 2 POD n 业务分区1 TOR Rack Rack Rack POD 1 POD 2 POD n 业务分区2 EOR

13、/MOR RackRackRack EOR/MOR HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 12 数据中心网络分区原则数据中心网络分区原则 安全性原则 按照安全等级不同，划分为不同分区。例如，为互联网用户，合作伙伴服务的服务器单独分区。 信息敏感服务器单独分区。 高可用布局原则 业务关联度高的服务器部署在同一个区域。 业务关联度低的服务器拆分成多个区域。 容量适度原则 根据运维管理经验，控制单个区域内的服务数量，例如，500台以内。 未来服务器数量增加、区域间流量增长后可考虑进一步拆分。 独立运维管理原则 业务流量、安全控制、组网协议

14、方面有特殊要求的服务器单独分区。 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 13 业务分区划分方式业务分区划分方式 l业务分区设计要点 p分区设计优先考虑综合布线及基础设施运 维因素。 p可以按照服务器类型、业务应用层次、业 务应用类型等方式划分，每种分区方式各 有优缺点和适应范围。 p一个企业的数据中心，往往同时存在多种 分区方式。根据业务的实际需要，多种模 式混合使用。 p不同服务器物理部署差异很大，因此为了 方便运维，服务器类型往往优先考虑，并 结合其他分区方式进行分区设计。 交换核心 PC Server App1 Web1Web

15、2Web3 DB3 App3 大型机 App2 DB1DB2 交换核心 Web Web1Web2Web3 DB DB2DB3 App App1App3App2 Web4Web5Web6 DB1 交换核心 财务 Web1Web2 办公生产 App1 DB1 Web3Web4 App2 DB2 Web5Web6 App3 DB3 按服务器类型分区 按应用层次分区 按应用类型分区 小型机 DB4DB5DB6 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 14 企业数据中心典型分区企业数据中心典型分区 典型企业数据中心分区 l业务分区 p根据业务隔

16、离与互访需求、业务类 型和规模划分分区。 p业务分区间采用防火墙进行隔离。 p业务分区内子分区，采用逻辑隔离 各个业务层次。 l接入分区 根据接入用户类型进行划分。每种 用户接入可能包含多种接入手段。 如果投资、接入资源不允许，可结 合接入资源进行整合。如，数据中 心互联区在没有条件建设传输网络 的情况下，与内网接入区共享一张 MPLS骨干网络的不同VPN。 运营维护区 网络 管理 同城/异地灾备中心 数据中心 互联区 系统 管理 测试区业务区 业务分区N Intranet 接入区 业务分区1业务分区2 业务 测试区 Internet 接入区 DMZ Extranet 接入区 DMZ 接入区

17、Internet 园区/分支机构 合作伙伴 外部用户 移动办公 MAN DWDM WAN 数据 管理 安全 管理 Extranet 业务 测试区 业务分区N 存储区 交换核心 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 15 政府行业数据中心典型业务政府行业数据中心典型业务 l通常分为外网、外联网、内网三张网。 l内网为保密网，需要与其他网络完全隔离 或强隔离。外网、外联网可逻辑隔离或弱 隔离。 l外网承载面向公众查询、公告、个人业务 ，通常为B/S/S多层架构。其数据库可能 存在与外联网的同步。 l外联网承载面向公司用户、政府关联部门

18、等外部用户的各类主管业务服务信息系统 、公务员管理系统、部门间联动系统等。 通常为C/S/S或B/S/S架构。 l内网承载政府办公业务、政务考核业务等 ，通常为严格保密业务，往往与其他部分 分开建设。 外网业务内网业务外联网业务 外网公众查询 后台数据库 主管业务数据管理 后台数据库 各类信息管理系统 后端应用服务器 主管业务信息管理系统 后端应用服务器 Internet门户/政府服务网站 前端Web 各类服务信息系统/ 部门间联动系统/公务员管理 前端Web 专线/外联网Internet 公众/个人用户 公司用户/ 业务服务单位 电子政务外网 政务关联部门 后台数据库 后端应用服务器 政务办

19、公系统/考核系统 前端Web 电子政务内网/ 保密专线 体系内政务用户 外网/互联网业务网/专网/外联网内网/办公网/保密网 逻辑隔离强隔离/ 完全隔离 数据同步 目录目录 l数据中心网络设计方法 l数据中心架构设计 l数据中心内部互联设计（核心层设计）数据中心内部互联设计（核心层设计） p互联核心设计互联核心设计 p路由协议设计 p网关设计 p数据中心流量模型 l数据中心服务器接入设计（接入层设计） HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 17 交换核心层设计交换核心层设计 设计目标 p核心层网络是数据中心的互联核心。 p连接数据中

20、心内部各个功能分区，如互联接入区，业务分区，内网 接入区等。 设计要求 p高性能快速转发；高密度10GE/40GE连接。 p高可靠性/可用性，支持不间断转发。 p可扩展性高，满足数据中心业务服务器、数据及存储扩展。 p收敛比尽可能小，可满足无阻塞交换。 p支持虚拟化技术，满足组网与隔离的灵活部署。 部署方案 p核心由两台高性能交换机组成。 p对于更高可靠性可使用4台交换机组成双平面。 p可选择部署CSS集群，简化管理与路由设计。 p根据分区隔离、流量隔离需求，设计CSS集群多虚一，以及VS一虚 多。 p中小型数据中心，可选择与汇聚层合并，并部署VS一虚多。管理 汇聚层 核心层 接入层 接入设备

21、 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 18 互联核心多虚一方案互联核心多虚一方案-CSS-CSS集群虚拟化集群虚拟化 l客户价值 p简化运维管理,降低OPEX：配置同步，减少网络节点 p构造高可靠无环网络：无单点故障，无环网络 l部署方案 p采用业务口集群方案 n支持2台组成CSS集群。（CE12800未来可支持4台） p集群带宽高 nCE12800最高达640Gbps。（未来可达1600Gbps） p转发及管理通道 n通用的业务接口(10GE/40GE/未来支持100GE)连接。 n管理通道可采用带内或带外方式部署，管理平面承载

22、华为私有堆 叠协议，以及管理，配置，协议上送CPU等流量。 pDAD检测链路(Dual-Active Detect) n带外部署DAD检测链路，集群心跳在堆叠管理通道中断后，关闭 低优先级设备业务端口，避免出现双主。 p支持长距离CSS灵活部署(二层跨机房、楼宇场景) p支持本地优先转发，优化流量模型 汇聚层 核心层 接入层 接入 设备 CSS L3 L2 转发及管理 通道 DAD检测链 路 Eth-Trunk HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 19 互联核心一虚多方案互联核心一虚多方案- -什么是什么是VSVS lVS的定义

23、pVirtual System，交换机虚拟化中的“一虚多”，把一台 物理交换机虚拟成多台逻辑交换机。逻辑交换机之间软、 硬件隔离，互不影响。 lVS的特征 p交换机一虚多：一台物理交换机对外表现为多台逻辑交换 机。 pVS间相互隔离：VS独占分配给自己的系统资源，独立运 行网络业务。VS间相互隔离、互不影响。与VRF等隔离方 案相比转发层、控制层、管理层、系统资源全部隔离。 pVS间资源可以端口组VS或端口VS为单位进行灵活分配。 VS 1 VS 2 VS 3 备注：当前CE12800支持VS功能，后续的描述不做特别说明， 所指的产品就是CE12800交换机 HUAWEI TECHNOLOGI

24、ES CO., LTD. 华为保密信息，未经授权禁止扩散Page 20 互联核心一虚多方案互联核心一虚多方案-VS-VS虚拟化虚拟化 园区和DC核心合一汇聚和核心合一多区域/多租户分割 办公 DMZ 生产 n交换机物理复用，节省设备成本 n按需灵活分配资源，提高设备利用率 n网络业务划分与隔离，提高网络安全 性及可靠性 n各个VS故障隔离 n物理设备共用，降低功耗 n减少占用的物理空间 n降低维护的网络物理节点 Edge VS3VS2 数据中心 园区 核心 汇聚 降低Capex降低Opex安全可靠 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Pag

25、e 21 实现横向多网核心融合实现横向多网核心融合 l用户需求用户需求 p客户需要部署2张相互独立的网络，分别运行不同的业务(例 如DC、园区；或生产、办公网)；或为大颗粒多租户(Large Tenant）提供高品质网络资源。 p对于交换核心网络设备，投资较大，性能规格较高。解决再 部署多张物理隔离网络，投资浪费严重，回报率低的问题。 l方案部署方案部署 p两台核心交换机部署VS一虚多，2张网络在核心层共用物理交 换机、独享不同的VS，实现网络隔离。VS配置为端口组模式 ，每个VS的性能与物理设备一致。 l方案价值方案价值 p在满足业务需求的前提下，充分利用设备能力，提高投入产 出比，减少网络

26、投资。 p提供优于VRF等的可靠的网络隔离手段。 数据中心网络园区网络 数据中心网络园区网络 VS2VS1VS2VS1 部署VS L3路由 L2交换 L3路由 L2交换 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 22 实现实现IPIP存储与业务网络融合存储与业务网络融合 l用户需求 p业务网、IP存储网，传统组网下前后端网络需要独立部署和隔 离以保证互联带宽。 p解决投资投入大，回报率低的问题。 l方案部署 p两台核心交换机部署VS一虚多，2张网络在核心层、汇聚层共 用物理交换机、独享不同的VS，实现网络规格、带宽隔离。 pVS配置为端

27、口组模式，每个VS的性能与物理设备一致。 l方案价值 p在满足业务需求的前提下，充分利用设备能力。网络资源调度 灵活，提高投入产出比，减少网络投资。 p带宽独享，控制、转发平面严格隔离。 业务网IP存储网 部署VS L3路由 L2交换 L3路由 L2交换 业务网IP存储网 VS2VS1VS2VS1 VS1VS1VS2VS2 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 23 VSVS一虚多与一虚多与CSSCSS结合结合- -实现纵向核心汇聚融合实现纵向核心汇聚融合 l用户需求 p网络按照传统的分层结构，部署核心、汇聚、接入三层 网络；汇聚层

28、作为分区出口。 pDC网络规模较小，但用户要求较强的分区隔离，保持 分区结构与业务结构。 l方案部署 p把网络的核心层和汇聚层部署在VS系统上，物理上共用 同一台交换机。VS配置为端口组模式，每个VS的性能 和物理设备一致。 p适用于分区数量少于7个的场景。 l方案价值 p减少网络投资，保证分区隔离，简化网络运维。 p网络拓扑部署灵活，适应场景较多。 核心层 汇聚层 接入层 部署VS 核心层 汇聚层 接入层 L3路由 L2交换 L3路由 L2交换 研发业务区办公业务区 VS3VS3 VS1VS1VS2VS2 目录目录 l数据中心网络设计方法 l数据中心架构设计 l数据中心内部互联设计（核心层设

29、计）数据中心内部互联设计（核心层设计） p互联核心设计 p路由协议设计路由协议设计 p网关设计 p数据中心流量模型 l数据中心服务器接入设计（接入层设计） l数据中心外部接入设计 l虚拟感知解决方案 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 25 路由设计原则路由设计原则 l三层路由主要互联各个分区，分南北、东西两个方向。 l数据中心路由设计与园区的区别 p分区复杂：业务分区复杂，IP网段多，服务器虚拟化后更甚。 p流量模型复杂：南北、东西互访因业务系统而异，互访、隔离关系复杂。 p分区流量大：接入密度高，出入分区流量大，需要考虑负载均

30、衡和链路利用率。 l总体设计原则 p层次化：规划骨干与非骨干区域，减少全网路由通告。 p结构化：不同业务、异地数据中心，规划不同的Area、AS等。形成结构化的域，配合IP地址规 划，易于路由聚合。 p互访控制：不同AS、Area等之间，通过ASBR、ABR等，进行路由发布控制及互访控制。 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 26 三层接入方案三层接入方案IGPIGP设计设计 l网络部署 p网关部署在接入层，采用三层接入方案。 p适用于EoR接入或两层结构接入的全路由场景。 l路由设计 p核心交换机和园区核心(或者出口路由器)和防

31、火墙组成骨干区域（ Area 0）。 p每个分区的汇聚交换机和核心交换机，防火墙部署为不同的OSPF 区域（Area ID 1,2N）。 pArea 1,2N 使用NSSA区域，限制LSA在区域间的传播。 p若分区数量少及网络设备节点数较少，建议只配置Area 0。 p建议出口路由器引入默认路由，不建议引入外部路由造成内网路由 条目过大造成设备压力。 l业务部署 pLB设备部署在接入层. p业务网关部署在接入交换机或者LB设备. p防火墙部署在汇聚层，使用路由模式. 核心交换机 业务区1业务区2业务区n NSSA Area1 NSSA Area2 NSSA AreaN Area0 出口 (接入

32、分区) 接入交换机 汇聚交换机 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 27 三层 可靠性技 术 设备级 冗余 路由 收敛设计 故障检测与感知 物理链路 冗余 物理冗余检测手段协议冗余 单点可靠性链路可靠性 核心可靠性设计层次图例 交换核心交换核心可靠性可靠性设计概述设计概述 l三层可靠性设计层次包括 p物理冗余设计：设备级冗余(关键部件及CSS)、物理链路冗 余(双归及Trunk) p路由收敛设计：OSPF路径设计、ECMP/UCMP设计 p三层可靠技术部署：IP FRR，NSF/GR，NSR p故障检测与感知设计：BFD设计 l合

33、理的物理冗余设计能够有效提升单点或链路的可靠性， 如：设备关键部件冗余、双归属链路冗余、多链路捆绑冗 余。 l层次越高的地方对可靠性要求越高，核心层对可靠性要求 最高；拓扑越简单可靠性越容易保证，同时易于维护。 l需要取决于业务可靠性需要、组网及设备能力，综合运用 可靠性技术进行设计。 出口 (接入分区) 数据中心 核心层 汇聚层 业务分区B业务分区A HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 28 链路可靠性设计链路可靠性设计 l物理链路冗余 p汇聚层-核心层间：三角形组网，双归连接。 p核心层-防火墙-出口路由器间：推荐口字形组网，

34、多链路Trunk。 l路由收敛设计 p主备场景(1)：OSPF协议LSA通告拓扑变化，路由收敛计算至其他 较低优先级或多跳路由条目。流量模型变化较大，常用于于口字形 组网、链路资源充裕或带宽需求较少的链路。 p负载分担场景(2)：OSPF协议LSA通告拓扑变化，故障下一跳路由 条目删除，流量从正常的其他链路转发。流量模型变化较小，常用 于三角形组网，链路资源较少或带宽需求较大的链路。 l三层可靠性技术部署 p主备场景(1)：核心交换机及上游设备（出口路由器、防火墙或园 区核心）间部署IP FRR，指定下一跳为备用链路，并部署BFD for IP FRR，通过联动端口状态，加速IP FRR感知、

35、切换。 p负载分担场景(2)：部署BFD for OSPF，加速OSPF感知链路变化 ，并通告、收敛，将故障链路流量引流至其他正常链路。 出口 (接入分区) 数据中心 核心层 汇聚层汇聚层 注1:园区核心交换机未表示，根据和园区网及园区出口的关系不同可 选部署。 注2:根据前面的讨论，核心交换机可以不部署CSS。以三层路由手段 保证可靠性。 (1)(1) 负载分担负载分担 场景场景 主备场景主备场景 BFD for IP FRR BFD for OSPF IP FRR ECMP (2)(2) 目录目录 l数据中心网络设计方法 l数据中心架构设计 l数据中心内部互联设计（核心层设计）数据中心内部

36、互联设计（核心层设计） p互联核心设计 p路由协议设计 p网关设计网关设计 p数据中心流量模型 l数据中心服务器接入设计（接入层设计） l数据中心外部接入设计 l虚拟感知解决方案 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 30 网关网关设计方案设计方案- -二三层接入对比二三层接入对比 L2 L3 L3 L2 L2 L3 L3 L3 二层接入三层接入 二三层分界点(网关)汇聚层设备接入层设备 网关特点每分区共用每分区多个网关 广播域范围跨接入层设备不跨接入层设备 优点比较 服务器业务易于互通 增值业务易于部署于汇聚层 IP网段数量较少，

37、易于管理 广播域小 上行链路利用率高 拓扑灵活，扩展性强 汇聚层 核心层 接入层 接入 设备 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 31 二层接入设计二层接入设计- -推荐推荐 l方案 p汇聚设备作为二三层网络的分界点，作为服务器业务网关。 p汇聚、核心设备采用三层路由互联，通过IP FRR做快速路由收敛。 p接入设备仅仅为用户提供二层接入功能，根据服务器分组的具体情况 划分VLAN。 p接入层到汇聚层通过设备堆叠、集群，采用链路汇聚保证设备间可靠 性.通过MSTP防止错误配置或连线引起的网络环路。 p典型场景情况下推荐本方案。 l

38、优点 p服务器业务易于互通。 p增值业务易于部署于汇聚层，数量相对较少，成本较低。 pIP网段占用数量较少，易于管理。 l缺点 p二层网络内的故障定位难度较大。 p二层广播域范围相对较大，增加了流量管理的复杂度。 汇聚层 核心层 接入层 接入 设备 L2交换 L3路由 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 32 网关网关VRRPVRRP设计设计 l应用场景 p二层采用xSTP组网时，网关可选用VRRP。 pxSTP提高二层链路可靠性，VRRP提高网关单 点可靠性。 l配置方案 p配置多个出口网关，网关运行VRRP协议，并 向下提供虚

39、拟IP及MAC地址。 p通过下行或互联二层网络交换VRRP报文信息 p主用网关同时监控上行接口，上行链路故障或 设备故障时可自动切换。 华为支持BFD for VRRP，加速VRRP切换时间，切换 时间控制在50毫秒以内。 监控上行端口 汇聚层 核心层 接入层 接入 设备 VRRP:VIP VMAC xSTP Eth-Trunk HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 33 VRRPVRRP负载分担设计负载分担设计 l应用场景及部署 p需要多个网关同时分担数据流而相互备份时，则需要采用 VRRP负载分担方式。 p建立两个或更多的备份组

40、，应用不同的VLAN，形成负载分 担。 p与MSTP实例的根桥配置相配合，使链路与VRRP主备一致。 l方案特点 p每个备份组都包括一个Master设备和若干Backup设备。 p各备份组的Master设备可以不同。 p同一台汇聚设备可以加入多个备份组，在不同备份组中有不 同的优先级。 监控上行端口 汇聚层 核心层 接入层 接入 设备 VRRP1:VIP1 VMAC2VLAN1020 MSTP Eth-Trunk VRRP2:VIP2 VMAC2VLAN21-30 VLAN1020VLAN2130 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Pag

41、e 34 VRRPVRRP快速切换设计快速切换设计 l应用场景及部署 pVRRP主要用于防止网关单点故障，BFD可将检测到的对端节点 故障通知接口板，加快主备倒换速度。 n加快对端单点故障检测速度 n防止出现双VRRP主 n不建议用于下行链路的检测与联动切换 pBFD对Backup和Master之间的实际地址通信情况进行检测， 如果通信不正常，Backup就认为Master已经不可用，升级成 Master。 pBFD检测报文通过两VRRP节点间Trunk链路到达对端。VRRP 通过监视BFD会话状态实现主备快速切换，切换时间控制在50 毫秒以内。 BFD for BFD for VRRP VR

42、RP 汇聚层 接入层 接入 设备 MSTP Eth-Trunk VLAN1020VLAN2130 目录目录 l数据中心网络设计方法 l数据中心架构设计 l数据中心内部互联设计（核心层设计）数据中心内部互联设计（核心层设计） p互联核心设计 p路由协议设计 p网关设计 p数据中心流量模型数据中心流量模型 l数据中心服务器接入设计（接入层设计） l数据中心外部接入设计 l虚拟感知解决方案 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 36 数据中心业务分区收敛比设计数据中心业务分区收敛比设计 l通过收敛比设计满足业务的容量需求 l接入层收敛比设

43、计 p由服务器性能及业务类型确定一般数据流量 p考虑网卡数量，接入方式(负载均衡 or 主备) p考虑接入设备形态，确定上下行连接比例 l汇聚层收敛比设计 p考虑二三层网络结构影响 p考虑南北向流量需求 p三层负载均衡 or 主备，会影响收敛比 p考虑板卡的配置方案，确定上下行连接比例 p综合考虑分区内汇聚、接入两层的总收敛比 l收敛比：1.2:1至12:1 l常见业务接入层收敛比 汇聚层 核心层 接入层 接入 设备 业务分区1业务分区2 服务器类型典型收敛比 Web服务器12:1 APP服务器6:1 DB4:1 分布式计算/大规模虚拟化4:1甚至更低(根据流量需求) 10GE或40GE 10

44、GE或40GE GE或10GE 10GE或40GE GE或10GE l数据中心网络设计方法 l数据中心架构设计 l数据中心内部互联设计（核心层设计） l数据中心服务器接入设计数据中心服务器接入设计（接入层设计）（接入层设计） p二层拓扑设计二层拓扑设计 p二层可靠性设计 p服务器接入设计 l数据中心外部接入设计 l虚拟感知解决方案 目录目录 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 38 二层设计总体思路原则二层设计总体思路原则 l分区设计 p通过将较大的二层网络，划分为多个业务分区，每个业务分区汇聚层作为网关及业务分区出口，控制二层域

45、范围。当出 现可能的二层环路等二层网络故障时，故障影响范围限制在分区内，不会影响其他重要业务。 l收敛比 p根据用户业务流量模型确定，业务垂直流量(Client to Server)越大，收敛比应当越低。跨分区流量越大，收敛比应当越 低。可通过计算服务器每端口平均流量，确定收敛比。 p收敛比越低，带宽越大，部署成本越高。传统多层业务收敛比4:112:1。 lVLAN部署 pVLAN根据业务隔离需求进行部署，通常在业务分区内，通过VLAN划分子分区。VLAN部署需要考虑二层适应性，考虑 多网卡NIC Teaming接入，必须位于同一VLAN问题。 l可靠性设计 p二层广播域内，需要仔细考虑当前拓

46、扑下可能产生二层环路、链路、设备故障场景，并部署相应破环、无环、冗余、可 靠性技术。因此，规划合理的二层网络拓扑，采用分层、分区的网络结构设计思想，是提高可靠性的基础。 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 39 二层网络设计选择二层网络设计选择 l三角形拓扑 接入层采用双上行连接，形成主备链路或负载分担链路。 l口字形拓扑 接入层采用单上行连接，接入同层互联形成备用链路。 lLFR(Loop-Free Reliable)无环以太网拓扑 通过iStack、CSS等虚拟化技术虚拟化为一台设备，链路负载均衡。同时上行链路配置LACP链路

47、聚合。 汇聚层汇聚层 ( (网关网关) ) 三角形拓扑口字形拓扑 无环以太网 拓扑 接入层接入层 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 40 链路聚合部署方案链路聚合部署方案 l接入-汇聚，汇聚-核心间链路，由于设备通常采用堆叠或集群，因此在收敛比允许的情况下，链路可以采用每台设备单归上行，减少 上行链路数。多NIC网卡支持NIC Teaming LACP模式，则可以在接入交换机下行部署静态LACP链路聚合。 p只有已经堆叠的情况下，本端才能部署跨设备的链路聚合，即堆叠组成员端口可以跨设备。 l支持手工负载分担模式，静态LACP模式

48、两种方式部署Eth-Trunk。 p手工负载分担模式：Eth-Trunk的创建、成员接口的加入都需要手工配置完成，没有LACP协议报文的参与。适用于对端不支持 LACP的场景，不能实现冗余。 p静态LACP模式：利用LACP协议进行聚合参数协商、确定活动、非活动接口。静态LACP需手工创建Eth-Trunk并配置成员接口 ，由LACP协议协商确定活动接口和非活动接口。 p不推荐采用动态LACP模式，动态LACP由LACP自动创建Trunk、加入成员端口，不易于管理控制。 pS系列及CE系列交换机，不支持动态LACP模式。（注：有些客户习惯把静态LACP方式叫做动态链路聚合，这种是相对于手工 负

49、载分担方式而言的，因此请注意分辨。） 接入层 汇聚层 业务层 配置静态LACP 及逐流负载分担 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 41 堆叠部署建议堆叠部署建议 l部署冗余堆叠链路：建议部署至少两条堆叠线缆，保证堆叠链路可靠性。 l堆叠带宽的设计：堆叠带宽仅是建议值，具体设计需要根据同一组接入交换机内跨交换机流量模型而定。这与业务以及服务器接入、接入交换机 部署方式强相关。例如：如果服务器接入采用双归负载均衡接入，接入交换机间可采用较小堆叠带宽。 l盒式堆叠台数：需要根据接入层收敛比、布线情况而定。在堆叠线缆布线长度允许的情况下

50、，业务流量较低，收敛比较高时，可考虑更多台接入 交换机进行堆叠，以减少上行链路数。 lEoR千兆及万兆接入，通常为2层结构，没有汇聚层。因为框式设备比较灵活，具体接入、上行、集群部署需要根据项目分区服务器规模、业务流 量进行考虑。 每组接入每组接入每组上行每组上行接入层收敛比接入层收敛比参考型号参考型号堆叠部署堆叠部署 ToR千兆接入96*GE4*10GE2.4:12*S5700-52C 2*S5710-52C 2*CE5800 堆叠卡堆叠 2*10GE业务口堆叠/台 2*10GE业务口堆叠/台 96*GE2*10GE4.8:12*S5700-52C 2*S5710-52C 2*CE5800

51、堆叠卡堆叠 2*10GE业务口堆叠/台 2*10GE业务口堆叠/台 96*GE8*10GE1.2:1（无收敛）2*S5710-52C 2*CE5800 2*10GE业务口堆叠/台 2*40GE业务口堆叠/台 96*GE2*40GE1.2:1（无收敛）2*CE58002*10GE业务口堆叠/台 ToR万兆接入96*10GE4*40GE6:12*CE68002*40GE业务口堆叠/台 96*10GE2*40GE12:12*CE68002*40GE业务口堆叠/台 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 42 CE6850 CE5810 引擎

52、 接口板 SVF （Super Virtual Fabric）技术： l 交换机虚拟化的一种形式：多台交换机虚拟成1台，作为一 种端口扩展技术，在纵向维度上支持对系统进行异构扩展 l 网络层次上的纵向堆叠：可以简单理解为“汇聚交换机和 接入交换机做堆叠” SVF系统组成： l 系统中包括2类设备：父交换机和子交换机 父交换机：是堆叠系统的核心，负责整个堆叠系统的控制和 转发子交换机：作为父交换机的线卡，控制平面上移到父交 换机，本地只负责转发，相当于把父交换机的端口拉远 简化二层接入设计简化二层接入设计SVFSVF 虚拟化后的系统 逻辑上相当于一 台设备 父交换机 子交换机 HUAWEI TE

53、CHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 43 SVFSVF方案优势方案优势 Server 接入交换机 配线架 Server 配线架 优势 简化布线； 劣势 TOR交换机数量 多，管理的节点 多； 优势 无TOR设备，管理 节点少； 劣势 布线复杂；布线成 本高， 接入能力有限； 管理优势： l SVF逻辑上为一台交换机，虽有“接入+汇聚”之型，实则仅需管理一台设备(使用一个软件版本和配置文件)； 布线优势： l 形式上表现为TOR布线方案，提升接入能力，简化和降低了了布线成本； 成本优势： l 低成本CE5810代替高成本TOR交换机，比传统TOR方案

54、投入大大减少；CE5810支持低成本的光模块，有效降 低网络部署成本； SVF方案 集 TOR+EOR 优势与一身 TOREOR 汇聚交换机 汇聚 交换机 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 44 SVFSVF集中管理分布转发集中管理分布转发 父交换机 子交换机 管理： pSVF整个系统逻辑上为一台交换机，所有管理集中在父交 换机上，子交换机不需要连接管理口； p整个系统对外只有一个管理平台，在父交换机上，用户通 过父交换机的管理网口登陆管理平台 p两台父交换机堆叠，用户可以从任意一台父交换机管理网 口登陆管理平台对整个系统进行配

55、置操控 p整个系统只有一个配置文件，子交换机没有配置文件，子 交换机以线卡的形式体现在管理平台中 转发： p两个子交换机间的流量经由父交换机转发，父交换机支 持本地优先转发（子交换机双归情况下）； p同一个子交换机下挂的设备间的流量支持在子交换机上 优先转发； 优势： p分布式转发，无转发瓶颈，时延小 SVF HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 45 SVFSVF典型组网典型组网 父交换机 子交换机 SVF 系统 SVF 系统 方案 p接入层采用SVF组网，构成物理三层核心+汇接+接入 但逻辑上二层组网方案； p每个汇接区的SVF

56、系统组成包括： 父交换机：两台交换机堆叠， 子交换机：子交换机上行多链路连接父交换机， 上行，千兆接入CE5810，万兆接入CE6810 每SVF系统可提供最大1152端口接入； p服务器接入：服务器接入支持双归，支持跨设备的LAG ，支持服务器网卡双活和主备模式； 优势 p方案高性价比，兼具EOR和TOR方案的优势 p简化管理 p具备高密接入能力 p双父交换机堆叠，接入向上双归，可靠性高 双活接入 l数据中心网络设计方法 l数据中心架构设计 l数据中心内部互联设计（核心层设计） l数据中心服务器接入设计数据中心服务器接入设计（接入层设计）（接入层设计） p二层拓扑设计 p二层可靠性设计二层可

57、靠性设计 p服务器接入设计 l数据中心外部接入设计 l虚拟感知解决方案 目录目录 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 47 接入交换机故障切换接入交换机故障切换 lLFR方案下接入交换机切换过程 p接入交换机2升为堆叠主交换机，带动相应服务器网卡 LACP链路切换，上行流量从交换机2转发。 p汇聚交换机下行端口shutdown。 p对于M:N链路备份，LACP协议从备份链路中选择优先级最 高的链路接替活动链路中的故障链路。对于链路负载分担， 则保持其他链路为活动状态。 p优先级最高的备份链路转为活动状态并转发数据，完成接 入及上行

58、链路切换。 p回程流量（向南流量），通过在核心交换机配置本地优先 转发，保持流量始终在汇聚交换机1转发。 (2) 负载分担链路2正常流量 链路故障后流量 负载分担链路1（故障链路） 原流量 刀片服务器 交换模块 接入交换机 机架式服务器刀片服务器 汇聚交换机1 L3路由 L2交换 HUAWEI TECHNOLOGIES CO., LTD. 华为保密信息，未经授权禁止扩散Page 48 接入层上行链路故障切换接入层上行链路故障切换 lLFR方案下上行链路故障切换过程 pLACP协议感知端口down。对于M:N链路备份，协议从备份链 路中选择优先级最高的链路接替活动链路中的故障链路。对于 链路负载

59、分担，则保持链路为活动状态。 p优先级最高的备份链路转为活动状态并转发数据，完成切换。 p不建议以缩短通告发送间隔的方式，部署DLDP用于单通检测 ，多链路下大量的DLDP报文会增加链路及设备负担。如果需 要检测单通链路，建议部署以太网OAM EFM或DLDP通告默认 间隔（5s）（DLDP要求两侧皆为华为设备）。 p对于光纤，端口状态转为down（100ms）。对于电缆，端口 状态转为down(1s)。 L3 L2 刀片服务器 交换机模块 接入交换机 机架式服务器刀片服务器 汇聚交换机1 链路故障后流量 负载分担链路1（故障链路） 原流量 (3) HUAWEI TECHNOLOGIES CO

60、., LTD. 华为保密信息，未经授权禁止扩散Page 49 汇聚交换机主控故障切换汇聚交换机主控故障切换 lLFR方案下汇聚交换机主控故障切换过程 p汇聚交换机集群，主用主控板故障。 p集群重新计算堆叠拓扑，备用主控板升为主用主控板。 p链路1、2LACPDU发送超时或感知端口down，关闭故障链 路。 p对于M:N链路备份，LACP协议从备份链路中选择优先级最 高的链路接替活动链路中的故障链路。对于链路负载分担， 则保持链路为活动状态。 p优先级最高的备份链路转为活动状态并转发数据，完成接入 及上行链路切换。 p口字型组网下，接入交换机需要具备本地流量优先转发特性 ，减少堆叠线缆带宽压力，