Cloud-Fabric数据中心基础网络方案设计-基于CSS

CloudFabric数据中心根底网络方案设计

——基于CSS+SVF实现〔V100R003〕企业网络产品线解决方案设计团队前言概述 本文是CloudFabric数据中心根底网络方案设计的一个分支——基于CSS+SVF实现，提供了数据中心网络架构和根底网络的端到端设计，用于指导一线进行数据中心工程的HLD设计。本文从传统数据中心对网络需求出发，以传统数据中心分层、分区的设计原那么，着眼于数据中心各个分区的网络设计。网络架构以CSS+SVF技术为根底，阐述了内网核心区、接入区设计，数据中心平安，互联灾备，运维设计等各方面内容。本文中涉及的各技术方案细节可参考专项设计指南如：“CloudFabric数据中心网络方案-平安设计”，“CloudFabric数据中心网络方案-双活设计”，“CloudFabric数据中心网络方案-灾备设计”，“CloudFabric数据中心网络方案-虚机接入设计”，“CloudFabric数据中心网络方案-业务存储网融合设计”，“CloudFabric数据中心网络方案-运维管理设计”等。版本信息 本文所有方案及相关技术都基于CE系列交换机V100R003版本。目录数据中心网络设计方法数据中心网络设计总体流程数据中心网络需求调研指南数据中心总体架构设计数据中心内部互联设计〔核心层设计〕数据中心效劳器接入设计〔接入层设计〕数据中心业务目标数据中心网络解决方案路线图数据中心网络主体方案交换网络POD设计L2/L3设计接入网络数据中心网络总体架构数据中心网络专项方案物理架构布线TOR/EOR节能布局数据中心灾备数据中心平安数据中心互联数据中心接入DC标准行业标准应用架构管理体系IT架构技术趋势机房基础设施效劳器网络外联网互联网内网存储网络管理网络应用支撑系统分区逻辑架构分层架构WAN架构平安架构灾备架构业务模型APPsLBFWNASIP/FCSANOAMAAA路由DNSIP规划可靠性本胶片涉及范围统一管理运维目录数据中心网络设计方法数据中心总体架构设计总体架构设计数据中心分区划分数据中心内部互联设计〔核心层设计〕数据中心效劳器接入设计〔接入层设计〕企业数据中心网络解决方案全景图出差员工分支机构合作伙伴外联业务区灾备数据中心业务区2业务区1主数据中心WANISP1ISP2互联网业务区数据中心互联区园区DWDMInternet内网平安方案设计平安方案设计内网架构设计互联核心设计业务分区设计接入分区分类设计效劳器融合接入设计虚拟感知解决方案设计互联方案设计MPLSVPN互联设计VPLS二层互联设计IP+光协同方案EVN互联设计灾备方案设计灾备方案设计增值业务方案设计负载均衡及应用加速统一管理方案设计管理方案设计虚拟化管理方案VMVMVSwitch中小型数据中心-整体分区架构设计InternetExtranet专线/骨干网内网接入区数据

及平安

管理系统

管理运营维护区存储区互联核心会聚业务层接入层接入层OA办公业务区业务测试区生产业务区网络

管理专线/骨干网数据中心互联区研发业务区汇聚

业务层接入层支撑业务区汇聚

业务层接入层OA业务区汇聚

业务层接入层业务测试区汇聚

业务层接入层核心防火墙核心防火墙LB核心业务区汇聚

业务层接入层LBDMZ区外联网接入区外联区DMZ区互联网接入区外联区整体逻辑架构设计模块化业务平安隔离层次化网络具备横向弹性，易扩展支持低时延、无阻塞业务部署支持胖树结构组网虚拟化虚拟机接入感知与自动化策略部署VS+CSS二维网络虚拟化能力融合网络支持FCoE技术，融合存储与业务网络数据中心网络架构设计-典型三层层次化架构可靠性高：会聚区设备独立，冗余设计，防止单点故障。易于扩展：易于模块化设计，会聚区间相对独立，易于业务扩展，故障隔离和故障定位。方便管理：便于部署路由，平安控制策略。核心层：是交换核心，采用冗余性设计保证高可靠性，支持无阻塞数据交换。高可扩展性，大容量。推荐：CE12800、S9700。会聚层：会聚来自接入层的流量，作为效劳器网关，部署策略，实现分区内效劳器分组间的互通，实现出区域的业务流量转发。路由会聚及路由负载均衡，快速收敛。网络增值业务，如：平安控制、应用优化、负载分担，SSL卸载等智能功能。推荐：CE12800、S9700、S7700、USG平安网关、业务增值板卡。接入层：效劳器、主机、存储设施接入，网络智能效劳初始分类，如QOS、ACL。接入部署模式分为TOR、EOR/MOR。推荐：CE6800、CE5800、S5700、S9700、S7700。接入设备：各种业务效劳器和接入设备，如DNS、APPS、DB等效劳器，形态有大型机、机架式效劳器、刀片效劳器。会聚层核心层接入层…效劳器存储TOREOR/MOR典型数据中心内网架构数据中心网络架构设计-二层架构层次化架构可靠性高：会聚区设备独立，采用冗余设计，防止单点故障。易于扩展：易于模块化设计，会聚区间相对独立，易于业务扩展、故障隔离和故障定位。方便管理：便于部署路由、平安控制策略。核心层：交换核心，采用冗余性设计保证高可靠性。支持无阻塞数据交换，同时会聚接入层流量，作为效劳器网关，部署策略。高可扩展性，大容量。网络增值业务，如：平安控制、应用优化、负载分担、SSL卸载等智能功能。推荐：CE12800、S9700、S7700、USG平安网关、业务增值板卡。接入层：效劳器、主机、存储设施接入，网络智能效劳初始分类，如QOS、ACL。接入部署模式分为TOR、EOR/MOR，EOR/MOR下可作为网关。推荐：CE6800、CE5800、S5700、S9700、S7700。接入设备：各种业务效劳器和接入设备，如DNS、APPS、DB等效劳器，形态有大型机、机架式效劳器、刀片效劳器。核心层接入层…效劳器存储TOREOR/MOR典型数据中心内网架构数据中心网络设计方法数据中心总体架构设计总体架构设计数据中心分区划分数据中心内部互联设计〔核心层设计〕数据中心效劳器接入设计〔接入层设计〕目录分区分区定义根据企业自身特点，依据业务系统的相关性、平安性、管理、规模等因素，对数据中心的效劳器进行分区。分区组成每个分区具备业务效劳器、会聚交换机，以及防火墙、负载均衡器等业务设备。分区上行连接数据中心交换核心。如下是两种分区的例如，一个分区可由多个POD组成，采用TOR或者EOR的布局方式。分区与业务关系生产、办公、财务、ERP等业务，根据业务平安等级、业务关联度要求部署至不同分区。Internet用户、合作伙伴、园区等不同接入用户，根据接入手段或者用户信任等级进行接入分区划分。POD1POD2PODn业务分区1TOR…RackiStack…RackiStack…RackiStack…CSSPOD1POD2PODn业务分区2EOR/MORRackRackRack………CSSEOR/MORCSS数据中心网络分区原那么平安性原那么按照平安等级不同，划分为不同分区。例如，为互联网用户，合作伙伴效劳的效劳器单独分区。信息敏感效劳器单独分区。高可用布局原那么业务关联度高的效劳器部署在同一个区域。业务关联度低的效劳器拆分成多个区域。容量适度原那么根据运维管理经验，控制单个区域内的效劳数量，例如，500台以内。未来效劳器数量增加、区域间流量增长后可考虑进一步拆分。独立运维管理原那么业务流量、平安控制、组网协议方面有特殊要求的效劳器单独分区。业务分区划分方式业务分区设计要点分区设计优先考虑综合布线及根底设施运维因素。可以按照效劳器类型、业务应用层次、业务应用类型等方式划分，每种分区方式各有优缺点和适应范围。一个企业的数据中心，往往同时存在多种分区方式。根据业务的实际需要，多种模式混合使用。不同效劳器物理部署差异很大，因此为了方便运维，效劳器类型往往优先考虑，并结合其他分区方式进行分区设计。交换核心PCServerApp1Web1Web2Web3DB3App3大型机App2DB1DB2交换核心WebWeb1Web2Web3DBDB2DB3AppApp1App3App2Web4Web5Web6DB1交换核心财务Web1Web2办公生产App1DB1Web3Web4App2DB2Web5Web6App3DB3按效劳器类型分区按应用层次分区按应用类型分区小型机DB4DB5DB6企业数据中心典型分区典型企业数据中心分区业务分区根据业务隔离与互访需求、业务类型和规模划分分区。业务分区间采用防火墙进行隔离。业务分区内子分区，采用逻辑隔离各个业务层次。接入分区

根据接入用户类型进行划分。每种用户接入可能包含多种接入手段。如果投资、接入资源不允许，可结合接入资源进行整合。如，数据中心互联区在没有条件建设传输网络的情况下，与内网接入区共享一张MPLS骨干网络的不同VPN。运营维护区网络管理同城/异地灾备中心数据中心

互联区系统管理测试区业务区…业务分区NIntranet

接入区业务分区1业务分区2业务

测试区Internet

接入区DMZExtranet

接入区DMZ接入区Internet园区/分支机构合作伙伴外部用户

移动办公MANDWDMWAN数据管理平安管理Extranet业务

测试区业务分区N存

储

区交

换

核

心政府行业数据中心典型业务通常分为外网、外联网、内网三张网。内网为保密网，需要与其他网络完全隔离或强隔离。外网、外联网可逻辑隔离或弱隔离。外网承载面向公众查询、公告、个人业务，通常为B/S/S多层架构。其数据库可能存在与外联网的同步。外联网承载面向公司用户、政府关联部门等外部用户的各类主管业务效劳信息系统、公务员管理系统、部门间联动系统等。通常为C/S/S或B/S/S架构。内网承载政府办公业务、政务考核业务等，通常为严格保密业务，往往与其他局部分开建设。外网业务内网业务外联网业务外网公众查询

后台数据库主管业务数据管理

后台数据库各类信息管理系统

后端应用服务器主管业务信息管理系统

后端应用服务器Internet门户/政府服务网站

前端Web各类服务信息系统/

部门间联动系统/公务员管理

前端Web专线/外联网Internet公众/个人用户公司用户/

业务服务单位电子政务外网政务关联部门后台数据库后端应用服务器政务办公系统/考核系统前端Web电子政务内网/

保密专线体系内政务用户外网/互联网业务网/专网/外联网内网/办公网/保密网逻辑隔离强隔离/

完全隔离数据同步目录数据中心网络设计方法数据中心架构设计数据中心内部互联设计〔核心层设计〕互联核心设计路由协议设计网关设计数据中心流量模型数据中心效劳器接入设计〔接入层设计〕交换核心层设计设计目标核心层网络是数据中心的互联核心。连接数据中心内部各个功能分区，如互联接入区，业务分区，内网接入区等。设计要求高性能快速转发；高密度10GE/40GE连接。高可靠性/可用性，支持不间断转发。可扩展性高，满足数据中心业务效劳器、数据及存储扩展。收敛比尽可能小，可满足无阻塞交换。支持虚拟化技术，满足组网与隔离的灵活部署。部署方案核心由两台高性能交换机组成。对于更高可靠性可使用4台交换机组成双平面。可选择部署CSS集群，简化管理与路由设计。根据分区隔离、流量隔离需求，设计CSS集群多虚一，以及VS一虚多。中小型数据中心，可选择与会聚层合并，并部署VS一虚多。管理

会聚层核心层接入层…接入设备互联核心多虚一方案-CSS集群虚拟化客户价值简化运维管理,降低OPEX：配置同步，减少网络节点构造高可靠无环网络：无单点故障，无环网络部署方案采用业务口集群方案支持2台组成CSS集群。〔CE12800未来可支持4台〕集群带宽高CE12800最高达640Gbps。〔未来可达1600Gbps〕转发及管理通道通用的业务接口(10GE/40GE/未来支持100GE)连接。管理通道可采用带内或带外方式部署，管理平面承载华为私有堆叠协议，以及管理，配置，协议上送CPU等流量。DAD检测链路(Dual-ActiveDetect)带外部署DAD检测链路，集群心跳在堆叠管理通道中断后，关闭低优先级设备业务端口，防止出现双主。支持长距离CSS灵活部署(二层跨机房、楼宇场景)支持本地优先转发，优化流量模型会聚层核心层接入层…接入设备CSSL3L2转发及管理通道DAD检测链路Eth-Trunk互联核心一虚多方案-什么是VSVS的定义VirtualSystem，交换机虚拟化中的“一虚多”，把一台物理交换机虚拟成多台逻辑交换机。逻辑交换机之间软、硬件隔离，互不影响。VS的特征交换机一虚多：一台物理交换机对外表现为多台逻辑交换机。VS间相互隔离：VS独占分配给自己的系统资源，独立运行网络业务。VS间相互隔离、互不影响。与VRF等隔离方案相比转发层、控制层、管理层、系统资源全部隔离。VS间资源可以端口组VS或端口VS为单位进行灵活分配。VS1VS2VS3备注：当前CE12800支持VS功能，后续的描述不做特别说明，所指的产品就是CE12800交换机互联核心一虚多方案-VS虚拟化园区和DC核心合一会聚和核心合一多区域/多租户分割办公DMZ生产交换机物理复用，节省设备成本按需灵活分配资源，提高设备利用率网络业务划分与隔离，提高网络安全性及可靠性各个VS故障隔离物理设备共用，降低功耗减少占用的物理空间降低维护的网络物理节点EdgeVS3VS2数据中心园区核心汇聚1to8降低Capex降低Opex平安可靠实现横向多网核心融合用户需求客户需要部署2张相互独立的网络，分别运行不同的业务(例如DC、园区；或生产、办公网)；或为大颗粒多租户(LargeTenant〕提供高品质网络资源。对于交换核心网络设备，投资较大，性能规格较高。解决再部署多张物理隔离网络，投资浪费严重，回报率低的问题。方案部署两台核心交换机部署VS一虚多，2张网络在核心层共用物理交换机、独享不同的VS，实现网络隔离。VS配置为端口组模式，每个VS的性能与物理设备一致。方案价值在满足业务需求的前提下，充分利用设备能力，提高投入产出比，减少网络投资。提供优于VRF等的可靠的网络隔离手段。数据中心网络园区网络数据中心网络园区网络VS2VS1VS2VS1部署VSL3路由L2交换L3路由L2交换实现IP存储与业务网络融合用户需求业务网、IP存储网，传统组网下前后端网络需要独立部署和隔离以保证互联带宽。解决投资投入大，回报率低的问题。方案部署两台核心交换机部署VS一虚多，2张网络在核心层、会聚层共用物理交换机、独享不同的VS，实现网络规格、带宽隔离。VS配置为端口组模式，每个VS的性能与物理设备一致。方案价值在满足业务需求的前提下，充分利用设备能力。网络资源调度灵活，提高投入产出比，减少网络投资。带宽独享，控制、转发平面严格隔离。业务网IP存储网部署VSL3路由L2交换L3路由L2交换业务网IP存储网VS2VS1VS2VS1VS1VS1VS2VS2VS一虚多与CSS结合-实现纵向核心会聚融合用户需求网络按照传统的分层结构，部署核心、会聚、接入三层网络；会聚层作为分区出口。DC网络规模较小，但用户要求较强的分区隔离，保持分区结构与业务结构。方案部署把网络的核心层和会聚层部署在VS系统上，物理上共用同一台交换机。VS配置为端口组模式，每个VS的性能和物理设备一致。适用于分区数量少于7个的场景。方案价值减少网络投资，保证分区隔离，简化网络运维。网络拓扑部署灵活，适应场景较多。核心层会聚层接入层部署VS核心层会聚层接入层L3路由L2交换L3路由L2交换研发业务区办公业务区VS3VS3VS1VS1VS2VS2目录数据中心网络设计方法数据中心架构设计数据中心内部互联设计〔核心层设计〕互联核心设计路由协议设计网关设计数据中心流量模型数据中心效劳器接入设计〔接入层设计〕数据中心外部接入设计虚拟感知解决方案路由设计原那么三层路由主要互联各个分区，分南北、东西两个方向。数据中心路由设计与园区的区别分区复杂：业务分区复杂，IP网段多，效劳器虚拟化后更甚。流量模型复杂：南北、东西互访因业务系统而异，互访、隔离关系复杂。分区流量大：接入密度高，出入分区流量大，需要考虑负载均衡和链路利用率。总体设计原那么层次化：规划骨干与非骨干区域，减少全网路由通告。结构化：不同业务、异地数据中心，规划不同的Area、AS等。形成结构化的域，配合IP地址规划，易于路由聚合。互访控制：不同AS、Area等之间，通过ASBR、ABR等，进行路由发布控制及互访控制。三层接入方案IGP设计网络部署网关部署在接入层，采用三层接入方案。适用于EoR接入或两层结构接入的全路由场景。路由设计核心交换机和园区核心(或者出口路由器)和防火墙组成骨干区域〔Area0〕。每个分区的会聚交换机和核心交换机，防火墙部署为不同的OSPF区域〔AreaID1,2……N〕。Area1,2……N使用NSSA区域，限制LSA在区域间的传播。假设分区数量少及网络设备节点数较少，建议只配置Area0。建议出口路由器引入默认路由，不建议引入外部路由造成内网路由条目过大造成设备压力。业务部署LB设备部署在接入层.业务网关部署在接入交换机或者LB设备.防火墙部署在会聚层，使用路由模式.………核心交换机业务区1业务区2业务区nNSSAArea1NSSAArea2NSSAAreaNArea0出口

(接入分区)接入交换机会聚交换机三层

可靠性技术设备级

冗余路由

收敛设计故障检测与感知物理链路

冗余物理冗余检测手段协议冗余单点可靠性链路可靠性核心可靠性设计层次图例交换核心可靠性设计概述三层可靠性设计层次包括物理冗余设计：设备级冗余(关键部件及CSS)、物理链路冗余(双归及Trunk)路由收敛设计：OSPF路径设计、ECMP/UCMP设计三层可靠技术部署：IPFRR，NSF/GR，NSR故障检测与感知设计：BFD设计合理的物理冗余设计能够有效提升单点或链路的可靠性，如：设备关键部件冗余、双归属链路冗余、多链路捆绑冗余。层次越高的地方对可靠性要求越高，核心层对可靠性要求最高；拓扑越简单可靠性越容易保证，同时易于维护。需要取决于业务可靠性需要、组网及设备能力，综合运用可靠性技术进行设计。出口

(接入分区)数据中心

核心层会聚层业务分区B业务分区A链路可靠性设计物理链路冗余会聚层-核心层间：三角形组网，双归连接。核心层-防火墙-出口路由器间：推荐口字形组网，多链路Trunk。路由收敛设计主备场景(1)：OSPF协议LSA通告拓扑变化，路由收敛计算至其他较低优先级或多跳路由条目。流量模型变化较大，常用于于口字形组网、链路资源充裕或带宽需求较少的链路。负载分担场景(2)：OSPF协议LSA通告拓扑变化，故障下一跳路由条目删除，流量从正常的其他链路转发。流量模型变化较小，常用于三角形组网，链路资源较少或带宽需求较大的链路。三层可靠性技术部署主备场景(1)：核心交换机及上游设备〔出口路由器、防火墙或园区核心〕间部署IPFRR，指定下一跳为备用链路，并部署BFDforIPFRR，通过联动端口状态，加速IPFRR感知、切换。负载分担场景(2)：部署BFDforOSPF，加速OSPF感知链路变化，并通告、收敛，将故障链路流量引流至其他正常链路。出口

(接入分区)数据中心

核心层会聚层注1:园区核心交换机未表示，根据和园区网及园区出口的关系不同可选部署。注2:根据前面的讨论，核心交换机可以不部署CSS。以三层路由手段保证可靠性。(1)负载分担场景主备场景BFDforIPFRRBFDforOSPFIPFRRECMP(2)目录数据中心网络设计方法数据中心架构设计数据中心内部互联设计〔核心层设计〕互联核心设计路由协议设计网关设计数据中心流量模型数据中心效劳器接入设计〔接入层设计〕数据中心外部接入设计虚拟感知解决方案网关设计方案-二三层接入比照L2L3L3L2L2L3L3L3二层接入三层接入二三层分界点(网关)汇聚层设备接入层设备网关特点每分区共用每分区多个网关广播域范围跨接入层设备不跨接入层设备优点比较服务器业务易于互通增值业务易于部署于汇聚层IP网段数量较少，易于管理广播域小上行链路利用率高拓扑灵活，扩展性强会聚层核心层接入层…接入设备二层接入设计-推荐方案会聚设备作为二三层网络的分界点，作为效劳器业务网关。会聚、核心设备采用三层路由互联，通过IPFRR做快速路由收敛。接入设备仅仅为用户提供二层接入功能，根据效劳器分组的具体情况划分VLAN。接入层到会聚层通过设备堆叠、集群，采用链路会聚保证设备间可靠性.通过MSTP防止错误配置或连线引起的网络环路。典型场景情况下推荐本方案。优点效劳器业务易于互通。增值业务易于部署于会聚层，数量相对较少，本钱较低。IP网段占用数量较少，易于管理。缺点二层网络内的故障定位难度较大。二层播送域范围相对较大，增加了流量管理的复杂度。会聚层核心层接入层…接入设备L2交换L3路由网关VRRP设计应用场景二层采用xSTP组网时，网关可选用VRRP。xSTP提高二层链路可靠性，VRRP提高网关单点可靠性。配置方案配置多个出口网关，网关运行VRRP协议，并向下提供虚拟IP及MAC地址。通过下行或互联二层网络交换VRRP报文信息主用网关同时监控上行接口，上行链路故障或设备故障时可自动切换。华为支持BFDforVRRP，加速VRRP切换时间，切换时间控制在50毫秒以内。监控上行端口会聚层核心层接入层…接入设备VRRP:VIPVMACxSTPEth-TrunkVRRP负载分担设计应用场景及部署需要多个网关同时分担数据流而相互备份时，那么需要采用VRRP负载分担方式。建立两个或更多的备份组，应用不同的VLAN，形成负载分担。与MSTP实例的根桥配置相配合，使链路与VRRP主备一致。方案特点每个备份组都包括一个Master设备和假设干Backup设备。各备份组的Master设备可以不同。同一台会聚设备可以参加多个备份组，在不同备份组中有不同的优先级。监控上行端口会聚层核心层接入层…接入设备VRRP1:VIP1VMAC2VLAN10~20MSTPEth-TrunkVRRP2:VIP2VMAC2VLAN21-30VLAN10~20VLAN21~30VRRP快速切换设计应用场景及部署VRRP主要用于防止网关单点故障，BFD可将检测到的对端节点故障通知接口板，加快主备倒换速度。加快对端单点故障检测速度防止出现双VRRP主不建议用于下行链路的检测与联动切换BFD对Backup和Master之间的实际地址通信情况进行检测，如果通信不正常，Backup就认为Master已经不可用，升级成Master。BFD检测报文通过两VRRP节点间Trunk链路到达对端。VRRP通过监视BFD会话状态实现主备快速切换，切换时间控制在50毫秒以内。BFDforVRRP汇聚层接入层…接入设备MSTPEth-TrunkVLAN10~20VLAN21~30目录数据中心网络设计方法数据中心架构设计数据中心内部互联设计〔核心层设计〕互联核心设计路由协议设计网关设计数据中心流量模型数据中心效劳器接入设计〔接入层设计〕数据中心外部接入设计虚拟感知解决方案数据中心业务分区收敛比设计通过收敛比设计满足业务的容量需求接入层收敛比设计由效劳器性能及业务类型确定一般数据流量考虑网卡数量，接入方式(负载均衡or主备)考虑接入设备形态，确定上下行连接比例会聚层收敛比设计考虑二三层网络结构影响考虑南北向流量需求三层负载均衡or主备，会影响收敛比考虑板卡的配置方案，确定上下行连接比例综合考虑分区内会聚、接入两层的总收敛比收敛比：1.2:1至12:1常见业务接入层收敛比会聚层核心层接入层接入设备业务分区1业务分区2服务器类型典型收敛比Web服务器12:1APP服务器6:1DB4:1分布式计算/大规模虚拟化4:1甚至更低(根据流量需求)10GE或40GE10GE或40GEGE或10GE10GE或40GEGE或10GE数据中心网络设计方法数据中心架构设计数据中心内部互联设计〔核心层设计〕数据中心效劳器接入设计〔接入层设计〕二层拓扑设计二层可靠性设计效劳器接入设计数据中心外部接入设计虚拟感知解决方案目录二层设计总体思路原那么分区设计通过将较大的二层网络，划分为多个业务分区，每个业务分区会聚层作为网关及业务分区出口，控制二层域范围。当出现可能的二层环路等二层网络故障时，故障影响范围限制在分区内，不会影响其他重要业务。收敛比根据用户业务流量模型确定，业务垂直流量(ClienttoServer)越大，收敛比应当越低。跨分区流量越大，收敛比应当越低。可通过计算效劳器每端口平均流量，确定收敛比。收敛比越低，带宽越大，部署本钱越高。传统多层业务收敛比4:1~12:1。VLAN部署VLAN根据业务隔离需求进行部署，通常在业务分区内，通过VLAN划分子分区。VLAN部署需要考虑二层适应性，考虑多网卡NICTeaming接入，必须位于同一VLAN问题。可靠性设计二层播送域内，需要仔细考虑当前拓扑下可能产生二层环路、链路、设备故障场景，并部署相应破环、无环、冗余、可靠性技术。因此，规划合理的二层网络拓扑，采用分层、分区的网络结构设计思想，是提高可靠性的根底。二层网络设计选择三角形拓扑

接入层采用双上行连接，形成主备链路或负载分担链路。口字形拓扑

接入层采用单上行连接，接入同层互联形成备用链路。LFR(Loop-FreeReliable)无环以太网拓扑

通过iStack、CSS等虚拟化技术虚拟化为一台设备，链路负载均衡。同时上行链路配置LACP链路聚合。

会聚层

(网关)三角形拓扑口字形拓扑无环以太网拓扑接入层链路聚合部署方案接入-会聚，会聚-核心间链路，由于设备通常采用堆叠或集群，因此在收敛比允许的情况下，链路可以采用每台设备单归上行，减少上行链路数。多NIC网卡支持NICTeamingLACP模式，那么可以在接入交换机下行部署静态LACP链路聚合。只有已经堆叠的情况下，本端才能部署跨设备的链路聚合，即堆叠组成员端口可以跨设备。支持手工负载分担模式，静态LACP模式两种方式部署Eth-Trunk。手工负载分担模式：Eth-Trunk的创立、成员接口的参加都需要手工配置完成，没有LACP协议报文的参与。适用于对端不支持LACP的场景，不能实现冗余。静态LACP模式：利用LACP协议进行聚合参数协商、确定活动、非活动接口。静态LACP需手工创立Eth-Trunk并配置成员接口，由LACP协议协商确定活动接口和非活动接口。不推荐采用动态LACP模式，动态LACP由LACP自动创立Trunk、参加成员端口，不易于管理控制。S系列及CE系列交换机，不支持动态LACP模式。〔注：有些客户习惯把静态LACP方式叫做动态链路聚合，这种是相对于手工负载分担方式而言的，因此请注意分辨。〕接入层汇聚层

业务层配置静态LACP

及逐流负载分担堆叠部署建议部署冗余堆叠链路：建议部署至少两条堆叠线缆，保证堆叠链路可靠性。堆叠带宽的设计：堆叠带宽仅是建议值，具体设计需要根据同一组接入交换机内跨交换机流量模型而定。这与业务以及效劳器接入、接入交换机部署方式强相关。例如：如果效劳器接入采用双归负载均衡接入，接入交换机间可采用较小堆叠带宽。盒式堆叠台数：需要根据接入层收敛比、布线情况而定。在堆叠线缆布线长度允许的情况下，业务流量较低，收敛比较高时，可考虑更多台接入交换机进行堆叠，以减少上行链路数。EoR千兆及万兆接入，通常为2层结构，没有会聚层。因为框式设备比较灵活，具体接入、上行、集群部署需要根据工程分区效劳器规模、业务流量进行考虑。每组接入每组上行接入层收敛比参考型号堆叠部署ToR千兆接入96*GE4*10GE2.4:12*S5700-52C2*S5710-52C2*CE5800堆叠卡堆叠2*10GE业务口堆叠/台2*10GE业务口堆叠/台96*GE2*10GE4.8:12*S5700-52C2*S5710-52C2*CE5800堆叠卡堆叠2*10GE业务口堆叠/台2*10GE业务口堆叠/台96*GE8*10GE1.2:1（无收敛）2*S5710-52C2*CE58002*10GE业务口堆叠/台2*40GE业务口堆叠/台96*GE2*40GE1.2:1（无收敛）2*CE58002*10GE业务口堆叠/台ToR万兆接入96*10GE4*40GE6:12*CE68002*40GE业务口堆叠/台96*10GE2*40GE12:12*CE68002*40GE业务口堆叠/台CE6850CE5810引擎接口板SVF〔SuperVirtualFabric〕技术：交换机虚拟化的一种形式：多台交换机虚拟成1台，作为一种端口扩展技术，在纵向维度上支持对系统进行异构扩展网络层次上的纵向堆叠：可以简单理解为“会聚交换机和接入交换机做堆叠”SVF系统组成：系统中包括2类设备：父交换机和子交换机父交换机：是堆叠系统的核心，负责整个堆叠系统的控制和转发子交换机：作为父交换机的线卡，控制平面上移到父交换机，本地只负责转发，相当于把父交换机的端口拉远简化二层接入设计——SVF虚拟化后的系统逻辑上相当于一台设备父交换机子交换机SVF方案优势Server接入交换机配线架Server配线架优势简化布线；劣势TOR交换机数量多，管理的节点多；优势无TOR设备，管理节点少；劣势布线复杂；布线本钱高，接入能力有限；管理优势：SVF逻辑上为一台交换机，虽有“接入+会聚”之型，实那么仅需管理一台设备(使用一个软件版本和配置文件)；布线优势：形式上表现为TOR布线方案，提升接入能力，简化和降低了了布线本钱；本钱优势：低本钱CE5810代替高本钱TOR交换机，比传统TOR方案投入大大减少；CE5810支持低本钱的光模块，有效降低网络部署本钱；SVF方案集TOR+EOR优势与一身TOREOR会聚交换机会聚交换机SVF——集中管理分布转发父交换机子交换机管理：SVF整个系统逻辑上为一台交换机，所有管理集中在父交换机上，子交换机不需要连接管理口；整个系统对外只有一个管理平台，在父交换机上，用户通过父交换机的管理网口登陆管理平台两台父交换机堆叠，用户可以从任意一台父交换机管理网口登陆管理平台对整个系统进行配置操控整个系统只有一个配置文件，子交换机没有配置文件，子交换机以线卡的形式表达在管理平台中转发：两个子交换机间的流量经由父交换机转发，父交换机支持本地优先转发〔子交换机双归情况下〕；同一个子交换机下挂的设备间的流量支持在子交换机上优先转发；优势：分布式转发，无转发瓶颈，时延小SVFSVF典型组网父交换机子交换机SVF系统SVF系统方案接入层采用SVF组网，构成物理三层核心+汇接+接入但逻辑上二层组网方案；每个汇接区的SVF系统组成包括：父交换机：两台交换机堆叠，子交换机：子交换机上行多链路连接父交换机，上行，千兆接入CE5810，万兆接入CE6810每SVF系统可提供最大1152端口接入；效劳器接入：效劳器接入支持双归，支持跨设备的LAG，支持效劳器网卡双活和主备模式；优势方案高性价比，兼具EOR和TOR方案的优势简化管理具备高密接入能力双父交换机堆叠，接入向上双归，可靠性高双活接入数据中心网络设计方法数据中心架构设计数据中心内部互联设计〔核心层设计〕数据中心效劳器接入设计〔接入层设计〕二层拓扑设计二层可靠性设计效劳器接入设计数据中心外部接入设计虚拟感知解决方案目录接入交换机故障切换LFR方案下接入交换机切换过程接入交换机2升为堆叠主交换机，带动相应效劳器网卡LACP链路切换，上行流量从交换机2转发。会聚交换机下行端口shutdown。对于M:N链路备份，LACP协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，那么保持其他链路为活动状态。优先级最高的备份链路转为活动状态并转发数据，完成接入及上行链路切换。回程流量〔向南流量〕，通过在核心交换机配置本地优先转发，保持流量始终在会聚交换机1转发。(2)负载分担链路2正常流量链路故障后流量负载分担链路1（故障链路）

原流量刀片服务器交换模块接入交换机机架式服务器刀片服务器汇聚交换机1L3路由L2交换接入层上行链路故障切换LFR方案下上行链路故障切换过程LACP协议感知端口down。对于M:N链路备份，协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，那么保持链路为活动状态。优先级最高的备份链路转为活动状态并转发数据，完成切换。不建议以缩短通揭发送间隔的方式，部署DLDP用于单通检测，多链路下大量的DLDP报文会增加链路及设备负担。如果需要检测单通链路，建议部署以太网OAMEFM或DLDP通告默认间隔〔5s〕〔DLDP要求两侧皆为华为设备〕。对于光纤，端口状态转为down〔<100ms〕。对于电缆，端口状态转为down(<1s)。L3L2刀片服务器交换机模块接入交换机机架式服务器刀片服务器汇聚交换机1链路故障后流量负载分担链路1（故障链路）

原流量(3)会聚交换机主控故障切换LFR方案下会聚交换机主控故障切换过程会聚交换机集群，主用主控板故障。集群重新计算堆叠拓扑，备用主控板升为主用主控板。链路1、2LACPDU发送超时或感知端口down，关闭故障链路。对于M:N链路备份，LACP协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，那么保持链路为活动状态。优先级最高的备份链路转为活动状态并转发数据，完成接入及上行链路切换。口字型组网下，接入交换机需要具备本地流量优先转发特性，减少堆叠线缆带宽压力，优化流量模型。L3L2刀片服务器交换机模块接入交换机机架式服务器刀片服务器链路1汇聚交换机1链路故障后流量负载分担链路1（故障链路）

原流量链路2汇聚交换机2(4)会聚交换机整机故障切换LFR方案下会聚交换机整机故障切换过程集群主用设备整机故障，集群拓扑重新计算，交换机2升为集群主交换机。接入交换机检测到端口down，或链路1、2LACPDU发送超时，关闭故障链路。对于M:N链路备份，LACP协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，那么保持链路为活动状态。优先级最高的备份链路转为活动状态并转发数据，完成接入及上行链路切换。核心交换机CSS集群，设备间需要部署直连的双主检测链路，防止会聚交换机重启后形成双主。L3L2刀片服务器交换机模块接入交换机机架式服务器刀片服务器链路1汇聚交换机1链路故障后流量负载分担链路1（故障链路）

原流量链路2汇聚交换机2(4)OAM链路检测方案-EFM在网关以下，由于采用二层以太，光纤单通、链路、设备故障及链路质量等情况难以快速检测及感知。因此可在接入层与会聚层之间链路，部署以太网OAMEFM进行链路质量检测、链路故障检测与联动。链路检测：通过OAM通告、本端感知，检测链路的单通、交叉连接等链路故障，并可与对方联动。故障联动：对于链路故障、设备/单板重启，可以向对方通告故障，使对方感知、端口联动。本端也可以进行端口联动，关闭故障端口。可以触发协议的感知与切换，减少业务中断时间。链路质量监控：可监控端口误帧、误包率，网络质量变差时，可以及时关闭联动端口〔down〕。CE系列交换机V1R1不支持OAM功能。

S57/67系列交换机支持OAM，其中GE光口支持通过OAM单纤通告链路故障，10GE/40GE不支持单纤通告链路故障。优点：加速故障感知与切换，防止链路单通与故障。可进行链路质量监控，并关闭质量较差端口。慢协议机制，带宽占用较少。比DLDP速度较快，而且具备通告机制。缺点：需要两端设备支持OAMEFM特性。L3路由L2交换分区1（高密）VLAN100接入层汇聚层

业务层负载均衡主备冗余OAMEFM检测故障联动链路质量

监控OAM链路故障检测与联动设计部署方案接入层上行、会聚层下行，使能OAMEFM，会聚设置为主动模式，接入设置为被动模式。分别配置OAMEFM与本端端口状态联动，联动可选择端口阻塞或端口shutdown。根据效劳器接入与链路的关系，如采用双归主备接入，并需要上行链路中断效劳器接入链路同步切换时，可配置OAMEFM与接入侧端口联动。本端链路故障感知与联动过程OAM会进行本端故障检测。如发现本端端口down(LinkFault事件)，会上报网管。并触发端口联动，关闭或阻塞联动端口。LinkFault事件，可以由端口状态down、OAMPDU信息报文超时(5s)、接收方断纤(单通)等触发。链路、设备故障通告对端与联动过程本端OAM感知链路故障后，会使用OAMPDU报文向对端发送通知消息，通告LinkFault事件。对方收到OAM通知报文后，会记录并上报网管。并产生联动，关闭或阻塞联动端口。本过程适用于检测单纤及链路途径传输设备、SDH网络的场景，如数据中心互联。单通状态下的链路通告，需要设备可以在单纤状态下发包。仅S系列交换机GE光口适用于OAM单纤检测，10GE端口单纤状态会物理shutdown。NE系