数据中心建设实施指南(V1.0)

1、数据中心建设学习指南密级：机密文档归属：TAC使用对象：技术服务部，TAC数据中心建设学习指南V1.0福建星网锐捷网络有限公司版权所有 侵权必究文档维护人：王雁Telmail：wangyan修订记录修订日期修订版本修订章节修订描述作者2010-06-30V1.0建立文档王雁目录1内容简介51.1内容简介5数据中心建设简介51.2阅读指南（必读）52数据中心建设简介72.1什么是数据中心72.2数据中心建设72.3阿里巴巴数据中心介绍103了解数据中心相关设备硬件特性113.1散热设计113.2EOR OR TOR设计（跟布线相关）133.3设备体积及功耗153.4冗余

2、可靠性163.5设备转发性能及业务调度174了解数据中心相关设备软件特性184.1常规软件特性184.1.1网管特性184.1.2升级特性194.1.3收敛特性194.2数据中心特性204.2.1FCOE支持214.2.2DCB特性234.2.3虚拟化支持274.3其他功能特性305方案设计与项目管理325.1方案设计325.1.1分层设计方法335.1.2服务器集群设计与网络的关联425.1.3数据中心设计注意事项445.2项目管理465.2.1项目分析与项目会议475.2.2方案验证与风险评估475.2.3工程勘验的注意事项485.2.4客户沟通与资料交接485.2.5了解客户的应用及网络

3、以外的知识496运维管理与支持506.1日常咨询处理506.2需求管理506.3故障支持517培训优化528总结53数据中心建设学习指南 1 内容简介1.1 内容简介章节号名称内容简介第一章内容简介介绍文档结构及推荐阅读的材料第二章数据中心建设简介介绍数据中心的概念及整体建设要求第三章了解数据中心相关设备硬件特性介绍数据中心产品的硬件特性（为数据中心设计的特性）第四章了解数据中心相关设备软件特性介绍在数据中心常用的软件特性第五章方案设计与项目管理介绍数据中心的方案如何设计，以及项目管理方法及注意事项第六章运维管理与支持数据中心运维的注意事项第七章培训优化介绍针对客户维护人员的培训工作开展方法第

4、八章总结全文总结1.2 阅读指南（必读）数据中心的概念大家并不陌生，但对数据中心的实际技术和应用特征却可能并不了解。本文从数据中心的概念出发，重点先讲解了网络设备的数据中心硬件、软件特性，然后针对数据中心建设中最重要的方案设计进行了较为详细的讲解，然后以实际项目的经历出发，讲述了项目管理、维护支持、培训等技术服务方面的工作。从整体上对数据中心做了一个比较全面的讲解，目标是通过本片文档的阅读，工程师能够掌握数据中心的特征，并掌握我司产品的数据中心硬软件特性。工程师通过数据中心常见设计方案的阅读理解，能够后续独立设计数据中心的网络架构，同时评估数据中心的应用要求，提供合适的设备选型。最后面的项目管

5、理、运维与支持、培训优化的内容是从阿里巴巴数据中心项目出发总结出来的一些注意事项，可能对后续大家数据中心的项目实施有所帮助。数据中心的知识面特别广泛，包括：网络、服务器、FCOE与存储、虚拟化、集群，阅读本篇文档之后，建议大家继续对部分技术细节深入研究，下面列出我们推荐的一些资料，并提供数据中心学习包给大家。推荐资料：名称要点下载地址数据中心方案我司的数据中心整体方案，包含标准化、虚拟化、融合等重点内容数据中心学习资料包整体提供11年度数据中心产品介绍包含S12000系列、S6200系列、S6210系列、S6000、S5750E系列五款产品及其配套板卡、电源模块、风扇模块；包含外观形态、主要特

6、性、未来扩展能力、兼容性说明、注意事项；数据中心学习资料包整体提供Cisc数据中心技术介绍了Cisco的数据中心产品及整体方案数据中心学习资料包整体提供数据中心虚拟化解决方案技术白皮书介绍了数据中心所有有关虚拟化的解决方案，很详细，包括服务器虚拟化、网络设备虚拟化等数据中心学习资料包整体提供FCOE技术分析报告介绍了FCOE标准、FCOE发展历程及目前的状态 数据中心学习资料包整体提供数据中心增强以太网技术白皮书介绍了数据中心交换机有别于以太网交换机的5种技术，FCOE、PFC、ETS、DCBX、CN数据中心学习资料包整体提供CiscoData Center Infrastructure 2.

7、5Design GuideCisco 针对数据中心网络架构的详细分析，非常实用数据中心学习资料包整体提供2 数据中心建设简介2.1 什么是数据中心数据中心，英文名称（Data Center）。关于数据中心，大家都在说。但冷静下来想想，究竟什么是数据中心?日常所说的计算中心机房是不是数据中心?数据中心与IDC机房是不是一回事等等对此，并没有一个标准的答案，其实我们很难用几句话把数据中心，特别是新一代数据中心说清楚，在网络上搜索数据中心，结果不尽相同。我们可以来看一看目前业界比较著名的专家对数据中心的定义：新一代数据中心的定义为：基于标准构建模块，通过模块化软件实现自动化724无人值守计算与管理，

8、并以供应链方式提供共享的基础设施、信息与应用等IT服务。也就是说，新一代数据中心应是一个整合的、标准化的、最优化的、虚拟化的、自动化的适应性基础设施(AdaptiveInfrastructure)环境和高可用计算环境。对于这样的一个定义，不知道大多数人怎么看，但是在我看来，恐怕还是太复杂、太抽象了，仅凭定义，还是很难把握新一代数据中心。原因何在?原因就在于与微机、网络、服务器和存储相比，数据中心太复杂了。新一代数据中心不是单一学科，而是一个跨土建装饰装修、电气配电、综合布线系统、空调通风、设备环境监控、气体消防、数字KVM，以及网络、服务器、存储、管理软件的综合学科，这些学科相互作用，相互影响

9、。所以我们暂且还是形象一些来讲：数据中心就是一个进行数据大集中的地方。2.2 数据中心建设数据中心的建设是一个非常复杂的课题，从生命周期的角度来讲，从设计，到实施、运营，再到持续的优化，其实是一个循环。就这个循环来言，在数据中心建设过程中，或者说在长期的使用过程中并不是特别明显，但是随着数据中心越来越模块化，其实会变得非常的显现。在设计阶段来讲的话，作为基础设施本身，主要是考虑到IT的需求，所谓的IT需求并不是具体到服务器的数量，而是指所期望的运算能力、网络交换能力以及数据存储能力。数据中心普遍建设规格较高、投入大，所以完善的规划是是数据中心建设的首要任务。下面针对数据中的模型进行了层次话的细

10、分，在规划阶段由各部门的专家组织成立项目组进行需求与目标进行详细分析与论证，最终形成数据中心建设规划。数据中心的建设原则包括：1. 高性能2. 扩展性3. 实用性4. 安全性5. 稳定性6. 通用性7. 可维护性8. 可管理型9. 经济型10. 节能环保数据中心的建设是一个复杂的体系，任何个人妄图精通其全部是不可能的。它需要各行业或各专业的人士合作完成，其是一个整体的项目，对于任何IT团队来讲，都是一个巨大的挑战。单就数据中心的站点准备为例，其包含的内容就有：由此可见其复杂性，而各个组件之间又是关联的：推荐各位如果后续对数据中心的建设感兴趣的话，可以阅读相关专业书籍。例如：新一代绿色数据中心的

11、规划与设计、思科绿色数据中心建设与管理绿色虚拟数据中心、数据通信设备中心设计研究等等。作为数据中心的基础之一，交换网络形成了数据中心部署的框架，因此网络规划及设备选型是否合理，直接关系到数据中心的运作效率、可扩展性以及投资的效用。作为国内领先的网络设备及解决方案供应商，下面我们重点从网络及解决方案层面结合数据中心的特性及需求进行描述及说明在数据中心建设中的注意事项，希望对大家所有帮助，在此文档中，我会将在阿里巴巴数据中心建设项目中的一些感想和总结一并呈现出来，希望能够为我司后续的数据中心项目建设提供一些有价值的参考意见。2.3 阿里巴巴数据中心介绍我司的数据中心产品S6200-48XS和S60

12、80（定制）服务器于阿里巴巴的“云梯”数据中心，网络拓扑架构设计如下：(在本拓扑中,S6200第一个万兆口和最后一个万兆端口上联到外联区Cisco6509，未画出)上述拓扑中，设备名称是根据客户的设计命名的，上图中S2代表S6200-48XS, S13代表S6080, 一共包含8台S6200-48XS(配备16口万兆扩展模块)，以及38台S6080。服务器集群一共包含2500台服务器，网络结构说明如下： 1. 使用S6080 作为服务器接入交换机，80个千兆口，可提供80台服务器高密度接入，尚剩余8个千兆端口做冗余备份 2. S6080上联采用8个10G端口，80千兆接入-8个10G上联，实现

13、线速转发，空余2个10G端口做冗余备份 3. 8台S6200作为汇聚，S6200支持48个万兆口线速转发4. 本网络架构真正实现CLOS（无阻塞网络）服务器区，用于集群主控节点的S6080，采用了MSTP+VRRP技术，服务器网卡绑定双接入到两台S6080，单台S6080故障时，网络也可正常工作。拓扑示意如下：在提高网络收敛与链路故障检测方面，采用了BFD技术关联OSPF。同时，OSPF 通过动态进行路由计算，计算出8个不同下一跳的等价路由，通过ECMP实现报文实现负载均衡转发，充分利用S6080 8个万兆上联线路带宽，同时单台S6200故障均可以实现流量快速切换与备份。客户的集群应用主要目标

14、是广告定投计算集群，可以也有可能扩展到搜索集群计算。搜索计算的特点是： 每一次搜索处理都会产生一次32个节点同时向一个节点发送数据 搜索请求的处理是实时任务，要求300ms内完成 计算任务的分配及整合采用的是Hadoop及MapReduced模型详细了解Hadoop及MapReduced模型，可参考如下链接：阿里搜索处理示意图如下：而广告定投业务的特性如下： 没有实时性要求 和搜索集群类似，多打一的流量模型 后续将会和搜索集群合并，目前还是分离的，但资源利用率很低。广告定投计算的集群通常是在晚上工作，白天闲置；而搜索集群则正好相反，白天工作，晚上闲置；所以总结一下阿里的应用显著特征是： 1.

15、计算节点存在大量数据，带宽要求高2. 存在多打一的模型阿里巴巴之前的数据中心存在的一个问题是：集群都会产生大量burst流量，现有网络出现了大量的丢包, 网络已经成了业务性能的瓶颈，因为大量的丢包重传，浪费了服务器40%左右的处理能力,用户迫切需要解决丢包的问题。本次定制的S6080数据中心交换机有一个比较显著的特色是拥有大Buffer的硬件特性（3G），在多打一的流量模型中具有较好的缓冲效果，用来解决客户端的丢包问题，Buffer的利用率要求可通过命令查看，以便评估网络的流量拥塞状况。到本文档编写完成之时，阿里巴巴项目已经经历了充分的研究院内部测试、预测试、项目实施与现场测试、客户内部IT团

16、队移交给业务团队，目前正在客户业务团队的带领下进行业务上线测试中，已经累计2月运行稳定。3 了解数据中心相关设备硬件特性数据中心产品区别于常规产品，一般都会根据数据中心的需求针对性的推出一些数据中心特性，例如前后抽风散热的设计、电源设计、机箱高度及深度、端口特性等，下面我们来做一些了解，这些也都是客户普遍比较关心的问题，在项目实施之前非常有必要系统的了解以上这些硬件特性，以下的讲解，将包括但不仅限于阿里巴巴数据中心相关的技术点。3.1 散热设计阿里巴巴数据中心的散热设计跟业界的散热相同，都是采用“自上而下”的制冷方式。数据中心机房的散热是一个重要的课题，在有限的空间里面，如此高密度的IT设备环

17、境下，散热的重要性不言而喻。根据艾默生所提供的权威数据，大约有2/3的服务器故障会发生机架最顶部的1/3，产生这种问题的原因在于机架顶部的服务器经常过热。数据中心机房平面布局通常采用矩形结构，为了保证制冷效果，通常将 10 至 20 个机柜背靠背并排放置成一行，形成一对机柜组（又称为一个POD），POD中的机柜都采用前后通风模式，冷空气从机柜前面板的吸入并从后部排出，由此在机柜背靠背摆放的POD中间形成 “热通道”，相邻的两个POD之间形成“冷通道”。热通道正对CRAC（机房空调），热空气沿热通道流回CRAC，再开始新一次循环常见的冷热风通道交替。通过下送风的方式为机架中的IT设备提供制冷，这

18、种自下而上的制冷方式，机架顶部1/3的部分往往制冷不足，容易因为过热而宕机。（此种散热的改进方法在本文中不进行描述，有相关爱好者可自行查阅相关资料）为了配合机房散热的设计，数据中心交换机提供了前后抽风可选的型号设计。在选配的时候，可根据机房实际的散热设计/设备安装方向，选择前抽风或后抽风的配套风扇和电源。以6200为例：在选配的时候，需要注意风扇和电源必须散热方向一致。M6200-FAN-F主机风扇（前后风道散热）M6200-AC650I-F主机电源（前后风道散热）M6200-FAN-R主机风扇（后前风道散热）M6200-AC650I-R主机电源（后前风道散热）对于核心机箱式设备，我司1200

19、0系列交换机提供了独特的区间式风道设计数据中心交换机使用区间式风道设计，具有独立的电源风道、板卡风道，提升每路风扇的散热能力和风压利用效率。其风道设计特点显著，每组板卡具有独立的分区风扇，并可以进行分区调整。另外值得一提的是我司数据中心交换机均支持智能温控和风扇，当数据中心环境温度控制不良时，可自动调整风扇转速。当温度接近或超过设备合理工作范围时，可执行相应的保护策略，例如报警、线卡停止工作等，有效的保障了网络设备的可靠性。阿里巴巴的数据中心散热设计同样是采用上述的“冷热风通道交替”方式，所以客户会对我司交换机的散热进行详细了解（主要为风扇抽风方向），以便进行设备安装/上架方向的设计。3.2

20、EOR OR TOR设计（跟布线相关）首先我们简单介绍一下EOR与TOR的特点及各自的优缺点，阿里巴巴采用了EOR的改进模型MOR，下面会有详细介绍。采用交换机EOR布线方式时，每个POD（机柜组）中的两排机柜的最边端摆放2个网络机柜，POD中所有的服务器机柜安装配线架，配线架上的铜缆延伸到POD最边端网络机柜，网络机柜中安装接入交换机。机架式服务器安装在服务器机柜中，服务器网卡通过跳线（铜缆）连接机柜中的配线架。如下图所示：交换机EOR布线方式特点：交换机EOR布线方式最为常见。通常在服务器和接入交换机安装以前，服务器机柜到网络机柜的布线施工已经完成，设备（服务器/交换机）安装和跳线工作都在

21、服务器机柜内和网络机柜内进行。 如果每台机架式服务器的功率为500W，且每个服务器机柜的电源输出功率按4KW或6KW计算，则一个42U高度的服务器机柜能安装8-12台机架式服务器。 EOR布线方式的缺点：从服务器机柜到网络机柜的铜缆多（约有20-40根铜缆），且距网络机柜越远的服务器机柜的铜缆，在机房中的布线距离越长，由此导致线缆管理维护工作量大、灵活性差。 交换机MOR（Middle of Row）布线是对EOR布线方式的改进。MOR方式的网络机柜部署在POD的两排机柜的中部，由此可以减少从服务器机柜到网络机柜的线缆距离，简化线缆管理维护工作。 交换机TOR布线方式是对EOR/MOR方式的扩

22、展，采用TOR布线时，POD中每个服务器机柜的上端部署1-2台两台接入交换机，机架式服务器通过跳线接入到机柜内的交换机上，交换机上行端口通过铜缆或光线接入到EOR/MOR的网络机柜中的汇聚交换上TOR布线方式特点：TOR布线方式简化了服务器机柜与网络机柜间的布线，从每个服务器机柜到EOR/MOR的网络机柜的光纤或铜缆数量较少（4-6根）。 机柜中服务器的密度高。对于标准的19英寸宽，42U高的机柜，如果采用交换机TOR布线方式，则每个机柜可部署15-30台1U高度的机架式服务器（具体数量需要考虑单台服务器的功耗和机柜的电源输出功率）。 TOR布线的缺点：每个服务器机柜受电源输出功率限制，可部署

23、的服务器数量有限，由此导致机柜内交换机的接入端口利用率不足。在几个服务器机柜间共用1-2台接入交换机，可解决交换机端口利用率不足的问题，但这种方式增加了线缆管理工作量。 从网络设计考虑，TOR布线方式的每台接入交换机上的VLAN量不会很多，在网络规划的时候也要尽量避免使一个VLAN通过汇聚交换机跨多台接入交换机，因此采用TOR布线方式的网络拓扑中，每个VLAN的范围不会太大，包含的端口数量不会太多。但对于EOR布线方式来说，接入交换机的端口密度高，在网路最初设计时，就可能存在包含较多端口数的VLAN。 TOR方式的接入交换机数量多，EOR方式的接入交换机数量少，所以TOR方式的网络设备管理维护

24、工作量大。所以数据中心交换机既需要其核心交换，同时也需要能够作为EOR或者TOR的接入交换机。针对EOR或者TOR的交换机，其必须具备线速交换的同时，要求具有足够的上联带宽，这一点在了解数据中心交换机时，是一个需要特别注意的地方，例如某千兆接入交换机其能够提供的万兆上联端口的数量，是否能够达到无拥塞上行。在阿里巴巴数据中心的设计中，我司6080交换机即提供了88个千兆口和10个万兆口上联的方式，客户选用了80个千兆口作为服务器连接设计，同时提供了8个万兆口进行上联，从而实现了上下联带宽1:1的无拥塞设计。另外在布线方面，交换机同时配备理线架也是一个针对数据中心的改进。例如Cisco的N7K系列

25、的交换机机箱配备了“为特别设计的可选前模块门可保护布线和安装在系统中的模块不受意外干扰的影响”，集成的线缆管理系统设计用于支持一个完全配置的系统到交换机的任一端或两端的布线需求，可实现最大的布线灵活性。所有系统组件都可轻松更换，而布线保持在原位不动，从而便于进行维护任务，最大限度地减少中断情况。例如我司12000系列交换机即提供了理线架的设计，图示如下，但在和Cisco的设计对比上并不具有优势。3.3 设备体积及功耗有这么一种说法：新一代数据中心需要减少设备的体积。高密度的设备能够充分发挥出计算的优势，并且还可以在很多情况下大幅度地减少应用程序运行所需的占地面积，也就相当于运营和维护成本的降低

26、。目前众多互联网企业其IDC机房都是租用的电信机房，包括很多中小企业其业务服务器在电信IDC托管收费都是按照空间收费的，所以减少设备体积也是服务器、网络设备供应商针对数据中心进行优化的一个方向。我司的6200系列数据中心交换机，均为1U盒式设备，可以提供高密度的千兆/万兆端口接入的同时，极大的减少了空间占用。同时为了配合客户机房散热的设计，机箱的深度也是一个需要特别考虑的地方，一般需要和服务器保持深度一致，保证设备的前后端都可以得到良好的散热。所以阿里巴巴的项目中，我司6080作为服务器接入交换机，在定制的时候，要求和服务器的深度一致，这样既能保证在得到良好散热的同时，也足够美观。考虑到机柜的

27、供电情况，数据中心的设计者往往也对设备的功率特别关注，例如服务器的功耗、网络设备的功耗以及需要冗余的设计，从而准确设计数据中心的供电系统。所以我们可以对数据中心产品了解的时候，重点关注一下其物理特性，这些内容都可以从相关产品的安装手册中获得帮助。在阿里巴巴数据中心的项目中，我司6080作为服务器接入的EOR交换机，提供高密度服务器接入的同时，设备自身只有2U的高度，有效的节约了数据中心空间的利用。3.4 冗余可靠性数据中心交换机由于其应用环境的高要求，必须具有高可靠性，零业务中断是其设计目标，所以无论是从设备单机角度还是冗余组网设计来讲，都必须具有冗余可靠性。以下所列出冗余性都是在数据中心网络

28、中必备的特性：数据中心接入交换机必须具有的冗余组件包括：风扇冗余、电源冗余机箱式设备必须具有的冗余组件包括：引擎冗余、风扇冗余、电源冗余数据中心交换机都必须支持所有的引擎/线卡/风扇盘/电源模块的热插拔操作在线卡或单机的硬件设计上，我们推荐具备双Boot和双Ctrl的设计，用以规避升级失败带来的风险。在高端核心交换机的硬件体系设计上，一般采用CLOS无阻塞架构，CLOS架构在冗余可靠性方面有比较好的实际效果。接下来，我们介绍一下CLOS组网的特点：第一级（入方向线卡）将报文分片（cell）,通过N条链路到网板；第二级（网板）基于“分片动态路由”方式，通过N条路径将分片发送到第三级（出方向线卡）

29、；第三级重组报文；以上的动态路由方式可以实现无阻塞交换，且可平滑扩展，当任一Fabric出现故障的时候，依据动态路由的特性，动态路由方式通过实时检测所有交换网转发路径，并根据各转发路径的健康状况和负荷情况动态调节报文转发数据，可自动选路到正常的Fabric芯片上，从而实现了自动容错特性，当然也会同时伴随成比例的转发性能的下降。我司15000系列交换机即采用了CLOS组网的架构（12000为简化CLOS结构），线卡的上联HG口直接双上联至双管理板的Crosssbar芯片（没有采用Crossbar和管理引擎分离的结构）。控制面和转发面严格分离的情况下，从而彻底避免相对高故障率的控制平面问题对极低故

30、障率的转发平面产生影响，进一步增强了业务永续性保证。在可靠性方面，数据中心交换机普遍支持智能温控、智能风扇、智能供电等特性，当出现环境/设备元器件异常的时候，可进行自动调节，有效保障设备的正常工作。在阿里巴巴数据中心的项目中，以上的冗余特性和智能特性给网络运维带来了较多有效的工具，他们采用SNMP定期监控设备的电源、风扇、温度等，可以有效的提前发现风险或隐患。3.5 设备转发性能及业务调度网络规模的不断扩大、业务种类的日益丰富、流量的快速增长，使得在数据中心的网络环境中，存在海量数据需要处理的情况，因此网络设备的高性能是必须满足的一个指标，同时还要求设备具备高可扩展性，例如扩展支持40G、10

31、0G平台。所以我们需要了解并关注我司设备的交换容量、包转发率。这里补充讲解一下交换机交换容量和包转发率的计算方法。高端核心设备的真实交换容量计算方法示例如下：交换容量：CrossBar的交换能力代表了整机能够支持的最大交换能力，例如对于8610的CMII引擎，提供8个HG口，所以双引擎全双工的配置下，能够实现的交换带宽为12G*2*8*2=384G，对于后续的支持100G的线卡，则其单卡交换容量可以达到100G*2（双向）=200G，在配备对应的CrossBar芯片后，整机交换容量可达200G*8=1.6T。包转发率：最大整机包转发率=单线卡最大包转发率*线卡数量 （因为线卡为分布式转发，每线

32、卡具备独立转发能力，以M8600-48GT/4SFP为例计算： 1.4881Mpps（千兆口包转发率）*48*8=571.43Mpps，整机全线速情况下，包转发率可达571.43Mpps。衡量交换机产品的交换性能优劣其实重点关注是否能够限速的前提下，其累计包转发率能达到多少，延迟多大。这点再强调说明一下线速和延迟的概念，线速转发性能：通常是指64字节小包的线速转发能力，表征了系统处理报文头的能力，在相同的端口流量下，64字节小包要求系统在单位时间内处理更多的报文数。转发性能还要关注线速一致性，即大包小包都能线速，都不丢包；Pair模式、Full Mesh模式都能线速转发。转发时延及时延抖动：目

33、前存储转发技术的端口到端口时延在几微秒到几十微秒，可满足绝大多数应用场合。Cut-through转发时延可达到1微秒以下，主要用于少数对时延非常敏感的紧耦合高性能计算。时延抖动则指时延的一致性、时延可预测性，VoIP、视频等实时业务通常要求低时延和时延一致性，在时延方面，目前的交换机都不存在问题。说到交换容量，不得不讲一下CLOS（无阻塞交换机架构）CLOS架构是目前比较先进的交换架构，它是一个多级架构；逻辑示意图如下：（LC代表LineCard线卡，中间的一级Fabric为Crossbar，SCH代表Scheduler）在每一级，每个交换单元都和下一级的所有交换单元相连接。一个典型的CLOS

34、交换三级架构由（k，n）两个参数定义，如下图所示，参数k是中间级交换单元的数量，n表示的是第一级/第三级交换单元的数量。第一级和第三级由n个kk的交换单元组成，中间级由k个nn的交换单元组成。整个构成了kn的交换网络，即该网络有kn个输入和输出端口。对于CLOS架构的交换机，其多交换矩阵均可独立工作，大大扩充了交换机能够支持的总交换容量。对于需要更高容量的交换网，中间级也可以是一个3级的CLOS网络（即CLOS网络可以递归构建）,由于CLOS网络的递归特性，它理论上具有无与伦比的可扩展性，支持交换机端口数量、端口速率、系统容量的平滑扩展15000系列交换机（尚未发布）即采用CLOS多级交换架构

35、。业务调度：在业务调度方面数据中心交换机一般采用了入口方向的VOQ（虚拟调度队列机制）+出方向的队列调度（SP/WRR/DRR/WFQ等），部分支持HQOS，包括WRED/Tail Drop等拥塞管理策略的组合实现精细化的QOS管理。K VOQ机制的作用是为了防止HOL（队头阻塞），详细原因可参考相关文档，或网上搜索。不在本文中详细介绍。阿里巴巴定制的6080支持VOQ机制，8600及12000系列也支持，但目前尚没有实现。业务调度的同时，对交换机的Buffer大小也有相应的要求，目前数据中心的服务器以千兆连接为主，通过交换机的万兆进行汇聚；服务器数量从几百到上千不等。假设这些服务器瞬间同时发

36、送流量，在汇聚链路会造成拥塞，这就需要设备的缓存能够满足应用，确保零丢包，所以设备的Buffer也要求足够大，能够缓冲一定的猝发流量，目前S6080交换机采用的Buffer大小为3G，可提供更好的数据缓冲能力。4 了解数据中心相关设备软件特性数据中心的高可用性、易管理等对交换机的相关软件特性要求比较高，例如完善的SNMP节点支持、不间断的升级特性、故障容错特性、收敛时间短等，下面我们来一一了解，分别从常规软件特性（例如AAA、NTP、Syslog、GR、NFS、WarmReload等）以及数据中心相关软件特性（例如FCOE支持、DCB特性、虚拟化支持等）进行讲解。4.1 常规软件特性4.1.1

37、 网管特性在网络管理方面，数据中心的要求特别高。因为像阿里巴巴这种大型互联网企业的数据中心一般都建设在电信公司的机房里面，属于租用性质，现场管理及响应时间长，所以必须依靠强大的网络监控系统提前发现隐患或确认设备工作状态。一旦网络建设完毕后，各种监控手段必须部署完善，由专人24小时进行监控。所以大型互联网公司一般都有建立其网络建设及管理的规范，通过在阿里项目实施中的交流，总结其要求如下：1. 设备通过部署NTP统一时钟，NTP Server也有至少2个，互为备份。2. 部署Syslog Server，设备日志统一发送至日志服务器，而且日志服务器要有备份。3. 设备登录与CLI执行都需要经过认证和

38、授权与记账，其中TACACS Server也都需要做备份，交换机需要支持完善的AAA。4. 部署SNMP网管系统，监控设备CPU利用率、内存、端口流量及错误信息、温度、电源、风扇状态等，交换机需要支持完善的MIB节点。5. 设备登录仅开放SSH服务，关闭WEB、Telnet服务，提供安全登录方式。目前的RGOS软件平台，对常规的NTP、Syslog、SSH、AAA都支持得很好，这点大家在实施数据中心时，不必过于担心。对于SNMP大家可参考MIB说明交付件，并学习查阅相关节点的方法，我司也提供了丰富的标准及私有MIB节点供客户部署SNMP监控时使用。在阿里的运维中，有一个比较特色的功能就是其sy

39、slog服务器和SNMP网管系统实现了联动功能，当Syslog接受到的某些日志等级较高时，通过预先定义的风险等级，SNMP系统可实现报警功能，另外采用专用的SNMP节点，网关软件的配合也可以实现交换机配置文件的自动备份与上传。当然完善的网管系统，不仅仅依赖与设备软件平台的相关特性，网管软件系统的智能化、图形化、可用性也能够极大的提高网络管理监控的效率，成为网络管理人员的一个强有力辅助工具。4.1.2 升级特性数据中心网络对可用性要求很高，通常情况下不允许中断，当然一些必须的软硬件升级时除外，所以设备如果支持ISSU（In-Service Software Upgrade，不中断业务升级）将会最

40、大的减少客户计划内的设备/网络停顿，大大提高网络可用性。ISSU是在NSF（不间断转发）的基础上实现的，需要依靠双引擎的硬件特性，对于不支持冗余引擎的低端设备，我司提供了Warm Upgrade技术也可以有效减少设备重启更新的时间。它将正常升级过程中BIN 镜像加载和解压缩的过程提前到设备复位前的正常工作时期，然后利用新程序的数据段的内容覆盖当前数据段的内容，最后跳到主程序入口，执行新的程序，从而缩短了设备复位时间。在系统需要热重启的时候，Warm Reload技术可以大大减少设备启动时间。Warm Reload 是一种快速重启技术，它去掉了普通设备复位时从FLASH 中加载BIN 镜像和解压

41、缩的过程，它用预先保存的程序数据段的内容覆盖当前数据段的内容，然后直接跳到程序入口运行的方式来实现复位，缩短了设备复位时间。视不同的产品，Warm Reload & Upgrade 缩短断流的时间从30 秒到60 秒不等。具体的细节技术大家可以参考我司提供的配置手册中Warm Reload和Warm Upgrade部分。注意事项：Warm Reload & Upgrade功能需要设备经过一次冷启动才能生效。目前我司ISSU功能已能实现基本功能，但由于部分协议的热备份尚未完全支持，所以ISSU功能还有待继续升级。本次阿里巴巴项目的实施中，即采用了Warm Reload技术实现热启动来有效减少设备

42、重启时间。4.1.3 收敛特性网络中链路故障/恢复、设备down机及恢复应该是无法完全避免的事情了，当出现此类异常时间时，收敛特性成为了衡量一个网络是否具有高可靠性、容错性的最直接的指标。二三层数据的转发收敛时间越短将给网络应用带来的影响越小。收敛特性的提升一方面依赖于我们所采用的组网技术（举个例子：服务器双网卡聚合、接入层设备的双上联、核心设备的VSU（IRF、VSS）虚拟、环形拓扑等都极大的影响到网络出现故障时的收敛时间），一方面依赖如设备的某些软硬件特性（例如双引擎热备、BFD、DLDP、GR、VRRP、REUP、H3C的OAM，SmartLink等），充分、灵活的设计网络架构，并采用相

43、关可靠性技术，将极大提高网络的可用性及收敛指标。下面我们以阿里巴巴项目中跟收敛特性相关的设计进行介绍。阿里巴巴代号为“云梯”数据中心的拓扑设计如下：简介如下：上图中S2为我司S6200-48XS交换机，S13为我司S6080交换机，S2一共8台，S13共38台，每台S13均采用8个万兆口分别上联至8台S6200，通过运行OSPF路由协议，通过ECMP（交换设备最大支持8个下一跳，跟芯片支持相关）实现路由等价负载均衡。在光纤线路发生单通等异常时，OSPF路由协议正常的协议收敛时间约为40S，为了提高收敛特性，我们采用了OSPF+BFD技术，BFD（双向转发检测）通过OSPF邻居建立BFD会话，B

44、FD协议提供一种轻负载、快速检测网络设备之间转发路径连通状态的方法，其邻居检测时间最小可设置为50ms，可以将链路异常检测控制在ms级，BFD在检测到链路异常后，会通知OSPF路由协议重新进行收敛计算，使得交换机可以通过ECMP进行快速的路由切换，将收敛时间从40S减少到1S内。服务器高可用区域采用了MSTP+VRRP的设计，使得当出现链路故障或交换机故障时，能够达到冗余备份的目标，其最大收敛时间约为3S（VRRP Hello间隔为1S），由于VRRP也可关联BFD，但由于目前BFD在AG口上的支持尚存在一些缺陷，所以目前没有采用VRRP关联BFD的方案。不同的网络模型使用的相关可靠性特性各不

45、相同，当我们在面对各种不通的应用模型时，一方面充分考虑冗余备份的设计，一方面选取适合的可靠性特性，设计方面的内容我们稍后在第5章 设计实施与项目管理 中进行讲解。4.2 数据中心特性数据中心相关特性是和数据中心特有的网络/存储结构及应用模决定的。目前总结来看：主要是三大部分的内容：1. FCOE（早期流行的FC存储和以太网的统一，有效减少服务器IO、布线、维护及管理复杂度）2. DCB特性（存储FC网络和以太网融合后的拥塞控制和带宽保证技术） 3. 服务器虚拟化之后的虚拟机策略控制、动态迁移策略支持4.2.1 FCOE支持这里先简单介绍一下为什么新一代数据中心需要FCOE技术，由于历史技术的发

46、展与兴衰及变更，FC技术一度流行（FC技术在90年代发展迅速，由于其高速度、高可靠、低延迟、高吞吐等特性，广泛应用于高性能存储、大规模数据库和数据仓库、存储备份与恢复、集群系统、网络存储系统、数字视频网络等领域），正是如此，当今的较大型数据中心网络普遍存在如下结构：（详见示意图），存在多个完全不同类型的网络区域。1.前端的用户通信网络（以太网）2.后台存储网络光纤的通道（FC光纤网络）3.后端做数据更新或者做集群计算的通讯网络（高性能计算Infiniband网络）随着历史的发展，FC网络出现了以下问题：1、带宽和传输速率发展缓慢。FC普及1Gbps的时候，以太网刚刚普及10Mbps；如今以太网

47、进入10G时代，FC才普及4G/8G2、工程人员的匮乏。在IP/Ethernet网络有成千上万的开发工程师为其服务，而FC网络只有不到一千名开发工程师3、同时有FC 和以太网两个网络，线路结构复杂，LAN和SAN资源没有整合，无法实现复用FCoE技术标准可以将光纤FC网络通道地映射到以太网，从而可以在以太网上传输SAN数据，它能够保护客户在现有FC-SAN上的投资（如FC-SAN的各种工具、员工的培训、已建设的FC-SAN设施及相应的管理架构），目前以太网技术发展迅速，万兆、100G平台都在不断发展，具有极大的速度优势。同时，FCOE使得FC运行在一个无损的数据中心以太网络上（需要无损的以太网

48、（DCB特性）保证不丢包）。FCoE技术有以下的一些优点：光纤存储和以太网共享同一个端口;更少的线缆和适配器;软件配置I/O;与现有的SAN环境可以互操作。这样，FCoE能减少数据中心的接口卡、电缆和网络设备，从而使数据中心变得比较简单、绿色环保。在一些大公司，如果能减少电缆数量，将会对空气流动产生积极作用，并减少降温成本，同时可极大减少网络配套设施投资成本及管理维护工作量。下图为服务器在原有多套网络中所需要的接口模型转化到FCOE网络之后的明显变化FCOE技术的本质就是将FC帧封装到以太帧中，允许LAN和SAN的业务流量在同一个以太网中传送。总结一下，FCOE技术模型需要的组件如下：1. 服

49、务器使用新一代万兆CNA网卡（例如BLADE、Brocade、Emulex、Intel、QLOGIC等）2. 交换机支持FCOE3. 存储设备支持FCOE接口（例如NetAPP） 或 FCOE交换机采用FC模块与原有FC网络融合目前我司数据中心交换机62系列和12000已经在10.4（3b3）软件版本中正式支持FCOE，FCOE技术尚有很多技术细分要点，如遇客户在项目实施中，会使用FCOE技术，请及时联系TAC工程师予以确认。项目中涉及到FCOE技术的应用，请提前确认如下信息：1. 存储设备厂家及型号2. 服务器厂家及型号、网卡厂家及型号3. 原有/规划 FC/FCOE网络连接拓扑图4. 存储

50、设备数量、服务器数量、支持FCOE交换机数量K 备注：阿里巴巴本次的云梯网络属于新建网络，服务器均采用自有硬盘，所以无需使用FCOE技术。4.2.2 DCB特性有了FCOE技术后，如何保障存储流量在以太网上无丢包成为一个挑战。以太网作为一种尽力服务的网络模型，网络繁忙时可能发生丢包或传输故障，由于传统以太网不可靠的传输特性，因此不适合在存储信息传输过程中使用。例如：公共安全场所的监控录像，有研究表明，一个人掠过一个监控摄像机最短的时间不到一秒钟，如果关键数据在传输过程中丢失，就会给未来的调查取证造成极大困扰。IEEE数据中心网桥(Data Center Bridge，简称DCB)工作组提出一系

51、列以太网扩展协议，来增强传统以太网传输的可靠性，解决上述可能的以太网丢包或拥塞问题。主要包括如下4种技术：1. 802.1Qbb Priority Flow Control(PFC)基于优先级的流控：传统的以太网是整条链路进行流控的，它会暂停整条链路，阻止一条链路上的所有流量。802.1Qbb是基于优先级的流控标准，在一条物理链路上，分成了8个虚拟通道，每一个通道分配一个优先级。这样在一条链路上可以承载多种业务类型，包括FCoE和非FCoE的业务。当发生拥塞时，接收端可以在特定的优先级虚拟通道上发送XOFF和XON帧，抑制或者继续特定的业务，保证高优先级或者时延敏感的业务的传输。下面是802.

52、1qbb的原理图。我们可以为光纤通道流量，也就是存储流量，分配一个IEEE 802.1P优先等级，并为该优先等级启用PFC，从而有效控制存储流量用于端口拥塞导致的丢包。2.802.1Qaz Enhanced Transmision Selection(ETS)增强传输选择：IO整合后，多个网络流量共享同一条物理链路，带来了一个新的需求：在网络繁忙的情况下，如何保证各个网络能够运行正常的最小带宽。为此IEEE引入增强传输选择（ETS）协议，来对不同网络流量进行带宽分配，保证各个网络正常运行所需的最小带宽。ETS提供一个数据中心环境中的终端和设备端进行带宽分配的操作模型。ETS，即是对不同的数据流

53、预定不同的带宽比例，在带宽不足时，预先保证高优先级流量的比例。下图，即预先保留带宽比例是20：30：50。在t1/t2这个时刻，高优先级报文可以扩大自己的比例。ETS算法提供传输类之间的带宽分配功能，支持和低延迟的传输选择算法严格优先级算法(strict priority)和令牌流量整形算法(credit-based shaper algorithms)共用，ETS所分配的带宽为其他QOS算法(主要是严格优先级算法和令牌流量整形算法)处理后的带宽。ETS的报文分类以及队列调度算法的详细配置可参考ETS配置手册章节及ETS技术白皮书3.Congestion notification IEEE 8

54、02.1Qau) CN拥塞通告在传统的以太网环境中，网络传输过程中，当网络流量达到最大带宽后，不可能保证所有流量的传输，只能将部分流量丢弃掉。为了保证数据流在传输过程中不被丢弃，根源的办法通知数据发送源端，降低数据发送的速率。拥塞通告802.1Qau标准，就是在这种背景下出现，服务于增强型以太网，用于提高以太网传输的可靠性原理如下：当服务器网卡，即反应点（CP）在发送数据报文时，会在报文中携带CN-Tag；当拥塞点检测到拥塞时，会将数据报文中的CN-Tag拷贝到拥塞通告消息，一并返回给数据源。 CNM(拥塞通告信息)的目的MAC直接是来源主机。CN用于避免网络拥塞，以减少丢包和降低网络的延迟（

55、拥塞会导致丢包，丢包后重传将增加报文的延迟）。为达到避免网络拥塞的目的，以太网交换机和端点站（在数据中心当中，通常指服务器）均需支持CN：u 当以太网交换机检测到拥塞时，会向数据源端点站发送拥塞通告消息，要求数据源端点站降低报文的发送速率。u 数据源端点站收到拥塞通告消息后，降低报文的发送速率，并周期性尝试增加报文的发送速率，如果此时拥塞已经消除，增加报文的发送速率并不会引起拥塞，也就不会再收到拥塞通告报文，报文的发送速率最终得以恢复到拥塞之前的值，以充分利用网络带宽。CN的详细配置及技术点可参考CN配置手册或802.1AU拥塞通告技术白皮书4. Data Center Bridging eX

56、change Protocol（DCBX）：DCB特性自动协商机制DCBX利用LLDP协议交换链路两端的配置信息，发现对等的配置，并在符合DCB要求的桥接之间交换配置信息，同时DCBX能够检测出桥接之间错误的配置信息或用于引导对端进行配置等。DCBX运行在点对点的链路上，它可用于通告本机的ETS、PFC等参数的配置信息，同时它也期望接收邻居发送的配置信息以用于引导本机配置。典型的DCBX参数交换的过程如下图所示：DCBX作为LLDP协议的扩展，它在LLDP协议的基础上增加了数据中心相关参数的TLV信息，协议本身并不复杂。如果已支持了LLDP协议，则也应能平滑地支持DCBX协议。如前所述，DCBX技术作为LLDP协议的扩展，依赖于LLDP。同时，DCBX运行在数据中心的网络中，需要与数据中心的其它协议协同工作，进行数据中心相关参数的配置和能力交换，方便了管理员部署和维护网络的运行。DCBX的配置