数据中心网络和布线方式（康普）20110311v2.docx

数据中心的网络架构和对布线的影响一、前言数据中心布线架构基于网络架构，但又有其相对独立性。布线架构既为了支撑网络架构，同时又为用户提供管理便利、灵活可调整、模块化易扩展。毕竟在配线架上进行维护操作，可靠性、灵活性、方便性是远远好于直接到设备端口上进行操作。目前常见的数据中心网络布线架构，主要有三种包括：直连式（direct-connect）,区域分布式（zone-distribution）和置顶式ToR（top-of-rack）。以上不同架构主要取决于服务器的种类和大小，并考虑业务和操作等方面，每个架构均有各自的优势和劣势，适用不同的需求。二、三种架构介绍下文，将对这些架构进行介绍和对比，进而使读者有一定程度的认知和了解。同时，本文也将对目前新出现的架构作简要介绍。2.1 区域分布式（zone-distribution）区域式布线架构是结构化布线，是TIA-942数据中心标准中所推荐的架构，这种架构的特点是：模块化，灵活，在电缆数量成本、管理性、有源设备利用率之间性价比最佳的选择，适合于中大型数据中心，具有通用布线架构适应不同网络架构。图1所示为区域分布式的架构。图1：区域分布式物理及逻辑架构区域分布式架构分为主要有三种：l 端列头交换(End-of-Row/EoR Switching)：列头柜在每列机柜的两端的方式。l 中间列头交换(Middle-of-Row/MoR Switching)：列头柜在每列机柜的中间位置。l 独立网络机柜或机架（Standalone network cabinets or racks/Network POD)：在区域中设置独立的区域放置布线和网络设备。下面分别介绍如下。2.1.1 EoR（End-of-Row）EoR是最常用的方法。在列头柜中用一个核心/汇聚交换机，例如Cisco 6500/4500系列去支持一个或更多机架。因为网口集中，这种方法通常能有较高的性价比。这种方法同时也是最不需要考虑服务器特性的，因此它提供最大的灵活性能同时支持不同的服务器。在某些情况下，EoR更能提高性能的优势，因为需要交换大量信息的的两台服务器可以放在同一张交换机板卡上，相对于交换机的板卡到板卡，或者是交换机到交换机的交换方式，会比较快。EoR的主要缺点是需要大量的跳线连到交换机。布线的成本会提高，大量的数据线也会降低冷却的通风量。2.1.2 MoR（Middle-of-Row）MoR是跟EoR是一样的，在图2所示，可以看出，区别只是摆放头柜的位置。EoR是把设备头柜分到两边，而MoR是把设备头柜放在中间。一般来说MoR对布线的跳线和管理较EoR好，因为跳线是分向两侧管理的。如图2所示为EoR和MoR架构。图2：EoR和MoR的架构2.1.3 Network PODPOD简单理解就是区域布线，类似于TIA-942的ZDA区域布线区的概念。对于大型的机房，或者区域机房，选择其中的一列或者独立的几个机柜或机架作为区域的配线管理区。如图3所示为POD架构。图3：POD示意3POD布线方式也是目前比较流行的方式。从目前的规划一般810台机柜两边要增加走道，所以单列设置列头柜不一定是最佳的选择，而考虑在几列或者功能区中集中选择一些机柜/机架作为配线区，增加管理维护的便利性。2.2 直连式（direct-connect）直连式即所有的服务器直接连接到主配线区MDA或头柜HAD，中间不经过配线架转接。图4所示为直连分布式的架构。图4：直连式物理及逻辑架构对于小型和中型规模的数据中心，管理的设备量和线缆量都不十分巨大，直连式不失为一个很好的选择。另外，对于SAN网络布线来讲，由于存储设备线缆连接后，一般很少变化，也可以考虑采用直连方式架构。2.3 置顶式ToR（top-of-rack）ToR也是常用的架构，是将1RU高的接入层交换机放在机架顶，而机架上的所有服务器直接连接到交换机。ToR架构通常在当部署密集的服务器环境下，例如集群环境、负载均衡应用、Web搜索引擎或虚拟化应用，这种情况下每个服务器需要多个网络连接，如图5所示为ToR架构。图5：置顶式物理及逻辑架构ToR的优点是可以在单个机柜中实现共享不同服务器的处理器，用体积较少的光缆连到汇聚层，铜缆主要是集中在机架里。缺点是可能没有足够的服务器端口连接到交换机的端口，造成设备的浪费。同时，由于上联光纤较少，一旦将来改变结构或是提升网络设备速度时，会产生问题。另外，在三级或四级数据中心内，交换机是需要左右备份的，不但增加冗余接入层交换机造成成本成倍上涨，同时互联布线也会令到每一个机架都需要个别的管理，跳线添加、移动、变更管理上很复杂，不如EoR可以集中管理的方式简单、方便。三、三种在数据中心网络布线架构对比下面就区域、直连、置定三种方式，进行简单的对比分析，使读者有更进一步的认识。3.1 优势劣势对比三种数据中心网络布线架构的优势劣势对比12，如表1所示。表1：三种数据中心网络布线架构的总体成本对比类型优势劣势直连式 Direct-Connectl 设计、安装、维护简单；l 网络瓶颈最小；l 最佳的交换机端口利用；l 网络设备管理简单；l 缺乏扩展性；l 大量线缆堆积；l 电缆路由桥架空间设计困难；l 电缆管理困难；区域分布式 Zone-Distributionl 最佳的扩展性l 设计规划模块化、灵活l 简单的网络设备管理l 网络延迟和瓶颈小l 相对简单的电缆管理l 介于直连和置顶之间，在线缆成本和网络设备成本之间性价比最佳l 分级维护铜缆/光缆满足了长度和桥架空间的限制l 在EoR/MoR方式中，交换机投资高l 增加网络管理开支置顶式 Top-of-Rackl 最高效的使用电缆；l 是可扩展的解决方案l 简单的电缆管理；l 高效的使用机柜空间；l 服务器机柜模块化l 最高的有源设备成本，每个服务器机柜均需要置顶交换机；l 完成冗余架构需要完全冗余的交换机；l 执行物理连接的移动、添加、变更困难；l 增加网络管理开支；l 低的端口利用率；3.2 成本性价比对比三种数据中心网络布线架构的总体成本对比12，如表2所示。表2：三种数据中心网络布线架构的总体成本对比基建成本直连式 Direct-Connect区域分布式 Zone-Distribution置顶式 Top-of-Rack电缆成本3倍2倍1倍电缆类型OM4多模万兆光缆Cat6A UTP 万兆铜缆OM4多模万兆光缆Cat6A UTP 万兆铜缆OM4多模万兆光缆Cat6A UTP 万兆铜缆CX1 - Twinax铜轴电缆端口/收发器类型SFP+/10GBase-SRRJ45/10GBase-TSFP+/10GBase-SRRJ45/10GBase-TSFP+/10GBase-SRSFP+/10GBase-CRRJ45/10GBase-T有源设备成本1倍2倍3倍电缆和有源设备成本比例电缆 25%有源设备 75%电缆 7%有源设备 93%电缆 5%有源设备 95%运营成本直连式 Direct-Connect区域分布式 Zone-Distribution置顶式 Top-of-Rack有源设备更新率3倍3倍3倍电缆更新率1倍1倍1倍网络维护/管理成本低中高四、特殊架构虚拟化、云计算催生新一代数据中心架构的出现。像刀片服务器、交换存储网络的融合都提出了与之适应的网络布线架构，下面简单作些介绍。4.1 综合交换（Integrated Switching）综合交换也叫刀片式交换，主要是利用刀片服务器的整合能力（如Ethernet网络，存储光纤信道FC，高性能计算InfiniBand）来实现的架构，如图6所示为综合交换架构。图6：综合交换架构这种架构好处是铜缆的数目会减少，目前由于可以支持集成式的刀片服务器的交换机不多，所以设计的灵活性以及可选择范围不大，同时如果实现服务器虚拟化，网络的复杂性将会大大的提高，这对于设计以及维运都将增加复杂度，从而提高成本。4.2 思科UFA（Unified Fabric Architecture）架构FCoE协议是用来将FC SAN存储运行于以太网协议之上，将二者融合。随着FCoE技术的发展，思科公司针对数据中心推出了UFA一体化交换架构。通过思科Nexus结合CNA卡，将LAN和SAN融合在一起。CNA（Converged Network adapters）卡，取代了传统的网卡NIC，存储HBA卡以及高性能接口卡HCAs，如图7示，减少了主机I/O接口卡的种类和数量。图7：思科CNA卡思科UFA架构，从网络布线架构上是属于ToR方式，如图8所示。和传统ToR的不同是接入层（ToR交换机）基于服务器的CNA卡，可以同时支持LAN和SAN两种数据流。CNA卡支持SFP+光收发器，同时可基于铜轴线缆CX1传输，上层不同应用的流量通过虚拟接口在核心交换机传输到各自的运行系统中。融合的好处是显而易见的，网络虚拟化将大大提高网络的利用效率，降低主机I/O接口的复杂性，提高自动化的程度。但同时融合缺点也很明显，从故障排除、安全性、设备升级和运维等角度，LAN和SAN在同一套交换机上是有风险的，尽管这种风险可以通过冗余保障，但是将大大增加成本。图8：思科UFA架构五、结论对于数据中心网络布线，传统常用的布线架构和新提出的应用布线架构是存在争议的。从用户的角度来讲，最适宜自己需求的网络布线架构就是最好的，如果您很了解您数据中心的需求。如果，您数据中心的需求很难把握，则采用标准推荐的通用的架构，其灵活性、扩展性和前瞻性，将会满足您未来一段时间的需求，而不会造成很大困难。参考文献1 Top of Rack: An Analysis of a Cabling Architecture in the Data Center，Matthew Baldassano, Data Center Business Unit CommScope, Inc, June 20102 Direct Connect: A Cabling Architecture for Small and Medium D