数据中心不同形态服务器部署差异探讨-h3c

目前 机架式服务器和刀片服务器已成为数据中心主要的服务器形态 它们各自有什么特点 在网络设计和机房部署等方面存在哪些差异 数据中心不同形态服务器部署差异探讨数据中心不同形态服务器部署差异探讨 文 刘新民 1 1 导言导言 数据中心在逻辑上包括硬件和软件 硬件是指数据中心的基础设施 包括支撑系统和计算 机设备等 软件是指数据中心所安装的程序和提供的信息服务 一个完整的数据中心在其建筑 之中 包括支撑系统 计算机设备和信息服务这三个逻辑部分 支撑系统主要是电力设备 环 境调节设备和监控设备 这些系统是保证上层计算机设备正常 安全运转的必要条件 数据中 心的计算机设备包括服务器 存储设备和网络设备 这些设备运行着上层的信息服务 信息服 务的质量依赖于底层支撑系统和计算机设备的服务器能力 只有综合考虑各种因素 整体统筹 兼顾 才能保证数据中心的良好稳定运行 服务器作为数据中心信息服务的主要载体 同时与存储设备和网络设备相连 是数据中心 的核心组件 当前数据中心的服务器按形态可分为塔式服务器 机架式服务器和刀片式服务器 这三类 从网络设计上看 塔式服务器与机架式服务器的部署模式相似 且受数据中心机房空 间等因素的限制 机架式服务器和刀片服务器已成为数据中心主要的服务器形态 以下针对后 两种形态的服务器做分析探讨 2 2 服务器形态差异服务器形态差异 2 12 1 塔式服务器塔式服务器 塔式服务器的外形与个人 PC 主机相似 与普通 PC 相比 塔式服务器的主板可扩展性强 接口和插槽比普通 PC 多 机箱尺寸比普通 PC 大 塔式服务器成本低 可满足入门级服务器的 需求 但塔式服务器占用的机架空间大 不便于挪动 因此在规模较大的数据中心已很少部署 这种形态的服务器 图 1 塔式服务器 2 22 2 机架式服务器机架式服务器 机架式服务器是一种外观按照统一标准设计 配合机柜使用的服务器 如图 2 所示 由于 采用统一的机架式结构 服务器可以方便的与同一机柜或位于列头柜内的以太网交换机连接 简化了机房的布线和管理 机架式服务器的尺寸有统一的标准 服务器的宽度为 19 英寸 高度以 U 为单位 机架式 服务器的高度在 1U 到 7U 之间 相比塔式服务器 机架式服务器的优点是占用机柜空间小 单位空间可放置更多服务器 便于机房内统一管理 且服务器移动方便 机架式服务器对机房的制冷要求较高 对于风冷方 式的数据中心 在安装服务器时 要求冷空气从服务器机柜前的镂空地板送入机柜 服务器从 前面板将冷空气吸入 冷气流经服务器内部转换成热空气后 从服务器后面板流出 热空气沿 循环通道重新进入制冷装置 图 2 机架式服务器 由于服务器内部空间限制 扩充性受限制 例如 1U 的服务器通常只有 1 到 2 个 PCI 扩充 槽 因此这种服务器多用于服务器数量较多 且机房有比较适宜的制冷装置的大型数据中心 2 32 3 刀片服务器刀片服务器 刀片服务器具有集成化 高密化的特点 其主体结构是一个大型的具有标准机箱尺寸的机 箱 又称为 刀箱 刀箱内部可插上多块 服务器刀片 单元 其中每一块服务器刀片 就是一台独立的服务器 每个服务器刀片可以通过本地硬盘运行自己的操作系统 相互之间没 有关联 多个服务器刀片也可通过集群软件组成一个服务器集群 在集群模式下 所有服务器 刀片通过高速网络环境互联 服务于相同的用户群 除服务器刀片外 刀箱内还可根据需要安 装具有不同功能的 刀片模块 如 网络刀片 存储刀片 管理刀片等 其中网络刀片 又 称为刀片交换机 的功能相当于以太网交换机 刀片交换机通常以 1GE 或 10GE 端口与刀片服 务器连接 并提供 10GE 端口与上行交换机连接 存储刀片可以被视为一个硬盘模块 通过背 板总线或者硬盘接口线向服务器刀片提供存储功能 管理刀片通过服务器刀片上集成的监控管 理芯片进行刀片服务器的集中监控和管理 图 3 刀片服务器 刀片服务器一般应用在大型数据中心或计算密集的领域 如电信 金融行业和互联网数据 中心等 对企业和互联网服务提供商来说 随着业务的发展和对服务器需求的增长 刀片服务 器在节约空间 便于管理 可扩展性方面相对与机架式服务器有显著的优势 但刀片服务器由 于计算密度成倍提高 对单机柜的供电功率以及制冷方式提成更高要求 3 3 网络设计方案差异网络设计方案差异 3 13 1 数据中心服务器网络接入方式概述数据中心服务器网络接入方式概述 图 4 数据中心服务器区分层网络模型 如图 4 所示 在典型的数据中心服务器区分层网络模型中 网络核心层用于连接各服务器 区的汇聚层设备 实现服务器区之间报文的高速转发 汇聚层设备做为服务器的网关 是服务 器区的网络流量汇集点 是部署安全设备和应用优化设备的最佳位置 数据中心接入层为服务 器提供高可用的二层网络接入 并通过 VLAN 划分实现接入服务器的隔离 接入层应根据服务 器数量规划接入交换机的端口数 并考虑未来的扩展能力 接入层应按照服务器物理形态进行 统一规划 相同形态的服务器对于网络接入方式以及机柜布线的要求基本相同 因此将相同形 态的服务器集中摆放 并接入到相同的接入层交换机上可提高服务器机柜利用率和机房的管理 效率 无论对于机架式服务器还是刀片式服务器而言 高可用性与高扩展性都是数据中心网络接 入层网络设计的基本原则 然而 机架式服务器与刀片式服务器在网络可管理性方面却有不同 的要求 在刀片服务器的刀箱中 通常配有管理模块 或管理刀片 通过管理模块提供的 WEB 界面 可以实现对刀箱中的服务器刀片和刀片交换机的统一管理 这种管理统一性虽然简 化了整个系统的管理 但会导致网络管理边界与服务器管理边界的模糊问题 由于数据中心网 络管理员不具备刀片服务器的管理权限 不能实现对刀片交换机的管理 而服务器管理员因为 网络技术能力的限制 又不能很好的完成服务器二层网络接入的相关配置工作 由此易引起服 务器接入的网络故障 笔者曾在某银行数据中心项目的实施过程中遇到过类似问题 在当时条 件下 银行网管人员为保证服务器的二层可扩展性与高可用性 设计中在刀片交换机与数据中 心汇聚交换机间使能生成树协议 但由于服务器管理员在配置刀片交换机时 采用了错误了生 成树协议参数 致使网络中断 由此影响了整个业务系统的上线时间 因此 在规划刀片服务 器接入网络时 明确网络与服务器管理边界 提高网络可管理性 也是一个重要的设计原则 服务器接入层交换机按照是否采用 N 1 虚拟化技术 如 H3C IRF 技术 可分为两大类方案 从 数据中心网络的高可用性 可扩展性以及易管理性出发 不同的服务器形态 机架式 刀片 有不同的推荐组网方案 以下将就两大类方案对于机架式服务器和刀片服务器的适用性进行分 析探讨 3 23 2 未采用虚拟技术的服务器接入方案未采用虚拟技术的服务器接入方案 虚拟化技术的网络拓扑方案有四种 分别为 倒 U 形方案 U 形方案 矩形方案和三角形 方案 为了便于比较各种组网拓扑 这里假设接入交换机 或刀箱内的刀片交换机 采用两个 万兆以太网接口与上行以太网交换机连接 服务器通过双网卡分别接入到两台接入交换机 或 刀片交换机 上 如表 1 所示为各方案的适用性分析 3 2 13 2 1 二层无环二层无环 U U 形组网形组网 图 5 二层无环 U 形组网 方案优点 网络络接入层不存在二层环路 接入层交换机可以不启用生成树协议 因此网络的配置 管理简单 方案缺点 从接入交换机到汇聚交换机缺少二层冗余路径 方案不具备高可用性 服务器的接入 VLAN 不能跨汇聚层 服务器不能实现跨交换机的二层互联 网络的二层 扩展能力有限 服务器网关指向汇聚交换上 VRRP 的 VIP 地址 但 VRRP 心跳报文的传输路径必须经过两 台接入交换机 当两台接入层交换机之间的链路发生中断时 两台汇聚交换机都变为 VRRP 主设备 网络进入三层不稳定状态 机架式服务器适用性分析 网络接入不具备高可用性 且二层扩展能力有限 因此不建议在机架式服务器接入时采 用这种组网 刀片服务器适用性分析 网络接入不具备高可用性 二层扩展能力有限 不建议在刀片服务器接入时采用这种组 网 3 2 23 2 2 二层无环倒二层无环倒 U U 形组网形组网 图 6 二层无环倒 U 形组网 方案优点 网络接入层不存在二层环路 接入交换机不启用生成树协议 网络配置管理简单 服务器的接入 VLAN 可以跨汇聚交换机 因此能实现 VLAN 跨不同的接入层交换机 服务 器可实现跨接入交换机的二层互联 服务器接入扩展性好 接入交换机上行汇聚交换机采用捆绑链路 因此上行链路可靠性高 链路的带宽利用率 高 方案缺点 当汇聚交换机与接入交换机之间的链路中断时 服务器不能感知这种故障 服务器上行 流量仍然发送到出现故障的接入交换机 从而形成了 流量黑洞 机架式服务器适用性分析 由于存在 流量黑洞 的问题 因此不建议在机架式服务器接入时采用这种组网 刀片服务器适用性分析 刀片交换机可通过上行捆绑链路的状态监测机制解决 流量黑洞 问题 刀片交换机在 正常运行状态时 周期性的对上行汇聚层交换机的接口进行状态检查 当发现上行接 口故障时 该刀片交换机将 shutdown 其上所有端口 此时 接入到该刀片交换机上 的服务器将把流量切换到与另一个刀片交换机相连的网卡上 从而避免了 流量黑洞 这种方案配置管理简单 如刀片交换机具备防 流量黑洞 的特性 则适用于刀片交 换机的网络接入 3 2 33 2 3 二层环路矩形组网二层环路矩形组网 图 7 二层环路矩形组网 方案优点 服务器接入 VLAN 可以跨汇聚交换机 能实现 VLAN 跨不同的接入交换机 服务器可实现 跨接入交换机的二层互联 服务器接入扩展性好 接入交换机到汇聚交换机间有冗余链路 网络接入层具备高可用性 方案缺点 正常情况时 两台接入交换机之间的链路被生成树协议阻塞 当某台接入交换机上行链 路故障时 交换机之间的链路变为转发状态 此时 发生故障的交换机一侧的所有服 务器上行流量 将经过另一侧交换机上行到汇聚交换机 该交换机的上行收敛比增加 一倍 导致网络发生拥塞 网络转发性能降低 机架式服务器适用性分析 服务器接入具备高可用性和高可扩展性 当一侧接入交换机发生故障时 另一侧交换机 拥塞加重 网络转发性能降低 因此不建议在机架式服务器接入时采用这种组网 刀片服务器适用性分析 刀片交换机模块需要配置生成树协议 不利于刀片系统的管理维护 且同样存在一侧刀 片交换机故障时 网络转发性能下降的问题 因此不建议在刀片服务器接入时采用这 种组网 3 2 43 2 4 二层环路三角形组网二层环路三角形组网 图 8 二层环路三角形组网 方案优点 服务器接入 VLAN 可以跨汇聚交换机 能实现 VLAN 跨不同的接入交换机 服务器可实现 跨接入交换机的二层互联 服务器接入扩展性好 接入交换机到汇聚交换机有冗余链路 接入网络具备高可用性 且通过 MSTP 可实现上 行流量分担 方案缺点 网络配置管理较复杂 为提高二层网络的高可用性与安全性 在接入交换机与汇聚交换 机上使能 BPDU 保护 环路保护 根保护 等特性 机架式服务器适用性分析 服务器接入网络具备高可用性 高可扩展性 建议在机架式服务器接入时采用这种组网 刀片服务器适用性分析 刀片交换机上的配置复杂 可管理性较差 不建议在刀片服务器接入时采用这种组网 3 2 53 2 5 刀片服务器刀片服务器 pass throughpass through 组网方式分析组网方式分析 刀片服务器内可集成刀片交换机 也可以通过部署 pass through 模块 将服务器的网络 接入延伸到刀箱外的网络上 如图 10 所示 采用了 pass through 模块的刀片服务器在网络接 入层设计上与机架式服务器的关注点相同 重点是保证服务器的高可用接入以及服务器的接入 可扩展性 因此建议采用具备接入高可用性和高可扩展性的 二层环路三角形组网 图 9 刀片服务器 pass through 组网 3 33 3 采用虚拟化技术的服务器接入方案采用虚拟化技术的服务器接入方案 对于接入层而言 传统架构为保证网络高可用性通常采用 MSTP VRRP 这种组网需要在接 入交换机与汇聚交换机间运行 MSTP 协议 配置和管理较复杂 当接入交换机和汇聚交换机都 采用网络虚拟化技术时 则可将每两台接入交换机和两台汇聚交换机分别组合成两台虚拟逻辑 交换机 在逻辑接入交换机与逻辑汇聚交换机间通过捆绑链路连接 如图 10 所示 图 10 采用虚拟化技术的接入方式 方案优点 高可用性网络 虚拟化技术通过成员设备的 N 1 备份 跨设备链路聚合实现了服务器接 入网络高可用性设计 高可扩展性网络 服务器接入 VLAN 可跨汇聚交换机 且不存在二层环路问题 实现了 大二层服务器接入网络 使数据中心服务器接入层具备很强的扩展能力 网络配置管理简单 从逻辑上看 一个堆叠组就是一台设备 因此接入交换机和汇聚交 换机间不存在二层环路 可以避免 MSTP 的配置管理 简化网络设计 服务器适用性分析 具备服务器接入高可用性 高可扩展性 易管理性 建议在机架式服务器以及刀片式服 务器接入时 都采用基于交换机 N 1 虚拟化技术 如 H3C IRF 技术 的组网拓扑 4 4 服务器机柜布线方式的差异服务器机柜布线方式的差异 数据中心机房平面布局通常采用矩形结构 为了保证制冷效果 通常将 10 至 20 个机柜 背靠背并排放置成一行 形成一对机柜组 又称为一个 POD POD 中的机柜都采用前后通风 模式 冷空气从机柜前面板的吸入并从后部排出 由此在机柜背靠背摆放的 POD 中间形成 热通道 相邻的两个 POD 之间形成 冷通道 热通道正对 CRAC 机房空调 热空气沿 热通道流回 CRAC 再开始新一次循环 图 11 数据中心机房平面布局 如图 11 所示 每个 POD 由服务器机柜和网络机柜组成 其中服务器机柜占多数 由于服 务器的形态差异 机架式服务器 刀片服务器 POD 中服务器机柜和网络机柜的布线方式也 不存在差异 4 14 1 机架式服务器的布线方式机架式服务器的布线方式 4 1 14 1 1 交换机交换机 EOREOR EndEnd ofof RowRow 布线方式 布线方式 采用交换机 EOREOR 布线方式时 每个 POD 中的两排机柜的最边端摆放 2 个网络机柜 POD 中 所有的服务器机柜安装配线架 配线架上的铜缆延伸到 POD 最边端网络机柜 网络机柜中安装 接入交换机 机架式服务器安装在服务器机柜中 服务器网卡通过跳线 铜缆 连接机柜中的 配线架 如图 12 所示 图 12 机架式服务器 EOREOR 布线方式 交换机 EOREOR 布线方式特点 交换机 EOREOR 布线方式最为常见 通常在服务器和接入交换机安装以前 服务器机柜到网 络机柜的布线施工已经完成 设备 服务器 交换机 安装和跳线工作都在服务器机 柜内和网络机柜内进行 如果每台机架式服务器的功率为 500W 且每个服务器机柜的电源输出功率按 4KW 或 6KW 计算 则一个 42U 高度的服务器机柜能安装 8 12 台机架式服务器 EOREOR 布线方式的缺点 从服务器机柜到网络机柜的铜缆多 约有 20 40 根铜缆 且距 网络机柜越远的服务器机柜的铜缆 在机房中的布线距离越长 由此导致线缆管理维 护工作量大 灵活性差 交换机 MORMOR Middle of Row 布线是对 EOREOR 布线方式的改进 MORMOR 方式的网络机柜部署 在 POD 的两排机柜的中部 由此可以减少从服务器机柜到网络机柜的线缆距离 简化 线缆管理维护工作 4 1 24 1 2 交换机交换机 TORTOR TopTop ofof RackRack 布线方式 布线方式 交换机 TOR 布线方式是对 EOREOR MORMOR 方式的扩展 采用 TOR 布线时 POD 中每个服务器机柜 的上端部署 1 2 台两台接入交换机 机架式服务器通过跳线接入到机柜内的交换机上 交换机 上行端口通过铜缆或光线接入到 EOREOR MORMOR 的网络机柜中的汇聚交换上 如图 13 所示 图 13 机架式服务器 TOR 布线方式 TOR 布线方式特点 TOR 布线方式简化了服务器机柜与网络机柜间的布线 从每个服务器机柜到 EOREOR MORMOR 的 网络机柜的光纤或铜缆数量较少 4 6 根 机柜中服务器的密度高 对于标准的 19 英寸宽 42U 高的机柜 如果采用交换机 TOR 布线方式 则每个机柜可部署 15 30 台 1U 高度的机架式服务器 具体数量需要考虑 单台服务器的功耗和机柜的电源输出功率 TOR 布线的缺点 每个服务器机柜受电源输出功率限制 可部署的服务器数量有限 由 此导致机柜内交换机的接入端口利用率不足 在几个服务器机柜间共用 1 2 台接入交 换机 可解决交换机端口利用率不足的问题 但这种方式增加了线缆管理工作量 从网络设计考虑 TOR 布线方式的每台接入交换机上的 VLAN 量不会很多 在网络规划 的时候也要尽量避免使一个 VLAN 通过汇聚交换机跨多台接入交换机 因此采用 TOR 布线方式的网络拓扑中 每个 VLAN 的范围不会太大 包含的端口数量不会太多 但 对于 EOREOR 布线方式来说 接入交换机的端口密度高 在网路最初设计时 就可能存在 包含较多端口数的 VLAN TOR 方式的接入交换机数量多 EOREOR 方式的接入交换机数量少 所以 TOR 方式的网络设 备管理维护工作量大 4 24 2 刀片服务器的布线方式刀片服务器的布线方式 集成刀片交换机的刀片服务器在进行机柜安装时 不需要考虑机柜内从服务器到接入交换 机 或配线架的跳线 只需考虑刀片交换机上行端口的配线方式即可 而机架式服务器则需要 分别对每台服务器进行跳线连接 例如 一个 42U 的服务器机柜安装 10 台 1RU 机架式服务器 1 台接入交换机 并采用 TOR 布线方式时 在机柜后面将看到 22 根电源线 服务器和交换机都 配置冗余电源 10 根 KVM 线 至少 30 根双绞线 每台服务器两个业务网卡和一个管理网卡 2 根光纤 交换机上行端口 这还不包括连接外部存储和其他设备的线缆 显的非常凌乱 而对于一台配置了 10 个服务器模块和 2 个交换机模块的刀片服务器来说 则只需 2 根电源线 1 根 KVM 线 4 根光纤 因此刀片服务器在机房布线管理上比机架式服务器具有明显的优势 集成交换机模块的刀片服务器主要采用 EOREOR MORMOR 布线方式 但这种 EOREOR 布线方式与机架式 服务器 TOR 布线方式的特点基本相同 如图 14 所示 服务器在服务器机柜内完成网络接入 从服务器机柜到 EOREOR MORMOR 网络机柜的电缆主要是刀片交换机上行汇聚交换机的光线 而且数量 比较少 但刀片服务器的计算单元的密度比机架式服务器更高 所以对单个机柜的电源输出功 率以及机房制冷环境的要求也更高 图 14 集成刀片交换机的布线方式 采用 pass through 模块的刀片服务器的机柜布线方式可分为 EOREOR MORMOR 和 TOR 两种 如图 15 所示 两种方式的特点与机架式服务器的相应方式相同 此处不再赘述 图 15 刀片服务器 pass through 的布线方式 5 结束语结束语 机架式服务器与刀片式服务器都是数据中心最常部署的服务器形态 按照数据中心网络设 计的高可用性 可扩展性和易管理性要求 如果接入 汇聚交换机未采用虚拟化技术 则机架 式服务器建议采用 二层环路三角形组网 刀片交换机建议采用 二层无环倒 U 形组网 如果接入 汇聚交换机采用了虚拟化技术 则无论对于机架式服务器还是刀片式服务器 全虚 拟化组网都是最优的部署方案 机架式服务器与刀片服务器在机柜布线方式上存在较大的差异 由于刀片服务器内集成了 网络刀片 管理刀片等 从而简化了服务器机柜内的布线方式 因此刀片服务器在机柜布线管 理上比机架式服务器具有明显的优势 但也应该看到 由于刀片服务器的单位计算密度比机架 式服务器成倍提高 所以刀片服务器对单个服务器机柜的电源输出功率以及机房制冷环境也提 出更高的要求 总之 机架式服务器与刀片式服务器各有特点 数据中心用户需要根据自己的网络部署要 求和机房环境要求等因素进行分析选择 推荐产品 推荐产品 H3CH3C BladeS5500BladeS5500 系列刀片交换机系列刀片交换机 智能弹性架构智能弹性架构 Blade5500 系列刀片交换机支持 IRF2 第二代智能弹性架构 技术 使得交换机利用互 联电缆可实现多台设备的扩展 具有即插即用 单 IP 统一管理 同步升级的优点 大 大降低系统扩展的成本 通过专利的路由热备份技术 在整个 IRF 组内实现控制平面和 数据