Mellanox-4036-QDR交换机白皮书

Mellanox Technologies 1 of 11 MellanoxMellanox GD4036GD4036 高性能高性能 QDRQDR InfiniBandInfiniBand 交换机交换机 Mellanox 公司是全球网格骨干解决方案的领导者 致力于为下一代数据中心网络化 计算提供最为全面的解决方案 Mellanox 公司的产品涵盖了从服务器到网络交换到存储 互联的各个领域 凭借先进的架构设计以及严谨的质量控制 Mellanox 公司的软硬件产 品在全球用户市场获得了广泛的好评 通过 IBM HP SGI NEC SUN 等合作伙伴建立了 OEM 合作关系 Mellanox 公司的产品以及解决方案正在被部署在各行各业 作为业高性能 InfiniBand 交换解决方案 Mellanox GD4036 为高性能计算集群和网格 提供了水平空前的性能和扩展性 GD4036 交换机能使高性能应用运行在分布式的服务器 存储和网络资源上 Mellanox GD4036 对单个机箱中的 36 个节点精心设计并提供了 QDR 规格的 40Gb s 通讯带宽 多台 GD4036 或者与 Mellanox 其他产品配合 我们可以搭建更 大规模的集群运算系统 可配置的节点数量范围从十几个到几千个 内部无阻塞的交换设 计最大限度的为集群运算系统提供了可靠高效的通讯环境 Mellanox Technologies 2 of 11 一 一 MellanoxMellanox GD4036GD4036 模块介绍模块介绍 Mellanox GD4036 主要由主机箱 sPSU 电源模块以及相应的系统散热模块构成 整机 采用模块化设计 无线缆接插件紧密连接结构 大大提高了设备的可靠性 同时方便了系 统安装以及以后的维护工作 GD4036 机箱及相关部件机箱及相关部件 Mellanox GD4036 机箱采用工业标准设计完全符合 19 英寸机柜的安装 支持网络机 柜和服务器机柜安装使用 高度为 1U 在一个标准 42U 机柜中可以轻松部署多台 Mellanox GD4036 Mellanox GD4036 提供了机架导轨 更方便机箱的机柜安装 1 对外端口对外端口 Mellanox GD4036 机箱提供了 36 个 QDR 40Gb s 端口 总计可以提供 2 88Tb s 吞吐量 Mellanox Technologies 3 of 11 2 管理模块管理模块 Mellanox GD4036 内置了子网管理器 无须在服务器上安装子网管理器软件 管理模 块提供了标准的 DB9 串口以及以太网连接接口提供远程管理 同时还提供了一个标准的 USB 接口用于软件及微码的升级 GD4036 除了标准的 36 端口交换芯片外 还设计有由一个低功耗的 CPU 以及相应的缓 存组成的板载监控系统 通过搭载相应的固件 可以实时监控电源模块 风扇散热工作状 况以及系统工作温度等详细信息 对于交换机端口可以实现启用 禁用以及速率调整等功 能 3 风扇模块风扇模块 Mellanox GD4036 机箱标准配置了一个散热模块 内部包含两个冗余风扇 支持热 插拔更换维护 提高了高可用性和可维护性 Mellanox Technologies 4 of 11 4 电源模块电源模块 随机箱配置 2 个最大功率为 350Watt 的电源模块 确保系统能够实现 N 1 N N 电源 供电 每个电源模块提供对机箱内所有模块的供电 用户不必担心出现竞争友商产品中的 分区供电故障问题 所有电源模块均位于机箱两侧支持热插拔更换 并且与外部线缆连接 模块不在同侧 这样的设计充分考虑了线缆布线对未来电源系统维护带来的挑战 大大方 便系统维护 二 二 MellanoxMellanox GD4036GD4036 可靠性可靠性 Mellanox GD4036 全部采用模块化设计 部件连接均采用先进可靠的连接模块来实现 从根本上保证了系统内部通讯链路的可靠性 在管理方面 Mellanox GD4036 内置子网管理器 集成 Device Manager 可实现设备 硬件监控功能 完全支持 Unified Fabric Manager UFM 软件管理 Mellanox Technologies 5 of 11 在系统供电方面 Mellanox GD4036 支持 N 1 以及 N N 的冗余供电配置 所有电源模 块均提供对整个机箱供电 平均负担整机负载 电源模块支持热插拔更换维护 确保整个 系统不间断运行 Mellanox GD4036 提供了一个散热模块 散热模块具备两个散热风扇 两路散热风扇 互为备份 同时 先进的机箱模块设计使得系统散热效率最大化 Mellanox GD4036 通过了国际 FCC UL CB VCCI 等多项认证 在产品设计 运行可 靠性 电磁稳定性等多方面获得权威机构的认可 三 三 MellanoxMellanox GD4036GD4036 性能性能 Mellanox GD4036 采用全互连无阻塞架构 总计提供 2 88Tbps 的吞吐率 同一个内 部交换模块的两个端口之间的延迟小于 100 纳秒 四 四 MellanoxMellanox GD4036GD4036 管理管理 Mellanox GD4036 提供了命令行管理方式以及先进的 UFM 管理软件 借助 Mellanox UFM 管理软件 InfiniBand 网络不再是个神秘的黑盒子 整个网络的监控与管理将变得透 明化 系统化 Mellanox Technologies 6 of 11 1 Mellanox UFM 核心特点核心特点 以应用软件为中心的网络管理 无限可扩展性提供对应用软件 数据库以及存储系统的无缝支持 直观的展现网络交通以及设备运行状况 确保用户清晰并深度掌握网络工作 先进的网络阻塞状况发现与分析优化处理功能 基于应用软件工作流以及网络拓扑结构的通讯路由优化功能 可设定与调节的故障预警机制 使用户对网络通讯状况了如指掌 提供网络分区以及多服务等级的分区功能 方便用户设定与调整 提供在一个共享的网络中实现多个基于应用软件的独立通讯区域设定 集中化的InfiniBand网络设备管理使得大型网络中设备管理更为便捷 Mellanox Technologies 7 of 11 安全可靠的HA架构设计确保UFM管理系统的高可用性 提供API接口 方便用户将UFM管理纳入现有的综合管理系统中 2 Mellanox UFM 网络状况发现与控制网络状况发现与控制 Mellanox UFM 集成了先进的网络监控引擎 对 InfiniBand 网络交换机以及连接到 InfiniBand 网络的主机提供实时的监控 Mellanox UFM 提供了一个可自行设定的公告牌界面 可以提供网络健康状况以及 主机 CPU 内存 磁盘等资源的使用状况 通过公告牌界面 我们可以方便的看到服务器 中网络通讯带宽开销最大的 Top10 数量可以自行设定 网络中阻塞最多的 Top10 网 络中故障报警的实时列表 网络中阻塞问题的热点出现在哪里等等 Mellanox Technologies 8 of 11 3 网络拓扑结构自动发现 网络瓶颈实时显示网络拓扑结构自动发现 网络瓶颈实时显示 Mellanox UFM 能够自动监测网络拓扑结构并自动绘制出相应的拓扑结构图 同时 通过实时的通讯链路监控 Mellanox UFM 能够自动发现网路拥塞的热点区域并通过图表 方式显示给用户 此功能可以帮助用户精确的定位网络通讯的阻塞状况 为下一步性能优 化提供参考数据 4 网络分区优化与路由通讯优化网络分区优化与路由通讯优化 Mellanox UFM 提供先进的网络通讯优化功能 针对不同需求的计算群组 低延迟 高带宽等等 可以创建相应的逻辑计算机资源组 在同一个组内的计算节点之间通讯会自 动根据所设定的网络需求类型进行优化 确保网络通讯能够分层进行 大大提高网络通讯 效率 Mellanox Technologies 9 of 11 同时 Mellanox UFM 还提供了独有的 Traffic Optimized Routing TOR 路由算法 经过优化后 网络中的阻塞热点会自动被均衡再分配 大大降低网络带宽资源争抢所造成 的整体计算效率下降的问题 Mellanox Technologies 10 of 11 5 全网络通讯日志收集与保存全网络通讯日志收集与保存 Mellanox UFM 会自动收集并保存整个网络 包括交换机端 计算节点 I O 节点端 的通讯日志 为系统通讯状况分析以及故障排查提供强有力的资源支持 Mellanox Technologies 11 of 11 6 Mellanox UFM 支持的支持的 InfiniBand 网络设备以及主机平台网络设备以及主机平台 Mellanox UFM 支持的硬件交换机平台 Mellanox GD2004 2012 系列 Mellanox Vantage 系列 Mellanox GD4000 系列 Mellanox IS5000 系列 Mellanox UFM 支持的主机平台 Redhat 5 1 5 2 5 3 5 4 5 5 5 6 6 0 Centos 5 1 5 2 5 3 5 4 5 5 5 6 6 0 Windows 2003