JS21高性能计算集群方案书V5.doc

IBM BladeCenter JS21 解决方案系列解决方案系列 HPC 刀片集群解决方案刀片集群解决方案 1 前言前言 2 2 方案介绍方案介绍 2 2 1 目标客户 2 2 2 系统结构与配置 3 2 3 优势分析 4 2 3 1 JS21刀片优异的特性 4 2 3 2 刀片中心的特点介绍 9 2 3 3 集群系统管理软件 9 2 3 4 作业管理软件 11 2 3 5 编译开发与并行运行环境 12 2 3 6 集群环境下的存储部署及共享文件系统 13 3 建议配置建议配置 14 1 前言前言 高性能计算多年来一直是科技综合实力竞争的制高点 也在一定程度 上反映了各大公司在系统研发方面的实力 作为行业的技术领先者 IBM 公司在这一领域占主导地位 2004 年 9 月 IBM 蓝色基因 的原型系统 超过了 NEC 的 地球模拟器 成为世界上最快的计算机 而其体积只有 其百分之一 耗电只有其二十八分之一 在 2005 年 11 月最新公布的全球 500 强超级计算机中 219 套来自 IBM 其中 5 套位于前 10 名 49 套位于前 100 名 其每秒钟的运算能力 总和达到了 1214 万亿次 是 500 强所有系统运算能力总和的 52 77 占绝对领先地位 其中 全球前三强超级计算机全部来自 IBM 在 Linux 集群市场中 IBM 也一直处于领先地位 早在上世纪 90 年代 IBM 就开始了集群系统的研究 并成功地将 UNIX 大规模并行机的技术移 植到 IA 架构的服务器上 形成了 IBM Linux 集群的核心技术 目前全球 500 强中的 360 套 Linux 集群中 有 158 套来自 IBM 其中包括目前速度 最快的刀片式 Linux 群集 位于欧洲巴塞罗那超级计算中心的 MareNostrum 94TFlops 采用 IBM JS21 刀片 在目前 500 强超级计算 机中排名第五 在国内 IBM 的高性能计算集群客户遍布生命科学 环境科学 物理 学 化学 数学等自然学科领域 以及高等教育 石油勘探 航空航天 汽车制造等各行各业 其中包括目前国内运算能力最强的中国国家气象局 UNIX 集群 21 7TFlops 以及目前国内高校中运算能力最强的南开大 学 南开之星 集群的系统 基于 JS20 刀片 4 7TFlops 目前 中国高 性能计算机前十强中 IBM 占据 4 席 JS21 集群系统 借助 PowerPC RISC 超标量运算处理器强大的计算性 能 在各种行业的深度计算的应用中具有卓越的性能优势 尤其在生物学 领域的一些主流应用软件中 如 Smith Waterman 的性能超出其他主流厂 商 CPU 15 20 倍 也就是说一台 4 路 JS21 其计算性能就相当于 60 路 SMP 机器的性能 2 方案介绍方案介绍 本方案介绍了采用 JS21 刀片服务器的高性能计算集群的系统架构 优 势分析与软硬件标准配置 2 1 目标客户目标客户 由于 JS21 服务器性能强大的 AltiVec 处理器和系统架构设计 在某些 领域中具有大大领先性能优势 如高性能计算 HPC 气象预报 生命科 学 计算化学 地震资料处理 信号与数字影像处理等 对于自主开发的 应用程序或其他平台的开源的应用软件 可以简单的通过编译器的自动优 化功能 无需改动代码 重新编译即可利用到 AltiVec 的强大功能 HPC 的目标客户包括 学校 研究所等科学研究机构 气象 石油部 门 医学成像 三维图形运算等各个计算领域 JS21 同时支持 Linux 和 AIX 两种操作系统 同时两种计算平台也给您 带来的丰富的应用支持 AIX 稳定高效的 Unix 平台 具有丰富的 HPC 应用软件资源和成熟的 集群管理系统 Linux 的集群管理的软件 应用开发套件都完全免费 并 有大量的开源 HPC 应用支持 采用哪种方案取决于客户的应用需求 2 2 系统结构与配置系统结构与配置 随着用户对系统总体运作成本和系统管理维护成本的关注 刀片式服 务器已经成为高性能计算集群的主流 在全球超级 500 强和国内 100 强超 级计算机中 许多新增的集群系统都采用了刀片架构 由于采用刀片服务 器可以极大减少所需外部线缆的数量 可以大大降低由于线缆连接故障带 来的隐患 提高系统可靠性 刀片式 HPC 集群通常由以下几个部分组成 管理节点管理节点 管理节点是集群的控制中心 作用包括整个集群的软硬件管理 计 算节点的快速远程部署 提供用户登陆接口 任务调度与提交 管理节点通常采 用 P520 服务器 可以部署 2 台实现管理节点的冗余 计算节点计算节点 集群中用来计算的资源 在我们的方案中 每片 JS21 就是一个计 算节点 计算节点的系统安装 软硬件维护 电源管理等都可以通过管理节点来 完成 真正实现快速简易部署 存储节点存储节点 集群中可以采用专门的服务器连接存储 然后通过各种网络文件系 统协议 如 GPFS NFS 给计算节点提供网络文件系统服务 存储节点可以根 据集群的大小部署多个 实现负载均衡或冗余 管理网络管理网络 管理节点与计算节点中专门用于软硬件管理通讯的网络 通常为以 太网络 计算网络计算网络 集群中专为计算节点间通信的网络 根据不同计算类型对网络延迟 带宽的要求不同 有高速以太网 Infiniband 网络 Myrinet 网络等各种高速交换 网络可供选择 参看如下方案拓扑图 管理节点 外部网络 外部网络 WAN广域网连接 管理以太网络 HPC计算网络 存储San网络 存储节点 计 算 节 点 2 3 优势分析优势分析 基于 JS21 的高性能集群 IBM 有非常成熟的解决方案 不仅仅是硬件 架构 也包括完善的并行软件环境 IBM 能为您提供了更快 更稳定 更 专业的高性能计算服务 2 3 1 JS21 刀片优异的特性刀片优异的特性 概括来说 JS21 刀片优势在于其出色的浮点运算能力 优秀的硬件品 质 以及丰富的软硬件支持 2 3 1 1 JS21 高性能的小深蓝宝刀高性能的小深蓝宝刀 JS21 刀片与 IBM 超级计算系统深蓝一样 采用了 IBM PowerPC RISC 处理器 PowerPC 其中的 PC 既 Performance Computing 是基 于 POWER 专为计算而设计的 CPU JS21 刀片采用了 IBM PowerPC970 RISC 处理器 支持 IBM AIX 5L 和 Linux 两种操作系统 可以对 64 位 32 位高性能计算应用提供良好支持 根据 Linpack 高性能计算机基准程序测 试 单台采用两颗双核 2 5GHz 处理器的 JS21 服务器的实测浮点运算能力 可以达到 33 7 GFlops 远远领先于其它 4 路系统 指标来源 lib org benchmark performance pdf 在单颗 核 CPU 的浮点计算能力上 JS21 也表现优异 指标来源 http www spec org cpu2000 results IBM PowerPC970 芯片上具有独特向量处理单元 支持多达 162 条向 量指令 能够在一条指令周期内对多条数据进行操作 可以明显提高某些 应用的性能 如下图所示 如果应用程序针对 VMX 或称为 AltiVec 进行优化 则可以成倍地提 高计算效率 以在 HMMER 2 3 2 一种通过隐马尔可夫链模型进行生物序 列分析的软件 为例 如果采用了优化版本 计算时间可以缩短 3 到 4 倍 Hmmsearch Test Case Number of Threads AltiVec Enabled Version Standard Version Improvement 11796603 69x Small Case 21093333 05x 1137161074 46x Large Case 281328493 50X 由于 JS21 服务器因其强大的处理器和系统架构设计 在某些领域中可 以获得大大领先于同类产品的性能 2 3 1 2 JS21 更快更稳定 更快更稳定 有人认为高性能计算 只要有钱 网上有现成的方案 随时可以搭一个 万亿次的系统 言下之意 集群并没有多高的技术难度 高性能计算就是 一个钱的问题 但问题真是这样简单 难道将一堆机器堆叠起来就是一 台超级计算机 构建高性能计算系统是对于操作系统 编译器 互联设备驱动 作业管 理调度以及文件系统管理等等涉及各个系统层面的软硬件的整合 对商业 运行的集群系统其可靠性和可用性更被放在第一重要的位置 IBM 针对 JS21 刀片集群有非常成熟的高性能解决方案 集成了众多 IBM 与非 IBM 的先进的软硬件技术 及其特有的技术优势与强大的服务支 持 采用刀片集群的高性能计算系统 管理节点可以采用双机冗余的高可 用方案 同时根据集群架构的特点 当某个计算节点发生故障时 作业调 度系统会自动的将任务分配到其他节点上 从而保证了计算节点的高可用 性 另外 JS21 其小型机的硬件架构体系 IBM POWER 家族的一贯的优 秀品质 值得您的信赖 2 3 1 3 JS21 计算粒度和密度专为计算粒度和密度专为 HPC 而设计 而设计 每片刀片支持多达 4 颗 POWER CPU 一个 9U 高的刀片中心支持多 达 56 个 CPU 既能满足一些深度计算的运算需求 又具有很好的灵活 性 按需的动态调整资源 使资源利用更高效 管理更方便 相对于 SMP 类型的 HPC 解决方案 其每个节点一般十几个到上百个 CPU 其价格昂贵 客户不可能购置很多的节点 一般 1 2 个 当多用 户或多部门需要用到计算资源的时候 很难做到物理的划分资源 任务 基本都是放在一个队列里串行的执行 一般适用于固定的生产应用 扩展 性较差 对称多处理器架构中 SMP 当 CPU 的个数超过某一阈值 其系统 的可扩展性就变的极差 主要瓶颈在于随着 CPU 个数的增加 CPU 访问内 存的带宽并不能有效增长 同时 CPU 之间抢占内存与内存同步这两大的 SMP 架构的弊病就将会越发突出 而且扩容升级成本很高 部署升级较 复杂 相对其他类型的 HPC 解决方案 刀片集群有以下 3 个优势 高可扩展性高可扩展性 集群系统可以按需的增加节点来提高计算性能 高可用性高可用性 集群中的一个节点失效 它的任务可以传递给其他节点 可以有效 防止单点失效 高性能高性能 JS21 单片 4 核其较高的 CPU 密度再加上各种高性能网络的支持 既 能保证其良好的并行计算效率 同时又能用较精确的粒度来划分资源 多节点的 负载平衡集群允许系统同时接入更多的用户 2 3 1 4 丰富高效的交换网络丰富高效的交换网络 在高性能系统的搭建过程中 选择一个正确高效的数据交换网络是能否 达到甚至超过您对集群性能预期的关键 IBM BladeCenter JS21 所支持的 外部连接极为丰富 除了通常的千兆以及万兆以太网和 SAN 连接以外 JS21 还支持适用于高性能计算的 Infiniband 网络 Myrinet 网络 Myrinet 是在 HPC 应用较为成熟的计算网络 采用基于普通千兆以太 网的网络 通过 TCP IP 通道来传输信息 但缺点是需要占用大量 CPU 资 源来处理网络通信 导致整体处理效率的下降 而 Myrinet 网络采用卸载 引擎 offload engine 技术降低了 CPU 资源在处理通信方面的消耗 并 且拥有千兆以太网两倍的带宽 Infiniband 是一种新型的总线结构 它不仅提供了可扩展的高 IO 带宽 同时 Infiniband 技术还支持节点间内存的直接访问 RDMA Remote Direct Memory Access 将数据交换的延迟由毫秒降低到微秒级 参看下图我们 会发现 借助 Infiniband 总线级的交换技术 刀片集群已变成类内存共享式 的超级计算系统 目前 JS21 已经能够支持 4X Infiniband 连接 到达 10Gbps 的传输率 采用 Infiniband 网络的计算集群 Infiniband 的四大优点 基于标准的协议 每秒 10 GB 性能 远程直 接内存存取 Remote Direct Memory Access 简称 RDMA 和传输卸载 transport offload 标准 成立于 1999 年的 Infiniband 贸易协会 由 225 家公司组成 它 们共同设计了该开放标准 主要掌控该协会的成员包括 IBM Dell Agilent HP InfiniSwitch Intel Mellanox Network Appliance 和 Sun Microsystems 公司 其他的 100 多家成员则协助开 发和推广宣传该标准 速度 Infiniband 每秒 10gigabytes 的性能明显超过现有的 Fibre Channel 的每秒 4 gigabits 也超过以太网的每秒 1 gigabit 的性能 内存 支持 Infiniband 的服务器使用主机通道适配器 Host Channel Adapter 简称 HCA 把协议转换到服务器内部的 PCI X 或者 PCI Xpress 总线 HCA 具有 RDMA 功能 有时也称之为内核旁路 Kernel Bypass RDMA 对于集群来说很适合 因为它可以通过一个虚拟的寻 址方案 让服务器知道和使用其他服务器的部分内存 无需涉及操作系 统的内核 传输卸载 Transport Offload RDMA 能够帮助传输卸载 后者把数 据包路由从 OS 转到芯片级 节省了处理器的处理负担 要是在 OS 中 处理 10 Gbps 的传输速度的数据 就需要 80 GHz 处理器 2 3 2 刀片中心的特点介绍刀片中心的特点介绍 IBM 提供的 Blade Center H 是一个 9U 的 19 英寸机架装置 可以为刀 片服务器提供冗余电源 冗余风扇 管理单元以及连接背板 并可安装网 络交换机模块等 每一 Blade Center 可以安装 14 个刀片服务器 不同 CPU 的刀片服务器可以混插 并支持刀片服务器的热插拔 采用刀片服务 器 单一机柜最多可容纳 84 个刀片服务器 共 168 个处理器 目前 IBM 的刀片支持 Intel Xeon Opteron 和 PowerPC 等不同 CPU 类型 以及 AIX Linux Windows 等不同操作系统 由于刀片中心包含了交换机模块 和独立的管理模块 可以极大地减少所需线缆和外部交换机 和常用的 1U 机架服务器相比 刀片服务器具有以下优势 大大降低运行管理费用 高处理能力密度 节省宝贵空间和占地费用 低耗电降低电费 低散热减少空调费用 可靠性设计更加完善 减少停机时间 冗余电源 风扇 光路诊断 电缆连接点大大减少冗余交换模块和电缆连接 集成的电源控制 KVM 模块 2 3 3 集群系统管理软件集群系统管理软件 2 3 3 1 CSM Cluster System Management IBM 提供的跨平台集群系统管理软件 CSM 允许通过一个单点控制和 管理整个集群系统 它在简化集群管理的同时 还使集群能够方便地实现 快速扩展 从而提高了系统管理员的工作效率 通过为集群提供一个单控制点 管理软件可以极大地简化系统总体管 理 从而为服务器整合解决方案提供了一种经济高效的方式 该软件可以 提供预警分析报告 帮助用户防患于未然 最大限度地保证系统的生产运 行时间 同时 即使在硬件出现故障时 服务器也能提供快捷 方便的诊 断工具 帮助快速查处问题所在 及时解决问题 具体来讲 IBM 的集群系统管理软件可以实现如下的功能 实现系统的并行安装和配置 管理和同步节点的配置文件 提供系统远程运行命令操作 允许以命令或脚本方式运行在集群中的 所有节点上 支持用户帐户统一管理 提供远程硬件控制 如 节点的远程开机 关机和重新启动 动态监视系统资源使用情况 通过光通路诊断功能提供方便的软硬件错误诊断及错误自动记录 管 理员能根据其提供的信息做出快速反应 提供管理节点和节点组信息 进 行组管理监视系统的硬件状况 如 CPU 风扇 电源 内存 硬盘 稳压 模块等的运行情况 CSM 同时支持运行 Linux 的 IBM xSeries pSeries 服务器和运行 AIX 的 IBM pSeries 服务器 为系统今后扩展打下了良好基础 为了提供给用户更多的选择 IBM 还提供了 Linux xCAT 群集管理软 件以满足不同环境的需求 目前 IBM 将 CSM 和 xCAT 作为 IBM 学者计划的一个部分 对于参 加了 IBM 学者计划的学校 可以自由得使用计划中的 1200 多种软件用于 科学研究而非商业目的 这 1200 多种软件中就包括了集群系统的管理软件 CSM Cluster System Management 2 3 3 2 xCAT http www xcat org XCAT 是用于 IBM System Cluster 1350 上的开源的系统管理软件 它 由 IBM 资深工程师 Egan Ford 负责维护开发 它基本上是由 shell 脚本写 成 相当简捷及易于维护 它实现了集群系统管理绝大部分的内容 是非 常出色的免费的集群管理软件 下表比较了以上两种主要集群系统管理软件 项目CSMxCAT 支持的集群 系统IBM eServer Cluster 1350IBM eServer Cluster 1350 支持的操作 系统 Redhat Linux SuSE Linux AIX Redhat Linux SuSE Linux 结点可以采用 Imaging 和 Cloning 安装其他操作系统 资源管理 提供统一的 可扩展的 全面 的资源管理 但是由于强大而 使用起来很复杂 基本没有 事件服务 提供事件订阅发布机制 并预 先定义了很多系统事件和对事 件的响应 将来会于 Mon 集成以完成事件 服务 配置管理支持无 监控和诊断 支持分布式 Shell dsh 支持 SNMP 支持并发 Shell psh 并发 ping pping 硬件控制 远程电源管理 rpower 远程控 制台 rconsole 远程电源管理 rpower 远程控 制台 rcon wcon 系统安装 支持 KickStart 和 SIS 支持 PXE 支持 KickStart Imaging 和 Cloning 支持 PXE 和 bootp 域管理全面基本没有 集成性 底层资源管理和事件服务提供 编程接口 集成很方便 上层 可以通过命令调用集成 自动安装 PBS Maui Myrinet 和 MPI 将来会支持 SgridEngine Scheduler 易用性 提供强大命令行工具和简单的 GUI 工具 命令行工具 将来会和 Ganglia 集成提供一定的 GUI 2 3 4 作业管理软件作业管理软件 有很多种选择去管理集群系统中的资源 其中 PBS 资源管理器和 Maui 作业调度器最适合集群系统 2 3 4 1 PBS 资源管理器资源管理器 PBS Portable Batch System 是由 NASA 开发的灵活的批处理系统 它被用于集群系统 超级计算机和大规模并行系统 PBS 主要有如下特征 易用性 为所有的资源提供统一的接口 易于配置以满足不同系统的需 求 灵活的作业调度器允许不同系统采用自己的调度策略 移植性 符合 POSIX 1003 2 标准 可以用于 shell 和批处理等各种 环境 适配性 可以适配与各种管理策略 并提供可扩展的认证和安全模型 支持广域网上的负载的动态分发和建立在多个物理位置不同的实体上的 虚拟组织 灵活性 支持交互和批处理作业 OpenPBS http www opengpbs org 是 PBS 的 Open Source 的实现 商业版本 的 PBS 可以参照 2 3 4 2 Maui 作业调度器作业调度器 Maui 是一个高级的作业调度器 它采用积极的调度策略优化资源的利 用和减少作业的响应时间 Maui 的资源和负载管理允许高级的参数配置 作业优先级 Job Priority 调度和分配 Scheduling and Allocation 公平性 和公平共享 Fairness and Fairshare 和预留策略 Reservation Policy Maui 的 QoS 机制允许资源和服务的直接传递 策略解除 Policy Exemption 和指定特征的受限访问 Maui 采用高级的资源预留架构可以保 证精确控制资源何时 何地 被谁 怎样使用 Maui 的预留架构完全支持 非入侵式的元调度 Maui 的设计得益于世界最大的高性能计算中心的经验 Maui 本身也提 供测试工具和模拟器用于估计和调节系统性能 Maui 需要资源管理器与其配合使用 我们可以把 Maui 想象为 PBS 中 的一个插入部件 更多 Maui 的信息可以访问 http www supercluster org 2 3 5 编译开发编译开发与并行运行环境与并行运行环境 对于 Power 平台 IBM 提供了专门针对 POWER 结构进行优化的高性 能数学运算库 ESSL 和数学函数库 MASS 将更加充分地利用所有浮点运 算单元和寄存器 更高效率地利用多层高速缓存结构 ESSL 兼容业界标准 Basic Linear Algebra Subprograms BLAS Scalable Linear Algebra Package ScaLAPACK 和 Parallel Basic Linear Algebra Subprograms PBLAS MASS 提高了数学函数的计算速度 在编译器方 面 用户可以采用 Linux 发布版本中提供的 Gnu 编译器 或者是来自 IBM 的 XL Fortran XL C 编译器 并行环境方面 可以选用标准的 MPICH 软件包或者 AIX 的 PE 环境 2 3 6 集群环境下的存储部署及共享文件系统集群环境下的存储部署及共享文件系统 在高性能计算环境中 往往有大量的数据要交换与保存 常常使用的 是基于 SAN 的存储方式 当然也有基于 NAS 的存储方式 在方案中我们推荐 I O 节点连接 SAN 的存储方式 采用 I O 节点是一 种比较简单和直接的存储方式 这种方式通常采用 2 台 System p5 服务器 作为 I O 节点 大容量磁盘阵列和 I O 节点连接 并且由 I O 节点管理 通 过共享文件系统 PVFS 或者 GPFS 等方式 将存储资源共享给集群系统 为了提高 I O 性能和可靠性 也可以增加若干台服务器 并使用 GPFS 文 件系统构成更高效的 HPC I O 解决方案 SAN 交换机 GPFS server JS21计算节 点 磁盘阵 列 比之其它的共享文件系统 IBM 的高性能并行文件系统 GPFS 的特点 如下 跨节点共享文件系统 高性能 访问单个文件带宽超过 2GB s I O 平衡调度能够改善吞吐性 能 稳定性 日志型文件系统 在每个节点上创建日志文件 便于文件系统 的恢复 灵活性 文件系统在 mounted 状态时 可以增加或减少磁盘 动态增 加或减少节点 动态配置文件系统 GPFS 文件系统与其他常见的并行文件系统的对比 NFSDFSGFSPVFSGPFS 可预测性 Scalability NYYYY 并行性 Parallelism NNNYY 跨平台 Cross platform YYNYY 安全性 Security NYNNY 故障恢复 Failure Recovery NY NY 位锁功能 Byte rang locking YYYYY 3 建议配置建议配置 针对基本的 HPC 的应用环境 IBM 提供的建议配置如下 2 台 P520 做为管理和存储节点 1 个 BladeCenter H 刀片中心 满配 14 个 2C4G JS21 刀片服务器 IBM BladeCenter JS21 刀片服务器刀片服务器 HPC 集群集群 名称及产品编号名称及产品编号描述描述数量数量 刀片中心刀片中心BladeCenter H1 8852 4XC