高性能计算平台建设方案

页 0 高性能计算平台建设方案 展理论的重要工具，另一方面，它是在理论的指导下发展实用技术，直接为经济发展服务；计算科学的发展也有相当悠久的历史，只是在计算机这一强大的计算工具问世之前，计算只能利用人类的大脑和简单的工具，计算应用于科学研究有天然的局限性，限制了它作用的发挥；随着计算机技术的发展，使用科学计算这一先进的技术手段不断普及，逐渐走向成熟。科学计算可以在很大程度上代替实验科学，并能在很多情况下，完成实验科学所无法完成的研究工作。科学计算也直接服务于实用科技，并为理论的发展提供依据和机会。在许多情况下，或者理论模型过于复杂甚至尚未建立，或者实验费用过于昂贵甚至不允许进行，此时计算模拟就成为求解问题的唯一或主要手段了。 目前，高性能计算已广泛应用于国民经济各领域，发挥着不可替代的重要作用： a) 基础学科中深入的知识发现，问题规模的扩大和求解精度的增加需要更高性能的计算资源。例如，计算立体力学、计算材料学、计算电磁学。 b) 多学科综合设计领域中大量多部门协同计算需要构建高性能的综合平台。例如，汽车设计、船舶设计。 页 1 c) 基于仿真的工程科学结合传统工程领域的知识技术与高性能计算，提供经济高效地设 计与实践方法。例如，基于仿真的医学实践、数字城市模拟、核电、油田仿真工具、新材料开发、碰撞仿真技术、数字风洞。 d) 高性能计算提升众多行业服务、决策的时效性，提高经济效益。例如，实时天气预报、城市交通控制、视频点播服务、动漫设计、网络游戏、基于 能电子商务。 e) 数据密集型应用需要高性能数据处理，以应对数据爆炸式增长带来的难题。例如，高能物理实验数据处理、遥感数据处理、商业智能、生物信息学、 融业分析抵押借贷、移动电话流量分析。 设内容 高性能计算平台是面向全校 提供高速计算服务的公共计算平台，主要运行科研计算任务，并且能够根据应用任务对硬件资源的不同需求，动态分配和调整平台资源，管理计算作业。用户通过校园网或 取计算结果，并能够根据权限调整，实现权限控制，硬件细节对用户透明。用户界面实现图形化交互窗口和 平台的主要硬件设备有：管理节点、计算节点、存储 速存储、千兆以太网交换机；软件方面有： 64位 行开发环境、并行文件系统、作业调度管理系统、硬件集群管理系统等，利 用高速过并行计算支撑软件和作业调度系统使它们协同工作。 平台支持同时运行 支持 C（ C+）、 0等语言的编译和运行环境，以保证学院自编应用程序的计算求解需求。 页 2 计原则 高性能计算平台应具有处理大规模的复杂运算，尤其是浮点运算的能力。它将为全校提供优化设计、分析、验证的手段，最终实现提高科研 质量、缩短科研周期、降低科研成本。因此，方案设计以用户现场测试结果为基础，根据用户对未来应用模式及业务量需求预测为前提，强调高性能以及可行、合理和低风险。 架构设计和系统选型遵循以下原则： 先进性 本系统方案所采用的技术既要符合业界的发展方向，又要在未来几年内仍具有很高的技术先进性，保持在同类系统中的领先地位。这样有利于提高整个系统的计算与处理能力，保证系统的使用周期。 有限投资获取最大计算性能 在有限的投资前提下，高性能计算平台应具有优秀的处理能力，它不仅具有符合要求的峰值性能 (更重要的是应具有稳定的应用性能（ 各种复杂的研究课题在本系统中能够得到准确、快速的计算结果。 可扩展性 随着对计算机系统性能的要求不断提高，高性能计算平台应具有较强的扩展能力，可以方便地实现节点增加、系统扩充和升级，以有效保护前期投入。建议采用 第三方集群管理和作业调度专业软件，集成安装与硬件设备无关，计算节点的扩展不受硬件品牌限制。 开放性和兼容性 系统应符合公认的工业标准，包括体系结构，硬件， I/O, 网络，操作系统，开发环境和开发工具等。便于和其他 平台上的系统互操作。 应用开发软件丰富 本系统的平台上应具有丰富的软件资源，能够提供研究课题的解决方案和相应的软件系统。例如高性能计算方面的开发环境和应用开发软件， 业页 3 平台软件商 , 不仅提供处理节点间的协调和通信的中间件，使整个系统节点能够真正实现合作，负载均衡，还能针对不同应用需求，提供一系列并行计算应用。 性价比优越 本系统在性价比方面在同类系统中应具有明显的优势，能满足用户应用的同时，充分考虑后期运维费用，尽量采用绿色节能型设备，降低运维功耗，比如采用刀片式服务器。 管理简单，用户易用 尽量减少数据中心的设备管理难度，简化架构，底层硬件对用户透明，本着不改变设计师原有使用原则的基础上选择合适的软件架构，突破集中式资源部署应用难的屏障，实现应用简单易用的目的。 综上所述，本项目的建设，在遵循统一领导、统一规划、统一标准、统一组织的建设原则之下，最大程度上保证系统按照预期的目标顺利实施。 2 总体架构 根据我们对学校高性能计算平台的需求调研分析，以及其它高校的高性能计算实验室的考察，结合实际应用需求、当前计算规模大小、存储需求量等一系列的因素，充分结合总体设计原则， 针对学校高性能计算应用的特点， 从满足应用需求的角度出发，建立一个高可扩展、易管理的 要是基于计算网络、存储网络、管理网络、监控网络的一体化网络建设的高性能计算集群系统： 计算网络 采用 速 算节点采用刀片服务器。 存储网络 大部分数据都存放在 用低端扩展容量大的磁盘阵列，利用 过存储 I/于维页 4 护、管理和备份。 管理网络 通过资源调度管理软件管理整个高性能计算 平台。用户通过网络远程访问高性能计算平台，获取高性能计算平台的计算资源进行求解运算。 监控网络 通过基于硬件设备的专业集群管理软件对硬件系统进行集中管理、配置，减轻管理维护人员的工作负担，为运维人员提供高效便捷的管理方式。 硬件部分应包括： 计算节点（集群节点和小型机节点） 管理节点 I/ 高速互连系统 软件部分应包括： 操作系统 集群管理软件 作业调度系统 并行文件系统 并行程序开发环境 数学库、并行库 标准应用软件 客户应用软件 页 5 3 高性能计算平台硬件系统 台架构图 平台整体架构图如下 ： 采用 32节点的 个计算节点 5650 24G 内存），主要运行分布式计算应用，利用 高应用效率。 目前采用 1台管理节点作为高性能计算平台的管理服务器，以后根据应用需求将管理节点增加到 2台。 目前采用 2台存储节点作为高性能计算平台的存储 I/后根据应用需求扩展存储 I/ 32节点高性能计算集群节点、 2节点 I/O 服务器集群、 1台管理节点均通过带宽 20 速网络互连。计算集群节点通过 20，通过 I/ I/纤通道卡连接至磁盘阵列环境中，配置 1台磁盘阵列（可选 2000 10用容量，以满足高性能计算环境根据应用需求，小型机待今后扩展建设。 页 6 对存储性能和空间的巨大需求， I/磁盘阵列见无单点。 高性能计算平台全部通过管理节点上的高性能计算资源管理平台软件对用户发布使用。管理节点通过 1000兆以太网连接到校园网络中， 各院系通过该网络 用高性能计算平台资源，基于用户原有使用习惯的图形化交互界面，并最终通过网络可视化的查看计算过程，获得计算结果。 要设备选型 计算节点 采用 32节点的刀片 服务器 作为计算节点（每个节点采用 2 5650/6 8GB 核处理器在中规模的计算量上的性能相当于同主频四核 据见 管理节点 采用 1节点的机架式高端服务器（采用 2 5650/6 4GB 为高性能计算平台的管理节点。 存储节点 页 7 采用 2节点的机架式高端服务器（采用 2 5650/6 6GB 为高性能计算平台的存储 I/ 计算网络 采用至少 2台 速网络交换机（ 20片机箱内置模块，作为高性能计算平台核心计算网络。 详细指标见附表说明。 群系统 用 32 台刀片式服务器构成计算节点，通 过 2 台 I/O 存储节点连接磁盘阵列， I/责向计算节点提供共享存储服务。管理节点部署高性能计算资源管理平台软件，利用应用虚拟化技术，实现用户通过网络对高性能平台的图形化透明使用，远程接入完全遵照用户原有软件使用方式，使用习惯。高效、易用的提供高性能平台计算服务。目前用户大量应用运行在 了满足当前用户应用与未来发展的需求，采用 建设。 案架构图 小 型 机 平 台算节点采用刀片服务器，节点处理器采用英特尔 至强 核核处理器（ 2 待建 页 8 4 32 2 6= 4 T 浮点峰值 频 每个时钟周期执行浮点运算的次数服务器数量每个服务器的 数。 算集群具有以下特点和优势： 具有很高的性能价格比。采用先进的 构，扩展性好即可扩充到几百上千个节点，从而获得 很高的性能和比较低的总体成本。 计算集群全部采用高速的 有极高的性价比。 采用工业标准设备和顺应高新技术发展的趋势。如集群并行计算技术，开放代码程序。 支持 台的应用，具备 展能力。 算节点 计算节点是高性能计算的核心节点，承担着计算、分析、求解的真正任务，计算节点的性能很大程度上决定整个高性能平台所具有的计算能力，根据调研的具体情况，充分考虑用户环境，采用刀片式服务器做计算节点，每节点配置 2 理器，内存根据经验， 每 以为计算节点合理配置 24存（内存配置为 3的倍数）。 特性： 密集计算能力： 英特尔 至强 六 核处理器配有多个 槽、多个 千兆 /万兆服务器适配器，能够提供集中的计算功能和更加出色的系统扩展能力； 2个英特尔至强 5600 系列处理器；采用高级 96寄存式 选择 1 个小外型高性能热插拔串行 硬盘 。 部署多样性：嵌入式技术和 2 个中间件插槽让您可以在高效紧凑的外形中进 行多样性部署。可提供高速图形远程控制台功能，以及对服务器状态信息进行远程网络访问的能力；可通过管理程序安装功能、安全特性提高设备的灵活性 页 9 理节点 管理节点用来承接外部用户接入集群系统，进行程序编译、调试、并行计算任务的分发与布署，此节点还安装有集群管理软件，做为主节点对整个集群进行管理和作业调度等工作 。 目前采用一台机架式高端服务器（ 2 4存）作为高性能计算节点的管理节点，根据今后应用需求，可再扩展一台机架式高端服务器。 ，整个集群通过此节点来进行数据的大规模存取与调用 。 计算节点与 I/O 节点之间通过 速网络相连，保证充足的 I/O 数据带宽。目前暂时采用两台机架式高端服务器（ 2 6存）作为高性能计算集群的 I/后根据应用需求，可逐步扩展 I/时在 I/发利用I/ 算网络 性能集群系统的计算节点全部通过高速的 连技 术实现互联，高速的 连网络主要用于计算节点之间进行 讯，交换节点应用进程信息和计算数据。 整个高性能集群的管理网络和用户网络通过千兆以太网将每个节点连接起来。管理网络主要用于节点管理信息的传输。 存储网络采用 换机和磁盘阵列，主要用于各节点与 I/括应用程序和数据的装载、计算结果的保存等等。 络 换机（带宽 20，互连网络拓扑图如下： 页 10 计 算 节 点管 理 节 点I / O 节 点I n f i n i b a n d L i n 性能的影响 其 10速带宽和低延迟的优秀性能显现出卓越的性价比。该技术能使由低端服务器组成的集群或网格，相较于昂贵的高端服务器，以同样甚至更高的速度完成复杂的计算任务，也是实现该功能的第一 种高速网络技术。 理网络 管理网络千兆以太网交换机搭建。所有 群计算节点、 I/O 节点和管理节点都通过千兆以太网交换机连接起来，构 成统一的 控网络 通过基于硬件设备的集群管理软件对硬件系统进行集中管理、配置，减轻管理维护人员负担。为运维人员提供高效便捷的管理方式。 储系统 高性能计算平台配置一台扩展能力至少支持 48 个磁盘驱动器的阵列， I/算节点服务器通过 I/局部署并行文件系统。 页 11 4 高性能计算平台软件系统 高性能计算平台软件主要包括高性能计算资源管理平台软件、集群管理软件、并行文件系统、 64 位 作系统、集群并行计算环境等一系列软件。通过 优化配置，合理架构，最大化软件应用性能，为客户提供一个简单，易用的高性能计算环境。 平台逻辑架构如下： 4 位 由于学校现有用户基本上熟悉 对于运行在 计算节点 服务器（ 的操作系统， 目前选择 64位 为每个 集群 节点的操作系统。 而且， 优势 还 体现在以下方面： 开放的标准 ：开放意味着创新，意味着按需订制； 低成本： 软件成本 /人员培训成本 /移植成本 /管理 成本 ； 页 12 高性能：表现在 高性能运算的优势 ； 操作系统的低占用率 ； 高可扩展性、可维护性 。 群管理软件 为了更好地管理和监控集群系统，方便系统维护，必须配置有效、实用和友好界面的集群管理软件。 集群管理实用程序可以有效地管理大量的计算节点。带有图形用户界面（ 可以根据需要和集群中任意数量的节点进行定制。借助集群管理软件，只需在单一显示屏上单击鼠标即可访问所有的计算节点控制台。 通过集群管理软件，可以监控、暂停、启动、重启或关闭选定的任何节点。还可以连接到集群中的多个节点，并通过一次键盘 输入以广播的方式向其发出命令。 集群管理软件具有将一个系统配置向集群中的所有计算节点传播的功能。 业调度系统 作业调度系统设计上 体现 如下几 个原则： 图形化的交互界面，采用应用虚拟化技术将仿真求解软件的使用方式完全通过网络透明的提供给用户使用，保证系统使用的易用性。 最终用户和 础结构的复杂性相分离的原则，既简化了用户操作，又提高了用户的工作效率。 系统的可扩展性原则，集群系统计算能力的扩展和设备的增减，不会影响前端用户的工作。 安全性原则，保证开放条件下的系统安全性。 页 13 行文件系统 并行文件系统是一种 主要用于 I/O 数据 ， 面向应用提供支持的用户级文件系统 ， 它能够 有效 提高数据的 I/O 性能和科学计算程序的计算速度 。 群并行计算环境 消息传递接口 息传递接口）是全球工业、政府和科研部门联合推出的适合进程间进行标准消息传递的并行程序设计平台，也是目前应用最广的并行程序设计平台，几乎被所有并行计算环境（共享和分布式存储并行机、 群等）和流行的多进程操作系统所支持，基于它开发的应用程序具有良好的可移植性。 一个最成熟和最广泛使用的版本 就是 是 一种具体实现 ， 可以免费从网上下载 。 开发与 范的制订是同步进行的 。因此 能反映 变化和发展 。 序一般被称为 程序 ， 即相同的程序对不同的数据进行处理 。 当然用 可以编写出 的具有明显主从关系的程序 。 页 14 语言绑定 由于 一个库而不是一门语言，因此对 使用必须和特定的语言结合起来进行。 科学与工程计算的领域语言，而 C 又是目前使用最广泛的系统和应用程序开发 的语言之一，因此对 C 的支持是必须的。此外， C+作为面向对象的高级语言，随着编译器效率和处理器速度的提高，它可以取得接近于 C 的代码效率。面向对象的编程思想已经被广为接受，因此在 除了和原来的 7 和 C 语言实现绑定之外进一步与 C+结合起来，提供了四种不同的接口为编程者提供了更多选择的余地。 准库函数 标准库函数包括支持 7/90 和 C/C+语言的数学库、并行库和相关编译器。 准应用软件 目前提出需求的应用软件： 流体工程仿真计算软件（并行版） 化学、材料工业模拟软件 通用有限元分析软件 环境评测模型软件 量子化学计算软件 （注：商业软件的费用不包含在建设经费里面） 页 15 5 项目经费预算 费来源 由于本项目是学校整合资源，统一建设，共享使用的原则下立项建设，因此，其经费来自不同渠 道，见下表： 序号 项 目 名 称 预算经费 1 2 3 合 计 费支出预算 序号 设备名称 描述 数量 预算 1 计算节点（刀片式服务器） 刀片机箱、刀片服务器、 换机和千兆以太网交换机等 32 台 155 万元 2 管理节点、存储I/O 节点 机架式服务器 3 台 15 万元 3 磁盘阵列 配置 24 块 10 600盘 1 台 20 万元 4 软件及项目集成 专业集群监控软件、专业非开源作业调度软件、 64 位 行开 发软件和函数库等，及项目集成安装、培训、售后 3 年服务 1 套 20 万元 合计 210 万元 页 16 附页 高性能计算平台 技术参数要求 第一部分：计算节点刀片服务器 (32 片 刀片 ) 设备 设备配置说明 数量 刀片机箱 刀片式服务器，标准机柜安装；最多支持 10 个服务器，支持不同型号刀片服务器（包括 片）混插；支持刀片服务器或扩展刀片。 2 示屏的前端控制面板；支持初始配置向导、本地服务器刀片、机箱和模块的信息以及故障检测 。 配置最大冗余热插拔电源，支持 N+1、 N+N 电源冗余模式， N 2，支持单相 /三相，电源模块满配 。 配置最大冗余热插拔风扇，风扇模块满配，提高刀片性能。 支持 8 个互联模块托架，支持 接，支持互联交换机和直通模块。 配置 4X 置网络交换模块， 10 个下行链路， 12 个上行链路，所有端口支持 40/20宽，配置相应的线缆（ X 配件。 配置 10太网交换机 内置模块， 4 个 1行链路，上行链路可堆叠，所有端口全线速。 配置相应的堆叠线缆和配件。 集成内置管理模块； 可远程监控图形界面；可远程从本地光盘启动安装操作系统；集成虚拟电源、虚拟介质、虚拟 术 。在网络上通过浏览器管理，可以实现对物理机的统一管理。自动发现、更新机箱和服务器；监控设备配置和变化；监控硬件、软件运行情况。 集群计算节点 每个节点配置两颗 5650 （主频 123 1333端总线）。 32 每个刀片配置 存 , 采用 存 或 12 个内存插槽；每个刀片服务器配置内存 24 每个刀片 4X B 双通道适配卡。 每个刀片配置 1 个 1460K 盘，能够实现在线热插拔硬盘功能。 每个刀片配置 嵌入式双端口 1 10功能服务器 网络适配器 。 配置快速分发软件，可同时分发安装 主流操作系统。 页 17 第二部分：管理 、 存储 I/O 节点 设备 设备配置说明 数量 管理节点 机架式 服务器（带上机架导轨）。 1 节点配置两颗 5650 （主频 123 1333端总线）。 配置 存 , 采用 存 或 持高级务器配置内存 24 配置硬件 制器，高速缓存 512电池保护 ;支持硬件 。 配置 2 个 1460K 盘，能够实现在线热插拔硬盘功能。 集成 双端口多功能千兆 服务器 网络 适配器 卡。 配置 冗余电源 和风扇。 三年原厂保修。 I/O 节点 机架式服务器（带上机架导轨）。 2 节点配置两颗 5650 （主频 123 1333端总线）。 配置 存 , 采用 存 或 务器配置内存 36 配置硬件 制器，高速缓存 512电池保护 ;支持硬件 。 配置 2 个 3000K 盘，能够实现在线热插拔硬盘功能。 集成 双端口多功能千兆服务器 网络 适配器 卡。 配置 冗余电源 ，风扇。 配置 1 块 。 配置 x 。 三年原厂保修。 页 18 第三部分： 存储系统 设备 设备配置说明 数量 磁盘阵列 厂家自主研发，拥有完整知识产权，非 1 配置双冗余控制器， 缓存每控制器 1双控 2 主机接口每控制器 2 个主机端口 , 光通道 (4感应 1 别 支持的最大驱动器数 48 个硬盘驱动器， 支持 6Gb/s 配置最大冗余风扇和电源 , 热插拔。 机架支持业界标准的 19 英寸机架。 配置容量许可的图形化磁盘阵列存储管理软件； 磁盘阵列管理软件为满配容量或不限制容量许可证，未来磁盘扩容，不需要磁盘阵列管理软件升级费用。 持的不同类型 换机。 配置主流操作系统 相应平台支持软件。 配置 24 块 盘，转速 10量 600带宽6置相应的磁盘扩展柜。 支持主流的操作系统： MS 支持快照克隆，增强数据保护。 配置多路径故障切换和负载均衡功能，提供至少 2个支持许可。 可实现 128个 需 大 量 1 支持的主机最大数量 16，且无需额的主机扩 展许可。 三年原厂保修。 页 19 第 四 部分：集群 系统 软件 软件 软件配置说明 数量 操作系统 支持集群的 4 位版本。 1 并行环境 持以太网 境）。 1 以太网的 境 )。 持 境 )。 应用开发环境 +编译器 。 1 译器 。 +编译器 (支持 7/90 编译器 (支持 +编译器 (支持 7/90 编译器 (支持 学库 。 性能数学库 。 并行文件系统 。 1 集群监控软件 作业调度软件 君富 ，非开源的专业软件，集成安装与硬件设备无关，计算节点的扩展 不受硬件品牌限制，并提供相关承诺证明。 1 套 本次支持节点数至少 35 个。 采用 面，管理员界面无法提交任务 ，支持 系统负载在主登陆界面可以显示， 可 区别负载高低，让每个用户及时了解负载情况 。 浏览器与服务器之间的数据采用压缩加密方式传输，保证网络传输效率及安全要求。 支持 持不同品牌 的 64 支持节点划分的任务队列，满足多框刀片以及异构集群的任务调度需要，避免任务跨刀片框分配节点，保证同构机器