高性能计算平台的IO性能测试与分析

高性能计算平台的IO 性能测试与分析亮 1 , 聂瑞华 2李( 1. 华南师范大学计算机学院 ,广东 广州 510631; 2. 华南师范大学网络中心 ,广东 广州 510631 )摘要 :在高性能计算平台上测试 N FS和 L u stre文件系统在大规模并行计算环境下的 IO 速率 ,根据测试结果分析该实验平台的 IO 瓶颈并提出改进方案 ;之后测试本地 Cache、并行应用进行 IO 时的 Tran sfe rSize和并行程序存取文件的 F ileSize 等因素对分布式文件系统性能的影响 ,并根据实验结果提出如何合理地部署并行软件以有效地利用本地 Cache,以及提 出在编写并行程序时设置合适的 Tran sfe rSize和 F ileSize以提高 IO 性能的建议 。关键词 :高性能计算 ; 并行 IO 性能 ; 并行文件系统 ; IO 性能测试 ; L u stre文件系统中图分类号 : TP344文献标识码 : Ado i: 10. 3969 / j. issn. 100622475. 2011. 06. 045Te st an d Ana ly s is of IO Perform an ce on H igh Perform an ce C om pu t in g P la tformL I L iang1 , N IE R u i2hua2( 1. Schoo l of Comp u te r, Sou th Ch ina No rm a l U n ive rsity, Guangzhou 510631 , Ch ina;2. N e two rk Cen te r, Sou th Ch ina No rm a l U n ive rsity, Guangzhou 510631 , Ch ina)A b stra c t: Th is p ap e r te sts the p e rfo rm ance of N FS and L u stre file system in the la rge sca le d istribu ted comp u ting environm en t onh igh p e rfo rm ance comp u ting p la tfo rm. A cco rd ing to the re su lts, the IO bo ttleneck is known in th is h igh p e rfo rm ance comp u ting p la tfo rm and an advice is given to imp rove the IO p e rfo rm ance to so lve the bo ttleneck p rob lem. Then th is p ap e r te sts how the loca lcache, files size and tran sfe rSize affec t the p a ra lle l file system sIO p e rfo rm ance, and p ropo se s how to dep loy the p a ra lle l app li2ca tion s and w rite the p a ra lle l p rogram s effic ien tly to imp rove the IO p e rfo rm ance.Key word s: high perfo rmance computing; parallel IO perfo rmance; parallel file system; IO perfo rmance testing; Lustre file systemfe rSize和 F ileSize,以提高 IO 性能的建议 。0 引言1 高性能计算平台简介我校高 性 能 计 算 平 台 采 用 C lu ste r 机 群 体 系 结 构 5 ,节点系统包括计算节点 、胖 SM P计算节点 、IO 节 点和管理节点 。其中计算节点的配置为 43 AMD 8374HE 2. 2GH z 4核处理器 , 32G DDR II 667内存 , 13 160G硬盘 ; IO 节点配置为 2 3 AMD 2378 2. 4GHz 4 核处理 器 , 16G DDR II 667内存 , 2 3 300G 15K SA S硬盘 ;管理 节点配 置为 2 3 AMD 2378 2. 4GH z 4 核处 理器 , 16G DDR II 667内存 , 23 300G 15K SA S硬盘 。网络系统包括计算网络 、数据网络和管理网络 。 计算网络使用 20 Gbp s速率的 Infin iband 6 网络将计算节点全相连 ,数据网络通过千兆以太网将计算节点与 IO 节点全相连 ,管理网络将管理节点 、计算节点和IO 节点全相连 。存储系统包括底层的 SAN 磁盘阵列系统 7 和高高性能计算已被公认为继理论科学和实验科学之后 ,人类认识世界改造世界的第三大科学研究方法 ,是 科技创新的重要手段 1 。高性能计算机的快速发展 , 尤其是计算能力的飞速提升 ,对位于底层起支撑作用 的并行 IO 系统产生了更高的性能需求 。为了设计更高性能的分布式 IO 系统 ,为了更为有效地利用现存的 并行 IO 系统 ,需要了解高性能计算机上 IO 系统的存储方式 、工作性能及影响 IO 吞吐率的各种因素 2 。 本文介绍我校高性能计算机的体系结构和存储系统 ,描述我校高性能计算平台上 IO 系统的总体性能测试结果 ,测试并行计算中对 IO 性能产生影响的 各种因素 ,根据实验结果 ,分析本实验平台的 IO 性能瓶颈所在并给出改进 IO 性能的方案 ,提出在高性能 计算平台上如何合理地部署并行软件 ,以有效地利用本地 Cache 以及在编写并行程序设置合适的 Tran s2收稿日期 : 2011203210作者简介 :李亮 ( 1985 2) ,男 ,湖北天门人 ,华南师范大学计算机学院硕士研究生 ,研究方向 :高性能计算 ,分布式存储系统 ;聂瑞华 ,男 ,华南师范大学网络中心教授 ,研究方向 :计算机网络及应用 ,网格计算 。2011年第 6期李亮等 :高性能计算平台的 IO 性能测试与分析161层的分布式文件系统 。存储系统通过 4 Gbp s的 SAN交换机将磁盘阵列系统与 IO 节点相连 ,高层的文件 系统 包 括 N FS 文 件 系 统 和 L u stre 文 件 系 统 。目 前 N FS文件系统存储容量是 1. 0 TB , L u stre 文件系统存储容量是 3. 6 TB , N FS和 L u stre文件系统通过数据网 络为计算节点提供存储 。2 N FS和 L u stre文件系统网络文件系统 N FS是由 SUN 公司开发 ,目前已被 移植到几乎所有的 U n ix和 L inux系统上 ,并成为事实 上的工业标准 。N FS通过网络提供给不同操作平台上 的用户共享文件 ,其体系结构基于客户 /服务器模型 , 客户机和服务器之间通过 SUN R PC进行通信 ,其特点 是 (1)透明性 :提供透明的文件访问 ,客户端上的应用 程序能够像访问本地文件一样访问远程文件 。 ( 2 )兼 容性 :可实现异构机 ,异种操作系统下的网络文件共 享 。 (3)健壮性 :其协议的无状态性保证了客户机与服 务器之间产生的每个请求的完整性 。 ( 4)配置灵活 、简 单 ,易于使用 。其缺点是可扩展性差 ,这是由于其类似 NA S的集中式服务器体系结构决定的 。L u stre文 件 系 统 由 客 户 端 ( C lien t) 、存 储 目 标(O ST)和元数据服务器 (MD S)组成 。 客户端通过标准的 PO S IX 接口向用户提供对文件系统的访问 。对于客户端而言 , L u stre 是一个透明的文件系统 。它无需知道具体数据所在的位置 ,可以 透明地访问整个文件系统中的数据 。O ST负责实际数据的存储 ,处理所有客户端和物理存储之 间的 交 互 。这 种存 储是 基 于对 象 ( O b jec t2ba sed) 8 的 , O ST将所有的对象数据放到物理存储设 备上 ,并完成对每个对象的管理 。O ST和实际的物理存储设备之间通过设备驱动程序来实现交互 。通过驱动程序的作用 , L u stre可继承新的物理存储技术及 文件系统 ,实现对物理存储设备的扩展 。MD S负责元数据的管理 。MD S 构造 、管理文件分布的视图 ,允许客户端访问对象 。通过 MD S的文 件和目录访问管理 , L u stre 可以控制客户端对文件系统中文件的 创建 、删 除 、修改 以 及对 目录 的 创建 、删除 、修改等访问控制 。通过 MD S,客户端得到数据所 在的 O ST,并与其建立连接 ,此后的读写操作就在客 户端与 O ST之间进行 ,除非有对命名空间的修改 ,将不再同 MD S有关系 ,这样就降低了 MD S的负载 。在 多个客户端的情况下 ,由于有多个 O ST存在 ,上述的 工作模式就把对文件系统的访问转换为并行操作 ,从而可以较好地提高性能 。我校的计算平台使用一个 IO 节点服务 器作 为N FS服务 器 , 一 个 IO 节 点 作 为 L u stre 文 件 系 统 的MD S服务器 ,两个 IO 节点作为 O ST服务器 ,这 4 个IO 节点通 过 4 Gbp s的 SAN 交 换机 连 接底 层的 SAN 存储网络 ,并通过千兆以太网连接到数据网络提供文 件共享 。其结构如图 1所示 。图 1 数据网络和存储网络示意图3IO 性能及其影响因素的测试与分析3. 1 并行 IO 测试工具 IORIOR 9 是 LLNL 实验室开发的一款测试文件系统 IO 性能的工具 ,通过 M P I 10 的部署和调用 , IOR 支持 以多种接口和多种存取模式来测试并行文件系统的 IO 性能 。 IOR 可以指定两种文件的存取模式 11 , 一 种是 Sha redF ile 模式 ,指所有的进程存取同一共享文 件中的不同数据块 。另外一种是 O ne2file2p e r2p roce s2 so r,即不同进程读取不同的文件 。图 2 描述了 IOR 在写入文件时进程与文件结构 的关系 12 。图 2 IOR 存储共享文件时进程与文件结构的关系O ne2file2p e r2p roce sso r存储文件方式是将图 2 中每个 b lock存储到单独的文件中 。IOR 的主 要 参数 有 AP I、SegmentCount、B lockSize、162计 算 机 与现 代 化2011年第 6期FilePerProc、ReadFile、W riteFile、TransferSize、NumTasks、Reo rde rTa sk等 。AP I指定使用的 AP I接口 ,包括 POS2IX、MP I2IO、HDF5 等 。本 文 的 测 试 均 选 用 标 准 接 口POS IX。ReadFile和 W riteFile 指定测试读还是写的性 能 ; FilePe rProc是将存取模式指定为不同进程存取不同文件模式 ,默认为所有进程存取共享文件的不同数据块的模式 ; Reo rderTask参数通过指定一个进程读取另一个 进程写入的文件数据的方式来消除 Cache 影响 ; Seg2 mentCount指定测试文件包含的数据段数 ,本文的测试均指定为 1; B lockSize指定文件数据块的大小 ; Transfer2Size指定每个进程每次存取文件数据的大小 ; NumTa sks指定参与测试的进程数 。3. 2 L u stre与 N FS文件系统的并行 IO 性能测试并行 IO 的性能是指多个计算节点上同时运行多个 并行任务进行 IO 读写时文件系统提供的总的 IO 性能 。 并行 IO 的性能测试不仅可以得到高性能计算机 的最大 IO 性能 ,还能得到不同的文件系统在随着并 行任务数增多时 IO 性能的变化 。并且 ,通过将计算 平台的 IO 最大速度与磁盘读写性能 、网络总带宽等 参数进行比较 ,可以找到高性能计算机的 IO 瓶颈 ,为未来的性能升级提供参考 。图 3是在 L u stre和 N FS文件系统上进行并行 IO测试的结果 。尤其是读性能下降速度较快 。L u stre文件系统的 MD S和 O ST结构决定了其比 集中式结构的 N FS文件系统更具有可扩展性 , 从测 试的数据来看 , 当并行任务数增大时 , L u stre 文件系统的 IO 性能保持在网络传输极限附近 ,而 N FS的性 能则随着任务数增大而下降 ,这也证实了 L u stre文件系统更高的可扩展性 ,所以本计算平台未来的 IO 扩 展应该在 L u stre文件系统上 。通过图 3 中数据可分 析出本计算平台 L u stre 文件系统的 IO 瓶颈 : 4 个 IO节点上只有 2 个节点作为 L u stre 文件系统上负责实 际文件数据存取的 O ST, O ST通过千兆以太网与计算 节点进行连接 ,故 L u stre文件系统提供给计算节点的总的 IO 带宽只有 2 3 1000M bp s,即 250MBp s (MD S与 计算接点连接 的 1000M bp s的 带宽 只 在计 算节 点 与MD S交互以获得文件元数据信息时有用 ) ,而读写性 能都差不多达到了这个极限速度 ,同时 IO 节点与底 层 SAN 存储设备的带宽是 4Gbp s,即 500MB / s,也远大于计算节点与 IO 节点的网络传输带宽 ,故可以推断出 本测试平台的 IO 瓶颈之一是计算节点与 IO 节点的网 络带宽不足 。扩展方式有两种 :一是保持现有的网络结构不变 ,通过增加 O ST节点数来增加 L u stre 文件系 统提供给计算节点的总带宽 ;二是升级连接 IO 节点与计算节点的数据网络 ,提高数据网络的带宽 。3. 3 本地 Cache对并行 IO 的影响IO 缓冲能够很大程度上提高 IO 的速率 ,尤其是 缓存命中率高的时候 。在并行计算机中 ,当需要进行 IO 操作时 ,计算节点上的本地缓冲对提高 IO 操作速 度起到了很大的作用 。当计算节点进行写文件时 ,应 用程序只需要写入的数据先写入本地缓存 ,稍后再通 过网络将数据传输给 IO 节点 ;当计算节点读文件时 , 应用程序先在本地缓存上寻找需要读取的文件数据 , 如果存在 ,则直接从本地读取 , 如果不存在 , 再从 IO 13 节点读取。图 3 L u stre和 N FS的并行 IO 测试性能测试选择了 24 个计算节点 ,每个节点 16 核 ,通 过 M P I进行进 程同 步 , 以 O ne2file2p e r2p roce sso r的 存取模式 , 并 通 过 IOR 的 参 数 R eo rde rTa sk s消 除 本 地Cache的影响 。从图 3中可以看出 L u stre文件系统读 写性能在 64个进程时总体性能最好 ,读性能最大时约是 220MBp s,写性能最大约是 190MBp s。当进程数继续增大时 , IO 性能的变化幅度不大 。N FS文 件 系 统 在 并 行 进 程 数 较 少 时 (少 于 16 个 )读写性能都能接近千兆以太网的传输极限速度 。 但当进程数继续增大时 ,写性能先缓慢下降 ,之后保持在 80MBp s上下 ,读性能则迅速下降至 40MBp s,可 见 N FS的 IO 性能会随着访问进程数的增加而下降 ,图 4 本地 Cache对 IO 性能的影响图 4 是在单台配置为 4 3 AMD8374H E 2. 2 GH z 42011年第 6期李亮等 :高性能计算平台的 IO 性能测试与分析163核处理器 , 32 G DDR II 667 内 存 的计 算节 点 上 , 同 时运行 16 个 进 程 以 Sha redF ile 模 式 存 取 单 一 共 享 文 件 ,通过 改变 每个 进 程存 取的 文件 块 (B lockSize ) 大 小 ,测试在本地 Cache作用下 L u stre 文件系统上的读写性能 。测试通过改变 IOR 中的参数 b lockSize来改变每 个核存取文件块的大小 , 整个文件大小为 B lockSize3 N um Ta sk s 3 Segm en tCoun t, Tran sfe rSize 固 定 在2MB , N um Ta sk s 取 核 数 16 , Segm en tCoun t 取 1。 IOR测试的过程是先写入文件来测试写速率 ,然后读取刚 刚写入的那个文件 。由图 4 可见 ,在 L u stre文件系统 上写速率稳定在 110MB 附近 ,基本上达到了千兆以太网的极 限 。读 取 速率 在文 件 块较 小时 , 速 率比 较 高 ,最高可达 5000MBp s,这是由于单计算节点的系统缓存具有全局性 ,即所有运行的进程都是用同一个系 统缓存 ,文件块写入时数据 先保 存 在本 地系 统缓 存 中 ,然后传输到 IO 节点上进行写操作 ,之后读取时本地缓存中的数据并未被置换出 ,所以读取是直接从本 地缓存读取 ; 当文件块大小达到 1 G并逐渐增大时 , 此时文件总大小达到 16 G以上 , 超过计算节点总内存大小一半 ,在写入阶段写到本地缓存中的文件数据 在读取时已有部分被置换出 ,故读取时本地缓存的命中率下降 ,部分数据需要从 IO 节点进行读取 ,读取速 度急剧下降 。当文件块达到 4 G时 ,此时文件的大小 是 64 GB ,达到了系统总内存的 2倍 ,此时本地缓存基本失效 (文 件 大小 达到 系统 当 前可 使用 的 内 存 的 2 倍 ,之前写入时留在本地缓 存的 文 件块 为文 件下 半 段 ,而 读 取 是 从 文 件 上 半 段 开 始 , 故 本 地 Cache 失效 ) ,文件都是从 IO 节点读入 ,读速率基本上与写速 率相等 ,均为 120MBp s左右 ,接近千兆以太网的传输极限速度 。图 4 中读速率在文件较小时 (小于 128MB 3 16= 2 GB 时 )随文件块的大小增加而上升则是由于计 算节点 在 读 取 文 件 时 需 要 先 与 L u stre 文 件 系 统 的MD S Se rve r交互 , 从 MD S Se rve r得到文件的 相关 信息 ,之后才读取该文件的数据 ,当文件大小增大时 ,与MD S Se rve r交互的时间是不变的 ,所以总的读取速率 就会随着文件的增加而增大 。可见 ,在并行计算机的单计算节点上 ,多处理器 并行运行多进程时 ,系统缓存具有全局性 ,当本地缓 存命中率较高时能够极大地提高系统的 IO 性能 。对于某些需要并行任务数较少的并行应用程序 ,如果其 中的并行进程经常要读取另外其它并行进程存取的 数据和文件 ,应尽量将其部署在多处理器多核的单个计算节点上 ,这样计算节点上的本地缓存能够极大地提高应用程序的 IO 性能 。3. 4 Tran sae rSize对 IO 性能的影响Tran sfe rSize是每个进程每次向文件写入或者读 取数据的大小 ,这个参数在并行程序中由程序编写者 自行设定 ,而设定的是否合理 ,可能会很大程度上影 响应用程序的 IO 性能 。图 5 是不同 Tran sfe rSize 情 况下 L u stre文件系统上 IO 性能的测试结果 。图 5 并行应用程序的 Tran sfe rSize对 IO 性能的影响测试 环 境 在 L u stre 文 件 系 统 上 , 固 定 B lockSize 为 2 GB ,单计算节点 ( 16 核 ) 并行 16 个进程 ,顺序读 写文件 ,故本地 Cache 起部分作用 (部分作用是指由 于文件大小为 2 GB 3 16 = 32 GB , 而计算节点内存也是 32 GB ,不可能缓存全部文件数据 ,只能缓存部分数 据 。而本地缓存起部分作用比较接近现实中并行程序的 IO 状 况 ) 。从 图 5 中 可 以 看 出 , 当 Tran sfe rSize为 2 K以下时 , 无论是读性能还是写性能都相当差 ; 当 Tran sfe rSize为 4 kB 到 256MB 时 ,写性能基本保持 在 110MBp s,读性能也有较高的速率 ; 当 Tran sfe rSize 大于 256MB 时 ,读性能逐渐下降直到接近写性能 。由此可知在高性能计算平台上 ,编写并行程序需 要自行设置读写文件的缓存大小时 ,应设置在一个合理的 范 围 , 比 如 并 计 算 平 台 的 合 理 范 围 是 4 kB 256MB 之间 ,才能保证比较好的 IO 性能 。3. 5 F ie lSize对 L u stre和 N FS文件系统的 IO 性能 影响在高性能计算机上 ,当多个计算节点的大量并行 任务需要进行 IO 操作时 ,读写文件的大小也是影响 文件系统 IO 性能的重要因素 ,尤其是小文件的读写 , 可能会严重降低并行计算机的 IO 性能 14 。图 6 是 以 128个并行进程同时存取文件 ,在改变文件大小情 况下 N FS和 L u stre文件系统的 IO 性能 。测试环境是 24 台计算节点上运行 128 个进程 , 选择 file2p e r2p roce sso r模式 ,通过改变 b lockSize 改变 文件大小 ,以 R eo rde rTa sk s参数消除本地 Cache 的影 响 ,当 文 件 小 于 2MB 时 Tran sfe rSize 设 置 成 文 件 大164计 算 机 与现 代 化2011年第 6期Tran sfe rSize和文件的 F ileSize对 IO 性能的影响 ,并由此得出在高性能计算机上部署并行应用程序 、编写并 行应用软件时 ,如何合理地利用本地缓存 ,选择适当的 Tran sfe rSize 和 F ileSize 以 提 高 并 行 IO 性 能 的 方 法 ;最后 ,本文测试并对比了存取文件的大小 F ileSize对 L u stre和 N FS文件系统性能 的 影响 , 在 此基 础 上 提供了并行程序在 F ileSize 不 同时 选 择合 适的 文 件系统进行文件存取以提高 IO 性能的建议 。参考文献 : 1 周毓麟 ,沈隆钧 . 高性能计算的应用及战略地位 J . 中国科学院院刊 , 1999 ( 3) : 1842187.D rie s Kimp e, e t a l. A study of rea l wo rld I/O p e rfo rm ance in p a ra lle l sc ien tific comp u ting J . App lied Pa ra lle l Com 2 p u ting, 2008, 4699: 871 2881.Russel Sandberg, David Goldberg, Steve Kleiman, et al. Design and imp lementation of the sun network filesystem C / / Pro2 ceedings of the Summer 1985 USEN IX Conference. Portland OR , 1985: 1192130.Lustre W ebsit. H igh Perfo rmance and Scalability EB /OL . ht2tp: / /w iki. lustre. o rg / index. php /M ain_Page, 2011203201. 陈继军 ,魏玉琪 ,蔡贵新 . 高性能计算机系统结构及相关 技术发展 J . 高性能计算发展与应用 , 2005 ( 2) : 40 249. 2 图 6 F ileSize对 N FS和 L u stre文件系统 IO 性能影响小 ,大于等于 2M 时 Tran sfe rSize固定为 2MB。从图 6中可以看出 ,当文件较小时 ,无论是 N FS还是 L u stre文件系统 ,性能 都很 差 ; 当文 件 大于 512 kB 时 , 随 着 文件大小 的 增 加 L u stre 和 N FS 读 写 性 能 均 迅 速 增加 。而且在文件介于 1MB 到 4MB 之间时 , L u stre 文 件系统的 写 性 能 非 常 优 异 , 之 后 文 件 继 续 增 大 时 , L u stre文件系统的 IO 性能稳定在 200MBp s上下 , 达 到了两个 O ST节点在千兆以太网下的传输极限 , 而N FS文件系统在文件大小为 16M 时读写速度均接近100MBp s,基本达到了 N FS服务器在千兆以太网下的 传输极限 ;而当文件继续增大时 ,写性能稍微降低 ,读性能则迅速下降 , 这主要是受限于 N FS服务器的处理能力和内存大小 。 由此可见当多台计算节点进行并行 IO 时 ,每个进程存取的文件过小会严重影响 IO 性能 , N FS在大 量并行任务存取较大 (大于 2MB ) 的文件时 IO 性能明显不如 L u stre文件系统 ,所以在并行应用程序中 ,当处理的主要是小文件时 , N FS和 L u stre 都可选用 ,但当并行任务较多 ,文件较大时 ,选择在 L u stre 上进 行文件存取方能获得较好的 IO 性能 。4 结束语影响并行 IO 性能的因素很多 ,理解高性能平台上 的 IO 策略和分布式文件系统的 IO 行为 ,将有助于编 写更高效 IO 的并行计算软件 ,有助于在高性能计算平 台上更合理地部署并行计算软件 。同时 ,对 IO 性能的 整体分析 ,还有助于判断出计算平台的 IO 瓶颈所在 , 为未来的 IO 性能升级和体系架构的扩展提供依据 。本文测试了我校计算平台上安装的 N FS和 L u s2 tre文件系统在大规模并行计算中的 IO 性能 ,并根据 测试结果分析出本计算平台的 IO 瓶颈在于计算网络 与 IO 节点之间的带宽不足 ,给出增加 L u stre 文件系 统的 O ST节点或者升级连接 IO 节点与计算节点的 数据网络的建议以解决 IO 瓶颈问题 ; 本文还在 L u s2 tre文件系 统 上测 试并 分 析本 地 Cache、读 写 文 件 的 3 4 5 TM 6 IB TA. Infin iB and A rch itec tu re Sp ec ifica tion, Vo lum e 1, 2( R e lea se 1. 1 ) , Infin iB and Trade A ssoc ia tion A dm in istra2tion EB /OL . h ttp: / /www. infin iband ta. o rg, 2010 201210. Fa rleyM ,孙功星 . SAN 存储区域网络 M . 北京 :机械工 业出版社 , 2002.W ebe r R O. Info rm a tion Techno logySCS I O b jec t ba sed Sto rag