IBM_GFPS与存储应用解决方案（IBM GPFS并行文件系统解决方案） .doc

ibm gpfs并行文件系统解决方案随着技术的发展，大规模的并行计算的方式激发有关行业对高性能计算机的需求,作为后起之秀的linux 集群系统，吸取了sp 大规模并行机的诸多优势，ibm的通用并行文件系统gpfs 等和linux 集群系统的竭诚不仅能在并行运算方面的性能得到保障，增强了集群系统的可管理性，而且采用具有高可用性的ibm xseries 服务器，可以大大降低成本。目标市场： 金融行业、气象局、地质勘探、高校实验室、生物工程、科研探索等高性能计算领域。ibm gpfs并行文件系统解决方案构成高性能计算机的架构主要以集群为主，整个高性能计算系统在硬件基础架构上包含计算资源、网络资源和存储资源三大部分。在目前主流的采用linux 并行集群架构的高性能计算系统中，计算资源分为计算节点和i/o 节点，计算节点负责运行计算任务，i/o 节点则负责数据的存储并响应计算节点的读写请求，不同计算资源节点之间通过高速网络进行通信和信息交换。在此次方案中，我们选用的ibm linux 集群系统使用了基于intel xeon 处理器的刀片服务器节点、成熟的集群管理软件、提供极高的持续带宽保证的存储服务器，集中了最好的ibm 高性能设备和技术。不仅能在并行运算方面的性能得到保障，而且增强了集群系统的可管理性和可维护性。采用具有高可用性的ibm xseries 服务器，大大降低了总体成本。同时，数据量的增加，带来了针对数据的管理，共享，分布，保护等实际需求，市场要求存储厂商不断推出适合需求的解决方案和产品。传统的服务器客户机网络结构在性能、可管理性、连接性等方面都达到了极限，而san 是解决这些问题的理想方案。ibm ds3500存储平台作为ibm针对大规模并行计算领域有着高性能、高稳定性和易扩展、易管理等特性，十分满足高性能计算平台对于存储设备的要求。在计算节点的选择上，ibm 建议采用blade center +hs22 刀片, ibm bladecenter 支持最新的intel 和amd 四核处理器,支持业界最快的高达4.0 ghz 的power 6 处理器,以及专用于高性能计算的九核cell 处理器。ibm hs22 是业界功能最强大的刀片，hs22 采用最新的intel nahelem处理器,在集成了ibm bladecenter 传统的高可靠等优势的基础上，性能、功耗和虚拟化的功能都比上一代产品有了显著提升。io 节点采用ibm 的x3850或者x3650，产品前后端高吞吐量以及灵活组合方式，能提供极高的持续带宽保证，非常适合做高性能计算环境下持续带宽要求极高的存储服务器，显著提高i/o 节点的处理能力： i/o 节点是提供存贮共享的计算机。为了使任务可以并行执行，每台执行任务的计算机必须能够访问同样的数据，本方案存贮节点通过集群文件系统（ibm gpfs）来确保数据访问的同步。 i/o 节点和高性能存储直接相连，并通过自己的fiber channel i/o 通道将冗余磁盘阵列上的多个分区做成集群并行文件系统gpfs，并向计算节点提供数个唯一路径且全局共享的文件系统。本方案提供高速的文档读写服务给所有计算节点， 特别适合于有可能会产生大文档的高性能应用上。通常的io节点机共计4套主机，每个主机为两块8gb的高性能hba卡，单io节点连接到san网络交换机，每个节点配置的带宽为16gb的带宽性能，本次测试配置4个io节点，共计有8条8gb 带宽联入san核心网络中，从io节点联入核心网络总持续写入带宽为6.4gb/s的带宽。 两台ds3500存储节点，每台配置8个8gb fc接口联入san网络中，共计io带宽为12.8gb/s. 每台ds3500存储节点配置为48块300g 15k rpm sas及48块1tb nl 7.2k sas,在每台ds3500上实现io分级存储，将核心的频繁读写的io的lun划分在15k的高速sas存储上，其它的分布在nl sas上，ibm的gpfs支持hpc的分级io功能。本次方案为双节点ds3500存储节点，每个节点连接3个扩展柜，一级存储容量为300g96 sas共计28tb容量，二级存储容量为1tb*96 nl sas, 共计存储容量为96tb.针对ds3500，在全配置8个8gb fc接口的情况下，每个ds3500盘阵可以提供4gb/s的硬盘持续带宽，两台ds3500共计可提供8gb/s的持续带宽。 在gpfs配置上，我们建议用户配置2mb的io block size,针对大规模并发运算应采用较大的io读写带宽，在我们提供的gpfs hpc运算方式中，保证用户为提供最大带宽，单个gpfs系统并发带宽可以通过16个8gb fc端口平均分布在这24个lun 上， gpfs系统对lun使用率可以达到90%以上，在这样的配置下，2台双节点的存储节点带宽持续可以达到6gb以上。ds3500 存储节点的优势：ds3500 系列适合交易型的应用，如数据库和联机事务处理，以及吞吐量密集型应用，如高性能计算和流媒体应用。ds3500 系列的线性扩展能力所带来的性能提升，使其可以满足最苛刻的应用和发展需求。ds3500的性能已经达到其它厂家中端产品的计算性能，而ds3500是一款具有入门级产品价格的高性能盘阵，从单存储节点的性价比上，ds3500远远高出中端存储盘阵。ds3500 以高可靠性和高可用性为目标，提供部件冗余、自动故障路径切换和灵活的在线配置、重构和维护能力，确保您的数据全天候可用。ds3500 系列也可保护存储的数据的安全： 使用dacstore 技术在每一个磁盘驱动器上存储配置信息的元数据 坚实的吞吐量，6gbps sas及8gbps fc接口使得ds3500非常适合那些单个存储系统必须处理大量数据的集群环境 流媒体：大型i/o应用，例如全球转播，大量的媒体存储网络，内容创建，建模及发布都将从ds3500系列提供的额外带宽中受益。 提供持续的高速缓存备份功能，确保在掉电情况下，高速缓存中的数据仍是安全的。gpfs解决方案优势：在hpc计算应用领域，gpfs以高安全性著称，随着系统节点数的扩充及容量的扩充，gpfs可以实现安全，高效的计算，及大规模的文件共享。先进的仲裁管理机制，确保系统最大程度的可用性，没有单一故障点, 管理服务器在manager资源池内实现自动故障切换支持多路径磁盘访问，一条路径访问失败，可以通过其它路径实现.支持对元数据和用户数据做replication，保证系统稳定可靠高性能，在高性能应用领域，fpfs公认是对文件计算以高性能主持，随着节点熟的增加，gpfs的性能可以线性的增加，满足了用户平滑升级的需求。文件存储采用条带化技术，单个文件跨节点和存储系统分布，提高并发访问性能智能预取机制，通过对文件访问模式的预测来进行预取，降低读写延迟分布式的byte range级锁管理，包括文件和目录两个级别，允许最大程度的并发访问分布式元数据服务器，避免元数据处理成为系统瓶颈支持客户端数据缓存，不同节点可以根据需要设置不同的缓存大小数据块的大小可自定义，16k, 64k, 256k, 512k, 1m，2m，4m对分级存储的支持 在众多的hpc并行文件系统软件中，一些软件是开源的，但随着设备io及带宽要求的增多，不得不配置大量的硬盘，而且针对不同的数据不能按照应用自动的进行分级存储，而gpfs支持的分级存储功能，在充分满足用户在高性能计算的性能要求外，又充分节省了资源，提高了用户的roi,保证了用户的投资。package 1配置：6gb/s io及存储节点 solution 服务器及网络设备配置简表功能组成配置简要安装软件（网络服务）数量管理服务器ibm system x3650m3服务器2*intelxeonprocessor (2.53ghz 1333mhz fsb, 16gb kit (4x4gb) 1.5v ddr3 rdimm内存ibm 4*300gb 10k 2.5” sas 热插拔hdd 1* giga ethernet pci-e cardlinuxibm cluster system management (csm)或xcatnis/dns/nfs/dhcp/tftp/ntp/ibm director server1i/o节点ibm system x3650m3服务器2*intelxeonprocessor(2.53ghz 1333mhz fsb, 16gb kit (4x4gb) 1.5v ddr3 rdimm内存ibm 4*300gb 10k 2.5” sas 热插拔hdd 1* giga ethernet pci-e cardlinuxibm general parallel filesystem (gpfs) server version 3ibm cluster system management (csm/xcat) client.ibm director client4存储ibm ds3500 8*8gb fc主机接口4gb cache with turbo license48块300 gb 10k 2.5“ sas硬盘48块 1tb 7.2k 2.5” nl sas硬盘linux/intel host kit, 4-storage partitionsibm storage managementgpfs support2ip交换机ibm bnt 2个24口千兆以太网交换机bnt管理模块2gpfs软件gpfs licese分为server和client 两种license,价格不同. 对以一个hpc cluster,至少需要一台gpfs server若干和gpfs clientgpfs server和client都以pvu为单位,按核收费, 70 pvu / corespackage 配置二：12gb/s hpc 计算能力io及存储节点配置 服务器及网络设备配置简表功能组成配置简要安装软件（网络服务）数量管理服务器ibm system x3650m3服务器2*intelxeonprocessor (2.53ghz 1333mhz fsb, 16gb kit (4x4gb) 1.5v ddr3 rdimm内存ibm 4*300gb 10k 2.5” sas 热插拔hdd 1* giga ethernet pci-e cardlinuxibm cluster system management (csm)或xcatnis/dns/nfs/dhcp/tftp/ntp/ibm director server1i/o节点ibm system x3850m3服务器2*intelxeonprocessor(2.7ghz 1333mhz fsb, 16gb kit (4x4gb) 1.5v ddr3 rdimm内存ibm 4*300gb 10k 2.5” sas 热插拔hdd 1* giga ethernet pci-e cardwith 2* 8gb hba cardlinuxibm general parallel filesystem (gpfs) server version 3ibm cluster system management (csm/xcat) client.ibm director client4存储ibm ds3500 8*8gb fc主机接口4gb cache with turbo license48块300 gb 10k 2.5“ sas硬盘48块 1tb 7.2k 2.5” nl sas硬盘