IBM并行文件系统GPFS3.3-v0.9---Copy.ppt

IBMGeneralParallelFileSystem3.3通用并行文件系统介绍,议程,GPFS介绍技术细节使用场景Benchmark数据成功案例,IBMGeneralParallelFileSystem（GPFS）,IBMGPFS是一个可自由扩展的高性能并行文件系，同时支持AIX、Linux和Windows操作系统,基于高可用的集群架构，可灵活扩展,支持并行的共享磁盘访问方式，提供单一命名空间,针对并行IO负载优化，提供极高的IO处理能力,基于文件数据的基础架构优化,网络连接SANTCP/IPInfiniBand,管理集中式管理监控自动化,高可用性多路径磁盘访问数据备份/迁移镜像/异地容灾,数据库,文件服务,备份/恢复,应用服务,GPFS可以实现：不同平台之间统一的文件系统命名空间和数据共享通用高性能存储服务减少文件拷贝数量提高存储系统利用率简化文件数据管理,关于GPFS的一些事实,支持集群的规模支持8192节点的集群系统，目前在线最大集群规模的为2440个linux节点和1530个AIX节点很多实际安装的GPFS集群规模都在500个节点以上实测性能指标IO吞吐量AIX：134+GB每秒Linux：66GB每秒实测最大的文件系统大小为2PBHPSS和GPFS管理7.28PB的数据,关于GPFS的一些事实,文件系统的限制理论上支持299字节大小的文件系统每个文件系统支持2,147,483,648（2Billion）个文件每个集群最多可以挂载（mount）256个文件系统支持的操作系统目前支持AIX/Linux/BlueGene/Windows即将支持Solaris支持同一集群内部使用不同的操作系统,GPFS的优势,性能文件存储采用条带化技术，单个文件跨节点和存储系统分布，提高并发访问性能智能预取机制，通过对文件访问模式的预测来进行预取，降低读写延迟分布式的块级锁管理，包括文件和目录两个级别，允许最大程度的并发访问分布式元数据服务器，避免元数据处理成为系统瓶颈支持客户端数据缓存，不同节点可以根据需要设置不同的缓存大小数据块的大小可自定义，16K,64K,256K,512K,1M，4MNSD通信支持InfiniBand高速网络,GPFS的优势,可扩展性最大可支持数千个节点的集群规模和数百GB每秒的IO吞吐量在不停止服务的情况下向集群添加和删除节点在不停止服务的情况下向文件系统加入和删除磁盘在不停止服务的情况下修改文件系统inode数目,GPFS工作方式和扩展方式,GPFS可以在线添加存储和服务器，不影响应用正常运行,系统瓶颈点2,系统瓶颈点1,EthernetInfiniBand,SAN,GPFS在IO服务器和磁盘存储两层都有很好的线性扩展能力,GPFS的优势,高可用性先进的仲裁管理机制，确保系统最大程度的可用性，没有单一故障点管理服务器在manager资源池内实现自动故障切换支持多路径磁盘访问，一条路径访问失败，可以通过其它路径实现，每个NSD可以支持8个NSDServer支持对元数据和用户数据做replication，保证系统稳定可靠RollingUpdate，不停机升级支持日志功能，实现系统快速恢复,GPFS的优势,管理简单用户接口简单，与常用文件系统类似，方便用户使用单点管理，可以集群内任何一个节点上完成对GPFS的管理任务，命令将在所有节点上生效自动在各个节点间同步配置文件和系统信息,GPFS的其它功能,SnapShot（快照）ILM（信息生命周期管理）、HSM（分级存储管理）跨集群数据共享（multi-clustercrossmount）TraditionalGPFSACL、NFSV4ACLUserQutota、GroupQuota、filesetQuotaSNMP管理直接通过TSMserver备份数据,Snapshot（快照）,节省存储空间，只保存被修改的数据大大减少文件系统备份、恢复时间,信息生命周期管理,GPFS可以实现不同磁盘直接信息生命周期管理GPFS+TSMSpaceManagement可以实现磁盘和磁带库直接的信息生命周期管理,GPFS信息生命周期管理的实现方式,节点1,节点2,节点3,节点4,Pool1,Pool2,mmapplypolicy,1.扫描元数据,2.匹配规则,3.移动数据,System,光纤存储,SATA存储,File1,File2,/home,目录结构,/home|-|-file1|-|-|-file2|-,目录结构不变，数据移动对用户透明,Pool1中的file1和file2要移动到Pool2中,GPFS主要优势总结,在线升级、扩容高可用性高性能安装、配置、管理简单支持ILM（信息生命周期管理）开放式异构平台，扩展灵活,GPFS与NFS,SANFileSystem系统结构的比较,客户端-服务器结构的网络文件系统(NFS,DFS,orAFS):存在单个服务器”瓶颈”网络协议导致额外开销,SAN文件系统:元数据服务器是一个潜在的性能瓶颈和单一故障点,GPFS与NFS,SANFileSystem系统结构的比较,GPFS文件系统的元数据服务是分布式的，在一个manager的资源池里面自动均衡分布，自动实现failover，确保元数据服务不会成为系统的性能瓶颈和单一故障点。,GPFS的Manager资源池,两种基本模式（可混合）,直连存储,NSD服务器,App,GPFS,RSCT,Linux,App,GPFS,RSCT,Linux,App,GPFS,RSCT,Linux,NSD,disks,disks,NSD,NSD,disks,disks,App,GPFS,RSCT,Linux,App,GPFS,RSCT,Linux,App,GPFS,RSCT,Linux,NSD,NSD,NSDServer,disks,disks,disks,disks,配置示例,GPFS的架构,GPFS的元数据管理功能,GPFS的元数据管理服务自动分布在不同的物理服务器上,文件系统的逻辑结构,数据读写的令牌管理,Nodequorum,一组节点组成仲裁组仲裁组中半数以上节点必须工作正常仲裁组节点总数/2+1仲裁节点的仲裁功能不过消耗很多系统资源,Node1,Node2,Node3,Node4,Node6,Node7,Node5,Node7,QuorumNodes,Nodequorumwithtiebreakerdisks,在节点仲裁的基础上，可以添加1-3个仲裁盘，来增加系统的可靠性建议采用奇数块仲裁盘(1,3)仲裁盘必须可以被所有仲裁节点访问任何一块磁盘都可以作为仲裁盘使用，无需单独分配,Tie-BreakerDisks,Node1,Node2,灾难恢复,GPFSReplication，同步镜像IBMTotalStorageESSPPRC，同步镜像Active/Active集群Active/Passive集群ESSFlashCopy，异步镜像,灾难恢复GPFSReplication,Synchronous,灾难恢复PPRC,Active/Active,Synchronous,灾难恢复PPRC,Active/Passive,Synchronous,灾难恢复FlashCopy,PPRC,Asynchronous,GPFSBenchmark,已验证系统参考,SolutionsusingGPFS,SASGridissupportedonGPFS,Scale-outFileServices-TheGlobalFileSpace,ApplicationServer,WebServer,LinuxWS,AIXWS,WebBrowser,WindowsWS,IBMGlobalOperationsCentres,SoFS,SoFS,CIFS,IBMGPFS,RedHatEnterpriseLinux,IBMrackmountedServerandBladeCentercluster,IBMDisk,IBMTape,Reporting,Monitoring,Provisioning,NFSv3,HTTPS,FTP,SoFSSoftwareArchitectureandComponents,GPFSIBMsclusteredfilesystemCTDBControlstheclusterandthefileservicedaemonsSambaProvidesCIFSexportRHELBaseOS,providesaccessvia:NFSFTPSCPHTTPSoFSPackageProvidesManagementGUI,Apachefileservermodule,tools,tuningoptions,etc.IBMHardware,CTDB,HSM-Archiving,TSMBackup&Restore,IBMDirector-HwMgt,SCP,国内案例中央电视台GPFS系统,媒体编播需要高带宽、并行作业通过两个GPFS服务器，提供30台Windows客户端通过Samba读写峰值I/O达到800MB/s,国内案例CMA国家气象局,通过6个节点构成GPFS服务器系统提供给375个节点并行访问带宽为600MB/sI/O架设一年以来稳定运行,国内案例中石化测试,使用Linux内置磁盘进行测试运行LandMark软件，NFS系统上没有能生成结果，GPFS上4小时在中石化测试过程中，得到了线性增长、并行读写能力的展示,GeneralFileServing,更多案例,结束语,GPFS是目前领先的主流并行文件系统，被广泛应用在大量商业和科研环境中，包括世界上一些运算能力最强的系统十余年来IBM不断发展GPFS技术，产品拥有超过20项专利，可以支持海量存储和海量处理的需求IBM专业的服务队伍为GPFS的设计和实施提供了强大的技术后盾希望能够成为您的