GPFS-for-linux安装与实施文档

GPFSfor1inux实施配置文档

（RedHatIinux平台）

书目

1、GPFSforlinux实施规划3

1.1规划概要3

1.2网络设计规划4

13存储设计规划4

2、Linux的安装及配置6

2.1制作LinuxYum源6

2.2运用LinuxYum源安装必备rpm包7

2.3Linux系统中添加网络设备7

3、GPFS软件的安装和打算工作14

3.1必需安装的LinuxRPM包14

2.2软件上传至目的Linux分区15

23在每个节点上安装GPFS软件包15

2.3.1GPFS基础包安装15

2.3.2GPFS升级包安装16

2.4GPFS软件编译16

2.5GPFS环境变量设置17

4、GPFS环境配置文件打算18

4.1.创建节点描述文件18

4.2、创建磁盘描述文件18

4.3、创建主机信任…SSH18

4.4、确认连接磁盘20

5、GPFS集群配置21

5.1、建立集群21

、创建集群21

、显示配置信息21

5.2、创建NSD21

、运用mmcrnsd创建NSD21

、显示NSD22

5.3、启动GPFS文件系统22

5.4、查看GPFS文件系统状态22

5.5、建立文件系统22

5.6、检查文件系统22

5.7、GPFS集群调优22

6、GPFS文件系统测试24

6.1文件系统测试24

6.2高可用测试25

1、GPFSforlinux实施规划

随着客户对数据越来越高的要求，现有架构的数据传输的速度可能会在将来成为系统分析

性能的瓶颈，为了解决该问题，结合IBMGPFS并行文件系统在海量文件处理方面的算法优势

及x86Linux服务器的处理性能，搭建一套测试GPFS文件系统作为数据平台，来提升数据仓库

平台的数据传输性能是一个不错的选择。本文档主要针对在X86平台上实施GPFS文件系统进

行介绍，可供有相关需求的客户参考。

1.1规划概要

本次实施以在10台IBMX3755主机上部署GPFS-FPO为例，安装配置一套10

节点的GPFS集群，可用作数据仓库，供应共享文件系统服务。

机柜位置柜内位置主机型号型号序列号ip地址cpumem硬盘系统版本

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8Rll6.3

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8RH6.3

X37554*2.4G128G2T*8RH6.3

本次实施相关系统及软件版本:

RHELOSVersion：6.3

GPFSVersion:3.5.0.13

IBMX3755配置状况：

CPU：AMD6234,4Core*2.4GHz

内存：128GB

共享存储空间：2T*6*10

1.2网络设计规划

本次GPFS集群搭建须要两组网络，一组集群通信网络，用于GPFS节点间的

信息交互及同步，建议运用高速网络，比如IB网络，可充分发挥GPFS文件系统

的高性能；一组管理网络，用于服务器管理，可运用一般IP网络。

GPFS集群通信网络：.0/24（通常为一个单独的私有网络）

BI_gpfs01.1

BI_gpfsO2.2

BI_gpfsO3.3

BI_gpfsO4.4

BI_gpfsO5.5

BI_gpfsO6.6

BI_gpfsO7.7

BI_gpfsO8.8

BI_gpfsO9.9

BI_gpfslO.10

服务器管理网络：.0/24（运用客户的生产管理网络）

Bl_node01.1

Bl_node02.2

Bl_node03.3

Bl_node04.4

Bl_node05.5

Bl_node06.6

Bl_node07.7

Bl_node08.8

Bl_node09.9

BlnodelO.10

1.3存储设计规划

存储空间规划如下:

每个节点运用本地盘创建NSD,节点本身为NSDserver。每个节点有6块裸盘，

raid5规划后大小为近10T,规划两个LV,一个LV做metadatapool,一个LV做

datapooL

共6*10块磁盘，每块2TB

基于以上设计，GPFS基础规划如"

节点名操作系统版本硬盘集群名NSD名NsdServer

BI_gpfs01RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdiskl,hdisk2BI_gpfs01

BI_gpfsO2RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdisk3,hdisk4BI_gpfsO2

BI_gpfsO3RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdisk5,hdisk6BI_gpfsO3

BI_gpfsO4RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdisk7,hdisk8BI_gpfsO4

BI_gpfsO5RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdisk9zhdiskl0BI_gpfsO5

BI_gpfsO6RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdiskllzhdiskl2BI_gpfsO6

BI_gpfsO7RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdiskl3,hdiskl4BI_gpfsO7

BI_gpfsO8RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdiskl5,hdiskl6BI_gpfsO8

BI_gpfsO9RedHat6.3dm-2,dm-3Bl_gpfs_clusterHdiskl7,hdiskl8BI_gpfsO9

BI_gpfslORedHat6.3dm-2,dm-3Bl_gpfs_clusterHdiskl9zhdisk20BI_gpfslO

2、Linux的安装及配置

Linux的安装与配置这里不做过于具体的介绍，就是安装操作系统，此处针

对可能会遇到的一下问题做简洁说明。

2.1制作LinuxYum源

为了防止后续运用中发觉操作系统缺少安装包，此处建议安装完操作系统后

将操作系统镜像上传到系统中，制作本地LinuxYum源，当然假如客户现场有配

置网络Yum源也行。下面简洁介绍一个制作Yum源的方法，具体有不明白的地

方可以百度一下，你就知道。

创建源文件存放的书目

#mkdir/home/iso/

将光盘文件复制到服务器上的源书目

#cp-a/media/*/home/iso/

新建一个yum源的响应文件

文件内容如下：

[base]

name=linux6

baseurl=file:///home/iso

gpgcheck=O

enable=l

修改yum源的地址

#vi/usr/lib/python2.6/site-packages/yum/yumRepo.py

在上面的文件中找到下面这行

remote=url++relative

将其改为

remote='/tmp/yum'+relative

2.2运用LinuxYum源安装必备rpm包

通过运用Yum安装必要的安装包很便利，只需执行yum-yinstall

该吩咐的具体运用方法可自行查找。

yum-yinstallmakeperlrshId-linux.solibm.so.6libc.so.6kshlibstdc++.so.5

yum-yinstallrsh-serverrpcbindxinetdlibaiocppgcc-c++gccnfs-utils

yum-yinstallkernel-headerskernel-develcompat-libstdc++glibc-develibXp.so.6imakerpm-build

yum-yinstallcompat-libstdc*

2.3Linux系统中添加网络设备

在linux系统中，由于某种缘由造成网络设备丢失，或者我们新添加一个网

卡，系统启动后可能查看不到新加网卡的状态，此时须要人工添加新的网络设备。

以新加一个IB卡为例:

方法1、可以通过setup->networkconfiguration->deviceconfiguration->newdevice->

添加一个网络设备。

例如我们添加了一个ibO网络设备，IP设置为。通过以下步骤:

1chooseaTool|

|selectAction[

Authenticationconfiguration

Firewallconfigurationi_D_e_v_ic_e_=一〔•lurati

KeyboardconfigurationDNSconfiguration

Networkconfiquration

RHNRegister

Systemservices

save&Quit

RunToolQuit

1selectADevice|

eth4(eth4)-intelcorporation82571EBGigabitEthernetController

eth5(eth5)-intelcorporation82571EBGigabitEthernetcontroller

ibO(ibO)-MellanoxTechnologiesMT26428[ConnectxVPIPCle2.05GT/s-IBQDR/lOGigE]

ibl(ibl)-MellanoxTechnologiesMT26428[connectxVPIPCle2.05G~r/s-IBQDR/lOGigE]

<NewDevice>

Savecancel

则在/etc/sysconfig/network-scripts/下会产生一个ifcfg-ibO的配置文件，文件

内容如下：

DEVICE=ibO

BOOTPROTO=none

TYPE=Ethernet

HWADDR=aO:00:01:00:fe:80:00:00:00:00:00:00:00:02:C9:03:00:57:2F:lF

0N300T=yes

IPV5INIT=no

USERCTL=no

note：这里HWADDR须要手动更改，查看ibO的HWADDR方法可以运用ifconfigibO或者ifdownibO来

查看。ONBOOT=yes代表开机该设备会自动挂起，否则须要手动挂起。

24Linux系统中用户与组的操作

Linux系统中添加用户及组，删除用户及组，以及修改用户或组的属性，运

用吩咐如下：

useradd

运用时可运用man查看用法，比如：・u设置uid,・g设置gid等，在集群

环境中，uid和gid需保持一样。

groupadd

usermod-n（更改用户名）-u（更改uid）-g（更改gid）username

groupmod-n（更改组名）-g（更改gid）groupname

最好是在创建用户或组之前做好规划，uid,gid,名称，home书目等，以免造

成后来有冲突。特殊是在集群环境中。

2.5Linux系统中ACL简洁介绍

在平安管理日益重要的今日，传统的Unix文件系统的UGO权限管理方式

已经无法满意日常系统管理工作的须要。而ACL机制渐渐成为主流的权限管理

方式。

通常状况卜，UGO可以满意权限要求，特殊状况卜才须要通过ACL进行扩展

管理，所谓ACL,就是AccessControlList,一个文件/书目的访问限制列表，可以

针对随意指定的用户/组安排RWX权限。现在主流的商业Unix系统都支持ACLo

下面举一个简洁的例子，来学习一下ACL的运用方法：

1、ACL的基本操作：添加和修改

首先新建一个文件作为实施ACL的对象：

[root@BI_gpfs01gpfs]#touchtestaci

[root@BI_gpfs01gpfs]#II

total0

-rw-r-r-1rootroot0Mar2013:18testaci

然后看一下这个文件缺省的ACL,这时这个文件除了通常的UGO的权限之外,

并没有ACL：

[root@BI_gpfs01gpfs]#getfacltestaci

#file:testaci

#owner:root

#group:root

user::rw-

group::r--

other::r-

通过setfacl吩咐可以设置文件的ACL,如下：

setfacl-mu:testul:rwtestaci

这条吩咐就给testaci文件增加了一条ACL,是的用户testul对该文件具有读

写权限。

此时再查看testaci的ACL,可视察到如下显示：

[root@BI_gpfs01gpfs]#getfacltestaci

#file:testaci

#owner:root

#group:root

user::rw-

user:testul:rw-

group::r-

mask::rw-

other::r-

此时我们运用IS吩咐查看会发觉：

[root@BI_gpfs01gpfs]#ls-Itestaci

-rw-rw-r-+1rootroot0Mar2013:32testaci

可以看到那个了么？就在通常我们看到的权限位的旁边。这个说明testaci

设置了ACL,接下来我们修改一下testul的权限，同时给testgl这个组以读的

权限：

[root@BI_gpfs01gpfs]#setfacl-mu:testul:rwx,g:testgl:rtestaci

[root@BI_gpfs01gpfs]#getfacltestaci

#file:testaci

#owner:root

#group:root

user::rw-

user:testul:rwx

group::r-

group:testgl:r-

mask::rwx

other::r-

可以看到设置后的权限，testul已经有了执行的权限，而testgl这个组也获

得了读取文件内容的权限。或许有人已经留意到了两个问题：首先，testaci的组

权限从r--变成了rw-o其次，mask是什么?为什么也改变了呢？我们先从mask

说起。假如说acl的优先级高于UGO,那么mask就是一个名副其实的最终一道

防线。它确定了一个用户/组能够得到的最大的权限。这样我们在不破坏已有ACL

的定义的基础上，可以临时提高或是降低平安级别：

[root@BI_gpfs01gpfs]#setfacl-mmask::rtestaci

[root@BI_gpfs01gpfs]#getfacltestaci

#file:testaci

ftowner:root

#group:root

user::rw-

user:testul:rwx#effective:r-

group::r--

group:testgl:r-

mask::r--

other::r-

[root@BI_gpfs01gpfs]#Is-Itestaci

-rw-rw-r-+1rootroot0Mar2013:48testaci

在testul对应的ACL项的后边出现了effective的字样，这是实际testul得到

的权限。Mask只对其他用户和组的权限有影响，对owner和other的权限是没有

任何影响的。执行Is的结果也显示UG。的设置也有了对应的改变。因为在运用

了ACL的状况下，group的权限显示的就是当前的mask。通常我们把mask设置

成rwx,以不阻挡任何的单个ACL项。

*须要留意的是，每次修改或添加某个用户或组的ACL项的时候，mask都会

随之修改以使最新的修改能够真正生效。所以假如须要一个比较严格的mask的

话，可能须要每次都重新设置一下masko

2、ACL的其他功能：删除和覆盖

setfacl-x吩咐删除某条ACL设置

setfacl-xg:testgltestaci

setfad-b吩咐删除全部ACL设置

3、书目的默认ACL

假如我们希望在一个书目中新建的文件和书目都运用同一个预定的ACL,那

么我们可以运用默认(Default)ACLo在对一个书目设置了默认的ACL以后，每个

在书目中创建的文件都会自动继承书目的默认ACL作为自己的ACLo用setfacl的

-d选项就可以做到这一点：

4、备份和复原ACL

例如备份dirl的ACL：

getfacl-Rdirl>dirl.acl

删除dirl的全部ACL

setfacl-R-bdirl

复原被删除的dirl的ACL

setfacl-restoredirl.acl

参考：

3、GPFS软件的安装和打算工作

GPFS软件安装部分主要参考文档:〈〈Concepts,Planning,andInstallation

Guide»o该文档具体介绍了在AIX,Linux以及window环境安装GPFS的方法。

3.1必需安装的LinuxRPM包

RHEL上须要安装必要的LinuxRPM包，假如缺失rpm,GPFS安装将无法进

行：

make

perl

rsh

ld-linux.so

libm.so.6

libc.so.6

ksh

libstdc++.so.5

rsh-server

rpcbind

xinetd

libao

cpp

gcc-c++

gcc

nfs-utils

kernel-headers

kernel-devel

compat-libstdc++

compat-libstdc++-33.x86_64

glibc-devel

imake

rpm-build

2.2软件上传至目的Linux分区

在每个分区/tmp文件系统上建立GPFS安装书目/tmp/gpfs_install,并将安装

软件介质上传至该书目：

1,建立/home/gpfs_base/

将基础软件包GPFS3.5文件夹上传至各个节点对应书目：

2.建立/tmp/gpfs_fix/

将升级软件包.gz上传至各个节点对应书目。

2.3在每个节点上安装GPFS软件包

三个节点安装过程一样，下面仅表述1节点的安装过程，其余节点安装方法

一样。

2.3.1GPFS基础包安装

#cd/home/gpfs_base/GPFS3.5

上传的文件假如是压缩包，首先对压缩包进行解压，本次上传文件为解压后

的文件，文件夹中可以看到以下文件：

drwxr-xr-x.2rootroot4096Dec1001:28license

-rw-r--r-.1rootroot39Dec1001:28status.dat

运用rpm吩咐安装软件包

rpm-ivh*.rpm

安装后运用rpm-qa|grepgpfs检查GPFS软件安装状况

2.3.2GPFS升级包安装

将打算好的升级包上传至各个节点。

#cd/home/gpfs_fix

#gunzip.gz

#tar-xvf

解压后，可以看到文件夹下有以下文件：

-rw-r-r-.1rootroot4558Cct322:24changelog

-rw-r—r-.1rootroot5947Sep1022:33README

运用rpm吩咐进行升级:

rpm-Uvh*.rpm

升级后运用rpm-qa|grepgpfs检查GPFS软件安装状况

2.4GPFS软件编译

在一个节点上对GPFS软件进行编译

itcd/usr/lpp/mmfs/src

makeAutoconfig

makeWorld

makeInstalllmages

makerpm生成编译后的rpm包，（在其他节点可以跳过编译过程，干脆安装编译

过的rpm包即可）

位置在/root/rpmbuild/RPMS/x86_64/

将编译生成的rpm包传送到其他节点。

scp/root/rpmbuild/RPMS/x86_64/

192.168.0.2:/root/rpmbuild/RPMS/:<86_64/gpm

scp/root/rpmbuild/RPMS/x86_64/

192.1G8.0.3:/root/rpmbuild/RPMS/x8G_G4/gpm

scp/root/rpmbuild/RPMS/x86_64/

192.168.0.10:/root/rpmbuild/RPMS/x86_64/gpm

安装rpm包

rpm-ivh

2.5GPFS环境变量设置

在每个节点上编辑/etc/profile,添加

PATH=$PATH:/usr/lpp/mmfs/bin

4、GPFS环境配置文件打算

4.1、创建节点描述文件

Vi/tmp/gpfs_config/gpfs_nodes

Bl_gpfs01:quorum-manager

Bl_gpfs02:quorum-manager

Bl_gpfs03:quorum-manager

Bl_gpfs04:quorum-manager

Bl_gpfs05:quorum-manager

BI_gpfsO6:manager

BI_gpfsO7:manager

BI_gpfsO8:manager

BI_gpfsO9:manager

BI_gpfslO:manager

4.2＞创建磁盘描述文件

Vi/tmp/gpfs_config/gpfs_nsd

内容可参考如下：

gpfs_nsdl.txt

4.3＞创建主机信任…SSH

在每个节点上分别操作：

#yum-yinstallopenssh-clients安装openssh

井ssh-koygcn-trsa-b2048生成ssh-kcy

在一节点中

#cd/root/.ssh/

#cpid_rsa.pubauthorized_keys

#scp192.168.0.2:/root/.ssh/id_rsa.pub192.168.0.1:/root/.ssh/authorized_keys.2

#scp192.168.0.3:/root/.ssh/id_rsa.pub192.168.0.1:/root/.ssh/authorized_keys.3

#scp192.168.0.4:/root/.ssh/id_rsa.pub192.168.0.1:/root/.ssh/authorized_keys.4

#scp192.168.0.5:/root/.ssh/id_rsa.pub192.168.0.1:/root/.ssh/authorized_keys.5

#scp192.168.0.6;/rool/.ssh/id_rsa.pub192.168.0.1;/rool/.ssli/auUiorized_keys.6

#scp192.168.0.7:/root/.ssh/id_rsa.pub192.168.0.1:/root/.ssh/authorized_keys.7

#scp192.168.0.8:/root/.ssh/idrsa.pub192.168.0.1:/root/.ssh/authorized_keys.8

#scp192.168.0.9:/root/.ssh/id_rsa.pub192.168.0.1:/root/.ssh/authorized_keys.9

#scp192.168.0.10:/root/.ssh/id_rsa.pub192.168.0.17root/.ssh/authorized_keys.10

#catauthorized_keys.2»authorized_keys

#catauthorized_keys.3»authorized_keys

#catauthorized_keys.4»authorized_keys

#catauthorized_keys.5»authorized_keys

#catauthorizedkeys.6»authorizedkeys

#catauthorized_keys.7»authorized_keys

#catauthorized_keys.8»authorized_keys

#catauthorized_keys.9»authorized_keys

#catauthorized_keys.10»authorized_keys

#catauthorized_keys检查是否每个节点的key是否都在该文件中

拷贝1节点的authorized_keys到其他节点中：

scp192.168.0.17root/.ssh/authorized_keys192.168.0.2:/root/.ssh/authorized_keys

scp192.168.0.17root/.ssh/authorized_keys192.168.0.3:/root/.ssh/authorized_keys

scp192.168.0.1yroot/.ssh/authorizedkeys192.168.0.4:/root/.ssh/authorizedkeys

scp192.168.0.17root/.ssh/authorized_keys192.168.0.5:/root/.ssh/authorized_keys

scp192.168.0.17root/.ssh/authorizedkeys192.168.0.6:/root/.ssh/authorizedkeys

scp192.168.0.17root/.ssh/authorized_keys192.168.0.7:/root/.ssh/authorized_keys

scp192.168.0.17root/.ssh/authorized_keys192.168.0.8:/root/.ssh/authorized_keys

scp192.168.0.1yroot/.ssh/authorized_keys192.168.0.9:/root/.ssh/authorized_keys

scp192.166.U.17root/.ssh/authonzed_keys192.168.0.1o：/root/.ssh/authonzed_keys

在三个节点上分别执行

#vi/etc/ssh/sshd_config修改PermitRootLoginyes.去掉#

#servicesshdrestart

配置后验证ssh连接是否正常

Tips:该tips未阅历证，简洁的解决known_hosts问题的方法是删除known_hosts,然后从新登陆一遍。

停止CSM维护known_hosts文件，如下所示。这个文件中包含了许多主机名。假如一个主机已经出现

在这个文件中，那么SSH就不会提示用户确认连接。CSM会试图维护这个文件，但是在一个不须要根密

码访问的混合集群环境中，这可能会成为一种障碍。

stoocondrespNodeFulllnstallConpleteSetupSSHAndRunCFM

startcondrespNodeFulllnstallCompleteRunCFMToNode

perl-pe's!(.*update_knownhosts.*)!#$1!'-i/opt/csm/csmbin/RunCFMToNode

生成一个系统范围的known_hosts文件。这最好通过创建一个脚原来实现，如下所示。运行这个脚本并将

输111重定向到/cfmroot/root/.ssh/known_hosts中。

#!/bin/bash

RSA_PUB=$(cat'7cfmroot/etc/ssh/ssh_host_rsa_key.pub',)

DSA_PUB=$(cat7cfmroot/etc/ssh/ssh_host_dsa_key.pub")

fornodein$(lsnodes);do

ip=$(grep$node/etc/hosts|head-n1|awk'{print$1}')

short=$(grep$node/etc/hosts|head-n1|awk'{print$3}')

echo$ip,$node,$short$RSA_PUB

echo$ip,$node,$short$DSAPUB

done

44、确认连接磁盘

#fdisk-l

可以找到名为sdb(大小为9090G)

pvcreate/dev/sdb/dev/sdb

pvscan

vgcreatevgOl/dev/sdb

vgdisplay

Ivcreate-L550G-nlv_mdatalvgOl

Ivcreate-L8500G-nlv_data01vgOl

同理，在其余节点创建相应的PV,LVo

Ivremove-fvgOl/lv_data01

5、GPFS集群配置

5.1、建立集群

建立及管理集群主要参考文档《AdministrationandProgrammingReference》。

该文档对如何创建，管理GPFS集群做了具体介绍，对GPFS管理常用吩咐也做了具

体说明。

5.1.K创建集群

mmcrcluster-n/tmp/gpfs_conf/gpfs_nodes-CBl_gpfs_cluster-pBI_gpfsOl-sBI_gpfsO2-r/usr/bin/ssh-R

/usr/bin/scp

《标记设置了集群名。

-p设置主配置服务器节点。

-s设置次配置服务器节点。

-r为GPFS运用的远程shell程序设置完整路径。

-R设置GPFS运用的远程文件拷贝程序。

mmchlicenseserver--accept-N

BI_gpfs0LBI_gpfs02,BI_gpfs03,BI_gpfs04,BI_gpfs05,BI_gpfs06,BI_gpfs07,BI_gpfs08,BI_gpfs09,BI_gpf$10

tips：此处创建出现不胜利状况，创建过程中节点间始终尝试连接，无法连接胜利的样子，可事实上通过SSh

各节点之间是可以正常连接的。出现该问题的症结在于linux防火墙。检查及关闭防火墙的方法见附录。

5.1.2＞显示配置信息

mmlscluster

查看节点是否均为quorummanager角色

52、创建NSD

5.2.l^运用mmernsd创建NSD

描述文件为/tmp/gpfs_conf/gpfs_disk

mmernsd-F/tmp/gpfs_conf/gpfs_disk

522、显示NSD

mmlsnsd-M

确认nsd名称和nsdserver是否正确

5.3、启动GPFS文件系统

mmstartup-a

54、查看GPFS文件系统状态

mmgetstate-a

查看节点是否均为active

5.5、建立文件系统

mmcrfsgpfs-F/tmp/gpfs_conf/gpfs_disk-Ayes-B512K-jcluster-m2-r2-M3-R3--block-group-factor

128-sfailuregroupRoundRobin-write-affinity-depth1-T/gpfs-metadata-block-size256K

Explanation：

Awriteaffinitydepthof1indicatesthatthefirstcopyiswrittentothewriternode.Forthe

remainingreplicas,eachreplicaisstripedacrossthedisksinacyclicalfashionwiththerestriction

thatnotwodisksareinthesamefailuregroup.

mmcrfsgpfs-F/tmp/gpfs_conf/gpfs_disk-B512K-m2-r2-Qyes-write-affinity-depth1-T/gpfs

-metadata-block-size256K

5.6、检查文件系统

#cat/etc/fstab

#df-h

Tips：此处创建完文件系统后发觉文件系统无法正常写入文件，摘错提示说文件系统已满。问题出来了文件

存储策略上,由于创建nsd时分别创建了metadata和data两个独立