GPFS3.4安装与配置.doc

GPFS3.4 安装与配置V1.0雪王子2011/10/20作者声明：本文是作者根据所做的 GPFS 实验所著，只是作为作者的一个实验笔记，供以后查看。实验环境难免与实际的生产环境有所区别，此外，作者的经验与能力有限，在文章中不可避 免会有些错误，还请使用者谅解并更正。本文仅供参考，作者不承担任何责任，特此声明。1 / 13目录一、环境信息. 3 二、安装软件. 3 三、GPFS 配置.41.配置各节点访问权限. 42.创建节点文件. 43.创建 GPFS 集群.54.修改许可. 55.创建 NSD(网络共享磁盘)文件. 66.创建 NSD. 67.创建 Tiebreaker 文件.68.创建 Tiebreaker 磁盘.79.启动 GPFS.710.创建 GPFS 文件系统. 711.修改 pagepool 大小. 812.挂载 GPFS 文件系统. 9四、GPFS 管理与维护.91.增加节点. 92.添加硬盘到已有的 GPFS 设备. 10 五、删除 GPFS.10 附录.10 附录一：网络共享磁盘(NSD).10 附录二：GPFS 可靠性分析和设计思路. 11 参考资料.122 / 13一、 环境信息主机名操作系统IP 地址用途DCAPP01AIX6.1192.168.18.91gpfs 主服务器，quorum 节点DCAPP02AIX6.1192.168.18.92gpfs 从服务器，quorum 节点DCAPP03AIX6.1192.168.18.93gpfs 客户端DCAPP04AIX6.1192.168.18.94gpfs 客户端二、 安装软件需要在全部节点上安装 GPFS 软件。 在 GPFS 软件目录运行 smitty install选择 Install and Update Software选择 Install Software在 INPUT device / directory for software 中填入./3 / 13在 SOFTWARE to install 中选择_all_latest，ACCEPT new license agreements?选择 yes，回车进行安装。安装完成后运行 lslpp -l|grep gpfs，会显示已安装的 GPFS 软件包将/usr/lpp/mmfs/bin 路径加入到/etc/environment 文件的 PATH 中，使在系统中可以直接运行gpfs 命令。三、GPFS 配置1. 配置各节点访问权限在全部节点上用 root 用户在/下创建.rhosts 文件，添加内容为+确保运行 rsh IP 地址时不提示输入密码。 在/etc/hosts 中添加其他节点的 IP 地址和主机名。2. 创建节点文件在/tmp/mmfs(可以使用其他路径)中创建一个名称为 nodefile 的文件，内容如下4 / 13将 DCAPP01 和 DCAPP02 设置为管理和 quorum 节点，将 DCAPP03 和 DCAPP04 设置为客户端节点。3. 创建 GPFS 集群mmcrcluster -C dcgpfs -N /tmp/mmfs/nodefile -p DCAPP01 -s DCAPP02dcgpfs：节点名/tmp/mmfs/nodefile：节点文件 DCAPP01：主服务节点 DCAPP02：辅助服务节点运行 mmlscluster 查看集群状态4. 修改许可分别运行mmchlicense server -accept -N DCAPP01,DCAPP02mmchlicense client -accept -N DCAPP03,DCAPP04DCAPP01、DCAPP02、DCAPP03、DCAPP04：节点名 服务节点或 quorum 节点用 server5 / 13客户端节点用 client5. 创建 NSD(网络共享磁盘)文件在/tmp/mmfs 中创建名为 nsdfile 的文件，内容如下hdisk2：硬盘名 DCAPP01、DCAPP02：节点名 dataAndMetadata:磁盘用途 见附录一6. 创建 NSD运行 mmcrnsd -F /tmp/mmfs/nsdfile -v no 创建 NSD/tmp/mmfs/nsdfile：NSD 文件-v：参数，检查磁盘中是否有数据，no 为不检查，yes 为检查 运行 mmlsnsdFile system 项为 free disk 表示该 nsd 没有创建文件系统7. 创建 Tiebreaker 文件在/tmp/mmfs 中创建名为 tiensd 的文件，内容如下6 / 138. 创建 Tiebreaker 磁盘运行 mmcrnsd -F /tmp/mmfs/tiensd，创建 Tiebreaker 磁盘mmlsnsd 查看 nsd 状态可以看到 Tiebreaker 磁盘不属于任何 server。运行 mmchconfig tiebreakerDisks=”nsd_tb1;nsd_tb2;nsd_tb3”9. 启动 GPFS运行 mmstartup -a，启动所有节点的 GPFS。mmstartup -N 节点名，启动单个节点的 GPFS。10. 创建 GPFS 文件系统mmcrfs gpfs01 gpfs1nsd -B 256K -T /gpfs01 gpfs01：保存在/dev 下的 GPFS 文件名 gpfs1nsd：NSD 磁盘名/gpfs01：mount 点-B：参数，设置 block 大小 运行 mmlsnsd，查看 nsd 状态File system 项会有文件系统的名称运行 mmlsfs all，显示所有文件系统信息7 / 13运行 mmdf 文件系统名，查看文件系统使用情况11. 修改 pagepool 大小运行 mmchconfig pagepool=512m，将 pagepool 的大小修改成 512m。使用 GPFS pagepool 可以缓存用户数据和文件系统元数据。pagepool 机制允许 GPFS 将读 请求与写请求异步实现。增加 pagepool 的大小可以增大 GPFS 可以缓存的数据或元数据 量，而不需要执行同步 I/O。 pagepool 的默认值是 64 MB。最大 GPFS pagepool 大小是 8GB。所允许的最小值是 4 MB。pagepool 的理想大小取决于应用程序以及对其重新访问的数据的有效缓存的需要。如果系 统中的应用程序可以访问大型文件、重用数据、可以从 GPFS 数据预取获益或具有随机 I/O8 / 13模式，增加 pagepool 的值可能会进一步获益。然而，如果该值设置得太大，那么 GPFS 就 无法启动。对于示例集群来说，集群中所有节点的 pagepool 所使用的值都是 512 MB。12. 挂载 GPFS 文件系统各节点运行 mount /gpfs01 挂载文件系统即可使用。 运行 mmlsconfig，查看配置信息四、GPFS 管理与维护1. 增加节点在要增加的节点上安装 GPFS，并创建/.rhosts 文件，在/etc/hosts 中添加其他节点的 IP 地址 和主机名。运行 mmaddnode -N DCAPP05DCAPP05：要增加的节点名 或mmaddnode -N DCAPP06:quorum-manager,DCAPP07:quorumDCAPP06 作为管理节点和 quorum 节点加入到 GPFS 中，DCAPP07 作为 quorum 节点加入到GPFS 中。9 / 132. 添加硬盘到已有的 GPFS 设备现将要添加的磁盘创建成 NSD 磁盘，运行 mmadddisk gpfs01 gpfs2nsd -r gpfs01：在/dev 中已存在的 gpfs 设备gpfs2nsd：生成的 nsd 名称r：参数，平衡所有已存在的文件到新的磁盘五、 删除 GPFSfuser kcu /gpfs01unmount /gpfs01#在所有节点mmdelfs gpfs01mmdelnsd F /tmp/mmfs/nsdfile 或 mmdelnsd “NSD 名称”mmshutdown a 或 mmshutdown -N 节点名mmdelnode n /tmp/mmfs/nodefile 或 mmdelnode -N 节点名mmdelnode f#各节点分别运行 注：多节点用“,”隔开附录附录一：网络共享磁盘(NSD)NSD 是由磁盘映射出来的虚拟设备，NSD 与磁盘是一一对应的关系。NSD 被标记了不同属 性来区分其用途，我们可以将磁盘标记为 4 种用途：Desc Only：只存储 GPFS 文件系统描述信息的磁盘。Data Only：只存储文件系统中的数据信息。Meta data only: 只存储文件系统中的目录结构 inode 信息。Meta and data: 存储所有信息（默认）。10 / 13附录二：GPFS 可靠性分析和设计思路GPFS 的数据完整性一方面是由以上提到的数据安全机制来保证，另外也通过一套可用 性判断机制来完全保证数据完整性与系统安全。GPFS 提供三套不同的 quorum 机制来判断 系统当前的状态，其中 File Descriptor Quorum 是系统内置的，不能做配置，另外两种 node quorum 和 tiebreaker quorum 方式只能二者选其一，使用那种方式要基于我们的系统环境 与可靠性分析。File system Descriptor Quorum：File system Descriptor 顾名思义即描述文件系统信息的 数据。我们在几个不同的 failure-group 的磁盘上创建 GPFS 文件系统时，会把文件系统的配 置信息(简写为 FD)的拷贝写到多个磁盘上，以实现冗余备份。 FD quorum 的机制即通过判 断含有 FD 磁盘的在线情况来判断当前系统是否正常，当超过半数的含有 FD 的磁盘掉线 时，就判断为系统故障，将会自动关闭文件系统。Node Quorum：是通过主机状态的来判断系统可用性的机制。 GPFS 文件系统集群中， 可以设置多个主机节点为 Quorum node。Node Quorum 的机制是通过判断 Quorum node 的状态来判断系统是否正常，当超过半数的 Quorum node 在线时，判断系统为正常，反之， 将关闭文件系统。Tiebreaker quorum：是通过磁盘的状态来判断系统的可用性。我们可以设置系统通过监 视指定的一些磁盘作为 Tiebreaker Disk。当超过半数的 Tiebreaker Disk 掉线时，则判断系统 故障，将自动关闭文件系统。Tiebreaker 最多只能配置两个用来监控磁盘状态的 quorum 主 机，当 2 台 quorum 主机都宕机的话，GPFS 系统也将会关闭。其优势在于节点数较少时 可用性较高，但节点数较多的情况建议采用 Node quorum 模式。根据以上三种判断机制，GPFS 自动判断系统的状态，当异常发生时自动关闭系统以保 护系统和数据的完整性。基于上面阐述的 GPFS 可用性机制，我们可以看出 GPFS 是通过上述的三种 quorum 机 制来检查资源是否超过半数状态正常来判断系统状态好坏。我们在设计 GPFS 文件系统集群 的时候需要注意最好保证各种资源数都为 2N+1 个(N 是指数量)，也即数量为奇数，来获得 系统最大的可用性。 Filesystem Descriptor (FD)Quorum 的设计。我们在一般的生产系统中都会使用两组不 同的 failure group 的磁盘来创建一个文件系统，以实现数据的冗余保护，但是丢失一个failure group 的磁盘实际不影响数据的完整性，但是由于 FD quorum 2N+1 的机制，文件系统仍将会关闭，所以我们在创建一个 GPFS 文件系统时，可以通过增加一个很小的本地的磁盘作为第三个 failure group。以实现 2N+1 的冗余设计。本地的磁盘可以设置为只保存 GPFS 文件系统信息(FD)，实际不参与数据读写。 (同一个 failure group 的磁盘是指有可能同时坏 掉的磁盘，比如来自同一个存储的磁盘或连在同一个适配器上的磁盘) Node Quorum 如果采用了 2N+1 个 Quorum Node，那么这个系统就能容忍 N 个主 机节点的离线，所以如果主机节点小于 5 个采用此种方法都不是很经济，此时建议采用 Tiebreaker quorum 机制。 Tiebreaker quorum 只能配置两个 quorum 主机，但是只要 tiebreaker 磁盘在线，只 有一个 quorum 主机状态正常，系统也能正常工作，同时也意味着必须有一台 quorum 主 机在线。如果是主机节点数较多的情况，采用此种机制其可靠性不如 Node quorum。参考资料构建高可