GPFS-for-linux安装与实施文档

精品文档 1欢迎下载1欢迎下载 GPFS for linux 实施配置文档 Red Hat linux 平台 精品文档 2欢迎下载2欢迎下载 目录 1 GPFS for linux 实施规划 3 1 1 规划概要 3 1 2 网络设计规划 4 1 3 存储设计规划 4 2 Linux 的安装及配置 6 2 1 制作 Linux Yum 源 6 2 2使用 Linux Yum 源安装必备 rpm 包 7 2 3Linux 系统中添加网络设备 7 3 GPFS 软件的安装和准备工作 9 3 1 必须安装的 Linux RPM 包 9 2 2 软件上传至目的 Linux 分区 10 2 3 在每个节点上安装 GPFS 软件包 10 2 3 1 GPFS 基础包安装 10 2 3 2 GPFS 升级包安装 11 2 4 GPFS 软件编译 11 2 5 GPFS 环境变量设置 12 4 GPFS 环境配置文件准备 13 4 1 创建节点描述文件 13 4 2 创建磁盘描述文件 13 4 3 创建主机信任 SSH 13 4 4 确认连接磁盘 15 5 GPFS 集群配置 16 5 1 建立集群 16 精品文档 3欢迎下载3欢迎下载 5 1 1 创建集群 16 5 1 2 显示配置信息 16 5 2 创建 NSD 16 5 2 1 使用 mmcrnsd 创建 NSD 16 5 2 2 显示 NSD 17 5 3 启动 GPFS 文件系统 17 5 4 查看 GPFS 文件系统状态 17 5 5 建立文件系统 17 5 6 检查文件系统 17 5 7 GPFS 集群调优 17 6 GPFS 文件系统测试 19 6 1 文件系统测试 19 6 2 高可用测试 20 1 1 GPFSGPFS forfor linuxlinux 实施规划实施规划 随着客户对数据越来越高的要求 现有架构的数据传输的速度可能会在将来成为系统分 析性能的瓶颈 为了解决该问题 结合 IBM GPFS 并行文件系统在海量文件处理方面的算法优 势及 x86 Linux 服务器的处理性能 搭建一套测试 GPFS 文件系统作为数据平台 来提升数据 精品文档 4欢迎下载4欢迎下载 仓库平台的数据传输性能是一个不错的选择 本文档主要针对在 X86 平台上实施 GPFS 文件系 统进行介绍 可供有相关需求的客户参考 1 11 1 规划概要规划概要 本次实施以在 10 台 IBM X3755 主机上部署 GPFS FPO 为例 安装配置一套 10 节点的 GPFS 集群 可用作数据仓库 提供共享文件系统服务 机柜位置机柜位置柜内位置柜内位置主机型号主机型号型号型号序列号序列号ipip 地址地址 cpucpumemmem 硬盘硬盘系统版本系统版本 X3755192 168 0 14 2 4G128G2T 8 RH 6 3 X3755192 168 0 24 2 4G128G2T 8 RH 6 3 X3755192 168 0 34 2 4G128G2T 8 RH 6 3 X3755192 168 0 44 2 4G128G2T 8 RH 6 3 X3755192 168 0 54 2 4G128G2T 8 RH 6 3 X3755192 168 0 64 2 4G128G2T 8 RH 6 3 X3755192 168 0 74 2 4G128G2T 8 RH 6 3 X3755192 168 0 84 2 4G128G2T 8 RH 6 3 X3755192 168 0 94 2 4G128G2T 8 RH 6 3 X3755192 168 0 104 2 4G128G2T 8 RH 6 3 本次实施相关系统及软件版本 RHEL OS Version 6 3 GPFS Version 3 5 0 13 IBM X3755 配置情况 CPU AMD6234 4 Core 2 4GHz 精品文档 5欢迎下载5欢迎下载 内存 128GB 共享存储空间 2T 6 10 1 21 2 网络设计规划网络设计规划 本次 GPFS 集群搭建需要两组网络 一组集群通信网络 用于 GPFS 节点间的 信息交互及同步 建议使用高速网络 比如 IB 网络 可充分发挥 GPFS 文件系 统的高性能 一组管理网络 用于服务器管理 可使用普通 IP 网络 GPFS 集群通信网络 192 168 0 0 24 通常为一个单独的私有网络 BI gpfs01 192 168 0 1 BI gpfs02 192 168 0 2 BI gpfs03 192 168 0 3 BI gpfs04 192 168 0 4 BI gpfs05 192 168 0 5 BI gpfs06 192 168 0 6 BI gpfs07 192 168 0 7 BI gpfs08 192 168 0 8 BI gpfs09 192 168 0 9 BI gpfs10 192 168 0 10 服务器管理网络 192 168 1 0 24 使用客户的生产管理网络 BI node01 192 168 1 1 BI node02 192 168 1 2 精品文档 6欢迎下载6欢迎下载 BI node03 192 168 1 3 BI node04 192 168 1 4 BI node05 192 168 1 5 BI node06 192 168 1 6 BI node07 192 168 1 7 BI node08 192 168 1 8 BI node09 192 168 1 9 BI node10 192 168 1 10 1 31 3 存储设计规划存储设计规划 存储空间规划如下 每个节点使用本地盘创建 NSD 节点本身为 NSD server 每个节点有 6 块裸 盘 raid5 规划后大小为近 10T 规划两个 LV 一个 LV 做 metadata pool 一 个 LV 做 data pool 共 6 10 块磁盘 每块 2 TB 基于以上设计 GPFS 基础规划如下 节点名操作系统版本硬盘集群名NSD 名 NsdServer BI gpfs01RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk1 hdisk2BI gpfs01 BI gpfs02RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk3 hdisk4BI gpfs02 BI gpfs03RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk5 hdisk6BI gpfs03 BI gpfs04RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk7 hdisk8BI gpfs04 精品文档 7欢迎下载7欢迎下载 BI gpfs05RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk9 hdisk10BI gpfs05 BI gpfs06RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk11 hdisk12BI gpfs06 BI gpfs07RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk13 hdisk14BI gpfs07 BI gpfs08RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk15 hdisk16BI gpfs08 BI gpfs09RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk17 hdisk18BI gpfs09 BI gpfs10RedHat 6 3dm 2 dm 3BI gpfs clusterHdisk19 hdisk20BI gpfs10 精品文档 8欢迎下载8欢迎下载 2 2 LinuxLinux 的安装及配置的安装及配置 Linux 的安装与配置这里不做过于详细的介绍 就是安装操作系统 此处针 对可能会遇到的一下问题做简单说明 2 12 1 制作制作 LinuxLinux YumYum 源源 为了防止后续使用中发现操作系统缺少安装包 此处建议安装完操作系统 后将操作系统镜像上传到系统中 制作本地 Linux Yum 源 当然如果客户现场 有配置网络 Yum 源也行 下面简单介绍一个制作 Yum 源的方法 具体有不明白 的地方可以百度一下 你就知道 创建源文件存放的目录 mkdir home iso 将光盘文件复制到服务器上的源目录 cp a media home iso 新建一个 yum 源的响应文件 vi etc yum repos d local repo 文件内容如下 base name linux 6 baseurl file home iso gpgcheck 0 精品文档 9欢迎下载9欢迎下载 enable 1 修改 yum 源的地址 vi usr lib python2 6 site packages yum yumRepo py 在上面的文件中找到下面这行 remote url relative 将其改为 remote tmp yum relative 2 22 2 使用使用 LinuxLinux YumYum 源安装必备源安装必备 rpmrpm 包包 通过使用 Yum 安装必要的安装包很方便 只需执行 yum y install 该命令的具体使用方法可自行查找 yum y install make perl rsh ld linux so libm so 6 libc so 6 ksh libstdc so 5 yum y install rsh server rpcbind xinetd libaio cpp gcc c gcc nfs utils yum y install kernel headers kernel devel compat libstdc glibc devel libXp so 6 imake rpm build yum y install compat libstdc 2 32 3 LinuxLinux 系统中添加网络设备系统中添加网络设备 在 linux 系统中 由于某种原因造成网络设备丢失 或者我们新添加一个 网卡 系统启动后可能查看不到新加网卡的状态 此时需要人工添加新的网络 设备 精品文档 10欢迎下载10欢迎下载 以新加一个 IB 卡为例 方法方法 1 1 可以通过 setup network configuration device configuration new device 添加一个网络设备 例如我们添加了一个 ib0 网络设备 IP 设置为 192 168 0 1 通过以下步 骤 则在 etc sysconfig network scripts 下会产生一个 ifcfg ib0 的配置文 精品文档 11欢迎下载11欢迎下载 件 文件内容如下 DEVICE ib0 BOOTPROTO none NETMASK 255 255 255 0 TYPE Ethernet HWADDR a0 00 01 00 fe 80 00 00 00 00 00 00 00 02 C9 03 00 57 2F 1F IPADDR 192 168 0 1 ONBOOT yes IPV6INIT no USERCTL no note 这里 HWADDR 需要手动更改 查看 ib0 的 HWADDR 方法可以使用 ifconfig ib0 或者 ifdown ib0 来查看 ONBOOT yes 代表开机该设备会自动挂起 否则需要手动挂起 2 42 4 LinuxLinux 系统中用户与组的操作系统中用户与组的操作 Linux 系统中添加用户及组 删除用户及组 以及修改用户或组的属性 使用命令如下 useradd 使用时可使用 man 查看用法 比如 u 设置 uid g 设置 gid 等 在集 群环境中 uid 和 gid 需保持一致 groupadd usermod n 更改用户名 u 更改 uid g 更改 gid username 精品文档 12欢迎下载12欢迎下载 groupmod n 更改组名 g 更改 gid groupname 最好是在创建用户或组之前做好规划 uid gid 名称 home 目录等 以免 造成后来有冲突 特别是在集群环境中 2 52 5 LinuxLinux 系统中系统中 ACLACL 简单介绍简单介绍 在安全管理日益重要的今天 传统的 Unix 文件系统的 UGO 权限管理方式 已经无法满足日常系统管理工作的需要 而 ACL 机制逐渐成为主流的权限管理 方式 通常情况下 UGO 可以满足权限要求 特殊情况下才需要通过 ACL 进行扩展 管理 所谓 ACL 就是 Access Control List 一个文件 目录的访问控制列表 可以针对任意指定的用户 组分配 RWX 权限 现在主流的商业 Unix 系统都支持 ACL 下面举一个简单的例子 来学习一下 ACL 的使用方法 1 ACL 的基本操作 添加和修改 首先新建一个文件作为实施 ACL 的对象 root BI gpfs01 gpfs touch testacl root BI gpfs01 gpfs ll total 0 rw r r 1 root root 0 Mar 20 13 18 testacl 然后看一下这个文件缺省的 ACL 这时这个文件除了通常的 UGO 的权限之外 并没有 ACL 精品文档 13欢迎下载13欢迎下载 root BI gpfs01 gpfs getfacl testacl file testacl owner root group root user rw group r other r 通过 setfacl 命令可以设置文件的 ACL 如下 setfacl m u testu1 rw testacl 这条命令就给 testacl 文件增加了一条 ACL 是的用户 testu1 对该文件具 有读写权限 此时再查看 testacl 的 ACL 可观察到如下显示 root BI gpfs01 gpfs getfacl testacl file testacl owner root group root user rw user testu1 rw group r mask rw other r 精品文档 14欢迎下载14欢迎下载 此时我们使用 ls 命令查看会发现 root BI gpfs01 gpfs ls l testacl rw rw r 1 root root 0 Mar 20 13 32 testacl 可以看到那个 了么 就在通常我们看到的权限位的旁边 这个说明 testacl 设置了 ACL 接下来我们修改一下 testu1 的权限 同时给 testg1 这 个组以读的权限 root BI gpfs01 gpfs setfacl m u testu1 rwx g testg1 r testacl root BI gpfs01 gpfs getfacl testacl file testacl owner root group root user rw user testu1 rwx group r group testg1 r mask rwx other r 可以看到设置后的权限 testu1 已经有了执行的权限 而 testg1 这个组也 获得了读取文件内容的权限 也许有人已经注意到了两个问题 首先 testacl 的组权限从 r 变成了 rw 其次 mask 是什么 为什么也变化了呢 我们先从 精品文档 15欢迎下载15欢迎下载 mask 说起 如果说 acl 的优先级高于 UGO 那么 mask 就是一个名副其实的最后 一道防线 它决定了一个用户 组能够得到的最大的权限 这样我们在不破坏已 有 ACL 的定义的基础上 可以临时提高或是降低安全级别 root BI gpfs01 gpfs setfacl m mask r testacl root BI gpfs01 gpfs getfacl testacl file testacl owner root group root user rw user testu1 rwx effective r group r group testg1 r mask r other r root BI gpfs01 gpfs ls l testacl rw rw r 1 root root 0 Mar 20 13 48 testacl 在 testu1 对应的 ACL 项的后边出现了 effective 的字样 这是实际 testu1 得到的权限 Mask 只对其他用户和组的权限有影响 对 owner 和 other 的权限 是没有任何影响的 执行 ls 的结果也显示 UGO 的设置也有了对应的变化 因 为在使用了 ACL 的情况下 group 的权限显示的就是当前的 mask 通常我们把 mask 设置成 rwx 以不阻止任何的单个 ACL 项 精品文档 16欢迎下载16欢迎下载 需要注意的是 每次修改或添加某个用户或组的 ACL 项的时候 mask 都会 随之修改以使最新的修改能够真正生效 所以如果需要一个比较严格的 mask 的 话 可能需要每次都重新设置一下 mask 2 ACL 的其他功能 删除和覆盖 setfacl x 命令 删除某条 ACL 设置 setfacl x g testg1 testacl setfacl b 命令 删除所有 ACL 设置 3 目录的默认 ACL 如果我们希望在一个目录中新建的文件和目录都使用同一个预定的 ACL 那 么我们可以使用默认 Default ACL 在对一个目录设置了默认的 ACL 以后 每 个在目录中创建的文件都会自动继承目录的默认 ACL 作为自己的 ACL 用 setfacl 的 d 选项就可以做到这一点 4 备份和恢复 ACL 例如备份 dir1 的 ACL 精品文档 17欢迎下载17欢迎下载 getfacl R dir1 dir1 acl 删除 dir1 的所有 ACL setfacl R b dir1 恢复被删除的 dir1 的 ACL setfacl restore dir1 acl 参考 精品文档 18欢迎下载18欢迎下载 3 3 GPFSGPFS 软件的安装和准备工作软件的安装和准备工作 GPFS 软件安装部分主要参考文档 该文档详细介绍了在 AIX Linux 以及 window 环境安装 GPFS 的方法 3 13 1 必须安装的必须安装的 LinuxLinux RPMRPM 包包 RHEL 上需要安装必要的 Linux RPM 包 如果缺失 rpm GPFS 安装将无法进 行 make perl rsh ld linux so libm so 6 libc so 6 ksh libstdc so 5 rsh server rpcbind xinetd libaio cpp gcc c gcc 精品文档 19欢迎下载19欢迎下载 nfs utils kernel headers kernel devel compat libstdc compat libstdc 33 x86 64 glibc devel libXp so 6 imake rpm build 2 22 2 软件上传至目的软件上传至目的 LinuxLinux 分区分区 在每个分区 tmp 文件系统上建立 GPFS 安装目录 tmp gpfs install 并将 安装软件介质上传至该目录 1 建立 home gpfs base 将基础软件包 GPFS3 5 文件夹上传至各个节点对应目录 2 建立 tmp gpfs fix 将升级软件包 GPFS 3 5 0 13 x86 64 Linux tar gz 上传至各个节点对应 目录 2 32 3 在每个节点上安装在每个节点上安装 GPFSGPFS 软件包软件包 三个节点安装过程一致 下面仅表述 1 节点的安装过程 其余节点安装方 精品文档 20欢迎下载20欢迎下载 法一致 2 3 12 3 1 GPFSGPFS 基础包安装基础包安装 cd home gpfs base GPFS3 5 上传的文件如果是压缩包 首先对压缩包进行解压 本次上传文件为解压 后的文件 文件夹中可以看到以下文件 rw r r 1 root root 10992478 Dec 10 01 28 gpfs base 3 5 0 0 amd64 deb rw r r 1 root root 11182009 Dec 10 01 28 gpfs base 3 5 0 0 x86 64 rpm rw r r 1 root root 205510 Dec 10 01 28 gpfs docs 3 5 0 0 all deb rw r r 1 root root 221562 Dec 10 01 28 gpfs docs 3 5 0 0 noarch rpm rw r r 1 root root 480042 Dec 10 01 28 gpfs gpl 3 5 0 0 all deb rw r r 1 root root 500281 Dec 10 01 28 gpfs gpl 3 5 0 0 noarch rpm rw r r 1 root root 95090 Dec 10 01 28 gpfs msg en us 3 5 0 0 all deb rw r r 1 root root 96641 Dec 10 01 28 gpfs msg en US 3 5 0 0 noarch rpm drwxr xr x 2 root root 4096 Dec 10 01 28 license rw r r 1 root root 39 Dec 10 01 28 status dat 使用 rpm 命令安装软件包 rpm ivh rpm 安装后使用 rpm qa grep gpfs 检查 GPFS 软件安装情况 精品文档 21欢迎下载21欢迎下载 2 3 22 3 2 GPFSGPFS 升级包安装升级包安装 将准备好的升级包上传至各个节点 cd home gpfs fix gunzip GPFS 3 5 0 13 x86 64 Linux tar gz tar xvf GPFS 3 5 0 13 x86 64 Linux tar 解压后 可以看到文件夹下有以下文件 rw r r 1 root root 4558 Oct 3 22 24 changelog rw r r 1 root root 27883520 Dec 10 01 26 GPFS 3 5 0 13 x86 64 Linux tar rw r r 1 30007 bin 12916640 Oct 1 03 55 gpfs base 3 5 0 13 amd64 update deb rw r r 1 30007 bin 13156422 Oct 1 03 51 gpfs base 3 5 0 13 x86 64 update rpm rw r r 1 30007 bin 236230 Oct 1 03 55 gpfs docs 3 5 0 13 all deb rw r r 1 30007 bin 254205 Oct 1 03 51 gpfs docs 3 5 0 13 noarch rpm rw r r 1 30007 bin 531014 Oct 1 03 55 gpfs gpl 3 5 0 13 all deb rw r r 1 30007 bin 554372 Oct 1 03 51 gpfs gpl 3 5 0 13 noarch rpm rw r r 1 30007 bin 104952 Oct 1 03 55 gpfs msg en us 3 5 0 13 all deb rw r r 1 30007 bin 106817 Oct 1 03 53 gpfs msg en US 3 5 0 13 noarch rpm rw r r 1 root root 5947 Sep 10 22 33 README 使用 rpm 命令进行升级 rpm Uvh rpm 升级后使用 rpm qa grep gpfs 检查 GPFS 软件安装情况 精品文档 22欢迎下载22欢迎下载 gpfs msg en US 3 5 0 13 noarch gpfs gpl 3 5 0 13 noarch gpfs docs 3 5 0 13 noarch gpfs base 3 5 0 13 x86 64 2 42 4 GPFSGPFS 软件编译软件编译 在一个节点上对 GPFS 软件进行编译 cd usr lpp mmfs src make Autoconfig make World make InstallImages make rpm 生成编译后的 rpm 包 在其他节点可以跳过编译过程 直接安装编译 过的 rpm 包即可 位置在 root rpmbuild RPMS x86 64 gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 13 x86 64 rpm 将编译生成的 rpm 包传送到其他节点 scp root rpmbuild RPMS x86 64 gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 13 x86 64 rpm 192 168 0 2 root rpmbuild RPMS x86 64 gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 13 x86 64 rpm scp root rpmbuild RPMS x86 64 gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 13 x86 64 rpm 192 168 0 3 root rpmbuild RPMS x86 64 gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 13 x86 64 rpm 精品文档 23欢迎下载23欢迎下载 scp root rpmbuild RPMS x86 64 gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 13 x86 64 rpm 192 168 0 10 root rpmbuild RPMS x86 64 gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 13 x86 64 rpm 安装 rpm 包 rpm ivh gpfs gplbin 2 6 32 279 el6 x86 64 3 5 0 3 x86 64 rpm 2 52 5 GPFSGPFS 环境变量设置环境变量设置 在每个节点上编辑 etc profile 添加 PATH PATH usr lpp mmfs bin 4 4 GPFSGPFS 环境配置文件准备环境配置文件准备 4 14 1 创建节点描述文件 创建节点描述文件 Vi tmp gpfs config gpfs nodes BI gpfs01 quorum manager BI gpfs02 quorum manager BI gpfs03 quorum manager 精品文档 24欢迎下载24欢迎下载 BI gpfs04 quorum manager BI gpfs05 quorum manager BI gpfs06 manager BI gpfs07 manager BI gpfs08 manager BI gpfs09 manager BI gpfs10 manager 4 24 2 创建磁盘描述文件 创建磁盘描述文件 Vi tmp gpfs config gpfs nsd 内容可参考如下 gpfs nsd1 txt 4 34 3 创建主机信任 创建主机信任 SSH SSH 在每个节点上分别操作 yum y install openssh clients 安装openssh ssh keygen t rsa b 2048 生成ssh key 在一节点中 cd root ssh cp id rsa pub authorized keys scp 192 168 0 2 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 2 scp 192 168 0 3 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 3 精品文档 25欢迎下载25欢迎下载 scp 192 168 0 4 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 4 scp 192 168 0 5 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 5 scp 192 168 0 6 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 6 scp 192 168 0 7 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 7 scp 192 168 0 8 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 8 scp 192 168 0 9 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 9 scp 192 168 0 10 root ssh id rsa pub 192 168 0 1 root ssh authorized keys 10 cat authorized keys 2 authorized keys cat authorized keys 3 authorized keys cat authorized keys 4 authorized keys cat authorized keys 5 authorized keys cat authorized keys 6 authorized keys cat authorized keys 7 authorized keys cat authorized keys 8 authorized keys cat authorized keys 9 authorized keys cat authorized keys 10 authorized keys cat authorized keys 检查是否每个节点的key是否都在该文件中 拷贝 1 节点的 authorized keys 到其他节点中 scp 192 168 0 1 root ssh authorized keys 192 168 0 2 root ssh authorized keys scp 192 168 0 1 root ssh authorized keys 192 168 0 3 root ssh authorized keys scp 192 168 0 1 root ssh authorized keys 192 168 0 4 root ssh authorized keys scp 192 168 0 1 root ssh authorized keys 192 168 0 5 root ssh authorized keys 精品文档 26欢迎下载26欢迎下载 scp 192 168 0 1 root ssh authorized keys 192 168 0 6 root ssh authorized keys scp 192 168 0 1 root ssh authorized keys 192 168 0 7 root ssh authorized keys scp 192 168 0 1 root ssh authorized keys 192 168 0 8 root ssh authorized keys scp 192 168 0 1 root ssh authorized keys 192 168 0 9 root ssh authorized keys scp 192 168 0 1 root ssh authorized keys 192 168 0 10 root ssh authorized keys 在三个节点上分别执行 vi etc ssh sshd config 修改PermitRootLogin yes 去掉 service sshd restart 配置后验证ssh连接是否正常 Tips 该tips未经验证 简单的解决known hosts问题的方法是删除known hosts 然后从新登陆一遍 停止 CSM 维护 known hosts 文件 如下所示 这个文件中包含了很多主机名 如果一个主机已经出现在 这个文件中 那么 SSH 就不会提示用户确认连接 CSM 会试图维护这个文件 但是在一个不需要根密码 访问的混合集群环境中 这可能会成为一种障碍 stopcondresp NodeFullInstallComplete SetupSSHAndRunCFM startcondresp NodeFullInstallComplete RunCFMToNode perl pe s update known hosts 1 i opt csm csmbin RunCFMToNode 生成一个系统范围的 known hosts 文件 这最好通过创建一个脚本来实现 如下所示 运行这个脚本并 将输出重定向到 cfmroot root ssh known hosts 中 bin bash RSA PUB cat cfmroot etc ssh ssh host rsa key pub 精品文档 27欢迎下载27欢迎下载 DSA PUB cat cfmroot etc ssh ssh host dsa key pub for node in lsnodes do ip grep node etc hosts head n 1 awk print 1 short grep node etc hosts head n 1 awk print 3 echo ip node short RSA PUB echo ip node short DSA PUB done 4 44 4 确认连接磁盘确认连接磁盘 fdisk l 可以找到名为 sdb 大小为 9090G pvcreate dev sdb dev sdb pvscan vgcreate vg01 dev sdb vgdisplay lvcreate L 550G n lv mdata1 vg01 lvcreate L 8500G n lv data01 vg01 同理 在其余节点创建相应的 PV LV lvremove f vg01 lv data01 精品文档 28欢迎下载28欢迎下载 5 5 GPFSGPFS 集群配置集群配置 5 15 1 建立集群 建立集群 建立及管理集群主要参考文档 Administration and Programming Reference 该文档对如何创建 管理GPFS集群做了详细介绍 对GPFS管理常 用命令也做了详细解释 5 1 15 1 1 创建集群 创建集群 mmcrcluster n tmp gpfs conf gpfs nodes C BI gpfs cluster p BI gpfs01 s BI gpfs02 r usr bin ssh R usr bin scp C 标志设置了集群名 p 设置主配置服务器节点 s 设置次配置服务器节点 r 为 GPFS 使用的远程 shell 程序设置完整路径 R 设置 GPFS 使用的远程文件拷贝程序 mmchlicense server accept N BI gpfs01 BI gpfs02 BI gpfs03 BI gpfs04 BI gpfs05 BI gpfs06 BI gpfs07 BI gpfs08 BI gpfs09 BI gpfs10 tips 此处创建出现不成功情况 创建过程中节点间一直尝试连接 无法连接成功的样子 可事实上通过 ssh 各节点之间是可以正常连接的 出现该问题的症结在于 linux 防火墙 检查及关闭防火墙的方法见附 录 精品文档 29欢迎下载29欢迎下载 5 1 25 1 2 显示 显示配置信息配置信息 mmlscluster 查看节点是否均为 quorum manager 角色 5 25 2 创建 创建 NSDNSD 5 2 15 2 1 使用 使用 mmcrnsdmmcrnsd 创建创建 NSDNSD 描述文件为 tmp gpfs conf gpfs disk mmcrnsd F tmp gpfs conf gpfs disk 5 2 25 2 2 显示 显示 NSDNSD mmlsnsd M 确认 nsd 名称和 nsd server 是否正确 5 35 3 启动 启动 GPFSGPFS 文件系统文件系统 mmstartup a 5 45 4 查看 查看 GPFSGPFS 文件系统状态文件系统状态 mmgetstate a 查看节点是否均为 active 5 55 5 建立文件系统 建立文件系统 mmcrfs gpfs F tmp gpfs conf gpfs disk A yes B 512K j cluster m 2 r 2 M 3 R 3 block group factor 128 s failuregroupRoundRobin write affinity depth 1 T gpfs metadata block size 256K Explanation 精品文档 30欢迎下载30欢迎下载 A write affinity depth of 1 indicates that the first copy is written to the writer node For the remaining replicas each replica is striped across the disks in a cyclical fashion with the restriction that no two disks are in the same failure group mmcrfs gpfs F tmp gpfs conf gpfs disk B 512K m 2 r 2 Q yes write affinity depth 1 T gpfs metadata block size 256K 5 65 6 检查文件系统 检查文件系统 cat etc fstab df h Tips 此处创建完文件系统后发现文件系统无法正常写入文件 报错提示说文件系统已满 问题出来了文 件存储策略上 由于创建 nsd 时分别创建了 metadata 和 data 两个独立的 pool 分别制定 metadataonly 和 dataonly 因此该处需要更改 policy 制定数据保存在 datapool 关于 policy 更多介 绍可