03FusionStorage在物理部署场景下安装部署指导手册

FusionStorage V100R003C30 与物理服务器与物理服务器安装部署安装部署 指南指南 文档版本文档版本 01 发布日期发布日期 2016 01 30 华为技术有限公司华为技术有限公司 版权所有版权所有 华为技术有限公司华为技术有限公司2016 保留一切权利 保留一切权利 非经本公司书面许可 任何单位和个人不得擅自摘抄 复制本文档内容的部分或全部 并不得以任何形式传 播 商标声明商标声明 和其他华为商标均为华为技术有限公司的商标 本文档提及的其他所有商标或注册商标 由各自的所有人拥有 注意注意 您购买的产品 服务或特性等应受华为公司商业合同和条款的约束 本文档中描述的全部或部分产品 服务 或特性可能不在您的购买或使用范围之内 除非合同另有约定 华为公司对本文档内容不做任何明示或默示 的声明或保证 由于产品版本升级或其他原因 本文档内容会不定期进行更新 除非另有约定 本文档仅作为使用指导 本 文档中的所有陈述 信息和建议不构成任何明示或暗示的担保 华为技术有限公司 地址 深圳市龙岗区坂田华为总部办公楼 邮编 518129 网址 客户服务邮箱 support 客户服务电话 4008302118 1 安装过程安装过程 ServerSAN 场景场景 物理部署物理部署 1 1 简介 1 1 1 流程简介 安装流程 图1 1 安装流程 流程介绍 FusionStorage 软件安装的各个环节介绍如下 安装服务器操作系统 根据 FusionStorage 的要求 为部署 FusionStorage Manager FSM 以及 FusionStorage Agent FSA 的服务器安装操作系统 部署 FSM 组件 使用 FusionStorage 安装工具 在规划部署 FSM 的服务器上安装 FSM 组件 并进 行网络配置 部署 FSA 组件 首先通过 FusionStorage 管理界面对服务器批量安装 FSA 组件 FSA 组件安装完成后 需根据安装了 FSA 的服务器在整个系统中的角色 对 FSA 中的 MDC OSD 和 VBS 进程进行选择性的配置 以实现 FusionStorage 的存储管 理功能 表1 1 FSA 组件配置介绍 项目 说明 配置原则 MDC 元数据控制组件 实现对分布式集 群的状态控制 以 及控制数据分布 式规则 数据重建 规则等 MDC 进程部署在 3 个 5 个或 7 个已安装 FSA 的节 点上 这些节点组成控制集群 如图 2 2 所示 图1 2 控制集群 MDC 进程需要占用独立的存储空间 该空间称为元 数据 若将单个磁盘分给元数据使用 该磁盘称为元数据 盘 若将系统分区分给元数据使用 该分区称为元 数据分区 如图 2 3 所示 图1 3 元数据部署方式 1 1 2 安装准备 安装 FusionStorage 需要获取的软件包如表 1 2 所示 表1 2 软件包列表 项目 作用 获取方式 FusionStorage V100R003C30SPC200 zip FusionStorage 软件包 包含 FusionStorage Manager FSM 和 FusionStorage Agent FSA 软件 企业用户 enterprise IT 云计算数 据中心 FusionSphere FusionStorage DSware 软 件 V100R003C30SPC200 运营商用户 产品软件 运营商IT 云计算数据中心 FusionSphere FusionStorage FusionStorage DSware V100R003C30SPC200 FusionStorage V100R003C30SPC200 Too l zip 操作系统依赖包安装脚本 FusionStorage V100R003C30SPC200 Inst allTool zip FusionStorage 安装工具 安装 FusionStorage 需要获取的工具如表 1 3 所示 表1 3 工具列表 工具 作用 获取方式 PuTTY 跨平台远程访问工具 用于 在软件安装过程中在 Windows 系统上访问各节 点 从以下网站获取 http www putty org 要求使用 PuTTY Release 0 59 及以上版本 建议从官 方网站获取最新版本 WinSCP 跨平台文件传输工具 用于 在 Windows 系统和 Linux 系统间传输文件 从以下网站获取 要求使用 WinSCP 5 5 0 及 以上版本 建议从官方网站 获取最新版本 1 1 3 系统要求 FusionStorage 软件支持通用的 x86 硬件服务器 在 CPU 存储 网络等配置上有一些基 本要求如表 1 4 所示 另外 FusionStorage 的兼容性信息请参考兼容性 表1 4 硬件要求 类别 要求 CPU X86 架构 CPU 融合部署 CPU 要求 8 个超线程 Hyper Thread 分离部署 计算节点 CPU 要求 4 个超线程 Hyper Thread 存储节点 CPU 要求 6 个超线程 Hyper Thread 内存 内存占用的计算公式如下 每个服务器占用内存容量每个服务器占用内存容量 操作系统占用内存容量操作系统占用内存容量 运行运行 FusionStorage 所占用内存容量所占用内存容量 其中操作系统占用内存容量 请参考对应产品的产品文档中对内存的要 求 而运行 FusionStorage 所占用的内存容量 MDC 进程占用内存容量 VBS 进程占用内存容量 OSD 进程占用内存容量 缓存占用内存容 量 运行 FusionStorage 所占用的内存容量中每项的计算方法如下 MDC 进程占用内存容量 5GB 所有存储节点均需要为 MDC 进程 预留 5GB 内存空间 VBS 进程占用内存容量 规划仅创建一个存储池 当使用普通网卡时 VBS 进程占用 4GB 内 存 当使用 IB 网卡时 VBS 进程占用 6 5GB 内存 规划创建一个以上存储池 当使用普通网卡时 VBS 进程占用 8GB 内存 当使用 IB 网卡时 VBS 进程占用 10 5GB 内存 OSD 进程占用内存容量 当使用 SSD 卡做主存时 占用内存为 3 5GB 主存主存 SSD 卡个数卡个数 SSD 卡容量卡容量 GB 600GB 当使用磁盘做主存时 占用内存为 N 该服务器磁盘个数该服务器磁盘个数 其中 N 根据网络和磁盘的不同 取值如下 使用 IB 网络时 根据单个磁盘容量的不同 取值如下 容量 2T N 2 4GB 容量 2T 时 容量每增加 2T N 的取值增加 1GB 例如 2T 容量 4T 时 N 3 4GB 4T 容量 6T 时 N 4 4GB 使用 10GE 网络时 根据单个磁盘容量的不 同 取值如下 容量 2T N 2GB 容量 2T 时 容量每增加 2T N 的取值增加 类别 要求 1GB 例如 2T 容量 4T 时 N 3GB 4T 容量 6T 时 N 4GB 缓存占用内存容量 当缓存采用 NVDIMM 或者不使用缓存时 内存 占用容量为 0 当缓存采用 SSD 卡或者 SSD 盘时 内存占用为 该服该服 务器务器 SSD 缓存总大小缓存总大小 GB 8 1024 其中 SSD 缓存总大小的单位为 GB 例如 10GE 组网场景下 系统规划创建 2 个存储池 服务器操作系统 占用内存为 8G 使用 2T 的 SATA 盘做为数据盘 有 4 块数据盘 使 用 1 块 2 4T 的 SSD 卡做缓存 则内存应设置为 操作系统占用 8GB MDC 进程占用 5GB VBS 进程占用 8GB OSD 进程占用 2GB 4 缓存占用 2 4 1024GB 8 1024 48 2 GB 存储 用作 系统盘 系统盘需配置 RAID1 存储 用作 主存 计算节点 无要求 存储节点 每个服务器上有 3 个 36 个硬盘可供 FusionStorage 使用 包含独立部署的元数据 盘 两副本时 每个服务器上提供给每个存储池使 用的硬盘数量为 2 个 12 个 三副本时 每个服务器上提供给每个存储池使 用的硬盘数量为 2 个 36 个 同一个资源池中的存储节点上硬盘数量之差 不能大于 2 块 此处所指的硬盘为加入该存储池的硬盘 而不是服务器上所能提供的 硬盘总数 同一个资源池中的存储节点上硬盘数量之差 不能大于硬盘数量最多的服务器上的硬盘数 的 30 例如一个服务器上有 3 个硬盘 硬 盘最多的服务器上有 5 个硬盘 这种场景就不 符合 FusionStorage 的硬盘要求 此处所指的硬盘为加入该存储池的硬盘 而不是服务器上所能提供的 硬盘总数 同一个资源池中的硬盘类型必须一致 建议硬盘大小一致 如果硬盘大小不一致 系 统会按照最小盘的容量作为各盘的裸容量使 用 主存的介质类型 SATA SAS SSD 卡 华为 ES3000 V1 V2 SSD 盘 注意 SSD 卡的驱动需要在安装 FusionStorage 之前安装完成 请根据版本配套表获取 类别 要求 SSD 卡配套的版本并在以下路径下载驱动 企业用户 IT 服务器 解决方案与软 件 Accelerator 软件 运营商用户 产品软件 运营商IT 服务器 解 决方案软件 Accelerator 对于某些的 RAID 卡 例如 Lsi 1078 Lsi 2208 或 Lsi 3108 FusionStorage 要 求其上的每个存储盘单独组成 RAID0 才能被识别 需要组 RAID0 才能被 FusionStorage 识别的 RAID 列表 请参见兼容性查询助手中的 FusionStorage 兼 容性列表 若加入 FusionStorage 存储资源池的盘需要组成 RAID0 需要参考对应厂商服务 器的资料进行操作 更多快速配置的技巧 可访问华为云计算论坛 同时 对已组 RAID0 的磁盘进行热插拔后 需要手动激活 RAID0 以加入系统 否则 操作系统将无法识别 具体操作请参考对应厂商服务器的资料 若存储节点的服务器使用 Lsi 2208 raid Lsi 1078 raid 或 Lsi 3108 raid RAID 卡 则需要在服务器操作系统中安装 CLI工具 RAID 卡的配置工具 可 执行磁盘配置管理等操作 否则 FusionStorage 无法识别对应的磁盘 请在官 方网站分别搜索 megacli 兼容版本为 8 07 10 和 storcli 兼容版本为 1 13 06 下载并安装对应的 CLI工具 官方网站地址 存储 用作 缓存 计算节点 无要求 存储节点 每个服务器上有 0 个 12 个缓存供 FusionStorage 使用 每个服务器上提供给每个存储池使用的缓存 数量为 0 个 4 个 同一个资源池中的存储节点上缓存的数量必 须一致 同一个资源池中的存储节点上缓存的类型必 须一致 缓存介质类型 NVDIMM Agiga 4G SSD 盘 SSD 卡 华为 ES3000 V1 V2 注意 SSD 卡的驱动需要在安装 FusionStorage 之前安装完成 请根据版本配套表获取 SSD 卡配套的版本并在以下路径下载驱动 企业用户 IT 服务器 解决方案与软 件 Accelerator 软件 运营商用户 产品软件 运营商IT 服务器 解 决方案软件 Accelerator NVDIMM 的驱动包含在 FusionStorage 软件包中 不需要单独获取 网络 GE 组网时 硬件至少为 4 1Gb 组网 其中至少 3 1Gb 用于存储平面 10GE 组网时 硬件至少为 2 10Gb 组网 其中至少 2 6Gb 用于存储 平面 40Gb 56Gb IB 组网时 带宽共享皆可满足要求 使用机柜级安全时 机柜间至少为 4 10Gb 带宽 每服务器至少为 类别 要求 2 10Gb 带宽 其中存储平面至少 6 Gb 及以上带宽 注意 10GE 网卡 IB 网卡的驱动需要在安装 FusionStorage 之前安装完成 请根据型号 在对应厂商的技术支持网站获取驱动软件并进行安装 1 2 安装服务器操作系统 操作场景 本章节指导软件调测工程师安装 FusionStorage 系统中服务器的操作系统 包括部署 FusionStorage Manager FSM 以及 FusionStorage Agent FSA 的服务器 物理部署 FusionStorage 场景下 仅支持计算和存储分离部署 即作为计算节点的服务器 仅提供计算资源 不加入 FusionStorage 存储池 作为存储节点的服务器需要加入 FusionStorage 存储池 为系统提供存储资源 计算节点和存储节点所兼容的操作系统列表 请参见兼容性 必备事项 前提条件前提条件 本地 PC 与规划的管理平面及服务器 BMC 平面互通 建议本地 PC 已与待安装 的服务器连接到同一台交换机 且 IP 地址设置在规划的管理平面网段 已获取物理服务器 BMC IP 地址 BMC 用户名和密码 已获取服务器 BIOS 密码 如服务器未设置 BIOS 密码 则无需提前获取 已关闭本地 PC 的防火墙 数据数据 服务器名 服务器 root 用户密码 服务器管理平面的 IP 地址 软件软件 服务器操作系统镜像文件 FusionStorage 支持的操作系统镜像文件 请参见兼 容性 操作系统依赖包的安装脚本 FusionStorage V100R003C30SPC200 Tool zip 操作步骤 安装服务器操作系统 1 完成操作系统安装 操作系统的要求如下所示 FSM 和 FSA 对操作系统目录空间的要求 分别如表 1 5 和表 1 6 所示 FSM 在安装时会自动创建 omm ommdba 和 dsware 用户 所占用的系统 UID 分别为 2001 2002 和 2011 占用的系统 GID 为 2000 请在安装 FSM 的服务器上检查系统 UID 和 GID 的使用情况 确保上述 ID 没有 被占用 否则会导致安装 FSM 失败 若规划元数据盘部署在系统分区 则需要在控制集群的节点上划分元数据分区 即 opt zk disk 元数据分区的大小为 60 GB 若 FSM 与 FSA合一部署 则操作系统目录空间的要求为两者之和 而日志分区则统一为 var log 最小剩余空间为 5 GB 建议使用独立分区 元数据分区可在安装操作系统时 通过图形化界面进行划分 也可在操作系统安装完成后通 过命令进行划分 表1 5 FSM 对操作系统目录空间的要求 目录 最小剩余空间 说明 opt 3 个 64 个主机 80GB 65 个 4096 个主机 280GB 提供 FusionStorage 软件正 常运行所需的目录空间 tmp 500 MB 软件安装之前需要该目录 的剩余空间大于 500 MB 软件安装完成后 可以清空 该目录 var 3 GB 建议创建该独立分区 用于 存放日志 避免日志过多影 响操作系统正常运行 表1 6 FSA 对操作系统目录空间的要求 目录 最小剩余空间 说明 opt 500 MB 提供 FusionStorage 软件正 常运行所需的目录空间 tmp 300 MB 软件安装之前需要该目录 的剩余空间大于 300 MB 软件安装完成后 可以清空 该目录 var log 2 GB 建议创建该独立分区 用于 存放日志 避免日志过多影 响操作系统正常运行 安装操作系统依赖包 2 操作系统安装完成后 用户可以根据 FusionStorage 产品的通信矩阵 设置系统的 防火墙规则 若用户对防火墙规则没有特殊要求 则可以直接关闭系统防火墙 关闭防火墙的命令举例如下 RedHat Linux 7 0 Oracle Linux 7 0 以及 CentOS Linux 7 0 版本之前 停止防火墙程序 service iptables stop 禁止开机启动防火墙 chkconfig iptables off RedHat Linux 7 0 Oracle Linux 7 0以及CentOS Linux 7 0版本之后 含7 0版本 停止防火墙程序 systemctl stop firewalld 禁止开机启动防火墙 systemctl disable firewalld SUSE Linux 停止防火墙程序 etc init d SuSEfirewall2 setup stop etc init d SuSEfirewall2 init stop 禁止开机启动防火墙 chkconfig SuSEfirewall2 setup off chkconfig SuSEfirewall2 init off 详细的命令操作指导请参见对应操作系统厂商的官方网站 3 解压缩 FusionStorage V100R003C30SPC200 Tool zip 软件包 在 install lib 文件夹下获取操作系统依赖包的安装脚本如下 RedHat Linux 操作系统 install lib for rhel sh Oracle Linux 操作系统 install lib for oel sh SUSE Linux 操作系统 install lib for suse sh CentOS Linux 操作系统 install lib for centos sh 4 可选 若用户现场配置了软件仓库 不需要通过挂载操作系统镜像文件获取依赖 包软件 则需要对操作系统依赖包的安装脚本进行修改 以适配此场景下依赖包的 安装 修改方法如下 SUSE Linux 操作系统 在本地编辑 install lib for suse sh 文件 修改以下字 段 将 REPO NAME 的值修改为实际软件仓库的名称 可在操作系统中通过 zypper lr 查询软件仓库的名称 将 ZYPPER REPO IS EXIST 的值修改为 1 其他操作系统 在本地编辑 install lib for XXX sh 文件 将 YUM REPO IS EXIST 的值修改为 1 5 将安装操作系统依赖包的软件脚本上传至每个服务器操作系统的任意目录下 例如 tmp 6 在服务器远程控制界面的挂载对应的操作系统镜像文件 若用户现场配置了软件仓库 则不需要通过挂载操作系统镜像文件获取依赖包软件 7 使用 PuTTY 通过管理 IP 地址登录第一个服务器 使用 root 用户登录 8 进入存放安装依赖包脚本的路径 执行以下命令 安装依赖包 sh install lib for xxx sh 其中 install lib for xxx sh 为安装脚本名称 例如 sh install lib for suse sh 安装过程约 20 分钟 可以同时进行多个节点的安装 9 按照步骤 7 步骤 8 的方法 完成所有服务器操作系统依赖包的安装 可选 安装 lftp 软件 若 FSM 与 FSA 合一部署 并且规划需要使用第三方备份服务器 则需要执行此操作 10 将 FusionStorage V100R003C30SPC200 Tool zip 软件包 lftp 目录下的 lftpInstallPackage tar gz 拷贝至部署 FSM 的第一个服务器的 home 目录 11 使用 PuTTY 通过管理 IP 地址登录部署 FSM 的第一个服务器 使用 root 用户登录 12 进入 home 目录 执行以下命令 解压缩软件包 tar zxvf lftpInstallPackage tar gz 13 进入 lftp 软件解压缩后的目录 执行以下命令 安装 lftp 软件 sh install sh 14 若 FSM 为主备部署 按照步骤 10 步骤 13 的方法 在部署 FSM 的第二个服务器 上安装 lftp 软件 结束结束 1 3 部署 FSM 组件 1 3 1 安装 FSM 组件 操作场景 该任务指导软件调测工程师在物理服务器上安装 FusionStorage Manager FSM 必备事项 前提条件前提条件 服务器操作系统安装完成 并已配置管理 IP 地址 数据数据 已获取所有服务器的管理平面 IP 地址 已获取所有服务器的 root 用户密码 软件软件 FusionStorage V100R003C30SPC200 InstallTool zip FusionStorage V100R003C30SPC200 zip 操作步骤 通过安装工具安装 FSM 15 在本地 PC 机上解压缩 FusionStorage 安装工具 FusionStorage V100R003C30SPC200 InstallTool zip 16 进入解压缩后的安装工具文件夹 双击 FusionStorageTool exe 打开安装工具 如图 1 4 所示 在工具左上角可以设置语言为中文或者英文 图1 4 安装工具界面 17 单击 安装 FusionStorage 管理软件 进入配置主机信息页面 如图 1 5 所示 图1 5 配置主机信息 18 配置部署 FSM 软件的主机信息 主机信息如下所示 IP 地址 主机的管理 IP 地址 认证方法 密码认证或者公钥认证 登录用户名 SSH 方式登录主机时使用的用户 若可以使用 root 用户直接登录 主机 则此处配置为 root 用户 登录密码 登录用户的密码 root 密码 root 用户的密码 如果可以使用 root 用户直接登录主机 则不需要填 写此项 用户私钥 双击选择私钥文件 私钥密码 可选参数 若私钥文件未设置密码 则不需要配置 如果 FSM 为单节点部署 则取消勾选 启用主机二 19 主机信息配置完成后 单击 连接 与主机建立连接 20 与主机建立连接成功后 单击 下一步 进入软件安装页面 如图 1 6 所示 图1 6 软件安装 21 单击 浏览 在本地选择 FSM 的软件包 FusionStorage V100R003C30SPC200 zip 22 单击 安装 开始安装 FSM 显示如图 1 7 所示界面时 FSM 安装完成 图1 7 安装 FSM 23 单击 下一步 进入配置页面 如图 1 8 所示 图1 8 配置 FSM 24 根据网络规划 配置 FSM 的管理网络信息 配置信息如下 外部网络信息 必选参数 外部网络网口 选择外部管理网络平面的网卡 外部平面 IP 配置外部管理网络平面的 IP 地址 主备部署时 需要配置浮动 IP 地址 外部网络掩码 配置外部管理网络平面的子网掩码 内部网络信息 可选参数 FSM 为双平面时需要配置该组参数 可通过 网络 模式 选项 选择单平面或者双平面 内部网络网口 选择内部管理网络平面的网卡 内部网络 IP 配置内部管理网络平面的 IP 地址 主备部署时 需要配置浮动 IP 地址 内部网络掩码 配置内部管理网络平面的子网掩码 其他信息 主机名 配置主机名称 默认网关 设置默认网关 一般为外部管理网络平面的网关 仲裁 IP 地址 设置仲裁 IP 地址 可选参数 FSM 为双平面时 可配置内部管 理网络平面的网关为仲裁 IP 地址 25 参数配置完成后 单击 下发配置 26 FSM 配置完成后 单击 下一步 27 单击 FusionStorage 界面的访问链接 登录 FusionStorage 界面 FusionStorage 界面的默认用户名为 admin 默认密码为 Huawei CLOUD8 结束结束 1 4 部署 FSA 组件 1 4 1 安装 FSA 组件 操作场景 将服务器接入 FusionStorage 并通过界面方式安装 FusionStorage Agent FSA 必备事项 前提条件前提条件 已获取所有服务器的管理平面 IP 地址 操作步骤 将服务器接入 FusionStorage 28 登录 FusionStorage 界面 默认管理员帐号为 admin 默认密码为 Huawei CLOUD8 首次登录需要修改默认的管理员帐号登录密码 29 在 FusionStorage 界面 选择 硬件 服务器 进入 服务器 页面 首次登录时界面会弹出提示框 帮助用户更快捷的进入 服务器 页面以进行接入操作 30 选择接入服务器的方式 手动接入服务器 执行步骤 9 批量导入服务器 执行步骤 4 31 单击 批量导入 弹出 服务器导入 页面 32 单击 下载模板 将模板保存到本地 33 打开模板文件 填写待添加的所有服务器的信息 由于系统规模小于 64 台服务器时 才推荐使用 FSM 与 FSA 合部 若服务器规模大于 64 台 则不建议在 FSM 所在服务器上安装 FSA 所以服务器规模大于 64 台时 不需 要导入 FSM 所在服务器 具体参数如下 管理 IP 服务器的管理 IP 地址 产品型号 从下拉菜单中选择或自定义产品型号 机柜 服务器在机房中的位置 机框 服务器在机柜中的位置 槽位号 服务器在机框中的位置 所有服务器信息全部设置完成后 保存模板文件 34 在 服务器导入 页面 单击 上传 按钮前的 选择已设置的模板文件 单 击 上传 导入成功后 服务器导入 页面会自动列出新添加的服务器 35 执行步骤 13 36 单击 单机接入 弹出 服务器接入 对话框 如图 1 9 图1 9 服务器接入 对话框 37 选择服务器类型 并设置以下参数 管理 IP 服务器的管理 IP 地址 产品型号 从下拉菜单中选择或自定义产品型号 机柜 服务器在机房中的位置 机框 服务器在机柜中的位置 槽位号 服务器在机框中的位置 38 单击 确定 服务器 页面会自动列出新添加的服务器 39 重复步骤 9 步骤 11 添加所有服务器信息 由于系统规模小于 64 台服务器时 才推荐使用 FSM 与 FSA 合部 若服务器规模大于 64 台 则不建议在 FSM 所在服务器上安装 FSA 所以服务器规模大于 64 台时 不需 要导入 FSM 所在服务器 为服务器安装 FSA 40 在 FusionStorage 界面 选择 硬件 服务器 进入 服务器 页面 41 在右侧单击 安装 FSA 弹出对话框 42 在 选择软件包 页面 单击 选择 弹出对话框 43 勾选 DSwareAgent tar gz 44 单击 添加 选择软件包 页面列出已选择的软件包 45 单击 下一步 进入 选择服务器 页面 46 单击 添加 弹出 添加服务器 页面 47 在列表中勾选所有服务器 单击 添加 选择服务器 页面列出需要安装代理软件的服务器 48 单击 下一步 进入 登录参数配置 页面 49 在参数配置区域框配置待安装服务器的参数 根据实际环境要求 选择认证方式 并配置认证参数 密码认证 服务器登录用户名 设置为可以直接使用 SSH 方式登录服务器的用户名称 若 可以使用 root 直接登录 则此处设置为 root 密码 服务器登录用户名的密码 root 密码 设置为服务器 root 用户的密码 公钥认证 服务器登录用户名 设置为可以直接使用 SSH 方式登录服务器的用户名称 若 可以使用 root 直接登录 则此处设置为 root 私钥文件路径 设置服务器上存放私钥文件的路径 例如 etc ssh 私钥文件名 私钥密码 可选参数 若私钥文件未设置密码 则不需要配置 root 密码 设置为服务器 root 用户的密码 50 单击 安装 开始安装 FusionStorage 代理 安装代理约耗时 5 分钟 51 关闭 安装 FSA 页面 返回 服务器 页面 结束结束 1 4 2 可选 配置 IB 网络 操作场景 服务器使用 IB 网卡时 需要执行本章节操作 使 IB 网卡生效 需要执行的操作包括 启动 OpenSM 配置 IB 网络信息 必备事项 前提条件前提条件 已安装 FusionStorage Agent FSA 未创建控制集群 已安装 IB 网卡驱动 数据数据 获取已安装 FSA 节点的管理平面 IP 地址 操作步骤 启动 opensm 52 以 dsware 帐户 使用 PuTTY 工具通过管理平面浮动 IP 地址 登录 FusionStorage Manager FSM 节点 dsware 帐户的默认密码为 Huawei CLOUD8 53 执行以下命令 防止超时退出 TMOUT 0 54 执行以下命令 进入指定路径 cd opt dsware client bin 55 执行以下命令 部署并启动 OpenSM 进程 由于系统进行了安全加固 执行 FusionStorage 的 dswareTool 命令之后 需要输入鉴权用户和密码 进行鉴权 默认的鉴权用户为 cmdadmin 默认密码为 cmdHuawei 123 为了避免每次执行 dswareTool 命令都需要进行鉴权 系统支持导入环境变量的方式进行鉴权 详 细操作请参见 3 5 配置环境变量进行鉴权 sh dswareTool sh op startupOpenSM ip 存储节点的管理IP地址 num 进程数 量 ports IB网口 其中 num 表示启动进程个数 ib0 ib1 表示进程启在哪个网口 进程个数与 port 个数对应 OpenSM 进程的配置规则如下 一般安装 3 个进程 在两个有 IB 网口的存储节点上 1 个存储节点上 2 个 1 个存储节点上 1 个 若系统中有多个机框或者多个机柜 建议将 OpenSM 进程部署在不同的机框或 者机柜中 以提高可靠性 启动 3 个 OpenSM 进程的示例如下 sh dswareTool sh op startupOpenSM ip 192 168 40 101 num 1 ports ib0 sh dswareTool sh op startupOpenSM ip 192 168 40 102 num 2 ports ib0 ib1 配置 IB 56 执行以下命令 批量创建网口聚合 服务器使用单 IB 网卡时 sh dswareTool sh op batchCreatePortAggr n Bondx p ib0 ib1 m 1 ip ip1 ip2 ip3 服务器使用双 IB 网卡时 sh dswareTool sh op batchCreatePortAggr n Bondx p ib0 ib1 ib2 ib3 m 1 ip ip1 ip2 ip3 Bondx 为聚合网口的名称 可自定义 例如 Bond1 ip 参数为待创建的 FSA 节点的管理 ip 可以取值 IP 段或单个 IP 命令执行成功后 需记录回显信息中的 taskId 57 执行以下命令 查询任务是否执行成功 sh dswareTool sh op queryTaskInfo id taskid 58 执行以下命令 进入 IP 信息文件的编辑状态 vi opt dsware client conf ip config xml 59 按 i 键进入编辑模式 60 修改配置信息 表 1 7 所示的参数需要修改 其他不用修改 表1 7 需要修改参数 参数名称 参数解释 nodeMgrIp FSA 节点的管理 ip bondName 聚合网口的名称 需和步骤 5 设置的名称 相同 netAddr 需要设置的 FSA 节点的存储 ip 存储 ip 顺序 个数必须与 nodeMgrIp 对应的管理 ip 顺序以及个数保持一致 netMask 存储平面子网掩码 gateway 存储平面网关 61 按 Esc 输入 wq 保存修改并退出 VI 编辑器 62 执行以下命令 批量设置服务器 IP sh dswareTool sh op batchSetServerIp f opt dsware client conf ip config xml 命令执行成功后 需记录回显信息中的 taskId 63 执行以下命令查询任务是否执行成功 sh dswareTool sh op queryTaskInfo id taskid 结束结束 1 4 3 配置 FusionStorage 操作场景 每个节点的FusionStorage Agent FSA 安装完成后 即可通过界面方式配置FusionStorage 包括以下配置内容 配置系统参数 配置存储网络的平面个数 网络类型以及存储网络的 IP 地址或者 网口名称 创建控制集群 在存储节点中 选择 3 个 5 个或者 7 个服务器 创建控制集群 创建存储池 根据规划的存储池数量 选择对应的服务器加入存储池 即在这些服 务器上启动 OSD 进程 创建客户端 需要使用存储池资源的服务器 均需要创建客户端 即在这些服务器 上启动 VBS 进程 必备事项 前提条件前提条件 已完成 FSA 的安装 已登录 FusionStorage 界面 操作步骤 可选 使用命令修改 IO 挂起超时时间 若系统规划使用 Oracle 数据库的 ASM Mirror 功能 则需要修改 IO 挂起超时时间 以 防止系统出现故障时 正常的业务无法运行 64 以 dsware 帐户 使用 PuTTY 工具通过管理平面浮动 IP 地址 登录 FusionStorage Manager FSM 节点 dsware 帐户的默认密码为 Huawei CLOUD8 65 执行以下命令 防止超时退出 TMOUT 0 66 执行以下命令 进入指定路径 cd opt dsware client bin 67 执行以下命令 修改 IO 挂起超时时间为 30 秒 由于系统进行了安全加固 执行 FusionStorage 的 dswareTool 命令之后 需要输入鉴权用户和密码 进行鉴权 默认的鉴权用户为 cmdadmin 默认密码为 cmdHuawei 123 sh dswareTool sh op modifySysPara para g dsware io hang timeout 30 配置 FusionStorage 68 在 FusionStorage 界面 选择 资源池 弹出提示框 69 单击 配置向导 进入 配置向导 的 配置系统参数 页面 如图 1 10 所示 图1 10 FusionStorage 配置向导 70 设置以下参数 性能监控周期 可单击 如何配置 并输入规划的系统规模 估算出推荐的监 控周期 操作系统随机端口范围 默认为 10000 65000 若系统 OSD 规模不超过 20000 个 则可选择 32768 61000 存储网络类型 选择以太网络 存储网络 输入系统存储平面 IP 地址所在的 IP 区间或网段 或者输入系统存储 平面 IP 地址所占用的网口名称 IP 区间 网段 例如 IP 区间 192 168 70 100 192 168 70 200 或 IP 网段 192 168 70 0 24 网口名 例如 eth1 系统参数在创建控制集群之前可以修改 创建控制集群之后 不支持系统参数的直接修改 需要 删除控制集群后 退回到 配置系统参数 页面进行修改 创建控制集群 页面有删除控制集群的操作按钮 71 单击 下一步 进入 创建控制集群 页面 72 设置控制集群的 集群名称 73 设置元数据盘 元数据盘支持部署在分区和独立磁盘两种 部署在分区有以下要求和场景 不能在管理节点 即部署管理虚拟机的节点 的系统盘中部署元数据分区 将元数据部署在系统盘的分区中可以节省一个独立磁盘 若该节点无 FusionStorage 存储池的 磁盘或为了充分利用存储资源 可选择将元数据部署在系统盘的独立分区中 规划元数据盘使用独立磁盘 元数据盘 应选择为 独立磁盘 并指定元数 据盘的类型 规划元数据盘使用系统分区 元数据盘 应选择为 分区 74 单击 添加 弹出 添加服务器 页面 75 可选 若元数据盘选择了独立磁盘 需要设置元数据盘的槽位号 建议将除了 RAID 盘以外最后一个槽位的磁盘设置为元数据盘 每台服务器上的元 数据盘槽位号可以不同 但为了便于管理和监控 建议为元数据盘配置相同的槽位 号 76 勾选规划部署元数据盘的服务器 即控制集群的服务器 单击 添加 控制集群支持 3 5 或 7 台服务器 推荐的具体配置规则如下 推荐 3 台服务器作为控制集群有以下两种场景 所有存储池使用 2 副本 存储池使用 3 副本 但是系统总机柜数小于 5 柜 推荐 5 台服务器作为控制集群的场景 系统总机柜数大于等于 5 柜 此时推荐 5 台服务器作为控制集群 并且这 5 台服务器分别属于不同的机柜 若根据规划以及客户需求 还可以选择 7 台服务器作为控制集群 此时为 5 个 决策者 2 个观察者的模式 并且这 7 台服务器分别属于不同的机柜 77 控制集群参数设置完成后 单击 创建 开始创建控制集群 若控制集群创建失败 可返回控制集群创建界面进行重新创建 若元数据部署在系统分区 则重新创建控制集群之前 需要重新格式化原先划分的分区并重新挂 载元数据分区 78 控制集群创建成功后 单击 下一步 进入 创建存储池 页面 79 设置以下存储参数 此处设置的存储参数为第一个存储池的参数 若规划部署多个存储池 此处需要为其他存储 池预留存储资源 服务器上若配置了 SSD 卡作为缓存或主存设备 则需确保 SSD 卡的驱动在 FusionStorage 安 装之前在服务器上安装完成 若未安装 SSD 卡驱动 请根据版本配套表获取 SSD 卡配套的版本并在以下路径下载驱动 企业用户 软件下载 IT 服务器 解决方案与软 件 Accelerator 运营商用户 产品软件 运营商 IT 服务器 解决方案软件 Accelerator 安装完成后 以 root 用户登录服务器 依次执行以下命令使驱动生效 cd opt dsware osd ko uname r smio insmod plugins ko smio plugin hio ko 命令执行成功后 刷新 FusionStorage 界面 即可看到对应的 SSD 卡设备 名称 存储池名称 例如 FusionStorage 0 副本数 当存储介质为 SATA 或者 NL SAS 时 必须选择 3 副本 以确保可靠性 存储介 质为其他类型时 可以选择 2 副本或者 3 副本 当使用机柜级安全时 建议使用 3 副本 以确保可靠性 安全级别 若系统中 或者规划后续扩容后 服务器数量超过 64 台 推荐使用 机柜级安全 使用机柜级安全时 机柜数量必须大于等于 3 个 且服务器数量 大于等于 12 台 主存类型 根据加入存储池的存储介质类型选择对应的参数 缓存类型 选择存储池的缓存类型 若环境中没有缓存 则选择 none 即存 储池不使用缓存 缓存主存比 缓存容量和主存容量的比值 当缓存选择 SSD 卡或 SSD 盘时 需 要设置该参数 用户可根据实际 OSD 数量规划 调整该参数 例如规划后续进 行系统扩容 需要预留部分缓存资源 该参数的填写规则如下 该参数为可选参数 若不填写 则系统默认按照以下公式计算该参数 每个服务器上缓存的总容量每个服务器上缓存的总容量 每个服务器上每个服务器上 OSD 的个数的个数 单个主存的容量单个主存的容量 若不填写该参数 每个服务器上 OSD 的个数 的缺省值以下规则确定 每个服务器上 OSD 个数 12 每个服务器上 OSD 的个数 的缺省值为 12 12 每个服务器上OSD个数 24 每个服务器上OSD的个数 的缺省值为24 24 每个服务器上OSD个数 36 每个服务器上OSD的个数 的缺省值为36 物理部署场景下此参数的建议填写范围为 2 20 推荐设置为 10 该参数精确到小数点后 3 位 例如 10 125 80 在 主机和磁盘 中 单击 添加 弹出 添加服务器 页面 81 勾选规划加入存储池的服务器 由于物理部署场景下 仅支持分离部署 所以此处勾选的服务器为存储节点 计算 节点不需要勾选 对于选择加入存储池的服务器 其上的存储资源只能提供给 FusionStorage 独占使用 原有的数据 存储将会被删除 82 设置每台服务器上提供给存储池使用的主存和缓存 存储池中的 OSD 个数不能小于 12 即存储池中用作主存的存储资源不能少于 12 块磁盘或者总容 量为 7 2TB 的 SSD 卡 SSD 卡做主存时按照每 600GB 配置 1 个 OSD 进程 主存和缓存支持批量选择和手动选择两种方式 批量选择 对勾选服务器的主存和缓存进行批量选择 适用于服务器上存储介 质的数量 槽位统一的场景 存储介质为 SAS SATA 和 SSD 盘时 设置起始和结束槽位号 存储介质为 SSD 卡时 由于 SSD 卡不存在槽位 此时需设置磁盘数量 即选择 SSD 卡的数量 手动选择 需要手工选择每台服务器的主存和缓存 适用于服务器上存储介质 的数量 槽位有差异的场景 操作方法 单击每台服务器左侧的 在显示的存储介质上进行手工选择 83 单击 添加 存储池的服务器显示在服务器列表中 84 单击 创建 弹出对话框 85 单击 确定 进行存储池创建 86 存储池创建完成后 单击 下一步 进入 创建块客户端 页面 87 单击 创建 弹出 创建客户端 页面 只有创建了客户端的服务器 才可以添加 FusionStorage 的存储池作为数据存储 88 勾选待创建块客户端的计算节点 单击 创建 进行块客户端的创建 由于物理部署场景下 仅支持分离部署 所以此处待创建块客户端的为计算节点 存储节点不需要创建块客户端 客户端创建成功后 完成 FusionStorage 的配置 89 是否需要创建多个 FusionStorage 存储池 是 执行步骤 27 否 执行步骤 44 创建其他 FusionStorage 存储池 90 在 FusionStorage 界面 选择 资源池 存储池 进入 存储池 页面 91 单击 创建 进入 创建存储池 页面 如图 1 11 所示 图1 11 创建存储池 92 配置以下参数信息 名称 存储池名称 例如 FusionStorage 1 副本数 安全级别 若系统中 或者规划后续扩容后 服务器数量超过 64 台 推荐使用 机柜级安全 使用机柜级安全时 机柜数量必须大于等于 3 个 且服务器数量 大于等于 12 台 主存类型 根据加入存储池的存储介质类型选择对应的参数 缓存类型 选择存储池的缓存类型 若环境中没有缓存 则选择 none 即存 储池不使用缓存 缓存主存比 缓存容量和主存容量的比值 当缓存选择 SSD 卡或 SSD 盘时 需 要设置该参数 用户可根据实际 OSD 数量规划 调整该参数 例如规划后续进 行系统扩容 需要预留部分缓存资源 93 单击 下一步 进入 服务器选择 页面 94 单击 添加 弹出对话框 95 勾选待加入该存储池的服务器 由于物理部署场景下 仅支持分离部署 所以此处 勾选的服务器为存储节点 计算节点不需要勾选 对于选择加入存储池的服务器 其上的存储资源只能提供给 FusionStorage 独占使用 原有的数据 存储将会被删除 96 设置每台服务器上提供给存储池使用的主存和缓存 主存和缓存支持批量选择和手动选择两种方式 批量选