NAS存储配置文档

NAS3300 NAS3600 部署文档部署文档 目录目录 一 硬件配置 一 硬件配置 3 二 设备连线图二 设备连线图 3 1 NAS3300 主机和主机和 EXN1000 扩展柜连线图扩展柜连线图 3 2 NAS3600 主机连线图 主机连线图 4 三 用户需求三 用户需求 4 四 知识点 四 知识点 5 五 配置过程 五 配置过程 6 1 配置主机端口 配置主机端口 IP 地址 地址 8 2 Web 界面设置介绍 界面设置介绍 9 3 在 在 NAS3600A 上创建上创建 3 5T 共享存储空间共享存储空间 11 4 在 在 NAS3600A 上创建上创建 CIFS 网络文件系统 网络文件系统 17 5 在 在 NAS3600A 上创建上创建 NFS 网络文件系统网络文件系统 25 6 在 在 NAS3600 和和 NAS3300 之间创建之间创建 Snapmirror 28 7 重要补充 重要补充 1 NFS 和和 CIFS 用户权限一致性映射用户权限一致性映射 31 8 重要补充 重要补充 2 Snapmirror 原理策略和原理策略和 NAS3600 宕机后的处理及恢复宕机后的处理及恢复 32 一 硬件配置 一 硬件配置 序号序号设备名称设备名称配置配置数量数量 1NAS3300 主机 单节点 控制器 12 块 500G SATA 硬盘 激活 feature CIFS iSCSI snapmirror 1 2EXN1000 扩展柜5 块 500G SATA 硬盘与 NAS3300 主机互联扩容磁盘到 17 块1 3NAS3600 主机 双节点 控制器 16 块 500G SATA 硬盘 激活 feature CIFS iSCSI snapmirror cluster 1 表格 1 硬件配置表 二 设备连线图二 设备连线图 1 NAS3300 主机和主机和 EXN1000 扩展柜连线图扩展柜连线图 图表 1 NAS3300 和 EXN1000 连线图 注意图中 e0b 虽有连线 但实际未配置 IP 地址 处于闲置状态 2 NAS3600 主机连线图 主机连线图 图表 2 NAS3600 连线图 三 用户需求三 用户需求 用户对 NAS 的大致需求为 NAS3600 和 NAS3300 组成一套高可靠的 NAS 系统 其 中 NAS3600 为主 NAS3300 为备 整个 NAS 系统对以太网络中的各种主机 Unix Windows 提供 1 个大约 3 5T 的多协议 NFS CIFS 支持网络共享文件系统 并通过 snapmirror 功能将该文件系统镜像到 NAS3300 中备用 系统拓扑如下 图表 3 系统拓扑图 四 知识点 四 知识点 NAS 存储 存储 就是网络上的共享文件系统 注意 NAS 和普通的阵列存储柜最大的区别 在于 NAS 在文件系统层次对外提供存取服务 而普通阵列存储柜在底层 数据块 对 外提供存取服务 二者的层次和数据单位完全不同 NAS N 系列尽管外形像一个阵列 存储 但实际上它是一台对网络提供文件存取 共享服务的服务器 所以在 NAS 领域 对其控制器称为 节点 NAS3600 配置了 2 个控制器 应看成 2 台文件服务器 2 个 节点 可构成 cluster NAS 操作系统 操作系统 NAS 对外提供文件系统级服务 其自身必须具备相应处理能力 也就 是在 NAS 存储中 必须安装一套通用 windows NT linux unix 操作系统或专用操作 系统以实现上述功能 NAS N 系列采用基于 Unix 取消通用功能 只注重文件服务的 专用操作系统 ONTAP ONTAP 在存储上的分布 在存储上的分布 ONTAP 以控制器为单位部署 1 个控制器上面就有 1 个 ONTAP NAS N 系列的磁盘聚合 系列的磁盘聚合 aggregate NAS N 系列用聚合来表示一个 RAID 与普通 的 DS 阵列柜不同的是 NAS N 只支持 RAID4 和 RAID DP 其实就是 RAID6 两种 模式 并且 NAS N 的磁盘聚合必须要求热备支持 不像 DS 系列那样可以单独设置 hotspare 在 NAS N 中创建磁盘聚合的同时就必须包含 spare 盘 就是热备 按照此 种规则 用户创建 RAID4 磁盘聚合时就需要 3 块盘 1 块 data 1 块 parity 1 块 spare 而 RAID DP 更是需要 4 块 因为多了 1 个 parity 校验盘 NAS N 上的磁盘空间估算 上的磁盘空间估算 由于 NAS N 需要安装 ONTAP 操作系统 并且 NAS N 以 磁盘聚合方式提供 RAID 功能 如果是 2 节点机型 操作系统磁盘占用量就比较夸张 了 所以 在订购 NAS N 时 必须要把操作系统占用的磁盘空间排出后 再来计算数 据存储空间 比如这次的 NAS3600 配了 16 块 500G SATA 盘 实际使用 414G 数 据空间计划 3 5T 但是由于使用了双节点 每节点操作系统出厂默认采用 RAID DP 磁盘聚合 这样共有 8 块磁盘被占用 实际可分配磁盘只有 8 块 如果再配 1 个聚合 容量就不够了 因为 parity 和 spare 又要占用磁盘 实际可用空间大大降低 只能把 8 块空闲盘加入到操作系统的聚合中 对空间进行再分配 NAS N 支持支持 iSCSI NAS N 支持 iSCSI 即底层的数据块存取 需要相关 licence 激活 激活后 NAS N 可以同时对外提供文件系统和 LUN 存取服务 不过如果单独用来跑 iSCSI 就本末倒置了 还不如买个专门的 iSCSI 存储 成本还低些 NAS N Cluster 支持 支持 这部分定义尚不是很清晰 应该是同一个 NAS N 存储里的 2 个 节点 控制器 之间可以构成 1 个高可靠群集 就象双机热备 五 配置过程 五 配置过程 NAS N 通过专门的串口 RJ45 和主机端口开启的 Web 页面提供人机交互 但是要 实现 Web 方式 必须事先通过串口对 NAS N 的主机端口 e0a e0b 设置 IP 地址 所以 配置 NAS N 的先决条件是访问串口 访问串口 首先找到 NAS N 自带的一个 9 针串口转 RJ45 口转接线 然后采用自备的 USB 转串口线 由于这 2 根线在串口段都是针 所以还需要一根串口连接线 这根线非常 特殊 因为线序不同于普通 9 针串口连接线 只能从配件中找 本次项目是用公司自备的 存储专用 9 孔串口连接线才搞定 拓扑连接如下图 图表 4 串口连线图 RJ45 口口 9 针针 串口串口 对于针口 宽在上左起为 对于针口 宽在上左起为 1 3 棕色 3 4 棕白 5 6 橙色 2 表格 2 RJ45 转 9 针 串口线对应表 9 孔孔 串口串口 对于孔口 宽在上右起为 对于孔口 宽在上右起为 1 9 孔孔 串口串口 对于孔口 宽在上右起为 对于孔口 宽在上右起为 1 14 23 32 41 55 78 87 表格 3 9 孔 转 9 孔 串口连接线对应表 1 配置主机端口 配置主机端口 IP 地址 地址 NAS N 要正常对外提供文件服务 必须要配置其主机端口 e0a 和 e0b IP 地址 子 网掩码 网关 DNS 设置等等 NAS N e0a 和 e0b 出厂默认未配置 无法通过 Web 方式对 其进行访问和配置 必须通过串口对其进行最基本的初始设置 用笔记本通过上述连接线与 NAS N 节点串口接好后 使用 windows 自带的超级终端 对设备进行初始设置 com 口参数设置如下 图表 5 COM 口参数 登陆之后 3 秒钟按下 enter 键即进入 NAS N 命令行模式 用户名 root 密码初始为 空 如果是第一次未配置的设备 命令行界面自动进入系统设置 step by step 交互模式 在设置了 e0a 和 e0b 两个主机端口的节点名称 e0a 和 e0b 共用 1 个节点名 IP 地址和一 些其他网络属性后 命令行会提示后续配置是否进入图形方式 Web 我们选择 y 后 step by step 交互模式终止 通过与 NAS N e0a 和 e0b 在同一个网络里的 pc 主机里的 Web 浏览器 直接对设备进行图形化的配置 NAS3600 上节点上节点NAS3600 下节点下节点NAS3300 节点名节点名NAS3600ANAS3600BNAS3300 IP 地址地址 e0a 10 189 61 47 e0b 未设置 e0a 10 189 61 48 e0b 未设置 e0a 10 189 61 49 e0b 未设置 网关网关10 189 61 25210 189 61 25210 189 61 252 表格 4 节点基本设置表 2 Web 界面设置介绍 界面设置介绍 1 节点基本设置 http api 主要是对节点一些最基本参数的设置 包括主机节点名 Filer Name 端口 IP 地址 网关 DNS 功能激活等等 设置完毕后见下图 2 节点各功能详细设置 http na admin 对节点各个功能的详细设置 包括添加 删除磁盘 创建聚合 卷 CIFS NFS 文件共享和 snapshot snapmirror 等高级功能设置 主页面参见 下图 主页面有 3 个选项 FilerView 配置节点功能 Filer At A Glance 性能检测 Manual pages 命令参考手册 选择 FilerView 进入图形化配置界面 在这里可以查看设备基本状态 见下图 3 在 在 NAS3600A 上创建上创建 3 5T 共享存储空间共享存储空间 1 首先查看设备磁盘使用状况 进入 FilerView 后 选择左边导航菜单中的 Storage Disks Manage 如下图 Disk 显示磁盘的名称 0c 10 0 Type 显示磁盘所属关系以及状态 spare 磁盘属于当前节点 并且为热备盘 parity 磁盘属于当前节点 并且为校验盘 dparity 磁盘属于当前节点 并且为第二校验盘 RAID DP 独有 data 磁盘属于当前节点 并且为数据盘 partner 磁盘不属于当前节点 双节点情况下 只有在另外一个节点才可以查看 该类磁盘的状态 unowned 磁盘不属于任何节点 未分配 physical 每块磁盘实际容量 标称值为 500G Aggregrate 磁盘所属的聚合 aggr0 为 ONTAP 操作系统所在磁盘聚合 在本例中 NAS3600 有 16 块 500G SATA 硬盘 但由于 NAS3600 有 2 个节点 每节 点出厂设置各占用磁盘 4 块 即 NAS3600A 占用 0c 10 1 0c 10 3 0c 10 5 0c 10 7 NAS3600B 占用 0c 10 0 0c 10 2 0c 10 4 0c 10 6 剩下 8 块为 unowned 状态 2 出现的问题 不管把剩下 8 块磁盘放入 NAS3600 的 A 或 B 节点的 aggr0 中 实际可用容量都只能 达到 2 7T 总容量 除去 aggr0 中 ONTAP 操作系统所在 vol0 卷占用的空间 数据卷 vol1 只 有大约 2 2T 可用 3 原因 与原厂商工程师沟通后 发现有以下几个因素影响容量大小 双节点 NAS N 系列的每一个节点都要单独占用一定数量的磁盘来构成操作系统所需 的聚合 aggr0 本例中 NAS3600 每节点聚合 aggr0 出厂配置为 RAID DP 至 少需要 4 块磁盘 2 节点至少占用 8 块 双 spare 盘 NAS N 在图形界面下往 aggr0 添加磁盘时 必须要保留 2 块磁盘为 spare 否则 配置不能通过 图形界面下的 bug 在命令行下可以只保留 1 块 spare snapshot 占用 20 的可用空间 在创建聚合时 默认有 20 的空间保留给了 snapshot 如果不使用该功能是可以不用保留的 vol0 卷空间过大 vol0 空间是 aggr0 聚合下的一个卷 用来放置 ONTAP 操作系统 默认该空间较大 4 针对以上问题的解决思路 把 NAS3600A 作为工作节点 把 NAS3600B aggr0 的阵列模式从 RAID DP 改为 RAID4 释放出一块磁盘 再分配给 NAS3600A 在命令行下执行给 NAS3600A 添加磁盘操作 可以只用 1 块 spare 修改 NAS3600A aggr0 的属性 把 snapshot 的空间从 20 降到 0 修改 NAS3600A aggr0 下的 vol0 卷属性 把大小降到 80G 左右 最后重新调整 NAS3600A aggr0 下的 vol1 卷大小 具体步骤 具体步骤 1 用 Web 浏览器登陆到 NAS3600B 节点 http 10 189 61 48 na admin 2 选择 Filer User Command Line 进入命令行模式 图形界面操作只是命令行的一个子 集 有些命令必须通过命令行方式执行 3 输入 aggr options aggr0 raidtype raid4 4 执行完毕后 0c 10 0 磁盘就从 Dparity 状态变为 Spare 状态 可以输入 aggr status 查看 aggr0 的 RAID 状态是否变为 RAID4 5 然后在 Storage Disks Manage 下可以看见 NAS3600B 下 aggr0 中有 2 块 spare c0 10 00 c0 10 06 计划把 c0 10 06 盘划给 NAS3600A 6 在 Filer User Command Line 输入命令 disk assign 0c 10 6 s unowned 把 c0 10 06 磁盘的所有关系从 NAS3600B 变为 unowned 7 用 Web 浏览器登陆到 NAS3600A 节点 http 10 189 61 47 na admin 8 在 Filer User Command Line 输入命令 disk assign 0c 10 6 o NAS3600A 把 c0 10 06 磁盘的所有关系从 unowned 变为 NAS3600A 9 在 Filer User Command Line 输入命令 aggr add aggr0 d 把从 NAS3600B 分过来的 c0 10 06 磁盘和其他 8 块处于 unowned 的磁盘加入 aggr0 聚 合 10 在 Volumes Manage 中选择 vol0 重新修改 vol0 的卷大小 resize storage 按键 11 选择 Volumes Add 创建共享数据卷 vol1 创建步骤如下 图片与实际数据有差异 选择卷类型 Flexible 厂家建议 保持卷名为 vol1 可自定义 本项目需要中文支持 Language 选项选择 Simplified Chinese GBK 不选择 UFT 8 编码 如果操作系统语言环境支持 UTF 8 编码 此处也 可以选择 选择新卷所在磁盘聚合 注意 实际 NAS3600A 只有 1 个磁盘聚合 aggr0 只能选 aggr0 空间保证选择 volume 卷大小类型选 Total Size 卷大小设为最大容量 Max 减 1 实际输入 3 37TB snapshot 空间设为 0 在该卷上关闭 snapshot 功能 以省出数据空间 提交新卷创建 查看并修改 vol1 的 qtree 属性 因为本项目要求 vol1 同时对 Unix 和 Windows 客户端提供 服务 所以在 vol1 的 Style 项上选择 Mixed 经过以上步骤设置后 NAS3600A 最终的数据空间达到 3 38T 实际结果如下图 NAS3300 为单控制器 节点 不需要调整存储空间 直接参照 NAS3600 的配置步骤 7 开始配置 4 在 在 NAS3600A 上创建上创建 CIFS 网络文件系统 网络文件系统 1 选择 CIFS Setup Wizard 2 设置 CIFS 所在节点名称 NAS3600A 3 权限设置选工作组模式下的 NT Local User 4 设置工作组名称 这里选择 windows 默认的 WORKGROUP 5 选择多协议 Multi Protocol 6 提交 CIFS 设置 7 提交后结果 8 在 CIFS Shares Manage Add Share 中创建 CIFS 共享点 注意 实际 Share Name cifs Mount Point vol vol1 其他为空 9 设置访问该卷的用户 首先在命令行界面下运行 useradmin user add g 添加 1 个访问用户 passwd 设置或修改密码 然后在 Cifs Shares Manage 下添加该用户 使其可以访问目标卷 本项目没有创建新用 户 直接采用 NAS 系统管理员帐号 administrator 密码 cqmc123ctg123 10 在 Windows XP 客户端上测试 CIFS 创建 1 个网络磁盘驱动器 W 指向 10 189 61 47 的 cifs 共享点 12 可以在 CIFS Shares Manages 下修改 vol vol1 的访问属性 Change Access 5 在 在 NAS3600A 上创建上创建 NFS 网络文件系统网络文件系统 1 NFS Licence 激活以后 每创建 1 个新卷 系统会自动生成 1 个 NFS 共享点 但是需 要做修改 本项目需要修改 vol vol1 的 Options 2 鼠标点击 vol vol1 的 Options 出现以下页面 3 修改需要导出的卷 本项目是 vol vol1 4 设置匿名用户的 ID 号 就是 Unix 系统用户的 ID 号 本项目选择采用 root 用户对 NFS 进行访问控制 所以 选择 ID 号 0 root 用户默认 ID 号 5 设置可以访问该 NFS 的主机 IP 地址 限制网络访问本 NFS 用户可根据实际需要设 置 初始配置是允许所有主机访问 6 选择 NFS 的安全机制 7 提交设置内容 6 在 在 NAS3600 和和 NAS3300 之间创建之间创建 Snapmirror 1 用 Web 浏览器登陆到 NAS3300 节点 http 10 189 61 49 na admin 创建 2 个节点的 snapmirror 关系 一定要在备份节点上进行配置 2 选择 SnapMirror Add NAS3300 上用来备份的卷为 vol1 需要备份的节点为 NAS3600A 该节点上需要备份的卷为 vol1 3 选择 SnapMirror Enable Disable 启动 Snapmirror 4 选择 SnapMirror Manage 察看状态为未初始化 uninitialized 5 选择 Volumes Manage 选择 vol1 卷 点击 Restrict 按键对 vol1 执行 restrict 操作 6 在 Filer User Command Line 输入以下命令打开 NAS3300 对 NAS3600A 的 Snapmirror 访问许可 7 用 Web 浏览器登陆到 NAS3600A 节点 http 10 189 61 47 na admin 在 Filer User Command Line 输入以下命令打开 NAS3600A 对 NAS3300 的 Snapmirror 访问许可 8 回到 NAS3300 节点 选择 SnapMirror Manage Advanced 点击 Initialize 注意 初 始化时间长短与卷上原有数据大小有关 9 初始化完毕后 选择 SnapMirror Manage 察看结果 7 重要补充 重要补充 1 NFS 和和 CIFS 用户权限一致性映射用户权限一致性映射 由于 Windows 用户和 Unix 用户需对同一个对象 文件和目录 进行各种操作 创建 修改 删除 所以本项目要求在 Unix 和 Windows 下的用户必须具有权限一致性 本项目 Cifs 采用 NAS 系统自带的 administrator 用户 注意 不是客户端的 NFS 采用匿名方式 但由于指定了 ID 0 所以 NFS 下对象所属用户为 root 但是 administrator 创建的对象所属 用户为 65534 所以必须把 root 和 administrator 权限一致性化 才能保证对对象的各种操 作的正确性 在命令行下执行如下指令 options wafl nt admin priv map to root on 执行该命令后 在 Unix 下可以发现 windows 客户端和 unix 客户端创建的对象都属 于 root 用户 权限一致 8 重要补充 重要补充 2 Snapmirror 备份策略和备份策略和 NAS3600 宕机后的处理及恢复宕机后的处理及恢复 Snapmirror 是在 2 台以上的 NAS N 系列存储上实现数据快速备份和恢复的机制 NAS 主存储在每一个周期 定时向备份存储 copy 本时间段数据的变化 snapshot 异步方式 一旦主存储出现故障无法访问 用户可以将应用重新定向到备份存储 保障应用正常运行 主存储恢复后