NetApp存储日常维护手册

精选文档 目录 1 目标.4 NETAPP GLOBAL SERVICES FAS 系列存储日常维护手册 Prepared for: Prepared by: NetApp, SZ 2013 NetApp. All rights reserved. Specifications are subject to change without notice. NetApp, the NetApp logo, Go further faster, FlexVol, FlexClone, RAID-DP, SnapVault, and SnapMirror are trademarks or registered trademarks of NetApp, Inc. in the United States. and other countries. Windows is a registered trademark of Microsoft. VMware is a registered trademark of VMware, Inc. All other brands or products are trademarks or registered trademarks of their respective holders and should be treated as such. NetApp, Inc. 495 East Java Drive Sunnyvale, CA 94089 USA Telephone: +1 (408) 822-6000 Fax: +1 (408) 822-4501 Support telephone: +1 (888) 4-NETAPP 精选文档 2 硬件设备说明.5 2.1 NetApp FAS3200 系列.5 2.2 机架/电源/磁盘.8 3 设备管理.11 3.1 System Manager 图形管理接口.11 3.2 命令行(CLI).13 3.3 设备正常开关机顺序 .15 4 NETAPP 设备日常操作 .16 4.1 System Manager 图形界面操作.16 4.1.1 登陆方式 .16 4.1.2 创建存储池（Aggregate）.18 4.1.3 创建灵活卷（Flex Volume）.22 4.1.4 创建 NAS 共享（CIFS/NFS）.24 4.1.5 Snapshot 配置管理.33 4.1.6 目录配额配置管理.36 4.1.7 创建 SAN 共享（如果没有 FCP 或 ISCSI 的 license，无法使用）.40 4.2 CLI 命令行操作.52 4.2.1 登陆方式 .52 4.2.2 创建存储池（Aggregate）.52 4.2.3 创建灵活卷（Flex Volume）.54 4.2.4 创建 NAS 共享（CIFS/NFS）.56 4.2.5 Snapshot 配置管理.58 4.2.6 目录配额配置管理.59 4.2.7 创建 SAN 共享.60 5 NETAPP 设备日常维护.65 5.1 目测 .65 5.2 硬件状态检查.65 精选文档 5.3 检查网络是否正常 .65 5.4 检查 Cluster 状态是否正常.66 5.5 检查卷容量是否正常 .66 5.6 Inode 数量检查 .66 5.7 性能检查.67 5.8 日志文件检查.67 5.9 收集 autosupport 信息 .67 5.10 常用命令.67 6 故障报修流程.70 6.1 支持方式.70 6.2 GSC( Global Support Center 全球支持中心).70 6.3 案例开立流程.71 6.4 损坏部件更换流程 .71 精选文档 1 目标 NetApp 解决方案能够助客户有效地简化运作，同时最大限度地降低风险，为 那些不断经历变化的企业提供更高的性能和可扩展性。借助于产品、技术和合作伙 伴的良好组合，NetApp 解决方案有助于解决最为迫切的 IT 和业务问题，同时最大 限度地提高投资回报率。 本指南是为初次使用NetApp存储系统的人员编写的基本管理知识，目标是指导 维护人员如何进行每天的健康检查。详细的存储系统和命令管理参见随机手册,在线 帮助及 精选文档 2硬件设备说明 2.1 NetApp FAS3200 系列 前端： 指示灯 描述 PowerFaultActivity AActivity B 系统正常绿灯亮橙灯灭绿灯亮或闪烁绿灯亮或闪烁（AE系列B 灯不亮） 系统不正常任何指示灯显示不符合上述情况，请联系NETAPP客户支持 后端： 精选文档 端口名称端口用途及描述 0a、0b3Gb或6Gb SAS接口 用于连接NetApp存储后端SAS或SATA磁盘 柜 c0a、c0b8Gb 或10Gb 心跳线接口 用于连接NetApp存储内部心跳 0c、0d4Gb 光纤接口 用于接NetApp存储后端FC磁盘柜或接前端主机或接 前端FC交换机或接磁带库 e0a、e0b1Gb 网络接口 用于接前端交换机或前端主机 e0M、SP100Mb 网络接口 其中e0M口用于远程网络管理端口；SP口为远程 串口 e0P 100Mb 网络接口 用于管理NetApp内部磁盘柜 solt1solt 6 扩展槽位，用于接10Mb/100Mb/1000Mb/10Gb以太网卡网卡 （10Gb以太网卡支持FCoE）、2Gb/4Gb/8Gb光纤卡、3Gb/6Gb SAS卡、256GB/512GB/1TB PAM II卡、或者SCSI卡； 存储系统后部电源指示灯：橙色灯和绿色灯 IconPort type LED type Status indicatorDescription 精选文档 Blinking green NVMEM is in battery-backed standby mode. Off (power on) The system is running normally, and NVMEM is armed if Data ONTAP is running. NVMEMBattery Off (power off) The system is shut down, NVMEM is not armed, and the battery is not enabled. Amber Controller is starting up, Data ONTAP is initializing, the controller is in Maintenance mode, or a controller module fault is detected. Controller module fault ACT OffController module is functioning properly. 精选文档 2.2 机架/电源/磁盘 指示灯 描述 PowerWarningActivity 系统正常绿灯亮橙灯灭绿灯亮或闪烁 系统不正常任何指示灯显示不符合上述情况，请联系NETAPP客户支持 精选文档 指示灯 描述 PSU status normal AC missing for this PSU Fan faultOutput voltage, current, temperature fault 系统正常指示灯亮指示灯灭指示灯灭指示灯灭 电源问题指示灯灭指示灯灭指示灯灭指示灯亮 风扇问题指示灯灭指示灯灭指示灯亮指示灯灭 没有电源输 入 指示灯灭指示灯亮指示灯灭指示灯亮 精选文档 描述LED 1 (绿色)LED 2 (橙色) 正常绿灯亮或闪烁指示灯灭 No drive installed 指示灯灭指示灯灭 SES device identification set 指示灯灭指示灯一秒亮一秒灭 SES device fault bit set 指示灯灭绿灯亮 Disk port isolated (either port) 指示灯灭指示灯三秒亮一秒灭 精选文档 3 设备管理 3.1 System Manager 图形管理接口 System Manager 是 NetApp 提供的图形管理接口，可以方便地实现对 NetApp 的存储设备的管理。默认安装完成后点击桌面 NetApp OnCommand System Manager 2.1 您需要确认以下几点: 1、Adobe Flash Player 8.0 或更高版本； 2、Java Runtime 1.6 或更高版本； 3、及以下存储端的配置： snmp.access legacy snmp.enable on ssl.enable on ssl.v2.enable on ssl.v3.enable on httpd.admin.enable on httpd.admin.ssl.enable on snmp community: public 4、通过 System Manager 您可以完成几乎所有的管理任务。 点击 login 图标进入 SYSTEM MANAGER 管理界面，输入用户名和密码。 （缺省管理员为 root,密码在初始安装时可以设定） 精选文档 以下为常用菜单功能说明： 分类操作实现路径备注 卷管理 Storage-Volumes CIFS 共享协议管 理 Storage -Shares Storage 管理 NFS 共享协议管 理 Storage -Exports 精选文档 Lun 管理 Storage -Luns Qtree 管理 Storage -Qtrees Quota 管理 Storage -Quotas 磁盘管理 Storage -Disks 存储池管理 Storage -Aggregates SnapMirror 管理 Storage -SnapMirror 用户及组管理 Configuration -Local Users and Groups 以太网管理 Configuration -Network 协议管理 Configuration -Protocols 安全设置管理 Configuration -Security Configuration 系统工具 Configuration -System Tools CIFS 诊断 Diagnostics -CIFS 会话记录 Diagnostics -Session 系统健康管理 Diagnostics -System Health Diagnostics Log 管理 Diagnostics -Logs HA Config Ha 诊断 Ha config 3.2 命令行(CLI) 您可以用 CONSOLE 口 (将 PC 机的串口与 NetApp 随机带的 console 线连在 filer 的 CONSOLE 口, 打开 windows 里的 hyperterminal 或其它仿真终端，波特率 设置为 default: 9600 波特率, 8 位,无校验,1 位停止位)和 telnet 登入 filer 的命令行 窗口. 缺省管理员账号为 root,密码一般在安装时设置，可以使用 passwd 命令修改。 输入?或者 help 可以看到全部命令。 FAS3240A1 ? ?fsecurityoptionssmtapeacpadminftporouted snapaggr haltpartnersnaplockarphelppasswd snapmirrorautosupporthostnamepingsnapvaulbackup httpstat ping6snmp bmcicpkttsoftwarecdpd ifconfigportset source cf fgrpprioritysp charmapifstat privstats cifsigroupqtree storageclone ipsec quotasysconfigconfig ipspace radiussysstatdateiscsirdate systemdcbkey_manager 精选文档 rdfile timezonedfkeymgrreallocatetraceroute disklicense reboottraceroute6 disk_fw_updatelock restoreupsdns loggerrevert_touptime downloadlogoutrlmuseradmindu lunroute versiondumpmanroutedvfiler echo maxfilesrshstat vlanemsmtsasadminvmservicesenvironmentnbtstat sasstat vol exportfsndmpcopysavecorevscan fcadminndmpd sectrace wccfcnic ndpsecureadmin wrfile fcpnetdiagsetup ypcat fcstat netstatsftp ypgroupfilenfsshelfchkypmatchflexcache nfsstatsisypwhichfpolicynis FAS3240A1 命令的详细使用方法可以通过 help 得到，例如： FAS3240A1help vol display or change characteristics of volumes The following commands are available; for more information type help vol add destroy online size clone lang options split container media_scrub rename status copy mirror restrict verify create offline scrub 精选文档 3.3 设备正常开关机顺序 开机顺序： 1、按照磁盘柜的 Shelf ID 号依次开启磁盘柜的电源，大概 20 秒后再开启存 储控制器； 2、开启接有 NetApp 存储的以太网交换机或者光纤交换机； 3、开启有挂载 NetApp 存储空间的服务器或者磁带库； 关机顺序： 1、确认所有连接的应用程序已经关闭（包括通过 FCP 或 ISCSI 连接到存储 的 Oracle Server 等服务，和通过 NAS 连接到存储的应用）； 2、确认连接到存储的服务器已关闭（通过 FCP 或 ISCSI 连接的服务器）； 3、通过串口或 SSH 以 root 用户或者其它管理员账户登陆到系统； 4、分别对两个机头输入 halt -f 命令,并且回到 CFE状态； 5、先关控制器电源，在依次倒着按照 Shelf ID 号关闭磁盘柜电源。 精选文档 4 NETAPP 设备日常操作 4.1 System Manager 图形界面操作 4.1.1 登陆方式 1、双击桌面 System Manager 2、双击 FAS3240A 或者 FAS3240B 进入配置页面 3、输入用户名：root，密码：*，进入界面 精选文档 4、需要配置哪个控制器则点那个控制器，该文档除了 HA config 测试，其余 所有动作均在 FAS3240A 控制器中操作 精选文档 4.1.2 创建存储池（Aggregate） 1、点击 Aggregate,接着点击 Create，创建新的 Aggr，此操作在扩容时候用 的上，一般有 PSE 或者代理工程师完成此步操作； 2、给新建 aggr 起名为 aggr_test，raidtype 选择为 Raid_dp， 精选文档 3、选择添加磁盘加磁盘类型， 4、选择添加多少颗磁盘到 aggr_test 存储池中，注意：添加磁盘至同一个 aggregate（存储池）时，必须选择同样类型、大小和转速的磁盘，否则将于转速 最慢，大小最小的磁盘类型为上限；当然，不可以将 SATA 磁盘加入到 SAS 磁盘 的 Aggr 中，反之一样也不行。 5、点击 “Select Disk”选择磁盘，并将 RaidSize 设置为 16，注明：FC /SAS 磁盘的 RaidSize 默认为 16 精选文档 6、点击完成 精选文档 7、点击 create ，完成存储池创建 到此，存储池已经创建好，可以开始新建卷了； 精选文档 4.1.3 创建灵活卷（Flex Volume） 1、创建 Flex volume，点击 volume 菜单，在点击右手边的 create 按钮进行 flex volume 的创建 2、将 cifs_test 卷放在新建的 aggr_test 存储池中，选择其为“NAS”或 “SAN”共享方式，并调整 cifs_test 的大小，设置快照预留空间等操作（快照预留 Snapshot Reserves 可以灵活调整，0 为不预留）； 3、点击 “Storage Efficient”，选择是否开启 a-sis（重复数据删除功能）， 是否开启重复数据删除功能具体需要看前端应用，比如前端业务为虚拟桌面、或者 邮件系统，则建议开启重复数据删除功能，起到存储最优使用效率； 精选文档 完成 cifs_test 卷创建； 到此步骤，Volume 卷创建完成；我们可以正式开始配置 NAS（CIFS 或 NFS）和 SAN（IP SAN 或 FC SAN）的空间规划配置； 4.1.4 创建 NAS 共享（CIFS/NFS） 1、创建 CIFS 方式文件共享 精选文档 A)点击 Shares B) 点击 “Create”按钮，新建一个 CIFS 共享 C)选择共享 volume ，设置共享名，并对其进行描述，以便日后更方便识别； 精选文档 D)点击完成，完成 CIFS 共享创建； E) 权限设置 选择 cifs_test 共享路径，点击“Edit”进行共享权限设置；NetApp 存储中权 限设置只有三种：full control、read and write、read only； 精选文档 点击“Permission”，设置用户权限； 选择“add”并添加”administrators”组用户，选择“remove”则是删除某 个用户或组的使用权限； 精选文档 设置”Permission”的权限访问； 点击“options”进行高级 options 设置;可设置是否允许共享文件夹的内外部 超级链接，以及结合内部病毒服务器进行设置病毒扫描； 精选文档 点击“save and close”完成 CIFS 共享的权限设置。 注意：若将 NetApp 存储加入 Windows 的域环境中，那么其权限设置操作则 可以完全通过 Windows AD 的 Administrator 来管理设置； F) Windows 主机端操作 选择映射网络驱动器，输入存储 IP 地址及共享名，并勾上“登陆时重新连接” 精选文档 第一次连接需要输入用户名密码，选择记住密码，下次登陆时候将可直接连接 到共享空间；若不是当前用户可点击 different username，以指定的用户名口令登 陆（和当前 windows 用户不同） 精选文档 2、创建 NFS 方式文件共享 A)点击“exports” B)点击右下方“Unix”文件夹图标，之后再选中“edit” 精选文档 C)选中“Eidt”按钮，进行指定 IP 地址访问授权或者某个网段的授权；如：对 /24 整个网段的所有机器进行授权： 点击完成； 精选文档 D) Linux 主机端操作 4.1.5 Snapshot 配置管理 NetApp 存储的快照可对 aggregate 和 volume 两个层面而言，适用最小对 象为 volume，当然平时用户使用最多的基于 volume 层面的快照备份及恢复；以 下是对 vol_test 卷创建快照的实例： A) 创建快照备份策略 精选文档 B) 设置快照大小、快照保留份数以及快照备份时间点 系统默认快照保留大小为该快照卷的 20%，默认显示快照路径，默认保留 6 份 hourly 的快照和 2 份 nightly 的快照； C) 快照恢复 点击 SnapShot Copies 精选文档 选择需要具体恢复到哪一个时间点。注意：这个恢复是针对整个 volume 而言， 而不是针对单个文件；当然也可以用命令针对某单个文件进行恢复（filersnap restore -t file -s test /vol/vol1/test/test.txt） 。 点击“Restore”，提示是否确认将该 volume 的数据恢复到拍快照的那个时 间点，点确认，则恢复到快照备份时间点，若放弃则不恢复； 精选文档 4.1.6 目录配额配置管理 1、 点击 Quota 2、 点击 Create 来创建针对某个 volume 的配额 精选文档 3、点击 Next 选择配置配额的 volume 或者 qtree，配额类型有 3 中，即分别可对 qtree、user 或 group 进行做配额 精选文档 Hard Limit 设置为 1g ，soft limit 800MB，Threshold 750MB， 分别是指 所有用户最大可用到 1G ，用到 750MB 时候会有告警提示，用到时候 800MB 会 提示用户已经无可用空间，但此时还能继续用知道数据存放到 1GB 为止；File Count 中的 Hard limit 和 soft Limit，分别是指该共享路径下面最多包含 1000001000 个文件，用到 80001000 个时候会提示文件个数已经用完； 点击 Next 精选文档 点击完成，完成 quota 的配置 精选文档 4.1.7 创建 SAN 共享（如果没有 FCP 或 ISCSI 的 license，无法使用） 1、 点击 LUN 2、 选择 create 点击 Next，新建 lun 名字，lun 类型及大小； 精选文档 选择 lun 存储在的 volume，点击 next； 因之前没有新建过 igroup ，故此次没有新的 igroup 出现，需要手动新建 igroup，点击 next； 精选文档 核对我们新建 lun 的配置信息；点击 next，完成 lun 的创建； 点击 finish，完成； 精选文档 3、 创建 Igroup，点击 initiator groups，点击 create 精选文档 填写 igroup 名字及选择前端操作系统类型，已经传输协议，注意：若选择 FC/FCoE，在无特殊条件下建议开启 ALUA 功能； 点击 Initiators，选择对应的 IQN 号或者 wwpn 号，若此次没有显示，也可以 通过手工的方式将 IQN 号或者 wwpn 号输入； 点击完成，创建完 igroup 4、 lun map 选择 lun ，点击 Edit 精选文档 点击 Initiator igroups ，选择 win_igroup 并且把 LUN ID 设置为 1（注意： LUN ID 为 0255，同一个 igroup 中不能重复） 点击 save and closed 5、Windows 主机端操作，安装 Iscsi initiator 软件 精选文档 下一步，选择 Initiator service 和 Software Initiator 下一步，选择同意进行安装； 精选文档 安装完成后，桌面会生成一个 Iscsi initiator 的图标，双击它进行配置参看 iqn 号： 发现 initiator 端，并添加存储端 IP 地址 精选文档 在 target 端把新挂载过来的盘进行 log on 精选文档 主机上扫描新增加磁盘 精选文档 4.2 CLI 命令行操作 4.2.1 登陆方式 用 SecureCRT 6.5/Putty 等工具，使用 ssh 或者 Telnet 协议，ssh /telnet 存 储 e0M 口远程管理地址，其登陆用户名为：root，密码为：xxxxxx，也可以用 ssh/telnet 存储 SP 口远程串口地址，具备串口一样功能， 其登陆用户名为: naroot 密码为跟 root 的密码一致；因密码属于私密内容，此文档不便提供明文。 （NetApp 存储默认 telnet 协议是关闭状态） 4.2.2 创建存储池（Aggregate） Data OnTap8.0 以后，根据不同的硬件型号，最大的 Aggregate 可用容量可 以达到 100TB。 1、新创建 Aggr:Aggr create aggr_name r 16 -B 64 t raid_dp 32 #创建一个 64 位系统的 Aggregate，raidsize 为 16，raid 类型为 raid_dp, 共包括 32 个磁盘； 精选文档 例如：创建一个名为 aggr_test 的 32 位的存储池（Aggregate），里面含有 8 颗 FCAL 的磁盘，raidsize 为 14，raidtype 为 Raid_dp； 参看创建成功后存储池情况： 2、为现有的 Aggregate 增加磁盘:aggr options raidsize #设置合适的 raidsize (14+2) aggr add or aggr add -d . . sysconfig r 察看结果 例如：往 aggr_test 存储池中添加 2 颗磁盘； 3、修改 Aggregate 快照保留 Snap reserve A 0 #关闭 aggregate 级 snap shot 的空 间预留 Snap sched A 0 0 0 #关闭 aggregate 级的 snap shot 例如：关闭 aggr_test 的快照功能，并且取消策略； 参看默认情况： 调整后情况： 精选文档 4、修改 Aggregate 名称 Aggr rename aggr0 aggr_new1 例如：将 aggr_test 名改为 aggr1 5、修改 aggr 的 raid group 的大小(针对以后的 aggr_name，对之前 raidsize 的不做影响) aggr options aggr_name raidsize 18 例如：将 aggr_test 的 raidsize 调整为 12 4.2.3 创建灵活卷（Flex Volume） 1、参看现有卷使用情况： 2、创建 vol ： vol create volmane aggrname size 例如：在 aggr_test 上创建一个 1g 的 vol3 卷. 精选文档 3、调整 volsize vol size volname size 例如：将 vol3 大小调整为 2g 4、删除快照 snap delete 【-a】 volname 【snapshot_name】 例如：删除 vol_test 中所有快照; 5、删除 vol：vol offline volname 和 vol destroy volname 例如：把 vol_test 卷删除； 精选文档 4.2.4 创建 NAS 共享（CIFS/NFS） 1、参看 CIFS 共享目录权限 cifs shares 例如：参看 vol_test 是否开启 CIFS 方式共享，全是是否为 Administrator Full Control； 答案为，vol_test 已经共享，并且具备 administrator rwx 权限； 2、添加 CIFS 共享 cifs shares -add sharename /vol/volname 例如：将 vol3 共享设置为 everyone 有只读权限，共享名为 vol3_readonly; 3、将共享路径添加为网络映射盘，该操作详见 4.1.4 章节的第 1 小节的”F) Windows 端主机操作”章节； 4、参看 NFS 共享目录权限； 精选文档 例如：参看 vol2 是否共享给 /24 整个网段的机器，并且具备 rw 权 限 答案为，vol2 已经共享给 /24 整个网段的主机，并且具有 Full Control 权限；将 vol2 共享空间授权于 5 这台设备，即 5 这台主机能访问 vol2 共享空间； 例如： 4.2.5 Snapshot 配置管理 1、参看快照策略 例如： 精选文档 从上图可以得知，其中 vol2 和 vol3 的快照策略已经取消其快照预留空间为 0；vol0 和 vol_test 的快照策略已经取消，其中 vol0 有 20%的预留空间， vol_test 的快照预留空间也是为 0； 2、创建快照策略 snap sched vol(/aggr)name weekly nightly hourlytimed 例如：vol_test 卷需要与周为单位的快照保留一份，与天为单位的快照保留四 份，与小时为单位的快照保留 6 份，备份时间点分别为 8:00、12:00、16:00、20:00、23:00，快照预留空间设置为占该卷的 30%； 3、取消快照策略及取消快照预留空间 snap sched V(-A)vol(/aggr)name 0 和 snap sched V(-A)vol(/aggr)name 0 0 0 例如：取消 vol_test 的快照策略及取消快照预留空间； 精选文档 4.2.6 目录配额配置管理 1、参看目录配额 例如： 从上图可以得知，该套存储目前尚未做目录配额； 2、限制用户(/用户组)使用 vol(/qtree)空间，需要修改/etc/quotas 文件，并 且修改后需要执行 quota resize /vol/volname(/qtreename)才能生效； 例如：限制所有访问 vol_test 的用户只能使用 20MB 空间； FAS3240A rdfile /etc/quotas #Auto-generated by setup Tue Dec 25 11:56:50 GMT 2012 FAS3240A wrfile /etc/quotas #Auto-generated by setup Tue Dec 25 11:56:50 GMT 2012 * user/vol/vol_test 20480K - - - - read: error reading standard input: Interrupted system call 3、取消目录配额，quota off /vol/volname(/qtreename) 例如：取消 vol_test 的目录配额 精选文档 4.2.7 创建 SAN 共享 1、参看 LUN 使用情况 lun show v 从上图，表明目前该套存储未配置 SAN 环境存储； 2、创建 LUN lun create -f -i t ostype /vol/volname/lunname 创建 igroup igroup create s size t ostype igroupname WWPN/IQN lun 映射 lun map -f lun_path igroup_name lun_id 例如：在 vol2 下创建 1 个名为 linux_lun1 大小为 3GB LUN，