NetApp存储日常维护手册

1、 2013 NetApp. All rights reserved. Specifications are subject to change without notice. NetApp, the NetApp logo, Go further faster, FlexVol, FlexClone, RAID-DP, SnapVault, and SnapMirror are trademarks or registered trademarks of NetApp, Inc. in the United States. and other countries.

2、Windows is a registered trademark of Microsoft. VMware is a registered trademark of VMware, Inc. All other brands or products are trademarks or registered trademarks of their respective holders and should be treated as such.NetApp, Inc.495 East Java DriveSunnyvale, CA 94089 USATelephone: +1 (408) 82

3、2-6000Fax: +1 (408) 822-4501Support telephone: +1 (888) 4-NETAPPPrepared for:Prepared by:NetApp, SZNETAPP GLOBAL SERVICESFAS系列存储日常维护手册目录1 目标42硬件设备说明52.1 NetApp FAS3200系列52.2 机架/电源/磁盘83 设备管理113.1System Manager 图形管理接口113.2命令行(CLI)133.3设备正常开关机顺序154 NETAPP 设备日常操作164.1 System Manager 图形界面操作164.1.1登陆方式164

4、.1.2 创建存储池（Aggregate）184.1.3 创建灵活卷（Flex Volume）224.1.4 创建NAS 共享（CIFS/NFS）244.1.5 Snapshot配置管理334.1.6 目录配额配置管理364.1.7 创建SAN 共享（如果没有FCP或ISCSI的license，无法使用）404.2 CLI 命令行操作524.2.1登陆方式524.2.2 创建存储池（Aggregate）524.2.3 创建灵活卷（Flex Volume）544.2.4 创建NAS共享（CIFS/NFS）564.2.5 Snapshot 配置管理584.2.6 目录配额配置管理594.2.7 创

5、建SAN 共享605 NETAPP设备日常维护655.1 目测655.2 硬件状态检查655.3检查网络是否正常655.4检查Cluster状态是否正常665.5检查卷容量是否正常665.6 Inode数量检查665.7 性能检查675.8日志文件检查675.9 收集autosupport信息675.10常用命令676故障报修流程706.1 支持方式706.2GSC( Global Support Center 全球支持中心)706.3案例开立流程716.4损坏部件更换流程711 目标NetApp 解决方案能够助客户有效地简化运作，同时最大限度地降低风险，为那些不断经历变化的企业提供更高的性能

6、和可扩展性。借助于产品、技术和合作伙伴的良好组合，NetApp 解决方案有助于解决最为迫切的IT 和业务问题，同时最大限度地提高投资回报率。本指南是为初次使用NetApp存储系统的人员编写的基本管理知识，目标是指导维护人员如何进行每天的健康检查。详细的存储系统和命令管理参见随机手册,在线帮助及/。2 硬件设备说明2.1 NetApp FAS3200系列前端：描述指示灯PowerFaultActivity AActivity B系统正常绿灯亮橙灯灭绿灯亮或闪烁绿灯亮或闪烁（AE系列B灯不亮）系统不正常任何指示灯显示不符合上述情况，请联系NETAPP

7、客户支持 后端：端口名称端口用途及描述0a、0b3Gb或6Gb SAS接口 用于连接NetApp存储后端SAS或SATA磁盘柜c0a、c0b8Gb 或10Gb 心跳线接口 用于连接NetApp存储内部心跳0c、0d4Gb 光纤接口 用于接NetApp存储后端FC磁盘柜或接前端主机或接前端FC交换机或接磁带库e0a、e0b1Gb 网络接口 用于接前端交换机或前端主机e0M、SP100Mb 网络接口 其中e0M口用于远程网络管理端口；SP口为远程串口e0P100Mb 网络接口 用于管理NetApp内部磁盘柜solt1solt6扩展槽位，用于接10Mb/100Mb/1000Mb/10Gb以太网卡网卡

8、（10Gb以太网卡支持FCoE）、2Gb/4Gb/8Gb光纤卡、3Gb/6Gb SAS卡、256GB/512GB/1TB PAM II卡、或者SCSI卡；存储系统后部电源指示灯：橙色灯和绿色灯IconPort typeLED typeStatus indicatorDescriptionNVMEMBattery Blinking greenNVMEM is in battery-backed standby mode.Off(power on)The system is running normally, and NVMEM is armed if Data ONTAP is running.

9、Off(power off)The system is shut down, NVMEM is not armed, and the battery is not enabled.Controller module fault ACTAmber Controller is starting up, Data ONTAP is initializing, the controller is in Maintenance mode, or a controller module fault is detected.OffController module is functioning proper

10、ly.2.2 机架/电源/磁盘描述指示灯PowerWarningActivity系统正常绿灯亮橙灯灭绿灯亮或闪烁系统不正常任何指示灯显示不符合上述情况，请联系NETAPP客户支持描述指示灯PSU status normalAC missing for this PSUFan faultOutput voltage, current, temperature fault系统正常指示灯亮指示灯灭指示灯灭指示灯灭电源问题指示灯灭指示灯灭指示灯灭指示灯亮风扇问题指示灯灭指示灯灭指示灯亮指示灯灭没有电源输入指示灯灭指示灯亮指示灯灭指示灯亮描述LED 1 (绿色)LED 2 (橙色)正常绿灯亮或闪烁指示灯

11、灭No drive installed指示灯灭指示灯灭SES device identification set指示灯灭指示灯一秒亮一秒灭SES device fault bit set 指示灯灭绿灯亮Disk port isolated (either port) 指示灯灭指示灯三秒亮一秒灭3 设备管理3.1 System Manager 图形管理接口 System Manager是NetApp提供的图形管理接口，可以方便地实现对NetApp的存储设备的管理。默认安装完成后点击桌面NetApp OnCommand System Manager 2.1 您需要确认以下几点:1、 Adobe F

12、lash Player 8.0 或更高版本；2、 Java Runtime 1.6 或更高版本；3、 及以下存储端的配置：snmp.access legacy snmp.enable onssl.enable on ssl.v2.enable on ssl.v3.enable onhttpd.admin.enable onhttpd.admin.ssl.enable onsnmp community: public4、 通过System Manager您可以完成几乎所有的管理任务。 点击login图标进入SYSTEM MANAGER管理界面，输入用户名和密码。（缺省管理员为root,密码在初始

13、安装时可以设定）以下为常用菜单功能说明：分类操作实现路径备注Storage管理卷管理Storage-VolumesCIFS共享协议管理Storage -SharesNFS共享协议管理Storage -ExportsLun管理Storage -LunsQtree管理Storage -QtreesQuota管理Storage -Quotas磁盘管理Storage -Disks存储池管理Storage -AggregatesSnapMirror管理Storage -SnapMirrorConfiguration用户及组管理Configuration -Local Users and Groups以太

14、网管理Configuration-Network协议管理Configuration -Protocols安全设置管理Configuration -Security系统工具Configuration -System ToolsDiagnosticsCIFS诊断Diagnostics -CIFS会话记录Diagnostics -Session系统健康管理Diagnostics -System HealthLog管理Diagnostics -LogsHA ConfigHa 诊断Ha config 3.2 命令行(CLI) 您可以用CONSOLE口 (将PC机的串口与NetApp随机带的console

15、线连在filer的CONSOLE口, 打开windows里的hyperterminal或其它仿真终端，波特率设置为default: 9600波特率, 8位,无校验,1位停止位)和telnet 登入filer的命令行窗口.缺省管理员账号为root,密码一般在安装时设置，可以使用passwd命令修改。输入?或者help可以看到全部命令。 FAS3240A1 ?fsecurityoptionssmtapeacpadminftporouted snapaggrhaltpartnersnaplockarphelppasswd snapmirrorautosupporthostnamepingsnapva

16、ulbackuphttpstat ping6snmpbmcicpkttsoftwarecdpdifconfigportset source cf fgrppriorityspcharmapifstatprivstats cifsigroupqtreestoragecloneipsecquotasysconfigconfig ipspace radiussysstatdateiscsirdatesystemdcbkey_managerrdfile timezonedfkeymgrreallocatetraceroutedisklicense reboottraceroute6disk_fw_up

17、datelockrestoreupsdns loggerrevert_touptimedownloadlogoutrlmuseradmindu lunrouteversiondumpmanroutedvfilerechomaxfilesrshstat vlanemsmtsasadminvmservicesenvironmentnbtstatsasstat volexportfsndmpcopysavecorevscanfcadminndmpd sectrace wccfcnicndpsecureadminwrfilefcpnetdiagsetupypcatfcstat netstatsftpy

18、pgroupfilenfsshelfchkypmatchflexcache nfsstatsisypwhichfpolicynis FAS3240A1命令的详细使用方法可以通过help得到，例如：FAS3240A1help voldisplay or change characteristics of volumesThe following commands are available; for more informationtype help vol add destroy online sizeclone lang options splitcontainer media_scrub

19、rename statuscopy mirror restrict verifycreate offline scrub3.3 设备正常开关机顺序开机顺序：1、按照磁盘柜的Shelf ID号依次开启磁盘柜的电源，大概20秒后再开启存储控制器；2、开启接有NetApp存储的以太网交换机或者光纤交换机；3、开启有挂载NetApp存储空间的服务器或者磁带库；关机顺序：1、 确认所有连接的应用程序已经关闭（包括通过FCP或ISCSI连接到存储的Oracle Server等服务，和通过NAS连接到存储的应用）；2、 确认连接到存储的服务器已关闭（通过FCP或ISCSI连接的服务器）；3、 通过串口或SS

20、H以root用户或者其它管理员账户登陆到系统；4、 分别对两个机头输入halt -f命令,并且回到CFE状态；5、 先关控制器电源，在依次倒着按照Shelf ID 号关闭磁盘柜电源。4 NetApp 设备日常操作4.1 System Manager 图形界面操作4.1.1 登陆方式1、双击桌面System Manager2、双击FAS3240A或者FAS3240B进入配置页面3、输入用户名：root，密码：*，进入界面4、需要配置哪个控制器则点那个控制器，该文档除了HA config 测试，其余所有动作均在FAS3240A控制器中操作4.1.2 创建存储池（Aggregate）1、点击Aggr

21、egate,接着点击Create，创建新的Aggr，此操作在扩容时候用的上，一般有PSE或者代理工程师完成此步操作；2、给新建aggr 起名为aggr_test，raidtype选择为 Raid_dp，3、选择添加磁盘加磁盘类型，4、选择添加多少颗磁盘到aggr_test存储池中，注意：添加磁盘至同一个aggregate（存储池）时，必须选择同样类型、大小和转速的磁盘，否则将于转速最慢，大小最小的磁盘类型为上限；当然，不可以将SATA磁盘加入到SAS 磁盘的Aggr中，反之一样也不行。5、点击 “Select Disk”选择磁盘，并将RaidSize 设置为16，注明：FC /SAS磁盘的Ra

22、idSize 默认为16 6、点击完成7、点击create ，完成存储池创建到此，存储池已经创建好，可以开始新建卷了；4.1.3 创建灵活卷（Flex Volume）1、创建Flex volume，点击volume菜单，在点击右手边的create 按钮进行flex volume的创建2、将 cifs_test 卷放在新建的aggr_test存储池中，选择其为“NAS”或“SAN”共享方式，并调整cifs_test的大小，设置快照预留空间等操作（快照预留Snapshot Reserves可以灵活调整，0为不预留）；3、点击 “Storage Efficient”，选择是否开启a-sis（重复数据

23、删除功能），是否开启重复数据删除功能具体需要看前端应用，比如前端业务为虚拟桌面、或者邮件系统，则建议开启重复数据删除功能，起到存储最优使用效率；完成cifs_test卷创建；到此步骤，Volume卷创建完成；我们可以正式开始配置NAS（CIFS或NFS）和SAN（IP SAN 或FC SAN）的空间规划配置；4.1.4 创建NAS 共享（CIFS/NFS）1、创建CIFS 方式文件共享A)点击 SharesB) 点击 “Create”按钮，新建一个CIFS 共享C)选择共享volume ，设置共享名，并对其进行描述，以便日后更方便识别；D)点击完成，完成CIFS 共享创建；E) 权限设置选择c

24、ifs_test共享路径，点击“Edit”进行共享权限设置；NetApp存储中权限设置只有三种：full control、read and write、read only；点击“Permission”，设置用户权限；选择“add”并添加”administrators”组用户，选择“remove”则是删除某个用户或组的使用权限；设置”Permission”的权限访问；点击“options”进行高级options设置;可设置是否允许共享文件夹的内外部超级链接，以及结合内部病毒服务器进行设置病毒扫描；点击“save and close”完成CIFS 共享的权限设置。注意：若将NetApp 存储加入W

25、indows的域环境中，那么其权限设置操作则可以完全通过Windows AD 的Administrator 来管理设置；F) Windows 主机端操作选择映射网络驱动器，输入存储IP地址及共享名，并勾上“登陆时重新连接”第一次连接需要输入用户名密码，选择记住密码，下次登陆时候将可直接连接到共享空间；若不是当前用户可点击different username，以指定的用户名口令登陆（和当前windows用户不同）2、创建NFS 方式文件共享A)点击“exports”B)点击右下方“Unix”文件夹图标，之后再选中“edit”C)选中“Eidt”按钮，进行指定IP 地址访问授权或者某个网段的授权；

26、如：对/24整个网段的所有机器进行授权：点击完成；D) Linux 主机端操作4.1.5 Snapshot配置管理NetApp 存储的快照可对aggregate 和volume两个层面而言，适用最小对象为volume，当然平时用户使用最多的基于volume层面的快照备份及恢复；以下是对vol_test卷创建快照的实例：A) 创建快照备份策略B) 设置快照大小、快照保留份数以及快照备份时间点系统默认快照保留大小为该快照卷的20%，默认显示快照路径，默认保留6份hourly的快照和2份nightly的快照；C) 快照恢复点击SnapShot Copies选择需要具体恢复到哪一个

27、时间点。注意：这个恢复是针对整个volume而言，而不是针对单个文件；当然也可以用命令针对某单个文件进行恢复（filersnap restore -t file -s test /vol/vol1/test/test.txt） 。点击“Restore”，提示是否确认将该volume的数据恢复到拍快照的那个时间点，点确认，则恢复到快照备份时间点，若放弃则不恢复；4.1.6 目录配额配置管理1、 点击Quota2、 点击Create来创建针对某个volume的配额3、点击Next选择配置配额的volume或者qtree，配额类型有3中，即分别可对qtree、user或group 进行做配额Hard

28、 Limit 设置为1g ，soft limit 800MB，Threshold 750MB， 分别是指所有用户最大可用到1G ，用到750MB时候会有告警提示，用到时候800MB 会提示用户已经无可用空间，但此时还能继续用知道数据存放到1GB为止；File Count 中的 Hard limit 和soft Limit，分别是指该共享路径下面最多包含1000001000个文件，用到80001000个时候会提示文件个数已经用完；点击Next点击完成，完成quota的配置4.1.7 创建SAN 共享（如果没有FCP或ISCSI的license，无法使用）1、 点击LUN 2、 选择create

29、点击Next，新建lun 名字，lun 类型及大小；选择lun存储在的volume，点击next；因之前没有新建过igroup ，故此次没有新的igroup出现，需要手动新建igroup，点击next；核对我们新建lun的配置信息；点击next，完成lun的创建；点击finish，完成；3、 创建Igroup，点击initiator groups，点击create 填写igroup 名字及选择前端操作系统类型，已经传输协议，注意：若选择FC/FCoE，在无特殊条件下建议开启ALUA功能；点击 Initiators，选择对应的IQN号或者wwpn号，若此次没有显示，也可以通过手工的方式将IQN号

30、或者wwpn号输入；点击完成，创建完igroup4、 lun map选择lun ，点击Edit点击Initiator igroups ，选择win_igroup 并且把LUN ID设置为1（注意：LUN ID 为0255，同一个igroup中不能重复）点击 save and closed5、Windows 主机端操作，安装Iscsi initiator 软件下一步，选择Initiator service和Software Initiator下一步，选择同意进行安装；安装完成后，桌面会生成一个Iscsi initiator的图标，双击它进行配置参看iqn号：发现initiator端，并添加存储端

31、IP 地址在target端把新挂载过来的盘进行log on主机上扫描新增加磁盘4.2 CLI 命令行操作4.2.1 登陆方式用SecureCRT 6.5/Putty等工具，使用ssh或者Telnet协议，ssh /telnet存储e0M口远程管理地址，其登陆用户名为：root，密码为：xxxxxx，也可以用ssh/telnet 存储SP口远程串口地址，具备串口一样功能， 其登陆用户名为:naroot 密码为跟root的密码一致；因密码属于私密内容，此文档不便提供明文。（NetApp存储默认telnet协议是关闭状态）4.2.2 创建存储池（Aggregate）Data OnTap8.0以后，根

32、据不同的硬件型号，最大的Aggregate可用容量可以达到100TB。1、新创建Aggr:Aggr create aggr_name r 16 -B 64 t raid_dp 32#创建一个64位系统的Aggregate，raidsize为16，raid类型为raid_dp,共包括32个磁盘；例如：创建一个名为aggr_test的32位的存储池（Aggregate），里面含有8颗FCAL的磁盘，raidsize为14，raidtype为Raid_dp；参看创建成功后存储池情况：2、为现有的Aggregate增加磁盘:aggr options raidsize #设置合适的raidsize (1

33、4+2)aggr add or aggr add -d . . sysconfig r 察看结果例如：往aggr_test存储池中添加2颗磁盘；3、修改Aggregate快照保留Snap reserve A 0 #关闭aggregate级snap shot的空间预留Snap sched A 0 0 0 #关闭aggregate级的snap shot例如：关闭aggr_test的快照功能，并且取消策略；参看默认情况：调整后情况：4、修改Aggregate名称 Aggr rename aggr0 aggr_new1例如：将aggr_test名改为aggr1 5、修改aggr的raid group的

34、大小(针对以后的aggr_name，对之前raidsize的不做影响) aggr options aggr_name raidsize 18例如：将aggr_test的raidsize调整为124.2.3 创建灵活卷（Flex Volume）1、参看现有卷使用情况：2、创建vol ： vol create volmane aggrname size 例如：在aggr_test上创建一个1g的vol3卷.3、调整volsize vol size volname size 例如：将vol3 大小调整为2g4、删除快照snap delete 【-a】 volname 【snapshot_name】

35、例如：删除vol_test中所有快照;5、删除vol：vol offline volname 和vol destroy volname例如：把vol_test卷删除；4.2.4 创建NAS共享（CIFS/NFS）1、参看CIFS 共享目录权限 cifs shares例如：参看vol_test是否开启CIFS方式共享，全是是否为Administrator Full Control；答案为，vol_test 已经共享，并且具备administrator rwx权限；2、添加CIFS共享 cifs shares -add sharename /vol/volname 例如：将vol3共享设置为eve

36、ryone有只读权限，共享名为vol3_readonly; 3、将共享路径添加为网络映射盘，该操作详见4.1.4章节的第1小节的”F)Windows 端主机操作”章节；4、参看NFS共享目录权限；例如：参看vol2是否共享给/24整个网段的机器，并且具备rw权限答案为，vol2已经共享给/24整个网段的主机，并且具有Full Control权限；将vol2共享空间授权于5这台设备，即5这台主机能访问vol2共享空间；例如：4.2.5 Snapshot 配置管理1、参看快照策略例如：从上图可以得知，其中vol2和

37、vol3 的快照策略已经取消其快照预留空间为0；vol0和vol_test的快照策略已经取消，其中vol0有20%的预留空间，vol_test的快照预留空间也是为0；2、创建快照策略 snap sched vol(/aggr)name weekly nightly hourlytimed例如：vol_test卷需要与周为单位的快照保留一份，与天为单位的快照保留四份，与小时为单位的快照保留6份，备份时间点分别为8:00、12:00、16:00、20:00、23:00，快照预留空间设置为占该卷的30%；3、取消快照策略及取消快照预留空间 snap sched V(-A)vol(/aggr)name

38、 0 和snap sched V(-A)vol(/aggr)name 0 0 0例如：取消vol_test的快照策略及取消快照预留空间；4.2.6 目录配额配置管理1、参看目录配额例如：从上图可以得知，该套存储目前尚未做目录配额；2、限制用户(/用户组)使用 vol(/qtree)空间，需要修改/etc/quotas文件，并且修改后需要执行quota resize /vol/volname(/qtreename)才能生效；例如：限制所有访问vol_test的用户只能使用20MB空间；FAS3240A rdfile /etc/quotas#Auto-generated by setup Tue

39、Dec 25 11:56:50 GMT 2012FAS3240A wrfile /etc/quotas#Auto-generated by setup Tue Dec 25 11:56:50 GMT 2012* user/vol/vol_test 20480K - - - -read: error reading standard input: Interrupted system call3、取消目录配额，quota off /vol/volname(/qtreename)例如：取消vol_test的目录配额4.2.7 创建SAN 共享 1、参看LUN使用情况lun show v从上图，表明

40、目前该套存储未配置SAN环境存储；2、创建LUN lun create -f -i t ostype /vol/volname/lunname创建igroup igroup create s size t ostype igroupname WWPN/IQNlun 映射 lun map -f lun_path igroup_name lun_id例如：在vol2下创建1个名为linux_lun1大小为3GB LUN，并且挂载给linux主机；存储端操作：linux 主机端操作：安装netapp_linux_host_utilities-6-0.noarch.rpm 主机端插件配置主机端Mult

41、ipath.conf文件确认Multipathd服务状态用sanlun lun show p命令参看挂载的磁盘做disklable做文件系统做文件系统前最好先执行以下命令：在接着对分区做文件系统：挂载磁盘 5 NetApp设备日常维护5.1 目测现场首先进行指示灯和LCD面板检查，判断是否有异常情况发生。5.2 硬件状态检查FAS3240A1sysconfig r检查磁盘情况正常情况：发现所有磁盘，每个机头都有一个或多个spare disk。非正常情况：任何一个机头没有一个spare disk或者有failed Disk，就是非正常情况。FAS3240A1sysconfig v检查所有硬件以上

42、显示结果应该没有failed,error,warning等字样.5.3 检查网络是否正常使用ping 存储设备IP地址，输入：filerping FILERNAME检查FILERNAME 机头的网络连通性。正常情况：有相应，无丢包。非正常情况：ping不通或者丢包严重。FAS3240A1ifconfig a主要网口状态应为upFAS3240A1vif statusVIF所有端口是否正常5.4 检查Cluster状态是否正常FAS3240A1cf status正常情况：2个节点状态应该为enable非正常情况：任何一个机头显示非如上所示，就属于非正常情况。5.5 检查卷容量是否正常使用df检查空

43、间使用状况。正常情况： capacity 低于或等于80%。非正常情况： capacity 高于80%。5.6 Inode数量检查使用df i或者maxfiles命令检查inode数据使用情况正常情况：Inode值低于或等于80%非正常情况：Inode值高于80%建议使用“maxfiles 卷名 数值”命令更改卷的inode 大小，避免因inode数量爆满导致卷无法写入；由于影像平台应用数据小文件类型，所以建议inode数值尽量大，此更改可以在线调整，实时生效。例如: maxfiles vol1 220000000将卷vol1的inode数值更改为2200000000，之后输入“y”确认更改5

44、.7 性能检查FAS3240A1 sysstat 3CPU利用率应该在80%以下5.8 日志文件检查FAS3240A1rdfile /etc/messages仔细检查是否有failed,error,warning等字样.如有,则记录下来5.9 收集autosupport信息Options autosupport.doit触发最新autosupport信息DataOnTap 8.1版本以下（不包含），可以通过命令直接收集输出：rdfile /etc/log/autosupport/201301141327.0文件名即为触发时间DataOnTap 8.1版本以上（包含），可以通过CIFS共享访问存

45、储，在autosupport文件夹中寻找子文件夹，名称为触发时间，复制出来提交；DataOnTap 8.1版本以下（不包含）也可以在autosupport文件夹中找到201301141327.0文件直接提交。5.10 常用命令查看系统配置信息： sysconfig a sysconfig r license sysstat 2 storage show environment status查看aggr、vol的信息： aggr status-v检查aggr状态 aggr show_space g(df -Ag)检查aggr的空间使用情况 aggr create aggr_name disk_l

46、ist创建一个新的集合 aggr add aggr_name ndisksdisk_size增加磁盘到集合里 vol status -v检查卷的状态 vol options vol_name检查卷的参数设置情况 df hg检查卷的空间使用情况 df i检查卷inode使用情况 vol create vol_name aggr_name vol_size创建一个新的卷 vol size vol_name new_size +/- size修改卷的空间大小 qtree status检查qtree的状态 qtree create /vol/vol1/qtree1 m ntfs创建一个新的qtree qtree security /vol/vol1/qtree1 ntfs修改qtree的属性 maxfiles检查和更改卷inode使用情况cifs有关命令